который чистит одежду своего хозяина – волшебника, подметает пол и носит воду. Однажды, получив приказ наполнить бочку водой, слуга остался один. Подверженный той лени, что является истинной матерью изобретений (от такой же лени другой мальчишка, работавший у машины Ньюкомена, прицепил как-то веревку от крана, впускающего пар, к балансиру, создав тем самым первый автоматический клапан)[11], гетевский ученик чародея запомнил отрывки подслушанных им заклинаний хозяина, произнес их и заставил метлу качать воду в бочку. Эту часть задачи метла исполняет быстро и энергично. Когда же вода начала переливаться через край бочки, мальчик вдруг обнаружил, что он забыл заклинания, которыми чародей останавливал метлу. Мальчик захлебывается и почти тонет в воде, но тут чародей, к счастью, возвращается, произносит несколько властных слов, усмиряющих бунт вещей, а затем задает своему ученику изрядную взбучку.
Даже в этом случае катастрофу удается отвратить лишь с помощью
В повести описывается английская рабочая семья, собравшаяся к обеду на кухне. Сын вскоре уходит на фабрику, а старики родители слушают рассказы своего гостя, старшего сержанта, возвратившегося из Индии. Гость рассказывает об индийской магии и показывает талисман – высушенную обезьянью лапу. По его словам, индийский святой наделил этот талисман магическим свойством исполнять по три желания любого из трех своих последовательных владельцев. Гость говорит, что это подходящий случай испытать судьбу. Он не знает первых двух желаний предыдущего владельца талисмана, но ему известно, что последним желанием его предшественника была смерть. Сам он был вторым владельцем, но то, что он испытал, слишком страшно пересказывать. Гость уже намерен бросить волшебную лапу в камин, но хозяин выхватывает ее и, невзирая на предостережения, просит у нее двести фунтов стерлингов.
Через некоторое время раздается стук в дверь. Входит очень важный господин, служащий той фирмы, в которой работает сын хозяина. Со всей мягкостью, на которую он способен, господин сообщает, что в результате несчастного случая на фабрике сын хозяина погиб. Не считая себя ни в коей мере ответственной за случившееся, фирма выражает семье погибшего свое соболезнование и просит принять пособие в размере двухсот фунтов стерлингов.
Обезумевшие от горя родители умоляют – и это их второе желание, – чтобы талисман вернул им сына… Внезапно все погружается в зловещую ночную тьму, поднимается буря. Снова стук в дверь. Родители каким-то образом узнают, что это их сын, но, увы, он бесплотен, как призрак. История кончается тем, что родители выражают свое третье и последнее желание: они просят, чтобы призрак сына удалился.
Лейтмотив всех этих историй – опасность, связанная с природой магического. По-видимому, корни этой опасности кроются в том, что магическое исполнение заданного осуществляется в высшей степени буквально и что если магия вообще способна даровать что-либо, то она дарует именно то, что вы попросили, а не то, что вы подразумевали, но не сумели точно сформулировать. Если вы просите двести фунтов стерлингов и не оговариваете при этом, что не желаете их получить ценою жизни вашего сына, вы получите свои двести фунтов независимо от того, останется ли ваш сын в живых или умрет!
Не исключено, что магия автоматизации и, в частности, логические свойства самообучающихся автоматов будут проявляться столь же буквально.
Когда вы ведете игру, соблюдая все правила, и настраиваете машину так, чтобы она играла на выигрыш, вы получите его – если получите что-либо вообще, – но при этом машина не обратит ни малейшего внимания на любые соображения, за исключением тех, которые, согласно установленным правилам, приводят ее к выигрышу. Если вы ведете военную игру с некоторой условной интерпретацией победы, то победа будет достигнута любой ценой, даже ценой уничтожения вашей собственной стороны, если только сохранение ее жизнеспособности не будет совершенно четко запрограммировано в числе условий победы.
Это нечто большее, чем невинный парадокс. Мне определенно нечем опровергнуть предположение о том, что США и Россия вынашивают идеи использования машин, и в частности обучающихся машин, для того чтобы определить момент нажатия кнопки атомной войны – этого современного ultima ratio[13].
Испокон веков армии вели войны, которые всегда отставали от технических возможностей своего времени. Говорят, что в каждой войне хорошие генералы воюют так, как воевали в последней войне, а плохие генералы как в предпоследней. Действительно, методы ведения боевых действий в «военной игре» никогда не поспевают за изменениями реальной обстановки. Это было верно всегда, хотя в периоды, изобиловавшие войнами, порой находилось достаточно воинов, считавших, что война, в которой они участвовали, протекала в сравнительно медленно изменявшихся условиях. Именно эти испытанные воины и являются военными экспертами в истинном смысле слова. В настоящее же время экспертов ведения атомной войны не существует. Это значит, что нет таких людей, которые обладали бы каким-либо опытом в военном конфликте, где обе стороны располагают атомным оружием и применяют его. Разрушение городов в атомной войне, деморализация людей, голод, болезни и косвенные губительные последствия войны (которые могут вызвать значительно большее число жертв, чем взрывы и прямое выпадение радиоактивных осадков) – все это известно лишь предположительно.
Вероятно, поэтому и рядятся в патриотические одежды те, кто преуменьшает потери человечества и преувеличивает вероятность выживания народов в условиях мировой катастрофы нового типа. Но если атомная война приводит к полному самоуничтожению, а обычные военные действия теряют всякий смысл, то, очевидно, содержание сухопутных войск и военно-морского флота окажется в значительной мере бесцельным, а бедные, преданные службе генералы и адмиралы останутся без работы. Фирмы по производству ракет не будут больше иметь того идеального рынка сбыта, где все изделия предназначаются для однократного использования и поэтому не вступают в конкуренцию с продукцией, которую еще предстоит изготовить. Духовенство будет лишено возможности проявить свою восторженность и экзальтацию, всегда сопутствующие крестовым походам. Говоря короче, если начнется «военная игра» с подобной программой, то найдется много лиц, которые, упуская из поля зрения возможные последствия, потребуют свои двести фунтов стерлингов, забыв упомянуть, что сын должен остаться в живых.
Поскольку наше действительное желание всегда может быть выражено неточно, последствия этого могут стать чрезвычайно серьезными тогда, когда процесс исполнения наших желаний осуществляется не прямым путем, а степень их реализации не ясна до самого конца. Обычно мы осуществляем наши желания, если вообще мы способны в самом деле осуществить их, с помощью процесса обратной связи, которая позволяет сравнивать степень достижения промежуточных целей с нашим восприятием. При таком процессе обратная связь проходит через нас и мы можем – пока еще не слишком поздно – повернуть назад. Если же механизм обратной связи встроен в машину, действие которой не может быть проконтролировано до тех пор, пока не достигнута конечная цель, вероятность катастрофы чрезвычайно возрастает. Мне, например, было бы в высшей степени неприятно участвовать в первом испытании автомобиля, управляемого при помощи фотоэлектрических устройств обратной связи, если бы в нем не было рукоятки, которая позволяет взять управление на себя в тот момент, когда замечаешь, что автомобиль несется на дерево.
Люди с психологией машинопоклонников часто питают иллюзию, будто в высокоавтоматизированном мире потребуется меньше изобретательности, чем в наше время; они надеются, что мир автоматов возьмет на себя наиболее трудную часть нашей умственной деятельности – как тот греческий философ, который в качестве римского раба был принужден думать за своего господина. Это явное заблуждение.
Целенаправленный механизм вовсе не обязательно будет искать путей достижения
В наше время стала очень модной идея предотвращения некоторых опасностей и в особенности угроз, связанных с атомной войной, при помощи автоматических устройств типа
