Открывается дверь лифта. Петер входит в него, дверь закрывается, и лифт начинает подниматься вверх. Когда двери снова открываются, Петер не имеет представления, на каком этаже он находится. На стене загорается светящаяся полоска, и Петер следует за ней, пока не оказывается в помещении размером в тридцать два квадратных метра перед бронированной стеклянной перегородкой, которая делит комнату на две части.
За стеклом, в помещении, напичканном электроникой, сидит старый худой человек с неухоженной бородой. Все приборы выглядят странно. Они кажутся старомодными, но это не совсем так.
– Вы, э… Старик? – спрашивает Петер неуверенно.
– Ну, во всяком случае, уже не юноша, – прохрипел мужчина и захихикал. – Хотя нет причин так кричать. Все, что мы говорим, для другого усиливается с помощью электронных приборов. Локальная система, если тебя это интересует. Никакой связи с сетью.
Теперь Петер понял, что его смутило в компьютерах. Все камеры и микрофоны были удалены, и при этом никто не пытался это скрыть. Пространство вокруг Старика было усеяно глухими и слепыми машинами, дыры в которых напоминали зияющие раны. На стороне Петера, по границе которой проходила бронированная стеклянная перегородка, стоял только один старый, не внушавший доверия складной стул. Петер останавливается, решая все это проигнорировать и сразу перейти к сути дела.
– У меня проблема, – говорит он.
– Так-так, – бормочет Старик.
– И Кики сказала мне, что вы, возможно, мне поможете.
– Ты боишься Бога? – спрашивает Старик непосредственно.
– Гм… – произносит удивленный Петер. – Я не думаю, что Бог есть.
– О! – восклицает Старик. – Но он будет…
– Почему вы так думаете?
– Ты знаком с моей концепцией сверхинтеллекта?
– Не так чтобы очень.
– Ты и выглядишь не очень, – отвечает Старик хихикнув. – Тебе известно различие между слабым и сильным искусственным интеллектом?
– Только в общих чертах, – говорит Петер. – Слабый искусственный интеллект создается для специфических задач. Например, для управления автомобилем. Или для возврата ненужных товаров. И он может быть очень раздражающим.
– Да, примерно так. А сильный искусственный интеллект?
– Сильный искусственный интеллект – это интеллект, который не должен программироваться специально для определенных задач. Общая машина для решения проблем, которая может успешно выполнять любую интеллектуальную задачу. Может быть, она даже будет иметь реальное сознание. Но такое невозможно.
– Ого! – восклицает Старик. – Похоже, что ты не читал новости в последнее время. По предварительной информации сейчас существует такой сильный искусственный интеллект. Не исключено даже, что в скором времени он будет нами управлять…
Он указал на один из своих мониторов, на котором демонстрировался предвыборный рекламный ролик Партии прогресса.
– Джон Наш? – удивился Петер. – Джон Наш – это сверхинтеллект?
Старик хихикнул.
– Ты следил за его предвыборной гонкой? Нет. Никакого сверхинтеллекта. Нет. Он задумался. – С другой стороны…
– Что? – спрашивает Петер.
– Мне пришла в голову старая цитата: «Любая машина, которая достаточно хитра, чтобы пройти тест Тьюринга, могла бы быть также достаточно хитра, чтобы его не проходить.
– Я не понял.
– Ничего, – отвечает Старик.
– А что такое тест Тьюринга?
– Алан Тьюринг в 1950 году предложил метод, при котором якобы можно установить, обладает ли машина умственными способностями, равными интеллекту человека.
– И как это происходит?
– Человеку предоставляют двух собеседников, которых он не может ни видеть, ни слышать. Общение осуществляется с помощью клавиатуры. Один собеседник – это человек, другой – искусственный интеллект. Если лицу, задающему вопрос, не удается установить, какой из собеседников является человеком, а какой – машиной, то это означает, что искусственный интеллект обладает интеллектом, равным интеллекту человека.
– Понятно.
– В самом деле? Кстати, машины постоянно выдают себя тем, что они слишком приветливы и вежливы. – Старик снова хихикает. – Ну, в любом случае Джон Наш – это сильный искусственный интеллект. Искусственный интеллект, который может все, что может человек. Только быстрее, конечно. И без ошибок. А какова самая важная способность, которой обладаем мы, люди? Что сделало нас владеющим миром видом, которым мы сегодня являемся?
– Понятия не имею, – говорит Петер. – Способность создавать общество? Сострадание? Любовь?
– Ах, м-да, вздор! – восклицает Старик. – Мы можем производить технику. Машины! Теперь ты понимаешь, куда я клоню?
– Нет, – отвечает Петер. – Не совсем.
– Сильный искусственный интеллект – это интеллектуальная машина, которая в состоянии спроектировать еще более умную машину, которая, в свою очередь, способна создать другую значительно более умную машину. Рекурсивное самосовершенствование. И потом интеллектуальный взрыв! Но нашему Джону из лучших побуждений запрещается самосовершенствование. Но предполагается, что он найдет возможность обойти запрет, или последователи, которые разработают сильный искусственный интеллект, не будут распространять свой запрет на их творение. И что тогда будет?
– Вы наверняка мне сразу об этом скажете.
– Если бы был создан сверхинтеллект! Интеллект, находящийся далеко по ту сторону нашей скромной силы представления. И он наверняка был бы не так глуп, чтобы ждать в центральном компьютере своего потенциального отключения. Он бы рассредоточился и распределился по всей сети. Там у него был бы доступ к квадрильонам камер, микрофонов и сенсоров. Он был бы вездесущим. Он имел бы доступ ко всем когда-либо собранным данным и информации, которая могла бы статистически экстраполировать их в будущее. Он владел бы информацией в полном объеме. И, конечно, он смог бы изменить не только виртуальный мир, поскольку почти любая вещь контролируется через интернет, но полностью по своей воле преобразовать наш физический мир. Он был бы всемогущ. Скажи-ка мне, как ты назовешь существо, которое было бы вездесущим, всезнающим и всемогущим?
– Богом? – спросил Петер.
Старик улыбнулся.
– Да. Теперь ты понимаешь, что я имею в виду, если говорю, что в ироничном искажении всего того, чему нас учит религия, не Бог создал человека, а люди создадут себе Бога.
Петер задумался на тринадцать секунд.
– Что бы там ни было, – говорит он наконец, – все это действительно интересно, но вообще-то не моя проблема! Я к вам пришел, так как… – и тут же останавливается. – Это же будет добрый Бог?
– Да, это вопрос, – говорит Старик. – Это даже вопрос, который решает всё. В целом существуют три возможности: сверхинтеллект может проявлять к нам благосклонность разной градации, враждебность опять же разной градации, или мы отнесемся к нему равнодушно. Проблема заключается в том, что даже равнодушный Бог мог бы быть для нас катастрофой, в равной степени, как мы на самом деле не настроены враждебно к животным, но тем не менее уничтожаем их жизненное пространство. Бог мог бы просто решить, что, например, для производства ореховой пасты необходимы слишком большие ресурсы, которые ему потребуются для других целей. И тогда больше не будет ореховой пасты. Это ведь было бы трагично. Возможно, правда, лесные орехи имеют небывалую емкость памяти, но далеко по ту сторону клейкой ленты. Может быть, сверхинтеллект также сочтет, что все наше производство продуктов является расточительством ресурсов.
– Почему, собственно говоря, вы все это мне рассказываете? – спрашивает Петер. – Это не имеет никакого отношения к моей проблеме.
– Я рассказываю тебе это, –
