знают, что им делать с этим бедным болваном. Поэтому они помещают его в своеобразный космический «Хилтон» и позволяют ему прожить там остаток жизни.
Вот о чем, как мне кажется, фильм «Космическая одиссея» на самом деле: биологическим формам жизни в конечном итоге суждено исчезнуть, потому что их заменят созданные ими ИИ.
Именно такое предположение до смерти перепугало Билли Джоя. Он полагает, что думающие машины попытаются смести нас с пути, когда поймут, что мы вмешиваемся в то, что они хотят делать.
На самом деле в этом случае нам очень повезет. Если вы верите сценарию «Матрицы», то вместо того, чтобы просто избавиться от нас, наши наследники ИИ
Классический контраргумент в ответ на подобные опасения состоит в следующем: если построить машины должным образом, то они будут функционировать так, как задумано. Три закона робототехники, сформулированные Айзеком Азимовым, получили заслуженную известность как неотъемлемые ограничения, разработанные для того, чтобы защитить людей от всех возможных опасностей со стороны роботов, несмотря на появление «робота-Моисея» Элвекса, как мы видели выше.
«Главная команда» (prime directive) Джека Уильямсона из серии его рассказов про Гуманоидов не настолько известна, как азимовские три закона, однако, по сути, она говорит о том же самом. В его рассказах фигурировали человекоподобные роботы, созданные человеком по имени Следж. «Главная команда», которая впервые появляется в рассказе Уильямсона «Со скрещенными руками» (1947) («With Folded Hands»), звучала просто: роботы должны «служить и подчиняться человеку, а также охранять его от вреда». Теперь обратите внимание на дату: рассказ был опубликован в 1947 году. Спустя два года после того, как на Хиросиму и Нагасаки была сброшена атомная бомба, Уильямсон ищет машины со «встроенной» нравственностью.
Однако, как это часто происходит в научной фантастике, лучшие намерения инженеров искажаются. Люди в рассказе Уильямсона «Со скрещенными руками» решают избавиться от созданных ими роботов, потому что роботы подавляют их своей добротой, не позволяя людям делать ничего, что может нанести вред. Но у роботов есть свои мысли на этот счет. Они решают, что их отсутствие может выйти людям боком. Выполняя свою главную команду в буквальном смысле, они проводят хирургическую операцию на мозге своего разработчика Следжа и удаляют из его памяти все знания, необходимые для того, чтобы дезактивировать их.
Идея о том, что мы должны приглядывать за нашими компьютерами и роботами, чтобы они не вышли из-под контроля, продолжала развиваться в научной фантастике. В романе Уильяма Гибсона «Нейромант» (1984) рассказывается о появлении в ближайшем будущем полицейского подразделения под названием «Тьюринг». Эти полицейские постоянно отслеживают любые признаки возникновения подлинного интеллекта и самосознания во всех компьютерных системах. Если подобное случается, им следует отключить такую систему, пока не поздно.
Здесь, безусловно, встает вопрос о том, не может ли интеллект возникнуть каким-то образом сам по себе, не существует ли некоего эмерджентного свойства,[30] которое может естественным образом проявиться у достаточно сложной системы. Артур-Кларк — папа Хэла — был одним из первых, кто предположил, что это может случиться на самом деле. В рассказе «Ф значит Франкенштейн» (1963) он предсказал, что всемирная телекоммуникационная сеть в конечном итоге еще более усложнится и приобретет еще больше соединений, чем в человеческом мозге, что приведет к возникновению сознания в данной сети.
Если Кларк прав, то наш первый настоящий ИИ не будет разработан в лаборатории под тщательным контролем, и никакие азимовские законы в него встроить не удастся. Скорее, он появится нежданно- негаданно благодаря сложности систем, созданных совсем для других целей.
На мой взгляд, Кларк
Эту проблему я в некоторой степени изучаю в своем последнем романе «Гоминиды» (2002). Современные в анатомическом смысле люди —
И вдруг сорок тысяч лет назад это случилось: возник интеллект и сознание. Антропологи называют это «большим скачком».
Похожие на современного человека люди ходили по Земле на протяжении шестидесяти тысяч лет, однако они не создали искусства, не украшали свои тела драгоценностями и не хоронили умерших, кладя в могилу определенный набор вещей. Но сорок тысяч лет назад внезапно люди начинают рисовать живописные картины на стенах пещер, носить ожерелья и браслеты и погребать своих любимых с пищей, орудиями труда и прочими ценными вещами, которые умершие могли использовать в предполагаемой загробной жизни.
Искусство, мода, религия — все это рождается одновременно; вот уж действительно большой скачок. Интеллект, сознание, чувствительность — они возникают сами по себе на «оборудовании», эволюционировавшем для других целей. Если это случилось один раз, то может с таким же успехом повториться снова.
Я упомянул религию как один из признаков возникновения сознания; по крайней мере, так произошло в истории нашего вида. Но как насчет того, чтобы использовать любимый термин компьютерного гуру Рея Курцвейля «духовные машины»? Если компьютер на самом деле обретет сознание, будет ли он бодрствовать ночью, гадая, а не обман ли все это?
Поиск создателей — это, несомненно, то, чем компьютеры не устают заниматься в научной фантастике. В частности, привязанность к этой идее заявляет о себе в «Звездном пути», включая тот момент, когда мистер Дейта (Mr. Data) так замечательно воссоединяется с создавшим его человеком, которого он считал давно умершим.
Помните фильм «День, когда Земля остановилась», с которого я начал? Любопытный факт: этот фильм снимал Роберт Уайз. Через двадцать восемь лет он станет режиссером киноленты «Звездный путь: Кинолента» («Star Trek: The Motion Picture»). В первом фильме биологические существа решили, что биологические эмоции и страсть слишком опасны, и поэтому безвозвратно доверили вопросы политики и безопасности роботам, которые стали эффективно управлять человеческим обществам. Однако к моменту съемок «Звездного пути» Роберт Уайз совершил поворот на сто восемьдесят градусов и стал думать об ИИ совсем иначе.
(Между прочим, тем, кому этот фильм показался плохим и нудным — после выхода фильма многие называли его «Звездный путь: Изолента», — я бы предложил взять в прокате новое «режиссерское издание» на DVD. Этот фильм — один из самых амбициозных и интересных кинофильмов об ИИ в истории кинематографа. И он смотрится куда лучше недавнего фильма Стивена Спилберга «AI», а в новой версии он вообще выглядит блестяще.)
В фильме «Звездный путь: Кинолента» ИИ зовут Ви-джер (V'ger), и он летит к Земле, чтобы отыскать своего создателя. Разумеется, его создали мы. Не в первый раз фантастическая кинокартина строится по такому сценарию, вот почему у фильма есть второе название — «Там, где прошел кочевник». Этот фильм о том же самом, о чем идет речь в фильме «Космическая одиссея» (если вы купились на мою интерпретацию фильма Кубрика): об ИИ, который отправляется на поиски сотворивших его существ.
Так или иначе, Ви-джер хочет прикоснуться к Богу, то есть физически соединиться со своим создателем. Здесь выявляется интересная концепция: в своей основе это история о компьютере, который хочет добиться одной-единственной вещи, зная, что это недостойно компьютера как такового, — он хочет загробной жизни, слияния со своим Богом.
В дополнение к этому адмирал Кирк подытоживает в фильме: «То, что необходимо развить Ви- джеру, — это способность человека выпрыгивать за рамки логики». Это не просто треп. Скорее, фильм
