Качинский (Унабомбер). Я не защищаю Качинского. За семнадцатилетнюю террористическую кампанию его бомбы лишили жизни троих и причинили ранения многим другим людям. Во время взрыва одной из его бомб был серьезно ранен мой друг Дэвид Джелернтер, один из самых выдающихся и проницательных специалистов по вычислительной технике нашего времени. Как и многие мои коллеги, я чувствовал, что легко могу стать следующей мишенью Унабомбера.
Действия Качинского отличались крайней жестокостью и, на мой взгляд, являлись преступным безумием. Он явный луддит, однако просто констатировать этот факт не значит опровергнуть его аргументы. Мне было трудно это признать, но я увидел нечто убедительное в рассуждениях, изложенных в вышеприведенном отрывке. И я почувствовал себя обязанным опровергнуть их.
В мрачных предвидениях Качинского описываются непреднамеренные последствия, широко известная проблема в разработке и использовании технологий, та самая, которая имеет очевидное отношение к закону Мерфи — «если что-то может пойти не так, то это обязательно случится». (На самом деле это закон Финейгла, что само по себе уже доказывает, что Финейгл был прав.) Наше злоупотребление антибиотиками привело к тому, что может оказаться самой большой проблемой на данный момент, — к появлению устойчивых к антибиотикам и куда более опасных бактерий. То же самое случилось, когда были предприняты попытки уничтожить малярийных москитов при помощи ДДТ, что вынудило их развить устойчивость к этому препарату. Более того — малярийные паразиты приобрели гены, посредством которых наследуется устойчивость ко многим химическим веществам.[183]
Причина многих подобных сюрпризов, по-видимому, ясна: дело в том, что речь идет о сложных системах, между частями которых существует взаимодействие и обратная связь. Любые изменения в подобной системе вызовут целый поток труднопредсказуемых последствий; это утверждение особенно справедливо для деятельности человека.
Я начал с того, что показал друзьям цитату Качинского из книги «Эпоха одухотворенных машин». Я дал им книгу Курцвейля, открыв ее на нужном месте, а потом отметил их реакцию, когда они узнали, кому принадлежит авторство этого отрывка. Примерно в это же время я открыл для себя книгу Ганса Моравека «Робот: От простой машины к трансцедентному разуму». Моравек является одним из ведущих исследователей в области робототехники, а также основателем самой крупной в мире исследовательской программы в рамках робототехники. Эта программа запущена в университете Карнеги-Меллон. Книга Моравека дала мне еще больше материала для апробирования его на моих друзьях. Он удивительным образом подтверждал доводы Качинского. К примеру:
Вскоре (начало XXI века)
Биологические виды почти никогда не выживают после встречи с превосходящим их соперником. Десять миллионов лет назад Южная и Северная Америки были разделены затонувшим Панамским перешейком. Подобно сегодняшней Австралии, Южная Америка была тогда населена сумчатыми млекопитающими, включая сумчатых животных, похожих на современных крыс, оленей и тигров. Когда перешеек, соединявший Северную Америку с Южной, поднялся, северным плацентарным видам, обладавшим чуть более эффективным метаболизмом, а также репродуктивной и нервной системами, потребовалось всего лишь несколько тысяч лет для того, чтобы вытеснить и уничтожить почти всех южных сумчатых.
На абсолютно свободном рынке более совершенные роботы, без сомнения, будут воздействовать на людей так, как североамериканские плацентарные виды на южноамериканских сумчатых (и точно так же, как люди, уничтожившие бесчисленное множество биологических видов). Завязанные на робототехнику отрасли будут яростно конкурировать между собой за сырье, энергию и пространство, в результате чего цена на них выйдет за пределы возможностей человека. Поскольку биологические люди не смогут позволить себе предметы первой необходимости, они будут лишены права на существование. Не исключено, что здесь есть какой-то выход, поскольку мы живем в условиях не абсолютно свободного рынка. Правительство сдерживает нерыночное поведение, особенно посредством сбора налогов. Если применять эти методы сдерживания благоразумно, то это поможет поддерживать жизнь людей на высоком уровне благодаря плодам труда роботов, причем, возможно, в течение долгого времени.
Всего-то мрачные фантазии автора, а у читателя уже дрожат коленки. Далее Моравек пишет, что нашей главной заботой в XXI веке станет «обеспечение непрерывного сотрудничества с отраслями робототехнической промышленности» путем принятия законов, предписывающих им «хорошее поведение».[184] Моравек не упускает случая описать, насколько опасным может оказаться человек, «однажды трансформированный в ничем не ограниченного сверхразумного робота». По мнению Моравека, в конечном итоге роботы сменят людей, и человечеству придется столкнуться с вымиранием.
Я решил, что пришла пора переговорить с моим другом Дэнни Хиллисом. Дэнни прославился как соучредитель Thinking Machine Corporation, в которой был создан очень мощный параллельный суперкомпьютер. Несмотря на то что моя сегодняшняя должность звучит как руководитель исследовательских работ в компании Sun Microsystems, я в большей степени практик, чем ученый. Так что я уважаю познания Дэнни в области информатики и физики больше, чем любого другого знакомого мне человека. К тому же Дэнни — весьма уважаемый футуролог, делающий долгосрочные прогнозы. Четыре года назад он основал Long Now Foundation. Фонд занимается созданием часов, способных функционировать 10 000 лет, с целью привлечь внимание к ничтожно малой продолжительности существования нашего общества.[185]
Так что я полетел в Лос-Анджелес. У меня была конкретная цель — отобедать с Дэнни и его женой Пэти. Я изложил им все свои соображения, заостряя внимание на идеях и эпизодах, так меня волновавших. Свой ответ, особенно по отношению к версии Курцвейля относительно слияния людей с роботами, Дэнни сформулировал быстро. Этот ответ порядком удивил меня. Дэнни сказал, что изменения будут происходить настолько постепенно, что мы свыкнемся с ними.
Ответ этот не так уж сильно потряс меня. Я уже видел цитату Дэнни, приведенную в книге Курцвейля. «Я точно так же люблю свое тело, как любой другой, но если я смогу жить двести лет с телом из кремния, то я пойду на это», — сказал Дэнни. Похоже, он вполне соглашался с этим процессом и связанным с ним риском, тогда как я — нет.
Беседуя и размышляя о Курцвейле, Качинском и Моравеке, я неожиданно вспомнил роман, который прочел почти двадцать лет назад. Это был роман Фрэнка Герберта «Белая чума». Герой этого произведения, молекулярный биолог, сходит с ума, потому что его семья гибнет в результате бессмысленного убийства. Охваченный жаждой мести, он выводит и распространяет новых и очень заразных возбудителей чумы, убивающих в больших масштабах, но избирательно. (Нам повезло, что Качинский оказался математиком, а не молекулярным биологом.) Мне также вспомнился Борг из «Звездного пути», улей, населенный частично биологическими, частично роботизированными созданиями с сильным деструктивным началом. Описание ужасов вроде Борга — это главный элемент научной фантастики. Почему же меня не заботили подобные дисто-пические перспективы роботизации раньше? Почему эти кошмарные сценарии не привлекли внимания остальных людей?
В какой-то степени ответ на этот вопрос, конечно, лежит в нашем отношении ко всему новому — в нашем пристрастии к мгновенной близости и полному согласию. Несмотря на то что мы привыкли жить в условиях, когда крупные научные открытия стали почти обыденными, нам необходимо свыкнуться с тем фактом, что самые привлекательные технологии XXI века — робототехника, генная инженерия и нанотехнологии — представляют качественно иную угрозу, чем ранее освоенные человеком технологии. Конкретно говоря, роботы, искусственно запрограммированные организмы и наноботы отличаются опасным свойством: они могут самовоспроизводиться. Бомба взрывается лишь однажды, а вот один бот может расплодиться и быстро выйти из-под контроля.
В основном моя работа на протяжении последних двадцати пяти лет была связана с организацией сетей вычислительных машин, в которых отправление и получение сообщений создает возможность для неуправляемого дублирования. Но хотя дублирование в компьютере или в компьютерной сети и может доставить какие-то неприятности, в худшем случае оно выводит машину из строя либо разрушает сеть или сетевую службу. Неконтролируемое же самовоспроизводство, характерное для передовых технологий,
