Мы уже идем по этому пути. Если машины во всем мире остановились бы, наша цивилизация могла бы впасть в коллапс от количества тяжелой утомительной работы сегодня. Совсем недавно, лет тридцать назад, этого бы не случилось. В 2040 году человеческий интеллект и интеллект машины будут очень тесно спаяны. Мы станем способны испытывать куда более сильные ощущения самого различного рода. Мы сможем «воссоздавать мир», созданный нашим воображением, и проникать в разные среды, настолько же изумительные, как в «Матрице». Остается только надеяться, что этот мир будет больше открыт для творческого самовыражения человека и его переживаний.
Билл Джой
ПОЧЕМУ МЫ НЕ НУЖНЫ БУДУЩЕМУ
С того момента, как я увлекся разработкой новых технологий, меня стала занимать их этическая сторона. Но лишь осенью 1998 года я с тревогой осознал, насколько велика опасность, подстерегающая нас в двадцать первом столетии. Я начал беспокоиться об этом с того дня, когда встретил Рея Курцвейля, заслуженно известного изобретателя первой читающей машины для слепых и многих других поразительных вещей.
Мы с Реем выступали на Телекосмической конференции Джорджа Джилдера. Я случайно повстречал его в баре отеля после того, как секции, где мы выступали, закончили свою работу. Я сидел с Джоном Серлем, философом из Беркли, занимающимся изучением сознания. Мы с ним мирно беседовали, и тут к нам подошел Рей. Завязался разговор, предмет которого не дает мне покоя по сей день.
Я пропустил выступление Рея и вообще ту дискуссию, в которой они с Джоном принимали участие на конференции. Они начали с того, на чем тогда остановились: Рей сказал, что скорость совершенствования технологий будет возрастать и в недалеком будущем мы станем роботами или объединимся с ними, — в общем, что-то в этом роде, — а Джон опроверг его, сказав, что это невозможно, поскольку роботы не могут обладать сознанием.
Когда я слышал подобные разговоры раньше, мне всегда казалось, что разумные роботы существуют лишь в произведениях научной фантастики. Но теперь от человека, которого я уважал, я слышал убедительные доказательства в пользу того, что появление таких роботов можно ожидать в ближайшем будущем. Я был захвачен врасплох. Особенно меня потрясла знаменитая способность Рея изображать и моделировать будущее. Я уже знал, что новые технологии, наподобие генной инженерии и нанотехноло-гии, наделяют нас силой, позволяющей переделывать мир, однако реалистичный и неотвратимый сценарий, по которому появятся обладающие интеллектом роботы, сразил меня наповал.
Пресытиться информацией о таких достижениях довольно легко. Почти каждый день мы слышим в новостях о каких-нибудь прорывах в сфере технологии или науки. Однако предсказание Рея было не из числа привычных. В баре отеля Рей дал мне часть препринта своей книги «Эпоха одухотворенных машин», которая вот-вот должна была появиться. В этой книге Рей описывал предсказанную им утопию. По его мнению, в будущем люди станут почти бессмертными, слившись с роботизированной технологией. Чтение препринта книги Рея лишь усилило мою тревогу. Я был уверен, что он должен представлять себе все связанные с такой перспективой опасности и учитывать возможность плохого исхода.
Больше всего меня встревожил отрывок, в котором подробно излагался следующий дистопичный сценарий:
Новый луддитский вызов
Прежде всего давайте допустим, что специалисты по вычислительной технике преуспели в разработке разумных машин, способных делать все лучше человека. Предполагается, что при таких условиях вся работа будет выполняться многочисленными высокоорганизованными системами машин, и при этом в каких-либо усилиях со стороны человека не будет необходимости. Здесь становятся возможными два варианта. Машины могут получить разрешение принимать свои решения без вмешательства человека, либо человеческий контроль над машинами может быть сохранен.
Если машинам позволят принимать решения самостоятельно, мы не можем делать никаких предположений относительно результатов этих решений, поскольку предугадать действия таких машин невозможно. Подчеркнем лишь то, что судьба человечества в этом случае окажется во власти машин. Можно было бы утверждать, что человечество никогда не будет настолько глупым, чтобы передать машинам всю полноту власти. Однако мы не рассчитываем ни на то, что люди добровольно отдадут власть машинам, ни на то, что машины умышленно захватят власть. Мы как раз предполагаем, что человечество может с легкостью дойти до такой зависимости от машин, что у него не останется другого реального выбора, кроме как соглашаться со всеми решениями машин. По мере того как общество и проблемы, с которыми оно сталкивается, будут усложняться, а машины становиться все умнее и умнее, люди будут позволять машинам принимать за них все больше решений просто потому, что решения, принятые машинами, будут давать лучшие результаты, чем решения, принятые самими людьми. В конечном итоге может настать такой момент, когда решения, необходимые для поддержания системы в рабочем состоянии, достигнут такой сложности, что люди окажутся не способны принимать их. На этом этапе машины приобретут эффективный контроль. Люди просто не смогут выключить их, потому что их зависимость от машин будет настолько сильна, что отключение машин будет равнозначно самоубийству. С другой стороны, возможно, что люди сохранят контроль над машинами. В этом случае среднестатистический человек может контролировать определенные машины, находящиеся в его личном пользовании, например свою машину или свой компьютер, в то же время контроль над крупными системами машин будет находиться в руках крайне немногочисленной элиты — прямо как сейчас, но только с двумя отличиями. Благодаря улучшенной технологии элита приобретет больший контроль над массами, а поскольку человеческий труд перестанет быть необходимостью, массы станут ненужным, бесполезным бременем для системы. Если элита будет отличаться беспощадностью, она может просто решить ликвидировать большую часть человечества. Если элите будет свойствен гуманизм, она может воспользоваться пропагандой или другими психологическими либо биологическими приемами для сокращения уровня рождаемости до такого уровня, при котором большая часть человечества вымрет сама, оставив мир элите. Есть другой вариант. Если элита будет состоять из мягкосердечных либералов, они могут начать играть роль доброго пастыря по отношению к остальному человечеству. Они будут следить за тем, чтобы удовлетворялись физические потребности всех и каждого, чтобы все дети росли в психологически безопасных условиях, чтобы у каждого человека было полезное хобби и он не слонялся без дела, и чтобы каждый, если вдруг почувствует себя неудовлетворенным, получал соответствующее «лечение», помогающее ему выздороветь и избавиться от этой «проблемы». Разумеется, человеческая жизнь станет настолько бесцельной, что людей придется настраивать биологически или психологически, либо ликвидировать их потребность в обретении власти. Либо заставить их сублимировать стремление к власти в какое-нибудь безвредное увлечение. Возможно, эти управляемые человеческие существа и будут счастливы в таком обществе, однако почти точно можно сказать, что они не будут свободны. Людей сведут до уровня домашних животных.[182]
В книге этот отрывок дается так, что, лишь прочтя его целиком, вы узнаете, что его автор — Теодор
