Конституция США — это компьютерная программа, в которой описаны наши желания; в таком случае отцы-основатели сделали то, что мы сейчас считаем ошибкой в определении, и мы потеряли более 600 000 жизней, прежде чем Тринадцатая поправка исправила эту ошибку. Подобным образом мы создали систему фондовых бирж, дающую нам возможность создавать пузыри, которые уже не раз лопались. Эти проблемы имеют важное значение для проектирования систем; мир сложен, и в нем непросто действовать.
Теперь коротко расскажу об автономности. Если системы ИИ действуют независимо, то они способны допускать ошибки, которых могли бы избежать, если б в контур был включен человек. Опять же это разумное замечание не относится исключительно к искусственному интеллекту. Возьмем нашу систему автоматических светофоров, которая заменила регулировщиков-людей, как только число машин стало столь большим, что возникла нехватка полицейских. Она допускает отдельные ошибки, но это считается разумным компромиссом. Мы и впредь будем идти на компромиссы при развертывании автоматизированных систем. В какой-то момент мы можем увидеть повсеместный рост разнообразных машин, которые вытесняют людей, что, вероятно, приведет к росту безработицы и неравенству доходов, — для меня это важнейшая проблема будущего развития систем ИИ. В технологических революциях прошлого — сельскохозяйственной и промышленной — менялся характер работы, но изменения происходили в течение жизни поколений, а не за несколько лет, что всегда приводило к появлению новых профессий, заменяющих старые. Мы можем переживать более быстрые потрясения, которые способны изменить само понятие постоянной работы (оно, кстати, существует всего-то несколько веков).
Постоянная работа защищает от перемен, гарантируя работнику стабильный источник дохода, при том что он вполне мог бы зарабатывать больше, будь они фрилансером или предпринимателем. В свою очередь, работодателю, вероятно, не нужен работник в течение всего года, но он готов платить за стабильный доступ к необходимым кадровым ресурсам. Таким образом, постоянная занятость обеспечивает стабильность, но не вполне оптимальна для обеих сторон. Если работников повсеместно заменить автоматами, то нам потребуется способ для восстановления этой стабильности.
Еще одна проблема — универсальность разумных машин. В 1965 году британский математик Ирвинг Джон Гуд написал, что «сверхразумная машина сможет создавать еще более умные машины; вне всякого сомнения, произойдет „взрыв разума“, а разум человека останется далеко позади. Таким образом, сверхразумная машина — это последнее изобретение, которое когда-либо совершит человек»{6}. Реальность оказалась немного сложнее.
Как вид мы, конечно, ценим разумность (в названии Homo sapiens есть это слово), но в реальном мире она — лишь одно из качеств. Самые умные люди не всегда самые успешные; мы не всегда принимаем наиболее мудрые меры. Недавно я целый час читал про Ближний Восток и много думал. И я не нашел решения. Теперь представьте гипотетическую Форсированную сверхразумную машину (такую, как у Ника Бострома), которая может думать как самый умный из людей, но в тысячу раз быстрее. Сомневаюсь, что и она найдет решение. Теория сложности вычислений обнаруживает широкий класс проблем, непосильных для разума — в том смысле, что, независимо от того, насколько вы умны, ни один из подходов не будет лучше перебора всех возможных решений. Для решения таких проблем не хватит никакой вычислительной мощности.
Конечно, есть множество ситуаций, в которых вычислительная мощность действительно нужна. Если я хочу смоделировать движение миллиардов звезд в Галактике или начать конкурировать на высокоскоростных биржах, то помощь мне не помешает. Компьютеры как таковые — это инструменты, встраиваемые в определенные ниши для решения задач социальных механизмов, которые мы создаем. Искусственный интеллект — просто еще одно изобретение, изменяющее социум, как тот же двигатель внутреннего сгорания, лопата, канализация или кондиционирование воздуха. Надо думать о том, как создать механизмы, которые упростят решение проблемы сложности мира. Надо проявлять осторожность при использовании систем ИИ, потому что у них случаются неполадки. В равной степени надо проявлять осторожность и при использовании систем без ИИ, потому что у и них случаются неполадки. Я не скажу уверенно, какие системы в целом безопаснее и надежнее — с ИИ или без него. Я предлагаю использовать инструменты, которые лучше всего подходят для конкретной задачи, независимо от того, есть на них наклейка «ИИ» или нет.
Машины, которые рассказывают истории
Умение рассказывать и понимать истории — главная отличительная черта человеческого ума. Если принять это, становится понятно, почему в стремлении к более совершенной вычислительной теории человеческого разума исследователи пытаются научить компьютер рассказывать и понимать истории. Но надо ли нам пожелать им успеха в этом начинании?
Учебники по писательскому мастерству всегда делают упор на то, что писать хорошие истории — значит сначала их прочитать, и прочитать много. Начинающим авторам советуют погрузиться в великие истории, чтобы постепенно выработать глубокое, не обязательно осознанное понимание того, как они работают. Люди учатся рассказывать истории, изучая то, как это делали когда-то давно, а потом — если у них достаточно воображения — делают так,
