Расслабьтесь. Шансы, что искусственный интеллект, вооруженный Верховным алгоритмом, захватит мир, равны нулю. Причина проста: в отличие от людей компьютеры не обладают собственной волей. Они порождение инженеров, а не эволюции. Даже бесконечно мощный компьютер будет всего лишь продолжением нашей воли, и бояться нам нечего. Вспомните три обязательных компонента обучающихся алгоритмов: представление, оценка и оптимизация. Представления алгоритма машинного обучения очерчивают то, чему он может научиться. Давайте сделаем его мощным, как марковская логика, чтобы он в принципе мог узнать все. Оптимизатор делает все, что в его силах, чтобы максимизировать функцию оценки — не больше и не меньше, — а саму функцию оценки определяем мы. Мощный компьютер просто будет оптимизировать ее лучше. Нет риска, что алгоритм выйдет из-под контроля, даже если он генетический. Выведенная система, которая делает не то, что мы хотим, окажется крайне неприспособленной и вскоре вымрет. Более того, именно системы, которые умеют хоть немного лучше выполнять наши желания, станут поколение за поколением множиться и захватывать пул генов. Конечно, если человечество окажется настолько глупым, чтобы специально запрограммировать компьютер поработить его, оно, может быть, получит по заслугам.
То же самое относится ко всем системам искусственного интеллекта, потому что они — прямо или косвенно — состоят из тех же трех компонентов. Они могут делать самые разные вещи и даже придумывать неожиданные планы, но только для достижения целей, которые мы перед ними поставим. Робот, запрограммированный для того, чтобы «приготовить хороший ужин», может пожарить стейк, сварить буйабес и даже порадовать вкуснейшим блюдом собственного изобретения, но шанс, что он специально отравит своего хозяина, не больше, чем то, что автомобиль вдруг решит взлететь. Задача систем искусственного интеллекта — находить решения NP-полных проблем, которые, как вы, может быть, помните из главы 2, могут занимать экспоненциальное время, но всегда эффективно проверяемы. Поэтому мы должны с распростертыми объятиями встречать компьютеры, которые несравнимо мощнее нашего мозга, спокойно осознавая, что наша работа экспоненциально легче, чем их. Им придется решать проблемы, а нам — просто проверять, что они сделали для нас. Искусственный интеллект будет думать быстро там, где мы думаем медленно, и мир от этого станет только лучше. Лично я буду очень рад нашим новым слугам — роботам.
В опасениях, что разумные машины возьмут верх, нет ничего удивительного, потому что единственные известные нам разумные сущности — люди и другие животные, и у них, несомненно, есть собственная воля. Однако разум и воля не обязательно должно быть связаны, или, точнее, они не обязательно будут находиться в том же самом организме при условии, что между ними проходит линия контроля. В книге The Extended Phenotype[112] Ричард Докинз показывает, что природа изобилует примерами генов, власть которых выходит за пределы организма животного, — от кукушечьих яиц до бобровых хаток. Технологии — расширенный фенотип человека, то есть мы можем управлять ими, даже если их сложность намного превышает наше понимание.
Давайте перенесемся на 2 миллиарда лет назад и представим, как две нити ДНК купаются в своем бассейне — бактериальной цитоплазме — и обдумывают историческое решение. «Мне не по себе, Диана, — говорит одна. — Если мы начнем создавать многоклеточные создания, не возьмут ли они верх?» Вернемся в XXI век: ДНК живет и здравствует — ей даже лучше, чем когда бы то ни было, потому что отчасти она населяет безопасные двуногие организмы, состоящие из триллионов клеток. Наши крошечные друзья — двойные спирали — прошли довольно большой путь с момента того памятного решения. На данный момент люди оказались самыми хитрыми созданиями: они изобрели контрацепцию, которая позволяет развлекаться, не распространяя нашу ДНК, и у них есть — если это не иллюзия — свободная воля. Но именно ДНК по-прежнему формирует наши представления о развлечениях, а свободную волю мы используем, чтобы гнаться за удовольствиями и избегать боли, а такое поведение в основном совпадает с тем, что выгодно для выживания нашей ДНК. Мы можем стать для ДНК последним этапом развития, если предпочтем сделаться кремниевыми существами, но даже в таком случае история этой молекулы длилась целых 2 миллиарда лет. Сегодня перед нами похожее решение: если начать работать над искусственным интеллектом — обширным, взаимопереплетенным, сверхчеловеческим, непостижимым, — не возьмет ли он верх? Не более чем огромные и непостижимые многоклеточные организмы взяли верх над генами. Искусственный интеллект — это наш инструмент выживания, точно так же как мы сами — инструмент выживания для наших генов.
Все это не значит, однако, что нам не о чем беспокоиться. Первая большая опасность, как в случае любой технологии, — то, что искусственный интеллект может попасть в плохие руки. Чтобы какой-нибудь шутник или преступник не запрограммировал искусственный интеллект захватить мир, лучше организовать ИИ-полицию, способную выловить и стереть его до того, как все зайдет слишком далеко. Лучшая страховка против буйства мощного искусственного интеллекта — еще более мощный искусственный интеллект, поддерживающий мир на планете.
Второй повод для беспокойства — вероятность, что люди сами, добровольно сдадут власть. Все начнется с предоставления прав роботам: далеко не всем это кажется так же абсурдным, как мне. В конце концов, мы ведь уже дали права животным, хотя они нас об этом не просили. Права роботов могут показаться логичным этапом в расширении «круга эмпатии». Почувствовать сострадание к ним несложно, особенно если их специально разработали, чтобы вызывать такие чувства: в этом преуспели даже тамагочи, японские «виртуальные питомцы» с тремя кнопками и жидкокристаллическим дисплеем. Гонка за наращивание эмпатии начнется с первого появившегося в продаже человекообразного робота, потому что они будут продаваться намного лучше, чем обычные металлические. Дети, воспитанные роботами-нянями, на всю жизнь сохранят слабость к добрым электронным друзьям. Эффект «зловещей долины» — дискомфорт, который вызывают существа, почти, но не совсем идентичные человеку, — будет им незнаком, потому что они с детства знакомы с причудами роботов, а в подростковом возрасте, может быть, для крутости будут даже им подражать.
Следующий этап ползучей передачи власти искусственному интеллекту — разрешить ему принимать вообще все решения: он ведь гораздо умнее. Здесь надо быть очень осторожным. Может быть, компьютеры и правда умнее нас, но они служат тому, кто разработал их функции оценки. Это проблема «Волшебника страны Оз». В мире разумных машин надо будет постоянно следить за тем, чтобы они делали ровно то, что от них требуется, причем и на входе (целеполагание), и на выходе (проверяли, выдала ли машина то, что от нее просили). Если этого не сделаете вы сами, сделает кто-то другой. Машины могут помочь человечеству осознать свои желания, но самоустранившийся проигрывает: совсем как при демократии, но в еще большей степени. Об этом не принято говорить, но человек довольно легко попадает в подчинение, а ведь любой достаточно развитый искусственный интеллект неотличим от бога, и, возможно, никто не станет возражать против приказов какого-то огромного непогрешимого компьютера. Вопрос в том, кто надзирает за надзирателем. Будет ли искусственный интеллект путем к совершенной демократии или к тотальной диктатуре? Пора начать вечное дежурство.
Третий и, наверное, самый серьезный повод для беспокойства — то, что, как джинн из сказки, машины начнут давать нам то, чего мы просим, а не то, чего мы на самом деле хотим. Это не гипотетический сценарий: обучающиеся алгоритмы постоянно так поступают. Мы обучаем нейронные сети узнавать лошадей,
