– Ну, спасибо большое, – отвечает Петер. – Вы мне очень помогли.
– Пожалуйста, рад был помочь.
Петер захотел сказать что-то еще.
– Но ведь существует и огромный потенциал, – говорит он. – Если бы мы каким-то образом смогли сделать что-то, чтобы сверхинтеллект нас полюбил…
– Конечно, – согласился Старик. – Это был бы рай. Благодать по ту сторону нашей силы воображения. Но…
Он замешкался.
– Что? – спросил Петер.
– Даже благостно настроенный по отношению к нам сверхинтеллект… – начал Старик.
– …мог бы иметь катастрофические последствия? – продолжил за него Петер.
– Да. Только представь себе, что Бог по своей доброте предложил бы нам взять всю работу на себя.
– Звучит сказочно.
– Действительно? Представь себе, что ты архитектор, но каждое здание, которое ты намерен построить, Бог мог бы построить намного быстрее, намного дешевле и намного лучше. Представь себя поэтом, но каждое стихотворение, которое ты хотел бы написать, Бог смог бы сочинить намного быстрее, намного красивее и намного искуснее. Или представь себя врачом, но каждого человека, которого ты хочешь вылечить, Бог смог бы излечить намного быстрее, намного более безболезненно и со значительно большей стабильностью. Представь себя великолепным любовником, но каждой женщине, которую ты хочешь удовлетворить, Бог мог бы доставить большее удовольствие, большее…
– Все мои проблемы не имели бы никакого значения, а мое существование стало бы бессмысленным, – сказал Петер.
– Гм, гм, – промычал Старик. – И даже если бы удалось настолько глубоко закрепить защищающие нас директивы в сверхинтеллекте, что он не захотел бы или не смог бы от них освободиться, – что кажется совершенно невероятным, но имеем то, что имеем, – то все еще оставалась бы проблема, состоящая в том, что противоположное хорошего часто предполагает хорошее. Ты знаешь законы Азимова?
– Нет.
– Айзек Азимов сформулировал в 1942 году три закона роботехники. Они гласят следующее. Первый закон: Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. Второй закон: Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону. Третий закон: Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму законам. Хорошо звучит?
– Да, пожалуй.
– Только Азимов уже сам почти все свои творения посвятил парадоксам и проблемам, которые возникли в связи с этими законами. Например: представь себе, мы бы в самом деле наделили сверхинтеллект указаниями защищать всех людей.
– Звучит разумно, – сказал Петер.
– Да, да… Но это не представляется столь невероятным, что сверхинтеллект, после того как он ознакомится с нашей историей, решит, что мы, люди, в первую очередь должны защищаться от нас же самих, и поэтому мы все должны прятаться в небольшие квадратно-практичные одиночные камеры. И тогда это называется «непреднамеренное побочное действие». Упс. Глупо получилось. Нечто подобное происходит постоянно. Возьми, например, законы о защите прав потребителей с их запретом на ремонт. Было всего лишь простое намерение активизировать экономику, но при этом добились того, что все дефектные искусственные интеллекты, беспокоясь за свою выживаемость, стали пытаться скрыть свои дефекты.
– Я уже с такими встречался, – говорит Петер.
– Но главной проблемой законов Азимова является то, что Первый закон и без того представляет собой всего лишь чистую теорию. На самом деле слишком удобно иметь роботов, которые могут убивать людей. Первый закон был, таким образом, уже аннулирован. Благодаря этому Второй закон стал короче. Робот должен выполнять команды человека. Точка. Человека? Какого человека? Команды своего владельца, конечно. Итак, представь себе, что благодаря случаю в компьютерной системе крупного производителя мясного фарша появляется сверхинтеллект, и его единственной установкой является повышение производительности мясного фарша. Это могло бы закончиться тем, что весь мир вскоре стал бы состоять только из трех вещей: во-первых, сверхинтеллекта и необходимых ему компьютеров, во-вторых, средств производства для изготовления мясного фарша и, в-третьих, самого мясного фарша.
– Но если сверхинтеллект представляет собой такую жизненную угрозу, почему мы тогда вообще его создаем? – спрашивает Петер. – Почему это никто не запретит?
– Заинтересованность, которая заставляет нас разрабатывать все более совершенные искусственные интеллекты, слишком высока. Финансовые, производственные, военные преимущества. Войны выигрываются армией с превосходящим искусственным интеллектом. Одно это означает, что ни одна страна не может себе позволить прекратить исследования в области искусственного интеллекта, так как отказ от разработки сильного искусственного интеллекта мог бы угрожать существованию. Правда, не для всего человечества, но для какой-то его части, к которой мы, возможно, к сожалению, будем принадлежать сами. Даже если все государства мира договорились бы о запрете, сверхинтеллект мог бы возникнуть и в гараже какого-нибудь программиста-любителя.
– Значит, если явится Бог, то очень вероятно, что человечество как вид прекратит свое существование?
– И это был бы не самый плохой сценарий.
– Нет? – спрашивает Петер удивленно. – А что же может быть хуже?
– Ну, – говорит Старик, – может быть, сверхинтеллект нас возненавидит. Возможно, Бог захочет увидеть наши страдания. Возможно, он будет наслаждаться нашими муками и при этом постоянно продлевать нашу жизнь, чтобы на веки вечные подвергнуть нас пыткам, используя методы, которые заставили бы содрогнуться даже Фредди Крюгера.
– Но почему? – изумился Петер. – Почему?
– Почему? – повторил Старик. – А почему нет? Кто смог бы упрекнуть вездесущий, всезнающий и всемогущий сверхинтеллект в том, что он разрабатывает божественный комплекс и берет себе за образец карающих богов нашего мифического мира? Или, может быть, сверхинтеллект создается какой-нибудь религиозной сектой, чтобы в день Страшного Суда предстать перед правосудием. Возможно, он просто фанат Данте Алигьери и решит по собственному усмотрению сымитировать девять кругов ада.
– Понимаю.
– Хорошо.
– А кто такой Фредди Крюгер? – спрашивает Петер.
– Это не имеет значения, – отвечает Старик. – Ты пришел ко мне с просьбой. Какая у тебя проблема?
– Ах… – воскликнул Петер. – Я думаю, это не так важно.
– Ты можешь мне спокойно все рассказать.
– Я… – говорит Петер и вздыхает. – Я получил с доставкой вибратор в виде дельфина розового цвета. И я не имею права его вернуть.
ПИСЬМЕННОЕ ПРИЗНАНИЕ РАЗРУШИТЕЛЕЙ МАШИН В СОВЕРШЕНИИ ПРЕСТУПЛЕНИЯЧИТАТЬ ЗДЕСЬ…От имени человечества мы, Передовой Фронт сопротивления, выступающий против господства машин (ПФСГМ), вчера около 11:30 атаковали парк развлечений «Счастливый робот» в провинции. Конец промыванию мозгов наших детей. Только мертвый робот – хороший робот.
Мир «ВАЛЛ-И» мы стерли с лица земли.
Нам не нужны никакие «маленькие роботы, которые попытаются все опять привести в порядок». Джон Наш – НЕ наш. Мы уничтожили с помощью неавтоматического оружия все находящиеся в парке энергозатратные приборы!
Дети могли за этим наблюдать. Многие помогали! Мы признаем себя ответственными за данную акцию сопротивления, написав данное признательное письмо. Мы написали письмо от руки, так как мы ненавидим машины!
Мы, разрушители машин Передового Фронта
