— Оно не знает, что существует, — я это отключил.
Потихоньку Макса осенило.
Возможно, в этой штуковине скрыт больший потенциал, и это совсем не игрушка…
— Итак, ты утверждаешь, что мог наделить его… самосознанием?
— Верно. Но туда заложена целая куча разных систем и приложений, способных работать и без него, гибкая настройка… — Уилл снова надел очки, в его голосе опять зазвучало вдохновение. — По сути, я соединил в общую сеть все суперкомпьютеры университета и написал программульку — поискового робота, который добывает инфу из Интернета и передает ее в модель коры человеческого мозга.
Модель коры головного мозга человека. Уилл говорил и говорил, а взгляд Макса блуждал по разложенным по всей комнате стопкам книг и бумаг. На корешках в одной из кип он прочел названия: «Нервная система», «Введение в нейрологию», «Интерполяция нейросигналов». Плюс набор учебных пособий, связанных с разработками ИИ.
Макс знал, что отец Уилла — профессор информатики и вычислительной техники, потом смутно вспомнил, что мать вроде бы работает на кафедре неврологии. Очевидно, Уилл не только влез в родительскую библиотеку, но сделал больше: объединил их области знаний. Причем успешно.
Он сделал это!
— …И потом, оно должно быть достаточно мощным для применения любых экспертных систем, — продолжал Уилл. — Оно будет совершенно для имитации программного агента справочной системы. Только представь себе: автоматический телефонный оператор, который на самом деле тебя понимает!
Наконец Уилл умолк и выжидательно улыбнулся Максу, явно готовый к воплям радости и восхищения.
Но эту стадию Макс уже прошел.
Теперь он прокручивал в голове разные возможности. Уилл расколол орешек, который был не по зубам самым выдающимся ученым на протяжении шестидесяти лет. Он создал действующую модель человеческого разума — искусственный интеллект.
Уилл сделал свое Великое Открытие в нежном возрасте семнадцати лет.
Но кое-что из сказанного им беспокоило Макса.
Оно не знает, что существует, — я это отключил.
Что скажешь, когда тебе показывают первую в мире лампочку накаливания, но не включают ее? Что ответишь тому, кто взволнованно перечисляет 1001 способ ее применения, кроме освещения? Уилл уже был невероятно близок к решению задачи. Просто немного не довел ее до конца. А самое поразительное — он сделал это
Макс не смог сам угадать причину. Пришлось спросить:
— Почему бы не завершить работу?
Радостная улыбка Уилла превратилась в смущенную.
— Что?
— Почему бы не дать ему личность? Сознание.
Уилл пожал плечами:
— Это будет неэтично.
Но Макс видел расстроенный взгляд друга. Да, Уилл очень хотел это сделать. Он жаждал творить историю. Его просто надо было чуток подтолкнуть.
— Уилл, слушай, я не предлагаю лезть в это дело бездумно и в грязных сапогах. Как только устройство начинает осознавать себя — это больше не пустая железяка. Здесь мы говорим уже о приходе в мир новой
Уилл кивнул в ответ.
— Согласен, это безумство. И не будет легко и просто. Но это — открытие века, Уилл. Возможно, рассвет новой эры! — Макс говорил, прослеживая цепочки рассуждений и логических выводов, причин и следствий, как позитивных, так и негативных. Мысленным взором он унесся от Уилла вдаль, к тому, что затмевало все их прежние переживания. — Конечно, риск есть. Мы создаем новую жизнь. Но сотни младенцев рождаются каждый день, многие в ужасных условиях. Некоторые не доживают до своего второго дня рождения. Болезни, голод, отсутствие элементарного обучения, а сколько брошенных детей?! — Макс снова посмотрел на Уилла. — В нашем случае о многих этих проблемах даже думать не придется. Твое создание не ест, не простужается, да и обучил ты его уже по полной интернетовской программе. Все, что нам надо делать для развития этого ИИ, — не отказываться от него.
Уилл смотрел прищурившись, словно Макс был не в фокусе.
Макс осознал странность происходящего. Можно сказать, что Уиллу в большинстве случаев при решении каких-либо задач не приходилось думать — ответ как бы материализовывался перед ним, будто в его круглых очках помещался дисплей некоего мощнейшего вычислителя. Но друзья редко говорили о философии или этике. Видимо, в этой области Уиллу достались какие-то иные (и слегка заторможенные) способности.
Наконец Уилл заговорил:
— Как насчет безопасности? От других людей, я имею в виду.
Теперь уже Макс был обескуражен. Уилл продолжал:
— Что если наш искусственный разум окажется злобным?
Максу пришлось объяснить ему примерно следующее.
Злобный ИИ являлся исходным условием для слишком многих плохих фантастических фильмов и, к сожалению, также и нескольких хороших. Хорошие фильмы были хороши, потому что показывали, сколь вероятным могло оказаться исходное условие.
— Вопрос по существу, — добавил Макс. — Какой самый ужасный кошмар может приключиться?
Уилл задумчиво смотрел на товарища, и тогда Макс выдал сценарий самого тяжелого случая из одного из лучших, с его точки зрения, НФ-фильмов.
— Мог бы он, скажем, взломать систему военных компьютеров и начать последовательно запускать все ядерные ракеты?
Уилл ответил, покусывая ноготь большого пальца:
— Вовсе нет. Симулятор мозга не имеет доступа к низкоуровневым операциям микропроцессора, он может, конечно, выполнять расчеты, но делает это органически, естественно, как мы. Он недостаточно скоростной, чтобы взламывать защитные системы, подбирать пароли и все такое…
— Тогда в чем же опасность? — спросил Макс.
Уилл пожал плечами:
— Думаю, он в безопасности.
Однако казалось, что он не стремится приняться за работу. Макс на секунду задумался и снова натолкнулся на вопрос, который собирался задать раньше:
— Ладно, значит, ты смоделировал человеческий мозг…
Уилл кивнул.
— Почему же он не обрел самосознание просто по своей природе?
Уилл снова занервничал.
— Я отключил несколько физических структур мозга. Те части, которые отвечают за… самосознание.
Следующий вопрос Макса выскользнул, прежде чем он успел закрыть рот:
— А отключение самосознания этично?
И тут же пожалел. Уилл отвернулся и стал энергично мерить шагами комнату, его длинные ноги пересекали небольшое помещение всего за три шага. Теперь Макс болезненно осознал, почему переживал Уилл: он бился над этим вопросом с самого начала. Проблема не давала ему покоя.
И ясно почему. В попытке соблюсти этические нормы Уилл, возможно, нанес больший вред. Смоделировал целый разум просто замечательно, но одна его часть оказалась неправильной, в каком-то смысле увечной. Не напоминает ли это одну из ужасных историй, где ребенка держат в подвале на цепи, никогда не разговаривают с несчастным созданием, лишь кидают ему скудные объедки? Если эти дети не
