Если ребёнок оказался умнее своих родителей и, став самостоятельным, достиг того, о чём они и не мечтали, то родители, вероятно, будут счастливы и горды им, даже если знают, что самим им не суждено всё это испытать. Родители очень умного человека, устроившего кровавую бойню, чувствуют себя иначе. Мы можем ощущать отношения родитель — ребёнок с ИИ, рассматривая его как наследника наших ценностей. Поэтому имеет огромное значение, станет ли будущая высокоразвитая жизнь хранить верность нашим идеалам.
Другой важный фактор — окажется переход постепенным или резким. Я подозреваю, что мало кто обеспокоен перспективами человечества. Люди за тысячелетия своей эволюции стали умнее, лучше приспосабливаются к изменяющейся окружающей среде и, возможно, меняют свой облик. С другой стороны, многие родители будут испытывать двойственные чувства, если узнают, что ребёнок, о котором они мечтали, будет стоить им жизни. Если технология не заменит нас внезапно, а будет модернизировать и совершенствовать нас, в итоге сливаясь с нами, то может быть обеспечено и сохранение целей, и постепенность, необходимые нам, чтобы рассматривать постсингулярные формы жизни в качестве потомков. Мобильные телефоны и интернет уже расширили наши возможности по достижению того, чего мы хотим, по-видимому, без существенного искажения наших главных ценностей. Так что адепты сингулярности верят, что то же самое будет и с мозговыми имплантатами, устройствами, управляемыми мыслью, и даже с полной загрузкой человеческого сознания в виртуальную реальность.
Более того, это открывает нам космос, последний рубеж. В конце концов, чрезвычайно развитая жизнь, способная распространиться во Вселенной, вероятно, может появиться лишь в результате двухстадиального процесса: сначала разумные существа развиваются в ходе естественного отбора, а затем решают передать факел жизни дальше, сконструировав более совершенное сознание, способное к дальнейшему самосовершенствованию. Освобождённая от ограничений, накладываемых человеческими телами, развитая жизнь может расцвести и в конце концов заселить большую часть наблюдаемой Вселенной. Эту возможность давно изучают писатели-фантасты, энтузиасты ИИ и мыслители-трансгуманисты.
Так наступит ли сингулярность в ближайшие десятилетия? Является ли она чем-то таким, чему мы должны противодействовать? Я думаю, надо честно сказать, что мы очень далеки от консенсуса по обоим вопросам, но это не значит, что разумно ничего не предпринимать. Сингулярность может стать лучшим или худшим событием, произошедшим с человечеством, так что если есть хотя бы 1 % вероятности, что сингулярность случится при нашей жизни, я думаю, разумно было бы потратить 1 % ВВП на изучение этого вопроса и принятие соответствующих решений. Так почему мы этого не делаем?
Глупость космического масштаба
Научная карьера открыла мне космическую перспективу, при которой остро необходимым кажется управление экзистенциальными угрозами (рис. 13.5). Нам, профессорам, приходится ставить оценки. Предположим, я бы читал начальный курс менеджмента риска и должен был бы поставить оценку за первый семестр человечеству, основываясь на том, как мы до сих пор управлялись с экзистенциальными угрозами. Вы, наверное, требовали бы, чтобы я поставил четыре на том основании, что человечество до сих пор не бросило курс. Но я, со своей космологической перспективы, считаю наши результаты неудовлетворительными и не могу поставить выше двойки: долгосрочный потенциал жизни — буквально астрономический, однако люди не имеют разумного плана касательно даже неотложных экзистенциальных угроз и уделяют разработке таких планов лишь ничтожную долю своего внимания. В сравнении с 20 млн долларов, потраченными в прошлом году Союзом обеспокоенных учёных (одной из крупнейших организаций, занимающихся, по крайней мере, некоторыми экзистенциальными угрозами), только Соединённые Штаты потратили почти в 500 раз больше на косметическую хирургию, почти в 1 тыс. раз больше на кондиционирование воздуха для военных, примерно в 5 тыс. раз больше на сигареты и примерно в 35 тыс. раз больше на военные нужды, не считая военного здравоохранения, содержания отставников и процентов по военным кредитам.
Рис. 13.5. Важность разумного отношения к экзистенциальным угрозам становится более очевидной в космической перспективе, поскольку в ней подчёркивается огромный потенциал, который мы рискуем потерять, если разрушим нашу цивилизацию.
Как мы можем быть такими недальновидными? Ну, допустим, эволюция подготовила нас в основном к технологиям вроде палок и камней и, вероятно, мы не должны удивляться, что обращаемся с современными технологиями так неумело, но мы могли хотя бы не усугублять ситуацию. Вот я сижу в большом ящике из дерева и камня и многократно нажимаю маленькие чёрные квадратики, глядя на светящийся прямоугольник перед собой. Я не встретил сегодня ни одного живого организма и часами сижу здесь, освещённый сверху люминесцентной спиралью. Я, несмотря на всё это, чувствую себя счастливым — вот доказательство того, насколько удивительно адаптивным мозгом наделила нас эволюция. (Как и тот факт, что я научился интерпретировать чёрные фигурки на светящемся прямоугольнике как слова, рассказывающие мне истории, и то, что я знаю, как вычислить возраст Вселенной, несмотря на то, что ни один из этих навыков не имел никакой ценности для моих пещерных предков.) Но из того, что мы умеем делать многое, не следует, что мы умеем всё необходимое. Внешние силы медленно меняли окружающую среду последние 100 тыс. лет, и эволюция помогала нам адаптироваться. Но недавно мы сами изменили нашу среду — слишком поспешно, чтобы эволюция могла за нами успеть. Мы усложнили её настолько, что и ведущим экспертам трудно до конца понять узкие аспекты. Так что не удивительно, что мы иногда теряем из виду общую картину и отдаём предпочтение краткосрочным удовольствиям, а не выживанию нашего «космического корабля». Например, эта светящаяся спираль над головой питается от сжигания угля, который превращается в углекислый газ, дающий вклад в перегрев нашего корабля, и сейчас, когда я об этом думаю, я вообще-то давно должен был бы её выключить.
Человеческое общество: научная перспектива
Итак, мы на космическом корабле «Земля», который направляется в астероидный пояс экзистенциальных угроз безо всякого плана и даже без капитана. Ясно, что надо что-нибудь с этим делать, но что должны представлять собой наши цели, как их лучше всего достичь? Вопрос «что» является этическим, а «как» — научным. И оба они имеют критическое значение. Перефразируя Эйнштейна, можно сказать, что наука без этики слепа, а этика без науки хрома. Однако, как подчёркивает мой друг Джефф Эндерс, существуют некоторые этические соображения, с которыми почти все согласны («Лучше, если не будет глобальной ядерной войны») — и при этом не ведётся никакой работы по их превращению в практически достижимые цели. Вот почему я поставил двойку за смягчение экзистенциальных угроз. Я думаю, нечестно списывать этот провал на трудности с этикой и вопросом что. Мне кажется, стоит начать с
