Вполне вероятно, что удержать ИИ в подчинённом состоянии окажется невозможным. Носители ИИ будут коммуницировать с нами и смогут нас изучить нас в достаточной мере, чтобы придумать, как уговорить нас сделать что-нибудь на первый взгляд безобидное — что, однако, позволит им вырваться из-под опеки и, распространяясь стремительно, как инфекция, взять над нами верх. Я сильно сомневаюсь, что мы сможем избежать поражения, учитывая, как тяжело нам даётся уничтожение даже сравнительно простых компьютерных вирусов.
Чтобы предупредить «побег» или лучше служить человеческим интересам, владелец может предпочесть добровольно передать власть тому, что исследователь ИИ Элиезер Юдковски назвал «дружественным ИИ», который независимо от уровня своего развития стремится приносить человечеству пользу, а не вред. Если так, то дружественные носители ИИ станут действовать как доброжелательные божества или смотритель зоопарка, следя, чтобы люди были накормлены, находились в безопасности и достигали самореализации, оставаясь при этом под твёрдым контролем. Если вся человеческая работа будет выполняться машинами под управлением дружественного ИИ, человечество может продолжать существовать более или менее счастливо — при условии, что необходимые продукты будут доставаться нам практически даром. Напротив, в сценарии, где сингулярностью управляет эгоистичный человек или коммерческая корпорация, вероятным результатом станет невиданная диспропорция в доходах, поскольку история учит нас, что большинство людей предпочитает накапливать богатство, а не делиться с другими.
Рис. 13.4. Если наступит сингулярность, всё будет зависеть от того, кто ею управляет.
Однако и лучшие планы рушатся. Ситуация с дружественным ИИ может оказаться неустойчивой, превратившись в конце концов в подконтрольную недружественному ИИ, цели которого не будут совпадать с человеческими, а действия приведут к уничтожению и самого человечества, и всего, что нам дорого. Такое уничтожение может быть скорее побочным эффектом, чем преднамеренным результатом: ИИ может просто захотеть использовать земные атомы для других целей, несовместимых с нашим существованием. Аналогия с тем, как мы сами обращаемся с иными формами жизни, не радует. Если мы хотим построить гидроэлектростанцию и оказалось, что в области затопления живёт некоторое число муравьёв, мы всё равно построим плотину. У нас нет особенной антипатии к муравьям, однако есть цели, которые мы считаем более важными.
Внутренняя реальность сверхразумной жизни
А что можно сказать о сознании и самосознании искусственного интеллекта или интеллектов? Будут ли они обладать внутренней реальностью? Если нет, то с любой практической точки зрения они будут как зомби. Из всех черт, присущих человеческой форме жизни, самой замечательной я считаю сознание. Насколько я понимаю, именно так Вселенная приобретает смысл, а если нашу Вселенную захватит форма жизни, лишённая этой черты, это окажется бессмысленным разбазариванием огромного пространства.
О природе жизни и сознания яростно спорят. Я считаю, что эти явления могут существовать в гораздо более общем смысле, а не только в известных нам примерах на углеродной основе. Я считаю, что сознание — это способ, каким информация ощущает, что её обрабатывают (гл. 11). Поскольку материя может быть организована так, чтобы обрабатывать информацию множеством способов самой разной сложности, предполагается большое разнообразие уровней и типов сознания. Конкретный тип сознания, который мы знаем субъективно, — это, в таком случае, явление, возникающее в отдельных, очень сложных физических системах, которые получают, обрабатывают, хранят и выводят информацию. Ясно, что если атомы могут быть собраны в людей, то законы физики также позволяют сконструировать гораздо более развитые формы жизни.
Поэтому я думаю, что если мы посредством сингулярности запустим в конце концов развитие более развитых сущностей, скорее всего они тоже будут иметь самосознание и должны будут рассматриваться не как машины, а как подобные нам сознательные существа. Однако их сознание может субъективно ощущаться совсем не так, как наше. Например, у них, вероятно, не будет присущего нам страха смерти: поскольку у них будут резервные копии самих себя, всё, что им может грозить — это потеря воспоминаний, накопленных с момента последнего бэкапа. Возможность легко копировать информацию и программное обеспечение между носителями ИИ, вероятно, ослабит чувство индивидуальности, которое характерно для человеческого сознания. Стало бы меньше различий между вами и мной, если бы мы могли легко копировать наши воспоминания и делиться способностями, так что группа соседствующих носителей ИИ может ощущать себя скорее как единый организм с целым ульем сознаний.
Если так, то появляется возможность примирить долгосрочное сохранение жизни с аргументом Судного дня (гл. 11): то, что кончается, — не сама жизнь, а только наш референтный класс, наблюдательные мгновения самосознания, которые субъективно ощущаются похожими на человеческие сознания. Даже если сложные ульеподобные сознания в течение миллиардов лет населяют Вселенную, мы не в большей мере должны удивляться тому, что не являемся ими, чем тому, что мы не являемся муравьями.
Реакция на сингулярность
Реакция людей на возможность сингулярности очень различается. У дружественного ИИ весьма почтенная история в научно-фантастической литературе, поддержанная тремя законами робототехники Азимова. Популярны и сюжеты, в которых ИИ перехитрил и атаковал своих создателей, как в фильмах о Терминаторе. Многие отмахиваются от сингулярности как от «мечты гиков», видя в ней сценарий, который вряд ли реализуется… и уж точно не реализуется в обозримом будущем. Другие думают, что это вполне может случиться и что если у нас не будет детального плана, может погибнуть не только человеческий вид, но и всё, что нам дорого. Я состою советником в Институте изучения искусственного интеллекта (http://intelligence.org), и многие его сотрудники рассматривают сингулярность как наиболее серьёзную угрозу нашего времени. Некоторые из них думают, что если нельзя гарантировать реализацию варианта с дружественным ИИ по Юдковски и др., то лучше держать ИИ под надёжным человеческим контролем или вовсе не улучшать ИИ.
До сих пор мы обсуждали негативные последствия сингулярности. Рэй Курцвейл, напротив, считает сингулярность огромным благом и даже лучшим, что может случиться с человечеством, поскольку она решит все нынешние человеческие проблемы.
Вдохновляет или ужасает вас идея
