Несмотря на то, что холодная война закончилась, риск ядерного конфликта в последние годы, по-видимому, снова вырос. Неточные, но мощные межконтинентальные баллистические ракеты (МБР) поддерживали стабильность «гарантированного взаимного уничтожения». Улучшение наведения у ракет, сокращение их подлётного времени и усовершенствование систем слежения за подводными лодками ведёт к нарушению такой стабильности. Россия и Соединённые Штаты придерживаются стратегии запуска после предупреждения о ракетном нападении. Она требует, чтобы решение об ответном ядерном ударе принималось в течение 5–15 минут, когда может ещё не быть полной информации о происходящем. 25 января 1995 года Борис Ельцин был в шаге от решения о полномасштабном ударе по Соединённым Штатам из-за неопознанной норвежской исследовательской ракеты. Вызвал беспокойство американский проект по замене на подводных лодках «Трайдент» у 2 из 24 баллистических ракет D5 ядерных боеголовок обычными для возможного использования против Ирана или Северной Кореи. Российские системы раннего оповещения не смогли бы отличить их от ядерных ракет, что увеличило бы опасность. Вызывает тревогу также вероятная психическая неуравновешенность командиров и (или) их радикальные политические либо религиозные взгляды.
Но к чему беспокойство? Ясно же, что когда дойдёт до дела, разумные люди вмешаются и всё сделает правильно, как уже бывало. Ядерные державы предпринимают серьёзные контрмеры, как наш организм — против рака. Тело способно справляться с изолированными вредоносными мутациями, и, по-видимому, требуется случайное совпадение минимум четырёх мутаций, чтобы спровоцировать развитие рака некоторых типов. И всё же, если бросать кости достаточное число раз, неприятность случается. Стэнли Кубрик в мрачной комедии «Доктор Стрейнджлав» иллюстрирует такое совпадение.
Случайная ядерная война между двумя сверхдержавами может случиться в течение моей жизни — или не случиться. Если это произойдёт, очевидно, всё изменится. Изменения климата, о которых мы сейчас тревожимся, блёкнут на фоне ядерной зимы, при которой пылевое облако на целые годы закроет Солнце, как бывало при падении астероидов или извержении супервулканов, в прошлом вызывавших массовые вымирания. Экономические неурядицы 2008 года были, конечно, ничем в сравнении с неурожаем в глобальном масштабе, коллапсом инфраструктуры и массовым голодом. Ожидаю ли я увидеть всё это своими глазами? Я бы оценил вероятность этого сценария примерно в 30 %, что в первом приближении соответствует вероятности заболеть раком. При этом мы гораздо меньше внимания и ресурсов уделяем снижению риска ядерной катастрофы (по сравнению с раком). Даже если 30 % людей заболеет раком, то остальное человечество уцелеет, а перспективы цивилизации при ядерном Армагеддоне гораздо менее очевидны. Есть конкретные, ясные шаги, направленные на снижение риска ядерного конфликта, и они описаны в многочисленных научных докладах. Однако это никогда не становилось важной предвыборной темой и по большей части игнорируется.
Недружественная сингулярность
Промышленная революция дала нам машины сильнее нас. Информационная революция породила машины умнее нас в некоторых отношениях. Каких именно? Компьютеры обычно превосходят нас только в простых, требующих «грубой силы» когнитивных задачах, таких как быстрые арифметические вычисления или поиск в базе данных. Однако в 2006 году компьютер одолел чемпиона мира по шахматам Владимира Крамника, а в 2011 году положил на лопатки Кена Дженнингса в телевикторине Jeopardy![96] В 2012 году компьютер получил водительскую лицензию в штате Невада, после того как было доказано, что он безопаснее водителя-человека. Как далеко это зайдёт? Превзойдут ли нас компьютеры по всем задачам, выработав сверхчеловеческий интеллект? У меня мало сомнений в том, что это может случиться: наш мозг — это совокупность частиц, подчиняющихся законам физики, и нет физического закона, запрещающего частицам организоваться так, чтобы выполнять ещё более сложные вычисления. Но случится ли это, и будет ли это хорошо? Вопросы очень своевременные: хотя некоторые считают, что машины со сверхчеловеческим интеллектом в обозримом будущем построить нельзя, другие, например американский изобретатель и писатель Рэй Курцвейл, предсказывают их появление уже к 2030 году, что делает данную угрозу требующей неотложного рассмотрения.
Идея сингулярности
В общем, неясно, появятся ли (и должны ли появиться) сверхразумные машины, и эксперты по искусственному интеллекту расходятся во мнениях по этому вопросу. Но, я думаю, совершенно ясно, что если такое случится, последствия будут взрывоподобными. Почему это так, объяснил британский математик Ирвинг Гуд в 1965 году, за два года до моего рождения: «Определим сверхразумную машину как такую, которая может превзойти сколь угодно умного человека в любой интеллектуальной деятельности. Поскольку конструирование машин является одним из видов такой интеллектуальной деятельности, сверхразумная машина может сконструировать машины, которые окажутся ещё лучше. Тогда, несомненно, произойдёт „интеллектуальный взрыв“, и интеллектуальный уровень человека останется далеко обойдён. Таким образом, первая сверхразумная машина станет последним изобретением, которое человеку когда-либо понадобится сделать — при условии, что эта машина будет достаточно покорной и покажет нам, как держать её под контролем».
В заставляющей задуматься статье 1993 года математик и писатель-фантаст Вернор Виндж назвал этот интеллектуальный взрыв сингулярностью и доказывал, что это будет точка, за которой мы не сможем делать надёжных предсказаний.
Я думаю, что если мы и сможем построить сверхразумные машины, то первая из них будет очень сильно ограничена в возможностях тем программным обеспечением, которое мы напишем, и что мы компенсируем наш недостаток понимания того, как оптимально запрограммировать интеллект, создав аппаратное обеспечение, обладающее значительно большей вычислительной мощностью, чем наш собственный мозг. В конце концов, наши нейроны не лучше и не многочисленнее, чем у дельфинов, просто по-другому соединены, а значит, программное обеспечение может иногда быть важнее аппаратуры. Эта ситуация, вероятно, позволила бы первой машине радикально совершенствоваться, переписывая собственное программное обеспечение. Иными словами, в то время как людям понадобились миллионы лет эволюции, чтобы радикально улучшить свой интеллект, эта эволюционирующая машина смогла бы воспарить над интеллектом своих предков, то есть нас, за считанные часы, если не за секунды.
И после этого жизнь на Земле навсегда изменится. Тот (или то), кто будет контролировать эту технологию, быстро станет самым богатым и могущественным, обыгрывая все финансовые рынки и превосходя в изобретениях и патентах всех учёных-людей. Создавая радикально лучшее аппаратное и программное обеспечение для компьютеров, такие машины могли бы быстро наращивать свою мощность и численность. Вскоре были бы изобретены технологии, выходящие за рамки нашего нынешнего воображения, включая любое оружие, которое покажется необходимым. А дальше настал бы черёд политического, военного и социального управления миром. С учётом того, насколько серьёзное влияние оказывают сегодня книги, СМИ и интернет, я полагаю, что машины смогли бы превзойти в публицистике миллиарды самых талантливых людей, покорив наши сердца и умы без всякого подкупа или завоевания.
Кто контролирует сингулярность?
Если наступит сингулярность, как она повлияет на человеческую цивилизацию? Конечно, мы не можем знать
