разорительно — и наши институты управления непригодны для решения такого рода проблем. Наша цивилизация — это агрессивно разрастающаяся воронка энтропии, которая разрушает на своих границах больше, чем создает в центре.
ИИ может сделать эти деструктивные тенденции более эффективными, а следовательно, более катастрофическими, равно как может помочь нам решить экзистенциальные проблемы нашей цивилизации. Создание благонамеренного искусственного интеллекта тесно связано с задачей построения общества, обеспечивающего правильную мотивацию своих элементов. Наступление новой эпохи мыслящих машин может заставить нас в корне пересмотреть наши институты управления, распределения и производства.
Звери острова ИИ
Когда-то на удивительных неизвестных землях средневековых карт жили разные существа. Эти животные были порождены причудливой комбинацией слухов и недомолвок: безголовые люди с лицом на торсе или люди, у которых человеческие черты смешаны с чертами льва или собаки, — своеобразное связующее звено между человеком и животным. Они были выражением страхов и надежд относительно того, что находится за гранью изведанного. Сегодня мы представляем себе мыслящие машины.
Помимо самосознания, воображаемые звери с острова ИИ владеют способностями к вычислению и предсказанию, свободой мысли и всей информацией, которую собрали их создатели. Пессимисты опасаются, что эти машины могут рассмотреть наше дело и вынести нам смертельный приговор. Оптимисты надеются, что ИИ будут руководствоваться благими намерениями и способствовать просвещению и спокойствию людей.
Ни одна из версий столкновения с самостоятельным рукотворным разумом не выглядит основательной. Это не значит, что они как таковые неинтересны. Старые карты рисовались во времена примитивных технологий мореходства. Мы начинаем исследовать мир, полный компьютерных чар. Существа с острова ИИ соединяют в себе черты человека и машины в той же мере, в какой их предшественники соединяли черты человека и животного. Если бы они умели петь, то пели бы песни о нас.
Что мы имеем в виду, когда говорим о разуме, который может взглянуть на человечество и возжелать его смерти или обеспечить ему такое просвещение, которого не бывало ранее? Определенно, мы подразумеваем нечто большее, чем то, что дает машине возможность выигрывать в шахматы. У нас есть подобная машина, и после ее появления в мире не произошло никаких заметных изменений, кроме разве что еще одной причины славить совершенно человеческий интеллект создателей Deep Blue. Существа с острова ИИ умеют кое-что куда более интересное, чем победа над Каспаровым. Им хочется играть в шахматы. Им знакомо радостное возбуждение, доставляемое стимуляцией ума, и муки, вызываемые ее обратной стороной — скукой. Это подразумевает создание ПО, в котором прописано осознание того, что у существа есть только одна конечная жизнь, что почему-то имеет огромное значение для некой неуловимой субъектности. Это ПО практически сводит с ума отсутствие определенной стимуляции — возможно, игры в шахматы. Или уничтожения человечества.
Как и мы, удивительные существа с острова ИИ желают оправдывать себя и судить других. У них есть та же небольшая отдаленность от остальной части реальности — отдаленность, которой, как нам кажется, не ощущают другие животные. Разум, подобный нашему, знает, что он разумен, чувствует ошибочность чего-либо и постоянно старается это исправить.
Имея такие проблемы с ПО, а также учитывая уже существующие техногенные угрозы нашему виду, надо ли беспокоиться по поводу злонамеренного искусственного интеллекта? В течение минимум нескольких десятилетий куда более серьезную опасность для нас будут представлять межвидовые моровые болезни, предельное истощение ресурсов, глобальное потепление и ядерное оружие. Потому-то в наших прометеевых страхах и возникает злонамеренный искусственный интеллект — это опосредованное представление о том, как мы сами, находясь на пике развития собственного разума, сознательно убиваем себя.
Представления о благонамеренном искусственном интеллекте являются в равной степени саморефлективными. Машины обращают свои сверхразумы к тем, кто их создал, а не против них. Учитывая уровень автономности, присущий высокоразвитому ИИ, следует полагать, что эти существа будут заинтересованы в нас. Если задуматься, то злонамеренный искусственный интеллект тоже будет в нас заинтересован — только со знаком «минус».
Обе версии этого диковинного зверя отражают более глубокую истину, которая заключается в воздействии на нас новых открытий в магическом компьютерном мире. Дополняя себя гаджетами, мы становимся новыми существами, если угодно, монстрами, с точки зрения нашего прошлого «я».
Мы много раз изменяли свое сознание за последние 50 000 лет, восприняли идеи о жизни после смерти и монотеизм, стали печатной культурой и видом, который вполне осведомлен о том, сколь крошечное место отведено ему в космосе. Но мы никогда не менялись так быстро и не знали настолько хорошо о происходящих изменениях.
