системы подотчетности, а также социальной (то есть человеческой) ответственности за последствия, которые мы пока не можем предвидеть.
Усилители и исполнители человеческих решений
На протяжении всей истории человечества мы как отдельные существа и как вид были подвержены воздействию сил природы на всех уровнях организации. Фундаментальные законы физики, непроницаемые тайны молекулярной биологии и громада естественного отбора очерчивали границы нашей сознательной жизни, и им удавалось это делать незримо — до последнего времени. Чтобы совладать с постоянным чувством бессилия, мы мифологизировали и природу, и собственный разум. Мы считали загадочные силы природы непогрешимыми — как будто они были богами, — а себя полагали бессильными, свободными лишь в узком пространстве наших жизней.
Когда же в центре внимания оказывается новая, научно обоснованная реальность, становится ясно, что природа к нам совершенно равнодушна и что если мы хотим избежать страданий и неминуемого вымирания, то должны взять на себя ответственность за свою экзистенциальную реальность. Мы должны осознать себя как случайных хранителей 37,2 триллиона клеток, из которых в среднем состоит человеческий организм, и как смотрителей все более управляемой Вселенной.
Этот подростковый опыт осознания будущей самостоятельности и лежит в основе нашего беспокойства по поводу мыслящих машин. Если старые боги умирают, то скоро наверняка должны появиться новые! В результате, как отметил Стивен Пинкер на недавней конференции Edge, нас мучают антиутопические кошмары про ИИ, которые «проецируют мещанскую психологию альфа-самца на представление об интеллекте»{9}. В этом смысле многие и говорят о нем как о неизбежном пришествии Спасителя или сатаны. Но искусственный интеллект, скорее всего, не станет ни тем, ни другим, если он вообще сформирует некую отдельную сущность.
Вероятнее всего, у совершенствующихся компьютеров и алгоритмов вообще не будет своего мнения, а сами они станут усилителями и исполнителями сознательных человеческих решений. Нас уже со всех сторон окружают большие данные и вычислительные машины, производительность которых растет в геометрической прогрессии, и все же мы упорно выполняем политические и социальные алгоритмы, работающие во вред общим интересам.
Источники нашей патологии — это в том числе внутренние когнитивные искажения, племенное эволюционное наследие и несправедливое распределение власти, позволяющее некоторым из нас эгоистически присваивать невероятное влияние на общую социальную траекторию. Возможно, более умные машины помогут нам преодолеть эти недостатки, если мы возьмем на вооружение их информационную прозрачность и способность к адекватному прогнозированию, что склонит нас к более разумному перераспределению власти и более обоснованным решениям. С другой стороны, эти технологии могут повлиять на обоснованность решений и негативно, подкрепляя неизбежно возникающие монополистические интересы корпораций, которые ведут нас в информационный век.
То, какой путь мы выберем, больше зависит от нас, а не от машин, и от того, насколько человеческим должен быть интеллект, направляющий власть имущих. Точнее говоря, вопрос заключается в том, какие аспекты человеческого интеллекта следует сохранять в условиях сверхчеловеческих вычислительных возможностей.
Надо сделать эту штуку такой, чтобы ее невозможно было не любить
Есть такая вероятность, что некий злонамеренный сверхразум на Земле уже появился, но он достаточно прозорлив, поэтому скрывает факт своего существования, а также свои намерения и ум. Не думаю, что такую уловку было бы очень сложно проделать; мы склонны не слишком хорошо замечать то, чего боимся.
В ходе большей части эволюции самая заметная устранимая угроза выживанию нашего вида исходила от того, что было примерно нашего размера и активно пыталось нам навредить, например от диких зверей или от других людей. Со временем мы научились довольно хорошо замечать, что нечто или некто может представлять опасность. Мы также научились минимизировать риск возникновения инфекций, но научились этому непреднамеренно, благодаря инстинктивной брезгливости, социальным нормам и религиозным обрядам. Мы не очень-то задумывались о том, как все это связано с микробами, по той простой причине, что не знали об их существовании.
