идея. Поскольку допустимость определяется скорее включением в список некой возможности, а не ее исключением, риск «смещения методов», я уверен, легко устраняется. Важнее всего то, что это позволяет полностью исключить рекурсивное саморазвитие (если окажется, что оно вообще реально).
Доступность бесконечного множества способов достичь цели — хорошее рабочее определение «осознанности» этой цели. Осознанность предполагает умение обдумывать цель и способы ее достижения, а значит, учитывать, что всегда остаются нерассмотренные варианты.
Я мог бы закончить простой фразой: «Так давайте не будем создавать обладающие самосознанием машины», — но любая возможная технология, которую кто-то захочет создать, в определенный момент будет разработана, так что не все так просто. Вместо этого я скажу: давайте крепко подумаем о правах мыслящих машин, чтобы мы могли проверить наши выводы на практике задолго до появления рекурсивного самосовершенствования на машинах, которые лишь отдаленно сознают свои цели. Если, согласно моим прогнозам, все наши усилия по выработке такой этики окажутся провальными с самого начала, то, возможно, мы оставим эту идею.
Недостаточно забагованный
Всепроникающий людской страх, возникший в XX веке, усиливается с каждым новым предсказанием о Судном дне: дескать, в ходе развития искусственного интеллекта некий непредвиденный компьютерный баг неизбежно приведет к тому, что машины взбунтуются и захватят весь мир.
Я опасаюсь обратного — того, что развивающийся искусственный интеллект окажется недостаточно забагованным. Мыслящие машины, которые превосходно справляются с саморегуляцией, самооптимизацией, так что квадратный штырь всегда идеально заходит в квадратное отверстие, также окажутся лишены случайных вспышек озарения, обусловленных человеческой склонностью к багам — к попыткам вставить квадратные штыри в круглые отверстия, или, проще говоря, нашим умением замечать случайные, но мощные идеи, которые между делом возникают в ходе решения задачи «Форма предмета / форма отверстия».
Рассмотрим, насколько важно замечать что-либо. По какой причине мы можем полакомиться макаронами с сыром всего за несколько секунд? Когда Перси Спенсер работал в Raytheon, он проходил мимо одной машины и заметил, что его шоколадка расплавилась. Почему? Машина генерировала микроволны. Вместо того чтобы пытаться оптимизировать магнетрон и избежать в будущем проблем с шоколадками, Спенсер воспользовался внезапным озарением и догадался, что расплавившийся шоколад может оказаться предвестником чего-то большего.
Рассмотрим, насколько важны случайности. Резина была обречена на узкоспециализированное применение, поскольку не выдерживала высоких температур, пока Чарльз Гудьир не поскользнулся и не уронил кусок каучука на горячую плиту. Вместо того чтобы постараться предотвратить такие ошибки в будущем, он заметил, что произошло нечто интересное, а результатом стала вулканизированная, водонепроницаемая резина.
Наконец, рассмотрим то, насколько важны человеческие «баги» — наши когнитивные искажения. Например, оптимизм заставляет нас верить, что мы можем добраться до Луны, вылечить все болезни и начать успешный бизнес в ужасном месте, откуда предыдущий арендатор сбежал. Эффект владения заставляет нас высоко ценить то, что мы имеем, что сами придумываем и создаем, даже когда с нами никто не согласен. Но можно ли считать, что при первых признаках неудачи отказываться от любого начинания в пользу того, что кажется более успешным, — всегда оптимальное решение? Упрямые ученые (к примеру, Галилей и Дарвин), которые остаются при своем вопреки общепринятым теориям и проявляют строптивый нрав, — это такой баг, но результат может оказаться гениальным. В значительной мере именно баги делают нас — как и любую форму интеллекта — людьми.
Больше фанка, больше соула, больше поэзии и искусства
Мыслить — это хорошо. Понимать — лучше. Создавать — лучше всего. Нас окружают все более разумные машины. Проблема заключается в их приземленности. Они думают о том, как сажать самолеты и продавать мне всякие штуки. Они думают о наблюдении и цензуре. Их мышление неполноценно, если не безнравственно. Сообщается, что в прошлом году компьютер прошел тест Тьюринга. Но он прошел его под видом тринадцатилетнего мальчика, что вполне закономерно, учитывая основной род занятий наших инфантильных машин.
Мне бы очень хотелось, чтобы наши машины повзрослели, стали поэтичнее и обзавелись нормальным чувством юмора. Это должно стать арт-
