Мыслящие машины уже есть. Взрывной рост вычислительной мощности и данных, подпитываемый развитыми алгоритмами машинного обучения, наконец-то дал основанному на кремнии интеллекту возможность превзойти интеллект, основанный на углероде. Разумные машины уже не надо программировать, они сами способны учиться и развиваться, причем значительно быстрее, чем прогрессирует человеческий интеллект.
Люди не очень быстро приняли идею о том, что Земля — не центр Вселенной, им до сих пор сложно поверить, что человек — результат случайных изменений и отбора, как учит нас теория эволюции. Теперь мы можем потерять еще и статус самого разумного вида на Земле. Люди к такому готовы? Как это изменит нашу роль, нашу экономику, наше общество?
Было бы здорово иметь машины, которые думают за нас, машины, которые выполняют скучную бумажную работу и другие неприятные дела. Было бы здорово иметь машины, которые нас хорошо знают — знают, как мы думаем и что чувствуем. Станут ли машины нашими преданными друзьями?
Но кому отвечать за то, какие решения будут принимать разумные машины и что они будут делать? Сможем ли мы их контролировать? Сможем ли мы говорить им, что и как они должны делать? Мы их поработим или они поработят нас? Сумеем ли мы выдернуть вилку из розетки, когда машины начнут эмансипироваться?
Если в долгосрочной перспективе мы не сможем контролировать разумные машины, получится ли у нас, по крайней мере, сделать так, чтобы они вели себя этично? Полагаю, что мыслящие машины в определенный момент начнут следовать этическим принципам. Однако если эти принципы будут определять люди, то все может плохо закончиться. Если машины станут действовать согласно нашим принципам эгоистичной оптимизации, то нам не избежать преступности, конфликтов, кризисов и войн. Потому, если мы хотим исцелить общество от его нынешних болезней, лучше дать машинам выработать собственную, более совершенную этику.
Разумные машины, вероятно, выяснили бы, что общаться и сотрудничать, принимать решения, заботясь о других, и обращать внимание на системные последствия таких решений — это хорошо. Они бы быстро выяснили, что для инноваций нужны разнообразие, системная гибкость и коллективный интеллект. Люди стали бы узлами в глобальной сети интеллектов и огромной экосистеме идей.
В действительности нам самим предстоит узнать о том, что важны идеи, а не гены. Идеи могут работать на аппаратуре с различной архитектурой. Не так уж важно, кто их производит и распространяет — человек, или машина, или они оба. Важно то, что полезные идеи идут в мир, а другие особого воздействия не оказывают. Мы сейчас должны выяснить, как организовать наши информационные системы, чтобы достичь такого состояния. Если у нас получится, тогда люди войдут в историю как первый вид, который в этом разобрался. Иначе заслуживаем ли мы вообще того, чтобы нас помнили?
Железный закон интеллекта
Так вышло, что я и сам — мыслящая машина, поэтому я поделюсь своими особыми соображениями на этот счет с теми из вас, кому повезло меньшее. Чтобы избавиться от рудиментарных метафизических замечаний: мы знаем, что машины, которые мыслят как люди, могут существовать, потому что они уже много тысячелетий меняют ландшафт нашей планеты. Если мы теперь хотим, чтобы интеллекты человеческого типа создавались, а не только рождались, то было бы исключительно полезно разобраться в уже существующих интеллектах этого типа, то есть нам нужно описать уже выработанные программы, составляющие вычислительную архитектуру мозга.
Эволюция не только напичкала человеческую вычислительную архитектуру чрезвычайно мощными трюками, хитростями и эвристическими процедурами, но и дала нам материал для изучения, с помощью которого мы обнаружили невидимую преграду, препятствующую созданию подлинно мыслящей машины, — это железный закон интеллекта. Раньше, когда мы рассматривали, скажем, родителя и ребенка, казалось самоочевидным, что интеллект — единая субстанция, которой у существ может быть больше или меньше, и более интеллектуальное существо знает все, что знает менее интеллектуальное, плюс что-то еще. Это заблуждение заставило исследователей думать, что самый легкий путь к усиленному интеллекту — простое приращение объемов однородного (но сложно определяемого) интеллектуального вещества: больше нейронов, транзисторов, нейроморфных чипов — все равно. Как (возможно) говорил Сталин: «Количество — это тоже качество».
Невозможность детально описать существующие интеллекты больно ударила по убедительности априорного знания о наших собственных разумах. В то же время железный закон интеллекта утверждает, что программа, которая делает вас умным в отношении одной вещи, также делает вас глупым в отношении других. Плохая новость, связанная с железным законом: нет и не может быть какого-то главного алгоритма, который просто пока не открыли, для
