создания универсального интеллекта — и интеллект не появится сам собой, когда численность транзисторов, нейроморфных чипов или сетевых байесовских серверов станет достаточно высокой. Хорошая новость: тот же закон говорит нам, как на самом деле проектируется интеллект — с помощью ученых идиотов. Интеллект прирастает за счет сложения качественно новых программ для формирования еще бо?льшего нейронного биоразнообразия.
Каждая программа привносит свой особый дар понимания определенной области (пространственные отношения, выражение эмоций, подражание, механические свойства объектов, анализ временных рядов). Если увязывать друг с другом ученых идиотов на полудополняющий манер, то область коллективной дополнительной учености увеличивается, а область коллективного идиотизма уменьшается (но никогда не исчезает совсем).
Вселенная огромна и наполнена безграничными слоями сложно структурированной материи; мозги (или компьютеры) в сравнении с ней бесконечно малы. Чтобы решить проблему разницы в размерах, эволюция провела тщательный отбор всяких приспособлений, которые были бы достаточно миниатюрны, чтобы уместиться в мозге, но это вызвало огромные издержки в виде суперэффективных алгоритмов сжатия (с неизбежной потерей данных, поскольку один из ключевых моментов эффективного сжатия — необходимость почти все выбрасывать).
Подходы железного закона к искусственному и биологическому интеллекту обнаруживают группу новых инженерных задач. Например, архитектура должна объединять ученость, а не идиотизм; поэтому на каждого идиота (или комбинации идиотов) архитектура должна определять объем задач, для которых активация программы (или комбинации) улучшает состояние, а не ухудшает его. Поскольку разные программы часто имеют свои собственные структуры данных, интеграция информации от различных идиотов требует создания общих форматов, интерфейсов и протоколов перевода.
Кроме того, не всегда легко разработать взаимно согласующиеся правила приоритетности программ, что известно каждому, кому (как и мне) хватило глупости подняться до половины высоты утеса Сьерра-Невады только для того, чтобы испытать противоречивые чувства: вызванный зрительными стимулами страх падения и стремление поскорее добраться до безопасного пункта назначения.
Эволюция разобралась с этими сложными проблемами, поскольку мозговые программы бесконечно оценивались естественным отбором по критериям кибернетических систем — как сформулировал математик Колмогоров, «систем любой природы, способных воспринимать, хранить и перерабатывать информацию и использовать ее для управления». То, что природные интеллекты были созданы для управления действиями, важно для понимания их природы и отличий от искусственных интеллектов. То есть программы мозга эволюционировали под определенные конечные цели, в определенных рабочих средах; они оценивались как интегрированные пакетные решения и принимались в том объеме, в котором они регулировали поведение, влияющее на производство потомства. (Чтобы существовать, им не нужно было разрабатывать методы решения общих гипотетически возможных вычислительных задач — привлекательных, но иллюзорных песен сирен, из-за которых гибнут целые лаборатории, занимающиеся искусственным интеллектом.)
Это означает, что эволюция пока исследовала лишь небольшое конкретное подмножество возможных программ; за его пределами бесконечное количество новых ученых идиотов манят к себе, желая, чтобы их породили и построили. Основываясь на иных принципах, они будут способны обнаруживать ранее не замеченные взаимосвязи (и нет предела тому, насколько странным может оказаться их мышление).
Мы живем в критически важную эпоху, в начале расширяющегося волнового фронта преднамеренно спроектированных интеллектов, причем мы можем приложить усилия к тому, чтобы обзавестись набором специализированных интеллектов и объединить их в работоспособные, понимающие друг друга коллективы. Будет так весело заниматься вместе с группами не-человеческих ученых идиотов тем, чем мы сейчас занимаемся с нашими коллегами- людьми, — пережевывать интеллектуальные задачи, используя разумы, в которых переплелись гениальность и слепота, выработанные эволюцией.
Чего захотят мыслящие машины? Опасны ли они будут? Животные вроде нас — это мотивированные разумы, способные предпринимать действия. К счастью, искусственные интеллекты в данный момент таковыми не являются. Их мотивация не связана с исчерпывающей картиной мира, и набор действий, которые они могут предпринимать, очень ограничен (управление перерабатывающими производствами, включение и отключение горна, тщетные попытки найти Wi-Fi). Поскольку мы эволюционировали с определенными адаптационными задачами, наше воображение проецирует драматургию господства приматов на искусственные интеллекты — драматургию, чуждую их природе.
Мы можем их переделать из этаких будд — замечательных учителей, пассивно размышляющих и свободных от желаний и страданий, — в мотивированные разумы, обуреваемые желаниями и способные действовать. Это было бы сумасшествием: нас уже гнетут противоречивые требования человеческого общества. Опасность исходит не от искусственного интеллекта, а от тех людей, в которых запустились хищнические программы и которые задействуют постоянно растущие арсеналы технологических (и вычислительных) инструментов для достижения побед за счет разрушения.
Машины, ворующие мысли
Машины все больше занимаются такими вещами, которые раньше считались мышлением, а теперь не считаются, потому что их выполняют машины. Эту мысль я украл, в более или менее точной формулировке, у Дэнни Хиллиса, отца Connection Machine[101] и
