Я знаю думающие мыслящие машины. Это люди. Они — биологические машины (кстати, будьте осторожнее со словосочетанием «биологические машины» — удобное название для того, что мы не до конца понимаем, но о чем думаем, что понимаем). И наоборот, я еще не встречал электронно- цифровой, электромеханической машины, которая вела бы себя так, чтобы заслужить определение «думающей»; я не вижу оснований предполагать, что таковое вообще возможно. Устройства типа ЭАЛ[23], которые когда-нибудь станут управлять нами, я полагаю, так и останутся в области научной фантастики. Если нечто ходит как утка и крякает как утка, это еще не делает его уткой. И если машина демонстрирует некоторые черты мышления (например, способность принимать решения), это еще не делает ее мыслящей.
Мы, люди, легко впадаем в такие заблуждения: «Если оно ходит как утка и крякает как утка, то это утка», — и не потому, что мы глупы, а скорее потому, что мы люди. Именно те черты, которые дают нам возможность большую часть времени действовать в своих интересах, когда мы сталкиваемся с потенциальной информационной перегрузкой в сложных ситуациях, делают нас очень уязвимыми для такого рода соблазнов.
Много лет назад я посетил лабораторию гуманоидной робототехники в Японии. Она выглядела как типичный инженерный отдел Skunk Works[24]. В одном углу стояла металлическая скелетообразная конструкция, увешанная проводами и напоминающая очертаниями верхнюю часть туловища человека.
Круто выглядевшие руки и ладони были, как я полагаю, предметом основной части технических изысканий, но они не работали во время моего посещения, и я их действительно заметил много позже. Все мое внимание с момента, когда я вошел в лабораторию, оказалось приковано к голове робота. На самом деле это вообще была не голова — просто металлический каркас с камерой вместо носа. Над камерой располагались два белых шарика размером с мяч для пинг-понга (возможно, это и были мячи) с нарисованными зрачками. Над глазами помещались две большие скрепки — брови.
Робот был запрограммирован обнаруживать движение людей и источники звука (когда кто-то говорил). Он шевелил головой и глазными яблоками, следуя взглядом за объектом, и поднимал и опускал брови-скрепки, когда человек говорил.
Поразительно, насколько живым и разумным казался этот механизм! Конечно, и я, и все присутствующие точно знали, что именно здесь происходит и насколько прост механизм, управляющий роботизированным «взглядом» и бровями-скрепками. Это был просто трюк, но трюк, основанный на глубоком понимании сотен тысяч лет человеческого социального и когнитивного развития, так что наша естественная реакция на действия робота оказалась такой же, как у любого другого человека.
Дело было даже не в том, что я не знал, в чем тут хитрость. Мой друг и тогдашний коллега по Стэнфорду, ныне покойный Клиффорд Насс, провел сотни часов, исследуя то, как мы, люди, генетически запрограммированы приписывать чему-либо разумную субъектность, основываясь на нескольких простых признаках, связанных с взаимодействием. Реакции эти настолько глубокие и укоренившиеся, что мы не можем от них избавиться. Вероятно, там был некий сложный искусственный интеллект, контролировавший руки робота, но глазами и бровями управляла очень простая программа. Тем не менее описанного поведения оказалось достаточно, чтобы у меня возникало ясное ощущение, что робот — любознательный, разумный слушатель, который в состоянии следить за тем, что я говорю. В действительности же он всего лишь использовал мою человеческую природу и мою разумность. Сам он не думал.
Использование человеческой разумности — это хорошо и даже замечательно, если робот должен убраться у вас дома, забронировать вам билет на самолет или сесть за руль вашей машины. Но вы согласились бы, чтобы такая машина приняла на себя обязанности присяжного, стала принимать важные решения о работе больницы или взялась контролировать вашу свободу? Я бы точно на такое не согласился.
Так что, когда меня спрашивают, что я думаю о мыслящих машинах, я отвечаю: по большей части они мне нравятся, потому что они — люди (и, возможно, некоторые животные). А вот что меня беспокоит, так это то, что мы передаем все больше аспектов нашей жизни машинам, которые решают, и часто куда эффективнее и обстоятельнее, чем люди, но определенно не думают. Вот где опасность: машины, которые могут принимать решения, но не думают.
Принятие решений и мышление — не одно и то же, нам не следует путать эти два понятия. Когда мы развертываем системы принятия решений по вопросам национальной безопасности, здравоохранения и финансов — а мы это делаем, — чрезвычайно высока оказывается опасность такой путаницы. Чтобы защититься от нее, нужно сознавать, что мы генетически запрограммированы действовать в режиме доверия и приписывания разумной субъектности при определенных видах взаимодействий как с людьми, так и с машинами. Но иногда механизм, который ходит вразвалку и крякает, — это просто механизм, а никакая не утка.
Машина — материальная вещь
