Сильная версия ИИ утверждает, что запрограммированные должным образом компьютеры понимают рассказы и могут в какой-то мере объяснить человеческое понимание. Благодаря нашему мысленному эксперименту мы можем теперь проанализировать эти утверждения.
1. Что касается первого утверждения, из нашего примера совершенно очевидно следует, что я не понимаю ни слова в китайских рассказах. Все, что у меня есть, это вводные и выходные данные, неотличимые от тех, что производят сами китайцы. Какой бы формальной программой я ни был снабжен, я все равно не понимаю ни слова! Точно так же компьютер Шенка не понимает ни слова в рассказах, написаны ли они по-китайски, по-английски или на каком-либо другом языке, поскольку в случае китайского компьютер — это я, а в остальных случаях у компьютера есть только та информация, которая была у меня, когда я ничего не понимал.
2. Что касается второго утверждения, что программа объясняет человеческое понимание, мы видим, что компьютер вместе с программой не создают достаточных условий понимания, поскольку они действуют, ничего при этом не понимая. Но помогают ли они пониманию? Одно из утверждений сторонников сильной версии ИИ заключается в том, что, когда я понимаю рассказ по-английски, я делаю точно то же самое, — или даже в большей степени — как когда я манипулирую китайскими символами. Разница в том, что в случае английского, который я понимаю, в голове у меня происходит большее количество формальных манипуляций, чем в случае китайского, которого я не понимаю. Я не доказал, что это утверждение ошибочно, но в приведенном примере оно кажется достаточно невероятным. Сторонники этого утверждения исходят из того, что мы можем создать программу с точно такими же входными и выходными данными, как у носителя языка, и что на каком-то уровни носители языка также могут быть описаны как воплощения некой программы. На основе этих двух предположений они заключают, что, хотя программа Шенка и не совершенна, это все же шаг вперед в нужном направлении. Думаю, что, хотя это эмпирически возможно, пока не было представлено ни одно доказательство того, что это верно. Наш мысленный эксперимент предполагает — но, разумеется, не доказывает — что компьютерная программа не имеет никакого отношения к моему пониманию рассказа. В случае с китайским, у меня имеется все, что может мне предоставить ИИ, и тем не менее, я ничего не понимаю; в случае с английским, я понимаю все, и у меня нет никаких оснований предположить, что мое понимание каким-то образом связано с компьютерной программой, то есть с вычислительными операциями на чисто формально определенных элементах. Если мы определяем программу как вычислительные операции на чисто формально определенных элементах, то из нашего примера вытекает, что сами по себе программы не имеют связи с пониманием. Они безусловно не являются достаточным условием понимания, и у нас нет ни малейшего основания полагать, что они являются его необходимым условием. Мы не можем заключить даже того, что они вообще способствуют пониманию. Обратите внимание на то, что сила этого аргумента — не в том, что разные машины могут иметь одинаковые входные и выходные данные, когда они работают по различным формальным принципам — суть совсем не в этом. Какие бы формальные принципы вы ни вложили в компьютер, они будут недостаточны для понимания, поскольку человек может следовать тем же формальным принципам, ничего при этом не понимая. Не существует никаких доказательств того, что подобные принципы необходимы или в какой-то мере полезны, поскольку не существует никаких доказательств того, что, когда я понимаю английский текст, я действую в соответствии с какой-либо формальной программой.
Но что же есть у меня в случае с английским текстом такого, что отсутствует в случае с текстом китайским? Очевидный ответ состоит в том, что я знаю, что означает первый, и понятия не имею о значении последнего. Но в чем это заключается, и почему мы не можем дать это нечто, чем бы оно ни было, машине? Я еще вернусь к этому вопросу, но сначала мне бы хотелось продолжить мой пример.
Мне приходилось представлять этот пример нескольким специалистам по Искусственному Интеллекту; интересно, что они не смогли сойтись в мнениях о том, как на него следует отвечать. Я получил самые разнообразные ответы; здесь я приведу основные из них (вместе с их географическим происхождением).
Но сначала я хочу заблокировать обычные недоразумения, связанные с “пониманием”. В этих дискуссиях можно найти попытки дать сложнейшие, причудливые определения слова “понимание”. Мои критики указывают на то, что бывают различные степени понимания; на то, что “понимание” не является простым двучленным предикатом; на то, что существуют даже различные типы и уровни понимания и что закон исключенного третьего нельзя прямо применить к высказываниям типа “X понимает У”, поскольку во многих случаях это не является фактом, но требует принятия решения, и так далее. На все эти возражения мне хочется ответить: “Ну разумеется, разумеется. Но все это не имеет отношения к обсуждаемым вопросам. Существуют бесспорные случаи того, когда понимание имеет место, и бесспорные случаи того, когда никакого понимания нет; именно эти случаи нужны мне для моего доказательства.[4] Я понимаю рассказы по-английски, в меньшей степени, по-французски и в еще меньшей степени, по-немецки. По-китайски я не понимаю ничего. С другой стороны, моя машина и мой калькулятор не понимают ничего — это не их дело. Мы часто метафорически приписываем “понимание” и другие когнитивные предикаты машинам, калькуляторам и другим приспособлениям, но это ничего не доказывает. Мы говорим: “Дверь
Перейдем теперь к ответам.
1. Ответ систем (Беркли). “Верно, что один человек, запертый в комнате, не понимает рассказа — но он является частью целой системы, которая этот рассказ понимает. Перед человеком лежит толстый том, в котором написаны правила, у него полно бумаги и карандашей, чтобы делать вычисления, у него есть “банк данных” в виде китайских иероглифов. Но понимание не приписывается только этому индивиду; скорее, оно приписывается всей системе, частью которой он является.”
Мой ответ на теорию систем очень прост. Пусть индивид усвоит все элементы системы, запомнит правила в книге и банк данных — китайских иероглифов, так что теперь он сможет производить все вычисления в уме. В таком случае индивид будет представлять всю систему, поскольку больше в системе ничего нет. Мы можем даже отказаться от комнаты и представить, что он работает на свежем воздухе. Так или иначе, он не понимает ничего по-китайски, а следовательно, ничего не понимает и система, потому что в системе нет ничего такого, чего не было бы в нем. Если он не понимает, то и система никак не может понимать, поскольку является лишь частью его.
В действительности, мне неловко давать даже этот ответ на теорию систем, потому что эта теория с самого начала казалась мне малоубедительной. Человек не понимает китайского, но каким-то образом
