машине мыслящей. Так как бездушная машина не может распознать идентичность вопросов аналогичного содержания, но сформулированных с незначительными формальными отклонениями, например: «Вчера было хорошо на улице?», «Вчера была прекрасная погода?», «Погожим ли был предыдущий день?» и т. п., то для машины бездушной они будут вопросами разными, а для машины мыслящей — одинаковыми. Конструктор вновь разоблаченной машины вынужден опять ее перерабатывать. В конце концов, после долгой серии переделок он введет в машину возможности индукции и дедукции, способность ассоциировать, схватывать тождественную «форму» по-разному сформулированных, но одинаковых по содержанию высказываний, пока в результате не получит машину, которая будет просто «обычной» мыслящей машиной.
Таким образом возникает интересная проблема: когда именно в машине появилось сознание? Предположим, что конструктор не переделывал эти машины, а относил каждую в музей, следующую же модель создавал заново. В музее стоит 10 тысяч машин — столько было очередных моделей. Результатом стал плавный переход от «бездушного автомата», вроде играющего шкафа, к «мыслящей машине». Должны ли мы признать машиной, имеющей сознание, машину номер 7852 или только номер 9973? Они отличаются друг от друга тем, что первая не умела объяснить, почему она смеется над рассказанным анекдотом, а только говорила, что анекдот очень смешон, а вторая умела. Но некоторые люди смеются над шутками, хотя и не могут объяснить, что именно в них смешно: как известно, теория юмора — твердый орешек. Разве эти люди лишены сознания? Нет, они, наверное, просто не очень быстро реагируют или малообразованны, их ум не обладает навыками аналитического подхода к проблемам; но мы спрашиваем не о том, умная ли машина или скорее туповатая, мы только спрашиваем, имеет ли она сознание или нет.
Казалось бы, следует признать, что у модели номер 1 — ноль сознания, модель номер 10000 имеет полное сознание, а у всех промежуточных сознания «все больше». Это утверждение показывает, насколько безнадежна мысль о возможности точно локализовать сознание. Отсоединение отдельных элементов («нейронов») машины спровоцирует только слабые, количественные изменения («ослабления») сознания так же, как это делает в живом мозге прогрессирующая болезнь или нож хирурга. Проблема не имеет ничего общего ни с использованным для конструкции материалом, ни с размерами «мыслящего» устройства. Электрическую мыслящую машину можно построить из отдельных блоков, соответствующих, положим, мозговым извилинам. Теперь разделим эти блоки и разместим по всей Земле таким образом, чтобы один находился в Москве, второй в Париже, третий в Мельбурне, четвертый в Иокогаме и т. д. Отделенные друг от друга, эти блоки «психически мертвы», а соединенные (например, телефонными кабелями), они стали бы одной интегральной «индивидуальностью», единым «мыслящим гомеостатом». Сознание такой машины не находится ни в Москве, ни в Париже, ни в Иокогаме, но, в определенном смысле, находится в каждом из этих городов и в то же время ни в одном из них. О таком сознании трудно сказать, что оно, как Висла, протянулось от Татр до Балтийского моря. Впрочем, подобный пример демонстрирует, хотя и не так ярко, работу человеческого мозга, потому что кровеносные сосуды, белковые молекулы и ткани находятся внутри мозга, но не внутри сознания, и опять-таки нельзя сказать, что сознание находится под самым сводом черепа или, скорее всего, ниже, над ушами, по обеим сторонам головы. Оно «рассеяно» по всему гомеостату, по его функциональной сети. Ничего больше заявить на эту тему не получится, если мы хотим соединить сознание с возможностью рассуждать.
Вышеприведенный отрывок скопирован из моей «Суммы технологии», он был написан в середине 1963 года. С точки зрения сегодняшней ситуации это слишком сильное упрощение дороги, которую необходимо пройти до имитации описанной мною цели. Мы уже предполагаем, что «сознание» и «интеллект» — это, в определенном смысле, разные сути бытия. Мы знаем, что существуют разные состояния сознания, даже если их шкала находится между сном и реальностью. Но и сновидения могут быть насыщены разнообразными событиями, имитирующими реальность, сознательно переживаемую наяву. В свою очередь, каждый человек, даже если он не является ни психологом, ни психиатром, по собственному опыту знает, что сознание наяву тоже может иметь различные состояния. Человек в состоянии болезненного жара может осознавать, что его сознание нарушено. Различные химические вещества могут самым разным образом формировать человеческое сознание. Кроме того, есть множество действий, которые человек делает машинально: например, сознание шофера «не успевает» за его реакциями в ситуациях с неожиданной последовательностью событий. Вместе с тем машинально можно делать и глупости, — чаще всего мы их называем «поступками по рассеянности».
Все это сказано в отношении моего текста тридцатипятилетней давности, в котором я задумался над «ростками» сознания в машине, и делал я это потому, что мне казалось, будто люди сильно отличаются друг от друга умственными способностями, а сознание всем дано примерно одинаковое.
Дороги напрямик, по прямой и восходящей линии, от полного автомата, каковым является компьютер, к машине, которой можно было бы приписать сознание, нет. Вместе с тем о работе нашего мозга мы уже знаем столько, чтобы понимать, что так называемая каллотомия, или рассечение большой белой спайки, соединяющей полушария мозга, не ликвидирует сознание, но создает в разделенных полушариях две его разновидности. Кроме того, мы знаем, что мозг является системой, построенной из огромного количества функциональных модулей, которые в отдельных областях мозга создали среду, формирующую сознание. Поясню сказанное примером. В коре мозга есть зона, отвечающая за цветовое зрение. Ее повреждение приводит к тому, что человек видит всё без цвета, как в черно-белом кино. Чем лучше мы разбираемся в функциональной ориентации модулей мозга, тем больше удивляемся тому, как, с точки зрения инженерной экономии, хаотично устроен мозг, хотя при осознании самих себя мы не отдаем себе в этом отчета. Сегодня нам кажется, что мы уже можем конструировать отдельные модули, функционально похожие на модули мозга. Обычно это псевдонейронные сети различной сложности. Вместе с тем мы еще не умеем ни создать их в достаточном количестве, ни соединить таким образом, чтобы созданное произведение могло имитировать сознание. Следовательно, прямой дороги от бездумного автомата к сознательно мыслящей машине нет. Есть, однако, много сложных дорог, которые в будущем приведут нас к цели и, возможно, эту цель превзойдут. О такой возможности я написал книгу «Голем XIV».
…Ползучим способом, то есть очень медленно, расширяются фронты внедрения так называемого искусственного интеллекта. Об этих успехах несколько дней назад сообщила на первой странице английская газета «International Herald Tribune», заявив в заголовке, что то science fiction становится реальностью. Если же присмотреться к тому, на что этот искусственный интеллект уже способен, оказывается, что речь идет не об интеллекте, тождественном человеческому, а скорее о большой области усовершенствованных автоматов. Множество офисных функций, таких как банковские, включая функции кассиров, уже могут быть полностью компьютеризованы, или «обезлюднены».
Автоматизацией охватывается также деятельность, требующая деликатных исследований, включая психиатрическую медицину и хирургические операции. Но в этом я не вижу ни следа интеллекта, понимаемого личностно, индивидуалистически, эмоционально и целеустремленно. Это означает, что ошибка при хирургической операции может повлечь за собой исправление операционной программы, но не станет поводом привлечь механическое устройство к суду.
Несмотря на все усилия ученых, еще не родился Некто, заменяющий человека, а появился лишь очень исполнительный, но тоже подверженный ошибкам Никто. Границу этого большого прогресса в самостоятельности устройств, построенных людьми, я описал когда-то в одном из романов как ситуацию, в которой искусственно усовершенствованная среда становится более интеллектуальной, нежели обитающие в ней люди. Нечто подобное нам пока не грозит, но движение в этом направлении уже заметно.
Дорога без возврата
