Может показаться, что ощущение мышления непоследовательно, что оно ничего не добавляет к его вычислительному аспекту — нервным импульсам, на которых основана трансформация входных данных в выходные. Но задумайтесь вот о чем: бесчисленное множество предметов в физическом мире, по- видимому, трансформируют то, что можно назвать входящей информацией, в то, что можно назвать выходящей информацией. Однако, насколько нам известно, у людей (и только у людей) с этим связаны некие переживания. Они-то и есть мышление от первого лица, и путать его с мышлением от третьего лица недопустимо.
Почему мышление от первого лица так важно? Во-первых, оно подлинное. Невозможно описать непрерывное переживание мышления как что-либо, кроме мышления. Но, когда речь идет о почках, калькуляторах или сетях нейронов в мозге, мы, рассматривая их от третьего лица, можем называть происходящие в них процессы мышлением, а можем не называть. Единственная причина, по которой мы думаем, что нам присущ какой-то особый вид мышления, видимо, заключается в том, что именно его мы воспринимаем от первого лица. Мышление от третьего лица — не подлинное.
Во-вторых, и это гораздо более конструктивно, связанные с мышлением переживания определяют виды мышления, которыми мы займемся потом. Были ли наши последние мысли трудными, скучными, приятными, интересными? От этого зависит, как часто мы станем прибегать к мышлению того или иного вида. Я не утверждаю, что у наших переживаний от первого лица нет также и нейронных коррелятов. Но ни один ученый или философ не сможет вам сказать, почему нейронные процессы, происходящие определенным образом, вызывают определенные переживания или вообще какие-либо переживания. Это одна из величайших тайн Вселенной (существование материи, существование жизни, существование переживания).
Будем ли мы делать все больше машин, способных продуцировать такие паттерны ввода-вывода, которые воспроизводят человеческие? Бесспорно. Будем ли мы строить машины, способные заниматься чем-то бо?льшим и создавать полезные алгоритмы и способы трансформации данных, которыми люди смогут пользоваться самостоятельно и которые улучшат качество жизни? Мы уже их строим и построим еще больше. А появятся ли у нас машины, способные на мышление от первого лица, то есть способные переживать собственное мышление? Сомневаюсь. Решение этой проблемы может стать величайшим достижением человечества, но для начала нужно осознать существование проблемы. Мне бы очень хотелось увидеть машины, мыслящие от первого лица, но, пока мы не начнем разбираться в том, что делает
Мягкий авторитаризм
— Думать? Думать — не твое дело!
Я тут буду думать.
Мыслящие машины скоро появятся. Сейчас, однако, давайте подумаем над интеллектуальными инструментами. Интеллектуальные инструменты не мыслят. Поисковые системы не мыслят. Не мыслят и роботизированные автомобили. Мы, люди, часто тоже не думаем. Мы обычно движемся на автопилоте, как и другие животные. Наши начальники, как правило, не хотят, чтобы мы думали; это может сделать ситуацию непредсказуемой и поставить под угрозу их власть. Если машины заменят нас там, где мы не думаем, то у нас начнутся неприятности.
Предположим, что «думать» относится ко всему, что люди делают с помощью мозга. Специалисты называют думающую машину универсальным искусственным интеллектом. Они согласны с тем, что такая машина может привести к вымиранию нашего вида. Вымирание, однако, не единственный экзистенциальный риск. По мнению эксперта в области машинного сверхразума Ника Бострома, экзистенциальный риск — это нечто, способное «уничтожить возникшую на Земле разумную жизнь или окончательно и бесповоротно сократить ее потенциал»{11}. Примерами экзистенциальных рисков являются, в частности, старая добрая ядерная война, новые проблемы типа неконтролируемого глобального потепления, маргинальные гипотезы наподобие катастрофы на ускорителе частиц и набирающий все большую популярность фаворит — искусственный интеллект. Однако в течение нескольких десятков лет наиболее серьезный экзистенциальный риск исходит от тех видов интеллекта, которые не думают, и от новых видов мягкого авторитаризма, которые могут появиться в мире, где большинство решений принимается бездумно.
Кое-что из того, что люди делают с помощью мозга, очень впечатляет, и в ближайшее время программам таких результатов не достичь. Написать роман, соблазнить человека, создать компанию — с подобными вещами интеллектуальные инструменты не справятся. То же, конечно, относится и к созданию машины, которая действительно думает. С другой стороны, в большинстве случаев мышление можно улучшить за счет «тонкой нарезки» с помощью процедур, которые обычно не сравнимы с алгоритмами. Например, когда нужно поставить больному диагноз и назначить лечение, списки
