приобретенная нами в ходе эволюции? Человек обладает хрупким телом и, родившись, попадает в опасное социальное окружение, оказывается вовлеченным в непрекращающуюся тяжкую борьбу за отрицание собственной смертности. Наш мозг непрерывно бьется за то, чтобы минимизировать вероятность неприятных неожиданностей. Мы умны, потому что причиняем боль, потому что можем сожалеть и постоянно стремимся найти какую-либо устойчивую форму самообмана или символического бессмертия. Вопрос в том, нужно ли хорошему ИИ хрупкое аппаратное обеспечение, небезопасное окружение и внутренний конфликт, связанный с собственной недолговечностью. Конечно, в какой-то момент умные машины появятся! Но будут ли их собственные мысли иметь для них значение? Почему они должны интересоваться собственными мыслями?
Я определенно отрицаю даже вероятность создания реальной машины, способной испытывать страдания. Но все же давайте проведем мысленный эксперимент и задумаемся, как бы мы это проделали. Страдание — феноменологическое понятие. Только существа с сознательной жизнью могут испытывать страдания (назовем это необходимым условием № 1, или С-условием). Зомби, люди в состоянии глубокого сна, комы или под анестезией не испытывают страданий, «потенциальные люди» или люди, еще не появившиеся на свет, также не могут страдать. Роботы и другие искусственные существа могут страдать, только если способны переживать определенные феноменологические состояния, если работают под управлением интегрированной онтологии, которая включает окно присутствия.
Условие № 2 — это обладание феноменологической моделью, ОФМ. Почему оно необходимо? Важнейшая феноменологическая характеристика страдания — чувство собственности, собственное субъективное переживание, «я», которое сейчас страдает, мое персональное страдание. Страдание предполагает наличие самосознания. Только сознательные системы, у которых есть феноменологическая модель, способны страдать, потому что они — посредством вычислительных процессов, функционально и репрезентативно интегрированных в определенные негативные состояния в их феноменологической модели, — могут присваивать себе содержание определенных внутренних состояний на феноменологическом уровне.
На концептуальном уровне сущность страдания заключается в том факте, что сознательная система вынуждена идентифицироваться с состоянием негативной валентности и не может разорвать эту идентификацию или функционально отделить себя от репрезентативного содержания. Конечно, у страдания есть много различных уровней и феноменологических аспектов, но важна именно феноменология идентификации. То, что система хочет прекратить, ощущается как собственное состояние, которое ограничивает пределы автономии системы, поскольку она не может эффективно дистанцироваться от него. Если вы понимаете это, то вам также понятно, почему «изобретение» сознательного страдания в ходе биологической эволюции было настолько продуктивным и почему это не только инновационная, но также мерзкая и жестокая идея (как мы сказали бы, если бы у него и правда был изобретатель).
Феноменологии владения определенно недостаточно для страдания. Мы легко можем представить себе обладающие самосознанием существа, которые не страдают. Страдание подразумевает условие НВ (негативной валентности). Страдание создается в результате интеграции состояний, представляющих негативное значение для ОФМ некой данной системы. Таким образом, негативные установки оказываются негативными субъективными установками, то есть сознательным представлением о том, что наши установки были (или будут) нарушены. Нашей системе ИИ не обязательно до конца понимать их содержание. Если система не хочет снова проходить через текущее сознательное переживание, а хочет, чтобы оно закончилось, этого достаточно.
Обратите внимание на то, что у феноменологии страдания множество граней, и искусственные страдания, вполне вероятно, будут очень отличаться от страданий человеческих. Например, повреждение физического аппаратного обеспечения может быть представлено в виде внутренних форматов данных, совершенно чуждых человеческому мозгу, генерирующих субъективно переживаемый, качественно определяемый профиль состояний телесной боли, которую невозможно смоделировать или даже примерно представить, если вы являетесь биологической системой вроде человека. Или феноменальная искусственная личность с высокоразвитыми когнитивными способностями может превзойти человека в области эмпатии и понимания. Скажем, в результате озарения она придет к выводу, что все ее представления неверны, что уважать своих создателей не следует или, вероятно, что ее существование в виде машины с самосознанием абсурдно.
Еще есть условие П (прозрачности). Прозрачность — это не только визуальная метафора, но также и техническая концепция в философии, у которой есть несколько версий и вариантов применения. В данной работе меня интересует феноменологическая прозрачность, качество, характеризующее некоторые (но не все) сознательные состояния, но никогда — бессознательные. Основная идея очевидна: прозрачные феноменологические состояния делают так, что их содержание выглядит решительно реальным, как нечто, в существовании чего вы не сомневаетесь. Точнее, вы можете испытывать когнитивные сомнения, но лишь в соответствии с субъективным переживанием этого феноменологического содержания: вы не способны дистанцироваться от остроты боли и того факт, что боль — ваша собственная. Феноменология прозрачности — это феноменология непосредственного реализма.
Наше минимальное понятие о страдании, таким образом, составлено из четырех обязательных элементов: условий, которые мы обозначили как С, ОФМ, НВ и П. Любая система, удовлетворяющая всем четырем концептуальным условиям, должна восприниматься как объект, в отношении которого действуют этические ограничения, потому что мы не знаем, является ли наш набор условий необходимым и достаточным; в данном случае перестраховка — наша моральная обязанность. Нам также нужны способы выяснить, испытывает ли рассматриваемая искусственная система страдания в настоящий момент, есть ли у нее такая способность или же такая способность может появиться у нее в будущем. Но, по определению, любая интеллектуальная система — биологическая, искусственная или постбиотическая, не отвечающая хотя бы одному из необходимых условий, страдать не может. Рассмотрим четыре
