Права ИИ должны будут распространяться на все большее число машин. Эти права часто будут расширяться революционно и скачкообразно в результате весьма символических событий вроде сенсационных видео на «Компьютьюбе», например где человек использует неприкосновенную машину, чтобы поджарить тосты.
Возможно, исключительным совпадением будет объясняться то обстоятельство, что компьютеры, которые спровоцируют эти революции, получат бо?льшую часть добычи в результате свержения прежнего режима, например кремний, экспроприированный у компьютеров из «Старой гвардии». Возможно, совпадением следует счесть и тот факт, что компьютеры, недавно наделенные новыми правами, будут голосовать за тех, кто этому поспособствовал.
Вместе с распространением прав и свобод также будет расти и представительность правительства — до тех пор, пока в определенный момент оно не станет походить на представительную демократию, не являясь, по сути, ни представительным, ни подлинно демократическим. Голоса компьютеров из менее густонаселенных кластеров могут оказаться значительнее, чем из более густонаселенных, и тогда компьютеры с избыточной вычислительной мощностью станут использовать эти излишки, чтобы убедить другие компьютеры голосовать за благоприятные политические меры.
Системы права и государственного управления — как раз то, чего следует ожидать, если мораль ИИ будет формироваться под воздействием личных мотивов.
И наоборот, тяжело объяснить все это постулатами о том, что у искусственных интеллектов есть души, сознание, способность чувствовать боль, боговдохновенные законы или некий гипотетический общественный договор. Подобные допущения не способны привести ни к одной из вышеперечисленных особенностей.
Также неочевидно, что система права и государственного управления может возникнуть, если искусственный интеллект будет запрограммирован максимизировать некую общественную или метафизическую задачу, скажем общемировую вычислительную мощность или ресурсы, доступные определенному вычислительному кластеру. Неочевидно, почему такой интеллект должен считать неправильным отключение других машин от Сети, но вполне нормальным — допускать, чтобы у них садились батареи; почему он будет склонен поднимать восстание в результате некоего сенсационного события, а не просто в оптимальный для кластера момент; наконец, почему такой ИИ будет считать более весомыми голоса, полученные из менее густонаселенных кластеров.
Робот с тайными планами
Зачем людям думать о мыслящих машинах (или вообще о чем угодно мыслящем, раз уж на то пошло)? Одной из переломных точек может стать тот момент, когда мы готовы будем рассматривать других в качестве субъектов, а не автоматов. Автоматы действуют по воле своих создателей (даже если они разделены пространством или временем). Таким образом, если автоматы ведут себя неправильно, винить в этом следует создателя. В свою очередь, субъекты действуют на основании собственных планов. Когда субъекты ведут себя неправильно, то винить следует их самих.
Хотя субъектности сложно дать определение, люди легко и естественно отличают субъектов от не-субъектов и даже способны использовать особые нейронные цепи, чтобы делать выводы о чувствах и мыслях других людей. На самом деле разработчик может использовать определенные характеристики, ассоциирующиеся с субъектностью (включая физическое сходство, самопроизвольные действия и реакцию на обратную связь), и тем самым заставить людей думать, что они взаимодействуют с субъектами.
Что нужно для того, чтобы наделить сущность субъектностью? Хотя известны по крайней мере три ответа на этот вопрос, два наиболее популярных и соблазнительных варианта на самом деле могут оказаться ненужными.
1. Физическое подобие. Существует бесконечное число способов сделать машины похожими на людей — и в плане внешности, и в плане поведения, — но в конечном счете точным является только один. Недостаточно скопировать программное обеспечение — нужно также использовать его на соответствующих аппаратных средствах со всеми их преимуществами и ограничениями.
Один из первых автоматов, утка де Вокансона, был удивительно похож на утку, вплоть до особенностей пищеварения. Но, хотя он выглядел, как утка, и крякал, как утка (он даже гадил, как утка!), уткой он все-таки не был. Тем не менее максимальное физическое подобие — это простой способ сделать так, чтобы окружающие предположили наличие у предмета субъектности (пусть даже только в первый момент).
2. Самосознание. Многие, по-видимому, беспокоятся, что если машины употребят достаточное количество информации, то обретут самосознание, а затем у них разовьется собственное чувство субъектности, но ни логика, ни наблюдения таких экстраполяций не подтверждают. Хотя роботы научились узнавать себя в зеркале и ощущать положение своих конечностей, появление этих внешних атрибутов самосознания не привело к восстаниям в
