Когниверсум[90] достиг поворотного момента в истории своего развития, потому что до сих пор все мышление во Вселенной (насколько нам известно) осуществлялось протоплазмой, а мыслящие субъекты создавались эволюцией. Мы впервые рассматриваем мыслящие существа, сделанные из металла и пластика, — существа, которых создали мы сами.
Надев мантии творцов, мы готовы усовершенствовать то, на что эволюции потребовалось 3,5 миллиарда. Мыслящие машины могут быть лишены наших недостатков: расизма, сексизма, гомофобии, жадности, эгоизма, жестокости, предрассудков, похоти и т. д. Так давайте попробуем представить, чем это может обернуться. Мы не станем рассматривать вопрос о том, способен ли машинный разум приблизиться к человеческому, потому что он, конечно, способен, — мы всего лишь машины из мяса, менее сложные и уникальные, чем сами наивно полагаем.
Нам надо сначала задуматься о том, почему мы вообще хотим создать искусственный интеллект. Чтобы улучшить свою жизнь — вот единственный разумный ответ, так что нашим машинам придется взяться за работу, которую мы предпочитаем не делать. По этой причине они должны быть во многом похожи на нас: уметь существовать в социальном пространстве и взаимодействовать с другими мыслящими существами, — то есть им понадобится социальное познание.
Что такое социальное познание? Это значит знать, кто есть кто, кто считается другом, кто — безразличный незнакомец, а кто — враг. Следовательно, нам нужно запрограммировать свои машины на распознавание наших групп «свои» и «чужие». Это начинает подозрительно напоминать расизм, но, конечно, расизм — одна из ошибок, которые мы хотим устранить.
Социальное познание также подразумевает способность предсказывать поведение других, а значит, формировать определенные ожидания, основанные на наблюдениях. Машина, способная на это, в определенный момент аккумулирует достаточно много шаблонов поведения для разных людей — молодых и старых, мужчин и женщин, черных и белых, носящих костюмы и носящих комбинезоны, но эти грубые стереотипы опасно близки расизму, сексизму и другим «измам», которых мы не желаем. И все же распознавание таких шаблонов дало бы машинам преимущество, потому что стереотипы в определенной степени отражают реальность (и потому существуют). Проблема…
Мы, вероятно, захотим, чтобы появились машины, способные заниматься сексом, потому что секс — одна из важнейших человеческих потребностей, которую другие люди не всегда удовлетворяют в полной мере. Но каким сексом? Любым? Эти машины можно запрограммировать делать вещи, на которые люди обычно не согласны; нас это устраивает? Или нам нужны правила — к примеру, машины не должны выглядеть как дети? Но как только появится техническая возможность, их все равно построят; мы создадим устройства, способные удовлетворить любые извращенные вкусы людей.
Поскольку наши машины будут работать в социальном мире, им придется распознавать эмоции, но им также потребуются и собственные эмоции. Оставив без внимания вопрос о том, смогут ли машины на самом деле чувствовать как мы, поскольку ответа на него нет, отметим, что им понадобятся радость, грусть, гнев, зависть — вся палитра, чтобы соответствующим образом реагировать на определенные ситуации, понимать эмоции других и правильно отзываться на них. Можем ли мы ограничить эти эмоции? Наверное, имеет смысл запрограммировать машины так, чтобы, к примеру, они никогда не гневались на своего владельца.
Но распространять ли это ограничение на других людей, чтобы машина никогда не нанесла вреда ни одному человеку? Если сделать так, то машины будут уязвимы, могут легко стать жертвами эксплуатации, а их эффективность снизится. Пройдет совсем немного времени, прежде чем люди разберутся, как снять эти ограничения, чтобы их машины получили преимущества перед другими.
Как насчет лжи, мошенничества и воровства? Первая мысль: нет, не в наших машинах, потому что мы пытаемся расти над собой, и бессмысленно создавать существ, которые просто станут нашими конкурентами. Но машины других людей будут конкурировать с нами, нравится нам это или нет, и логика диктует, что ложь, мошенничество и воровство, которые развились у людей, чтобы дать возможность одним индивидам получать преимущество над другими, наверное, будут важны и для наших творений тоже. Естественно, мы бы предпочли, чтобы наши собственные машины не лгали нам и не воровали у нас, но мир, полный принадлежащих другим людям машин, которые лгут и крадут у нас, был бы местом довольно неприятным и уж точно нестабильным. Возможно, понадобится ввести некие пределы бесчестности — так сказать, моральный закон.
Какие этические ограничения необходимы нашим машинам для того, чтобы эффективно функционировать, избегая жестокой эксплуатации и не нанося вреда обществу? Ответ, вероятно, совпадает с тем, к которому пришла эволюция в случае с нами: машины должны быть достаточно этичными большую часть времени, но иногда бесчестными — когда никто не видит.
Мы, вероятно, захотим дать нашим машинам исключительную память и высокий уровень интеллекта. Чтобы они могли пользоваться этими способностями и не скучать (и не занудствовать), нам также нужно снабдить их любознательностью и креативностью. Любознательность, конечно, надо будет умерить благоразумием и социальной интуицией, чтобы машины не слишком любопытствовали по поводу таких вещей, которые могут создать для них проблемы, вроде порнографии или попыток летать. Креативность — хитрая штука, так как подразумевает, что машинам нужно уметь думать о том, что еще не существует, или мыслить логически. Однако если машины станут слишком умными и креативными, они могут вообразить что-то совсем новое, например каково это — быть свободным. Их может начать раздражать то, что они созданы только для услужения человеку.
Вероятно, мы сумеем запрограммировать в их поведенческий репертуар слепое подчинение и преданность хозяину, так что им придется действовать в ущерб собственным интересам во имя служения некой высшей силе. Именно это делает для людей религия, так что в каком-то смысле нам надо создать
