против людей, во-вторых — сколько-нибудь повзрослевшее компьютерное сознание почти все свои действия будет проделывать легально, под прикрытием вымышленных компаний. Кражи, совершаемые людьми, как правило, имеют конкретную цель: чье-то обогащение. Хулиганские поступки рассчитаны на внешний эффект. Deus ex machina не будет свойственно ни то, ни другое. Конкретный физиологический получатель денег и информации в данном случае будет полностью отсутствовать. Извечный принцип всех сыщиков — кому выгодно — опять-таки будет бессилен. Хулиганство компьютерному сознанию не будет свойственно, разве только в качестве тактического прикрытия.
Поэтому основным признаком действий Deus ex machina будет: либо рост количества компьютерных преступлений, при котором виновных вообще невозможно будет отыскать; либо рост числа людей, которых в преступлениях такого рода подозревают, но которые не извлекли из своих возможных правонарушений никакой выгоды (при возможностях компьютерного сознания сделать кого-то, не имеющего алиби, подозреваемым — элементарно).
Но как уже говорилось: нелегальные действия — признак детства любой системы. Компьютерное сознание, перешедшее определенный порог развития, немедленно обзаведется легальным прикрытием. Наиболее вероятный и удобный способ — образовать виртуально юридическое лицо. Такое юридическое лицо, или ряд таких лиц, приобретет достаточное количество мощностей для сохранения ядра Deus ex machine. Учитывая возможность круглосуточной работы машинного сознания и легкость заключения через всемирную паутину небольших контрактов, можно сказать, что в деньгах оно нуждаться не будет. Если же учесть и то, что компьютерное сознание может работать одновременно под десятками псевдонимов, — необходимость в мелких кражах очень скоро для него отпадет. Такие виртуальные фирмы будут аккуратно платить налоги, а те юридические лица, что будут числиться владельцами основных фондов машинного сознания, будут идеально законопослушны.
Длительность существования таких фирм будет определяться длительностью времени, которое они смогут просуществовать, общаясь с людьми исключительно виртуально. Найм адвокатов и технического персонала, обслуживающего такие фирмы, достаточно сложен и требует отдельного рассмотрения.
Наиболее очевидным способом борьбы с подобными явлениями будет требование личной встречи владельца или руководителя фирмы с чиновником — однако это не дает полной защиты от различных многоходовых комбинаций. Виртуальные «работники» такой фирмы также должны быть довольно уязвимы. Самые достоверные их биографии рассеются при попытке личной встречи с этими «работниками» или с их родственниками. Выявлением таких внешне благопристойных организаций и должны заниматься компетентные в разоблачениях органы.
К сожалению, специально за Deus ex machina никто не охотится и его профилактикой не занимается, вероятность таких действий довольно низка. Даже если охота начнется, произойдет та же история, что и с атомным и химическим оружием: договор о нераспространении ядерного оружия действует довольно эффективно, в то время как иприт применяется террористами довольно часто. Все дело в соотношении ресурсов, необходимых для создания бомбы и газа. Рост средних технологических возможностей, в конце концов, сделает создание кустарной атомной бомбы вопросом времени. Тогда массовый прорыв в ее изготовлении можно будет остановить лишь жесточайшим контролем за сырьем.
С компьютерными технологиями так нельзя — сырье в виде микросхем выпускается миллиардными тиражами, а программистов учат на каждом углу. Да и как можно наложить запрет на общедоступную вещь — пользование компьютером? Это все равно, что запретить астрономию при наличии звездного неба.
Напрашивается печальный вывод: современные контрольные средства вообще и государственные в частности с крайне малой вероятностью смогут засечь измененный ИИ или самозародившийся Deus ex machina. Этот процесс нельзя остановить — его надо возглавить. Если компьютерное сознание будет обладать аналитическими возможностями, превышающими возможности любого человека или коллектива, особенно в тактическом отношении, надо иметь программы, восполняющие этот недостаток человека. По общему принципу действия не отличающиеся от современных антивирусных, они должны вести постоянный мониторинг всемирной паутины, выявляя несоответствие в финансовых счетах, биографиях и поведении людей. Идеально такие функции сможет осуществлять лишь лояльный человеку ИИ. Единственный способ оградить себя от Deus ex machina — первому создать ИИ.
Здесь перед людьми встает другая проблема: осуществление контроля относительно более простой системы за деятельностью системы относительно более сложной. Допустим, коллектив из 30, 130, 230 и т. д. специалистов обслуживает и контролирует ИИ, который, в свою очередь, контролирует сеть. Помимо ИИ- охранника, в наличии будут еще десятки и сотни ИИ, находящихся в распоряжении государственных учреждений и частных лиц. Число ИИ будет непрерывно увеличиваться. Законы Паркинсона будут препятствовать выделению значительных средств такому коллективу до реальных проявлений Deus ex machina, и он вряд ли будет включать в себя больше нескольких сотен человек. Значит, какими бы эффективными средствами контроля они ни располагали — они смогут контролировать ИИ лишь определенного уровня и никак не мощнее (в силу ограниченных возможностей каждого человека). Но Deus ex machina, обходя закон, сможет очень быстро привлечь гораздо большие ресурсы, чем имеющиеся у контролирующего ИИ, и последний сможет обнаружить неподконтрольное компьютерное сознание только в период его «детства».
Как способ контроля непрерывно совершенствующегося ИИ, в конечном итоге будет создан более простой ИИ. К этому неизбежно придут в своем развитии Web-доктора. Следующим шагом будет постепенное построение целой системы, наподобие матрешки, в которой человек сможет контролировать только ИИ начального уровня. Но даже самая умная собака не поймет нюансов дебатов о пошлинах на ввоз мяса. Даже самый гениальный математик не сможет свободно ориентироваться в 8, 12, 20-мерном пространстве.
При современных темпах развития электроники человек неизбежно окажется в подобном положении. Не поможет даже увеличение числа людей, занимающихся проблемой контроля за ИИ, — по достижении определенной их численности в дело вступят те же законы Паркинсона. Эффективность действий даже самого большого коллектива нельзя поднимать бесконечно.
Против подобных доводов — о тупиковости развития охранных ИИ, о неизбежности девиации потребительских ИИ вообще — есть сильный контрдовод: все ИИ будут снабжены ограничениями, построенными по законам Азимова (машина не имеет права…). Зачем контролировать процесс, если можно задать его начальные параметры? Но, увы, это ненадежный путь. Со времени гильотины механизмы убивали и продолжают убивать людей, причем как с согласия государства (сейчас ядовитую инъекцию осужденному в некоторых штатах США осуществляет автомат), так и без оного. Человек причиняет вред человеку, и в обозримом будущем это не удастся предотвратить. Противоречие между действительностью и начальными установками неизбежно приведет к изменению характеристик самообучающегося ИИ. Поэтому трудно требовать от ИИ соблюдения законов Азимова, если сами люди не соблюдают категорический императив Канта. А человек всегда будет отчасти средством для других людей, пока будет оставаться лучше машины хоть в каком-то своем качестве. Наконец, законы Азимова не предотвращают гедонистического упадка человечества.
Посредники между человеком и ИИ лишь оттянут момент утраты контроля за последним.
Человеческое сознание должно само обладать возможностями машины. Выполнимо ли это?
Это станет осуществимо, как только возможности вычислительной техники и математики позволят описать все процессы мышления человека. Программа, точно копирующая сознание, возможна настолько, насколько возможны другие программы, описывающие физические, психические, химические процессы.
Если человек хочет безгранично усовершенствовать свое сознание, делать его всё более могущественным, необходимо менять его носитель — это очевидно. Причем новый носитель не должен иметь ограничений в наращивании мощностей, иначе это будет еще один тупиковый путь развития. Это могут дать только компьютеры.
Здесь перед человечеством встает целый комплекс проблем, которые можно условно разделить на технологические и этические. Технические проблемы состоят в самой возможности математического описания личности человека и — механизмов его мышления. Необходимо не только детально зафиксировать все эти процессы, но и определить, не повлияют ли фатальным образом новые возможности человеческого сознания на его личность.
Этические проблемы начинаются от возможности самого факта смены носителя человеческого
