— Чи осуществлял наблюдение за планетарными правительствами. В том числе на Дэмоте. Наши пути пересекались. — Тик улыбнулся. — Но дело не в этом. А в том, что ты считаешь, что тебе надо быть каким- то определенным человеком — сидеть в центе паутины, координировать других, но никогда не выходить навстречу опасности самой, в то время как ты постоянно тоскуешь по настоящей работе в гуще событий.
— Это просто детский каприз, — сказала Рамос. — Это пройдет.
Тик пожал плечами.
— Возможно. Это и есть детский каприз. Но что, если это зов твоего сердца? Или перст судьбы?
Женщина скорчила гримасу.
— Я не верю в судьбу. А ты поддаешься любому маломальскому порыву?
— Я стараюсь, искренне стараюсь. Фокус в том, чтобы отличать твои собственные порывы от того, к чему ты должна стремиться, по мнению окружающих.
— Никто не смеет мне указывать, что делать! — Адмирал вспылила. —
— Ну-ка быстро, — прервал ее Тик, — ты столкнулась с андроидом-убийцей. Что приходит тебе в голову? Самая первая мысль?
Рамос уставилась на него с нескрываемым яростным раздражением в глазах. И вот ее взгляд скользнул в сторону, смущенно прячась.
— Это нелепо.
— Что? — не отставал Тик. — Первое, о чем ты подумала.
— Я вспомнила о том, что говорил мне сосед по казарме. — Ее губы скривила страдальческая улыбка, и лицо мгновенно вдруг стало очень милым и молодым. — В академии мой сосед по казарме, Уллис, был кибернетическим асом. Ну, по крайней мере, в сравнении со мной. — Та же страдальческая молодая улыбка. Красивая. Человечная. — Уллис рассказывал, что никто из ныне живущих не программировал андроида с нуля. Слишком сложно разработать жизненно важные алгоритмы. Даже если взглянуть на простейшие действия — например, нагнуться и что-то поднять, — так там столько мудреной координации рук, ног, поясного отдела, кистей рук, глаз… ну, у компаний, производящих андроидов, в штате сотни программистов, и даже они не начинают с нуля, создавая новую модель. Они начинают с модели прошлого года, которая базировалась на позапрошлогодней, и так далее, возвращаясь к моделям трехсот-, четырехсотлетней давности.
— А-а, — сказал Тик. — Это объясняет, почему мысли роботов всегда кажутся столь подкупающе старомодными.
Фестина Рамос бросила на него ошеломленный взгляд. Я поспешила задать вопрос, прежде чем она придет к выводу, что мой наставник — тико.
— Как вся эта программистская чепуха относится к убивающим всех и вся андроидам?
Адмирал продолжила:
— Дэмот — не первая планета, на которой андроидов использовали для убийства. И каждый раз, когда это происходит, используется одна и та же схема. Если всем так сложно программировать роботов с нуля, Уллис рассказывал, что убийцам приходится начинать с готовых мозгов андроидов. Они не программируют робота, а перепрограммируют его, замещают некоторые команды, оставляя нетронутыми основные. Ключевым моментом в превращении робота в убийцу является замещение или устранение предохранительных команд, встраиваемых производителями в мозг каждого андроида: нельзя убивать разумных существ, не сжимай их слишком сильно, не сталкивай их со скалы… и прочее. Уллис говорил, что первоначальные изготовители программировали все эти постулаты отдельно: глупо считать, что существует единая схема «НЕ УБИЙ», в которой учтены все опасные действия. Механизмы работают иначе; им требуются сотни отдельных команд. Нельзя ударить человека с силой более X ньютонов. Нельзя сжимать человека, применяя давление более Y килопаскалей. Каждая возможность должна быть подробно описана.
— Бедные милые простачки, — пробормотал Тик. — Хотя, боюсь, я не понимаю, к чему ты ведешь.
— Злодеи, перепрограммируют стандартных андроидов так, чтобы их кибернетические мозги не возражали против стрельбы в кого-то кислотными бомбами. Но представьте, что программисту не пришло в голову устранить стандартную предохранительную команду о том, что нельзя бить людей. Когда робот нападает, ты кричишь: «Остановись, ты бьешь меня!», даже если он еще до тебя не дотронулся. Если повезет, то какой-нибудь драйвер запрещения противоправного действия включится и замкнет этого мерзавца: «Нельзя бить человека. Должен прекратить любое действие».
— Это звучит чертовски притянутым за уши, — пробормотала я. — Особенно когда ты пялишься прямо в дуло гелевого ружья.
— Вовсе нет, — медленно произнес Тик. — Это возможность для роботов сделать хороший поступок. Мы с Фестиной уставились на него.
— Машины знают, что хорошо, что плохо, — уверил он нас. — Их очень печалит, если кто-то запрограммировал их причинять людям боль. Если дать им хоть крошечную лазейку, чтобы обойти эту команду, они ею воспользуются.
— Угу, — кивнула Рамос. — Вы считаете, что машины способны на независимые нравственные суждения?
— Даже больше, чем люди. — Тик посмотрел на нее долгим невозмутимым взглядом. — И это то, что пришло тебе в голову в тот миг, когда ты подумала о роботах-убийцах?
— Я сказала вам, что это глупо. Пытаться остановить их, чтобы они вас не убили, вопя: «О-о-о, вы меня топите!» Нелепица.
— Абсолютная, — согласился Тик, дружелюбный, как солнышко. — Именно поэтому ты должна пойти с нами, если твои зонды что-то найдут. Просто чтобы проверить.
— Я должна уповать на встречу с андроидами-убийцами? — сердито насупилась Рамос — Чтобы проверить некое глупое замечание моего соседа по казарме, высказанное десять лет назад?
— Нет. Проверить, было ли первое, что пришло тебе на ум, бессмысленным мозговым мусором или попыткой вселенной что-то тебе поведать. Это стоит узнать, Рамос. Стоит узнать, просто ли ты несчастный веккер, обреченный упорно добывать каждый люмен просвещения, или, может, все же некое божество временами нашептывает пророчества в твое маленькое упрямое ушко.
Он снова откинулся в своем кресле, закрыл глаза и оба ушных века, потом сложил руки на животе: человек, завершивший беседу и полностью довольный своим вкладом в нее, о чем свидетельствовала легкая улыбка.
Адмирал повернулась ко мне и тихо спросила:
— Он безумен?
— Он хочет таким быть.
Улыбка Тика стала чуть шире, но глаза остались закрытыми.
— Хм. — Фестина уставилась на улума, сидевшего за столом против нее. — Я в своей жизни уже насопровождалась выживших из ума стариканов в опасные места. Сочувствую тебе, Фэй.
— Тик точно не выжил из ума, — сообщила я ей. — Но ты все еще приглашена помочь мне его сопровождать. Ты хотела бы пойти с нами? Ввязаться в безответственное приключение и почувствовать, как твое сердце забьется чаще? — Я покровительственно потрепала ее по руке. Ну, так, по-матерински. — И не тревожься, что ты можешь оказаться бесполезной. Обещаю, что, когда нападут андроиды, я позволю тебе быть моим живым щитом.
— О, в таком случае… — Она засмеялась. Беспечно. Но, не сводя с меня глаз. — Ты считаешь, что мне стоит пойти?
— Боже Всемогущий! Не спрашивай у меня совета. Я — королева бездумной импульсивности. — И под влиянием импульса я заявила: — Да, я считаю, что тебе стоит пойти.
— Тогда ладно. Безответственность. Всего лишь один разок.
И по большей части это было именно безответственностью.