действие от бездействия и смешивать результаты и намерения (как в принципе двойного эффекта) означает, что если нам нужны долгосрочные решения, то они должны удовлетворять человеческим инстинктам судей, то есть нас.
И именно это свойство нашего разума (сформированное эволюционными факторами) указывает на зияющую пропасть между человеческим мышлением и мышлением машины. Мышление не бывает мотивированным без определенных предпочтений, а у машин собственных предпочтений нет. Только разумы, которые понимают, что такое причина и следствие, способны формировать мотивы. Потому, если цели, желания, ценности — свойства человеческого разума, зачем тогда делать прогнозы о том, что искусственные сверхразумы станут чем-то большим, чем инструменты в руках тех, кто их программирует и у кого есть свои предпочтения.
Если сумбурность предсказаний об искусственном интеллекте и машинном обучении нам о чем-то и говорит, то точно не о том, что машина в скором времени сумеет эмулировать человеческий разум. Мы можем запросто добиться того же, рожая больше детей и давая им хорошее образование. Скорее, она говорит нам о том, что аппетиты растут.
Мы, понятное дело, восхищены нынешними достижениями вычислительной науки и теми, которые еще впереди; я бы с удовольствием запрыгнул в вагон этого виртуального беспилотного поезда, несущегося в светлое будущее. Но такое восхищение ведет к своеобразным перекосам в нашей культуре. Прежде метафорой мышления была «республика букв» — литература, а теперь оно все больше ассоциируется с компьютерами. Позади остается некогда спокойный, а ныне тревожный тип личности со складом ума скорее текстовым, нежели символьным. Мы начинаем новую жизнь, утомившись от неуклюжей несостоятельности беспорядочного мышления. Неудивительно, что министр образования Великобритании недавно посоветовала подросткам, стремящимся преуспеть в жизни, отдавать предпочтение точным наукам, а не искусству или гуманитарным дисциплинам. Простота и очевидность успеха определенного рода придает узкоспециализированному мышлению притягательный блеск.
Но кое-что теряется, если целые области исследования становятся успешными или терпят неудачу из-за такой узкой специализации мышления, и возникает новая проблема. Помимо истины, нам также необходимо думать о добре и красоте — и о коварстве тоже. Для этого требуется словарный запас, лучше отражающий нашу противоречивую природу (которую можно считать и «багом», и «фичей»). Понятное стремление сделать «коварные» проблемы «послушными» ведет нас к тому, чтобы умерить свои аппетиты.
Еще один фрактальный элемент общей картины
Я сегодня за городом.
Когда заработает центральное отопление, я встану и приготовлю себе чаю и каши, в которую добавлю орехов и фруктов. Я включу «Всемирную службу Би-Би-Си», чтобы послушать новости, а потом сделаю пару звонков по поводу гидроизоляции и, наверное, высажу несколько луковиц нарциссов на весну (на упаковке сказано, что сейчас как раз пора). Думаю, потом я пойду в магазин и куплю кое-что на обед и на ужин, а еще, наверное, доеду на автобусе до Норвича, присмотрю новую кровать. В загородном доме у меня интернета нет, так что я проверю электронную почту в Норвиче, сделаю предварительный заказ билета обратно до Лондона и оплачу счет за электричество через электронный перевод.
И вот что мне во всем этом непонятно. Мне непонятно, как мазут, используемый в системе отопления, попадает с далеких месторождений в мой дом. Мне непонятно, как его делают из нефти и какие коммерческие транзакции при этом совершаются. Мне непонятно, как устроена топка. Мне непонятно, откуда взялись каша, чай или орехи и как они ко мне попали. Мне непонятно, как работают мой телефон или цифровое радио, а также как получены и смонтированы новости, которые оно передает. Мне также непонятны сложности организации автобусного или железнодорожного сообщения, и я не смогу починить ни одно из подобных транспортных средств. Мне не очень понятно, как функционируют сетевые супермаркеты, как организовано массовое производство кроватей, как работает Wi-Fi и что именно происходит, когда я нажимаю «Отправить» в форме электронной почты или онлайн-банка. Управление поставками электроэнергии, монтаж гидроизоляции, селекция нарциссов для получения определенных разновидностей и то, почему их надо высаживать не позже декабря, — это все мне тоже непонятно.
Забавно, но меня ничуть не тревожит то, что мое невежество в отношении почти всего, чем я займусь сегодня утром, настолько велико. Я к этому привык: я всю жизнь становлюсь все более невежественным, у меня большой опыт по части невежества и спокойного восприятия этого состояния. На самом деле то, что я называю «пониманием» оказывается «более эффективным способом справляться со своим невежеством».
Мое беззаботное отношение связано с почти абсолютной верой в надежность огромного суперкомпьютера, к которому я постоянно подключен. Он строится из интеллекта тысяч поколений человеческих разумов, и работа над ним продолжается. Весь этот человеческий разум живет в форме суперкомпьютера, состоящего из инструментов, теорий, технологий, ремесел, наук, дисциплин, традиций, ритуалов, правил «буравчика», искусств, систем верований, заблуждений, процедур и наблюдений, которые мы называем мировой цивилизацией.
