2. Нейронные сети
Когдая поступил в Калифорнийский Университет в Беркли в январе 1986, первым, что я сделал, было собрание истории теорий интеллекта и функций мозга. Я прочел сотни статей анатомов, физиологов, философов, лингвистов, компьютерщиков и психологов. Множество людей из множества областей широко описали мышление и интеллект. В каждой область науки был свой набор журналов и в каждой использовалась своя терминология. Я нашел их описания неподходящими и неполными. Лингвисты говорили об интеллекте в терминах «синтаксис» и «семантика». Для них мозг и интеллект существовали только как язык. Специалисты по зрению ссылались на 2-мерные, 2.5-мерные, 3-хмерные модели. Для них мозг и интеллект существовали только как визуальное распознавание паттернов. Компьютерщики говорили про схемы и фреймы, новые термины, которые они придумали для представления данных. Никто из этих людей не говорил про структуру мозга и про то, как бы в нем укладывалась любая из их теорий. С другой стороны, анатомы и нейрофизиологи широко описали о структуре мозга и о том, как ведут себя нейроны, но они в большинстве своем избегали любых попыток построить крупномасштабную теорию. Было сложно и тщетно пытаться ухватить смысл этих разнообразных подходов и гор экспериментальных данных, сопровождающих их.
Примерно в это же время на сцену вышел новый обещающий подход к интеллекту. Нейронные сети существовали еще с конца 60-х в той или иной форме, но нейронные сети и движение ИИ были конкурентами, и за деньги и за умы агентов, занимающихся вложениями в исследования. Исследователи нейронных сетей существенно игнорировались исследовательскими фондами в течение нескольких лет. Тем не менее, немногие продолжали задумываться о них, и к середине 80-х они окончательно добились места под солнцем. Сложно сказать точно, откуда взялся неожиданный интерес к нейронным сетям, но несомненно одним содействующим фактором стали продолжительные неудачи в искусственном интеллекте. Люди прогнозировали насчет альтернатив к ИИ и нашли одну в искусственных нейронных сетях.
Нейронные сети были подлинным улучшением после ИИ-подхода, потому что их архитектура базируется, хотя и очень слабо, на реальных нейронных сетях. Вместо программирования компьютеров, исследователи нейронных сетей, известные также как коннекционисты, интересовались изучением того, какое поведение может быть продемонстрировано связыванием группы нейронов вместе. Мозг состоит из нейронов; таким образом, мозг — это нейронная сеть. Это факт. Надежда коннекционистов была в том, что эфемерные свойства интеллекта могли бы проясниться изучением того, как нейроны взаимодействуют, и некоторые из проблем, которые не решались с помощью ИИ, могли бы быть решены репликацией соответствующего соединения между популяциями нейронов. Нейронные сети отличаются от компьютера тем, что в них нет процессора, и они не хранят информацию в централизованной памяти. Знания и память сети распределены по ее соединениям — прямо как в реальном мозге.
На первый взгляд, нейронные сети казались наилучшим приложением моих интересов. Но я быстро развеял свои иллюзии в этой области. За это время у меня сформировалось мнение, что три вещи были существенными для понимания мозга. Первым моим критерием было включение времени в функции мозга. Реальный мозг быстро обрабатывает потоки информации. Нет ничего статического в потоках информации, поступающих в мозг и из мозга.
Вторым критерием была важность обратных связей. Нейроанатомы давно осведомлены о том, что мозг насыщен обратными связями. Например, в контуре между неокортексом и нижележащей структурой, называемой таламусом, количество соединений, идущих обратно (в сторону входа) превышает количество идущих в прямом направлении более чем в десять раз! То есть, на каждое волокно, передающее информацию в направлении неокортекса приходится десять волокон, передающих информацию в направлении органов чувств. Обратные связи преобладают также и в большинстве соединений внутри неокортекса. Никто не понял конкретную роль этих обратных связей, но из опубликованных исследований ясно, что они есть везде. Я полагаю, что это должно быть важным.
Третьим критерием было то, что теория или модель мозга должна учитывать физическую архитектуру мозга. Неокортекс не является простой структурой. Как мы увидим далее, он организован как повторяющаяся иерархия. Ни одна нейронная сеть, не обладающая такой структурой, определенно не будет работать как мозг.
Но как только феномен нейронных сетей покинул сцену, ее занял класс очень простых моделей, которые не удовлетворяли ни одному из этих критериев. Большинство нейронных сетей состоят из небольшого количества нейронов, соединенных в три слоя. Паттерн (вход) подается на первый слой. Эти входные нейроны соединены со следующим слоем нейронов, так называемым скрытым слоем. Скрытый слой затем соединяется с последним слоем нейронов, выходным. Соединения между нейронами имеют различный вес, подразумевая, что активность одного нейрона может усиливать активность другого нейрона и ослаблять активность третьего в зависимости от веса соединения. Изменяя эти веса, нейронная сеть обучается отображать входные паттерны на выходные.
Такие простые нейронные сети обрабатывали только статические паттерны, не использовали обратных связей и не были чем-то похожим на мозг. Наиболее общий тип нейронных сетей, называемых сетями «обратного распространения», обучались путем распространения ошибки от выходных слоев обратно к входным. Вы могли бы подумать, что это одна из форм обратной связи, но это не так. Обратное распространение ошибки возникало только во время фазы обучения. Когда нейронная сеть работала в обычном режиме после того, как она была обучена, информация распространялась только в одну сторону. От выходов к входам не было обратных связей. И у этих моделей не было времени. Статический входной паттерн преобразовывался в статический выходной. Затем подставлялся другой входной паттерн. В сети не было какой либо истории или записей о том, что происходило даже чуть раньше. И наконец архитектура этих нейронных сетей была тривиальной по сравнению со сложной и иерархической структурой мозга.
Я думал, что это направление быстро перейдет к более реалистичным сетям, но этого не произошло. Поскольку эти простые нейронные сети были способны на интересные вещи, казалось, что исследования остановятся прямо там на годы. Был найден новый и интересный инструмент, и неожиданно тысячи ученых, инженеров и студентов бросились получать гранты, зарабатывать ученые степени и писать книги о нейронных сетях. Были созданы компании, использующие нейронные сети для предсказания курсов на фондовых рынках, обработки заявок на получение кредитов, проверки подписей и выполнения сотен других приложений по классификации паттернов. Хотя намерения исследователей в этой области могли бы быть более общими, эта область стала доминирующей стараниями людей, которые не были заинтересованы в понимании того, как работает мозг или что такое интеллект.
Популярная пресса не понимала различий. Газеты, журналы и телевизионные научные программы представляли нейронные сети «мозгоподобными», или работающими по тем же принципам, что и мозг. В отличие от ИИ, где все должно было быть запрограммировано, нейронные сети обучались на примерах, что казалось более интеллектуальным. Наиболее заметной демонстрацией был NetTalk. Эта нейронная сеть обучалась отображать последовательности букв в произносимые звуки. Как только сеть была обучена на печатных примерах, она начала произносить «компьютерным» голосом читаемые слова. Легко было вообразить, что чуть больше времени — и нейронная сеть начнет общаться с людьми. NetTalk была ошибочно провозглашена в национальных новостях как машина, обучающаяся чтению. NetTalk была отменной демонстрацией, но то, что она действительно делала, было тривиальным. Она не читала, она не понимала и не имела большого практического значения. Она просто сопоставляла подходящие паттерны букв предопределенным звуковым паттернам.
Позвольте привести вам аналогию, чтоб показать, как далеки были нейронные сети от реального мозга. Вообразите, что вместо того, чтоб пытаться понять, как работает мозг, мы попытаемся понять, как работает цифровая вычислительная машина. Через годы изучения мы откроем, что все в компьютере состоит из транзисторов. В компьютере есть сотни миллионов транзисторов и они соединены между собой определенным сложным образом. Но мы не понимаем, как работает компьютер или почему транзисторы соединены именно так. Итак, однажды мы решаем соединить всего лишь несколько транзисторов, чтоб увидеть, что происходит. Вот смотрите, мы обнаружили, что несколько транзисторов, когда соединяются вместе определенным образом, становятся усилителем! Слабый сигнал, поданный на один конец, усиливается на другом конце (подобным образом делают усилители в радиоприемниках и телевизорах). Это важное открытие, и немедленно вырастает индустрия, выпускающая транзисторные радиоприемники, телевизоры и другие электронные приборы на транзисторных усилителях. Все это хорошо, но это ничего не говорит нам о том, как работает компьютер. Хотя и усилитель и компьютер сделаны из транзисторов, они не имеют почти ничего общего. Точно так же и реальный мозг и трехслойная нейронная сеть построены из нейронов, но не имеют почти ничего общего.
Летом 1987 я получил опыт, который еще больше охладил мой и так невысокий энтузиазм относительно нейронных сетей. Я пришел на конференцию по нейронным сетям, где я увидел презентацию, устроенную компанией, называемой Nestor. Nestor пыталась продать приложение на нейронной сети для распознавания рукописных символов на подложке. Она предлагала лицензию на программу за один миллион долларов. Это привлекло мое внимание. Хотя Nestor провела улучшение алгоритма ее нейронной сети и рекламировала ее как еще один большой прорыв, я чувствовал, что проблема распознавания рукописных символов могла бы быть решена более простым, более традиционным путем. Я пришел домой той ночью, размышляя о проблеме, и за два дня разработал распознаватель рукописных символов который был быстрым, маленьким и гибким. Мое решение не использовало нейронную сеть и оно работало совершенно не так, как мозг. Хотя эта конференция разожгла мой интерес в разработке компьютеров со стилусом (в конечном счете приведший к проекту PalmPilot десять лет спустя), это также убедило меня, что нейронные сети были не таким уж большим улучшением по сравнению с традиционными методами. Распознаватель рукописных символов, который я создал, пригодился в конечном счете для системы текстового ввода, названной Graffiti, использованной в первых сериях продукции Palm. Я думаю, компания Nestor ушла из бизнеса.
Слишком много для простых нейронных сетей. Большинство их возможностей легко воспроизводились другими методами и в итоге шумиха в СМИ спала. Наконец, исследователи нейронных сетей перестали объявлять свои модели интеллектуальными. Ведь это были очень простые нейронные сети и делали гораздо меньше, чем ИИ-программы. Я не хочу оставить у вас впечатление, что все нейронные сети являются простыми трехслойными. Некоторые исследователи продолжали изучать нейронные сети различных конфигураций. Сегодня термин
По моему мнению, большинство фундаментальных проблем с большинством нейронных сетей — это особенности, которые они разделяют с ИИ-программами. И те и другие обременены тем, что фокусируются на поведении. Называют ли они это поведение «ответами», «паттернами» или «выходными данными», и ИИ и нейронные сети полагают, что интеллект заключается в поведении, которое программа или нейронная сеть демонстрирует после обработки заданных входных данных. Наиболее важным атрибутом компьютерной программы или нейронной сети является то, выдает ли она правильные или желаемые результаты. Как навязано Аланом Тьюрингом, интеллект эквивалентен поведению.
Но суть интеллекта не только в действии или интеллектуальном поведении. Поведение — это проявление интеллекта, но не центральная характеристика или первичное определение интеллекта. Рефлексия доказывает это: вы можете быть интеллектуальным просто лежа в темноте, размышляя и понимая. Игнорирование того, что происходит в вашей голове и фокусирование вместо этого на поведении было большой преградой на пути понимания интеллекта и построения интеллектуальных машин.
Прежде, чем мы исследуем новое определение интеллекта, я хочу рассказать вам о других коннекционистских подходах, которые подошли гораздо ближе к описанию того, как работает мозг. Проблема в том, что слишком мало людей, кажется, осознали важность этих исследований.
Тогда как нейронные сети привлекли основное внимание, небольшая отколовшаяся группа теоретиков по нейронным сетям строила сети, которые не фокусировались на поведении. Названные самоассоциативной памятью, они были также построены из простых «нейронов», которые были соединены друг с другом и возбуждались, когда достигали определенного порога. Но они были соединены по-другому, с использованием большого количества обратных связей. Вместо того, чтоб передавать информацию только вперед, самоассоциативная память возвращала свои выходные данные на вход — что-то вроде того, как если б вы звонили самому себе по телефону. Эти циклы на обратных связях привели к некоторым интересным свойствам. Когда паттерн активности был приложен к искусственным нейронам, они формировали память на этот паттерн. Самоассоциативные сети ассоциировали паттерны с самими собой, отсюда термин
Результаты такой записи на первый взгляд кажутся нелепыми. Чтоб выбрать паттерн, хранящийся в такой памяти, вы должны задать паттерн, который хотите выбрать. Это все равно, что вы пойдете к торговцу и попросите связку бананов. Когда торговец спросит вас, как вы собираетесь расплачиваться, вы скажете, что будете платить бананами. Вы можете спросить: «Какой в этом смысл?». Но автоассоциативная память обладает несколькими важными свойствами, которые обнаружены в реальном мозге.
Наиболее важным свойством является то, что вам не обязательно иметь целиком тот паттерн, который вы хотите выбрать. У вас может быть только часть паттерна, или у вас может быть немного искаженный паттерн. Самоассоциативная память может выбрать корректный паттерн, такой, каким он был сохранен изначально, даже если вы начали с искаженной версии. Это все равно, что вы придете к торговцу с наполовину съеденными коричневыми бананами и получите целые зеленые бананы назад. Или придете в банк с порванной и нечитаемой банкнотой, а кассир вам скажет: «я думаю, это испорченная 100-долларовая купюра, дайте ее мне, а я вам дам новую хрустящую 100-долларовую купюру».
