Одна формула и весь мир

Пример V. Чтобы определить энтропию фраз № 3 и № 4, необ­ходимо учитывать не только вероятности отдельных букв, но и веро­ятности их сочетаний. Для реальных текстов эта задача становится настолько сложной, что приходится применять приближенные методы расчета, описанные подробно и доступно в книге А. М. Яглома и И. М. Яглома «Вероятность и информация» (глава 4). Приближенное значение энтропии реальных текстов составляет около 1 бита на букву.

Уменьшение энтропии реальных текстов по сравнению с фразой № 1 обусловлено тем, что в структуре реального текста содержится информация всех грамматических и фонетических правил русского языка. Разность между энтропией реального текста Н_р = 1 бит на букву и максимальной энтропией фразы № 1, Hmax=5 бит на букву — это и есть количество информации I_п, содержащейся в грамматических и фонетических правилах, которым подчиняются реальные тексты. Таким образом:

                                                         = 4 бита на букву.

Этого количества информации оказывается достаточно для того, чтобы представленную фразой № 1 абракадабру превратить в осмысленный текст.

Специалисты по телефонной, телеграфной и радиосвязи называют информацию грамматических и фонетических правил избыточной информацией. Почему? Это не так уж сложно понять.

Дело в том, что специалистов, проектирующих системы связи, письменные тексты интересуют только с одной точки зрения: как с помощью этих текстов передать по каналу связи при минимальной затрате энергии и в максимально короткий срок наибольшее количество новостей?

Мы только что выяснили, что в структуре реальных текстов содержится информация грамматических и фонетических правил.

Является ли эта информация для получателя новой? Нет, разумеется. Надо думать, что правила грамматики он усвоил еще на школьной скамье. А раз так, решили специалисты по связи, значит, информация эта избыточна и лучше по мере возможности не загружать ею канал. Приняв точку зрения специалистов по теории информации и технике связи, взглянем еще раз на фразы нашей таблицы.

Фраза № 1 и проделанный для нее расчет энтропии показывают, что наибольшая неопределенность появления буквы составляет 5 бит на букву. Расчеты, проделанные для фразы № 4 и других реальных текстов, показали, что неопределенность (непредсказуемость, неожиданность) появления каждой буквы в реальных текстах уменьшается до 1 бита за счет упорядоченности, обусловленной правилами, по которым строится всякий реальный текст.

Другими словами, неожиданность сообщений для знакомого с правилами грамматики и фонетики адресата уменьшается на 80 процентов, так как 80 процентов содержащейся в тексте информации не является для него неожиданной, новой. Так стоит ли загружать такой информацией дорогостоящий телеграфный или телефонный канал?

Специалисты решили: не стоит. И стали искать способы, позволяющие уменьшить этот «избыточный груз».

Например, получив сообщение ТЬС, можно безошибочно предугадать, что дальше последует буква Я. Почти с полной уверенностью можно предсказывать, что вслед за сочетанием КИ появится либо Й, либо М, либо X, либо Е. А если учесть еще связь между передаваемым словом и предыдущим, то можно сказать уже без всяких сомнений, какая буква последует после сочетания СКИ. Если до этого было слово ЯЩИК, а потом пришло сочетание ГРОМОЗДСКИ, то вполне очевидно, что следом появится Й. А если раньше было получено слово ВЕЩЕЙ, то после СКИ появится X и т. п.

Исходя из того, то многие буквы передаваемых текстов можно предсказывать до их получения, создатели теории информации задались вполне законным вопросом: может быть, для экономии времени и энергии эти буквы можно совсем не передавать?

Методами теории вероятностей и статистики были исследованы разнообразные сообщения: тексты, телеграфные коды, радио- и телесигналы и т. д. Оказалось, что все они обладают значительной долей избыточной информации, то есть той информации, которую можно предсказывать еще до ее получения или вообще не передавать по каналам связи, сохранив при этом возможность восстановить на приемном, конце полный текст.

Но тут мы должны отвлечься от задач техники связи и передачи сообщений, чтобы обратить внимание на одно очень важное обстоятельство: та информация, которая оказывается избыточной для техники связи, вовсе не будет излишней для самого языка.

В самом деле: лишите-ка вы текст той избыточной информации правил (I_п = 4 бита на букву), благодаря которой буквы следуют друг за другом в определенном порядке. Что тогда станет с текстом? Вполне очевидно: он тут же рассыплется, перемешает между собой все свои буквы, превратится в абракадабру, подобную фразе № 1.

То же самое произойдет и в любой другой упорядоченной (а стало быть, сохраняющей определенное количество информации) системе: стоит лишить ее этой информации, и она превратится в хаотичную смесь элементов, перестанет существовать как система.

Чтобы еще раз убедиться в том, что одна и та же информация может быть с одной точки зрения избыточной, а с другой точки зрения — крайне необходимой, допустим, что вам пришло такое сообщение: из яйца вылупился птенец, у которого есть крылья и нет плавников. Являются для вас новостью сведения о плавниках и крыльях? Нет, не являются. Для вас это избыточная информация. А для птенца?

Ситуация тут похожа на известный анекдот про сумасшедших: больной после излечения знает, что он не зерно, но знает ли об этом петух, который хочет это зерно склевать?

Так и в нашем примере: мы?то знаем, что петух из яйца должен вылупиться не с плавниками, а с крыльями. Но если лишить петуха (пока существующего в виде зародыша) этой самой избыточной информации о плавниках и крыльях, откуда петух узнает, что он должен родиться на свет не рыбой, а петухом? Не будь в яйцеклетках «избыточной» информации обо всех важных подробностях структуры зарождающихся в них организмов, на свет рождались бы только уродцы точно такие, как в сказке: «Не мышонок, не лягушка, а неведома зверюшка». Какая-нибудь несуразная, фантастическая и, уж конечно же, нежизнеспособная смесь. Значит, живым организмам «избыточная» информация необходима так же, как языку.

В продуктах питания, которые мы употребляем в пищу, помимо перевариваемых и усваиваемых организмом веществ (белков, углеводов, жиров и др.), есть вещества, которые только способствуют процессу пищеварения.

Так вот, если хотите, величина Н_р = 1 бит на букву — это и есть та информация текста, которая представляет собой пищу для ума. Соответственно I_п = 4 бита на букву— это та структурная информация, которая помогает «переваривать» новый текст.

Пусть читатель извинит нас за грубость этой «пищеварительной» аналогии, которая дает весьма наглядное представление о роли, которую играют содержащиеся в каждом тексте величины Н_р и I_п.

Их присутствие не обнаруживается с первого взгляда. Для выявления соотношения непредсказуемой и избыточной информации, содержащейся в текстах, понадобились годы упорного и кропотливого труда. И даже он не привел бы ни к каким результатам, если бы теория информации не предложила способов измерений информации, позволивших выразить величины Н_р и I_п количеством битов.

Веками копил язык информацию, создающую в чередовании звуков и букв определенный сложный порядок. Именно избыточная информация, накапливаемая в совокупности всех грамматических и фонетических правил, собственно, и сделала язык языком. А замечательная функция  отразила в себе весь процесс упорядочивания, который описывается лаконичным языком математики как процесс постепенного перехода от равенства всех вероятностей к их существенному