Одна формула и весь мир

«Возьмите свежей баранины,— рекомендует автор поваренной книги,— пропустите дважды сквозь мясорубку, посолите...»

В том же стиле можно теперь описать способ приготовления энтропии.

Возьмите 32 пустые карточки и напишите на них все буквы русского алфавита. Положите все карточки в коробку, тщательно перемешайте. Извлеките наугад одну букву. Извлекли? Прекрасно! Запишите, какую именно. Записали? Очень хорошо. Теперь бросьте карточку с буквой в коробку и перемешайте карточки еще раз. Тщательнее перемешивайте! Еще раз! Еще! Теперь достаточно. Можете извлечь следующую букву и записать ее рядом с предыдущей.

Проделав подобную процедуру раз 30—40, вы получите набор букв и слов⁵.

*Одна из 32 карточек должна быть пустой. При извлечении этой карточки в тексте оставляется пропуск, соответствующий интервалу между словами.

 Математик Р. Л. Добрушин в результате такого эксперимента получил текст, который вы уже видели на 25-й странице. Возвращаясь к нему теперь, спросим себя: стоило ли ради такой бессмыслицы делать специальный эксперимент? Оказывается, стоило. Ведь полученный Добрушиным текст — это не просто бессмыслица, а самая бессмысленная бессмыслица, какую только можно вообразить. Чередование букв наиболее беспорядочно, хаотично. Энтропия текста обладает наибольшей их всех возможных текстов величиной.

Все это вытекает из описанной методики эксперимента. В самом деле, вероятность извлечения любой из букв одинакова, то есть выполняется уже знакомое нам условие:

Ра = Рб=... =Ря= 1/32

Чтобы это условие не нарушилось, мы настоятельно рекомендовали после извлечения карточки возвращать ее к коробку и тщательно снова все перемешивать.

Заметим, что вероятность извлечения пустой карточки, соответствующей интервалу между словами, также равна 1/32. Поэтому-то такими несуразно длинными получились слова нашего странного текста: каждое слово, формируемое описанным способом, состоит в среднем из 32 букв, то есть на каждые 32 наугад извлеченные буквы попадется в среднем один интервал.

В реальных текстах средняя длина слова составляет примерно 6 букв. Это значит, что в реальных текстах интервал встречается примерно в 5 раз чаще, чем в нашем эксперименте. Значит, его вероятность для реального текста составляет не ¹/₃₂, а ⁵/₃₂= ¹/₆=0,17.

Так же обстоит дело и с остальными буквами вероятность их появления в реальных текстах значительно отличается от ¹/32.

Для определения реальных значений вероятностей появления букв в письменных текстах фиксировали частоту появления каждой буквы на протяжении сотен и тысяч страниц.

В результате такого учета было установлено, что чаще всего в русских текстах появляется буква «О»  (р_о = 0,09), а реже всего буква «Ф» (р_ф = 0,002) ⁶.

**Сравните с вероятностью появления тех же букв в описанном эксперименте:Ро=Рф=¹/32= 0,03

 Чаще, чем буква «О» и другие буквы, появляются в русских текстах интервалы между словами. Их вероятность составляет р_{интервала} = 0,17.

Благодаря тому, что вероятности появления различных букв в реальных текстах неодинаковы, их энтропия (беспорядочность) меньше, чем в экспериментальном, искусственном тексте. Реальные тексты отличаются от энтропийного определенным порядком чередования букв.

Чтобы уяснить, как возникает порядок, попытаемся составить текст, в котором соблюдались бы реальные вероятности появления букв. Для этого нам придется вновь поместить карточки с буквами в общую коробку, но теперь понадобится не 32 карточки, а значительно больше, потому что число карточек должно быть пропорционально вероятностям появления букв (например, на две карточки с буквой «Ф», имеющей вероятность р_ф =0,002, должно приходиться 90 карточек с буквой «О», имеющей вероятность Ро =0,09 и т. д.).

Впрочем, можно не тратить времени на приготовление множества карточек с буквами. Тот же эксперимент можно проделать без карточек, используя обычный печатный текст. Ведь в тексте каждая буква будет встречаться именно с той частотой, которая соответствует ее вероятности.

Если, закрыв глаза, наугад переворачивать страницы и указывать на букву, а затем приписывать ее к ряду ранее таким же образом отобранных букв, то вы получите новый искусственный текст, в котором частота появления букв будет соответствовать вероятности их появления в русском тексте. Действуя таким образом, Р. Л. Добрушин получил фразу, помещенную в нижеприведенной таблице под номером 2.

НОМЕР ФРАЗЫ Фраза УСЛОВИЕ ПОЛУЧЕНИЯ ФРАЗЫ 1 СУХЕРРОБЬДЩ ЯЫХВЩИ-ЮАЙЖТЛФВНЗАГФО-ЕНВШТЦР ПХГБКУЧТЖЮ-РЯПЧЬЙХРЫС Принято условие равной вероятности всех букв алфавита и интервала между словами 2 ЕЫНТ ЦИЯЬА ОЕРВ ОДНГ ЬУЕМЛОЛПКЗБЯ ЕВНТША Учтены вероятности отдельных букв в русском тексте 3 ВЕСЕЛ ВРАТЬСЯ НЕ СУХОМ И НЕПО И КОРКО Учтены вероятности 4-буквенных сочетаний в русском тексте 4 ТЕОРИЯ ИНФОРМАЦИИ ПОЗВОЛЯЕТ ИЗУЧИТЬ ЭТО СВОЙСТВО РЕАЛЬНЫХ... Соблюдены реальные вероятности сочетания всех букв

Мы намеренно расположили фразу № 2 рядом с ранее полученной искусственной фразой № 1, чтобы читатель мог наглядно убедиться, насколько возрос порядок в тексте после того, как мы учли реальные вероятности появления букв.

В чем проявляется порядок? Во-первых, исчезли из текста слова несуразно длинные. Это произошло потому, что мы учли реальную вероятность появления интервала между словами (Р_{интервала} =0,17).

Во-вторых, в отличие от фразы № 1, где друг за другом следовали 5 или 6 согласных букв (ЖТЛФВНЗ и т. п.), во фразе № 2 гласные и согласные буквы чередуются более или менее равномерно, потому что учтены реальные вероятности появления и тех и других. Благодаря этому слова фразы № 2 стали более или менее «удобочитаемы», в отличие от фразы № 1, где сколько бы вы ни старались, вам не удастся произнести вслух такие сочетания букв, как БЬДЩ или ЖТЛФВНЗ.

Впрочем, и во фразе № 2 порядок не столь велик, чтобы всю эту фразу можно было «озвучить». Ну