принятия сообщения l og — вероятность, которую получатель имел до получения сообщения В случае с монетой (если мне говорят о том, что выпадет «орел») равенство будет таким:
1
log — = log 2
1/2
Следовательно, данное равенство (поскольку при полученном сообщении вероятность всегда будет равна единице, если допустить, что отсутствует фоновый шум, о котором мы еще поговорим) можно представить так:
Информ. = — log (вероятность, имеющаяся для получателя до получения сообщения).
В случае с монетой:
— log (1/2) = log 2.
Осуществляя бинарный выбор, теория информации использует двоичные основные логарифмы и называет единицу информации термином bit (или binit), представляющим собой сокращение двух слов binary digit (двоичный знак). Использование двоичного логарифма имеет следующее преимущество: поскольку log22 = 1, один bit информации говорит нам о том, какая из двух возможностей события осуществляется.
В качестве еще одного примера возьмем доску из 64 клеток, в одной из которых должна располагаться пешка. Если информатор сообщает мне, что она находится в клетке 48, тогда получаемую мною информацию можно измерить следующим образом: поскольку изначально мои возможности угадать эту клетку составляли 1/64, формула выглядит так: — log2 (1/64) = log264 = 6. Таким образом, я получил информацию, которую можно сосчитать в 6 битах1.
Таким образом, можно сказать, что количество информации, переданной в сообщении, является двоичным логарифмом определенного числа альтернатив, позволяющих недвусмысленно определить это сообщение2.
Для того, чтобы измерить уменьшение или увеличение количества информации, специалисты обращаются к понятию, заимствованному из термодинамики и теперь уже вполне обоснованно вошедшему в терминологический багаж теории информации. Речь идет о понятии энтропии. Это понятие достаточно широко известно, потому что все о нем слышали, но в силу этого оно достаточно размыто, так как каждый понимает его по — своему и использует весьма свободно; поэтому будет неплохо, если мы вкратце его рассмотрим, ибо его происхождение из термодинамики оставило наслоения, не всегда обоснованные.
Согласно второму началу термодинамики, изложенному Р. Клаузиусом, если определенное количество работы может полностью трансформироваться в теплоту (о чем говорит первое начало термодинамики), то каждый раз, когда теплота трансформируется в работу, это происходит не столь полно и завершенно, как в первом случае. Для того, чтобы совершился переход определенного количества теплоты в работу, двигатель должен обеспечивать обмен теплотой между двумя телами различной температуры: источником теплоты и охладителем. Двигатель поглощает определенное количество теплоты от ее источника, но не всю ее преобразует в работу, потому что часть отдает охладителю. Таким образом, часть теплоты Q1 преобразуется в работу, кроме того имеется теплота Q — Q1, которая передается охладителю.
Таким образом, если после преобразования работы в теплоту (первый закон термодинамики) я преобразую эту теплоту в работу, мне не удается вернуться к исходному количеству этой работы. Наблюдается уменьшение или, как обычно говорят, «расход» энергии, которую уже не удастся восстановить. Энергия «расходуется». Таким образом, некоторые природные процессы не являются полностью обратимыми: «эти процессы однонаправленны, и с каждым из них мир делает шаг, след которого никоим образом нельзя стереть»3. Если мы хотим найти общую меру этой необратимости, надо предположить, что природа, так сказать, отдает предпочтение одним состояниям перед другими (то есть тем, к которым устремляются необратимые процессы) и кроме того, нам придется отыскать физическую величину, которая количественно измеряет предпочтение, отдаваемое природой определенному состоянию. Такая величина имела бы свойство расти во всех необратимых процессах. Это и есть энтропия.
Таким образом, второе начало термодинамики, утверждая «расход» энергии, стало законом энтропии, причем настолько, что обычно идею энтропии связывают с идеей этого «расхода» и тем выводом, согласно которому, наблюдая за развитием любого естественного процесса в направлении увеличивающегося расхода и поступательного уменьшения энергии, можно якобы говорить о «тепловой смерти» вселенной. Однако надо раз и навсегда отметить, что если понятие энтропии и используется в термодинамике для того, чтобы определить расход энергии (и, следовательно, здесь неизбежно начинают звучать пессимистические нотки, коль скоро нам позволено облекать в чувства научные размышления), в действительности представляет собой статистическую величину и потому является математически нейтральным инструментом. Иными словами, энтропия представляет собой измерение состояния наибольшей равновероятности, к которому стремятся естественные процессы. В этом смысле и принято говорить, что природа имеет предпочтения: она предпочитает более единообразное состояние менее единообразному, и теплота переходит от более нагретого тела к менее нагретому потому, что состояние равномерного распределения температуры более вероятно, чем состояние неравномерного распределения. Иными словами, взаимонаправленная скорость молекул в большей степени тяготеет к состоянию единообразия, а не к состоянию различия, в котором, при их различной скорости, совершаются различные тепловые реакции. Исследования, проведенные Больцманом в области кинетики газов, показали, что природа прежде всего тяготеет к элементарной неупорядоченности, мерой которой является энтропия4.
Тем не менее необходимо еще раз подчеркнуть, что понятие энтропии является чисто статистическим, так же, как, в конечном счете, чисто статистическим является тот же принцип необратимости: как уже показал Больцман, в замкнутой системе обратимость не невозможна, а только невероятна. Столкновение молекул газа происходит согласно статистическим законам, которые сводят различие скоростей к среднему равенству. Когда более быстрая молекула сталкивается с более медленной, может случиться так, что последняя передаст часть своей скорости первой молекуле, но статистически более вероятно, что произойдет обратное, то есть быстрая молекула замедлит свой бег и сообразует свою скорость со скоростью более медленной молекулы, порождая состояние большего единообразия и, следовательно, способствуя росту элементарной неупорядоченности. «Таким образом, закон увеличения энтропии обусловлен законом больших чисел, известным любому виду статистики, однако он не относится к строгим физическим законам, которые, как, например, законы механики, не допускают исключений»5. То, каким образом от теории «расхода» энергии можно перейти к использованию понятия энтропии в теории информации, нам довольно ясно показывают рассуждения Ганса Рейхенбаха. Общая тенденция к возрастанию энтропии, свойственная физическим процессам, не препятствует тому, чтобы (как мы это ощущаем каждый день) происходили такие физические процессы, в которых совершается определенная организация, то есть упорядочение событий в соответствии с определенной невероятностью (все органические процессы таковы) и, следовательно, в соответствии с уменьшением энтропии. По отношению к общей графической кривой роста энтропии эти моменты ее уменьшения Рейхенбах называет branch systems (боковыми системами) (как отклонения, ответвления от этой кривой), в которых взаимодействие некоторых событий приводит к упорядочению соответствующих элементов. Приведем пример. Ветры, дующие на пляже, порождают в тысячах песчинок общую тенденцию к беспорядку и, следовательно, к единообразию их расположения, но вот неожиданно по пляжу проходит человек, и взаимодействие его ног с поверхностью песка представляет собой взаимодействие событий, приводящих к
