Информация по Шеннону

из "Особенности оценочной деятельности применительно к условиям новой экономики "

Количество, которое однозначно соответствует естественным требованиям, установленным для информации , оказывается в точности тем, что известно в термодинамике как энтропия. [c.124]
Шеннон определяет количество информации как негатив логарифма суммы вероятностей. Знак минус в этой формуле означает противоположность Винеровскому знаку минус . Это так, потому что количество информации согласно Шеннону равно энтропии. [c.124]
Если рассматривается совсем элементарная ситуация, где надо выбрать на двух альтернативных сообщений, то напрашивается утверждение, что информация, связанная с этой ситуацией, — единична. Обратите внимание, что это вводит в заблуждение (хотя часто удобно) говорить, что то или иное сообщение передает единичную информацию. Концепция информации применяется не к индивидуальным сообщениям (как было бы с концепцией значения), а скорее к ситуации в целом, признак единичности информации, что в этой ситуации каждый имеет свободу выбора, в отборе сообщения, которое удобно расценить как стандартное или единичное число. [c.125]

Вернуться к основной статье