Количество информации. Методы оценки

из "Автоматизированные информационные технологии в экономике "

Для того чтобы оценить и измерить количество информации в соответствии с вышеизложенными аспектами, применяются различные подходы и методы. Среди них выделяются статистический, семантический, прагматический и структурный. Исторически наибольшее развитие получил статистический подход. [c.20]
Шенноном [44] было введено понятие количества информации как меры неопределенности состояния системы, снимаемой при получении информации. Количественно выраженная неопределенность состояния получила название энтропии по аналогии с подобным понятием в статистической механике. При получении информации уменьшается неопределенность, т. е. энтропия, системы. Очевидно, что, чем больше информации получает наблюдатель, тем больше снимается неопределенность, и энтропия системы уменьшается. При энтропии, равной нулю, о системе имеется полная информация, и наблюдателю она представляется целиком упорядоченной. Таким образом, получение информации связано с изменением степени неосведомленности получателя о состоянии этой системы. [c.20]
Другими словами, количество информации измеряется уменьшением (изменением) неопределенности состояния системы. [c.21]
Знак минус поставлен для того, чтобы значение энтропии было положительным, так как Р , 1 и логарифм в этом случае отрицательный. . [c.22]
Энтропия Н обладает рядом интересных свойств. Вот некоторые из них. [c.22]
Энтропия //равна нулю только тогда, когда все вероятности /, , кроме одной, равны нулю, а эта единственная вероятность равна единице. Таким образом, Я=0 только в случае полной определенности состояния системы. [c.22]
Определим единицы измерения количества информации с помощью выражения для энтропии системы с равновероятными состояниями. [c.22]
Эта формула получила название формулы Хартли и показывает, что количество информации, необходимое для снятия неопределенности о системе с равновероятными состояниями, зависит лишь от количества этих состояний. [c.23]
Следует еще раз отметить, что статистический подход к количественной оценке информации был рассмотрен для дискретных систем, случайным образом переходящих из состояния в состояние, и, следовательно, сообщение об этих состояниях также возникает случайным образом. [c.24]
Кроме того, статистический метод определения количества информации практически не учитывает семантического и прагматического аспектов информации. [c.24]
Наибольшее признание для измерения смыслового содержания информации получила тезаурусная мера, предложенная Ю.И. Шнейдером. Идеи тезаурусного метода были сформулированы еще основоположником кибернетики Н. Винером. Для понимания и использования информации ее получатель должен обладать определенным запасом знаний. [c.25]
Если индивидуальный тезаурус потребителя 5П отражает его знания о данном предмете, то количество смысловой информации /с, содержащееся в некотором сообщении, можно оценить степенью изменения этого тезауруса, произошедшего под воздействием данного сообщения. Очевидно, что количество информации /с нелинейно зависит от состояния индивидуального тезауруса пользователя, и хотя смысловое содержание сообщения S постоянно, пользователи, имеющие отличающиеся тезаурусы, будут получать неодинаковое количество информации. [c.25]
В самом деле, если индивидуальный тезаурус получателя информации близок к нулю, Sn 0, то в этом случае и количество воспринятой информации равно нулю /с = 0. [c.25]
Иными словами, получатель не понимает принятого сообщения, и, как следствие, для него количество воспринятой информации равно нулю. Такая ситуация эквивалентна прослушиванию сообщения на неизвестном иностранном языке. Несомненно, сообщение не лишено смысла, однако оно непонятно, а значит, не имеет информативности. [c.25]

Вернуться к основной статье