Понятие количества информации очень естественно присоединяется к такому классическому понятию статистической механики как энтропия. Если количество информации в системе — мера ее организованности, то энтропия системы — мера ее неорганизованности.