Первые попытки измерения информации были предприняты более семидесяти лет назад. Так, в 1928 г. Р. Хартли предложил ряд идей, вошедших в качестве основополагающих как в комбинаторный, так и вероятностный подход в теории информации.