1. Чем отличается формула Хартли от формулы Шеннона?

Формула Хартли оценивает количество информации при равновероятных вариантах: если возможны N вариантов, то I = log₂ N. Формула Шеннона учитывает вероятности вариантов: H = −∑ pᵢ log₂ pᵢ. При равных вероятностях формула Шеннона сводится к формуле Хартли.