7. Какие существуют основные подходы к измерению информации?

Существуют два основных подхода к измерению информации:

1. Алфавитный подход — количество информации определяется через мощность алфавита и длину сообщения.
2. Вероятностный подход — количество информации зависит от вероятности события: чем менее вероятно событие, тем больше информации оно несёт.