Энтропия в теории информации измеряет степень неопределенности или случайности системы.
Максимальная энтропия достигается, когда все возможные состояния системы равновероятны. В этом случае неопределенность максимальна, так как невозможно предсказать, в каком состоянии окажется объект.
Если вероятности нахождения объекта в каждом из состояний будут отличаться, это будет указывать на некоторую предсказуемость или предпочтение определенных состояний, что снижает общую энтропию.