№2. Прочитайте материал и ответьте на вопросы в тетради. При содержательном (вероятностном) подходе измерения информации сообщение, которое уменьшает неопределённость знания в два раза, несёт 1 бит информации. Неопределённость знания о некотором событии — это количество возможных исходов этого события. Например, если человек задумал одно из четырёх чисел: 3, 7, 12 или 18, то неопределённость знания равна 4. Ответ на вопрос «да или нет», который делит возможные исходы на две равные группы, уменьшает неопределённость в два раза и несёт 1 бит. Чтобы угадать задуманное число из четырёх, достаточно двух таких ответов. Значит, угадывание числа из четырёх возможных несёт 2 бита информации. В общем случае, если возможных исходов N и все они равновероятны, количество информации в сообщении о том, что произошло одно из них, равно i, где N = 2 в степени i. Например, при N = 8 i = 3 бита, при N = 16 i = 4 бита. Если число исходов не является степенью двойки, ответ находят с округлением в большую сторону до ближайшей целой степени двойки. Сообщение, которое не уменьшает неопределённость (о нём всё уже известно), несёт 0 бит информации. а) Что принимается за 1 бит информации при содержательном подходе? б) Человек задумал одно из четырёх чисел: 3, 7, 12, 18. Сколько бит информации несёт сообщение о том, какое именно число задумано? в) Сколько бит информации несёт сообщение о результате броска симметричной восьмигранной игральной кости, если все грани выпадают равновероятно? г) Сколько бит информации несёт сообщение о том, что уже известно получателю заранее? д) В коробке лежат 16 одинаковых на ощупь шариков, среди них один белый, остальные чёрные. Сколько бит информации несёт сообщение о том, что вынут именно белый шарик, если вынуть любой шарик равновероятно?

а) Один бит принимается за количество информации, которое уменьшает неопределённость знания в два раза.

б) Есть 4 равновероятных варианта. Так как 4 = 2², сообщение о выбранном числе несёт 2 бита.

в) У восьмигранной кости 8 равновероятных исходов. Так как 8 = 2³, сообщение несёт 3 бита.

г) Если получателю это уже известно, неопределённость не уменьшается. Такое сообщение несёт 0 бит.

д) Вероятность вынуть белый шарик равна 1/16. Информация о наступлении этого исхода составляет −log₂(1/16) = 4 бита; то же следует из того, что среди 16 равновероятных вариантов ровно один — белый.

Ответ: а) уменьшение неопределённости вдвое; б) 2 бита; в) 3 бита; г) 0 бит; д) 4 бита.