3. Что такое бит с точки зрения содержательного подхода?

Бит — это количество информации, которое уменьшает неопределённость вдвое: например, позволяет выбрать один исход из двух равновероятных. Поэтому сообщение о результате одного из двух равновероятных событий содержит 1 бит информации.