Как измеряется количество информации по Шеннону?

Количество информации по Шеннону измеряется в битах. Бит (binary digit) является единицей измерения информации в теории информации.

Шеннон предложил определение количества информации как количество информации, необходимое для различения двух равновероятных сообщений. Например, для различения между "орлом" и "решкой" на монете требуется 1 бит информации.

Формула Шеннона для вычисления количества информации в случае различных вероятностей событий выглядит следующим образом:

I = - (p1 log2(p1) + p2 log2(p2) + ... + pn log2(pn))

Где:

• I - количество информации в битах;
• p1, p2, ..., pn - вероятности реализации каждого из возможных событий.

Например, при бросании несимметричной четырехгранной пирамидки с вероятностями выпадения граней равными p1 = 1/2, p2 = 1/4, p3 = 1/8, p4 = 1/8, количество информации, которое мы получим после реализации одного из событий, будет равно I = 1,75 бита.

Таким образом, количество информации по Шеннону измеряется в битах и определяется через вероятности реализации возможных событий.