Institute of Information Science - University of Miskolc

A tapasztalat szerint a hírek információ tartalma várható valószínűségüktől függ.

$$ I_{E_i} = f(P_i) , $$

ahol, \( I_{E_i} : E_i \) eseményről szóló hír információtartalma. Ebben a megközelítésben, minél váratlanabb, valószínűtlenebb egy hír, annál nagyobb az információtartalma. Ezért \( f \) függvényt Shannon javaslatára a következőképpen választották meg:

$$ I_E = log_2 \frac{1}{p_E} = - log_2 \, p_E \,\, [bit].$$