Információ
A tapasztalat szerint a hírek információ tartalma várható valószínűségüktől függ.
$$ I_{E_i} = f(P_i) , $$
ahol, \( I_{E_i} : E_i \) eseményről szóló hír információtartalma. Ebben a megközelítésben, minél váratlanabb, valószínűtlenebb egy hír, annál nagyobb az információtartalma. Ezért \( f \) függvényt Shannon javaslatára a következőképpen választották meg:
$$ I_E = log_2 \frac{1}{p_E} = - log_2 \, p_E \,\, [bit].$$
A logaritmus függvény tulajdonságai fontos szerepet játszanak az információ mennyiségi tulajdonságainak modellezésénél. Ha egy eseménytér két egyforma valószínűségű eseményből áll, azaz \( P(E_1) = p(E_2) = 0.5 \) akkor,
$$ I_{E_1} = I_{E_2} = log_2 \frac{1}{0.5} = log_2 \, 2 = 1 \,\, [bit]. $$
Az információ egysége tehát az egyszerű, kételyes, azonos valószínűségű választáshoz kötött hír információ értéke.
Ha az eseményrendszer n eseményt tartalmaz, és minden esemény egyformán valószínű, akkor bármely esemény valószínűsége: \( p_E = \frac{1}{n} \)
Ilyenkor az eseményekhez tartozó hírek információtartalma:
$$ I_E = log_2 \frac{1}{P_E} = log_2 \, (n) \,\, [bit]. $$