===== Információ =====

A tapasztalat szerint a hírek információ tartalma várható valószínűségüktől függ.

$$ I_{E_i} = f(P_i) , $$

ahol, \( I_{E_i} : E_i \) eseményről szóló hír információtartalma. Ebben a megközelítésben, minél váratlanabb, valószínűtlenebb egy hír, annál nagyobb az információtartalma. Ezért \( f \) függvényt Shannon javaslatára a következőképpen választották meg:

$$ I_E = log_2 \frac{1}{p_E} = - log_2 \, p_E \,\, [bit].$$

A logaritmus függvény tulajdonságai fontos szerepet játszanak az információ mennyiségi tulajdonságainak modellezésénél. Ha egy eseménytér két egyforma valószínűségű eseményből áll, azaz \( P(E_1) = p(E_2) = 0.5 \) akkor,

$$ I_{E_1} = I_{E_2} =  log_2 \frac{1}{0.5} = log_2 \, 2 = 1 \,\, [bit]. $$


Az információ egysége tehát az //egyszerű, kételyes, azonos valószínűségű választáshoz kötött hír információ értéke//.

Ha az eseményrendszer **n** eseményt tartalmaz, és minden esemény egyformán valószínű, akkor bármely esemény valószínűsége: \( p_E = \frac{1}{n} \)

Ilyenkor az eseményekhez tartozó hírek információtartalma:

$$ I_E =  log_2 \frac{1}{P_E} = log_2 \, (n) \,\, [bit]. $$