Differences

This shows you the differences between two versions of the page.

--- tanszek:oktatas:infrendalapjai_architekturak:informacio_feldolgozas:entropia [2024/11/12 12:22] – knehez
+++ tanszek:oktatas:infrendalapjai_architekturak:informacio_feldolgozas:entropia [2024/11/12 12:25] (current) – knehez
@@ Line 5: / Line 5: @@
 A //hírkészlet átlagos információtartalmát a hírkészlet entrópiájának// nevezik.
-$$ H_E = \sum\limits_{i=1}^n p_i \cdot I_{E_i} = \sum\limits_{i=1}^n p_i \cdot log_2 \frac{1}{p_i} = -  \sum\limits_{i=1}^n p_i \cdot log_2 \cdot p_i $$.
+$$ H_E = \sum\limits_{i=1}^n p_i \cdot I_{E_i} = \sum\limits_{i=1}^n p_i \cdot log_2 \frac{1}{p_i} = -  \sum\limits_{i=1}^n p_i \cdot log_2 \cdot p_i \ \ [bit]$$ .
 === Példa ===
@@ Line 11: / Line 11: @@
 Adott egy eseményrendszer, amely két eseményből áll: \( E = \{E_1, E_2 \} \), továbbá \( p = \{ p_1, p_2\} \) ezért \( p_2 = 1- p_1 \), ekkor az átlagos információtartalom:
-$$ H_E = - [ p_1 \cdot log p_1 + (1 - p_1) \cdot log (1-p_1) ] $$.
+$$ H_E = - [ p_1 \cdot log p_1 + (1 - p_1) \cdot log (1-p_1) ] \ \ [bit] $$.
 Ez a függvény a következőképpen ábrázolható:
@@ Line 40: / Line 40: @@
 I_{E_4} = - log_2 0.05 = 4.32\, [bit] \\ $$
+Mekkora a hírkészlet entrópiája?
+$$ H_E = \sum\limits_{i=1}^4 p_i \cdot I_{E_i} = 0.5 \cdot 1 +0.25 \cdot 2 + 0.2 \cdot 2.32 + 0.05 \cdot 4.32 = 1.68 \,\,[bit] $$