Differences

This shows you the differences between two versions of the page.

--- tanszek:oktatas:infrendalapjai_architekturak:informacio_feldolgozas:entropia [2024/11/12 12:12] – created knehez
+++ tanszek:oktatas:infrendalapjai_architekturak:informacio_feldolgozas:entropia [2024/11/12 12:25] (current) – knehez
@@ Line 5: / Line 5: @@
 A //hírkészlet átlagos információtartalmát a hírkészlet entrópiájának// nevezik.
-$$ H_E = \sum\limits_{i=1}^n p_i \cdot I_{E_i} = \sum\limits_{i=1}^n p_i \cdot log_2 \frac{1}{p_i} = -  \sum\limits_{i=1}^n p_i \cdot log_2 \cdot p_i $$.
+$$ H_E = \sum\limits_{i=1}^n p_i \cdot I_{E_i} = \sum\limits_{i=1}^n p_i \cdot log_2 \frac{1}{p_i} = -  \sum\limits_{i=1}^n p_i \cdot log_2 \cdot p_i \ \ [bit]$$ .
 === Példa ===
@@ Line 11: / Line 11: @@
 Adott egy eseményrendszer, amely két eseményből áll: \( E = \{E_1, E_2 \} \), továbbá \( p = \{ p_1, p_2\} \) ezért \( p_2 = 1- p_1 \), ekkor az átlagos információtartalom:
-$$ H_E = - [ p_1 \cdot log p_1 + (1 - p_1) \cdot log (1-p_1) ] $$.
+$$ H_E = - [ p_1 \cdot log p_1 + (1 - p_1) \cdot log (1-p_1) ] \ \ [bit] $$.
 Ez a függvény a következőképpen ábrázolható:
@@ Line 17: / Line 17: @@
 {{:tanszek:oktatas:infrendalapjai_architekturak:informacio_feldolgozas:pasted:20241112-121223.png}}
-Azt láthatjuk, hogy az entrópia akkor a legnagyobb, ha a két esemény egyforma valószínűségű. Általánosságban elmondható, hogy ebben a modellben akkor alacsony az entrópia, amikor kicsi valószínűségű eseményeket is tartalmaz eseményrendszerünk.
+Azt láthatjuk, hogy az entrópia akkor a legnagyobb, ha a két esemény egyforma valószínűségű.
+Általánosságban elmondható, hogy akkor alacsony az entrópia, amikor kicsi valószínűségű eseményeket is tartalmaz az eseményrendszerünk.
+Az entrópia itt arányos a véletlenszerűséggel, ha egy eseményrendszerben magas az entrópia, akkor az egyes elemek előfordulási valószínűségeik közel vannak egymáshoz. Maximális akkor lenne az entrópia, ha az eseményrendszer összes eleme egyformán valószínű.
+=== Példa ===
+Egy négy eseményből álló rendszer előfordulási valószínűségei a következők:
+$$ E = \{ E_1, E_2, E_3, E_4\}, $$
+az egyes események bekövetkezési valószínűségei a következők:
+$$ p = \{ 0.5, 0.25, 0.2, 0.05\} $$.
+Mekkora az egyes rendszerállapotokról szóló hírek egyedi információtartalma? Alkalmazzuk az információs összefüggését.
+$$ I_{E_1} = - log_2 0.5 = 1 \, [bit] \\
+I_{E_2} = - log_2 0.25 = 2 \,[bit] \\
+I_{E_3} = - log_2 0.2 = 2.32\, [bit] \\
+I_{E_4} = - log_2 0.05 = 4.32\, [bit] \\ $$
+Mekkora a hírkészlet entrópiája?
+$$ H_E = \sum\limits_{i=1}^4 p_i \cdot I_{E_i} = 0.5 \cdot 1 +0.25 \cdot 2 + 0.2 \cdot 2.32 + 0.05 \cdot 4.32 = 1.68 \,\,[bit] $$