Informatiker Board | Druckvorschau: Entropie von Informationen berechnen

Geschrieben von matth1as988 am 04.02.2010 um 13:13:

Entropie von Informationen berechnen

Hallo zusammen,

ich beschäftige mich gerade mit der Entropie von Informationen und komme mit der Wikipedialösung nicht so ganz klar... verwirrt

Hier ist mal ein konkretes Beispiel:

Nehmen Sie 2 Würfel und würfeln Sie 25 mal. Bilden Sie jeweils die Summe der beiden Würfe und zeichnen Sie die Resultate auf. Berechnen Sie die Entropie des Zeichens/Resultats 7 in dieser Folge! Wie groß ist H für die gesamte Folge?

Ich hab jetzt 25 mal gewürfelt und folgendes ist dabei herausgekommen:
2: 1x 7: 2x
3: 0x 8: 6x
4: 1x 9: 8x
5: 1x 10: 4x
6: 2x

Dann habe ich versucht die Entropie für 7 zu berechnen:

$[latex] \left[ \left(- \frac{2}{25} * log(\frac{2}{25}) \right) + \left(\frac{23}{25} * log(\frac{23}{25}) \right) \right] = 0,1808 [/latex]$

2/25 und 23/25 bedeutet, dass ich bei 25 Würfen bei dem 2. und 23. Wurf eine 7 geworfen habe.

Ich hoffe bis jetzt ist das richtig...
Wie berechnet man jetzt "H" für die gesamte Folge???

Gruß Matthias

Geschrieben von David_pb am 04.02.2010 um 16:24:

Hi,

ist mit Entropie für das Zeichen 7 der Informationsgehalt gemeint? Entropie beschreibt normal den mittleren Informationsgehalt eines Alphabets, also das was im 2. Teil der Aufgabe gefragt ist.

Da du ja deine Messwerte hast kannst du die Warscheinlichkeit der einzelnen Zeichen über dem Alphabet $[latex]A = [2, 12] \subset \mathbb{N}[/latex]$ einfach berechnen. Der Informationsgehalt für 'x' aus A ist ja: $[latex]I(p(x)) = -\log_2 p(x)[/latex]$

Die Entropie bekommst du in dem du die Informationsgehälter, der einzelnen Zeichen, mit ihrer Wahrscheinlichkeit wichtest und aufsummierst, also: $[latex]H = \sum\limits_{x \in A} p(x) \cdot I(p(x)) = -\sum\limits_{x \in A} p(x) \cdot \log_2 p(x)[/latex]$