Entropie von Informationen berechnen

04.02.2010, 13:13	Auf diesen Beitrag antworten »
matth1as988	Entropie von Informationen berechnen Hallo zusammen, ich beschäftige mich gerade mit der Entropie von Informationen und komme mit der Wikipedialösung nicht so ganz klar... Hier ist mal ein konkretes Beispiel: Nehmen Sie 2 Würfel und würfeln Sie 25 mal. Bilden Sie jeweils die Summe der beiden Würfe und zeichnen Sie die Resultate auf. Berechnen Sie die Entropie des Zeichens/Resultats 7 in dieser Folge! Wie groß ist H für die gesamte Folge? Ich hab jetzt 25 mal gewürfelt und folgendes ist dabei herausgekommen: 2: 1x 7: 2x 3: 0x 8: 6x 4: 1x 9: 8x 5: 1x 10: 4x 6: 2x Dann habe ich versucht die Entropie für 7 zu berechnen: $[latex] \left[ \left(- \frac{2}{25} * log(\frac{2}{25}) \right) + \left(\frac{23}{25} * log(\frac{23}{25}) \right) \right] = 0,1808 [/latex]$ 2/25 und 23/25 bedeutet, dass ich bei 25 Würfen bei dem 2. und 23. Wurf eine 7 geworfen habe. Ich hoffe bis jetzt ist das richtig... Wie berechnet man jetzt "H" für die gesamte Folge??? Gruß Matthias


04.02.2010, 16:24	Auf diesen Beitrag antworten »
David_pb	Hi, ist mit Entropie für das Zeichen 7 der Informationsgehalt gemeint? Entropie beschreibt normal den mittleren Informationsgehalt eines Alphabets, also das was im 2. Teil der Aufgabe gefragt ist. Da du ja deine Messwerte hast kannst du die Warscheinlichkeit der einzelnen Zeichen über dem Alphabet $[latex]A = [2, 12] \subset \mathbb{N}[/latex]$ einfach berechnen. Der Informationsgehalt für 'x' aus A ist ja: $[latex]I(p(x)) = -\log_2 p(x)[/latex]$ Die Entropie bekommst du in dem du die Informationsgehälter, der einzelnen Zeichen, mit ihrer Wahrscheinlichkeit wichtest und aufsummierst, also: $[latex]H = \sum\limits_{x \in A} p(x) \cdot I(p(x)) = -\sum\limits_{x \in A} p(x) \cdot \log_2 p(x)[/latex]$

Verwandte Themen

Die Beliebtesten »

Die Größten »

Die Neuesten »