 Kurze Frage zur Entropie |
Shizmo
Tripel-As
Dabei seit: 16.10.2015
Beiträge: 174
 |
|
Hallo, habe die Woche eine Pruefung und dazu eine kurze Frage. Ich habe die Pruefungsangaben vom letzten Jahr und eine Aufgabe lautet:
Gegeben ist der Zeichenvorrat A,B,C,D,E, folgende absolute Haeufigkeiten und folgender Code:
| code: |
1:
2:
3:
4:
5:
6:
7:
|
Zeichen - Haeufigkeit - Code
A 6 1
B 4 000
C 9 001
D 1 010
E 4 011 |
|
Betrachten Sie die relativen Haeufigkeiten als Symbolwahrscheinlichkeiten und berechnen Sie den mittleren Informationsgehalt der Quelle,...
Okay, eigentlich ganz einfach, allerdings ist es verboten einen Taschenrechner zu benuetzen, deshalb auch meine Frage.
Die relativen Haeufigkeiten bzw. Symbolwahrscheinlichkeiten sind dann fuer:
A - 1/4
B - 1/6
C - 3/8
D - 1/24
E - 1/6
Gut, dann der mittlere Informationsgehalt ist die Entropie also: - die Summe von der Wahrscheinlichkeit mal den zweier Logarithmus von der Wahrscheinlichkeit.
Bei A waere das 1/4 * ln(1/4) = 1/4 * ( ln(1)-ln(4) ) = 1/4 * (0-2) = -1/2
So, wie schauts dann bei B aus?
Wie kann ich denn ohne TR den 2erLOG von 1/6 ausrechnen? Bzw. 3/8 oder 1/24.
Ich wuerds ja dann einfach nur so hinschreiben, allerdings brauche ich den Wert der Entropie um weiterrechnen zu koennen.
Freue mich auf Tipps.
LG
Dieser Beitrag wurde 1 mal editiert, zum letzten Mal von Shizmo: 22.11.2015 18:32.
|
|
22.11.2015 18:31 |
|
|
|
|
Hab's mit Stift und Papier hinbekommen, halte die Aufgabe aber nicht für sinnvoll, wenn nicht in der Matheklausur.
Dein Ansatz ist nicht ganz richtig: du musst entweder vor den gesamten Term noch ein Minus setzen, da sonst dein Ergebnis negativ wird, oder innerhalb des Logarithmus mit 1/p rechnen, wobei p die Wahrscheinlichkeit ist.
Ansatz: ![[latex]H = \frac{6}{24}\log\left(\frac{24}{6}\right) + \frac{4}{24}\log\left(\frac{24}{4}\right) +\frac{9}{24}\log\left(\frac{24}{9}\right) + \frac{1}{24}\log\left(\frac{24}{1}\right) + \frac{4}{24}\log\left(\frac{24}{4}\right)<br />
[/latex]](http://www.matheboard.de/latex2png/latex2png.php?H = \frac{6}{24}\log\left(\frac{24}{6}\right) + \frac{4}{24}\log\left(\frac{24}{4}\right) +\frac{9}{24}\log\left(\frac{24}{9}\right) + \frac{1}{24}\log\left(\frac{24}{1}\right) + \frac{4}{24}\log\left(\frac{24}{4}\right)<br />
)
Die ![[latex]\frac{1}{24}[/latex]](http://www.matheboard.de/latex2png/latex2png.php?\frac{1}{24}) ausklammern, Brüche im Logarithmus kürzen.
![[latex]\frac{1}{24}\cdot\left(6\log(4) + 4\log(6) +9\log\left(\frac{8}{3}\right) + \log(24) + 4\log(6)\right)[/latex]](http://www.matheboard.de/latex2png/latex2png.php?\frac{1}{24}\cdot\left(6\log(4) + 4\log(6) +9\log\left(\frac{8}{3}\right) + \log(24) + 4\log(6)\right))
Logarithmengesetze anwenden: Vorfaktor als Potenz reinziehen, Addition von Logarithmen als Multiplikation der Argumente.
![[latex]\frac{1}{24}\log\left(4^6\cdot 6^4\cdot \left(\frac{8}{3}\right)^9\cdot 24\cdot 6^4\right)[/latex]](http://www.matheboard.de/latex2png/latex2png.php?\frac{1}{24}\log\left(4^6\cdot 6^4\cdot \left(\frac{8}{3}\right)^9\cdot 24\cdot 6^4\right))
Zusammenfassen gleicher Potenzen, netterweise fällt Faktor 3 raus.
![[latex]\frac{1}{24} \log\left(2^{50}\right) = \frac{50}{24} = \frac{25}{12}[/latex]](http://www.matheboard.de/latex2png/latex2png.php?\frac{1}{24} \log\left(2^{50}\right) = \frac{50}{24} = \frac{25}{12})
__________________
Syntax Highlighting fürs Board (Link)
|
|
|
22.11.2015 19:47 |
|
|
Shizmo
Tripel-As
Dabei seit: 16.10.2015
Beiträge: 174
|
|
| RE: Kurze Frage zur Entropie |
     |
Ahja sehr interessant. Auf das waer ich wohl nie gekommen.
Danke sehr 
| Zitat: |
Original von eulerscheZahl
Dein Ansatz ist nicht ganz richtig: du musst entweder vor den gesamten Term noch ein Minus setzen, da sonst dein Ergebnis negativ wird
|
Hab geschrieben Minus die Summe... (das - ist wahrscheinlich nur untergegangen 
)
| Zitat: |
Original von Shizmo
[...]
Gut, dann der mittlere Informationsgehalt ist die Entropie also: - die Summe von der Wahrscheinlichkeit mal den zweier Logarithmus von der Wahrscheinlichkeit.
[...] |
|
|
|
22.11.2015 20:09 |
|
|
Shizmo
Tripel-As
Dabei seit: 16.10.2015
Beiträge: 174
|
|
Kannst du mir vielleicht doch noch kurz den erklaeren wie du vom vorletzten zum letzten Schritt gekommen bist??
Also ![[latex]4^6[/latex]](http://www.matheboard.de/latex2png/latex2png.php?4^6) wird zu ![[latex]2^{12}[/latex]](http://www.matheboard.de/latex2png/latex2png.php?2^{12}) - Aber was passiert mit dem Rest??
Danke schon mal
|
|
|
23.11.2015 22:03 |
|
|
Shizmo
Tripel-As
Dabei seit: 16.10.2015
Beiträge: 174
|
|
Alles klar, perfekt, dankeschoen!!!
|
|
|
24.11.2015 09:09 |
|
|
|
