Kurze Frage zur Entropie

22.11.2015, 18:31

Shizmo

Kurze Frage zur Entropie

Hallo, habe die Woche eine Pruefung und dazu eine kurze Frage. Ich habe die Pruefungsangaben vom letzten Jahr und eine Aufgabe lautet:

Gegeben ist der Zeichenvorrat A,B,C,D,E, folgende absolute Haeufigkeiten und folgender Code:

code:
1: 2: 3: 4: 5: 6: 7:	Zeichen - Haeufigkeit - Code A 6 1 B 4 000 C 9 001 D 1 010 E 4 011

Betrachten Sie die relativen Haeufigkeiten als Symbolwahrscheinlichkeiten und berechnen Sie den mittleren Informationsgehalt der Quelle,...

Okay, eigentlich ganz einfach, allerdings ist es verboten einen Taschenrechner zu benuetzen, deshalb auch meine Frage.

Die relativen Haeufigkeiten bzw. Symbolwahrscheinlichkeiten sind dann fuer:
A - 1/4
B - 1/6
C - 3/8
D - 1/24
E - 1/6

Gut, dann der mittlere Informationsgehalt ist die Entropie also: - die Summe von der Wahrscheinlichkeit mal den zweier Logarithmus von der Wahrscheinlichkeit.

Bei A waere das 1/4 * ln(1/4) = 1/4 * ( ln(1)-ln(4) ) = 1/4 * (0-2) = -1/2
So, wie schauts dann bei B aus?
Wie kann ich denn ohne TR den 2erLOG von 1/6 ausrechnen? Bzw. 3/8 oder 1/24.

Ich wuerds ja dann einfach nur so hinschreiben, allerdings brauche ich den Wert der Entropie um weiterrechnen zu koennen.

Freue mich auf Tipps.
LG

22.11.2015, 19:47

Auf diesen Beitrag antworten »

eulerscheZahl

Hab's mit Stift und Papier hinbekommen, halte die Aufgabe aber nicht für sinnvoll, wenn nicht in der Matheklausur.
Dein Ansatz ist nicht ganz richtig: du musst entweder vor den gesamten Term noch ein Minus setzen, da sonst dein Ergebnis negativ wird, oder innerhalb des Logarithmus mit 1/p rechnen, wobei p die Wahrscheinlichkeit ist.
Ansatz: $[latex]H = \frac{6}{24}\log\left(\frac{24}{6}\right) + \frac{4}{24}\log\left(\frac{24}{4}\right) +\frac{9}{24}\log\left(\frac{24}{9}\right) + \frac{1}{24}\log\left(\frac{24}{1}\right) + \frac{4}{24}\log\left(\frac{24}{4}\right)<br /> [/latex]$
Die $[latex]\frac{1}{24}[/latex]$ ausklammern, Brüche im Logarithmus kürzen.
$[latex]\frac{1}{24}\cdot\left(6\log(4) + 4\log(6) +9\log\left(\frac{8}{3}\right) + \log(24) + 4\log(6)\right)[/latex]$
Logarithmengesetze anwenden: Vorfaktor als Potenz reinziehen, Addition von Logarithmen als Multiplikation der Argumente.
$[latex]\frac{1}{24}\log\left(4^6\cdot 6^4\cdot \left(\frac{8}{3}\right)^9\cdot 24\cdot 6^4\right)[/latex]$
Zusammenfassen gleicher Potenzen, netterweise fällt Faktor 3 raus.
$[latex]\frac{1}{24} \log\left(2^{50}\right) = \frac{50}{24} = \frac{25}{12}[/latex]$

22.11.2015, 20:09

Auf diesen Beitrag antworten »

Shizmo

RE: Kurze Frage zur Entropie

Ahja sehr interessant. Auf das waer ich wohl nie gekommen.
Danke sehr Daumen hoch

Zitat:

Original von eulerscheZahl
Dein Ansatz ist nicht ganz richtig: du musst entweder vor den gesamten Term noch ein Minus setzen, da sonst dein Ergebnis negativ wird

Hab geschrieben Minus die Summe... (das - ist wahrscheinlich nur untergegangen großes Grinsen

)

Zitat:

Original von Shizmo
[...]
Gut, dann der mittlere Informationsgehalt ist die Entropie also: - die Summe von der Wahrscheinlichkeit mal den zweier Logarithmus von der Wahrscheinlichkeit.
[...]

22.11.2015, 20:16

Auf diesen Beitrag antworten »

eulerscheZahl

Oh, da steht es ja, hatte ich wohl für ein Formatierungszeichen gehalten geschockt

23.11.2015, 22:03

Auf diesen Beitrag antworten »

Shizmo

Kannst du mir vielleicht doch noch kurz den erklaeren wie du vom vorletzten zum letzten Schritt gekommen bist??

Also [latex]4^6[/latex]

wird zu $[latex]2^{12}[/latex]$ - Aber was passiert mit dem Rest??

Danke schon mal großes Grinsen

24.11.2015, 06:16

Auf diesen Beitrag antworten »

eulerscheZahl

$[latex]6^4 = 2^4 \cdot 3^4[/latex]$
$[latex]\left(\frac{8}{3}\right)^9 = (2^3)^9 \cdot (3^{-1})^9 = 2^{27} \cdot 3^{-9}[/latex]$
$[latex]24 = 2^3 \cdot 3[/latex]$
Der Rest ist dann nurnoch zusammenfassen gleicher Exponenten.

24.11.2015, 09:09

Auf diesen Beitrag antworten »

Shizmo

Alles klar, perfekt, dankeschoen!!!

Neue Frage »

Antworten »

Kurze Frage zur Entropie

Verwandte Themen