Informatiker Board | Druckvorschau: Kurze Frage zur Entropie

Informatiker Board (http://www.informatikerboard.de/board/index.php)
- Themengebiete (http://www.informatikerboard.de/board/board.php?boardid=1)
-- Theoretische Informatik (http://www.informatikerboard.de/board/board.php?boardid=5)
--- Kurze Frage zur Entropie (http://www.informatikerboard.de/board/thread.php?threadid=2604)

Geschrieben von Shizmo am 22.11.2015 um 18:31:

Kurze Frage zur Entropie

Hallo, habe die Woche eine Pruefung und dazu eine kurze Frage. Ich habe die Pruefungsangaben vom letzten Jahr und eine Aufgabe lautet:

Gegeben ist der Zeichenvorrat A,B,C,D,E, folgende absolute Haeufigkeiten und folgender Code:

code:
1: 2: 3: 4: 5: 6: 7:	Zeichen - Haeufigkeit - Code A 6 1 B 4 000 C 9 001 D 1 010 E 4 011

Betrachten Sie die relativen Haeufigkeiten als Symbolwahrscheinlichkeiten und berechnen Sie den mittleren Informationsgehalt der Quelle,...

Okay, eigentlich ganz einfach, allerdings ist es verboten einen Taschenrechner zu benuetzen, deshalb auch meine Frage.

Die relativen Haeufigkeiten bzw. Symbolwahrscheinlichkeiten sind dann fuer:
A - 1/4
B - 1/6
C - 3/8
D - 1/24
E - 1/6

Gut, dann der mittlere Informationsgehalt ist die Entropie also: - die Summe von der Wahrscheinlichkeit mal den zweier Logarithmus von der Wahrscheinlichkeit.

Bei A waere das 1/4 * ln(1/4) = 1/4 * ( ln(1)-ln(4) ) = 1/4 * (0-2) = -1/2
So, wie schauts dann bei B aus?
Wie kann ich denn ohne TR den 2erLOG von 1/6 ausrechnen? Bzw. 3/8 oder 1/24.

Ich wuerds ja dann einfach nur so hinschreiben, allerdings brauche ich den Wert der Entropie um weiterrechnen zu koennen.

Freue mich auf Tipps.
LG

Geschrieben von eulerscheZahl am 22.11.2015 um 19:47:

Hab's mit Stift und Papier hinbekommen, halte die Aufgabe aber nicht für sinnvoll, wenn nicht in der Matheklausur.
Dein Ansatz ist nicht ganz richtig: du musst entweder vor den gesamten Term noch ein Minus setzen, da sonst dein Ergebnis negativ wird, oder innerhalb des Logarithmus mit 1/p rechnen, wobei p die Wahrscheinlichkeit ist.
Ansatz: $[latex]H = \frac{6}{24}\log\left(\frac{24}{6}\right) + \frac{4}{24}\log\left(\frac{24}{4}\right) +\frac{9}{24}\log\left(\frac{24}{9}\right) + \frac{1}{24}\log\left(\frac{24}{1}\right) + \frac{4}{24}\log\left(\frac{24}{4}\right)<br /> [/latex]$
Die $[latex]\frac{1}{24}[/latex]$ ausklammern, Brüche im Logarithmus kürzen.
$[latex]\frac{1}{24}\cdot\left(6\log(4) + 4\log(6) +9\log\left(\frac{8}{3}\right) + \log(24) + 4\log(6)\right)[/latex]$
Logarithmengesetze anwenden: Vorfaktor als Potenz reinziehen, Addition von Logarithmen als Multiplikation der Argumente.
$[latex]\frac{1}{24}\log\left(4^6\cdot 6^4\cdot \left(\frac{8}{3}\right)^9\cdot 24\cdot 6^4\right)[/latex]$
Zusammenfassen gleicher Potenzen, netterweise fällt Faktor 3 raus.
$[latex]\frac{1}{24} \log\left(2^{50}\right) = \frac{50}{24} = \frac{25}{12}[/latex]$

Geschrieben von Shizmo am 22.11.2015 um 20:09:

RE: Kurze Frage zur Entropie

Ahja sehr interessant. Auf das waer ich wohl nie gekommen.
Danke sehr Daumen hoch

Zitat:

Original von eulerscheZahl
Dein Ansatz ist nicht ganz richtig: du musst entweder vor den gesamten Term noch ein Minus setzen, da sonst dein Ergebnis negativ wird

Hab geschrieben Minus die Summe... (das - ist wahrscheinlich nur untergegangen großes Grinsen

)

Zitat:

Original von Shizmo
[...]
Gut, dann der mittlere Informationsgehalt ist die Entropie also: - die Summe von der Wahrscheinlichkeit mal den zweier Logarithmus von der Wahrscheinlichkeit.
[...]