Information und Kommunikation

Hartmut KlauckUniversität Frankfurt

SS 0723.4.

Nichtnegativität

• Theorem 3.1– D(p||q)¸ 0 für alle p,q

• Beweis:– Sei A={i:p(i)> 0} der Träger von p– Dann:

Information und relative Entropie

• Wir wollen I(X:Y)¸ 0 zeigen• Seien also X,Y mit Verteilung p

gegeben

• Sei pX die Grenzverteilung von XpY von Y

• Setze q=pX pY, d.h. q(i,j)=pX(i)pY(j)

• I.A. q(i,j)p(i,j)

Information und relative Entropie

• Lemma 3.2– I(X:Y)=D(p||q)=D(XY||X Y)

• Beweis:

Information und relative Entropie

• Korollar 3.3– I(X:Y)¸0 für alle X,Y

Entropie und relative Entropie

• Theorem 3.4H(X)=log n-D(p||u), wobei X eine

Zufallsvariable auf {1,…,n} ist, p die Verteilung von X, und u die uniforme Verteilung auf {1,…,n}.

Beweis: log n - D(p||u)=log n - i=1,...,n p(i) log (p(i)¢ n)=H(X)

Konvexität

• Theorem 3.5– Die relative Entropie ist konvex:

– Seien p1,p2,q1,q2 Verteilungen und 0·· 1, dann gilt

D(p1+(1-)p2||q1+(1-)q2)

· D(p1||q1)+ (1-) D(p2||q2)

Ein Korollar

• Mit Theoremen 3.4 und 3.5 folgt, dass die Entropie konkav ist, d.h.

• Korollar 3.6 H(p1+(1-)p2) ¸ H(p1)+ (1-) H(p2)

Maximale Entropie

• Wir haben gesehen, dass für alle Zufallsvariablen X auf {1,…,n} gilt: H(X)· log n

• Die uniforme Verteilung hat H(X)=log n

• Gibt es noch andere Verteilungen mit H(X)=log n?

• Theorem 3.7Wenn H(X)=log n (für ZV X auf {1,…,n}), dann ist X uniform verteilt.

Maximale Entropie

• Beweis:– Sei X mit Verteilung p gegeben– u sei die uniforme Verteilung– H(X)= log n – D(p||u)– Daher D(p||u)= log n –H(X)=0– Somit gilt p=u

Zusammenfassung

• Maße in der Informationstheorie:– Entropie, Information, relative Entropie

• Diese Maße sind nichtnegativ• Entropie misst Unbestimmtheit,

Information Korrelation (bzw. Sinken der Unbestimmtheit durch neues Wissen), relative Entropie ist eine Distanzmaß für Verteilungen

• Eigenschaften: Kettenregel, verschiedene Ungleichungen und Schranken, Entropie konkav

Data Processing Inequality

• Kann Information durch „Datenverarbeitung“ vergrößert werden?

• Zufallsvariablen X,Y,Z bilden eine Markov-Kette (X! Y! Z), wennp(x,y,z)=p(x)p(y|x)p(z|y).

• D.h. Z hängt nur von Y, aber nicht direkt von X

Data Processing Inequality

• Theorem 3.8 – Wenn X! Y! Z , dann I(X:Z)· I(X:Y)

• Beweis:– I(X:YZ)=I(X:Z)+I(X:Y|Z)

=I(X:Y)+I(X:Z|Y)– X und Z sind unabhängig wenn über Y

konditioniert wird, daher giltI(X:Z)+I(X:Y|Z)=I(X:Y) und das Theorem folgt mit Korollar 3.3.

Data Processing Inequality

• Interpretation:– Wenn Information über X in einer

Zufallsvariable Y gegeben wird, und Y zu Z weiterverarbeitet wird, kann die Information über X nicht gesteigert werden.

Noiseless Coding

• Sei X eine Zufallsvariable auf {0,1}n mit Entropie H(X)

• Wir wollen den Wert von X von Alice zu Bob kommunizieren

• Dabei verlaufe die Kommunikation über einen fehlerfreien Kanal

• Wie viele Bits muss Alice senden?– Im Durchschnitt– Im worst case

Noiseless Coding

• Wir nehmen an, dass Bob die x ohne Fehler rekonstruieren muss

• Worst Case Szenario:– alle x2{0,1}n haben positive

Wahrscheinlichkeit. Alice muss somit n Bits im worst case kommunizieren, da sonst zwei x,x‘ dieselbe Nachricht hätten

• Durchschnitts Szenario:– Wie viele Bits ?– Uns interessiert Ex [ |m(x)| ], wobei m(x) die

Nachricht für x sei.

Noiseless Coding

• Wir zeigen zunächst nur folgendes:• Theorem 3.9

– Noiseless Coding für eine Zufallsvariable X benötigt Nachrichten mit Entropie mindestens H(X)

• Beweis:– M sei die Zufallsvariable der Nachrichten von Alice an

Bob. Z sei Bob‘s Ausgabe.

– Z=X mit Wahrscheinlichkeit 1, d.h. I(Z:X)=H(X)

– Mit der Data Processing Ungleichung folgtH(M)¸ I(M:X)¸ I(Z:X)=H(X)

• Wir werden später zeigen, dass H(X) auch eine untere Schranke für die Codelänge ist.

Entropie und Fehler• Angenommen, es gibt ein Paar von

Zufallsvariablen X,Y• Wir haben Zugriff auf Y, wollen aber den Wert von

X „raten“• Wenn X und Y unabhängig sind, haben wir keine

Information durch Y– In diesem Fall würden wir das wahrscheinlichste i als

Wert von X wählen, ohne Y zu beachten• Wenn H(X|Y)=0, dann gibt es zu jedem Y=j genau

ein X=i mit p(i|j)=1, d.h. Fehler 0• Allgemein bestimmen wir eine Zufallsvariable Z

als Funktion von Y, und die Fehlerwahrscheinlichkeit ist Pe=Prob(XZ)

Fanos Ungleichung

• Fanos Ungleichung stellt eine Verbindung zwischen dem Fehler und der relativen Entropie her

• Theorem 3.10 [Fano]H(Pe) + Pe log (n-1)¸ H(X|Y)

Beispiel: Sei n=2, und X sei uniform verteilt.Dann gilt H(Pe)¸ H(X|Y) bzw. 1-H(Pe)· I(X:Y).

Z.B. für Fehler 0.1 braucht man I(X:Y)>0.53

Fanos Ungleichung

• Beweis:Wir definieren eine (Fehler-) Zufallsvariable

E=1 wenn XZ und E=0 wenn X=ZH(E,X|Y)=H(X|Y)+H(E|X,Y)H(E,X|Y)=H(E|Y)+H(X|E,Y)

H(E|X,Y)=0H(E|Y)· H(Pe)H(X|E,Y)=Prob(E=0)¢H(X|Y,E=0) +Prob(E=1)¢H(X|Y,E=1)· (1-Pe)¢0 + Pe log(n-1) (*)

Damit gilt: H(X|Y)· H(Pe)+Pe log (n-1)(*): wenn E=1, wissen wir, dass eine Möglichkeit für den

Wert von X (nämlich der Wert von Z) nicht mehr erlaubt ist