teoría de la información - instituto de ingeniería...

2 de mar de 2004 Codificación de imágenes y video

Teoría de la Información

2 de mar de 2004 Codificación de imágenes y video 2

El clima en el Río de la Plata...

...NLNNLSN

...NLLTLLL

...NNLSNLL

...NSLSSTT

...SNNSSLN

...NSNTNNN

...LSTLNLN

p(N)=0.5, p(S)=0.25, p(L)=0.125, p(T)=0.125

N: nublado; S: soleado; L: lluvia; T: tormenta


Motivación

§ Para comunicar estos tres símbolos se acuerda usar el siguiente código:

C(N) = 00C(S) = 01C(L) = 10C(T) = 11

§ Típicamente uno se pasa usando el código C(N)=00. La pregunta es: ¿existe otra codificación más eficiente?


Formalización

§ Se puede considerar al estado del tiempo como una variable aleatoria discreta X, con un alfabeto

A={N,L,T,S}

y una función de probabilidad

p(x)=Probabilidad(X=x)

con x en A.


Formalización: información

§ Dado que típicamente esta nublado, el símbolo Ncontiene poca “información”, es “predecible”, es más probable, “no es noticia”.

§ Información. Una medida de la información podría ser:

I(x) = -log2(p(x))

§ I(N) = 1, I(S) = 2, I(L) = 3, I(T) = 3


Información

§ ¿Qué pasa si supiéramos que siempre está nublado (p(N)=1)?. En este caso I(N) = 0, podemos predecir con probabilidad 1 que va a estar nublado, no hay incertidumbre, no hay información.

§ La situación de mayor incertidumbre es cuando p(N)=p(L)=p(S)=p(T)=1/4.


Información

§ Si pudiéramos elegir libremente (símbolos equiprobables) entre 2 símbolos necesitaríamos 1 bit, para 16 símbolos necesitaríamos 4 bits y en general para N símbolos se necesitan log2(N) bits.

§ log2(N) = -log2(1/N), lo que nos dice que hay una relación entre información y cantidad de bits necesarios.


Entropía

§ La entropía H(X) es la media de la información de la fuente:

§ Idea: La entropía mide la información media, y por tanto, la cantidad media de símbolos necesarios.

{ } ∑−==X

xpxpxIEXH )(log)()()( 2


Entropía

§ Se puede ver fácilmente H(X)>=0. Esto corresponde al caso de menor incertidumbre

§ Además, H(X)<=log(|A|), |A|=cantidad de elementos A. Lo que corresponde al caso de mayor incertidumbre, símbolos equiprobables.


Entropía

§ Definición: x es una variable aleatoria discreta(V.A.D.) con probabilidad p(x) y un conjunto de mensajes posibles A={x1,...,xN}.

§ Definición: Entropía

§ Observación: H(X) = E{ -log p(X) }

∑∈

−=Ax

xpxpXH )(log)()(


Ejemplos de códigos

111110.125Tormenta

110100.125Lluvia

10010.25Sol

0000.5Nublado

Código 2Código 1ProbabilidadEvento


Largo medio

§ El largo medio de estos códigos es:

§ Para este caso L1 = 2

L2 = 0.5 x 1 + 0.25 x 2 + 0.125 x 3 + 0.125 x 3 = 1.75H(x) =1.75

Alcanzamos la entropía.

∑==X

xCxpxCEL )()()}({


Shannon

§ Se puede demostrar que no existe ningún código que permita codificar a un bit-rate menor a la entropía.

§ Teorema (Shannon 1948)

§ Se puede demostrar también que el bit rate se puede acercar arbitrariamente a la entropía.

)(}min{ XHL ≥


Entropía conjunta

§ Definición: La entropía conjunta H(X,Y) de un par de variables aleatorias con distribución p(x,y) es:

§ Teorema (Regla de la cadena):

∑∑−

=−=

),(log),()},(log{),(

yxpyxpyxpEYXH

)|()(),( XYHXHYXH +=


Entropía Condicional

§ Definición: La entropía condicional de dos variables (X,Y)~p(x,y) es:

§ Observación: A(X) es el alfabeto de X

∑ ∑

∑

∈ ∈

∈

−

===

)( )(

)(

)|(log),(

)|()()|(

XAx YAy

XAx

xypyxp

xXYHxpXYH


Kullback-Leibler

§ Definición: La entropía relativa o “distancia” Kullback-Leibler entre dos distribuciones de probabilidad p(x) y q(x) se define como:

§ Teorema:

y la igualdad se cumple si p(x)=q(x)

∑∈

=

=

Ax xqxpE

xqxpxpqpD

)(

)(log

)(

)(log)()||(

0≥)||( qpD


Kullback-Leibler: Aplicaciones

§ Teorema: H(X) <= log(|A|)

§ Teorema: El condicionar reduce la entropía, H(Y|X) <= H(Y)

y la igualdad se da si X e Y son independientes.


Extensión de una fuente

§ Extensión de orden Nzi=(xi1, xi2, ... , xiN)

p(zi)= p(xi1) p(xi2)... p(xiN)

§ Teorema:

H(XN)=N.H(X)


Regla de la cadena

§ Teorema: (Regla de la cadena) (X1,...,Xn) ~ p(x1,...,xn):

§ Teorema:

∑=

−=n

iiin XXXHXXH

1111 ),...,|(),...,(

∑=

≤n

iin XHXXH

11 )(),...,(


Dependencia

§ Observando el estado del tiempo en días sucesivos se ve que el estado del tiempo en un día depende del día anterior y condiciona el siguiente.

§ No es simplemente una variable aleatoria sin memoria.


Formalización: Markov de orden k

§ Una fuente se dice Markov de orden k si símbolos sucesivos son estadísticamente dependientes, i.e. cada símbolo depende de los k anteriores

§ Una fuente MKS se especifica con:

kiXXxXp kiii ,),,|( 1 ∀= −− K


MKS: Entropía

§ La entropía de una fuente markov se define a partir de la entropía condicional

§ En general HMKS(X) < HDMS(X), por lo tanto, podríamos comprimir aún más!

§ Vale el resultado H(XN)=N.H(X)

∑ −−−−= ),,|(),,()( 11 kiikiiMKS XXXHXXpXH KK

∑ −−−−

−−

==

=

),,|(log),,|(),,|(

121

1

kiiikiii

kii

XXxXpXXxXpXXXH

KK

K


Métodos para símbolos dependientes

§ Codificación condicional: Se calculan las nuevas probabilidades dado el símbolo anterior. ( H(X|Y) < H(X) )

§ Codificación en bloques: Se agrupan símbolos consecutivos en bloques (nuevos símbolos).

§ Codificación predictiva: Dado Xi predecimos Xi+1 y codificamos la diferencia.

teoría de la información - instituto de ingeniería...

Documents