lecture 18 channel capacity

2S 2009 - I. Zamora Uni VII-Conf 18: Codificación de Canal1

Comunicaciones II

Conferencia 18: Capacidad de CanalUNIDAD VII: CODIFICACIÓN DE CANAL

Instructor: Israel M. Zamora, P.E., MS Telecommunications ManagementProfesor Titular, Departamento de Sistemas Digitales y Telecomunicaciones.

Universidad Nacional de Ingeniería

Universidad Nacional de Ingeniería


Contenido

• Limitaciones en el diseño de DCS• Canal Discreto Sin Memoria (DMC)• Canal Simétrico Binario• Entropía Condicional• Información Mutua• Propiedades de la Información Mutua• Ilustración de las relaciones entre diversas entropía

de canal• Capacidad de Canal

– Ejemplo 1• Teorema de la Capacidad de Información

– Ejemplo 2• Fronteras e Implicaciones del 3er Teorema de

Shannon


Limitaciones en el diseño de un DCS

∆ Limitaciones:

⊕ El requerimiento de mínimo ancho de banda teórico de Nyquist

⊕ El teorema de la capacidad de Shannon-Hartley (y el límite de Shannon)

⊕ Regulaciones del Gobierno

⊕ Limitaciones tecnológicas

⊕ Otros requerimeintos de sistemas (e.g órbitas satelitales)


Limitaciones en el diseño de un DCS

• El mínimo ancho de banda teórico W necesario para transmisión bandabase R símbolos por segundos es R/2 hertz.

T2

1

T2

1−

T

)( fH

f t

)/sinc()( Ttth =1

0 T T2T−T2−0


Canal Discreto Sin Memoria (DMC)

En la conferencia #4 estudiamos las fuentes discretas sin memoria (DMS) generadoras de información y la manera como se cuantificaba la cantidad de información. En esta ocasión estudiamos el aspecto de la transmisión de esa información a su destino a través de un canal discreto sin memoria. Un adelanto de este estudio se planteó rápidamente en la conferencia #2 (Canal Simétrico Binario).

Fuente Discretade Información

X

21012 xxxxx −−DMS estudiada enConferencia #10

FuenteDiscreta deInformación

X

21012 xxxxx −−Canal DMS 21012 yyyyy −− Destino

de Información

Y( )X/YP

DMC que estudiaremos en esta conferencia

XL YLAlfabeto Fuente

Alfabeto Destino


Y

K-J-

X

y x

y x

y x

L

L

11

11

00

)XY(P

)xy(p jk

X Y


•Un canal discreto sin memoria es un modelo estadístico con una entrada X y una salida Y que es una versión ruidosa de X.•X e Y son variables aleatorias.

}x,...,x,x{ JX 110 −=L

}y,...,y,y{ KY 110 −=L

Alfabeto Fuente de J símbolos

Alfabeto Destino de K símbolos

Muestras del alfabeto fuente Matriz de probabilidades

que caracterizan el canal

Muestras del alfabeto destino



El conjunto de probabilidades de transición (condicionales) está dado por:

koda j y para t)x p(y)xXyP(Y jkjk ===

a j para tod p(x)xP(X jj )==

Las probabilidades de ocurrencia de cada símbolo para LX y LY son:

a k para tod p(y)yP(Y kk )==

)p(yK

kk 1

1

0∑

−

=

=

)p(xJ

jj 1

1

0∑

−

=

=

11

0

)xp(yK

kjk∑

−

=

=Para toda j

=

−−−−

−

−

)xy(p)xy(p)xy(p

)xy(p)xy(p)xy(p

)xy(p)xy(p)xy(p

X)P(Y

JKJJ

K

K

111110

111110

010100

Para toda j

Para toda k

Matriz (J x K) de canal o de transición.10 ≤≤ )xp(y jk

Para toda j y k


Canal Discreto Sin Memoria (DMC) En la matriz de canal se observa que cada renglón corresponde a una entrada de canal fija, en tanto que cada columna de la matriz corresponde a una salida de canal fija.

La probabilidad de distribución conjunta de las variables X e y está dada por:

)

)

jkjk

kjkj

x, p(y)xX,yP(Y

y, p(x)yY,xP(X

===

===

),yp(x),xp(y

)x,Xy P(Y)y,YxP(X

kjjk

jkkj

=

=====

donde se cumple que:

))p(xxp(y

)x)P(XxXy P(Y

)y,YxP(X),yp(x

jjk

jjk

kjkj

=

====

===



La probabilidad de distribución marginal de la variable aleatoria de salida Y se obtiene promediando la dependencia de p(xj,yk) con respecto a xj, como se indica:

1101

0

1

0

,...,K-,para k)x)p(yp(x

)xXyP(Y)xP(X

)yP(Y)p(y

J

jjkj

jk

J

jk

kk

==

====

==

∑

∑−

=

−

=


Canal Simétrico Binario

El canal simétrico binario es de gran interés teórico y corresponde al ejemplo estudiado en la conferencia #2. Consiste en un DMC con J=K=2 (ambos alfabetos – fuente X y destino Y- poseen dos símbolos: 0’ y 1’), y es simétrico porque la probabilidad de recibir un 1’ si se envió un ‘0 es igual que la probabilidad de recibir un ‘0 cuando se envía un ‘1 la cual denotamos por p. El diagrama siguiente ilustra este caso.

“0”

“1”

“0”

“1”

p)xp(y −=100

p)xp(y −=111

p)xp(y =01

p)xp(y =01

210 /)p(x =

211 /)p(x =

∑=

=1

000

jjj )x)p(yp(x)p(y

∑=

=1

011

jjj )x)p(yp(x)p(y

Ver conferencia #2 !!!


Entropía Condicional• Cuando tenemos dos alfabetos LX y LY podemos medir la incertidumbre de

X después de observar Y definiendo la entropía condicional de X elegida del alfabeto LX, dado que Y=yk, utilizando la fórmula siguiente:

∑−

=

==

1

02

1J

j kjkjk )yp(x

log)yp(x)yYX(H

• Esta misma cantidad es una variable aleatoria que toma los valores H(X|Y=y0), H(X|Y=y1),…, H(X|Y=yK-1) con probabilidades p(y0), p(y1), …,p(yK-1), respectivamente. La media de la entropía H(X|Y=yk) sobre el alfabeto de salida Y está dado por:

∑∑

∑∑

∑

−

=

−

=

−

=

−

=

−

=

=

=

==

1

1

1

02

1

1

1

02

1

1

1

1

K

k

J

j kjkj

K

k

J

j kjkkj

k

K

kk

)yp(xlog)y,p(x

)yp(xlog)y()pyp(x

)y(p)yYX(H)YX(H

)yx(p)y(p)y,x(p kjkkj =donde:

H(X|Y) es la entropía condicional que representa la cantidad de

incertidumbre que queda acerca de la entrada del canal después de que se ha observado la salida del canal.


Información Mutua

• Sabemos que H(X) representa nuestra incertidumbre en torno a la entrada del canal antes de observar la salida del mismo, y H(X|Y) representa nuestra incertidumbre con respecto a la entrada del canal después de observar la salida de éste, se puede concluir que la diferencia H(X)- H(X|Y) debe representar nuestra incertidumbre en torno a la entrada del canal que se resuelve al observar la salida del mismo.

• Esta importante cantidad se denomina la información mutua del canal que denotamos I(X,Y), o en general:

donde H(Y) es la entropía de la salida del canal y H(Y|X) es la entropía condicional de la salida del canal dada la entrada del mismo.

)YX(H)X(HY),X(I −=

)XY(H)Y(HX),Y(I −=


Propiedades de la Información Mutua

• Propiedad 1: La información mutua de un canal es simétrica, esto es

∑∑−

=

−

=

=

1

0

1

12

1J

j

K

k kiki )y,x(p

log)y,x(p)Y,X(H

)X,Y(IY),X(I =

• Propiedad 2: La información mutua es siempre no negativa, es decir,0≥Y),X(I

• Propiedad 3: La información mutua de un canal se relaciona con la entropía conjunta de la entrada y la salida del mismo mediante

)Y,X(H)Y(H)X(HY),X(I −+=

donde la entropía conjunta H(X,Y) está definida por


Ilustración de las relaciones entre diversas entropía de canal

)Y(H

)Y,X(H

)X(H

)XY(H)Y,X(I)YX(H


Capacidad de Canal• Definimos la capacidad del canal de un canal discreto sin memoria como

la información mutua máxima I(X,Y) en cualquier uso simple del canal (es decir, el intervalo de transmisión de señales), donde la maximización es sobre todas las distribuciones de probabilidad de entrada posibles {p(xj)} en x.

• La capacidad de canal se denota comúnmente por medio de C. De este modo escribimos:

) I(X,YmáxC)}{p(x j

=

La capacidad del canal C se mide en bits por uso del canal o bits por transmisión. Advierta que la capacidad de canal C es una función exclusiva de las probabilidades de transición p(yk,xj), las cuales definen el canal. El cálculo de C implica la maximización de la información mutua I(X,Y) sobre J variables sujeta dos restricciones:

jtodapara)x(p j 0≥ 11

0

=∑−

=

J

jj )p(xy


Ejemplo 1

• Con base en el caso estudiado en la diapositiva #8 (Canal Discreto Simétrico Binario) determinaremos la Capacidad de ese modelo de canal.

2110 /)p(x)p(xI(X,Y)C ===

Tenemos que H(X) es máximo si p(x0)=p(x1)=p=1/2 (Ver Conferencia #4, diapositiva #15), por lo que podemos escribir:

)p(H

p)(logp)(plogpC

−=−−++=

1

111 22

Por tanto, sustituyendo estas probabilidades de transición del canal con J=K=2, e igualando después la probabilidad de entrada p(x0)=p(x1)=1/2 de acuerdo con la ecuación de C, encontramos que la capacidad del canal simétrico binario es:


Ejemplo 1

)p(H

p)(logp)(plogpC

−=−−++=

1

111 22

Observaciones:1. Cuando el canal no tiene ruido, lo

que nos permite dejar p=0, la capacidad C del canal alcanza su valor máximo de un bit por uso de canal, lo cual es exactaemtneo la información en cada entrada del canal. A este valor p, la función de entropía H(p) llega a su valor mínimo de cero.

2. Cuando la probabilidad condicional de error p=1/2 debido al ruido, la Capacidad C del canal alcanza su valor mínimo de cero, en tanto que la función de entropía H(p) llega a si valor máximo de la unidad; en un caso de este tipo se dice que el canal será inútil.


Teorema de la Capacidad de Información

• Formularemos el teorema de la Capacidad de Información correspondiente a canales gaussianos limitado en potencia y limitado en frecuencia.

K,...,,k,NXY kkk 21=+=

Para el modelo de canal con ruido AWGN

Muestra de ruido gaussiana con media cero y varianza:

txN BWN02 =σ

Proceso aleatorio con media cero que está limitado en frecuencia a BT hertz, y

cuya varianza es la potencia de transmisión limitada a S watts:

]E[XS kX22 ==σ

Modelo de canal con ruido AWGN

Señal recibida

ΣkX

kN

kYSeñal

transmitida

Ruido AWGN

Proceso aleatorio con media igual a cero y varianza:

2

222

N

NXY

σS

σσσ

+=

+=



• La capacidad de información del canal bajo las condiciones anteriores es:

}S]X[E:)Y,X(I{máxC kkk)x(f

kX

== 2

• Se puede demostrar que la entropía diferencial de Yk se calcula como:

[ ] [ ])( 2log21

)( 2log21

)( 0222

2 txNXk BWNSeeYH +=+= πσσπ

• Se puede demostrar que la entropía diferencial de Nk se calcula como:

) 2(log21

) 2(log21

)( 022

2 txNk BWeNeNH πσπ ==

• De los resultados anteriores y con base en la definición de la capacidad de información tenemos que:

+=

+=

txN

X

BWNS

C0

22

2

2 1log21

1log21

σσ Bits por transmisión


Teorema de la Capacidad de Información• Si multiplicamos este resultado por el número de transmisiones /segundo ,

el cual es 2W obtendremos la capacidad de canal en bits por segundos (bps):

txtx

BWBWNS

C 21log21

02 ⋅

+= Bits por

segundos

+=

txtx BWN

SBWC

02 1log

• Con base en los resultados anteriores, es posible establecer el tercero y mas famoso teorema de Shannon, el TEOREMA DE LA CAPACIDAD DE LA INFORMACIÓN, dado por:

• La capacidad de información de canal continuo de ancho de banda BWtx hertz, perturbado por ruido blanco gaussiano aditivo con densidad espectral de potencia N0/2 y limitado en ancho de banda a BWtx, está dado por:

Bits por segundos

+=

txBWNS

WC0

2 1log

txBWNS

SNR0

=

Note que la razón señal a ruido SNR del canal está dado por:



• El teorema de Shannon pone un límite en la tasa de transmisión de datos, no en la probabilidad de error:– Es teóricamente posible transmitir información a

cualquier tasa , con una probabilidad arbitrariamente pequeña de error al utilizar un esquema de codificación lo suficientemtne complejo .

– Para una tasa de información , NO es posible encontrar un código que pueda materializar una probabilidad de error arbitrariamente pequeña.

CRb ≤bR

CRb >


Fronteras e Implicaciones del 3er Teorema de Shannon

C/W [bits/s/Hz]

SNR [bits/s/Hz]

Región práctica

Region noalcanzable


Ejemplo 2

• Encuentre la capacidad de un canal telefónico con ancho de banda de transmisión de 3,000Hz y SNR de 39 dB.

943739 ,SNRó SNR:queTenemos dB ==

( ) bps,,log,C

to:tanPor

86738943710003 2 ≈+=



• Consideremos un sistema ideal definido como uno que transmite datos binarios a una tasa de bits Rb igual a la capacidad de información C (Rb=C). Entonces podemos expresar la potencia promedio transmitida como:

CERES bbb ==

• Donde Eb es la energía transmitida por el bit. Por tanto, el sistema ideal se define mediante la ecuación:

⋅+=

tx

b

tx BWC

NE

BWC

02 1log

• De esta manera equivalente, podemos definir la relación de la energía de la señal por bit a la densidad espectral de la potencia de ruido Eb/N0 en términos de la razón C/BT para el sistema como:

tx

BWCb

CBWNE tx 12 /

0

−=



• El diagrama de la relación Rb/BW en función de Eb/N0 recibe el nombre de diagrama de eficiencia de ancho de banda.


Capacidad de Canal de Shannon con AWGN



1. Para un ancho de banda infinito, la razón Eb/N0 tiende al valor límite

dB 1.669302loglim 1000

−===

=

∞→

.N

E

N

E b

W

b

• El valor límite correspondiente de la capacidad de canal se obtiene dejando que el ancho de banda W del canal tienda a infinito; consecuentemente encontramos:

eN

SCC

W2

0

loglim ==∞→∞

Límite de Shannon para un canal AWGN

– Existe un valor limitante de bajo el cual NO PUEDE HABER TRANSMISIÓN LIBRE DE ERRORES a cualquier tasa de transmisión de información.

– El hecho aislado de incrementar meramente el ancho de banda por sí , no signfica que la capacidad aumentada a algún valor deseado.

0/ NEb



[dB] / 0NEb

W/C [Hz/bits/s]

RegiónPráctical

Region Noalcanzable

-1.6 [dB]



3. El diagrama subraya los compromisos potenciales entre Eb/N0, Rb/W y la probabilidad del error de símbolo Pe. En particular, podemos observar el movimiento del punto de operación a lo largo de una línea horizontal como el intercambio de Pe en función Eb/N0 para una Rb/W fija. Por otra parte, es posible advertir el movimiento del punto de operación a lo largo de unalínea vertical como el intercambio de Pe en función de Rb/W para una Eb/N0 fija.

2. La frontera de la capacidad, definida por la curva para la tasa de bits crítica Rb=C, separa las combinaciones de parámetros del sistema que tienen el potencial para soportar una transmisión sin errores (Rb<C) de aquellas para las cuales no es posible ese tipo de transmisión (Rb>C).

lecture 18 channel capacity

Education

x x py x

x x x x x dms estudiada

unaentrada x

py x p

kmatriz j x

px x px

canal dms

codificaci1n de canal