teoria informacion y codificacion.pdf

8/19/2019 Teoria Informacion y Codificacion.pdf

1/40

Teoría de las Comunicaciones

(a.k.a Redes )Claudio Enrique Righetti

Segundo Cuatrimestre del 2011

Departamento de ComputaciónFacultad de Ciencias Exactas y Naturales

Universidad de Buenos Aires

Argentina


2/40

Teoría de la Información y

CodificaciónFundamentos de TIyC - Fuente de Ruidos y

Capacidad de un canal

Claude Shannon


3/40

Teoría de la Información

Claude Shannon estaleció la Teoría de la InformaciónCl!sica

(o tami"n los #ue al$unos denominan teoría estadísticade la información% otra teoría seria la al$orítmica ..)

&os Teoremas Fundacionales'

. Codificación para un fuente sin ruido

. Codificación para un canal ruidoso

C. *. Shannon% +ell System Technical ,ournal% ol. % pp. /0-1/ and 2/-232% ,uly and 4ctoer% 015. Reprinted 6ith correctionsfrom The Bell System Technical Journal,


4/40

7no de ellos descrie la m!8ima eficienciaposile de un m"todo de corrección deerrores ( codificación ) frente a los nieles deruido y de corrupción de los datos. 9o dice

nada sore como implementar dichacodificación . *n definitia rinda el limitepara la T: de its (as!ndose en la ;ey de los


5/40

February 8, 2010 Harvard QR48 5

Shannon % paper +ell ;as (015)


6/40

C. *. Shannon% +ell System Technical ,ournal% ol. % pp. /0-1/ and 2/-232% ,uly and 4ctoer% 015

A method is developed for representing anycommunication system geometrically. essages and thecorresponding signals are points in t!o "functionspaces,# and the modulation process is a mapping of onespace into the other. $sing this representation, a num%erof results in communication theory are deducedconcerning e&pansion and compression of %and!idth and

the threshold effect. 'ormulas are found for thema&imum rate of transmission of %inary digits over asystem !hen the signal is pertur%ed %y various types ofnoise. Some of the properties of "ideal# systems !hichtransmit at this ma&imum rate are discussed. Thee(uivalent num%er of %inary digits per second for certaininformation sources is calculated. "


7/40


8/40

Información


9/40

&efinición ' unidades


10/40

+it


11/40

Fuente de memoria nula


12/40

Bemoria nula (cont)


13/40

*ntropía


14/40

*ntropía (cont) ;a entropía de un mensae :% #ue se representa

por D(:)% es el valor medio ponderado de lacantidad de información de los diersos estadosdel mensae.

D(:) E - Σ p(8) lo$ Gp(8)H

*s una medida de la incertidumre media acercade una ariale aleatoria y el n4mero de %its deinformaci5n.

*l concepto de incertidumre en D se puedeasociar. ;a función entropía representa unamedida de la incertidumre% no ostante se sueleconsiderar la entropía como la información mediasuministrada por cada símolo de la fuente


15/40

*ntropía' Fuente +inaria


16/40

a) ;a entropía es no ne$atia y se anula si y sólo siun estado de la ariale es i$ual a y el resto @ .

) ;a entropía es m!8ima% mayor incertidumre delmensae% cuando todos los alores posiles de la

ariale : son e#uiproales .

Si hay n estados e#uiproales% entonces pi E

Gn. ;ue$o'

D(:) E - Σ pi lo$ pi E - n(Gn) lo$ (Gn) E - (lo$ - lo$ n)

i

D(:)m!8 E lo$ n

ropiedades de la entropía


17/40

*8tensión de una Fuente de Bemoria 9ula


18/40

Fuente de Barko


19/40

Fuente de Barko (cont)


20/40


21/40

Codificación

*stalecer una correspondencia entre lossímolos de una fuente y los símolos delalfaeto de un códi$o.

roceso mediante el cual tami"n podemos lo$raruna representación m!s eficiente de lainformación ( eliminar redundancia).


22/40

Codificación ' condiciones

+lo#ue

Sin$ular

Separale (uníocamente decodificale)


23/40

Condición de los prefios

;a condición necesaria y suficiente para #ue uncódi$o sea instant6neo es #ue sus palarascumplan la condición de los prefios'

9o e8ista palara #ue sea prefio de otrapalara de lon$itud mayor.


24/40

Códi$os eficientes

Jsi$nar palaras m!s cortas a símolos m!sproales l

ilon$itud de la palara codificada del mensae m i

r : K de símolos del alfaeto del códi$o

L = Σ pi l

i ' ;on$itud media de un códi$o

L log r ≥ H(s)

lo$ r ' Cantidad promedio m!8ima de informaciónde un símolo del códi$o.

η = Η S) / (L log r) *ficiencia


25/40


26/40

9os falta encontrar el se$undo t"rmino pendiente en ladefinición de cantidad de información' codificador5ptimo.

Introduciendo el si$no ne$atio dentro del lo$aritmo en

la e8presión de la entropía% "sta nos #uedar! como'D(:) E Σ p(8) lo$

Gp(8)H

i;a e8presión lo$ Gp(8)H representa el n=mero

necesario de its para codificar el mensae : en uncodificador óptimo.

Codificador óptimo es a#uel #ue paracodificar un mensae : usa el menor n=mero posile de

its.

Codificador óptimo


27/40

M = 1 “ ” = 01 A = 000 I = 0010 E = 0011

Letra Frecuencia Ocurrencia→

! 1 ve" # → $ → % → 15

& 2 vece

' # vece & ! ' ( ( )

( ( # vece & ! ' ( (

) $ vece & ! '

& !

Código óptimo:

Mensaje: MI MAMA ME MIMA

Mensaje: 1 0010 01 1 000 1 000 01 1 0011 01 1 0010 1 000 ( !its)

"reg#nta: $Con %#&ntos !its se %odi'i%ara si se #sara ACII* a+#e %on%l#siones,

Crea%ión del &r!ol de

're%#en%ias o!ser-adas

Codificación de Duffman


28/40

;os medios de transmisiónL.

L. M las NperturacionesO L..

Bodelo de un Sistema de


29/40

Bodelo de un Sistema deComunicaciones


30/40

erturaciones en la transmisión

;a sePal reciida puede diferir de la sePaltransmitida Jnaló$ico - de$radación de la calidad de la

sePal

&i$ital A *rrores de its Causado por Jtenuación y distorsión de atenuación &istorsión de retardo Ruido


31/40

Jtenuación

;a intensidad de la sePal disminuye con ladistancia

&epende del medio ;a intensidad de la sePal reciida' &ee ser suficiente para #ue se detecte &ee ser suficientemente mayor #ue el ruido para

#ue se recia sin error

Crece con la frecuencia

*cualiQación' amplificar m!s las frecuenciasm!s altas

rolema Nmenos $raeO para las sePalesdi$itales


32/40

&istorsión de retardo

Sólo en medios $uiados ;a elocidad de propa$ación en el medio

aría con la frecuencia ara una sePal limitada en anda% la

elocidad es mayor cerca de la frecuenciacentral

;as componentes de frecuencia lle$an al

receptor en distintos instantes de tiempo%ori$inando desplaQamientos de fase entrelas distintas frecuencias


33/40

Ruido () SePales adicionales insertadas entre el

transmisor y el receptor T"rmico &eido a la a$itación t"rmica de los electrones Jumenta linealmente con la temperatura asoluta

(9@E kT)

7niformemente distriuido en la frecuencia

Ruido lanco (9+RE kT+)

Intermodulación SePales #ue son la suma y la diferencia de

frecuencias ori$inales y sus m=ltiplos (mf ( nf

))

Se produce por falta de linealidad


34/40

Ruido ()

&iafonía 7na sePal de una línea se mete en otra

Impulsio Impulsos irre$ulares o picos

*' Interferencia electroma$n"tica e8terna(tormenta)

Corta duración


35/40

*fecto del ruido en sePal di$ital

Conceptos relacionados con la


36/40

Conceptos relacionados con lacapacidad del canal elocidad de datos *n its por se$undo elocidad a la cual se pueden transmitir los

datos

Jncho de +anda *n ciclos por se$undo (hertQ) ;imitado por el transmisor y el medio

Ruido% niel medio a tra"s del camino de

transmisión Tasa de errores% camiar @ por y iceersa (+*R%

+it *rro Rate)

Jncho de +anda de 9y#uist


37/40

Jncho de +anda de 9y#uist(Capacidad teórica m!8ima)

ara nieles SI9 R7I&4 elocidad inaria

ara B nieles SI9 R7I&4 elocidad inaria

1 Baudio 7 1 estado se8ali3aci5n9seg : tam%i;n se e&presa sa relaci5n entre la velocidad de transmisi5n C y la velocidad de modulaci5n ? es@

)(.)( HzBbpsC =

)(log)(.)( . niveles M HzBbpsC =

M baudiosV bpsC .)/log()( =

9y#uist% D.% NCertain Factors Jffectin$ Tele$raph Speed%O Bell System Technical Journal, Jpril 01% p./1U NCertain Topics in


38/40

Capacidad de Shannon ()

ara un cierto niel de ruido% a mayor

elocidad% menor período de un it% mayortasa de error (se pueden corromper its enel tiempo en #ue antes se corrompía it)

Relación SePal G Ruido (Si$nal 9oise Ratio% S9R) en d+

Restricción' no se puede aumentar cuantose #uiera por#ue dee cumplirse'

Ruido Potencia

Señal PotenciaSNRSNRdB

log10)log(10 ==

SNR M +≤ 1


39/40

Capacidad de Shannon ()

*n principio% si se aumenta el ancho deanda B y la potencia de sePal S% aumentala elocidad inaria C.

ero' 7n aumento del ancho de anda B aumenta el

ruido 7n aumento de potencia de sePal S aumenta las

no linealidades y el ruido de intermodulación

or tanto% la elocidad inaria teórica m!8imaser!'

EV

.

... /log/log/./log)( M B M B M V bpsC ===

)1()/log()( . SNR HzBbpsC máx +=


40/40

*emplo Canal entre / BDQ y 1 BDQ

Relación sePal ruido E 1 d+% S9RE@)%1E3

Calcular ancho de anda

Respuesta' B E BDQ

Calcular la elocidad inaria teórica m!8ima y el n=mero de

nieles Respuesta' SNR 7 21

Respuesta' C E 5 Bps

Respuesta' M E 2 nieles

teoria informacion y codificacion.pdf

Documents