Diskretni izvor informacije

Definicija izvora

Izvor bez memorije

Markovljev izvor

IZVOR INFORMACIJE

Izlaz iz DMS je slučajna promenljiva a, koja uzima realizacije iz konačnog alfabeta A = {a1, a2, . . . , ar} , sa verovatnoćama

P [ai], i = 1,2, . . . , r.

Simboli iz A pojavljuju se na izlazu iz DMS nekim (slučajnim) redosledom, pri čemu vremenski intervali između pojavljivanja simbola mogu biti konstantni ili

promenljivi.

Definicija izvora

DMS – diskretni izvor bez memorije

Kako je emitovanje znakova u datom izvoru informacija određen proces

koji se zbiva tokom vremena na slučajan način, pogodno je definisati

diskretan izvor informacija kao određeni stohastički proces {Xt : t ϵ T} sa

diskretnim parametarskim skupom T={1,2, …} i skupom vrednosti A.

Oznaka

p(X1=a1, X2=a2, … Xn=an) ≥ 0

Ukazuje na verovatnoću da izvor emituje simbol a1 u momentu t1,...

Ako za svako n ϵ N važi

p(Xk+1=a1, Xk+2=a2, … Xk+n=an) = p(X1=a1, X2=a2, … Xn=an) = p(a1, a2, …, an)

kaže se da je izvor stacionaran.

Verovatnoća emitovanja određene poruke ista je u bilo kom vremenu.

Definicija izvora

Realni kontinualni izvori informacija imaju konačnu i ograničenu

srednju snagu

pri čemu amplitudski opseg ne mora biti ograničen.

Definicija izvora

uslovna verovatnoća da se u n-tom momentu emituje simbol an uz uslov da su prethodno emitovani simboli

Izvor bez memorije

)()()...()(

)()()...()(

),...,,(

),...,,()),...,,/((

121

121

121

21121 n

n

nn

n

nnn ap

apapap

apapapap

aaap

aaapaaaap

121 ,...,, naaa

Ako je:

jednaka je bezuslovnoj verovatnoći p(an). Takav izvor se zove izvor bez memorije - jer je emitovanje signala u sadašnjem momentu stohastički nezavisno od prethodno emitovanih

simbola.

Tako opisani diskretni izvor informacija zove se Markovljev izvor informacija.

Ako je n>2 dobijamo:

Markovljev izvor

)/().../()(),...,,( 112121 nnn aapaapapaaap

Verovatnoća da se emituje n-člani niz ϵ An može se dobiti u obliku

To znači da verovatnoća emitovanja nekog simbola an zavisi samo od prethodno emitovanog simbola an-1.

Kaže se da ovakav izvor ima memoriju prvog reda, dok se za izvor bez memorije kaže da ima memoriju nultog reda.

),...,,( 21 naaap ),...,,( 21 naaa

)/(),...,,(

),,...,,()),...,,/(( 1

121

121121

nn

n

nnnn aap

aaap

aaaapaaaap

. UVOD U TEORIJU INFORMACIJA . O p t i m a l n i k o d o v i

Optimalni prefiksni kod za sažimanje podataka

Teorema

Teorema

Kombinujmo dva najmanje verovatna izvorna simbola u jedan zajednički veštački simbol, i formirajmo optimalni prefiksni kod C'

za tako dobijeni ekvivalentni izvor. Dodavanjem 0 i 1 na kodnu reč koja predstavlja dotični kombinovani simbol dobija se kod C za orginalni izvor. C je optimalan kod.

. UVOD U TEORIJU INFORMACIJA . H a f m a n o v a l g o r i t a m

D. A. Huffman, [1952]

Algoritam

BEGIN Sortiraj u stek sve simbole iz A po rastućim verovatnoćama;

REPEAT Uzmi dva gornja simbola sa steka;

Spoj ta dva simbola u jedan; Stavi novi simbol u stek umesto ranija dva; Sortiraj stek po rastućim verovatnoćama;

UNTIL Ostao sarno jedan simbol; REPEAT

Uzmi prvi kompozitni simbol od vrha steka naniže, i raspakuj ga;

Kodnoj reči koja predstavlja taj kompozitni simbol dodaj 0 i 1 i tako formiraj kodnu reč za svaki od dva raspakovana simbola;

Usortiraj ta dva raspakovana simbola, zajedno sa njima pridruženim kodnim rečima u stek po

rastućim vrednostima verovatnoće; UNTIL Nema više kompozitnih simbola; END.

Prof. dr Vojin Šenk

Literatura

UVOD U TEORIJU INFORMACIJA