1 | 1 9

1 MODEL KOMUNIKACIONOG SISTEMA I PROCES KOMUNICIRANJA. POJAM INFORMACIJE I MERA ZA KOLIINU

INFORMACIJA

Istorijat razvoja telekomunikacija

Telekomunikacije predstavljaju naunu oblast koja se bavi prenosom informacija. Definicija koja sledi, prihvaena je od strane ITU: Telekomunikacije su svako emitovanje, prenos ili prijem poruka (govor, zvuk, tekst, slika ili podaci) u vidu signala, korienjem inih, radio optikih ili drugih elektromagnetnih sistema. Poruke koje treba preneti sa jednog mesta (njihovog izvora) do udaljene take (mesta prijema) mogu da budu u razliitim formama: pisani tekst, govor, muzika, nepokretna i pokretna slika, podaci,... Potreba za komuniciranjem meu ljudima stara je koliko i svet, pa su ljudi koristili razne naine kako bi ostvarili komunikaciju: glasnici, golubovi pismonoe, paljenje vatre i dimni signali, heliograf u Grkoj, sistemi megafonskog prenosa u Egiptu... Prvo ozbiljno reenje predstavlja organizovan sistem optike telegrafije, koga je pronaao C. Chappe (1763-1805) u Francuskoj. Na visokom stubu bila je privrena preka koja je mogla da se okree oko svog centra, a na njenim krajevima, dve pokretne ruke davale su mogunost da se razliitim poloajima preke i ruke obelei 196 razliitih znakova koji su predstavljali slova, brojke i znakove interpunkcije (slika 1.1). Prva vest ovim sistemom poslata je u avgustu 1794. od Lila do Pariza. Ukupno, u Francuskoj je postojalo oko 500 relejnih stanica, a duina veza celog sistema iznosila je oko 5 000 km.

Slika 1.1 Optiki telegraf

2 | 1 9

Dvadeset etvrti maj 1844. god. moe se smatrati danom poetka elektronskih komunikacija. Tog dana Morze je ostvario prvi telegrafski prenos izmeu Vaingtona i Baltimora. Ve 1851. godine 50 preduzea u SAD eksploatisalo je Morzeov patent. Iste godine poloen je prvi podmorski telegrafski kabl izmeu Francuske i Engleske, a 1866. god. poloen je prvi transatlantski kabl izmeu Nove Zemlje i Irske.

Slika 1.2 Morzeov telegraf Savreniji vid prenosa poruka predstavlja telefonija ijim se zaetnikom smatra Graham Bell (1876. god.). Zvuna energija govora se pretvara u elektrini signal koji se prenosi do drugog aparata u kome se vri konverzija elektrine energije u zvuni signal (slika 1.3). Prva reenica koju je Bell izgovorio glasila je: Mr. Watson, come here, I want you. Odgovor njegovog saradnika Watson-a bio je: If you want me, it will take me almost a week to get there. Elisha Gray podnosi patent tri sata nakon Bell-a. Bell nudi patent Western Union-u za $100,000. Izvetaj kompanije na ovu ponudu glasio je: ... The Telephone purports to transmit the speaking voice over telegraph wires. We found that the voice is very weak and indistinct, and grows even weaker when long wires are used. We do not see that this device will be ever capable of sending recognizable speech over a distance of several miles. Bell want to install one of their telephone devices in every city. The idea is idiotic on the face of it. Why would any person want to use this impractical device when we can send a messenger to the telegraph office and have a clear written message sent to any large city in the United States? Godine 1892. postavljena je prva automatska telefonska centrala.

Slika 1.3 Modeli prvih telefona

3 | 1 9

Neophodnost da se mesto predaje poruke i mesto njenog prijema poveu fizikom linijom veze predstavljala je konicu u stvaranju globalnog sistema veza. Krajem 19. veka dolazi do genijalnih otkria u oblasti elektromagnetike. Radovi I. Henryja (1797 1878.), J. C. Maxwella (1831 1879.) i H. Hertza (1857 1894.) predstavljaju naunu osnovu na kojoj su izgraene radio-komunikacije. Ruski fiziar A. S. Popov (1859 1906.) je 1896. izveo demonstraciju radio-veze aljui telegram sadrine Heinrich Hertz napisan Morzeovom azbukom, i G. Marconi koji je prvi prijavio patent za beinu telegrafiju 1897. godine, ostvarivi takvu vezu na rastojanju od 1000 metara. Tako su poeli prvi koraci u radio-komunikacijama. 1904. godine ostvarena je prva radio-telegrafska veza na trasi Volujica (Bar)-Italija. Sedmog januara 1927. godine ostvarena je prva radio-veza u javnom telefonskom saobraaju izmeu Njujorka i Londona. Od tada se radio-komunikacije kao sluba javljaju u dva vida: 1. profesionalnog karaktera: povezuju se dva korespondenta. 2. tzv. masovne komunikacije radio-difuzija: sa jednog mesta poruka se prenosi velikom broju korisnika. Radio-difuzija danas predstavlja jedno od najznaajnijih sredstava u informisanju javnosti. Daljim razvojem nauke i tehnike javlja se potreba za prenosom poruka ne samo u vidu pisane rei i govora ve i u obliku slika, pokretnih slika, a kasnije, razvojem raunara, i prenos podataka izmeu njih (slika 1.4). 1927. god. ostvaren je prvi prenos televizijskog signala izmeu Njujorka i Vaingtona.

Slika 1.4 Prvi model televizijskog prijemnika 1956. godine postavljen je prvi telefonski podmorski kabl izmeu Amerike i Engleske kojim se moglo preneti istovremeno 36 govornih signala. U avgustu 1960. bio je lansiran prvi telekomunikacioni, pasivni satelit Echo 1 (slika 1.5), a oktobra iste godine prvi aktivni satelit Courier IB (slika 1.6). 1965. god. ostvaren je prvi eksperimentalni televizijski prenos slike u boji preko satelita, a neto kasnije

4 | 1 9

iste godine u komercijalne svrhe mogao je da se ostvari prenos 240 telefonskih razgovora ili dva TV programa preko satelita. Lansiranjem telekomunikacionih satelita otvara se nova era u oblasti telekomunikacija.

Slika 1.5 Prvi pasivni satelit Echo 1 Slika 1.6 Satelit sa koga je ostvaren prvi eksperimentalni prenos TV slike u boji

Druga polovina 20. veka donosi intenzivan razvoj mobilnih radio-komunikacija i optikih komunikacija. Prvi pokuaji na tom polju bili su radiofoni (voki-toki), zatim dispeerski sistemi, radio-pejding sistemi, mobilni radio-telefonski sistemi koji obezbeuju sve to i fiksni telefonski sistemi. Osnovni trend dananjih telekomunikacija je ostvarivanje komunikacije bilo gde, bilo kad sa bilo kim, nezavisno od terminala koji posedujemo.

Proces komuniciranja

Generalno, fenomen komunikacija, moe se shvatiti kao kompleksni skup procesa i tehnologija, pomou kojih se neki smisleni sadraj ili poruka, prenosi ili ekstrahuje iz neke informacije. Problem komuniciranja moe se razloiti na tri osnovna pitanja: sa kolikom tanou mogu biti preneseni simboli od kojih je poruka sainjena; koliko precizno preneseni simboli nose sobom znaenje ili smisao poruke; sa kakvim uspehom prenesena poruka kroz svoje znaenje usmerava na eljenu aktivnost onoga kome je bila namenjena. Prvo od navedenih pitanja spada u domen telekomunikacija, gde se posmatra mehanizam prenosa. Zapravo, za sredinu u kojoj se prenos obavlja, smisao poruke nema nikakvu vrednost. Prouavanje znaenja ili smisla poruke je semantiki problem (grana filologije u kojoj se izuava znaenje rei). Ovde se izuava stepen podudaranja primljene poruke znaenju, smislu ili sadraju poruke koja je poslata, odnosno koliko preneti simboli nose precizno sa sobom smisao poruke.

5 | 1 9

Pitanje uspeha u voenju aktivnosti onoga kome je poruka namenjena, predstavlja onaj deo problema koji se odnosi na efikasnost celog procesa komuniciranja i obuhvata ne samo mehaniku stranu problema, ve potpuno ravnopravno estetski, psiholoki, emocionalni ili bilo kakav drugi njegov aspekt. Jasno se vidi da drugo i tree pitanje gotovo potpuno izlaze izvan inenjerskog domena i da ta pitanja obuhvataju u sutini filozofiju problema komuniciranja. Prvo pitanje je, naprotiv, preteno inenjerskog karaktera.

Model komunikacionog sistema

Svaki komunikacioni sistem moe se sasvim generalno predstaviti modelom prikazanim na slici 1.7. Jedan od uobiajenih modela za predstavljanje telekomunikacionih sistema je Shannon-ov model.

Slika 1.7 Shannon-ov model telekomunikacionog sistema Pod izvorom poruke (informacije) podrazumeva se bilo kakav objekt operatera ili korespondenta, koji generie poruke koje treba preneti korisniku. Poruku predstavlja niz diskretnih elemenata (slova, brojke, note,...), koji se nazivaju simbolima, ili neka funkcija odreenih argumenata (npr. govor, f-ja vremena f(t); crno beli TV signal, f-ja prostornih koordinata i vremena f(x, y, t)). Predajnik ima zadatak da izabranu poruku pretvori u elektrini signal pogodan za prenos kroz proces modulacije, korienjem pomonog signala, nosioca. Modulacija je promena parametara nosioca u skladu sa promenama signala poruke. Kanal je fiziki medijum koji spaja predajnik i prijemnik (zajedno sa njima) i kroz koji se obavlja prenos informacija (linija veze), npr: telefonski kanal (ine parice ili koaksijalni kabal; npr. mikrofon transformie zvuk u

elektrini signal; govorni signal je od 300 do 3400 Hz) optiki kanal (optiko vlakno je talasovod kroz koji se prenosi svetlosni signal; propusni

opseg B=2x1013Hz, gubici 0,2 dB/km, otporno na interferenciju, male dimenzije i teine,..),

mobilni radio kanal (mobilnost, multipath problem)

6 | 1 9

satelitski kanal (velika pokrivenost, sateliti u geo-stacionarnoj orbiti, 22300 milja; pouzdane veze, irokopojasni prenos: 6/4 GHz opseg, B=500 MHz)

Osnovna karakteristika kanala je izoblienje signala kao posledica konane irine korienog opsega uestanosti, nelinearnosti sklopova u sistemu i uticaja uma i interferencije (neeljeni signali od drugih izvora), itd. Linija veze predstavlja sredinu kroz koju se signal prenosi od predajnika do prijemnika. To moe biti fiziki vod ili deo prostora. Linija veze je mesto gde se raaju osnovne tekoe u prenosu poruka. Radi toga, zajedno sa primljenim signalom, javljaju se neki posebni, neeljeni efekti (pri prenosu zvuka pucketanje, na slikama se javljaju svetlucanja ili pada sneg, izvravaju se pogrene komande). Za sve ove efekte, u najoptijem smislu kaemo da su prouzrokovane umom. um izobliuje korisni signal i ometa obradu komunikacionih signala. Izvori uma mogu biti: eksterni um (atmosferski um, ovekom izazvan um) i interni um (termiki um: sluajno termiko kretanje elektrona u provodnicima; um usled efekta same: nastaje u diodama i tranzistorima zbog diskretne prirode struje u njima). S obzirom na to da su ove pojave stohastike prirode, pitanje prenosa signala dobija jednu novu dimenziju: poslati signal ne moe biti jednoznano odreen primljenim signalom. Prema tome, na osnovu primljenog signala, o tome koji je signal bio poslat, moe se suditi samo na osnovu verovatnoe da je taj signal, uz date okolnosti, bio poslat iz skupa moguih signala. Prijemnik ima osnovnu funkciju izdvajanja korisnog signala iz uma n(t) i interferencije i(t), i njegovo pojaanje. Realni prijemnik sa odreenom verovatnoom obavlja ekstrakciju signala. Osnovni kriterijum za procenu kvaliteta prijema je odnos (Signal/um) koji se definie kao kolinik (Srednja snaga signala/Srednja snaga uma), odnosno verovatnoa greke po bitu (BER Bit Error Rate) kada je re o digitalnim telekomunikacionim sistemima. Korisnik osoba, maina ili objekat kome je poruka namenjena. Posle Shannon-a neki drugi autori modifikovali su opti model komunikacionog sistema tako to su na strani predaje uneti koder izvora i kanalski koder, a na strani prijema odgovarajui dekoderi (slika 1.8).

Slika 1.8 Detaljniji model komunikacionog sistema

7 | 1 9

Unoenjem u model kodera izvora ima dvostruki cilj: prvo, da generie neku poruku iz skupa moguih poruka i drugo, da je zahvaljujui takvoj zamisli, mogue bilo koju od poruka predstaviti nizom simbola, koji su izabrani iz jednog konanog skupa razliitih simbola (alfabet). Uopte uzevi, prevod ili izraavanje poruke simbolima nekog alfabeta naziva se kodiranjem, a pravilo ili zakon po kome se to obavlja naziva se kodom. Dekoder izvora postoji da bi se pokazala reverzibilnost u opisanom postupku: mogue je poruku predstavljenu nizom simbola iz konanog alfabeta simbola, dakle kodiranu poruku, deifrovati, ili prevesti u formu koja je upotrebljiva za korisnika. Naravno, ako bi prenos bio potpuno idealan, onda bi dekoder izvora obavljao potpuno inverznu operaciju koderu. Kanalski koder i dekoder zajedno sa linijom veze, obrazuju kanal. Koder kanala pretvara koderom izvora kodiranu poruku u signal. Sada se poruka u vidu signala prenosi kroz kanal do kanalskog dekodera. Ovaj, primljeni signal pretvara u kodiranu poruku, na osnovu koje dekoder izvora saoptava poruku korisniku. Kanal je medijum koji ima svoje specifinosti. One se ogledaju u uvek prisutnom umu zbog ega nismo u stanju da na osnovu primljenog signala jednoznano odredimo koju je poruku od svih moguih poruka izvor poslao. Odavde sada proistie osnovni zadatak kodera kanala. On treba da pretvori kodiranu poruku u signal takvog oblika koji e obezbediti da bude minimalna greka u donoenju odluke na mestu prijema o tome koja je poruka od moguih bila poslata. Prema tome, koder kanala ima zadatak da prilagodi kodirani izlaz izvora osobinama kanala. Isto tako, dekoder kanala treba da prilagodi izlaz iz kanala kodiranom ulazu korisnika. Ono na ta se moe uticati u projektu sa ciljem da prenos bude optimalan, jesu koderski i dekoderski sklopovi iji je cilj, da se karakteristike izvora i korisnika prilagode karakteristikama kanala, kako bi greka u prenosu bila minimalna, a koliina prenetih informacija u vremenu bila maksimalna. Osnovni stavovi i koncepcije detaljnijeg modela komunikacionog sistema: 1. Izvor informacija uvek raspolae skupom moguih poruka. aljui korisniku neku

eljenu poruku, izvor uvek bira tu poruku iz skupa moguih poruka. 2. Za sistem prenosa, smisao, znaaj ili sadraj poruke potpuno je nevaan. Prema tome,

za one koji projektuju takav sistem na osnovu nekih optih zakonitosti procesa komuniciranja, vaan je mehanizam procesa. U mehanizmu procesa, semantiki problem, inae vrlo bitan u optem procesu komuniciranja, ostaje po strani i predstavlja predmet izuavanja nekih drugih disciplina, a ne telekomunikacija.

3. Svaku poruku, bila ona diskretne ili kontinualne prirode, zahvaljujui postojanju kriterijuma o vernosti reprodukcije i injenici da se iz skupa poruka uvek bira jedna koja se alje, mogue je oblikovati u vidu niza simbola koji pripadaju jednom konanom skupu. U modelu je ovaj koncepcijski stav iskazan postojanjem kodera i dekodera izvora. Taj stav, s druge strane, otvara vrata primeni matematikog alata teorije verovatnoe, koji je potpuno adekvatan realnim uslovima u kojima se obavlja ispitivani proces.

4. Kanal predstavlja medijum kroz koji se poruka prenosi u vidu signala. Prisutan um, u interakciji sa signalom, ne dozvoljava da postoji jednoznanost u oceni o tome koja je

8 | 1 9

poruka iz skupa moguih poruka bila poslata. O tome se moe suditi na osnovu verovatnoe.

5. Karakteristike izvora, kanala i korisnika unapred su poznate. To su njihove statike karakteristike. Koder i dekoder kanala postoje zato da se na najbolji nain usaglase karakteristike izvora sa osobinama kanala, a ove pak karakteristikama korisnika.

Na slici 1.9 prikazana je blok ema koja odgovara analognom telekomunikacionom sistemu, dok je na slici 1.10 prikazana blok ema digitalnog telekomunikacionog sistema. Osnovna razlika izmeu njih lei u postojanju digitalnog signala u predajniku i prijemniku sistema. U predajniku se generie digitalni signal preko A/D konvertora i sklopa za detekciju i korekciju greaka, dok se u prijemniku obavlja suprotan proces, odnosno D/A konverzija i pretvaranje u analogni signal.

Slika 1.9 Blok ema analognog telekomunikacionog sistema

Slika 1.10 Blok ema digitalnog telekomunikacionog sistema

Pojam informacije i mera za koliinu informacija

Namena telekomunikacionih sistema je prenos poruka. U svakom telekomunikacionom sistemu postoji izvor koji emituje poruke koje je potrebno preneti do odredita. Ako izvoru

Modulator

Demodulator

Prenosni kanal

Ulazni pretvara

Predajnik

Prijemnik

Izlazni pretvara

Nosilac (Carrier)

EM talas

EM talas Signal u osnovnom opsegu (elektrini signal)

Modulator

Demodulator

Prenosni kanal

Ulazni pretvara

Receiver

Izlazni pretvara

Carrier

EM talas (modulisani signal)

EM talas (modulisani signal)

Analogni signal

analogni signal

A/D konvertor

Digitalni signal

Kodovi za korekciju greaka

Detekcija / korekcija greaka

D/A konvertor

Digitalni signal

Signal u osnovnom opsegu (elektrini signal)

9 | 1 9

stoji na raspolaganju konaan (ili prebrojiv) skup poruka, kae se da je to diskretni izvor, a ako je skup poruka neprebrojiv, izvor se naziva kontinualni izvor. Fenomen intuitivnog poimanja informacije odnosi se na poznavanje neega. Izvori informacija generiu izlaze koji su od interesa korisnicima tih informacija i koji ne poznaju njihov sadraj. To znai da je osnovni zadatak telekomunikacionog sistema da obezbedi korektan prenos ove informacije do korisnika. Poto je izlaz iz izvora informacija sluajna veliina i kada se tome doda uticaj sluajnih veliina (um i smetnje) u toku prenosa, jasno je da ceo problem prenosa odreene informacije od izvora do korisnika ima probabilistiki karakter. Neka je korisnik zainteresovan za poruku da se neki dogaaj (si) desio i neka mu je poznata odgovarajua verovatnoa P(si). Koliina informacije koju nosi neka poruka jednaka je (ili bar srazmerna) neizvesnosti koju ta poruka razreava na prijemu kada stigne. Imajui to u vidu, lako se zakljuuje da je koliina informacije koju nosi neka poruka obrnuto srazmerna njenoj sopstvenoj (apriori) verovatnoi. Ako je potpuno sigurno da e neka poruka biti emitovana (P(si)=1), tada ona i ne nosi nikakvu koliinu informacija. Korisnik je unapred znao da e ta poruka biti poslata i nikakva neizvesnost o tome nije postojala. Prema tome, od definicije koliine informacija se oekuje da njena brojna vrednost bude obrnuto srazmerna verovatnoi poruke i da bude ravna nuli ako je ova poruka siguran dogaaj. Takoe je jo razuman zahtev da koliina informacije bude neprekidna funkcija verovatnoe poruke, jer mala promena verovatnoe ne moe drastino da promeni koliinu informacija. Ovome se jo moe dodati prirodan zahtev da koliina informacija bude nenegativna veliina. Postoji vie funkcija koje zadovoljavaju ove zahteve. Meutim, od svih tih funkcija izabrana je logaritamska (sa osnovom 2), tj. mera za koliinu informacija koju nosi neka poruka, definisana je kao logaritam reciprone vrednosti verovatnoe te poruke:

( ) ( ) ( ) ( )( )iiii sPsPsPsI ld1ld1log2 =

=

=

(1.1)

Izbor baze logaritma moe biti proizvoljan. Tako je Hartley koristio log10, dok je Shannon uveo log2, odnosno ld. Elementarna koliina informacije naziva se jedan bit (binary unit), i ona se stie izborom jednog od dva elementarna, jednako verovatna dogaaja. Drugim reima, emitovanje simbola ija je apriori verovatnoa jednaka P(si)=1/2, stie se koliina informacije od 1 bita.

( ) [ ] [ ]shannonbitsI i ,12ld2/11ld ==

=

(1.2)

Na ovom mestu treba istai da je zvanina jedinica za koliinu informacija Shannon (enon), u poast jednom od najpoznatijih velikana u oblasti telekomunikacija. Meutim, uobiajeno je da se za jedinicu koliine informacija i dalje koristi naziv bit. Dakle, treba

10 | 1 9

razlikovati bit i enon. Bit je nosilac informacija signal sa dva mogua stanja i u zavisnosti od verovatnoa tih stanja moe da nosi razliite koliine informacija. Kada su verovatnoe oba stanja podjednake (a stanja statistiki nezavisna) tada 1 bit nosi 1 enon. Usvojena definicija je jedina koja omoguava jo jednu neophodnu osobinu koliine informacija aditivnost koliina informacija nezavisnih poruka. Neka su date poruke si i sj sa odgovarajuim verovatnoama P(si) i P(sj). Zdruena poruka koja se sastoji od sukcesivnog emitovanja ove dve nezavisne poruke treba da ima koliinu informacija ravnu zbiru njihovih koliina informacija. I zaista, uz logaritamsku definiciju, dobija se:

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )1 1 1 1ld ld ld ld,

i j i jii j i j j

I s s I s I sP sP s s P s P s P s

= = = + = +

,

(1.3) jer je zdruena verovatnoa dva statistiki nezavisna dogaaja ravna proizvodu njihovih verovatnoa. Treba naglasiti da se ceo pristup moe tumaiti i tako to se smatra da je I(si) mera neizvesnosti neopredeljenosti povodom dogaaja (poruke) si. Kada se ova poruka saopti, tj. kada se dogaaj si dogodi, neizvesnost se razreava i upravo se dobija ekvivalentna koliina informacija. Neki autori prethodno definisanu koliinu informacija nazivaju jo i samoinformacija (sopstvena informacija). Ako posmatramo diskretni izvor bez memorije koji je potpuno definisan listom simbola (poruka) { }qsssS ,...,, 21 i skupom odgovarajuih verovatnoa P(si) (i=1,2,...,q), tada se pretpostavlja da simboli, tj. njihovo emitovanje, predstavljaju potpun skup meusobno iskljuivih dogaaja, odn. da vredi

( )=

=

q

iisP

11

(1.4) Sada se lako mogu odrediti i koliine informacija koje nose pojedini simboli:

( ) ( ) [ ] ( )qiShsPsI ii ,...,2,11ld =

=

(1.5) Srednja koliina informacija koju izvor emituje (po jednom simbolu) naziva se entropija, i definisana je kao:

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )( )

=

===

== =simbSh

sPsPsP

sPsIsPsISHq

iii

q

i

q

i iiiii

11 1ld1ld

(1.6)

Takoe, neka izvor emituje simbole brzinom V [simb/s]. Sada se moe pronai i prosena brzina kojom izvor emituje informacije srednja koliina informacija emitovana u sekundi:

11 | 1 9

( ) ( ) simb Sh ShS V H Ss simb s

= = (1.7)

Ova veliina se naziva informacioni protok (fluks) izvora. Entropija se moe posmatrati i kao prosena mera neizvesnosti o tome ta e izvor da emituje. Inae, pojam entropije uveden je prvo u oblast termodinamike (Bolcman, 1896. godine), gde se fenomen entropije odnosi na meru nereda u sistemu.

Entropija treba da bude mera neizvesnosti posmatraa o nekom izvoru informacija. Imajui to u vidu, mogu se postaviti sledei zahtevi:

1. Kontinualnost entropija je neprekidna funkcija svojih argumenata verovatnoa pojedinih simbola.

2. Simetrinost entropija ne sme da se menja (invarijantna je) ako se promeni redosled simbola, tj. ako se izvri zatvorena permutacija indeksa, odnosno ako se simboli preimenuju. Vano je samo da se njihove verovatnoe ne menjaju.

3. Ekstremna vrednost kada su svi simboli podjednako verovatni, entropija treba da ima maksimalnu vrednost.

4. Aditivnost entropija unije dva nezavisna dogaaja mora biti jednaka zbiru njihovih entropija.

Vrednost entropije je ograniena sa donje i sa gornje strane i ne moe biti vea od logaritma broja simbola. Imajui sve ovo u vidu, moe se pisati:

( ) qSH ld0 (1.8)

Maksimalna vrednost entropije u posmatranom sluaju iznosi ld q i dobija se kada su svi simboli podjednako verovatni. Meutim, u celom ovom modelu za inenjera je najznaajnija fizika interpretacija rezultata. Ako je entropija mera neopredeljenosti posmatraa o tome ta izvor emituje, oigledno je da e ta neopredeljenost biti najvea kada su svi simboli podjednako verovatni. Ako su verovatnoe simbola razliite, posmatra e oekivati one simbole koji su verovatniji, oni e biti i ee emitovani, pa e posmatra dobijati manju koliinu informacija po simbolu.

Ve je napomenuto da jedan izvor, da bi uopte mogao da emituje informacije, mora na raspolaganju da ima bar dva simbola. takav izvor se naziva binarni izvor informacija. Simboli se mogu obeleiti sa s1 i s2, ali je uobiajeno da se obeleavaju sa 0 i 1 tj. nazivaju se biti. Ako su apriori verovatnoe emitovanja simbola ovog izvora P i (1-P), njegova entropija iznosi:

( )

+

=

PP

PPHbin 1

1ld11ld (1.9)

12 | 1 9

i prikazana je na slici 11. Poto je funkcija samo jednog argumenta (P), ona se esto oznaava sa H(P) i naziva entropijska funkcija. Zapaa sa da ova entropija ima minimalnu vrednost Hbin,min=0 za P=0 ili P=1, odnosno maksimalnu vrednost Hbin,max=1 za P=1/2.

Slika 1.11 Entropija binarnog izvora, gde su P i (1-P) apriori verovatnoe emitovanja binarnih simbola

Do objavljivanja Shannon-ovih radova, nije postojala upotrebljiva definicija koliine informacije. Osnovni kriterijumi za projektovanje tadanjih telekomunikacionih sistema (analognih) bili su odnos Signal/um i potrebna irina propusnog opsega sistema, a fenomeni kao to su entropija ili kapacitet kanala nisu bili razmatrani. Neophodne osnove teorije informacija postavio je Shannon u svom uvenom radu Mathematical Theory of Communications. Prvi vaan rad koji je Shannon uzeo u obzir, bio je Nyquist-ov rad iz 1924. godine u kome je Nyquist pokazao da se vremenski kontinualan signal ogranienog spektra moe opisati diskretnim odbircima, ako je uestanost odabiranja najmanje dva puta vea od irine spektra signala. Drugi, moda znaajniji izvor bio je Hartley-ev rad iz 1928. godine, gde je on pokazao da se informacija moe definisati preko logaritma verovatnoe odgovarajue poruke. Hartley je smatrao da je izbor osnove logaritma nevaan za ovu definiciju, dok je Shannon smatrao da e logaritam sa osnovom 2 (ld) imati najvei znaaj za teoriju informacija.

PRIMER 1. Diskretan izvor informacija generie listu simbola S={si} gde je i=1,2,3,4. Verovatnoe pojavljivanja pojedinih simbola izvorne liste date su u tablici:

Korelacione veze izmeu pojedinih simbola izvorne liste ne postoje. Potrebno je odrediti entropiju ovog izvora.

Reenje:

13 | 1 9

Entropija date liste simbola, tj. prosena koliina informacija koju nosi jedan izvorni simbol date liste je statistika srednja vrednost koja prema:

( ) ( )1

ii

I s ldP s

=

koja se uzima sa verovatnoom P(si). Konano: ( ) ( ) ( ) ( ) ( )

4

1 1

1ld

1 1 1 10 45 0 3 0 2 0 05 1 720 45 0 3 0 2 0 05

, , , , ,, , , , .

q

i i ii i i

H S P s I s P sP s

Shld ld ld ldizv simbolu

= =

= = =

= + + + =

PRIMER 2. Diskretan izvor informacija generie listu simbola S={si} gde je i=1,2,3. Verovatnoe pojavljivanja pojedinih simbola izvorne liste date su u tablici:

Odrediti entropiju ovog izvora i entropiju drugog proirenja ovog izvora.

Reenje: Entropija date liste simbola, tj. prosena koliina informacija koju nosi jedan izvorni simbol date liste je statistika srednja vrednost prema:

( ) ( )1

ii

I s ldP s

=

( ) ( ) ( ) ( ) ( )3

1 1

1ld

1 1 10 5 0 25 0 25 1 50 5 0 25 0 25

, , , ,, , , .

q

i i ii i i

H S P s I s P sP s

Shld ld ldizv simbolu

= =

= = =

= + + =

Drugo proirenje ovog izvora generie ukupno qn=32=9 simbola. Broj n, n=2 oznaava red proirenja izvora. Poto izvor nema memoriju, to su verovatnoe pojavljivanja ovih elemenata jednake proizvodu verovatnoa pojavljivanja odgovarajuih elemenata izvorne liste originalnog izvora. Dakle, imamo da je, ako obeleimo elemente drugog proirenja simbolom i:

( ) ( ) ( ) ( )1 1 1 1 1 0,5 0,5 0,25P P s s P s P s = = = =, ( ) ( ) ( ) ( )2 1 2 1 2 0,5 0,25 0,125P P s s P s P s = = = =,

14 | 1 9

( ) ( ) ( ) ( )3 1 3 1 3 0,5 0,25 0,125P P s s P s P s = = = =, ( ) ( ) ( ) ( )4 2 1 2 1 0,25 0,5 0,125P P s s P s P s = = = =, ( ) ( ) ( ) ( )5 2 2 2 2 0,25 0,25 0,0625P P s s P s P s = = = =, ( ) ( ) ( ) ( )6 2 3 2 3 0,25 0,25 0,0625P P s s P s P s = = = =, ( ) ( ) ( ) ( )7 3 1 3 1 0,25 0,50 0,125P P s s P s P s = = = =, ( ) ( ) ( ) ( )8 3 2 2 3 0,25 0,25 0,0625P P s s P s P s = = = =, ( ) ( ) ( ) ( )9 3 3 3 3 0,25 0,25 0,0625P P s s P s P s = = = =,

Sada je entropija ovog izvora, tj. entropija drugog proirenja originalnog izvora:

( ) ( ) ( )9

2

1

1

1 1 10 25 4 0 125 4 0 0625 30 25 0 125 0 0625

, , ,, , , .

ii i

H S P ldP

Shld ld ldizv simbolu

=

= =

= + + =

PRIMER 3. Pronai koliinu informacije koju nosi poruka sastavljena od 12 cifara u kojoj svaka cifra moe uzeti jednu od 4 moguih vrednosti. Verovatnoa slanja svakog od 4 mogua nivoa je ista i nezavisi od vrednosti nivoa prethodne cifre.

Reenje:

Broj stanja: 1212

4 4 4 4q = =

12

121 1

4 4jP = =

- verovatnoa pojavljivanja svake kombinacije

( ) ( )12

24122 2

1 1 4 2 2414

jj

I ld ld ld ShP

= = = = =

log [ ]

Entropija (srednja informacija)

1212

1 1

1 14 24 244

q q

j j jj j j

ShH P I P ldP simb

= =

= = = =

15 | 1 9

PRIMER 4: Za binarni izvor informacija: a) pokazati da je entropija H maksimalna kada je verovatnoa slanja binarne 1 jednaka verovatnoi slanja binarne 0. b) pronai vredost maksimalne entropije.

Reenje:

p1 verovatnoa slanja 1 p0 verovatnoa slanja 0

a) ( )2

1 2 1 11 1 2 1 1

1 1 1 111i ii

H PI Pld P ld Pld P ldP P P P

=

= = + = +

( ) ( ) ( )1 1 1 11 ln 1 ln 1ln 2H P P P P =

( )( ) ( ) ( ) ( )11 11 1

10 ln 1 1 ln 1 1 01

PdH P PdP P

= + + =

( ) ( )1 1ln 1 ln 1 1 0P P + + = ( ) ( ) ( )1 1ln ln 1 ln 1 0P P + + =

11 1 1 2

1

1 1ln 0 12

P P P P PP

= = = =

b) ( ) ( )max 1 1 1 12 2 12 2 2 2H ld ld= + = + =

PRIMER 5: Numerika tastatura sadri cifre 0,1,...,9. Pretpostaviti da je verovatnoa slanja bilo koje cifre ista kao i za sve ostale. Izraunati koliko esto treba pritisnuti taster da bi se informacija slala brzinom od 2 Sh/s (b/s)?

Reenje: Broj moguih slanja je q=10, 110jP = ;

1 110 3,32210 1/10 .

ShH ldsimb

= =

;

( )( )

3,322 / .1,661

2 / .Sh simbH sTSh s simb

= = =

16 | 1 9

DODATNI MATERIJAL

Osobine entropije

Vrlo vano pitanje se odnosi na ponaanje entropije kada se verovatnoe pojedinih simbola menjaju. Ako jedan simbol ima verovatnou ravnu jedinici, tada su verovatnoe svih ostalih simbola ravne nulu, pa je i entropija jednaka nuli, jer

( ) 01ldlim,01ld10

=

=

xx

x

Poto izraz za entropiju predstavlja zbir nenegativnih veliina, to i sama entropija ne moe biti nenegativna, te za donju vrednost ima vrednost ravnu nuli. Sledee pitanje je da li je entropija ograniena s gornje strane. U izlaganju koje sledi bie korien razvoj funkcije ln (x) u Taylor-ov red u okolini take x=1,

( ) ( ) ( ) ...,31

211ln

32

+

=

xxxx

pri emu vai

1ln xx , odnosno, xx

11ln

Na osnovu prethodne relacije moe se takoe pokazati, ako su ispunjeni sledei uslovi: ( )

= =

===q

i

q

iiiii yxqiyx

1 1,1,1,,...,2,1,0,0

tj. ako se xi i yi mogu shvatiti kao elementi potpunog skupa verovatnoa, da vredi:

==

q

i ii

q

i ii y

xx

x11

1ld1ld,

gde znak jednakosti opet vredi samo ako je xi=yi za svako i. Radi jednostavnijeg pisanja bie uvedena i sledea oznaka

( ) ( )qisPP ii ,...,2,1= . Da bi se odredila gornja granica entropije treba poi od izraza

( ) =

=

q

i ii P

PqSHq1

1ldld1ld

ija e desna strana biti dalje transformisana. Imajui u vidu da vredi:

=

=

q

iiP

1,1

i zamenjujui ovu vrednost umesto jedinice u prethodnom izrazu, dobija se:

17 | 1 9

( )i

q

ii

q

ii P

PqPSHq 1ldldld11

==

=

( ) ( ) = =

==

q

i

q

iiiii qPPqPP

1 1ln

2ln1ld

,

pa se sada moe primeniti navedena nejednakost, na osnovu koje se dobija: ( )

( ) 0112ln

1112ln

1

112ln

1

11

1

==

=

=

==

=

q

i

q

ii

q

i ii

qP

qPPSHqld

odnosno, na kraju: ( ) qSH ld .

Uzajamna informacija

Kada se posmatraju dve ili vie sluajnih promenljivih, slino kao to se definiu zdruene i uslovne verovatnoe, mogu se definisati zdruene i uslovne entropije. Ove veliine naroito su vane pri analizi izvora sa memorijom. Zdruena entropija sluajnih promenljivih X i Y data je izrazom:

( ) ( ) ( )[ ]=yx

yxPyxPYXH,

,ld,,.

U optem sluaju, za n sluajnih promenljivih, X=(X1, X2,..., Xn), bie: ( ) ( ) ( )[ ]=

nxxx

nn xxxPxxxPH,...,,

212121

,,...,,ld,...,,X

odnosno zdruena entropija predstavlja entropiju sluajnog vektora X. Uslovna entropija sluajne promenljive X, kada je poznata sluajna promenljiva Y, data je izrazom:

( ) ( ) ( )[ ]=yx

yxPyxPYXH,

ld,,

to intuitivno odgovara neizvesnosti u pogledu X, kada je poznata vrednost Y=y. U optem sluaju, vai:

( ) ( ) ( )[ ] =yx

nnnnn xxxPxxPXXXH,

11111 ,...,ld,...,,..., .

Zdruena entropija dveju sluajnih promenljivih moe se izraziti i kao:

18 | 1 9

( ) ( ) ( )[ ] ( ) ( ) ( )[ ] ==yx yx

yxPyPyxPyxPyxPYXH, ,

ld,,ld,,

( ) ( )[ ] ( ) ( )[ ] =yx yx

yxPyxPyPyxP, ,

ld,ld,

( ) ( )[ ] ( ) ( )[ ] =y yx

yxPyxPyPyP,

ld,ld

( ) ( )YXHYH +=

gde je ( ) ( ) =x

yPyxP ,. Iz prethodne relacije vidi se da je informacioni sadraj para (X, Y)

jednak zbiru informacionog sadraja Y i sadraja X nakon to je poznato Y. Ukoliko su sluajne promenljive nezavisne, dobijamo:

( ) ( )=

=

n

iiXHH

1X

.

Ukoliko sluajna promeljiva Xn oznaava izlaz iz diskretnog izvora u trenutku n, tada ( )12 XXH oznaava novu informaciju koju izlaz X2 prua onome ko ve poznaje izlaz X1. na slian nain, zakljuuje se da ( )121 ,...,, nn XXXXH oznaava novu informaciju koju Xn donosi posmatrau koji poznaje sekvencu (X1,X2,..., Xn-1). Granica ove uslovne entropije naziva se entropijskim protokom izvora:

( )121 ,...,,lim

= nnn

XXXXHH.

Pretpostavlja se da je posmatrani sluajni proces stacionaran i diskretan u vremenu. Pretpostavimo sada da je na ulazu u posmatrani kanal prisutan simbol X, a na izlazu iz kanala simbol Y. Prosena neizvesnost preostala u simbolu Y je:

( ) ( ) ( )

=

ji ijji

xyPyxPXYH

,

1ld,

Analogno gornjoj definiciji, prosena neizvesnost o poslatom simbolu koja preostaje nakon prijema, oznaava se kao ( )YXH . Uzajamna informacija data je izrazom:

( ) ( ) ( )YXHXHYXI =, , pri emu se ona moe shvatiti kao umanjenje neizvesnosti nakon prijema. Drugim reima, to je prenesena koliina informacije. Odnos entropije, uslovne entropije i uzajamne informacije, saglasno prethodnom izrazu, ilustrovan je na slici 1.12.

19 | 1 9

Slika 1.12 Entropija, uslovna entropija i uzajamna informacija

1) I(X,Y)=H(X) + H(Y) H(X,Y) 2) I(X,Y)=H(X) H(X/Y) 3) I(X,Y)=H(Y) H(Y/X)

Iz prethodnog se moe videti da je I(X,Y)H(X) i I(X,Y)H(Y). Ukoliko se na izlazu iz kanala generie simbol nezavisno od simbola na ulazu u kanal, tada je ( ) ( )XHYXH = . To znai da se kroz kanal ne prenosi informacija. Sa druge strane, ukoliko je izlaz iz kanala identiki jednak njegovom ulazu, nema preostale neizvesnosti, pa je prenesena koliina informacije H(X). Uzajamna informacija ima sledee osobine:

( ) ( ) ( ) ( ) ( )( ) 0,

,,,,

=+=

YXIXYIYXHYHXHYXI

Osobine prethodno definisanih veliina bie jo jednom ukratko prokomentarisane: H(X) apriorna entropija ulazne liste, mera apriorne neizvesnosti o tome koji e simbol biti emitovan; H(X/Y) aposteriorna entropija ulazne liste, mera aposteriorne neizvesnosti o tome ta je emitovano, ako se zna ta je primljeno; H(X,Y) zdruena entropija (parova simbola ulazne i izlazne liste), mera neizvesnosti o telekomunikacionom sistemu u celini; H(Y) apriorna entropija izlazne liste, entropija prijemnika, mera apriorne neizvesnosti o tome koji e simbol biti primljen; H(Y/X) aposteriorna uslovna entropija izlazne liste, mera aposteriorne neizvesnosti o tome koji e simbol biti primljen, ako se zna koji je simbol emitovan.

20 | 1 9

Orijentaciona pitanja za Temu 1:

Model komunikacionog sistema. Shannon-ov model. Elementi modela i uloga elemenata modela.

Detaljniji model komunikacionog sistema. Objasniti ulogu dodatnih elemenata sistema. Pojam informacije. Mera za koliinu informacija. Elementarna koliina informacija. Entropija kao srednja koliina informacije koju izvor emituju. Informacioni protok

(fluks). Binarni izvor informacija. Entropijska funkcija. Jedinice koje se koriste u prenosu signala. Normalni generator. (Vebe: 1. as)