������������ ����

1. UVOD U TEORIJU INFORMACIJA

1.1. Uvod Novo znanstveno područje �Teorija informacija�, nastalo je zbog

praktičnih problema, koji su se javljali kod projektiranja, izvođenja, rada i odr�vanja komunikacijskih uređaja u telegrafsko-telefonskim i radiokomunikacijskim sustavima i TV vezama, te svim sličnim sustavima u kojima prenosimo, prerađujemo i pohranjujemo informacije.

U sklopu modernizacije �eljezničkog prometa, H� uvodi informacijske sustave u poslovanje �eljeznice. To su: UIS (upravljačko-informacijski sustav), PIS (poslovni informacijski sustav) i SDU (sustav daljinskog upravljanja) te SPEV (stabilna postrojenja električne vuče). Zbog toga je za obrazovanje kadrova na �eljeznici uveden predmet �Informacijski sustavi u �eljezničkom prometu� u kojem se teoretski i praktički razmatra funkcioniranje i stanja objekata, usluga, procesi kretanja putnika, vlakova i robe, pomoću informacijskih signala na ulazu i izlazu iz sustava.

U teoriji informacija obrađuju se zakonitosti predaje, prijema, prerade uskladi�tenja informacija u razlilitim sustsvima i matematičkim modelima praktičnoj primjeni.

Stanje nekog informatičkog sustava opisujemo pomoću brojeva. Brojevi su pridru�eni parametrima i karakteristični za trenutno stanje sustava, međusobno zavisni, te podlije�u nekim zakonitostima. Veze izmedu parametara i zakonitosti kod određenih stanja i promjena, ciljevi su znanstvenog i teoretskog pristupa i u istra�ivanjima. Takva istra�ivanja zahtijevaju matematički instrumentarij. Na tcmelju poznavanja trenutnih stanja, mogu se predvidjeti i buduće, za kraće ili du�e vremensko razdoblje.

Sustav je u toku svog rada određen u svakom trenutku, zauzima određena stanja, tj. parametri sustava odnosno informacijski signali, imaju određenu vrijednost. Ako se stanja toliko dobro poznaju, da se mogu predvidjeti, onda je sustav odredljiv-determinističan, tj. postoji uzročna zavisnost izmedu sada�njeg i budućeg stanja. Budući da sc zakonitost pona�anja mo�e odrediti, mo�emo s određenom vjerojatno�ću zaključiti, �to se o pona�anju sustava mo�e u budućnosti očekivati. Egzaktnije, mo�emo predvidjeti proračunom određenu vjerojatnost raspodjele svih mogućih stanja u budućnosti. Da bi to stvarno mogli izračunati, problem treba promatrati kvantitativno tj. na temelju podataka o stanju signala, kontroli i izvr�enju naredbi i mjerenjima u samom sustavu.

Kod brojčanog razmatranja mogu postojati dvije krajnosti stanja. Prvo

������������ ����

moguće stanje je velika neizvjesnost ili stanje u kojem vlada �veliki kaos ili nered�, te nema zakonitosti veza sada�njosti i budućnosti. Drugo je stanje �velikog ili apsolutnog reda� ili �potpuna organiziranost�. Kad se problem razmatra deterministički moglo bi se reći: svakom uzroku odgovara potpuno određena posljedica. Stvarnost je negdje između ta dva moguća stanja, a na nama je da budućnost predvidimo sa �to većom vjerojatno�ću.

Mjerenjem parametara dobije se brojčni pokazatelj neizvjesnosti ili mjera nereda i obično se naziva entropija sustava. Točno definiranje i određivanje entropije (stanja) sustava brojčanim određivanjem pojedinih parametara, jedan je od problema koji rje�ava teorija informacija.

1.2. Komunikacijski sustav Svaki se informacijski sustav razmatra na određeni način. Tako će se i

informacije u �eljezničkom prometu razmatrati samo s aspekta određenih problema na �eljeznici i pomoću parametara koji određuju ovu vrstu prometa. Na jedaoj strani se stvaraju informacije u obliku signala: naredbi i događaja (polo�aja skretnice, prolaza vlaka i sl.), koji čine izvor podataka. Ovi se podaci oda�ilju preko nekog sredstva. To je prijenos informacija preko kanala veze do primaoca poruke ili prijemnika (npr. postaje ili TK centra). Dakle postoji izvor (oda�iljač), kanal i odredi�te (prijemnik). Uz korisne informacije na odredi�te mogu stići i signali iz različitih, često nepo�eljnih izvora, koji ometaju pravilno primanje odaslanih poruka. Cijeli ovakav sustav za vezu izmedu oda�iljača (izvora) preko kanala do prijemnika (odredi�ta) predstavlja i zove se komunikacijski sustav i prikazan je slikom 1.1.

Sl.1.1. Komunikacijski sustav U cilju pobolj�anja rada komunikacijskih sustava, istra�uju se pomoću

matematičkih modela odnosi u različitim tipovima sustava, s praktičnim vrijednostima izgrađenih sustava. Na temelju konkretnih podataka, modeli se kvantitativno uspoređuju u količini i brzini oda�iljanja signala, pouzdanosti i kvaliteti prenesenih podataka i sličnim pokazateljima kvalitete, ekonomičnosti i sigurnosti. Ti su podaci va�ni (ne samo zbog konkurentskih razloga), posebno u tehničkim komunikacijskim sustavima

KANAL PRIJEMNIK ODA�ILJAČ

SMETNJE

������������ ����

poput: telegrafskih, telefonskih, radija, televizije, radara, satelitskih veza, policijskih i vojnih uređaja i sl.

1.2.1. Glavni dijelovi komunikacijskog sustava Već 1948. godine postavljeni su temelji Teoriji informacije, kad je

amerikanac C.E. Shannon objavio �A Mathematical Theory of Communications�. U tom je značajnom djelu obradio matematičke modele i definirao parametre za konstruktivnu analizu tehničkih komunikacijskih sustava. Dao je jednostavni shematski prikaz komercijalnog sustava, koji je polazi�te predod�aba o funkcioniranju komunikacijskih sustava i prikazan je sIikom 1.2.

Sl. 1.2. Shematski prikaz rada komunikacijskog sastava r

Iz oda�iljača emitiraju se poruke u obliku impulsa ili drugih oblika signala s određenom raspodjelom vjerojatnosti.

U koderu se oda�iljački signali transformiraju u oblik, koji je prikladan za prijenos raspolo�ivim kanalom za vezu s prijemnikom.

Kamunikacijski kanal-veza mo�e biti �ična ili be�ična. Na tom putu od izvora do odredi�ta, korisna je informacija izlo�ena utjecaju smetnji, koje mijenjaju odaslanu informaciju. Cilj teoretskc razrade oblika i izvora smetnji, je smanjenje izobličenja poruke, zbog djelovanja smetnji.

U dekoderu se odaslana poruka pretvara u prikladan oblik, koji odgovara poslanoj poruci, koja se onda primi vizualno, akustično ili drugim načinom u prijemniku, odnosno kod primaoca poruke.

1.3. Parametri komunikacijskog sustava 1.3.1. Razvoj teorije informacija Nakon Shannonovih opisa bitnih fenomena u tehničkim izvedbama

komunikacijskih sustava, va�nih za rje�avanje telekomunikacijskih problema, teorija informacija profirila se na sve grane gospodarstva. Praktički vi�e nema področja ljudske djelatnosti u kojem se ne primjenjuju

KANAL PRIJEMNIK ODA�ILJAČ

SMETNJE

KODER DEKODER

������������ ����

informacijski sustavi, posebno za obradu podataka. Teorija informacija u biti se razvijala u dva smjera. Jedan se bavio

matematičkom obradom teorijskih i praktičnih rezultata uz stvaranje matematičkih modela i primjenu vjerojatnosti i statistike. Drugi smjer razvoja je primjena koja koristi teorijske postavke i dostignuća za rje�avanje konkretnih problema. Za nas je interesantna primjena kod upravljanja i nadzora �eljezničkog prometa, kao i u računarskoj tehnici.

1.3.2. Definicija informacije Informaciju mo�emo smatrati podatkom o nečemu, uputom,

obavje�tenjem. Različiiti izvori daju informacije preko suvremenih sredstava predaje i prijenosa kao �to su radio, novine, televizija, telefon, telegraf i sl. Informaciju također mo�emo promatrati kao kvalitativni faktor. Kao takva određuje stanje nekog sustava, te utjecaj jednog sustava na drugi. Zahtijeva mogućnost mjerenja informacije, pa se ona mora kvantitativno izraziti.

Bilo kakovu informaciju, tekst ili sliku predočvamo u obliku diskretnih ili kontinuiranih signala (najče�će binarnih znakova) ili brojeva. Oni su nosioci informacije i mo�emo ih teoretski i računski obradivati.

1.3.3. Va�ni parumetri za prijenos informacija Prema slici 1.2. informacija putuje od izvora do odredi�ta preko kanala

veze i tehničkih uredaja koji čine telekomunikacijsku mreiu za prijenos poruka. Na tom putu informacije (signala) moraju biti ispunjeni slijedeći uvjeti: brzina, vjernost i sigurnost.

Mre�a za prijenos podataka je jako slo�en i organiziran sustav kojeg čine čvorovi povezani kanalima s različitim kapacitetima, namjenama i tehničkim izvedbama. Trebali bi imati slijedeća svojstva: mogudnost poslu�ivanja (pri tom je va�na kompatibilnost uređaja) i mogućnost izmjene re�ima rada.

S tim u vezi teorija informacija rje�ava slijedeće probleme: 1. Prijenos signala Tu spadaju: − ulazne i izlazne jedinice (sklopovi) − kodiranje i dekodiranje signala − kriteriji i uredaji za realizaciju prijenosa − vjernost prijenosa

������������ ����

− optimalno iskori�tavanje kapaciteta kanala − ekonomičnost 2. Problemi cjelokupne mre�e U sklopu mre�e trcba osigurati pouzdan rad uređaja i omogućiti

realizaciju njihova pravilnog funkcioniranja. Tako problemi mre�e rje�avaju:

− uređaji za preradu podataka − uređaji za uskladi�tenje podataka − uređaji za distribuciju podataka − kriteriji (uvjeti) za upravljanjc mre�om: sigurnost, kvaliteta, brzina 3. Optimiziranje sustava Sustavi su sve slo�eniji, pa da bi se postigli: brzina, ekonomičnost i

vjernost, treba ostvariti: − optimalne i sigurnosne kodove − brzinu prerade informacija (jer ih ima mnogo) − optimalnu eksploataciju račfunala kao i − programa i jezika za smanjenje gubitaka informacija. 1.3.4. Zadaci teorije informacija Zadaci teorije informacija jesu proučavanje zakonitosti i rje�avanje teoretskih i

praktičnih problema u vezi s prcdajom, prijenosom, prijemom, preradom i uskladi�tenjem informacija. Va�an je efektivni prijenos. To znači mogućnost �to vi�e vjerno prenesenih podataka kroz kanal, u zadanom vremenu.

1.3.5. Oblici informacija iz izvora Izvor informacija mo�e dati brojeve, tekst, govor, glazbu, slike, naredbe

itd. Takve informacijc mogu biti diskretne i kontinuirane. Skup diskretnih informacija jesu npr. abeceda ili Morzeovi znakovi.

Mo�emo ih predočiti kao konačni broj elementarnih simbola. To su sve diskretni nizovi ili brojčne vrijednosti bilo kao dekadski ili binarni simboli.

Kontinuirane informacije predstavljaju vremenski neprekidni skup različitih vrijednosti. Takvi su informacijski signali govora, glazbe ili kontinuirani signali u telemetriji. Kontunuirane informacije se mogu pretvoriti u diskretne (npr. A/D konverterom u PCM).

������������ ����

1.4. Funkcioniranje komunikacijskog sustava Detaljnija logička shema komunikacijskog sustava prikazana je na slici 1.3. Sl. 1.3. Detaljna blok shema komunikarijskog sustuva Slova abecede, brojke i ostali znakovi kod preno�enja poruka obično se

zamjenjuju nizom točaka i crta (Morzeov kod) ili nula i jedinica (Međunarodni kodovi), zbog lak�eg prijenosa signala. Dakle u prvom koderu oda�iljača tekst se kodira, odnosno transformira u niz točaka i crta ili nula i jedinica, pa �alje kao takav u kanal ili prije toga ponovno kodira u koderu signala u prikladan oblik za prijenos preko kanala veze s prijemnikom.

Koja je svrha kodiranja? Cilj i svrha kodiranja je �to br�i i sigurniji prijenos poruka od oda�iljača do prijemnika. To znči da se tekst pretvara u oblik �to je moguće kraćih (zbog brzine) niza znakova, a da pri tome vjerojatnost pogre�nog prijema bude �to manja, odnosno točnost prijema ispravnog sadr�aja teksta �to veća (zbog sigurnosti).

Koder informacija pretvara informariju u bilo kojem ili standardnom obliku u slijed simbola npr. točka i crta ili nula i jedinica.

Koder signala transformira kodiranu informaciju u signal prilagođen za predaju po kanalu veze.

Smetnje utječu u kanalu veze na signal, izobličuju ga, oduzimaju mu ili dodaju nepo�eljne signale.

Treba tako kodirati, da se na izlazu sustava odredi pravilna informacija uz minimalnu pogre�ku.

Dekoder signala prima signal i određuje kodiranu informaciju. Dekoder informacije pretvara kodiranu informaciju u oblik iz kojeg će se

na najbolji način zaključiti kakva je bila predana informacija. Za usporedbu pojedinih sustava potrebne su univerzalne mjere ili

standardi. Za kvantitativno određivanje va�no je: - sposobnost preno�enja informacija kroz sistem - volumen (količina) prenesenih podataka.

KANAL IZVOR

INFORMACIJA KODER

INFORMACIJA DEKODER

INFORMACIJA

ODREDI�TE DEKODER SIGNALA

KODER SIGNALA

SMETNJE

������������ ����

Gornji su podaci za kvantitativno ocjenjivanje dani u sadr�aju informacije jednog simbola u odnosu na drugi.

Pojam "sadr�aj informacije" mo�e se dati u dva teorema. 1. Prvi teorem ispunjava koder informacije, a znači: "sadr�aj informacije

jednak je prosječnom broju binarnih znamenaka poruke". 2. "Uz određene uvjete signali se mogu kodirati i dekodirati tako, da

vjerojatnost pogre�nog prijama informacije bude po volji malena". Da bi se optimizirao rad komunikacijskog sustava mora biti ispunjen niz

faktora. Navedeno će biti pet najva�nijih. Struktura mre�e. Mogući su različiti zahtijevi kao npr. a) kanal veze

mora biti stalno spojen izmedu dvije fiksne točke i b) drugi kanali veze za prijenos podataka uk1jučuju se automatskom komutacijom.

Karakter poruke. Poruka mo�e biti zvučna, slika, podaci �tampača, slova, brojke. Va�ni su zahtjevi korisnika na izobličenja poruke.

Karakteristike signala za prijenos. Obzirom na način modulacije (AM, FM, PCM) oblik signala je različit kao i mogućnosti izobličenja i utjecaj smetnji. Također je za postizanje kvalitete, va�no prilagođenje uređaja.

Tehničke karakteristike komponenata izvedenog sustava. Obično su zahijevi kontradiktorni, jer su u pitanju cijena i kvaliteta. U karakteristike spadaju snaga, �um, kapacitet, frekvencijski pojas, stabilnost.

Prilagodbe sustava, kompatibilnost. Kod izvedbe novih sustava va�no je da se uklope u postojeće stare, ali ne samo na razini dr�ave, nego kontinenta, pa i cijele Zemlje.

1.5. Komunikacijski kanal Zadaća kanala veze je prijenos podataka između dvaju korisnika iii

oda�iljača i prijemnika, koji su fizički i prostorno odvojeni. U informacijsko-komunikacijskim sustavima se najče�će prenose digitalni podaci bilo u samom računalu ili između odvojenih jedinica. Podaci se prenose kao niz izmjeničnih ili istosmjernih impulsa napona ili struje.

Pod kanalom veze podrazumijeva sc dio komunikacijskog sustava (vidi sliku 1.3.) koji uključuje: koder informacija, koder signala, kanal sa smetnjama i dekodere signala i informacija.

Kodirani signali putuju komunikacijskim kanalom veze od oda�iljača ka prijemniku. U svakom realnom sredstvu kanala postoje i signali izvora smetnji, koji se pridru�uju korisnim signalima. Zbog toga izlazni signal iz

������������ ����

sustava nije identičan ulaznom signalu. Dakle prolaskom informacije kroz kanal veze, dolazi i do smanjenja (uslijed prigu�enja na linijama) kao i izobličenja (�umovi i smetnje) signala ili do degradacije informacije.

Svaki komunikacijski sustav mora u �to kraćem vremenu prenijeti �to vi�e točnih informacija. Pri tom je va�na brzina prijenosa podataka. Maksimalna brzina kojom se podaci mogu prenositi je propusna moć kanala veze.

Prijenos informacija ovisi i o stanju kanala, koje se mijenja ovisno o: prethodno prenesenim signalima; to je kanal s određenom memorijom, kapacitetu kanala; to je i propusna moć nekog kanala bez memorije. Kapacitet C kanala zavisi i o frekvencijskom opsegu prijenosnog sustava,

trajanju signala i o omjeru veličina signala i �uma. Va�no je znati, da je nemoguće postići brzinu prijenosa informacija veću

od kapaciteta kanala. Medutim, paralelnim spajanjem kanala veze ili preko multipleksera, moguće je povećati brzinu prijenosa informacija.

Prijenos diskretnim kanalima K1 i K2 bez memorije s kapacitetima C1 i C2 ima slijedeću ovisnost. Kad kanale K1 i K2 paralelno spojimo dobiti ćemo novi kanal K, a on će imati novi kapacitet C, povećan prema izrazu

C=ln(eC1 +eC2 ) odnosno eC =eC1 +eC2

1.6. Informacija Da bi se informacija mogla kvantitativno razmatrati, mora se prikazati

brojem. U takvom se obliku informacija mo�e tretirati poput bilo koje fizikalne veličine (puta, brzine, energije, sile itd.), kvalitativno i kvantitativno.

Nosioci informacija jesu diskretni i kontinuirani signali. Za njihovo kvantitativno karakteriziranje treba uvesti nove pojmove i računsku obradu pomoću vjerojatnosti i statistike.

I informacija x i smetnja z jesu slučajne promjenljive veličine, podlije�u određenoj raspodjeli vjerojatnog pojavljivanja, dakle one su slučajne, ali određene varijable. U shematskom prikazu komunikacijskog sustava te varijable mo�emo upisati kao na slici 1.4.

Sl.1.4. Prikaz varijabli komunikucijskog sustava

y=f(x,z)

z

KANAL PRIJEMNIK ODA�ILJAČ

SMETNJE

x

������������ ����

U komunikacijski kanal ulazi korisna informacija x kao vlastita informacija I(x) i smetnja z, a prijemnik će poruku y=f(x,z) primiti kao zdru�enu informaciju I(x,y).

Za zadanu slučajnu varijablu x sada je matematički problem kako točno odrediti i definirati parametre I(x) (vlastite informacije) obzirom na prispjelu I(x,y) informaciju. Vjerojatnost je mjera određenosti nastupa događaja ili informacije, koja je slučajna veličina i podlije�e statistici. Teoretsko razmatranje toka informacija u komunikacijskim sustavima nije moguće bez poznavanja računa vjerojatnosti i statistike.

1.7. Izvor informacije Kad teleksom �aljemo neku poruku, u određenom vremenskom intervalu,

u oda�iljač će biti upisano �n� znakova teksta koji sadr�ava znakove abecede, brojeve, interpunkcije, adresu primaoca i naredbe (start, stop i sl.). Da bi se teoretski razmatralo ovakav sustav, mora se načiniti matematički model. Pri stvaranju modela polazi se od slijedećeg:

1. Generiranje informacija sastoji se od oda�iljanja niza impulsa, a to znači znakova koji predstavljaju simbole slova, brojeva, interpunkcija i sl. Ti se impulsi uzimaju iz nepraznog skupa X svih raspolo�ivih znakova. Taj je skup konačan, jer ima (x1,.x2,�.xn) elemenata i poruka se mo�e prikazati kao n- člani niz:

x = (x1,x2,�..xn>), i = 1,2,...n. Poruka sadr�i razne kombinacije znakova iz skupa X koji npr. mogu biti

svi znakovi abecede. Tako npr. slova na�e abecede imaju konačn broj znakova i čine skup X koji sadr�i 27 elemenata, pa �n� poprima vrijednosti od 1 do 27. Međutim za bolje sporazumijevanje, tekst koji predstavlja na�u poruku, treba sadri�avati i brojeve, znakove interpunkcije, te različite naredbe za sporazumijevanje između uređaja koji su vezani preko kanala veze. Zbog toga skup simbola za korektno preno�enje poruka treba imati znatno vi�e od 27 elcmenata. Za brzu i kvalitetnu vezu dvaju korisnika (oda�iljača i prijemnika) trebalo bi osigurati i isto toliko kanala, koliko ima elemenata skupa. To bi bilo veoma skupo i neekonomično.

2. Najprikladniji i najekonomičniji način ostvarenja veze dvaju korisnika preko jednog kanala veze moguće je ostvariti pretvaranjem poruke u kombinacije binarnih brojeva. U elektroničkoj obradi podataka koristi se binarni kôd s dva logička pojma ili znaka: nula i jedan. Svaki se binarni broj A mo�ie prikazati kao suma:

A = ak2k+ ..+ a121+ a020,

������������ ����

gdje su �a� znamenke binarnog broja i poprimaju moguće vrijednosti 0 ili 1. Binarni ćemo broj prema gornjem izrazu pretvoriti u dekadski jednostavnim sumiranjem vrijednosti. Baza binarnog sustava je broj 2 ili B = 2. Broj elemenata n odredenog skupa X binarnih brojeva je i maksimalni broj kombinacija:

X=Bn. Tako npr. u binarnom sustavu s n=7 elemenata (simbola) mo�emo

načiniti maksimalno X=27=128 brojeva ili znakova. 3. Smetnje se superponiraju korisnim signalima i oni u prijemnom dijelu

vi�e nemaju izvorni oblik. Dio sustava koji sadr�i koder na ulazu, a dekoder na izlazu, mo�emo

nazvati komunikacijskim sustavom predočenim slikom 1.6. Na ulaz u taj sustav dolaze slučajni događaji iz skupa X. Na izlazu će se takvi kodirani događaji pojaviti kao elementi članova skupa Y koji čine m-člani niz:

y = (y1,y2,�.ym) j=1,2,�.m. Su�tina procesa prijenosa informacija je u tome da se od n simbola na

ulazu (npr. xi od skupa X) na izlazu primijeti yj, a nakon toga odluči koji je simbol bio predan ulazu.

4. Kod slanja poruka koristimo �jezik� u kojem vladaju određene statističke zakonitosti. Tako se frekvencija pojavljivanja simbola određuje vjerojatnostima. Npr. xi se pojavljuje s apriornom (prije događaja) vjerojatno�ću p(xi).

Sustav čine realni sklopovi i mediji. U njima djeluju slučajni događaji kao �to su �umovi, smetnje i izobličenja. Stoga se događaju xi mo�e pridru�iti događaj yj. Ali takva se pridru�ivanja ne događaju stalno. Svaki će se element skupa Y pojaviti s određenom nesigurno�ću, odnosno vjerojatno�ću p(y).

Preostala nesigurnost karakterizirana je s aposteriornom (poslije događaja) vjerojatno�ću p(xi/yj). To se mo�e reći i tako, da pojava događaja yj mijenja vjerojatnost pojave događaja xi iz apriorne p(xi) u aposteriornu p(xi/yj).

Istovremeno pojavljivanje parova ili zdru�ena vjerojatnost p(xi,yj) mo�e se predočiti kao produkt vjerojatnosti i pisati kao:

p(xi,xj) = p(xi)·p(yj/xi) = p(yj)·p(xi/yj). Pri tome je p(yj/xi) uvjetna vjerojatnost. Njena se veličina mo�e odrediti

ako se zna mehanizam transformacije ulaznog znaka xi u izlazni yj. Zdru�ena će se vjerojatnost moći izračunati, ako su poznate vjerojatnosti pojavljivanja simbola xi.

������������ ����

1.7.1. Sadr�aj informacije Analiza rada informacijskog sustava, optimizacija, odr�avanje i

projektiranje budućih, moguće je samo konkretnim, odnosno brojčanim razmatranjem. To znači da se svaka informacija mora kvantitativno izraziti.

Promatranjem događaja i činjenica do�lo se do zaključka da je mjera količine informacija koju donosi pojedini signal, logaritamskog karaktera. Predlo�eno je da se signalu koji se bira iz skupa � n � mogućih signala pridru�i informacija I(n) = log n.

Obično se informacija sastoji od barem dvaju podataka iz skupova s �m� i �n� mogućih signala. Poruka �to ju takav par nosi jednaka je izrazu:

I(m n) = I(m) + I(n), te je logično da je informacija I logaritamska funkcija i zbraja se prema

izrazu: log(m n) = log m + log n. Informacija je svaki prirodni broj �n� i log n > 0. To znači da je

informacija uvijek pozitivna veličina. Nedostatak je takvog razmi�ljanja njegova nerealnost, jer se sve poruke (svi signali) tretiraju ravnopravno tj. s jednakom vjerojatno�ću.

U komunikacijama i korisni signali (poruke) i smetnje (�umovi i sl.) jesu statističkog karaktera. Zbog toga se pojavljuju u obliku određenih raspodjela vjerojatnosti p.

Na temelju iznesenog, informacija dobivena pojavom događaja yj, odnosi se na događaj xi, logaritamskog je karaktera i zavisi o omjeru aposteriorne i apriorne vjerojatnosti prema izrazu:

( ) ( )( )i

jiji xp

yxpyxI

/log; =

Na gore napisan način, definiran je uzajamni sadr�aj informacije. Kad je baza logaritma 10 mjera jedinice informacije je dekadska jedinica �dit�.

U matematici se najče�će koriste prirodni logaritmi s oznakom �ln� i bazom �e�, pa je u tom slučaju jedinica informacije �nit�.

Suvremeni tehnički uređaji obično rade s binarnim sustavom, pa je baza logaritma 2. To su tzv. dualni ili �ld� logaritmi, a jedinica sadr�aja informacije im je binarna jedinica �bit� (binary digit).

Obzirom na izvedbu uređaja najprikladnije je raditi s dualnim logaritmima, te izraz sadr�aja informacije postaje:

( ) ( ) ( )( ) ( )

( )( ) ( )ji

ji

ji

jjiji ypxp

yxpld

ypxpypyxp

ldyxI⋅⋅

=⋅

⋅=

/;

������������ ����

pa se iz toga vidi da je sadr�aj informacije simetrična funkcija u odnosu na događaje xi i yj, odnosno vrijedi:

I(xi;yj) = I(yj;xi). U komunikacijskim sustavima nisu nam interesantni pojedini znakovi

(sadr�aji informacija), već svojstva sustava u cjelini. To se posti�e uvođenjem srednjih (prosječnih) sadr�aja informacija u odnosu na cijeli skup događaja. Sada sadr�aj informacije, s pripadajućim vjerojatnostima, čine statistički skup X, za koji se mogu računati prosjeci. Veličina I(X;yj) predstavlja srednji sadr�aj informacije koju donosi primljeni simbol yj, a koji se odnosi na skup svih predanih simbola X.

Veličina I(X) predstavlja srednji vlastiti sadr�aj informacije. Ona predstavlja onaj iznos informacija koji je u prosjeku potreban da bi se odredila bilo koja pojedinačna vijest iz skupa X mogućih vijesti koje se prenose nekim sustavom. Uobičajeno je pisati za I(X) i H(X). U tom se slučaju zove entropija diskretne slučajne veličine X. H(X) ili entropija je mjera neizvjesnosti ili kvantitativna mjera neodređenosti neke vijesti, prije nego �to je primljena. H(X) predstavlja iznos informacija, koji se mora u prosjeku utro�iti da bi se upoznala bilo koja vijest iz skupa X. Entropija ne mo�e biti negativna veličina, jer i vlastiti sadr�aj je pozitivan ili najmanje nula.

Veličinu H(X) naziva se i mjerom nereda. Entropija H(X) = 0 samo u slučaju kad je jedna od vjerojatnosti događaja p(x;) = 1, a sve ostale su jednake nuli. To znači da se mo�e prenijeti samo jedna vijest, te se nakon nje ne dobiva vi�e nikakav sadr�aj informacije.

Izrazi za odnose između potpunog, uzajamnog sadr�aja informacija I i entropija H ili mjera neodređenosti vijesti, odnosno iznosa informacija jesu slijedeći:

I(X; Y) = H(X) + H(Y) - H(X, Y) I(X; Y) = H(X) - H(X/Y) I(X; Y) = H(Y) - H(Y/X) Analogno, kako su označene uvjetne vjerojatnosti događaja na ulazu i

izlazu komunikacijskog kanala p(yj/xi), tako se mo�e veličina I(Y/X) nazvati uvjetnom entropijom skupa događaja Y uz zadani skup događaja X i označava se kao H(Y/X).

������������ ����

Sl.1.5. Prikaz Vennovih dijagrama U teoriji informacija, naročito kod proračuna prijenosa informacija va�an

je srednji uzajamni sadr�aj informacije I(X;Y) i obično se izra�ava pomoću entropija. Grafička interpretacija ovakvih izraza jesu Vennovi dijagrami prikazani na slici 1.5.

Prethodno navedeni izrazi za vezu srednjeg sadr�aja informacija i entropija imaju vrlo va�nu primjenu u tehnici i proračunu prijenosa informacija. To je najprikladnije razmotriti na blok shemi prikaza komunikacijskog kanala prema slici 1.6.

Sl.1.6. Tok informacija kroz komunikacijski sustav

KOMUNIKACIJSKI SUTAV

ODREDI�TE=PRIJEMNIK

ODA�ILJAČ = IZVOR INFORMACIJA

SMETNJE

x1 x2

xi xn

y1 y2

yi yn

������������ ����

Iz oda�iljača izlaze događaji kao elementarni simboli (x1,x2,�xn), koji se interpretiraju kao entropija H(X) ili mjera neizvjesnosti srednjeg vlastitog sadr�aja informacija I(X), odnosno srednji sadr�aj predane informacije.

Prolazom kroz komunikacijski kanal, signali su podvrgnuti smetnjama. Zbog toga signali na prijemnu stranu ulaze kao modificirani elementarni simboli i označeni su: (y1,y2,�.yn).

Mjera neizvjesnosti ili entropija srednjeg sadr�aja izlaznih informacija iz komunikacijskog sustava, koji ulaze u prijemnik, označena je kao H(Y). To je srednji sadr�aj stvarno primljene informacije.

Zbog gubitaka u sredstvima prijenosa, jedan dio informacija nestaje. Označen je kao H(X/Y) i predstavlja srednji sadr�aj izgubljenih informacija. Veličina I(X;Y) je obzirom na oda�iljač, preneseni dio informacija od izvora k odredi�tu i ima smisao transformacije, pa se označava i kao HT.

Veličina I(X; Y) zove se i srednji uzajamni sadr�aj informacije, jer to je i srednji sadr�aj primljene informacije. Na prijemni dio osim korisnih signala, stigle su i smetnje označene kao H(Y/X). Zato se veličina H(Y/X) zove i �entropija �uma�. Ona ne predstavlja korisnu informaciju već dio primljene informacije, koji je povećan za iznos smetnji, kojima je �um najveći doprinos. Veličina H(Y/X) mo�e se lako odrediti mjerenjem na realnom sustavu, a te�e teoretski, jer je određena strukturom smetnji i karakterom njihove interakcije sa signalom.

1.8. Kodiranje Kodiranje informacije je operacija prikazivanja skupa znakova (abecede)

pomoću slijeda simbola drugog niza (abecede). Prema broju elementarnih simbola koje koristimo, kodove nazivamo: binarni (s dva simbola 0 i 1), ternarni (s tri različita simbola) itd. U praksi se najvi�e koristi binarni kod, jer je tehnička izvedba sklopova za kodiranje i dekodiranje najjednostavnija.

Skupine signala od nula i jedinica koje označavaju binarni broj u računalu, predstavljaju određeni simbol (slovo, broj itd.) i nazivaju se kodnom kombinacijom. Pri tome je element kodne kombinacije 1 bit (tj. nula ili jedinica), pa bitovi sačinjavaju kodnu kombinaciju.

Postoji nekoliko tipova kodova, već prema broju elemenata i oni mogu biti vi�eznačni tj. mogu imati 5, 6, 7 ili 8 elemenata u kodnoj kombinaciji.

Kodovi mogu biti ravnomjerni i neravnomjerni. Ravnomjerni imaju jednaki broj elemenata u svakoj kodnoj kombinaciji, dok ih neravnomjerni nemaju, odnosno broj elemenata je različit za znakove podataka ili teksta.

Postoje i tzv. korekcioni kodovi. Oni mogu slu�iti za ispravljanje pogre�aka, nastalih u toku prijenosa informacija ili su kodovi za otkrivanje ili detekciju nastalih pogre�aka.

������������ ����

1.8.1. Neravnomjerni kôd U neravnomjernom kodu trajanje impulsa, odnosno broj elemenata, jesu

različiti. To je slučaj kod Morzeovih signala, prikazanih tablicom l. Element se mo�e predočiti kao jedan strujni (ili naponski) impuls. Signal trajanja to predstavlja točku, a signal koji traje 3t0 predstavlja crtu. Razmak između impulsa je bezstrujni (ili beznaponski) impuls trajanja to. Slovo "e" predstavlja točka, a vrijednost broja nula predstavlja 5 crta. To su primjeri različitog trajanja pojedinih kodnih znakova. U Morzeovom kodu prosječan broj elemenata za jedan znak je velik (oko 9.5 elementarnih impulsa po znaku) i zbog toga je neekonomičan. Koristi se za vezu radiotelegrafista, jer je od svih kodova najprikladniji za prijem na sluh, zbog najmanjeg utjecaja smetnji.

Tablica 1. Morzeov kôd

������������ ����

1.8.2. Ravnomjerni kôd U informacijskim sustavima se najče�će koristi obični (sve kodne

kombinacije imaju isti broj elemenata) kod i to ravnomjerni. U ravnomjernom kodu npr. binarni broj 24 sačinjavaju 2 jedinice i 3 nule. Ako kod ima 25 = 32 kombinacije, a to znači 5 elemenata, onda će mu signal izgledati kao niz 11000, tj. ima 5 elementarnih simbola. Broj 3 se mo�e prikazati samo s dvije jedinice, ali u ravnomjernom kodu kojeg čine po 5 elemenata, treba imati 5 impulsa u znaku, pa će broj 3 izgladati kao niz 00011, tj. dodati će se jedinicama onoliko nula koliko je potrebno do ravnomjernog broja, a to znači i jednakog trajanja signala za pojedini znak (u ovom slučaju 5 to).To je potrebno zbog jednostavnije tehničke izvedbe uređaja za oda�iljanje i prijem signala.

Tipičan primjer petoznačnog ravnomjernog koda je Međunarodni kod broj 2, koji koriste teleprinteri. Takvi su kodni signali i odgovarajuće rupice na perforiranoj traci, prikazani tablicom 2.

Tablica 2. Međunarodni kôd broj 2

������������ ����

Nule i jedinice mogu se oda�iljati bilo kao strujni i bezstrujni impulsi, ili kao pozitivni i negativni impulsi. Prije slanja kombinacije znaka daje se polazni (start) impuls (trajanja to) koji je bezstrujni, zatim slijedi 5 elementarnih impulsa poslanog znaka, a na kraju strujni stop impuls (trajanja 1,5 to prema CCITT standardima). Na slici T.I.7. prikazan je oblik teleprinterskog signala slova D.

Teleprinter zbog malog broja kodnih kombinacija (25 = 32) nema malih slova. Brojevi od 0 do 9 i znakovi interpunkcije, koriste iste kodne kombinacije koje vrijede i za slova. Pi�e se jednostavno s označenim tipkama na tastaturi, dok teleprinter automatski prebacuje pisanje sa slova na brojeve i obrnuto.

i

START STOP1 2 3 4 5

to 5 to 1,5 to

Ts = 7,5 to

t

Sl.1.7. Oblik signala slova D odaslanog teleprinterom 1.8.3. 7-bitni ASCII kod - MEĐUNARODNI KOD BROJ 5 Za internu reprezentaciju znakova u računalima i u informacijskim

sustavima za prijenos podataka, koristi se ASCII kod ili Međunarodni kod broj 5 prikazan tablicom 3. On je nastao zbog potrebe kori�tenja većeg broja znakova. To je 7 bitni binarni kod s 27 = 128 kodnih kombinacija, koji se zove i donji (od 0 do broja 127). U računalima se koristi i gornji ASCII kod (od broja 128 do 255) prikazan tablicom 4.

Međunarodni kod broj 5 u prvoj polovici kombinacija ima svrstane simbole za signalizaciju i obradu podataka, instrukcije računalu, specijalne znakove za npr. računske operacije, znakove interpunkcije i brojeve od 0 do 9. Tako npr. znaku SP (kratica za space, predstavlja funkcijsku tipku) znači razmaknicu na tastaturi (pomak u desno, za pisanje novog znaka). Tom

������������ ����

znaku odgovaraju: 20 (heksadecimalna oznaka), 0100000 (binarna oznaka) i 032 dekadski broj odnosno red u koloni od 127 kodnih kombinacija ASCII koda. U preostaloj polovici redaka (kodnih kombinacija) jesu velika i mala slova latinice, standardna i specijalna za pojedine jezike (poput afrikata - na�ih slova č,ć,đ,� i �), umjesto znakova za specijalne namjene (npr. uglate i vitičaste zagrade).

Ovako su smje�teni znakovi na�e abecede prema starom standardu JUS I B1.002.

Tablica 3. ASCII kod

Tablica 4. Gornji dio ASCII koda

������������ ����

Međunarodni standardi predviđaju znakove za različite jezike u gornjem dijelu ASCII tablice kodova. To je 8-bitni ASCII kod, već va�eći standard, predočen tablicom 4.

U najnovijem MS (MicroSoft) DOS (Disk Operating System) 5 programu, određena su mjesta za na�e posebne znakove tzv. afrikate. Taj je program modificiran srazmjerno razvoju grafički orjentiranom multimodalnom operacijskom sustavu Windows, s posebnim multinacionalno orjentiranim kodnim stranicama. Osnovicu ovog sustava čini ANSI kod, a za slavensko europsko područje inačica Latin 2 prikazana tablicom 5.

Tablica 5. Latin 2 kod

Na tastaturi su oznake po standardu za razmje�taj slova i znakova za

tastaturu. Posebnim programom se pridodaje znak određenoj tipki tastature. Prikaz HR tipkovnice dat je na slici 1.8.

������������ ����

Sl. 1.8. HR tipkovnica 1.8.4. Kodovi za otkrivanje i ispravljanje pogre�aka Korekcioni kodovi imaju dvije namjene. Prvoj je cilj detektiranje ili

otkrivanje pogre�aka u toku prijenosa informacija. Druga je namjena detektiranje i ispravljanje nastalih pogre�aka.

U informacijskim i komunikacijskim sustavima koristi se binarni kod (s bazom B=2) i to vi�eznačni s mogućim k = 5, 6, 7 i 8. Tako se u "k"-značnom kodu mo�e koristiti X = Bk kodnih kombinacija ili varijacija s ponavljanjem. Mo�emo se zapitati, kojim bi kodom mogli prikazati slova na�e abecede, kojih ima 27 ? Ako koristimo vi�eznačni kod s k = 5, broj mogućih varijacija nula i jedinica s ponavljanjem, će biti X = 25 = 32 dok je potrebno samo N = 27 kodnih kombinacija, pa je X > N. Ovakav vi�ak kombinacija omogućava sigurniji prijenos podataka.

Pouzdanost prijenosa informacija će biti to veća, �to đemo imati na raspolaganju veći broj neiskori�tenih kodnih kombinacija. U navedenom primjeru to će biti pet kombinacija (X - N = 32-27 = 5). Vi�ak elemenata u kodnim kombinacijama nazivamo i redundancijom koda (redundancy = preobilje). Veća se pouzdanost posti�e time, �to će pri izobličenju izvjesnog broja elemenata znaka (u kodnoj kombinaciji) biti manja vjerojatnost da se jedan znak preobrazi u drugi, kad raspola�emo s vi�e neiskori�tenih kombinacija. Zato korekcioni kodovi imaju vi�ak elemenata u kodnim kombinacijama. Koeficijent redundancije Re korekcionog koda, određuje se izrazom:

ldNldXRe =

Ovdje je prema prije navedenom - X - ukupni broj kodnih kombinacija k-značnog koda s bazom B: X = Bk , - N - broj kombinacija koje se koriste u prijenosu. Po�eljno je, ali ne i ekonomično, da Re bude �to veći.

������������ ����

U toku prijenosa izvorna informacija prolazi kroz koder i kanal veze. Na tom se putu, dijelu komunikacijskog procesa, ulaznoj veličini "x" superponiraju smetnje i izobličenja odnosno pridru�uje niz veličina "z", te se veličina x pretvara u primljenu veličinu "y". Mora se odlučiti kako �e se dekodirati dobiveni izlazni niz veličina y. To nazivamo "shemom odlučivanja", a znači funkcijski određnu zavisnost varijable x o prispjeloj y. Ta funkcija mora biti tako definirana, da �o vi�smanji utjecaj smetnji. Dakle osnovna ideja "sheme odlučvanja" ili funkcijske zavisnosti x o y je u tome, da se "međsobno pridru�ju najvjerojatniji" ulazni i izlazni nizovi.

U "idealnoj shemi odlučvanja" ili ustanovljavanja pogre�ka, uspoređuju se nizovi kombinacija elemenata i određje njihova razlika. Pri tome se misli na razlike između poslane poruke x i primljene y. Ta se razlika definira kao "udaljenost" d, a ona je zapravo funkcija x i y varijabli ili d = f(x,y). U literaturi se navodi i kao Hammingova udaljenost binarnih nizova x i y. Radi �to sigurnijeg prijenosa informacija, nizovi se biraju tako, da njihove međusobne Hammingove udaljenosti budu �to je moguće veće.

Dakle Hammingova ili kodna udaljenost d je minimalni broj elemenata prema kojima se, u istom kodu, razlikuje jedna kodna kombinacija od druge. Ravnomjerni k-značni kod, npr. Međunarodni kod broj 2, koristi sve kodne kombinacije, pa mu je vrijednost d = 1. U slučajevima kad je d > 3 moguće su detekcije i ispravljanja pogre�aka.

Kad se pogre�no primi 1 od n elemenata, to se naziva jednostruka pogre�ka i d=2. Kod pogre�nog prijema 2 elementa u nizu od n, to će biti dvostruka pogre�ka. Vrijednost veličine "d" određuje otkrivanje i ispravljanje pogre�aka prema izrazu

d ≥ 2 ip + 1 . Ovdje "ip" predstavlja broj ispravljenih pogre�aka. Prema tom izrazu, �to

će Hammondova udaljenost biti veća (a to znači i veći broj neiskori�tenih kodnih kombinacija), mogućnost ispravljanja većeg broja pogre�aka, također će biti veća.

1.8.6. Kôd s parnim brojem jedinica Međutim u praksi, osim spomenutih 7 elemenata, svaka kodna

kombinacija ima i 8. element. To je tzv. paritetni impuls. Potreban je za ispravan rad izlaznih jedinica, poput �tampača kod računala ili bu�ača kod teleprintera. Taj impuls kontrolira ispravan rad terminalnih jedinica i detektira pogre�ke u prijenosu podataka. Tako se npr. kontrolira parnost jedinica. To znači da ako 7-bitni znak ima neparan broj jedinica (npr. 3 jedinice), kao osmi element doda mu se opet jedinica. Ili ako 7-bitna kodna

������������ ����

kombinacija ima parni broj jedinica (npr. 4 jedinice) osmi, dodani element je nula.

i

t

8 to

Ts = 11 to

STOPSTART

to 2 to1 2 3 4 5 6 7 8

b1 b2 b3 b4 b5 b6 b7 b8

Sl.1.9. Oblik odaslanog signala slova D prema 7-bitnom ASCII kodu Osim 8 elemenata, izlazni signal ima start i stop impulse s trajanjima

pojedinih impulsa prikazanim na slici 1.9. To je signal velikog slova D, koje prema ASCII kodu ima slijedeće oznake: 44 (heksadecimalna) 1000100 (binarna b7,b6,b5,b4,b3,b2,b1) i 068 (decimalna). Budući da ima parni broj jedinica, dodana je nula kao element na te�insko mjesto b8.

Zbog svoje jednostavnosti najče�će se koriste kodovi s parnim ili neparnim brojem jedinica. Tako npr. kod s parnim brojem jedinica omogućuje razmjerno jednostavno detektiranje primljenog niza s neparnim brojem jedinica i otkrivanje pogre�ke.