http://vision.fe.uni-lj.si

Komunikacije v avtomatikiPodatek, informacija, ....

Stanislav Kovačič

Univerza v Ljubljani

Fakulteta za elektrotehniko

2010/11

Za začetekZa začetek

• Podatek ≠ informacija

• Podatek je zapis – nosilec informacije

• Podatek je informacija, ko nam kaj pove

• Informacija je vedno povezana z zmanjšanjem nedoločenosti

• Bit: množina informacije, ki jo dobimi kot odgovor na vprašanje, na katerega sta možna dva enakoverjetna odgovora

• Bit: včasih enota za množino informacije, včasih binarni simbol

Množina informacijeMnožina informacije

• Hartley (1927): objektivno merjenje informacijske vsebine

S: signal N: ševilo možnih različnih enakoverjetnih stanj (vrednosti) signala Več ko ima signal stanj, več informacije lahko vsebuje (nosi) signal.

Na primer:N=2 (binarni signal); log 2 = 1 bit informacije (iz enega opazovanja).N=256 (večvrednosti oz. večnivojski signal); log 256 = 8 bitov informacije.

Množina informacijeMnožina informacije

• Iz G zaporednih opazovanj – elementov signala dobimo G-krat toliko informacije kot iz enega opazovanja

Množina informacijeMnožina informacije

• Element signala – signalni element – zavzame dano število možnih stanj:• (napetostnih) nivojev• frekvenc• faz• kombinacij le-teh

• N = 2; G = 10; I = 10 x 1 = 10

• N = 4; G = 5; I = 5 x 2 = 10

Množina informacije, entropijaMnožina informacije, entropija• E. C. Shannon (1948): tvorec sodobne teorije informacij

• Signal S = { s1, s2, ... , si, ... , sN }• Verjetnosti stanj P = { p1, p2, ... , pi, ... , pN }

• H(S) : entropija signala

×

Množina informacije, entropijaMnožina informacije, entropija

• Entropija je merilo za nedoločenost signala (dvom v njegovo stanje)• Entropija je povprečna nedoločenost na stanje

• Informacija nastane kot posledica zmanjšanja nedoločenosti

• Predno sprejmemo signal, ne vemo v kakšnem stanju je• Njegova nedoločenost je zato H(S)• Ko sprejmemo signal, se njegova nedoločenost zmanjša• Če ga popolnoma spoznamo, dobimo I(S) = H(S) informacije

Nedoločenost InformacijaH(S) I(S) = 0

H(S) = 0 I(S) = H(S)“opazovanje” – prenos signala

• Seveda se med prenosom nekaj informacije lahko tudi izgubi, I(S) < H(S)

Prevajana informacijaPrevajana informacija

I(X,Y) = H(Y) – H(Y/X) = H(X) – H(X/Y)

Nedoločenost InformacijaH(X) I(X,Y) = 0

H(X/Y) I(X,Y) = H(X) – H(X/Y)“opazovanje Y”

8

Prevajana informacijaPrevajana informacija

H(Y/X=x1) = H(p(y1/x1), p(y2/x1) = H(1/2, 1/2)H(Y/X=x2) = H(p(y1/x1), p(y2/x1) = H(3/8, 5/8)H(Y/X) = p(x1) H(Y/X=x1) + p(x2) H(Y/X=x2) = = ½ H( ½, ½) + ½ H(3/8, 5/8) = ½ • 1 + ½ • 0,954 = 0,977 bI(X,Y) = H(Y) – H(Y/X) = H(7/16,9/16) – H(Y/X) = 0,989 – 0,977 =0,012 b

H(X) = H(1/2, 1/2) H(Y)=H(7/16,9/16)

Prevajana informacijaPrevajana informacija

H(X) = H(p(x1),p(x2)) H(Y)=H(p(y1),p(y2))

Nedoločenost signala, še toNedoločenost signala, še to

• Entropija signala je največja, kadar so vsa stanja signala enako verjetna.• Razumljivo, tedaj je dejansko stanje signala najtežje napovedati.

Informacijski pretokInformacijski pretok

• C: maksimalni možni informacijski pretok – kapaciteta kanala• F: frekvenčna širina kanala• V: število enakoverjetnih stanj signala• S: moč signala; N: moč šuma

Baud (Bd) in Bit na sekundo (b/s)Baud (Bd) in Bit na sekundo (b/s)

• Z Baudi podajamo število signalnih elementov na časovno enoto• Z b/s (bps) podajamo informacijski pretok – hitrost prenosa• Za binarne signala je hitrost prenašanja v Bd številčno enaka b/s• Hitrosti v Bd večkrat rečemo tudi modulacijska hitrost

Za konecZa konec

• Podatek ≠ informacija• Podatek je zapis – nosilec informacije• Podatek je informacija, ko nam nekaj pove• Informacija je vedno povezana z zmanjšanjem nedoločenosti• Bit: včasih enota za množino informacije, včasih binarni simbol• Bit: množina informacije, ki jo dobimi kot odgovor na vprašanje, na

katerega sta možna dva enakoverjetna odgovora.• Bit: binarni simbol (0 ali 1)• En binarni simbol vedno ne vsebuje tudi en bit informacije.• En binarni simbol nosi največ en bit informacije• Razmerje med dejansko in maksimalno možno množino informacije, je

redundanca – odvečnost.• Na primer: 1MB (megabajt) podatkov nujno ne vsebuje 8 Mb

informacije• Na primer: podatkovni pretok 1MB/s ni nujno enak informacijskemu

pretoku 8 Mb/s.