Šta je zapravo informacija? Čime se bavi teorija ... 9.pdf · “bilo kakva komunikacija ili...

Entropija i informacija

Teorija informacija

Čime se bavi teorija informacija?

Šta je zapravo informacija?

Kako meriti količinu informacija?

• Informacija je saznanje preneto kroz prostor-vreme.

• Signal je fizički nosilac informacije.

Informacija - Signal

Uvod u teoriju unformacija

Signal

Informacija Informacija

Signal

Druge definicije informacije:

Poruka koju je primalac prihvatio i razumeo

Podatak: činjenica na osnovu koje je moguće doneti

zaključak; "statistički podatak"

Znanje prikupljeno studiranjem, iskustvom ili podučavanjem

Mentalni stimulans

Značenje

Znanje

Uvid

Definicije informacije


...

Vest

Predanje

Prezentacija

Ono što auditor prikupi o organizaciji

(dovoljno, kompetentno, relevantno i korisno)



...

Rezultat procesiranja i organizacije činjenica čime

se povećava količina znanja onoga ko ih prima

Mogućnost zaključivanja o uzroku posmatranjem posledice

(vatra, dim)


Uvodu teoriju unformacija

“Bilo kakva komunikacija ili predstava znanja u formi činjenica,

podataka, mišljenja na bilo kom medijumu i u bilo kom obliku,

uključujući tekstualni, numerički, grafički, kartografski, narativni ili

audiovizualni”

Numerička mera smanjenja neizvesnosti nakon prelaska nekog

sistema iz jednog stanja u drugo

Najkraći zapis koji treba dati Turingovoj mašini nakon čega bi ona

mogla da reprodukuje datu sekvencu simbola



• Informacija je saznanje preneto kroz prostor-vreme.

Informacija


Informacija Informacija

Pod rečju “saznanje” možemo smatrati postupak uklanjanja

nedoumice o stvarnom stanju nekog sistema

Drugim rečima, ono što saznajemo jeste istina koja nam je pre

saznanja bila nedostupna

Saznanje se, u vidu informacije, može dalje preneti, tako da

korisnik informacije može postati njen novi izvor

Saznanje


Teorija informacija bavi se:

Definicijom mere količine informacija

Proučavanjem izvora informacija

Proučavanjem prenosnog kanala

Analizom granica koje optimalni sistem može dostići

Konstrukcijom prenosnog sistema što boljih performansi

Predmet proučavanja


Pored toga, teorija informacija bavi se i:

Analizom mogućnosti zaštite tajnosti informacija

Analizom mogućnosti skladištenja informacija

Analizom sistema sa više korisnika koji međusobno sarađuju

ili ne sarađuju

Predmet proučavanja


Communication Engineering & Signal Processing

Claude Elwood Shannon (1916 – 2001)

Američki elektroinženjer i matematičar, poznat kao “otac

teorije informacija”, ali i teorije projektivanja digitalnih

elektronskih kola


Početak teorije informacija

Sve tehničke komunikacije u suštini su diskretne – teorema o uzorkovanju

Izvor informacija generiše stohastički proces,

pa se prenos informacija mora analizirati alatima teorije verovatnoće

Postoji mogućnost da se prenos informacija značajno ubrza

bez oštećenja, bez obzira na kanal

Postoji mogućnost da se kroz dati kanal prenos informacija obavi

sa proizvoljno malom verovatnoćom greške – kapacitet kanala


Šenonov model komunikacionog sistema

IZVOR KODER

IZVORA

ZAŠTITNI

KODER

ZAŠTITNI

DEKODER

DEKODER

IZVORA KORISNIK +

Ekvivalentni korisnik

Smetnje

Ekvivalentni izvor

Kanal bez smetnji

Prenosni medijum

Matematička definicija


I(a) = -log(P[a])

Smanjivanjem P[a], I(a) raste.

Verovatnoća dva nezavisna događaja

je P[a,b]=P[a]*P[b].


Primer:

Primer:

Ishod eksperimenta sa jednim

novčićem nosi 1 bit informacije. ДИНАР

Usvojena definicija ne vodi računa o značenju koje neka

informacija ima za korisnika usled njegovih predznanja

(informacija koje je uskladištio pre prijema informacije o

događaju a). S druge strane, ona je osnovni koncept

digitalnih komunikacija.



Objašnjenje...


Entropija

Ako slučajni događaji A1, A2, ... , An označavaju različita stanja

nekog fizičkog sistema X, gde je funkcionisanje sistema prelazak iz

jednog u drugo stanje, tada se svakom stanju može pridružiti

brojevna vrednost i X smatrati slučajnom promenljivom (gde su pi

verovatnoće zauzimanja stanja Ai):

n

i

i

n

np

ppp

xxxX

121

211,

...

...:


Entropija

Entropija je mera neodređenosti (haosa, neizvesnosti) sistema u

pogledu prelaska u jedno od mogućih stanja, posmatrajući

komunikacione sisteme (izvor, koder, kanal, dekoder, primalac,

smetnje) u kojima signali i šumovi takođe imaju statistički karakter,

tj. pojavljuju se sa određenim raspodelama verovatnoće. Od ove

raspodele zavisi i srednja informacija po signalu (mera informacije).

Obrazac za entropiju (neizvesnost u pogledu izbora jedne od

mogućih vrednosti kojima su pridružene verovatnoće pi) je po

Shannon-u:

n

i

ii ppXH1

2log

Jedinica za entropiju je bit.


Entropija

Entropiju H(x) slučajne veličine x možemo interpretirati na sledeće

načine:

•Očekivana količina informacije koju sadrži jedna realizacija x

•Neodređenost u vezi ishoda jedne relizacije x

•Očekivana vrednost broja bita neophodnih za opis jedne

realizacije x


Osobine entropije

• H(1)=0

•H(p1, p2, …, pn) ne zavisi od permutacije verovatnoća pi; i=1,2, .., n

•H(p1, p2, …, pn, 0) = H(p1, p2, …, pn)

• je rastuća funkcija od n N

•U slučaju kada su verovatnoće pi iste, obrazac ima oblik:

)(1

,...,1,1

nhnnn

H

nnnn

H 2log1

,...,1,1


Entropija složenih sistema

Posmatraju se i složeni sistemi (X,Y), gde su sva moguća stanja,

realizacije dvodimenzionalne slučajne promenljive.

Vezano za komunikacione sisteme, veličine su:

H(X) i H(Y) – neizvesnosti u vezi sa ulazom kanala X i izlazom kanala Y,

H(X,Y) – neizvesnost u pogledu pojave uređenog para (X,Y),

Uslovna entropija:

Srednja uzajamna informacija X i Y:

i j

ijij qpYXH /2log/

XYHYHYXHXHYXI //,

Literatura

Teorija informacija

Prof. dr Vojin Šenk

Šta je zapravo informacija? Čime se bavi teorija ... 9.pdf · “bilo kakva komunikacija ili...

Documents