ANALIZA I INTERPRETACIJA Analiza i interpretacija podrazumijevaju otkrivanje, identifikaciju i razumijevanje uzoraka

od interesa, Slika 190. Automatska analiza slike mora biti u mogućnost da pokaže određen stepen inteligencije:

1. mogućnost izdvajanja značajnih informacija iz mase irelevantnih detalja, 2. mogućnost učenja na osnovu uzoraka i generalizacije naučenog tako da se može

primijeniti u novim, drugačijim okolnostima, 3. sposobnost zaključivanja iz nekompletnih informacija.

Slika 190. [1] Blok šema procesa analize i interpretacije slike

UZORCI I KLASE UZORAKA

Pod uzorkom ćemo podrazumijevati kvantitativni opis objekta ili dijela slike od interesa. Uzorak je sačinjen od jednog ili više deskriptora (osobina - features). Klase uzoraka

Mωωω ,...,, 21 su skupovi (familije) uzoraka koji dijele neke zajedničke osobine. Mašinsko prepoznavanje uzoraka uključuje tehnike grupisanja uzoraka u pripadajuće

klase, bez ili sa što manje intervencije čovjeka. Deskriptori koji čine uzorak se uobičajeno zapisuju u formi vektora:

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

=

nx

xx

2

1

x

215

Primjer: Posmatrajmo tri vrste (klase) cvijeća iris koje se razlikuju po dužini i. Usvojimo dva

deskriptora::

⎥⎦

⎤⎢⎣

⎡=

2

1

xx

x

Predstavljajući uzorke u vektorskom prostoru, Slika 191, vidimo da postoje lako i teško

separabilne klase: uzorci koji predstavljaju iris setosa se vrlo lako razdvoje od preostale dvije vrste, dok je razdvajanje iris virginica i iris versicolor na osnovu odabranih obilježja veoma teško. Jasno je da stepen separabilnosti jako zavisi od izbora deskriptora.

Slika 191. [1] Klase uzoraka predstavljene u vektorskom prostoru deskriptora

Ako se potpisi koriste za opis objekata, svaki objekat će biti predstavljen jednodimenzionalnim signalom, Slika 192. Odmjervanjem ovog signala potpisa možemo formirati uzorak:

( )( )

( )⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

=

nr

rr

θ

θθ

2

1

x .

216

Slika 192. [1] Potpis objekta

Klase su sad predstavljene “oblacima” u n-dimenzionalnom vektorskom prostoru (uzorci su vektori u n-dimenzionalnom vektorskom prostoru).

Umjesto korištenja vrijednosti potpisa, možemo izračunati prvih n momenata potpisa i njih koristiti kao deskriptore uzorka.

U navedenim primjerima su za deskriptore korištene kvantitativne mjere nekih osobina. Ako se uzme u obzir da i relacije između pojedinih osobina određuju pripadnost nekoj od klasa, riječ je o strukturalnom pristupu klasifikaciji.

Pri klasifikaciji je veoma važan izbor odgovarajućih deskriptora koji će omogućiti separaciju klasa.

FUNKCIJE ODLUČIVANJA

Neka je n-dimezionalni vektor uzorka. Za M klasa [ Tx,,xx 111 ...,=x ] Mωωω ,...,, 21 osnovni problem prepoznavanja se svodi na pronalaženje M funkcija odlučivanja ( ) ( ) ( )xxx Mddd ,...,, 21 sa osobinom da, ako uzorak x pripada klasi iω , bude zadovoljena sljedeća nejednakost:

( ) ( ) ijMjdd ji ≠=⟩ ;,...,2,1,xx .

Granica odlučivanja koja razdvaja klasu iω od jω je određena vrijednostima x za koje je:

217

( ) ( ) 0=− xx ji dd .

Uobičajena praksa je da funkcija:

( ) ( ) ( ) 0=−= xxx jiij ddd određuje granicu klasa. Ako je uzorak pripada klasi ( ) 0⟩xijd iω , a ako je uzorak pripada klasi

( ) 0⟨xijd

jω .

Klasifikacija na osnovu minimalne udaljenosti Pretpostavimo da je svaka klasa opisana prototipnim (srednjim) vektorom:

∑∈

==j

MjN j

jωx

xm ,...,2,1,1 .

Jedan način klasifikacije je pridruživanje uzorka (vektora) x onoj klasi čiji mu je vektor

prototip najbliži (Euklidova norma):

( ) ( ) ( ) MjD jT

jjj ,...,2,1, =−−=−= mxmxmxx . Uzorak x pripada onoj klasi koja ima najmanju ovako definisanu normu.

Može se pokazati da je ovaj postupak ekvivalentan računanju funkcije:

( ) jTjj

Tjd mmmxx

21

−=

i pridruživanju uzorka onoj klasi za koju se dobije najveća numerička vrijednost. Ovaj koncept se slaže sa konceptom funkcija odlučivanja.

Granica između klasa određena je sa:

( ) ( ) ( ) ( ) ( ) ( ) 021

=−−−−=−= jiT

jijiT

jiij ddd mmmmmmxxxx .

Za n=2 granica je prava, za n=3 ravan, a Za n>4 hiperravan.U praksi ovaj klasifikator

radi dobro ako su razlike srednijh vektora klasa velike u poređenju sa rasipanjem oko srednje vrijednosti unutar svake pojedine klase. Primjer:

Posmatrajmo standardizovani set karaktera, Slika 194. Jednodimenzionalni signal je proporcionalan brzini promjene svjetlosti koja padne na čitač. Karakteri su tako odabrani da se dobiju jednoznačni 1D signali. Prototipni vektori se jednostavno formiranju od niza odmjeraka ovih 1D signala (umjesto traženja srednje vrijednosti uzoraka iz klase). Zatim se svaki uzorak poredi sa prototip vektorom (računa se njegova udaljenost od svakog prototip vektora) i pridružuje onoj klasi za koju se dobije najveća vrijednost funkcije odlučivanja, odnosno najmanja udaljenost od prototip vektora.

218

Slika 193. [1] Granica odlučivanja

Slika 194. [1] Standardizovani set karaktera i odgovarajući talasni oblici

219

Klasifikacija na osnovu korelacije

Pronalaženje podslike ( ) KJyxw ×dimenzija, u slici ( ) NMyxf ×dimenzija, korelacijom:

( ) ( ) ( ) 1,...,2,1,0,1,...,2,1,0,,,, −=−=−−=∑∑ NtMstysxwyxftscx y

se zasniva na činjenici da je vrijednost korelacije maksimalna kada se u slici ( , )f x y pronađe

dio koji je najsličniji traženoj podslici ( ),w x y . Sama operacija korelacije koja je veoma slična konvoluciji ilustrovana je na Slici 195.

Podslika u obliku prozora se pomijera preko slike u kojoj se traži poklapanje i nakon svakog pomaka se računa data korelaciona suma. Jedina razlika u odnosu na konvoluciju je što se ne vrši obrtanje prozorske funkcije. Treba napomenuti da se tačnost određivanja poklapanja gubi u regionima blizu rubova slike.

( ,w x y)

Slika 195. [1] Postupak određivanja korelacije

Loša osobina ovog metoda je da ta što je vrijednost korelacije zavisna od vrijednosti svjetline (ako se nivoi svjetline povećaju dva puta, dva puta se poveća i vrijednost korelacije). Ovo se prevazilazi korištenjem korelacionih koeficijenata umjesto korelacije:

( )( ) ( )[ ] ( )[ ]

( ) ( )[ ] ( )[ ]1,...,2,1,0,1,...,2,1,0,

,,,

,,,, 21

22

−=−=

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

−−−−

−−−−

=

∑∑∑∑

∑∑NtMs

wtysxwyxfyxf

wtysxwyxfyxfts

x yx y

x yγ ,

220

gdje su wf , srednje vrijednosti. Korelacioni koeficijenti su skalirani u opseg od –1 do 1, neovisno o promjeni u amplituda i ( )yxf , ( )yxw , .

Iako je izvršena normalizacija korelacionih koeficijenata tako da su oni neosjetljivi na promjenu amplitude, normalizacija koja bi korelaciju učinila otpornom na promjenu veličine i rotacije je teška, (rotiranje slike da bi se pronašao položaj koji daje najveći korelacioni koeficijent je računski zahtjevno, kao i skaliranje po veličini). Iako se korelacija može računati u frekvencijskom domenu, zbog malih dimenzija uzorka efikasnije je računanje u prostornom domenu. Primjer:

Postoji analogija između računanja konvolucije i količine svjetlosti koja prolazi kroz preklopljene slike. Ako bijele regione na Slici 196(a) u kojoj se traži uzorak i Slici 196(b) koja je traženi uzorak zamislimo kao otvore, i ako zamislimo da Sliku 196(b) pomijeramo preko Slike 196(a) iza koje se nalazi izvor svjetlosti, najviše svjetlosti kroz otvore će proći kada se traženi uzorak poklopi sa istim uzorkom u Slici 196(a). Rezultat konvolucije prikazan je na Slici 196(c).

Slika 196. [1] Primjer određivanja konvolucije

Optimalni klasifikatori Potražicemo optimalne klasifikatore u smislu najmanje vjerovatnoće greške klasifikacije.

Neka je vjerovatnoća da uzorak x pripada klasi iω je označena sa ( )xip ω . Ako klasifikator odluči da uzorak koji pripada klasi iω pripada klasi jω , veličinu učinjene pogreška označimo sa . Kako uzorak x može da pripada bilo kojoj od M klasa, ukupna greška učinjena pri svrstavanju uzorka u klasu

ijL

jω je:

( ) ( )∑=

=M

kkkjj pLr

1

xx ω .

221

Ova jednačina se u teoriji odlučivanja često zove uslovni prosječni rizik (gubitak). Znajući da je ( ) ( ) ( )[ ] ( )bpabpapbap /= , imamo:

( ) ( ) ( ) (∑=

=M

kkkkjj PpL

pr

1

1 ωωxx

x ) ,

gdje je ( kp )ωx funkcija gustoće uzoraka iz klase kω , a ( )kP ω je vjerovatnoća pojavljivanja

klase kω . Kako je ( )xp1 pozitivno i zajedničko za sve ( ) Mjrj ,...,2,1, =x , taj član se može

izostaviti a da se ne naruši relativni poredak ove funkcije od najmanje ka najvećoj vrijednosti. Izraz koji predstavlja srednji gubitak je tada:

( ) ( ) (∑=

=M

kkkkjj PpLr

1

ωωxx ).

Za svaki uzorak klasifikator treba da odabere jednu od M mogućih klasa. Za uzorak x se

izračunaju svi i uzorak se pridružuje klasi sa najmanjim srednjim gubitkom. Klasifikator koji minimizira ukupan srednji gubitak se naziva Bayes-ov klasifikator. Bayes-ov klasifikator pridružuje uzorak x klasi

( ) ( ) ( )xxx Mrrr ,...,, 21

iω ako je . Drugim riječima, uzorak x pripada klasi ( ) ( ) ijMjrr ji ≠=⟨ ;,...,2,1,xx iω ako je:

( ) ( ) ( ) (∑∑==

⟨M

qqqqj

M

kkkki PpLPpL

11

ωωωω xx ).

U mnogim primjenama, gubitak pri donošenju ispravne odluke je nula, dok su gubici svih pogrešnih odluka jednaki i imaju neku nenegativnu vrijednost, recimo 1. Tada je ijijL δ−=1 , pa srednji gubitak postaje jednak:

( ) ( ) ( ) ( ) ( ) ( ) ( jj

M

kkkkjj PppPpr ωωωωδ xxxx −=−=∑

=1

1 ) . Dakle, uzorak x će biti pridružen klasi iω ako je:

( ) ( ) ( ) ( ) ( ) ( )jjii PppPpp ωωωω xxxx −⟨− , odnosno:

( ) ( ) ( ) ( ) ijMjPpPp jjii ≠=⟩ ;,...,2,1ωωωω xx .

Poredeći ovo sa funkcijama odlučivanja, vidimo da Bayes-ov klasifikator sa gubicima 0-1 nije ništa drugo do implementacija funkcije odlučivanja u formi:

( ) ( ) ( ) MjPpd jjj ,...,2,1== ωωxx ,

gdje se uzorak x pridružuje klasi iω ako vrijedi ( ) ( ) ijdd ji ≠∀⟩ xx .

222

Ova funkcija odlučivanja je optimalna u smislu da minimizira srednji gubitak pogrešne klasifikacije. Da bi bila primjenljiva, neophodno je poznavati funkciju gustoće uzoraka u zvakoj klasi, kao i vjerovatnoću pojavljivanja svake od klasa. Drugi zahtijev uglavnom ne predstavlja problem. Ako su sve klase jednako vjerovatne, ( ) MP j 1=ω . Ako to nije slučaj, na osnovu poznavanja problema može se zaključiti kakve su vjerovatnoće pojavljivanja klasa. Procjena funkcija gustoće ( )jp ωx nije tako jednostavna. Ako je vektor uzorka n-dimenzionalan, ( )jp ωx je funkcija od n varijabli koju je teško procijeniti, posebno kad nemamo dovoljan broj reprezentativnih uzoraka iz svake klase. Zbog ovoga se primjena Bayes-ovog klasifikatora zasniva na pretpostavljenim analitičkim izrazima, čiji parametri se procjenjuju na osnovu uzoraka iz svake klase. Najčešće se za ( )jp ωx pretpostavlja Gausova funkcija gustoće. Što je ova pretpostavka bliža realnosti, to će se Bayes-ov klasifikator bolje približavati minimumu prosječnih gubitaka u klasifikaciji.

Bayes-ov klasifikator za Gausove klase uzoraka Posmatrajmo jednodimenzionalni problem (n=1) sa dvije klase uzoraka (M=2) sa

Gausovim funkcijama gustoće, Slika 197. Bayes-ove funkcije odlučivanja imaju oblik:

( ) ( ) ( ) ( ) ( )jj

j

jjjj P

mxPxpxd ω

σσπωω

⎥⎥⎦

⎤

⎢⎢⎣

⎡ −−== 2

2

2exp

21 ,

gdje su uzorci skalari.

Slika 197. [1] Funkcije gustine za jednodimenzionalni problem klasifikacije

Granica je tačka za koju vrijedi ( ) ( )0201 xdxd = . Ako je vjerovatnoća pojavljivanja obe klase jednaka, ( ) ( ) 2121 == ωω PP , iz jednakosti funkcija odlučivanja na granici klasa slijedi ( ) ( 2010 )ωω xpxp = , dakle presjek funkcija vjerovatnoće određuje granicu klasa. Svaki

uzorak (tačka) s desne strane će biti pridružen klasi 0x 1ω , a svaki uzorak (tačka) s lijeve strane će biti pridružen klasi 0x 2ω . Ako klase nisu jednako vjerovatne, granica se pomijera prema manje vjerovatnoj klasi.

0x

U n-dimenzionalnom slučaju Gausova funkcija gustoće vektora u j-toj klasi ima formu:

223

( )( )

( ) ( ⎥⎦⎤

⎢⎣⎡ −−−= −

jjT

j

jnjp mxCmx

Cx 1

212 21exp

2

1

πω )

)

,

gdje je , { }xm jj E= ( )({ }T

jjj EC mxmx −−= , a jC je determinanta kovarijansne matrice. Procijenjena srednja vrijednost i kovarijansna matrica na osnovu uzoraka iz klase jN jω

su:

∑∈

=jj

j N ωx

xm 1 , ∑∈

−=j

Tjj

T

jj N ωx

mmxxC 1 .

Dijagonalni elementi kovarijansne matrice predstavljaju varijansu k-tog elementa iz

vektora uzorka, dok su elementi kovarijanse k-tog i j-tog elementa vektora uzorka. Kad su elementi i (deskriptori!) vektora uzorka statistički nezavisni, .

kkc

jkc

jx kx 0=jkc

Bayes-ova funkcija odlučivanja za klase uzoraka sa gubicima 0-1 je:

( ) ( ) ( ) MjPpd jjj ,...,2,1== ωωxx , ali je jednostavnije raditi sa funkcijom koja je njen logaritam i koja ima iste osobine u smislu klasifikacije (jer je ln monotono rastuća funkcija), tako da za funkciju odlučivanja možemo uzeti:

( ) ( ) ( )[ ] ( ) ( )jjjjj PpPpd ωωωω lnlnln +== xxx . Uvrštavajući izraz za Gausovu funkciju gustoće imamo:

( ) ( ) ( ) ( )[ ]jjT

jjjjnPd mxCmxCx −−−−−= −1

21ln

212ln

2ln πω .

Član π2ln2n je isti za sve klase te se može izostaviti:

( ) ( ) ( ) ( )[ ] MjPd jjT

jjjj ,...,2,1,21ln

21ln 1 =−−−−= − mxCmxCx ω .

Poslednja jednačina predstavlja Bayes-ovu funkciju odlučivanja za Gausove klase uzoraka

sa gubicima 0-1. Ona ima oblik hiperkvadratne funkcije (kvadratna funkcija u n-dimenzionalnom prostoru) jer se ne pojavljuju komponente od x reda većeg od dva.

Najbolje što se može postići Bayes-ovim klasifikatorom za Gausove klase uzoraka je da se postavi površ drugog reda između svake dvije klase uzoraka. Ako su populacije uzoraka zaista Gausove, ne postoji druga površ koja će bolje razgraničiti klase u smislu najmanjih prosječnih gubitaka u klasifikaciji.

Ako su sve kovarijansne matrice jednake, Mjj ,...,2,1, == CC , izostavljanjem svih članova koji su neovisno o j, dobiva se linearna funkcija odlučivanja:

( ) ( ) MjPd jTjj

Tjj ,...,2,1,

21ln 11 =−+= −− mCmmCxx ω .

224

Uz to, ako je i IC = ( ) MjMP j ,...,2,1,1 ==ω dobija se:

( ) Mjd jTjj

Tj ,...,2,1,

21

=−= mmmxx ,

što je funkcija odlučivanja klasifikatora zasnovanog na minimalnoj udaljenosti. Prema tome, klasifikator zasnovan na minimalnoj udaljenosti je optimalan u Bayes-ovom smislu ako su: (1) klase uzoraka Gausove, (2) sve kovarijansne matrice jednake jediničnoj matrici, (3) vjerovatnoće svih klasa podjednake. Gausove klase uzoraka koje zadovoljavaju ove uslove su sferični oblaci identičnog oblika u n dimenzija (zvani hipersfere). Klasifikator zasnovan na minimalnim udaljenostima postavlja hiperravan između svake dvije klase, sa osobinom da hiperravan okomito siječe linijski segment koji spaja centre dviju sfera. U dvije dimenzije, klase čine kružni regioni, a granica je linija koja okomito siječe duž koja spaja centar dvije klase. Primjer:

Na Slici 198 su prikazani uzorci koji pripadaju dvjema klasama u tri dimenzije. Pretpostavka je da se radi o Gausovoj raspodjeli.

Slika 198. [1] Dvije klase uzoraka i Bayes-ova granica Postupak rada Bayes-ovog klasifikatora počinje određivanjem:

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

113

41

1m , ⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

331

41

2m , ⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

−−===311131

113

161

21 CCC .

Ako pretpostvimo ( ) ( ) 2121 == ωω PP član ( )jP ωln se može ispustiti:

( ) jTjj

Tjd mCmmCxx 11

21 −− −= ,

225

gdje je:

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

−−

−−=−

844484448

1C .

Funkcije odlučivanja su:

( ) 5.14 11 −= xd x ,

( ) 5.5884 3212 −++−= xxxd x ,

dok je granična površ data sa:

( ) ( ) 04888 32121 =+−−=− xxxdd xx .

226