L k ij 5 R b t k i ijLekcija 5: Robotska vizija

Prof dr sc Jasmin VelagiProf.dr.sc. Jasmin VelagiElektrotehniki fakultet Sarajevo

K l ij M bil b tikKolegij: Mobilna robotika

2012/2013

5.1. Uvod Ljudski vizualni sistem prihvaa informacije u obliku

kodiranih svjetlosnih signala i transformira ih u 2/139elektrohemijske signale koji se dalje prenose neuronima u ovjekovom mozgu.

2/139

U biolokim znanostima se prouava kako se ove neuronske informacije obrauju i na temelju njih grade interni prikazi okruenja i kako ljudigrade interni prikazi okruenja i kako ljudi zakljuuju o svojoj okolini na temelju ovih prikaza. Sa stajalita robotike podruja raunarske ili Sa stajalita robotike, podruja raunarske ili robotske vizije istrauju oblasti raunarskog predstavljanja okoline na temelju svjetlosnihpredstavljanja okoline na temelju svjetlosnih signala i prouavaju tehnike umjetne inteligencije koje obavljaju zadatke zakljuivanja ili planiranja na temelju dobivenog prikaza okoline.

Uvod Mehanizam ljudskog percipiranja okoline,

odnosno objekata u njoj 3/139odnosno objekata u njoj. Model ljudskog vizualnog sistema.

3/139

oko mozak

optiki sistem

mrenica vizualni putevi

percepcijaulazna slika

svjetlosna energija

elektrinaenergija

Uvod Glavni cilj sistema robotske vizije je oponaati

sposobnosti i znaajke ljudskog vizualnog 4/139p j j g gsistema.

Kako je vizija najmoniji nain opaanja okoline

4/139

j j j j p jslijedi da vizualni robotski sistemi osiguravaju veliki broj informacija o robotskom okruenju na temelju kojih se moe ostvariti inteligentna interakcija u dinamikoj sredini.

Pri tome treba voditi rauna da je obrada podataka i gradnja mape okruenja na temelju

i l ih i f ij j l ij dvizualnih informacija znaajno sloenija od istih sa nevizualnim senzorima.T lj i i b t k j i iji b d i li Temeljni procesi u robotskoj viziji: obrada i analiza slike.

Uvod Obrada i analiza slike predstavljaju vane procese

kojima se transformira slika u prihvatljiv oblik i 5/139izdvajaju, odnosno prepoznaju odgovarajue znaajke slike koje se mogu koristiti u razliitim procesima

t i ij k i t bil b t

5/139

unutar navigacijskog sistema mobilnog robota. Digitalna obrada slike je proces podvrgavanja

numerikih reprezentacija objekata u slici serijinumerikih reprezentacija objekata u slici seriji operacija s ciljem postizanja eljenog rezultata.Ulaz i izlaz u procesu obrade slike predstavljaju sliku Ulaz i izlaz u procesu obrade slike predstavljaju sliku, dok se sam proces obrade sastoji od poboljavanja i obnavljanja slike.obnavljanja slike.

Ulazna slika Obrada Izlazna slika Ulazna slika Obrada Izlazna slika

Uvod Digitalna obrada slike obuhvaa sljedee procese: Operacije na slici (konvolucija, Fourierova transformacija, 6/139Operacije na slici (konvolucija, Fourierova transformacija,

Z transformacija,...). Transformacije slike (linearne, ortogonalne, diskretne).

6/139

Metode poboljanja slike (operacije na taki, prostorne operacije, upotreba transformacija, tehnike

d k l i j filt i j li i h f )pseudokoloriranja, filtriranje linearno i homomorfno,...). Obnavljanje slike (modeli degradacije slike, Inverzni i

Wienerov filter pseudoinverzija matrica )Wienerov filter, pseudoinverzija matrica, ...). Rekonstrukciju slike iz projekcija (Radonova

transformacija, operator povratne projekcije, projekcijski t a s o ac ja, ope ato po at e p oje c je, p oje c jsteorem, inverzna Radonova transformacija, Hilbertova transformacija, Fourierova metoda rekonstrukcije, ...).

Kompresiju slike koja pokuava smanjiti broj bitova potrebnih za pohranu slike bez ili sa gubitkom informacija.

Uvod Ulazna slika

Izlaz iz sistema za analizu nije slika, ve 7/139

Pretprocesiranje

numeriki ili simboliki opis njenog sadraja.

7/139

Izdvajanje znaajki U sistemu za analizu slike

postoje tri grupe operacija izdvajanje znaajki

Izdvajanje znaajki

izdvajanje znaajki, segmentacija i opis scene.

Segmentacija

scene.

Klasifikacija i opis Simboliki opis scene scene

Interpretacija scene

Uvod Postupci u procesu analize slike: Raspoznavanje uzoraka (pravilo najblieg susjeda, 8/139Raspoznavanje uzoraka (pravilo najblieg susjeda,

Bayesovo pravilo, algoritmi za grupiranje,). Izdvajanje (ekstrakcija) znaajki slike (prostorne osobine,

8/139

osobine u domeni transformirane slike, detekcija rubova, detekcija granica).S t ij lik ( lit d bilj j k ti Segmentacija slike (amplitudna, obiljeavanje komponenti, granice objekata, unutarnjost objekta, grupiranje, ekspertni sistemi, neuronske mree, )., , )

Matematika morfologija (binarna i siva). Analiza tekstura, oblika i pokreta.a a te stu a, ob a po eta Registracija slike (klasifikacija metoda za registraciju,

pregled geometrijskih transformacija i algoritama). Stereovizija (kalibracija kamere, stereovizija, problem

korespondentnih taaka).

5.2. Proces formiranja slike Veina vizualnih robotskih sistema koriste

kamere za opaanje prostora. 9/139p j p Opaanje podruja je izuzetno vano u mobilnoj

robotici za izbjegavanje prepreka pri obavljanju

9/139

robotici za izbjegavanje prepreka pri obavljanju nekog zadatka.

Meutim kod vizualnog sistema (kamera) Meutim, kod vizualnog sistema (kamera) izraen je problem gubitka informacija o dubini.dubini.

Ako se mogu predvidjeti informacije o dimenzijama objekta ili pak o njegovoj boji idimenzijama objekta, ili pak o njegovoj boji i refleksiji, tada se mogu izvui informacije o dubini. Svojstva slike ne ovise samo o promjenama u Svojstva slike ne ovise samo o promjenama u sceni ve i o parametrima kamere.

Proces formiranja slike Veza izmeu parametara kamere i svojstava slike.

10/13910/139

Ud lj t l d bj kt d i k i l iSlika je rezultat refleksije svjetlosti od objekta u smjeru kamere

Udaljenost lee do objekta d i razmak izmeu lee i arita e povezani su arinom duljinom lee f:

111edf111 +=

Proces formiranja slike Slika je rezultat refleksije svjetlosti od objekta

u smjeru kamere. 11/139 Ako je udaljenost izmeu lee i ravnine slike

jednaka e tada se nakon refleksije na ravnini

11/139

slike dobiva taka. Kada ravnina slike nije na udaljenosti e od lee

svjetlost e se od objekta reflektirati na ravnini slike u obliku zamagljenog kruga.

Prva aproksimacija polazi od toga da je svjetlost homogeno distribuirana du tog kruga i njegov promjer iznosi:promjer iznosi:

LR = L promjer lee, razmak izmeu i lik i i ie2 ravnine slike i arine ravnine.

Proces formiranja slike Razliit sugerira razliite pozicije fokusiranja za

istu scenu. 12/139 Na slikama se zapaa razliitost u otrini rubova

teksture (blii rubovi imaju veu otrinu) slike su

12/139

dobivene za dvije razliite vrijednosti .

Iz niza slika iste scene dobivenih sa razliitim Iz niza slika iste scene, dobivenih sa razliitim geometrijama kamere, moe se rekonstruirati dubina slike.

Proces formiranja slike Stvarna slika je uzorkovana konanim brojem taaka

(piksela). 13/139 Rezolucija uzorkovanja, odnosno rezolucija slike

predstavlja broj piksela digitalne slike.

13/139

Tipine rezolucije su 640 480 piksela, 320 240 piksela, itd.

Kod rezolucije je takoer vano koliko esto se mjerenja kamere proslijeuju raunaru.

Kod CCD kamera je standardni intenzitet mjerenja 30 slika/sekundi.

Svaki piksel predstavlja pojedini uzorak na slici. On je prikazan cjelobrojnom vrijednou koja j p j j j j

oznaava intenzitet (osvjetljenost) slike u toj taki.

Proces formiranja slike Prikaz slike u obliku dvodimenzionalnog polja. Indeksi piksela [i j] predstavljaju cjelobrojne 14/139 Indeksi piksela [i,j] predstavljaju cjelobrojne

vrijednosti koje oznaavaju redak, odnosno stupacu kome se nalazi piksel.

14/139

p

m stupaca

stupac j

a(i, j)

a(i, j)

redak i

a

piksel a(i, j)

n

r

e

d

a

k

a

Proces formiranja slike Osim rezolucije slike, vaan parametar koji se

odnosi na piksele je kvantizacija slike, odnosno 15/139p j j ,razina intenziteta slike koja se koristi za prikaz piksela.

15/139

Tipine razine kvantizacije slike iznose: 28 = 256, 25 = 32, itd. ,

Sistem vizije mobilnog robota obino se sastoji od dvije glavne komponente: optikog sistemaod dvije glavne komponente: optikog sistemakoji prikuplja svjetlost preko konanog polja pogleda i fokusira ovu svjetlost na ravninu slike i p g joptoelektrikog sistema koji preuzima ovu fokusiranu svjetlost i konvertira je za raunar razumljive (itljive) signale.

Proces formiranja slike Sklopovlje sistema vizije prikazano je na slici.

16/139 svjetlost 2D slika

Kontinuirani elektrini signal

2D digitalna slika

16/139

Optika Senzor slike

Meuspremnik slika (Frame

bb ) Raunar 3D scena

lee

slike grabber)

CCD polje

CCD ili CMOS kamera

Proces kolekcije, odnosno prikupljanja svjetlosti i njenog pohranjivanja u raunaru predstavlja sloen proces.

Zbog toga su i postupci koji se za njih koriste takoer sloeni.

Proces formiranja slike Lee predstavljaju zaseban modul optikog

sistema kamere. 17/139 Vane specifikacije lee su: arina udaljenost

(odreuje irinu vidnog polja) fokusiranje

17/139

(odreuje irinu vidnog polja), fokusiranje (runo/automatsko) i distorzija lee (problem korekcije distorzije). j j )

Slika trodimenzionalnog (3D) prostora dobivena kamerom oduzima prostoru jednu dimenziju, takokamerom oduzima prostoru jednu dimenziju, tako da slika postaje dvodimenzionalna (2D - gubitak informacije o dubini).j )

Iz jedne slike prostora ne moe se odrediti udaljenost od kamere do objekta u okruenju nitiudaljenost od kamere do objekta u okruenju niti dimenzije objekta.

Proces formiranja slike Za dobivanje ovih informacija mora se koristiti

vie slika 18/139vie slika. Pri tome treba naglasiti da rekonstrukcija 3D

slike iz 2D slika nije jednoznaan problem

18/139

slike iz 2D slika nije jednoznaan problem. Rjeavanje problema rekonstrukcije 3D slike

zahtijeva: modeliranje procesa akvizicije slika j p j

(kalibracija kamere), izdvajanje karakteristinih znaajki iz slike izdvajanje karakteristinih znaajki iz slike, identifikaciju odgovarajuih

k kt i ti ih jki i d ij ili ikarakteristinih znaajki iz dviju ili vie slika.

5.3. CCD i CMOS kamere CCD (Charged Coupled Device) kamera Danas najpopularniji sistem vizije 19/139 Danas najpopularniji sistem vizije. Osnovni element je CCD ip koji se sastoji od

polja svjetlosno osjetljivih elemenata ili piksela

19/139

polja svjetlosno osjetljivih elemenata, ili piksela, obino izmeu 20.000 i nekoliko miliona piksela (trenutno)(trenutno).

Svaki piksel je dimenzija od 5m x 5m do 25m x 25m i ima mogunost kapacitivnog25m x 25m i ima mogunost kapacitivnog punjenja, odnosno pranjenja.P k d t i ih ik l ij l ti Prvo se kondenzatori svih piksela u cijelosti napune, nakon ega zapoinje proces integracije (generiranja)integracije (generiranja).

CCD i CMOS kamere CCD (Charged Coupled Device) kamera

Fotoni svjetlosti udaraju u svaki piksel 20/139 Fotoni svjetlosti udaraju u svaki piksel, oslobaaju elektrone koji su obuhvaeni elektrikim poljem i zaustavljaju se na

20/139

elektrikim poljem i zaustavljaju se na pikselu (fotoelektriki efekt).

Tokom vremena svaki piksel e akumulirati razliit iznos energije na temelju ukupnog broja fotona koji su udarili u njega.

Nakon to se period integracije kompletira, p g j p ,relativan iznos energije piksela se pohranjuje i ita proces kolekcije. p j

CCD i CMOS kamere CCD kamera - ip Dolazi u razliitim oblicima i dimenzijama 21/139Dolazi u razliitim oblicima i dimenzijama. Ukupan broj piksela - 4008 x 2672 = 11 Mega

Piksela.

21/139

Piksela. Veliina piksela izmeu 5 i 25 m.

Veliina dijafragme izmeu 5 i 36 mm po osi Veliina dijafragme izmeu 5 i 36 mm po osi.

F t di d k j k i t CCD i j j d k Fotodiode koje se koriste u CCD ipu nemaju jednaku osjetljivost na sve frekvencije svjetlosnog signala.

CCD i CMOS kamere CMOS kamera CMOS ip se znaajno razlikuje od CCD ipa 22/139 CMOS ip se znaajno razlikuje od CCD ipa. On takoer ima polje piksela, ali su oni locirani

paralelno i svaki piksel koristi nekoliko

22/139

paralelno i svaki piksel koristi nekoliko tranzistora za svoje lociranje.

Proces integracije (akumuliranje energije uProces integracije (akumuliranje energije u pikselima) je isti kao kod CCD ipa.

U fazi kolekcije CMOS koristi drukiji pristup,U fazi kolekcije CMOS koristi drukiji pristup, gdje se svaki piksel mjeri i pojaava se njegov signal, pri emu se to odvija paralelno za svaki piksel u polju.

Rezultantne vrijednosti piksela se prenose do njihovih destinacija.

CCD i CMOS kamere Obje tehnologije sistema vizije, CCD i CMOS,

generiraju digitalne signale koji se mogu direktno 23/139iskoristiti u robotici.

ip u kameri posjeduje paralelne digitalne ulazne i

23/139

izlazne pinove preko kojih se prenose diskretne vrijednosti sadraja piksela.

Neki moduli vizualnog sistema koriste ove digitalne signale i obrauju ih u stvarnom vremenu.

Za ovu svrhu koristi se ip koji predstavlja meuspremnik slika (frame grabber) izmeu digitalnih izlaza kamere i digitalnih ulaza u raunardigitalnih izlaza kamere i digitalnih ulaza u raunar. Ovakvi ipovi "hvataju" kompletnu sliku i omoguuju pristup pikselima, obino u pojedinanom poretku. p s up p se a, ob o u pojed a o po e u

CCD i CMOS kamere Vizualni senzori za praenje boja Vaan aspekt opaanja vizualnog sistema je 24/139 Vaan aspekt opaanja vizualnog sistema je

detektiranje i praenje odgovarajue boje (objekta) u okolini

24/139

(objekta) u okolini. Opaanje boje ima dvije vane prednosti:

D t k ij b j j f k ij j di lik Detekcija boje je funkcija pojedinane slike. Omoguuje kombinaciju sa drugim izvorima,

i t i ij ili l ki k krecimo stereovizijom ili laserskim senzorom, kako bi se znaajno poboljale informacije.

D t j k ij l ij k Danas postoje komercijalne verzije kamera sa dodatnom elektronikom koja omoguuje detektiranje i praenje objekta na temeljudetektiranje i praenje objekta na temelju njegove boje.

CCD i CMOS kamere Vizualni senzori za praenje boja Vrlo je interesantan CMUcam vizualni senzor za 25/139 Vrlo je interesantan CMUcam vizualni senzor za

robote. Ovaj vizaulni sistem se sastoji od CMOS kamere

25/139

Ovaj vizaulni sistem se sastoji od CMOS kamere, mikroprocesora koji radi na 50 MHz.

Radi se o jeftinom inteligentnom vizualnom sistemuRadi se o jeftinom inteligentnom vizualnom sistemu (smart kamera).

Ovaj sistem osigurava visokokvalitetne informacijeOvaj sistem osigurava visokokvalitetne informacije izvuene iz slike navedenom, vanjskom procesoru, koji obrauje dobivene informacije i moe upravljati, recimo, mobilnim robotom.

Vanjski procesor konfigurira mod podataka koji se koristi za praenje.

CCD i CMOS kamere

26/139

Vizualni senzori za praenje boja26/139

CMOS kamera + Mikroprocesorski bazirani sistem

3D senzor primjena u robotici (za inspekciju)3D senzor primjena u robotici (za inspekciju)

5.4. Kalibracija kamere Redukcija trodimenzionalne pozicije

take u njenu dvodimenzionalnu 27/139take u njenu dvodimenzionalnu projekciju unutar kamere predstavlja fundamentalni problem koritenja vizije u

27/139

fundamentalni problem koritenja vizije u mobilnoj robotici.Za prevazilaenje ovog problema koriteni Za prevazilaenje ovog problema koriteni su mnogi mehanizmi koji suuju skup moguih vrijednosti udaljenosti domoguih vrijednosti udaljenosti do objekta, upotrebu vie kamera ili koritenje vremenske integracijekoritenje vremenske integracije.

Kljuni koncept u transformaciji 3D slike u njenu 2D projekciju predstavlja perspektivna projekcija.

Kalibracija kamere Perspektivna projekcija - svaka taka slike se

projicira po pravcu kroz sredite projekcije, budui 28/139da se svjetlost prostire pravolinijski.

Koncept perspektivne projekcije je ekvivalentan

28/139

projekciji takozvane "pinhole" kamere.

objekt slika

objekt

sredite projekcije sredite projekcije

arina udaljenost arina udaljenost

ravnina slike

Kalibracija kamere Bolji geometrijski prikaz se dobiva ako se slika

pomakne ispred optikog sredita kamere 29/139(sredite projekcije).

Tada se kanonike osi slike postavljaju u sredite

29/139

projekcije.(X, Y, Z) u kanonikim

koordinate k l ( )

koordinate bj kt

kanonikim koordinatama

piksela (u, v) ukanonike koordinate slike (x, y)

v

objekta x

y

optika os kanonike osi

z

ff

Z

Kalibracija kamere

Veza izmeu kanonikih koordinata slike x i y i koordinata objekta u prostoru X Y i Z 30/139y i koordinata objekta u prostoru X, Y i Zdana je na sljedei nain:

30/139

ZfYy

ZfXx == ,

Povezanosti navedenih koordinata

Zy

Z,

Povezanosti navedenih koordinata predstavljaju nelinearne transformacije.

Osnovni zadatak se sastoji u odreivanju koordinata X, Y i Z iz koordinata x i y, odnosno u i v.

Kalibracija kamere Neka je zadana proizvoljna taka u prostoru

izraena u homogenim koordinatama X=[X1 31/139izraena u homogenim koordinatama X [X1X2 X3 1]T, tada njene kanonike koordinate u slici (x /x x /x ) iznose:

31/139

slici (x1/x3, x2/x3) iznose:

1X

=

~ 21

2

1

XXX

xx

P (*)

1

33

2 Xx

( )

gdje je projekcijska matrica.P~gdje je projekcijska matrica.P

Kalibracija kamere Projekcijska matrica transformira 3D

koordinatni sistem realnog svijeta u 3D 32/139g jkoordinatni sistem koji je poravnat sa optikim sreditem (centrom) i idealnom ravninom slike

32/139

kamere, a rezultat je perspektivne projekcije na idealni 2D koordinatni sistem ravnine slike.

Neki parametri kamere ne ovise o vrsti upotrijebljene kamere i oni se nazivaju vanjski parametri kamere dok se parametri koji separametri kamere, dok se parametri koji se mijenjaju ovisno o vrsti kamere nazivaju unutarnji parametri kamereparametri kamere.

Proces dobivanja, odnosno odreivanja projekcijske matrice za odreenu kameru nazivaprojekcijske matrice za odreenu kameru naziva se kalibracija kamere.

Kalibracija kamere Postoje razliiti mehanizmi kalibracije pojedinane

kamere, ali je moda najjednostavniji i najvie 33/139koriteni postupak koritenja kalibracijskog objekta sa poznatom 3D pozicijom i projekcijom.

33/139

Za zadanu skupinu kalibracijskih taaka u koordinatnom sistemu realnog svijeta Xi( lj i lik k lib ij ki bj kt )(napravljeno vie slika sa kalibracijskim objektom) odrede se njihove projekcije u ravnini slike (ui , vi). N k t i (*) i ti k Nakon toga se izraz (*) moe napisati kao:

114313212111

1141312113 )

~(~~~~~~~~ ii XPXPXPXPX

PPPPxu P

=

=

=

3

2

1

34333232131

24323222121

14313212111

3

2

34333231

24232221

14131211

3

3

3

)~()~()(

~~~~~~~~

1~~~~~~~~

i

i

i

i

i

XXX

PXPXPXPPXPXPXPPXPXPXP

XX

PPPPPPPPPPPP

xxvxu

PPP

1gdje je u = x1/x3 i v = x2/x3

Kalibracija kamere Da bi se preslikavanje obavilo sa najmanjom

pogrekom u slici uzima se da je i 34/139iXP

~

1~ 4,3 =Pprimijenjuje se metod najmanjih kvadrata (LS metod engl. least square) koji minimizira sljedei izraz:

34/1394,3

+ 232231 ))~()~(())~()~(( iiiiii vXXuXX PPPP Rjeenje minimizacije se dobiva rjeavanjem

matrine jednadbe AX = B, gdje je:

=iiiiiiiii

ZvYvXvZYXZuYuXuZYX

1000000001

A

=K

iiiiiiiii ZvYvXvZYX 10000A

]~~~~~~~~~~~[ 3,32,31,34,23,22,21,24,13,12,11,1 PPPPPPPPPPPX =T

Kalibracija kamere

35/139

i

vu

B 35/139

=K

ivB

Rjeenje LS metode je:

Optiko sredite kamere (C C C ) u koordinatnom

BAAAX TT 1)( = Optiko sredite kamere (Cx, Cy, Cz) u koordinatnom

sistemu prostora (objekta) definira se na sljedeinain: C

=

~00

y

x

CCC

P

10

zC

Kalibracija kamere Svaki redak matrice definira ravninu koja

prolazi kroz taku optikog sredita kamere 36/139P~

prolazi kroz taku optikog sredita kamere. Presjecite i definira usmjerenost

kamere a presjecite i zakret kamere

36/139

1~P 2

~P ~P ~Pkamere, a presjecite i zakret kamere oko te osi.

2P 3P

Kalibracija kamere Primjer 1. Kalibracija kamere koritenjem

kalibracijskog objekta. 37/139 Kao kalibracijski objekt koristi se ahovska ploa.

37/139

Kalibracija kamere Proces kalibracije = odreivanje unutarnjih

(intrinzini) i vanjskih (ekstrinzinih) parametara.38/139

U postupku kalibracije prvo se detektiraju vrhoviahovskih polja na svim slikama te se nacrta mrea

li i h k l k k bi t b l i l d ti b

38/139

na slici ahovske ploe kako bi trebala izgledati bezdistorzije.Ukoliko je neki ugao predaleko od stvarnog onda Ukoliko je neki ugao predaleko od stvarnog, ondase pomou distorzijskih koeficijenata runopodeavaju uglovi.p j g

Na sljedeoj slici prikazan je primjer detektiranjauglova za drugi uzorak sa prethodne slike.g g p

Identian postupak se provodi i za ostale uzorke. Stvarni uglovi na slici oznaeni su znakom +,g ,

kruii predstavljaju reprojicirane uglove, dokstrelice predstavljaju gradijent pogreke.

Kalibracija kamere Nakon toga se te informacije o poloaju uglova

koriste u procesu odreivanja ekstrinzinih i 39/139intrinzinih parametara, odnosno minimizacijisrednje kvadratne pogreke.

39/139

YO50

100

S i h i

X

e

l

i

]

150

200

250

Stvarni vrhovislike (+) idetektirani

h i

v

[

p

i

k

s

e

300

350

vrhovi naprojiciranojmrei (o)

400

450

500

u [pikseli]100 200 300 400 500 600 700 800

550

Kalibracija kamere Dobiveni intrinzini parametri arina duljina: 40/139arina duljina: 40/139

. )1.61318 1.50531,()921.60192 913.49376,(),( =hw ff

Centar slike: )2.77715 (2.91469,)232.70717 393.65084,(),( 00 =vu

Iskoenost senzora: 0.000000.00000 = Distorzija:

[ ]T0 000000 003090 009380 393840 13214=k [ ]c 0.00000 0.00309- 0.00938- 0.39384 0.13214-=k[ ]T0.00000 0.00089 0.00087 0.08875 0.01276

Pogreka piksela:

[ ]0.000000.000890.000870.088750.0 76[ ]T0.19198 0.19534=err

Kalibracija kamere Dobiveni ekstrinzini parametri Vektor translacije: 41/139Vektor translacije: 41/139

.[ ]Tt 01712.84948 74.307502 - 269.983575-=p

Vektor rotacije: [ ]Tv 0.043652- 1.757589 1.902719=R Matrica rotacije:

0 3322490 9316630 147023

=

0 8514950 3633250 3780890.405668-0.0004300.914020

0.3322490.9316630.147023R

0.851495-0.3633250.378089-

[ ] Pogreka piksela: [ ]T0.34822 0.27080=err

Kalibracija kamere Vektor kc odreuje distorziju kamere, odnosno

definira odstupanje poloaja piksela u stvarnoj slici 42/139p j p j p ju odnosu na istu dobivenu na idealnoj ravnini slike.

Vektor rotacije Rv iskazuje smjer rotacije slike u 3D

42/139

. j v j j jprostoru oko optike osi (os isijavanja).

Matrica R opisuje rotaciju slike u 3D prostoru uMatrica R opisuje rotaciju slike u 3D prostoru uodnosu na koordinatni sistem kamere.

Vektor translacije pt definira pomak slike u odnosuVektor translacije pt definira pomak slike u odnosuna idealnu ravninu slike.

Intervali pouzdanosti intrinzinih parametaraIntervali pouzdanosti intrinzinih parametaradobivaju se na temelju minimiziranja odstupanjapiksela veeg broja uzoraka iste slike dobivenih izrazliitih uglova snimanja.

Kalibracija kamere Estimirane lokacije kamere u odnosu na ahovsku

plou za svih 20 uzoraka, odnosno pogleda kamere 43/139prema ahovskoj ploi.

Estimirane lokacije odreene su matricom rotacije i

43/139

.

vektorom translacije.1000

1500

1518612

105

m

]

0

500

15

2

6

11

12

113

9

7

20

z

[

m

m

1000

1500 38

17169

14

19

[ ]

Ekstrinzini parametri (pozicija i orijentacija ahovske ploe u odnosu na koordinatni sistem

0

500 414y [mm]kamere).

-500 0 5001000 1500

-500

x [mm]

Kalibracija kamere 3D prikaz pozicije i orijentacije uzoraka ahovske

ploe u koordinatnom sistemu kamere, gdje je 44/139sredite kamere, odnosno ishodite pridruenog jojkoordinatnog sistema oznaeno sa Oc.

44/139

.

12156

8137

185

101121179204

1619

2003 158131614

19

-200

0 Oc

z

c

[

m

m

]

10001500

2000-400

-400 -200 0 200 400 0500

1000

xc [mm]yc [mm]

Kalibracija kamere Na sljedeem slajdu prikazana radijalna distorzija

lee kamere. 45/139 Openito, distorzija u optici lea oznaava

odstupanje od idealnog modela projekcije gdje

45/139

.

ravne linije u sceni ostaju ravne linije naprojekcijskoj ravnini.

Kod kamere su najvie izraene radijalna itangencijalna distorzija.

Radijalna distorzija pokazuje kako se pomjerajutake ahovske ploe u xyz koordinatnom sistemuprilikom akvizicije slike i koristi se za estimacijuprilikom akvizicije slike i koristi se za estimacijustvarnih pozicija i orijentacija ahovske ploe.Ona je jednaka nuli u centru lee te se poveava Ona je jednaka nuli u centru lee te se poveavakako se udaljavamo od centra prema periferiji.

Kalibracija kamere Radijalna distorzija lee kamere.

46/13946/139

.

0

50

0 51 1

1.51.5

22

2.5

2.5 3

33.

54

44

4.54.5

100

150

200

0.51

5

33.54

4.5

200

250

300

0.5

0.5 11.

51.52

2

52.5 3 3.5

4

5

p

i

k

s

e

l

i

] Ol

300

350

4000.5

51

11.5

52.

53

3.54

4.5

v

[

400

450

500

1

5

1.52

2

2.5

2.5

3

3

3.5

3.5

4 4

4 5 5

.54.4.5

0 100 200 300 400 500 600 700

500

2

23

3

3

3.54

44.5 4.5

u [pikseli]

Kalibracija kamere Pogreka projekcije izraena brojem piksela. Na slici su prikazane pogreke za svih 20 47/139Na slici su prikazane pogreke za svih 20

kalibracijskih uzoraka, odnosno razliitih pogledana ahovsku plou.

47/139

.

0.6

0.8

0.2

0.4

e

l

i

]

-0.2

0

v

[

p

i

k

s

e

0 8

-0.6

-0.4

-1 -0.5 0 0.5 1

-0.8

u [pikseli]

5.5. Uzorkovanje slike Digitalna slika predstavlja kolekciju uzoraka

vizualnog sadraja okoline. 48/139 U principu, scena se sastoji od polja svjetlosnih

zraka pridruenih svim moguim smjerovima

48/139

pogleda iz svih moguih poloaja. Ovakav opis scene naziva se lumigraf. Iako slika prikazuje kontinuiranu povrinu, ona se

sastoji od diskretnih taaka uzorkovanih vremenski i prostorno.

Diskretizacija uvodi fizika ogranienja na kvalitetu prikaza kontinuiranih povrina, pri emu se signali visokih frekvencija gube iz slike, a izobliuju se signali niih frekvencijaa izobliuju se signali niih frekvencija.

Ovaj fenomen se zove aliasing.

Uzorkovanje slike Minimalna frekvencija uzorkovanja koja se

zahtijeva za kompletni prikaz kontinuiranog 49/139j p p gsignala zove se Nyquistova frekvencija.

Za prikaz kontinuiranog signala potrebno je

49/139

Za prikaz kontinuiranog signala potrebno je da se signal uzorkuje sa frekvencijom koja je najmanje dvaput vea od najvee frekvencije j j p j ju signalu (Shanonov teorem).

S tim u vezi neka se promatraS tim u vezi neka se promatra jednodimenzionalni signal f(x)=cos(x). Ako se signal f(x) uzorkuje u cjelobrojnim Ako se signal f(x) uzorkuje u cjelobrojnim takama (to jest u 0, 1, 2, 3, itd.) tada se postiu vrijednosti 1 -1 1 -1vrijednosti 1, -1, 1, -1,....

Uzorkovanje slike Ako se f(x) uzorkuje u neparnim cjelobrojnim

takama tada se dobivaju vrijednosti 1, 1, 1, 50/139takama tada se dobivaju vrijednosti 1, 1, 1, 1, ....

Izraeno pomou ugaone frekvencije

50/139

Izraeno pomou ugaone frekvencije, frekvencija uzorkovanja mora biti , to znai da kontinuirani signal frekvencije iznad iznai da kontinuirani signal frekvencije iznad i ispod - ne moe biti prikazan.Amplitudni spektar kontinuiranog signala)( kf Amplitudni spektar kontinuiranog signala f(x), za k, xn, predstavlja se Fourierovom transformacijom:

)(kf

transformacijom:

+ xxk xkdeff i)()(

= xxk deff )()(

Uzorkovanje slike Filtri ili operatori transformacije slike sa velikim

iznosima amplitudnog spektra za k blizu 51/139p g p(Nyquistova frekvencija) pojaavaju visoke frekvencije u slici, odnosno izobliuju sliku.

51/139

Operacije nad slikom najee se mogu karakterizirati konvolucijskom sumom (y = x h):

+=

+

==

1 2

),(),(),( 22112121k k

knknhkkxnny

Tako, naprimjer, izglaivanje slike x(k1,k2) moe se provesti operatorom:

1 2k k

provesti operatorom:

141010

1)( kkh (*)

=010141

8),( 21 kkh (*)

Uzorkovanje slike (k1, k2) = (0, 0) predstavlja centralni element od

h 52/139h. Dvodimenzionalna Fourierova transformacija

ulaznog signala x(n n ) povezana je

52/139

)( x ulaznog signala x(n1,n2) povezana je sa dvodimenzionalnom Fourierovom transformacijom izlaznog signala y(n

),( 21 x),( 21 ytransformacijom izlaznog signala y(n1,

n2) relacijom:),( 21 y

),(),(),( 212121 xhy =

Frekvencijska karakteristika se moe koristiti za analizu odziva operatora (filtra) za proizvoljni ulazni signal.

Uzorkovanje slike Za dvodimenzionalni operator

predstavljen diskretnom konvolucijom, je 53/139

),( 21 xxh),( 21 kkh

definiran izrazom:53/139)( 21

+= +=1 2 = =

+=1 2

2211 )(2121 ),(),(

kkehkkh

gdje su k1 i k2 kontinuirane vrijednosti prostorne frekvencije Za operator iz izraza (*) slijedi:frekvencije. Za operator iz izraza ( ) slijedi:

),(),( )(21211 2

2211ehkkh kki=+= +=

+ 21

)()( 2121

2211

1 2

eeee ikikikik ++++= = =

8/))cos(2)cos(24( 2

21 kk ++=

Uzorkovanje slike Amplituda od prikazana je na slici.

54/139

h54/139

0.8

0 2

0.4

0.6

(

k

1

,

k

2

)

|

2-0.2

0

0.2

|

h

-3 -2 -1 0 1 2 3 -20

2

k2k1

Sa slike se uoava veliko pojaanje za frekvencije blizu Nyquistove.

Ovo znai da operator (*) nee dobro operirati u prisustvu uma.

5.6. Znaajke slike Osnova mnogih vizualnih zadataka u robotskoj

viziji je usporedba dvaju ili vie pogleda istog 55/139j j p j p g gobjekta dobivenih sa dvije/vie kamera ilidobivenih iz jedne kamere sa razliitih pozicija,

55/139

pri emu je jedan od njih referentni pogled. esto je korisno izabrati takve apstrakcije slikaj p j

koje pojednostavljuju usporedbu. Pojedinani pikseli su samo indirektno povezaniPojedinani pikseli su samo indirektno povezani

sa intenzitetom (boja) objekta u sceni. Iznosi piksela su rezultat sloene interakcije Iznosi piksela su rezultat sloene interakcije

izmeu osvjetljenosti prostora, poloaja kamere,prisustva drugih objekata u prostoru iprisustva drugih objekata u prostoru irefleksijskih svojstava objekata.

Znaajke slike Vrijednosti pojedinanih piksela ne koriste

se direktno u veini zadataka robotske vizije 56/139se direktno u veini zadataka robotske vizije. Zbog toga je potrebno nainiti njihovo

preobradbu da se istaknu korisne strukture u

56/139

preobradbu da se istaknu korisne strukture uslici. U nastavku se obrauju sljedeeznaajke slike:znaajke slike: boja i sjena, ogranienja osvjetljenosti slike (optiki

tok), korelacija, izdavajanje znaajkiizdavajanje znaajki, izdvajanje rubova.

Boja i sjena Kamere u boji postiu intenzitet od skupa

senzora osjetljivih na razliite valne duljine 57/139j j jsvjetlosti (obino RGB).

Nakon toga se slika predstavlja vektorom

57/139

Nakon toga se slika predstavlja vektoromvrijednosti u svakom pikselu, radije nego samimintenzitetom.

Jedna od najefikasnijih metoda za opis objektau sceni je histogram boja kojim se objektu sceni je histogram boja kojim se objektopisuje odreenom kombinacijom boja.

Slika se predstavlja vektorom (h h h ) u n Slika se predstavlja vektorom (h1, h2 ,..., hn) u n-dimenzionalnom vektorskom prostoru, gdjesvaki element h oznaava broj piksela i-te bojesvaki element hi oznaava broj piksela i-te bojeu slici.

Boja i sjena

Slinost slike H opisane histogramom (h1,h h ) i slike K opisane sa (k k k ) 58/139h2 ,..., hn) i slike K opisane sa (k1, k2 ,..., kn)moe se izraunati prema izrazu:

58/139

= iid khKH ),( U standardnim primjenama skup moguihp j p g

boja se reducira na manji broj (256 je tipianbroj boja) i tada se slika moe predstaviti saj j ) p256 vrijednosti.

Histogrami se normiraju tako da je mjera Histogrami se normiraju tako da je mjeraslinosti neovisna o veliini slike.

Optiki tok Iako vrijednosti pojedinanih piksela nisu

stabilne uz velike promjene u slici, mogu se 59/139p j , gsmatrati stabilnim pri malim promjenama.

Drugim rijeima intenzitet take se ne mijenja

59/139

Drugim rijeima, intenzitet take se ne mijenjanjezinim kretanjam.

Ovo je iskazano jednadbom ogranienja Ovo je iskazano jednadbom ogranienjaosvjetljenosti, odnosno jednadbomogranienja gradijenta:ogranienja gradijenta:

)()( tyxfdttdyydxxf =+++ (**)),,(),,( tyxfdttdyydxxf =+++ ( )

gdje je f(x, y, t) funkcija intenziteta slike.

Optiki tok Razvojem funkcije f(x, y, t) u Taylorov red

dobiva se: 60/139dobiva se: 60/139

)(),,(),,( 2xdtfdyfdxftyxfdttdyydxxf ++++=+++

Z j l i k d (O( 2)

)(),,(),,( xdtt

dyy

dxx

tyxfdttdyydxxf +++++++

Zanemarenjem lanova visokog reda (O(x2) drugog i vieg reda po x-u) i uzimajui u obzirizraz (**) slijedi:izraz (**) slijedi:

dyfdxff += (***)dtydtxt += (***)

Ova jednadba se naziva jednabomogranienja optikog toka.

Optiki tok Jednadba ogranienja optikog toka postavlja

ogranienje na brzinu slike (u, v) = (dx/dt, dy/dt) 61/139ogranienje na brzinu slike (u, v) (dx/dt, dy/dt)u ovisnosti o lokalnim derivacijama funkcijeintenziteta slike (Ex, Ey, Et) = (df/dx, df/dy,

61/139

( x, y, t) ( f , f y,df/dt).

Jednadba (***) nije dovoljna za izraunavanje Jednadba ( ) nije dovoljna za izraunavanjeoptikog toka (u, v), ve samo linearnogogranienja E u + E v + Et = 0.ogranienja Exu + Eyv + Et 0.

Lokalne informacije sadrane u jednadbiogranienja optikog toka daju linearnaogranienja optikog toka daju linearnaogranienja na (u, v), pri emu optiki tokpredstavlja vektorsko polje (u v)predstavlja vektorsko polje (u, v).

Optiki tok Ovo postavlja ogranienje na tok u smjeru

gradijenta osvjetljenosti ali ne i na 62/139g j j jogranienje u smjeru okomitom na smjergradijenta osvjetljenosti (slika ispod).

62/139

Optiki tok

Takoer je potrebno raunati u i v za svakipiksel to nije mogue navedenim 63/139piksel, to nije mogue navedenimpostupkom jer jednadba ogranienjaoptikog toka daje samo jednu jednadbu

63/139

optikog toka daje samo jednu jednadbupo pikselu.D bi d bil j d lj tik Da bi se dobilo jednoznano polje optikogtoka neophodne su dodatne informacije.

Nedostupnost lokalnih informacija optikogtoka u smjeru okomitom na smjergradijenta osvjetljenosti poznato je podimenom aperture problem (problemdijafragme kamere).

Optiki tok Rjeavanje aperture problema se omoguuje

uvoenjem dodatnih izraza koji izraunavaju 64/139j j jintegral kvadrata amplitude gradijentaoptikog toka:

64/139

+++= dxdyvvuue yxyxs )( 2222 yxyxsi pogreku u jednadbi ogranienjaoptikog toka:

++= dxdyEvEuEe tyxc 2)( ytyxc )(

Optiki tok Oba izraza trebaju poprimiti to je mogue

manje vrijednosti kada se eli minimizirati 65/139manje vrijednosti kada se eli minimiziraties + ec, odnosno izbjei aparture problem,gdje je parametar koji "oteava" pogreku

65/139

gdje je parametar koji oteava pogrekuu jednadbi kretanja scene (slike).V lik ij d t t k i ti Velika vrijednost ovog parametra se koristiako je mjerenje osvjetljenosti tano, a mala

k j j k i ako su mjerenja prekrivena umom(zaumljena).

U praksi se parametar runo podeavakako bi se postigle to je mogue boljep g j g jperformanse.

Optiki tok Primjena Eulerove jednadbe daje:

66/13966/139

xtyx EEvEuEu )(2 ++=

ytyx EEvEuEv )(2 ++=

dj j

ytyx )(

gdje je:22

2 + 22 dydx +=

Laplaceov operator.

Optiki tok Gornje jednadbe formiraju par eliptikih diferencijalnih

jednadbi drugog reda.67/139

U sluaju pojave silueta (jedan objekat zatvara drugi)javlja se diskontinuitet u optikom toku.

67/139

Ovo naravno naruava ogranienje glatkoe. Jedna od mogunosti prevazilaenja ovog problema je

pokuati pronai rubove koji nagovjetavaju ovakvapokuati pronai rubove koji nagovjetavaju ovakvapreklapanje objekata, a da se pri tome iskljue pikseli ublizini takvih rubova na temelju raunanja optikog toka.j j p g

Optiki tok obeava da bude sastavni dio buduihalgoritama vizije koji e kombinirati znakove koritenjemviestrukih algoritama.

Meutim, algoritmi izbjegavanje prepreka i upravljakinavigacijski sistemi koji iskljuivo koriste optiki tok nisunavigacijski sistemi koji iskljuivo koriste optiki tok nisujo uvijek u irokoj upotrebi.

Korelacija Iako se intenzitet strukture scene mijenja sa

promjenom pogleda, moe postojati sluaj da 68/139lokalna struktura slike blizu promatrane,interesantne take ostane konstantna.

68/139

Jedan od najpopularnijih pristupa koji umjestopromatranja jednog piksela, kao kod optikog toka,promatra skup piksela (prozor u slici) i uzorak izpromatra skup piksela (prozor u slici) i uzorak izjedne slike se korelira sa drugom slikom da sepronae njegov poloaj u drugoj slici.pronae njegov poloaj u drugoj slici.

Ovaj pristup se naziva korelacija.Slinost dviju slika f i definirana je izrazom: Slinost dviju slika f i g definirana je izrazom:

++ 22 ))()(()( fd ++= 22 )),(),((),( yyxxgyxfyxd

Korelacija Gornja suma je nainjena preko podruja dviju slika

koje se usporeuju. 69/139 Mjestu gdje se slika g moe nai u slici f pridruuje

se mala vrijednost d2, odnosno slike f i g su sline

69/139

j , f gako je d2 malo.

Obavljanjem operacije kvadriranja dobiva se:Oba ja je ope ac je ad a ja dob a se),(),(2),(),(),( 222 yyxxgyxfyyxxgyxfyxd +++++=

Ako se pretpostavi da su f i g konstantni unutar cijelog prozora tada je minimizacija izraza d2(x y)cijelog prozora, tada je minimizacija izraza d (x, y) ekvivalentna maksimizaciji korelacije f i g-a, gdje je korelacija dana sa:j ++= ),(),(),(corr yyxxgyxfyx

Korelacija U tipinim primjenama je mali prozor u jednoj

slici u korelaciji sa dijelovima prozora druge 70/139j j p gslike.

Korelacija je relativno jeftina

70/139

Korelacija je relativno jeftina. Cijena je povezana sa veliinom prozora i

podruja koji se pretraujepodruja koji se pretrauje. Takoer, jednostavna korelacijska funkcija dana

gornjim izrazom je osjetljiva na lokalnegornjim izrazom je osjetljiva na lokalne osjetljivosti slika f i g. O f k ij j k j lji l Ova funkcija je takoer osjetljiva na um u ulazu i distorziju izmeu dviju slika koje nisu rezultat jednostavnog pomjeranja (shiftovanje)jednostavnog pomjeranja (shiftovanje).

Korelacija Normiranjem se dobiva sljedea korelacijska

funkcija: 71/139funkcija: 71/139

1

),(),(),( yyxxgyyxxfyxW ++++2),(),( yxvyxv gf

gdje su f i g korigirane verzije ulaza, vf i vgg j f g g j , f gsu lokalne varijance od f i g izraunate unutar funkcije prozora W.unutar funkcije prozora W.

Izdvajanje znaajki slike Umjesto razmatranja cjelokupne slike neki pristupi

koriste heuristike za identificiranje pojedinih taaka 72/139na slici koje su vane za odreeni zadatak i kasnije koritenje tih taaka za prikazivanje slike.

72/139

Korneri, naprimjer, esto su veoma vani za vizualne zadatke i za njihovo identificiranje se koriste ranije izgraeni detektori kornerakoriste ranije izgraeni detektori kornera.

Opa klasa takvih operatora je poznata pod imenom detektori znaajki ili operatori od interesadetektori znaajki ili operatori od interesa.

U praksi ovi detektori trebaju identificirati lokacije koje su stabilne unutar malih promjena u slici i malihkoje su stabilne unutar malih promjena u slici i malih promjena u taki pogleda.

Oni takoer saimaju sliku u obliku brojnih podesivih Oni takoer saimaju sliku u obliku brojnih podesivih znaajki.

Izdvajanje znaajki slike Jedan od najpopularnijih i najvie koritenih

detektora znaajki je Moravecov operator. 73/139j j p Ovaj operator generira potencijalne take od

interesa na temelju mjerenja karakteristinih

73/139

interesa na temelju mjerenja karakteristinih parametara lokalne strukture slike.

Moravecov operator definira mjeru varijance u Moravecov operator definira mjeru varijance u pikselu (x, y) kao:

[ ] 21

2),(),(),var(

++= lykxfyxfyx

gdje je:

, Slkgdje je:

)}0,(),0,(),,0(),,0{( aaaaS = a je parametar.

Izdvajanje znaajki slike

Varijanca se rauna u okolici piksela (x, y) i minimalna varijanca se rauna na sljedei 74/139minimalna varijanca se rauna na sljedei nain:

74/139

),var(min),( Moravec),(

yyxxyxNNyx

++= pri emu se uzimaju samo minimalne lokalnepri emu se uzimaju samo minimalne lokalne vrijednosti operatora koje premauju specificirani pragspecificirani prag.

Moravecov operator je dizajniran s ciljem identifikacije taaka u slici koje imaju visokuidentifikacije taaka u slici koje imaju visoku varijancu, kao to su, naprimjer, korneri.

Izdvajanje znaajki slike Iako su take sa visokom vrijednou

varijance od interesa veoma je teko rei koji 75/139varijance od interesa veoma je teko rei koji detektor e biti odgovoran. Nagel (Nagel 1982) je razvio detektor koji

75/139

Nagel (Nagel, 1982) je razvio detektor koji veoma dobro reagira na uzorke intenziteta koji se pojavljuju u blizini kornera u slicikoji se pojavljuju u blizini kornera u slici.

Naalost, distribucija intenziteta slike identificiranih Nagelovim detektorom kornera samo indirektno odgovaraju kornerima na slici.

Izdvajanje znaajki slike Mnogo efikasniji je takozvani binarni

akvizicijski predloak koji predstavlja posebno 76/139j p j p j pizraen predloak poznate veliine koji se stavi u prostor i kome se lahko odrede pozicija i

76/139

orijentacija.

Binarni akvizicijski predloakpredloak

Izdvajanje rubova Mnoge slike mogu se opisati u obliku

strukture promjena u intenzitetu slike 77/139strukture promjena u intenzitetu slike. Rubovi predstavljaju konture u slici na kojima se skokovito mijenja intenzitet

77/139

kojima se skokovito mijenja intenzitet. Budui da je slika opisana kontinuiranom

funkcijom f( ) slijedi da se rubovifunkcijom f(u, v) slijedi da se rubovi pojavljuju na mjestima gdje su velike

ij d ti dij t f k ij f( )vrijednosti gradijenata funkcije f(u, v). Gradijent funkcije f(u, v) je vektor f(u, j j f( , ) j f( ,v)=[f/u, f/v].

Trenutno postoji veliki broj diskretnih Trenutno postoji veliki broj diskretnih aproksimacija gradijenta.

Izdvajanje rubova Kod gradijentnih operatora moraju se

izraunavati lokalni maksimumi i 78/139izraunavati lokalni maksimumi i minimumi u slici, to moe biti vrlo teko ostvariti

78/139

ostvariti. Ovaj problem se ublaava primjenom

gradijentnih operatora drugog reda kod kojihgradijentnih operatora drugog reda, kod kojih se trae take prolaska druge derivacije funkcije f( ) kroz nulufunkcije f(u, v) kroz nulu.

Ako su 1 i 2 ortogonalne usmjerene 1 2derivacije intenziteta slike, tada je amplituda gradijenta intenziteta slike dana sa 2221 +dok je smjer ovog gradijenta dan satan-1 (2/1).

Izdvajanje rubova Naprimjer, Sobelov operator se implementira

pomou korelacije slike sa operatorima 1 i 2, gdje 79/139p j p 1 2 g jsu oni dani sa:

79/139

121101

=

=

121000 ,

101202 21

Efekt djelovanja Sobelovog operatora prikazan je naslikama.

original (I) 1I 2I

Izdvajanje rubova Naalost, operatori koji koriste derivacije

imaju tendenciju pojaavanja uma u slici. 80/139j j p j j Zbog toga je potrebno obaviti filtriranje da bi se

smanjio um pa tek onda primijeniti Sobelov

80/139

smanjio um, pa tek onda primijeniti Sobelov operator.

U vezi s tim je vano promatrati odziv svakog od U vezi s tim je vano promatrati odziv svakog od Sobelovih filtera. Tako za 1 prijenosna funkcija postaje:postaje:

)()( )(1 2

2211hkk kki += += + ))sin(2)sin()(sin(2

),(),( )(212111 2

2211

kkkkki

ehkk kki

+++

= = =

+

))sin(2)sin()(sin(2 12121 kkkkki +++=

Izdvajanje rubova

Modul prijenosne funkcije prikazan je na slici.81/139

181/139

8

4

6

0

2

-3 -2 -1 0 1 2 3 -20

2-2

0

k2

Iako 1 ima veliku amplitudu na visokim frekvencijama moese oekivati njegovo slabo djelovanje u prisustvu uma

0 1 2 3 k2k1

se oekivati njegovo slabo djelovanje u prisustvu uma.Koritenje inicijalnog filtriranja s ciljem uklanjanja visokihfrekvencija ini operatore sline Sobelovim mnogo stabilnijim.

Izdvajanje rubova Drugi glavni problem sa gradijentnim

operatorima je da se mora pretraivati njihov 82/139p j p jizlaz kako bi se pronali i identificirali lokalni maksimum i minimum (poznati kao iljci) na slici.

82/139

iljci su predstavljeni znaajkama koje je veoma teko pronai u slici. p

Upotreba gradijentnih operatora drugog reda reducira ovaj problem jer se pretraga iljakareducira ovaj problem jer se pretraga iljaka zamjenjuje sa pronalaenjem taaka prolaska kroz nulu.

Postoji mnogo vrsta gradijentnih operatora drugog reda koji se ovdje mogu razmatrati, pridrugog reda koji se ovdje mogu razmatrati, pri emu je moda Laplaceov operator najpopularnijim.

Izdvajanje rubova Ovaj operator je oblika:

83/13983/139

2

2

2

22

yx +

=

Laplaceov operator je neusmjereni operator drugog reda

yx

reda. Operatori drugog reda takoer pojaavaju

visoke frekvencije to ima za posljedicu njihovuvisoke frekvencije, to ima za posljedicu njihovu osjetljivost na um i potrebno je takoer predfiltriranje slike niskopropusnim filtrom, p j p p ,naprimjer, Gaussovim filtrom oblika:

22

1 yx + 2222

1),( y

eyxG=

Izdvajanje rubova Laplaceov operator Gaussova filtra iznosi:

84/13984/139

))()( 22 IGIG =

Ovaj se operator koristi za raunanje j p jprolaska kroz nulu druge derivacije radije nego za raunanje iljaka u prvoj derivaciji.

Operator 2G je izotropni operator to znai da nije selektivan prema orijentaciji rubova. j p j j

Odzivi Gaussova filtra i njegovog Laplaceovog operatora prikazani su na sljedeem slajdu.operatora prikazani su na sljedeem slajdu.

Izdvajanje rubova Odzivi Gausova filtra (a) i njegovog

Laplaceovog operatora (b) 85/139Laplaceovog operatora (b) 85/139

x 10-3

4

6

x 10-4

20

2

010

200

200

-4

-2

(a)-20

-10-20

xy

010

200

20-6

(b)-20

-100

-20xy

Izdvajanje rubova Rezultati dobiveni Laplaceovim operatorom

Gaussova filtra primijenjenim za istu sliku uz 86/139razliite vrijednosti parametra prikazani su na sljedeim slikama.

86/139

original =1

Izdvajanje rubova

87/13987/139

=0.5 =2

Izdvajanje rubova Sa slika je jasno da se promjenom ovog

parametra moe prilagoavati rezolucija 88/139parametra moe prilagoavati rezolucija prikaza prostora.Izdvojeni individualni rubni pikseli obino se

88/139

Izdvojeni individualni rubni pikseli obino se povezuju u sloenije strukture prije daljnje obradeobrade.

Naprimjer, skup taaka koje predstavljaju linijski segment moe se u njega i pretvoriti.

Na taj se nain smanjuje koliina podataka j j j pkojom je prikazana slika.

Ovaj postupak se zove vektorizacija slike Ovaj postupak se zove vektorizacija slike.

Izdvajanje rubova Cannyjev operator Ova metoda koristi vierazinski algoritam za 89/139Ova metoda koristi vierazinski algoritam za

detekciju rubova u slici. Za razliku od ostalih metoda za detekciju i izdvajanje

89/139

Za razliku od ostalih metoda za detekciju i izdvajanje rubova, Cannyjeva metoda koristi dvije razliite vrijednosti pragova za detektiranje jakih i slabih rubova, te ukljuuje slabe rubove samo u sluaju kada su povezani sa jakim rubovima.

Na ovaj nain omogueno je kvalitetnije izdvajanje rubova iz slike u prisustvu uma.

Cannyjeva metoda predstavlja "optimalnu" metodu za detekciju, odnosno izdvajanje rubova.O i l f k ij C j d k i j Optimalna funkcija Cannyjevog detektora opisana je zbrojem eksponencijalnih lanova.

Izdvajanje rubova Cannyjev algoritam moe se razmatrati kao filter koji

ulaznu crno-bijelu sliku obrauje tako da na izlaznoj 90/139slici postoje samo rubovi ili ne-rubovi.

Detekcija rubova odvija se u etiri faze: izglaivanje

90/139

(usrednjavanje) slike, odreivanje gradijenta intenziteta slike, stanjivanje rubova i uporedba s pragompragom.

originalna slika Sobel Canny

5.7. Segmentacija slike Segmentacija slike bavi se dekompozicijom

scene u njezine sastavne dijelove. 91/139 Osnovni cilj njenog koritenja je odvajanje piksela

koji predstavljaju objekte od interesa od ostalih

91/139

piksela u sceni. Proces segmentacije slike obuhvaa tri potprocesa:

klasifikacija piksela, reprezentacija i opis. Na temelju ovih procesa razvijene su razliite

metode segmentacije. U nastavku poglavlja se razmatraju sljedei postupci

segmentacije: binarna, segmentacija s pragom (amplitudna segmentacija), grupiranje, obiljeavanje komponenti i metode koje koristeobiljeavanje komponenti i metode koje koriste granice objekta.

Segmentacija slikeBinarna klasifikacija s pragom Klasifikacija piksela predstavlja proces zakljuivanja 92/139Klasifikacija piksela predstavlja proces zakljuivanja

koji se primjenjuje na svaki piksel i pridruuje ga jednoj od C klasa, , gdje se klasa

92/139

{ }1,...,0 Ccj j g jpiksela c predstavlja cjelobrojnom vrijednou.

Kada je C = 2 tada se govori o binarnoj j g jklasifikaciji. U tom sluaju, pikseli se mogu klasificirati kao objekti (c = 1) ili neobjekti (c = 0) predstavljeni bijelom ili crnom bojom.

Binarna klasifikacija:

fvutvuftvuf

vuc

Segmentacija slike Prag t moe se odrediti koritenjem histograma

prvog reda, odnosno raunanjem minimuma u 93/139histogramu.

Odreuje se iznos praga tako da dio piksela ima

93/139

svjetlinu niu od praga ili odrediti prag na temelju histograma izraunatog za piksele u slici koji zadovoljavaju neki kriterij (velik iznos gradijenata)zadovoljavaju neki kriterij (velik iznos gradijenata).

Kod mnogih slika vrijednost piksela pada u jednu od dvije skupine tamne ili svijetle takedvije skupine, tamne ili svijetle take.

U takvim se sluajevima objekt moe izdvojiti od pozadine na temelju vrijednosti amplitude.pozadine na temelju vrijednosti amplitude.

Kod izbora praga mogu nastati problemi usljed djelovanja uma i smetnje, kada objekt i pozadina j j j , j pslike imaju irok raspon vrijednosti i u sluaju neuniformne pozadine.

Segmentacija slike Binarno klasificirane slike sa razliitim vrijednostima

praga: 0.4, 0.6 i 0.8. 94/13994/13950

100

50

100

v

[

p

i

k

s

e

l

i

] 150

200

250 v

[

p

i

k

s

e

l

i

] 150

200

250

300

u [pikseli]100 200 300 400 500

300

350

u [pikseli]100 200 300 400 500

300

350

[p ] u [pikseli]

50

100]

50

100

150

v

[

p

i

k

s

e

l

i

] 150

200

250

300

v

[

p

i

k

s

e

l

i

] 150

200

250

300

u [pikseli]100 200 300 400 500

300

350

u [pikseli]100 200 300 400 500

300

350

Segmentacija slikeBinarna klasifikacija sa Niblackovim algoritmom Niblackov algoritam koristi lokalni prag koji se 95/139Niblackov algoritam koristi lokalni prag koji se

rauna na sljedei nain:95/139

)()(),( WkWvu t +=gdje je W veliina regija oko take (u, v), () srednja vrijednost i ( ) standardna devijacija

)()(),( WkWvu t +

srednja vrijednost i ( ) standardna devijacija.

5050

p

i

k

s

e

l

i

]

100

150

200

[

p

i

k

s

e

l

i

]

100

150

200v

[

p

250

300

v

[

250

300

350

u [pikseli]100 200 300 400 500

350

u [pikseli]100 200 300 400 500

Segmentacija slikeGrupiranje s K srednjih vrijednosti (engl. K-means clustering) 96/139 Pronalazi grupe (engl. clusters) taaka u ravnini,

gdje svaka grupa odgovara skupini piksela sa

96/139

istaknutom razlikovnom bojom.

0 9

1

0.7

0.8

0.9

Tri grupe taaka sacentrima gdje su

0.4

0.5

0.6

y

centrima, gdje sucentri prikazaniveim krugovima.

0.2

0.3

0 0.2 0.4 0.6 0.8 10

0.1

x

Segmentacija slike Ovdje se polazi od pretpostavke da pojedinana

scena sadri etiri razliita elementa u boji. Pikseli se i j ti i k t k kl (C 4) 97/139grupiraju u etiri kromatske klase (C = 4).

Algoritam grupiranja s K srednjih vrijednosti je it ti i l it i j N di i l ih

97/139

iterativni algoritam za grupiranje N-dimenzionalnih taaka u K prostornih grupa.Svaka grupa definirana je centrom koji predstavlja Svaka grupa definirana je centrom ck koji predstavlja N-dimenzionalni vektor.

Neka je x N dimenzionalni vektor znaajki slike u taki Neka je x N-dimenzionalni vektor znaajki slike u taki (i, j).

Segmentacija treba grupirati vektore tako da znaajke Segmentacija treba grupirati vektore tako da znaajke unutar jedne grupe budu uniformne.

Nadalje, neka je poznat broj grupa K i neka je ck(n)Nadalje, neka je poznat broj grupa K i neka je ck(n)centar k-te grupe u n-toj iteraciji. Inicijalno se ck(0)postave na bilo koju vrijednost.

Segmentacija slike U n-toj iteraciji odabere se jedan vektor xi i dodijeli se

grupi taaka Rk ijem je centru najblii: 98/139g p k j j j 98/139

))}(,({min))(,( 1

ndndR jiKj

kiki cxcxx ==

Zatim se ponovo izraunaju centri grupa kao vektori

,...,1 Kj=

Zatim se ponovo izraunaju centri grupa kao vektori koji minimiziraju udaljenosti za vektore iz pojedine grupe:

Kkdndn iRx

kik

ki

,...,1 )},,({min))1(,( :)1( ==++

yxcxcy

Postupak se ponavlja sve dok se poloaj centara vie

Rx ki

p p j p jne mijenja, odnosno dok se sve take ne pridrue pojedinoj grupi.

Segmentacija slike Primjer 2. Segmentacija zasnovana na grupiranju

s K srednjih vrijednosti99/13999/139

50

s

e

l

i

]

100

150

200

s

e

l

i

]

100

200

v

[

p

i

k

s

250

300

350

v

[

p

i

k

s

300

100 200 300 400 500 600

400

450

100 200 300 400 500 600

400

u [pikseli] u [pikseli]

originalna slika slika dobivena klasifikacijom piksela za C = 4

Segmentacija slike

100/1390 60.7

0.8

100

100/139

1 2

3

4

y

0.3

0.4

0.5

0.6

v

[

p

i

k

s

e

l

i

]

200

300

0 0 2 0 4 0 6 0 80

0.1

0.2400

x0 0.2 0.4 0.6 0.8

centri klasa u xy kromatskoj ravnini u [pikseli]100 200 300 400 500 600

pikseli klase 3.p

k

s

e

l

i

]

100

200slika nakon primjene morfoloke

v

[

p

i

k

300

400

slika nakon primjene morfoloke operacije zatvaranja s krunim strukturnim elementom polumjera r = 2

u [pikseli]100 200 300 400 500 600

400

Segmentacija slikeSegmentacija zasnovana na obiljeavanju komponenti 101/139 Jednostavna i efikasna metoda koja se zasniva na

ispitivanju povezanosti piksela sa njegovim

101/139

susjedima i obiljeavanja povezanih skupova taaka. Algoritam: Prvo se binarnom slikom prolazi liniju po

liniju, slijeva na desno i odozgo prema dolje. Trenutni piksel X moe biti objekt (vrijednost 1) ili

pozadina (vrijednost 0). Ako je vrijednost piksela 1 tada se on obiljei

ispitivanjem susjeda. Ako je neki od susjeda ve obiljeen da pripada

nekom objektu onda i X dobiva istu oznaku.

Segmentacija slike U sluaju da neki od susjeda imaju razliite oznake

tada se pripadni objekti stapaju (ekvivalentni objekti). 102/139 Nova oznaka se stvara kod svakog prijelaza iz

vrijednosti na izolirani piksel 1 (novi objekt).

102/139

Rezultat pretraivanja je segmentacija slike u regije, to jest skupine objekata slike.

Segmentacija slikeSegmentacija zasnovana na granicama objekta Vri segmentaciju objekata u slici na temelju granica 103/139Vri segmentaciju objekata u slici na temelju granica

objekata. Granice objekta mogu se izdvojiti sljedeim metodama:

103/139

Granice objekta mogu se izdvojiti sljedeim metodama: praenje granice objekta, interpolacija krivulje i Houghova transformacija.

Metoda praenja granice (konture) daje kao izlaz niz koordinata taaka koje se nalaze na granici objekta.

Dobiveni niz odreuje regiju slike koja pripada objektu. Metoda interpolacije krivulje povezuje take p j j p j

rasporeda rubova da bi se dobila zatvorena kontura koja definira regiju.

Za to je potrebno razbiti konture u dijelove koji se interpoliraju i primijeniti neki od postupaka interpolacije.

Segmentacija slike Houghova transformacija Houghova transformacija koristi se za detekciju linija 104/139Houghova transformacija koristi se za detekciju linija

u slici. Pravu liniju, odnosno pravac, potrebno je opisati u

104/139

Pravu liniju, odnosno pravac, potrebno je opisati u obliku minimalnog broja parametara.

Standardni zapis v = au + b je problematian uStandardni zapis v au + b je problematian u sluaju vertikalnog pravca kada je a = .

Umjesto toga moe se koristiti ( ) parametrizacija: Umjesto toga moe se koristiti (, ) parametrizacija:

=+ cossin vuodnosno:

cos

tan += uv

Segmentacija slike [-/2, /2) je ugao nagiba i udaljenost pravca od

ishodita, za koji vrijedi [ min, max]. 105/139, j j [ min, max] Horizontalni pravac ima = 0 i vertikalni = -/2.

Svaki pravac moe se promatrati kao taka ( ) u

105/139

Svaki pravac moe se promatrati kao taka (, ) u dvodimenzionalnom prostoru svih moguih linija.Houghova transformacija preslikava pravac u taku u Houghova transformacija preslikava pravac u taku u koordinatnom sistemu . F ilij k j l i k j d t k bi Familija pravaca koja polazi kroz jednu taku bi se preslikala u skup taaka koje lee na sinusoidi. U praksi se razmatraju pravci iz konanog skupa U praksi se razmatraju pravci iz konanog skupa.

U tom smislu se ravnina kvantizira i koristi se d j lj A di ij N Nodgovarajue polje A dimenzija N N.

Ovo polje naziva se Houghova ravnina.

Segmentacija slike Primjer 3. Promatra se pravokutni objekt zakrenut za

odreeni ugao u smjeru kretanja kazaljke na satu. 106/139

50

100 100

200

300106/139

v

[

p

i

k

s

e

l

i

]

100

150

200

[

p

i

k

s

e

l

i

]

-200

-100

0

Houghova ravnina

u [pikseli]50 100 150 200 250

200

250

theta [rad]-1.5 -1 -0.5 0 0.5 1 1.5

-300

200 ravnina

60

80

100

Prikaz oko 50

100

Projekcija detektiranih linija

[

p

i

k

s

e

l

i

]

0

20

40 jedne presjene take

v

[

p

i

k

s

e

l

i

]

100

150

200

linija (Houghovi pravci) na originalnu

theta [rad]-0.5 -0.4 -0.3 -0.2 -0.1 0

-40

-20

u [pikseli]50 100 150 200 250

200

250

originalnu sliku

Segmentacija slikeSegmentacija zasnovana na raunanju momenta Momenti su efikasna i raunarski nezahtjevna klasa 107/139Momenti su efikasna i raunarski nezahtjevna klasa

svojstava slike koji mogu opisati veliinu regije, njenu lokaciju i oblik.

107/139

Moment slike f je skalar opisan izrazom:

),(),(

vufvumfvu

qppq

=

gdje je (p + q) red momenta. Za p = q = 0 imamo moment nultog reda odnosno: Za p = q = 0 imamo moment nultog reda, odnosno:

= vufm )(

=fvu

pq vufm),(

),(

Segmentacija slike Za binarnu sliku u kojoj su vrijednosti piksela podloge

jednaki nuli, moment predstavlja broj ne-nultih piksela 108/139(bijeli), odnosno veliinu regije izraenu brojem piksela.

108/139

Neka je ukupna masa regije jednaka m00 tada je centar mase ili centroid regije:

00

01

00

10 ,mmv

mmu cc ==

gdje su m10 i m01 momenti prvog reda.

0000 mm

Centralni momenti pq raunaju se u odnosu na centroid kao:

=

fvu

qc

pcpq vufvvuu

),(

),()()(

Segmentacija slike Ovi momenti povezani su sa momentima mpq na

sljedei nain: 109/139j

22

0110 0 ,0 == 109/139

00

01101111

00

201

020200

210

2020 , , mmmm

mmm

mmm ===

Matrica inercije regije:

=0211

1120

J

sadri momente oko osi koje su paralelne sa osima u i v i koje prolaze kroz centroid regije. Drugi centralniv i koje prolaze kroz centroid regije. Drugi centralni momenti 20 i 02 su momenti inercije i 11 je produkt inercije.

Segmentacija slike Produkt inercije poprima ne-nultu vrijednost ako je

oblik regije nesimetrian u odnosu na osi regije. 110/139 Na ovaj nain dobiva se ekvivalentna elipsa koja

ima istu matricu inercije kao i regija.

110/139

Svojstvene vrijednosti i svojstveni vektori matrice Jpovezani su sa radijusima elipse i njenom j jorijentacijom u odnosu na osi koordinatnog sistema.

Radijusi elipse raunaju sa kao:

2 ,2 21 ba ==

Zadnji stupac matrice svojstvenih vektora (v i v )

,0000 mm

v Zadnji stupac matrice svojstvenih vektora (vx i vy) odreuje ugao koji ovaj vektor zatvara sa x osi:

=

x

y

vv1tan

Segmentacija slike Primjer 4. Segmentacija zasnovana na raunanju

momenta 111/139 Ciljna regija oznaena je crnim pravokutnikom na drugoj

slici. Za ovu regiju raunaju se: momenti slike, centroid ij t i i ij ij ( t l i ti) dij i

111/139

regije, matrica inercije regije (centralni momenti), radijusi elipse i ugao koji s horizontalnom osi zatvara zadnji vektor stupac matrice svojstvenih vektora. stupac at ce s ojst e e to a

50

100

0

100

p

i

k

s

e

l

i

]

150

200

250p

i

k

s

e

l

i

]

200

v

[

p

300

350

400

v

[

300

400

u [pikseli]100 200 300 400 500 600

450

u [pikseli]100 200 300 400 500 600

Segmentacija slike Regije sa prve slike izdvojene su postupkom

segmentacije obiljeavanja komponenti. 112/139

100

112/139

[

p

i

k

s

e

l

i

]

200

v

300

400

u [pikseli]100 200 300 400 500 600

Moment nultog reda iznosi m00 = 6004, to predstavlja veliinu regije izraene u pikselima.

Koordinate centroida iznose uc=346.7539 piksela i vc=410.4446 piksela.

Segmentacija slike Ciljna regija je ograniena sa [umin, umax]=[310, 382]

piksela i [vmin, vmax]=[361, 460] piksela. 113/139p [ min, max] [ , ] p Matrica inercije regije J, iji su elementi centralni

momenti regija, jednaka je:

113/139

momenti regija, jednaka je:

=

=41814232902329.00436.2

1060211

1120

J

Svojstvene vrijednosti matrice J i radijusi elipse: 4181.42329.00211

=

=4408.40210.2

1062

1

3880.542 ,6904.36200

2

00

1 ====m

bm

a

Omjer a/b iznosi 0.6746 i ugao koji zatvara vektor zadnjeg stupca matrice svojstvenih vektora v=[vx vy] Tzadnjeg stupca matrice svojstvenih vektora v [vx vy]= [-0.0962 0.9954]T sa horizontalnom osi iznosi 95.5498

Segmentacija slike Omeene kutije, odnosno pravokutnici, sadre

granine linije okvira unutar kojih su smjetene etiri 114/139regije sa originalne slike (prva slika).

Dimenzije ovih regija definirane su intervalima [umin,

114/139

j g j [ min,umax] i [vmin, vmax].

00

100

v

[

p

i

k

s

e

l

i

]

200

300

v

300

400

u [pikseli]100 200 300 400 500 600

5.8. Registracija slike Problem registracije dviju slika sastoji se u

odreivanju geometrijske transformacije kojom 115/139se jedna slika preslikava u drugu.

Nakon registracije za svaku taku u prvoj slici

115/139

poznato je koja joj je taka korespondentna u drugoj slici.

Registracija je neophodna da bi se mogli uporeivati ili integrirati podaci dobiveni iz razliitih mjernih sistemasistema.

Prema tome, registracija slike je vaan problem analize slike kada imamo vie slika jednog objektaanalize slike kada imamo vie slika jednog objekta dobivenih razliitim nainima snimanja, kada imamo vie slika jednog objekta snimljenih u razliitim e s a jed og obje a s je u a vremenskim trenucima, kada elimo uporediti slike vie objekata i kada se eli uporediti slika s modelom.

Registracija slike Proces registracije sastoji se od tri potprocesa:

transformacija slike, mjere slinosti kojom se 116/139odreuje kvaliteta registracije i funkcija optimiranja kojom se maksimizira mjera slinosti.

116/139

Nakon to su dvije slike registrirane mogue je analizirati, odnosno detektirati razlike izmeu dviju istovrsnih slika naprimjer snimljenih u dva razliitaistovrsnih slika, naprimjer, snimljenih u dva razliita vremenska trenutka i kombinirati informacije sadrane u dvjema raznovrsnim slikama, naprimjer, snimljenimu dvjema raznovrsnim slikama, naprimjer, snimljenim razliitim nainima snimanja.

to se tie transformacije slike najee se koristeto se tie transformacije slike najee se koriste geometrijske transformacije, kao to su: linearne(ukljuuju translaciju, rotaciju, skaliranje i druge afine operacije), elastine i rigidne (neelastine).

Registracija slike Geometrijska transformacija vri se na prostoru u kojem

se slika nalazi, a ne na intenzitetima slike, zbog toga se 117/139ona moe matematiki predoiti u openitom obliku:

)),((),( vufvuf ST =117/139

Na ovaj nain obavlja se registracija ulazne slike fS na

)),((),( vufvuf ST

referentnu sliku fR tako to se primjenjuje transformacija T na prostor u kojem se slika fS nalazi.Slj d i t i t iji lik j Sljedei vaan segment u registraciji slike jekorespondencija slika.

Korespondencija vie slika je problem pronalaenja Korespondencija vie slika je problem pronalaenja koordinata piksela u vie razliitih slika koje odgovaraju istoj taki u stvarnom svijetu. j j

Ove take mogu se detektirati razliitim pogledima iste scene bez obzira na taku pogleda ili svjetlosni ambijent.

Registracija slike Pretpostavimo da imamo dvije slike iste scene

dobivene dvjema razliitim kamerama (veliina 118/139piksela, arina duljina, broj piksela po slici,...) postavljenim na razliite poloaje.

118/139

Ukoliko scene nisu usklaene tada odreivanje korespondencije izmeu slika predstavlja znaajan problemproblem.

U tom sluaju posee se za nekim od detektora znaajki naprimjer Harrisov detektor uglova kojiznaajki, naprimjer, Harrisov detektor uglova koji odabire samo karakteristine, odnosno svojstvene take.take.

Harrisov detektor rauna se prema izrazu:

)(tr)det(),( AA = kvuCH

Registracija slike Elementi matrice A raunaju se na temelju

gradijenata du x i y osi slike (fx i fy), bilo 119/139g j y (fx fy),kvadriranjem ili mnoenjem, i izglaivanja pomou teinske matrice W, na sljedei nain:

119/139

++++++++++++= ),(),(),(),(),(

),(),(),(),(),(2

2

jviujijviujviujijviujviujijviuji

yyx

yxx

fWffWffWfW

A

Matrica A moe se napisati i u obliku:

),(),(),(),(),( jjjjj yyx fff

= 2

2

)()()()(

yyx

yxx

fGffGffGfG

A

gdje je operacija konvolucije definirana kao: )()( yyx fGffG

22

22

2121 )()( += GGG 2

22

222

1)( vu

e+

=G

Registracija slike Na ovaj nain reducira se um u slici i poboljava

stabilnost i pouzdanost detektora. Prema tome, 120/139gradijenti slike fx i fy raunaju se pomou Gaussovog operatora sa mogunou podeavanja koeficijenta i l i j

120/139

izglaivanja . U jednadbi najee se uzima da je k = 0.04. Velike vrijednosti Harrisova detektora predstavljaju

izotrene i razlikovne uglove. Budui da je det(A) = 12 i tr(A) = 1+2 slijedi da je

ovaj detektor efikasan kada se izbjegava raunanje svojstvenih vrijednosti matrice A, to ponekad moe biti raunarski izuzetno zahtjevno.

Registracija slike Primjer 5. Korespondencija slika. Promatraju se dvije identine slike dobivene dvjema 121/139Promatraju se dvije identine slike, dobivene dvjema

kamerama razliitog broja piksela (7 i 10 Mega pixela) i stupnja uveanja slike

121/139

100 100

k

s

e

l

i

]

200

300

400

k

s

e

l

i

]

200

300

400

v

[

p

i

k

500

600

700v

[

p

i

k 500

600

700

800

u [pikseli]200 400 600 800 1000 1200

800

u [pikseli]200 400 600 800 1000 1200

800

900

[p ]

Na slikama je primijenjen Harrisov operator kojim se detektira 100 najizraenijih uglova (kornera).

Registracija slike Za mjeru slinosti dviju slika koje se registriraju

zasnovanu na vrijednostima piksela mogu se koristiti 122/139razliiti kriteriji, kao to su: kvadratna razlika intenziteta, korelacijske tehnike, uniformnost k ij t lik k it iji i t iji

122/139

kvocijenta slike, kriteriji zasnovani na teoriji informacija (naprimjer, zajednika entropija dviju slika)slika),...

Ovdje se razmatra kriterij koji koristi korelacijske tehnike, odnosno raunanje korelacijskogtehnike, odnosno raunanje korelacijskog koeficijenta s:

= = =

M NM N

M

i

N

j

jiji

jijis

22

221 1 11

))(())((

)),(()),((

ffff

ffff

= == = i ji j jiji 1 1 2221 1 211 )),(()),(( ffff

Registracija slike N je dimenzija prostora, i predstavljaju prosjene

vrijednosti od f1 i f2, koje se raunaju na sljedei 1f 2f

123/139j f1 2, j j jnain:

21 )(1 kjiM N ff123/139

Za jednodimenzionalni sluaj dobiva se:

2,1 ,),(1

1==

= =kji

NM i jkk ff

Za jednodimenzionalni sluaj dobiva se:

2

221 11)))(())((( ffff = =

NN

N

iii

s

1 221 11

12

22

2

1 11

))(())((

))(())((

ffff

ffff

==

==

N

i

N

i

N

i

N

i

ii

ii

444 3444 21444 3444 2121

2

1 22

12

1 11

1

))(())((

dd

ffff

=

=

=

=

=

N

i

i

N

i

i

ii

Normirani vektori di mogu se koristiti kao deskriptori znaajki.

Registracija slike Bolji rezultati u slaganju slika dobivaju se koritenjem

SURF (engl. Speeded Up Robust Feature) algoritma 124/139koji se zasniva na raunanju maksimuma u aproksimiranoj Hessijan-Gaussovoj sekvenci.

124/139

On rauna vektorski deskriptor koji sadri 64 elementa i opisuje svojstva piksela na nain da je invarijantan na skaliranje i rotaciju i koristi pikseleinvarijantan na skaliranje i rotaciju i koristi piksele unutar regije od interesa.Segmentacija slike je jako efikasna za pronalaenje Segmentacija slike je jako efikasna za pronalaenje objekta u slici, praenje objekta u nizu slika (film), kao i za odreivanje orijentacije objekta na slici. Osimi za odreivanje orijentacije objekta na slici. Osim navedenih deskriptora, odnosno detektora znaajki, veliku primjenu nalazi i SIFT (engl. scale-invariant feature transform).

5.9. Stereovizija Jedna kamera ne moe lokalizirati objekat u

3D prostoru ona daje informaciju o smjeru 125/1393D prostoru, ona daje informaciju o smjeru, a ne i o udaljenosti do njega. Koritenjem kamere 3D slika se pretvara u

125/139

Koritenjem kamere, 3D slika se pretvara u2D sliku.

Postavlja se pitanja: Kako iz kanonikih koordinata slike xl i yl , izvui informaciju o koordinatama objekta x,y i z?

Za odreivanje udaljenosti do objekta nuno j j jje koristiti vie slika i identificirati znaajke u njima.j

Stereovizija U mobilnoj robotici je vano izbjei objekat, a ne

imati informacije o njegovoj boji. 126/139j j g j j U vezi s tim je zgodno izdvojiti rubne take

(piksele) i povezati ih i na taj nain dobiti linijski

126/139

(p ) p j jsegment.

Na ovaj nain se smanjuje koliina podataka sa a o aj a se s a juje o a poda a a sakojima je prikazana slika.

Problem izvlaenje informacija o dubini na temeljuProblem izvlaenje informacija o dubini na temeljudvije slike koje oslikavaju scenu iz razliitihperspektiva se rjeava stereovizijom.

Problem se moe poopiti i na vie slika, odnosno vie kamera. Korespondentne take mogue je p g jmatematiki povezati epipolarnom geometrijom.

Stereovizija Epipolarna geometrija Epipolarna geometrija opisuje odnose izmeu slika 127/139 Epipolarna geometrija opisuje odnose izmeu slika

dobivenih pomou dvije kamere koje snimaju scenu iz dva razliita ugla.

P ( ) taka u 3D prostoru

127/139

P

P = (x, y, z) taka u 3D prostoru scene

Take p1 i p2 definiraju optike zrake

epipolarna ravnina ravnina slike 1

kamera koje prolaze kroz taku P u 3D prostoru.

Ravnina koja prolazi takom P iepipolarna ravnina

l1 l2

p2 p1

Ravnina koja prolazi takom P i centrima projekcije obiju kamera naziva se epipolarna ravnina. Sve tri take P, p1 i p2p2

e1

x2 z2 z1

C C1

ravnina. Sve tri take P, p1 i p2su koplanarne, odnosno lee u istoj epipolarnoj ravnini. Problem koji definira epipolarna e1

e2

y2

x1 y1

C2 ravnina slike 2

bazna linija

j p pgeometrija jest odreivanje odnosa izmeu taaka p1 i p2

Stereovizija Linija na kojoj se nalaze obje kamere naziva se

bazna linija (engl. baseline), a mjesto na kojem se 128/139sijeku bazna linija i ravnina slike naziva se epipol ili epipolarna taka (oznaena sa e1 i e2).

128/139

Ustvari, epipol predstavlja projekciju optikog centra jedne kamere na ravninu slike druge kamere.

Linije koje predstavljaju presjeke epipolarne ravnine s ravninama slika nazivaju se epipolarne linije, koje

l i lsu oznaene sa l1 i l2. Epipolarne linije se takoer mogu definirati kao linije

li i k j l i l i j k ij t k Pna slici koje prolaze epipolom i projekcijom take P(to jest takom p1, odnosno p2).

Stereovizija Epipolarna linija moe se promatrati kao projekcija

optike zrake prve kamere koja prolazi optikim 129/139centrom prve kamere i takom P na sliku druge kamere.

129/139

Budui da se taka P moe nalaziti samo na toj optikoj zraci, to znai da se njezina projekcija na drugu sliku moe nalaziti samo na razmatranoj epipolarnoj liniji. T i j i i i l i j Ta injenica naziva se epipolarno ogranienje.

Epipolarno ogranienje (uvjet) govori da se taka l iti tik j i dj i lmoe nalaziti samo na optikoj osi gdje epipolarna

ravnina sijee ravninu slike dobivene s druge kamerekamere

Stereovizija Kada se za neku taku prve slike trai taka na

drugoj slici koja odgovara istoj 3D taki scene, tada 130/139je pretraivanje druge slike ogranieno samo na epipolarnu liniju koja odgovara taki p1.

130/139

Uz poznavanje intrinzinih parametara obiju kamera te njihovog meusobnog poloaja, mogue je za

k t k lik d diti j j d j svaku taku prve slike odrediti njoj odgovarajuu epipolarnu liniju na drugoj slici i obratno.

Stereovizija Fundamentalna matrica Fundamentalna matrica matematiki opisuje 131/139 Fundamentalna matrica matematiki opisuje

epipolarnu geometriju. Taka p mora uvijek leati na epipolarnoj liniji l

131/139

Taka p2 mora uvijek leati na epipolarnoj liniji l2ravnine druge slike.

Da bi se pronala taka p potrebno je samo pronai Da bi se pronala taka p2 potrebno je samo pronai preslikavanje take p1 na epipolarnu liniju l2. Ovo se obavlja na sljedei nain Ovo se obavlja na sljedei nain.

Neka se promatra pomona ravnina koja ne sijee niti jedan od centara kamereniti jedan od centara kamere.

Mjesto gdje optika zraka prve kamere sijee ravninu oznaeno je takom Pravninu oznaeno je takom P.

Stereovizija Projekcija ove take na ravninu druge slike odgovara

taki p2 koja se nalazi na epipolarnoj liniji l2. 132/139p2 j p p j j 2 Budui da epipolarna taka e2 i taka p2 lee na

epipolarnoj liniji, tada vrijedi:

132/139

p p j j , j

222 pel = Ukoliko bi taku p2 prikazali kao umnoak vektora p1 i

neke matrice H tada bi se prethodni izraz mogao p gzapisati kao:

112222 FppHepel ===gdje je F fundamentalna matrica i H 2D homografska matrica koja se moe definirati poto su preslikavanja

112222 ppp

j p p jtake p1 u taku p2 projekcijski ekvivalentna u odnosu na taku P.

Stereovizija Vano je naglasiti da u sluaju kada meusobni

poloaj kamera nije poznat tada je potrebno 133/139estimirati fundamentalnu matricu.

133/139

P

ravnina slike 1

l2

p2 p1

p

e2

x2 z2 z1

C2 C1

H

e2

y2

x1 y1

C2 ravnina slike 2

Stereovizija Vano je naglasiti da u sluaju kada meusobni

poloaj kamera nije poznat tada je potrebno 134/139estimirati fundamentalnu matricu.

Primjer . Odreivanje korespondentnih taaka i

134/139

epipolarnih linija pomou sistema stereovizije, odnosno sistema dviju kamera. N lj d j li i ik lik d bi lij Na sljedeoj slici prikazane su slike dobivene lijevom i desnom kamerom, koje su poravnate i meusobno razmaknute za 30 cm gdje je f = 5 2 mmrazmaknute za 30 cm, gdje je f = 5.2 mm.

Na temelju procesa slaganja prve i druge slike koritenjem SURF deskriptora pronaene su 132koritenjem SURF deskriptora pronaene su 132 korespondentne take.

Nakon toga je primijenjena metoda konsenzusaNakon toga je primijenjena metoda konsenzusa sluajnih uzoraka (RANSAC - Random Sampling and Consensus) za estimaciju fundamentalne matrice.

Stereovizija Vano je naglasiti da u sluaju kada meusobni

poloaj kamera nije poznat tada je potrebno 135/139estimirati fundamentalnu matricu.

135/139

50

100

150

50

100

150

v

[

p

i

k

s

e

l

i

]

150

200

250

300 v

[

p

i

k

s

e

l

i

]

150

200

250

300300

350

400

450v 300

350

400

450

u [pikseli]100 200 300 400 500 600

450

u [pikseli]100 200 300 400 500 600

450

Slika dobivena lijevom kamerom Slika dobivena desnom kamerom

Stereovizija U ovom primjeru dobiveno je 53 podobnih (40.2%) i

79 nepodobnih (59.8%) taaka. 136/139 Poloaj podobnih taaka na sceni dobivenoj pomou

lijeve kamere prikazan je na lijevoj slici, dok su na

136/139

desnoj slici predoene epipolarne linije.

50

100

v

[

p

i

k

s

e

l

i

]

150

200

250

v 300

350

400

450

u [pikseli]100 200 300 400 500 600

450

StereovizijaOdreivanje dubine slike pomou triangulacije

137/139(x, y, z)

kontura objekta 137/139

Taka na objektu je opisna j j pkoordinatama (x,y,z) s obzirom na centar izmeu osi dviju lea.

f x

lea r lea l y

z

centar

arina ravnina

(x1, y1)b/2

f

b/2

(x2, y2) z

Stereovizija Iz prethodne slike slijedi:

bxx 2/+ 138/139

bxxzbx

fx

2/

2/

2

1

+= 138/139

d

zbx

fx 2/2 =

odnosno,

zy

fy

fy == 21

Iz gornjih izraza dobiva se izraz za disparitet (razlika u

zff

koordinatama slike (x1-x2)):

bxxzb

fxx = 21

Stereovizija Samo se mjerenjem dispariteta mogu izluiti

informacije o dubini.139/139

Na temelju gornjih jednadbi dobivaju se izrazi za koordinate objekta:

139/139

21 2/)(xx

xxbx += Udaljenost kamere do objekta je

inverzno proporcionalna disparitetu.Di it t j i l b

21

21

2/)( yyby

xx+= Disparitet je proporcionalan sa b; za

zadanu pogreku dispariteta sa poveanjem b-a poveava se tanost

21

fbz

xx

= estimacije dubine.

Kako b raste, zbog fizike odvojenosti kamera, neki objekti se mogu pojaviti na

21 xx , j g p jjednoj kameri, a na drugoj ne. Sva navedena pria vrijedi ako su kamere idealno poravnate, to u praksi nije sluaj tada se koristi kalibracija kamere.