robotska vizija
Post on 25-Nov-2015
161 Views
Preview:
TRANSCRIPT
-
L k ij 5 R b t k i ijLekcija 5: Robotska vizija
Prof dr sc Jasmin VelagiProf.dr.sc. Jasmin VelagiElektrotehniki fakultet Sarajevo
K l ij M bil b tikKolegij: Mobilna robotika
2012/2013
-
5.1. Uvod Ljudski vizualni sistem prihvaa informacije u obliku
kodiranih svjetlosnih signala i transformira ih u 2/139elektrohemijske signale koji se dalje prenose neuronima u ovjekovom mozgu.
2/139
U biolokim znanostima se prouava kako se ove neuronske informacije obrauju i na temelju njih grade interni prikazi okruenja i kako ljudigrade interni prikazi okruenja i kako ljudi zakljuuju o svojoj okolini na temelju ovih prikaza. Sa stajalita robotike podruja raunarske ili Sa stajalita robotike, podruja raunarske ili robotske vizije istrauju oblasti raunarskog predstavljanja okoline na temelju svjetlosnihpredstavljanja okoline na temelju svjetlosnih signala i prouavaju tehnike umjetne inteligencije koje obavljaju zadatke zakljuivanja ili planiranja na temelju dobivenog prikaza okoline.
-
Uvod Mehanizam ljudskog percipiranja okoline,
odnosno objekata u njoj 3/139odnosno objekata u njoj. Model ljudskog vizualnog sistema.
3/139
oko mozak
optiki sistem
mrenica vizualni putevi
percepcijaulazna slika
svjetlosna energija
elektrinaenergija
-
Uvod Glavni cilj sistema robotske vizije je oponaati
sposobnosti i znaajke ljudskog vizualnog 4/139p j j g gsistema.
Kako je vizija najmoniji nain opaanja okoline
4/139
j j j j p jslijedi da vizualni robotski sistemi osiguravaju veliki broj informacija o robotskom okruenju na temelju kojih se moe ostvariti inteligentna interakcija u dinamikoj sredini.
Pri tome treba voditi rauna da je obrada podataka i gradnja mape okruenja na temelju
i l ih i f ij j l ij dvizualnih informacija znaajno sloenija od istih sa nevizualnim senzorima.T lj i i b t k j i iji b d i li Temeljni procesi u robotskoj viziji: obrada i analiza slike.
-
Uvod Obrada i analiza slike predstavljaju vane procese
kojima se transformira slika u prihvatljiv oblik i 5/139izdvajaju, odnosno prepoznaju odgovarajue znaajke slike koje se mogu koristiti u razliitim procesima
t i ij k i t bil b t
5/139
unutar navigacijskog sistema mobilnog robota. Digitalna obrada slike je proces podvrgavanja
numerikih reprezentacija objekata u slici serijinumerikih reprezentacija objekata u slici seriji operacija s ciljem postizanja eljenog rezultata.Ulaz i izlaz u procesu obrade slike predstavljaju sliku Ulaz i izlaz u procesu obrade slike predstavljaju sliku, dok se sam proces obrade sastoji od poboljavanja i obnavljanja slike.obnavljanja slike.
Ulazna slika Obrada Izlazna slika Ulazna slika Obrada Izlazna slika
-
Uvod Digitalna obrada slike obuhvaa sljedee procese: Operacije na slici (konvolucija, Fourierova transformacija, 6/139Operacije na slici (konvolucija, Fourierova transformacija,
Z transformacija,...). Transformacije slike (linearne, ortogonalne, diskretne).
6/139
Metode poboljanja slike (operacije na taki, prostorne operacije, upotreba transformacija, tehnike
d k l i j filt i j li i h f )pseudokoloriranja, filtriranje linearno i homomorfno,...). Obnavljanje slike (modeli degradacije slike, Inverzni i
Wienerov filter pseudoinverzija matrica )Wienerov filter, pseudoinverzija matrica, ...). Rekonstrukciju slike iz projekcija (Radonova
transformacija, operator povratne projekcije, projekcijski t a s o ac ja, ope ato po at e p oje c je, p oje c jsteorem, inverzna Radonova transformacija, Hilbertova transformacija, Fourierova metoda rekonstrukcije, ...).
Kompresiju slike koja pokuava smanjiti broj bitova potrebnih za pohranu slike bez ili sa gubitkom informacija.
-
Uvod Ulazna slika
Izlaz iz sistema za analizu nije slika, ve 7/139
Pretprocesiranje
numeriki ili simboliki opis njenog sadraja.
7/139
Izdvajanje znaajki U sistemu za analizu slike
postoje tri grupe operacija izdvajanje znaajki
Izdvajanje znaajki
izdvajanje znaajki, segmentacija i opis scene.
Segmentacija
scene.
Klasifikacija i opis Simboliki opis scene scene
Interpretacija scene
-
Uvod Postupci u procesu analize slike: Raspoznavanje uzoraka (pravilo najblieg susjeda, 8/139Raspoznavanje uzoraka (pravilo najblieg susjeda,
Bayesovo pravilo, algoritmi za grupiranje,). Izdvajanje (ekstrakcija) znaajki slike (prostorne osobine,
8/139
osobine u domeni transformirane slike, detekcija rubova, detekcija granica).S t ij lik ( lit d bilj j k ti Segmentacija slike (amplitudna, obiljeavanje komponenti, granice objekata, unutarnjost objekta, grupiranje, ekspertni sistemi, neuronske mree, )., , )
Matematika morfologija (binarna i siva). Analiza tekstura, oblika i pokreta.a a te stu a, ob a po eta Registracija slike (klasifikacija metoda za registraciju,
pregled geometrijskih transformacija i algoritama). Stereovizija (kalibracija kamere, stereovizija, problem
korespondentnih taaka).
-
5.2. Proces formiranja slike Veina vizualnih robotskih sistema koriste
kamere za opaanje prostora. 9/139p j p Opaanje podruja je izuzetno vano u mobilnoj
robotici za izbjegavanje prepreka pri obavljanju
9/139
robotici za izbjegavanje prepreka pri obavljanju nekog zadatka.
Meutim kod vizualnog sistema (kamera) Meutim, kod vizualnog sistema (kamera) izraen je problem gubitka informacija o dubini.dubini.
Ako se mogu predvidjeti informacije o dimenzijama objekta ili pak o njegovoj boji idimenzijama objekta, ili pak o njegovoj boji i refleksiji, tada se mogu izvui informacije o dubini. Svojstva slike ne ovise samo o promjenama u Svojstva slike ne ovise samo o promjenama u sceni ve i o parametrima kamere.
-
Proces formiranja slike Veza izmeu parametara kamere i svojstava slike.
10/13910/139
Ud lj t l d bj kt d i k i l iSlika je rezultat refleksije svjetlosti od objekta u smjeru kamere
Udaljenost lee do objekta d i razmak izmeu lee i arita e povezani su arinom duljinom lee f:
111edf111 +=
-
Proces formiranja slike Slika je rezultat refleksije svjetlosti od objekta
u smjeru kamere. 11/139 Ako je udaljenost izmeu lee i ravnine slike
jednaka e tada se nakon refleksije na ravnini
11/139
slike dobiva taka. Kada ravnina slike nije na udaljenosti e od lee
svjetlost e se od objekta reflektirati na ravnini slike u obliku zamagljenog kruga.
Prva aproksimacija polazi od toga da je svjetlost homogeno distribuirana du tog kruga i njegov promjer iznosi:promjer iznosi:
LR = L promjer lee, razmak izmeu i lik i i ie2 ravnine slike i arine ravnine.
-
Proces formiranja slike Razliit sugerira razliite pozicije fokusiranja za
istu scenu. 12/139 Na slikama se zapaa razliitost u otrini rubova
teksture (blii rubovi imaju veu otrinu) slike su
12/139
dobivene za dvije razliite vrijednosti .
Iz niza slika iste scene dobivenih sa razliitim Iz niza slika iste scene, dobivenih sa razliitim geometrijama kamere, moe se rekonstruirati dubina slike.
-
Proces formiranja slike Stvarna slika je uzorkovana konanim brojem taaka
(piksela). 13/139 Rezolucija uzorkovanja, odnosno rezolucija slike
predstavlja broj piksela digitalne slike.
13/139
Tipine rezolucije su 640 480 piksela, 320 240 piksela, itd.
Kod rezolucije je takoer vano koliko esto se mjerenja kamere proslijeuju raunaru.
Kod CCD kamera je standardni intenzitet mjerenja 30 slika/sekundi.
Svaki piksel predstavlja pojedini uzorak na slici. On je prikazan cjelobrojnom vrijednou koja j p j j j j
oznaava intenzitet (osvjetljenost) slike u toj taki.
-
Proces formiranja slike Prikaz slike u obliku dvodimenzionalnog polja. Indeksi piksela [i j] predstavljaju cjelobrojne 14/139 Indeksi piksela [i,j] predstavljaju cjelobrojne
vrijednosti koje oznaavaju redak, odnosno stupacu kome se nalazi piksel.
14/139
p
m stupaca
stupac j
a(i, j)
a(i, j)
redak i
a
piksel a(i, j)
n
r
e
d
a
k
a
-
Proces formiranja slike Osim rezolucije slike, vaan parametar koji se
odnosi na piksele je kvantizacija slike, odnosno 15/139p j j ,razina intenziteta slike koja se koristi za prikaz piksela.
15/139
Tipine razine kvantizacije slike iznose: 28 = 256, 25 = 32, itd. ,
Sistem vizije mobilnog robota obino se sastoji od dvije glavne komponente: optikog sistemaod dvije glavne komponente: optikog sistemakoji prikuplja svjetlost preko konanog polja pogleda i fokusira ovu svjetlost na ravninu slike i p g joptoelektrikog sistema koji preuzima ovu fokusiranu svjetlost i konvertira je za raunar razumljive (itljive) signale.
-
Proces formiranja slike Sklopovlje sistema vizije prikazano je na slici.
16/139 svjetlost 2D slika
Kontinuirani elektrini signal
2D digitalna slika
16/139
Optika Senzor slike
Meuspremnik slika (Frame
bb ) Raunar 3D scena
lee
slike grabber)
CCD polje
CCD ili CMOS kamera
Proces kolekcije, odnosno prikupljanja svjetlosti i njenog pohranjivanja u raunaru predstavlja sloen proces.
Zbog toga su i postupci koji se za njih koriste takoer sloeni.
-
Proces formiranja slike Lee predstavljaju zaseban modul optikog
sistema kamere. 17/139 Vane specifikacije lee su: arina udaljenost
(odreuje irinu vidnog polja) fokusiranje
17/139
(odreuje irinu vidnog polja), fokusiranje (runo/automatsko) i distorzija lee (problem korekcije distorzije). j j )
Slika trodimenzionalnog (3D) prostora dobivena kamerom oduzima prostoru jednu dimenziju, takokamerom oduzima prostoru jednu dimenziju, tako da slika postaje dvodimenzionalna (2D - gubitak informacije o dubini).j )
Iz jedne slike prostora ne moe se odrediti udaljenost od kamere do objekta u okruenju nitiudaljenost od kamere do objekta u okruenju niti dimenzije objekta.
-
Proces formiranja slike Za dobivanje ovih informacija mora se koristiti
vie slika 18/139vie slika. Pri tome treba naglasiti da rekonstrukcija 3D
slike iz 2D slika nije jednoznaan problem
18/139
slike iz 2D slika nije jednoznaan problem. Rjeavanje problema rekonstrukcije 3D slike
zahtijeva: modeliranje procesa akvizicije slika j p j
(kalibracija kamere), izdvajanje karakteristinih znaajki iz slike izdvajanje karakteristinih znaajki iz slike, identifikaciju odgovarajuih
k kt i ti ih jki i d ij ili ikarakteristinih znaajki iz dviju ili vie slika.
-
5.3. CCD i CMOS kamere CCD (Charged Coupled Device) kamera Danas najpopularniji sistem vizije 19/139 Danas najpopularniji sistem vizije. Osnovni element je CCD ip koji se sastoji od
polja svjetlosno osjetljivih elemenata ili piksela
19/139
polja svjetlosno osjetljivih elemenata, ili piksela, obino izmeu 20.000 i nekoliko miliona piksela (trenutno)(trenutno).
Svaki piksel je dimenzija od 5m x 5m do 25m x 25m i ima mogunost kapacitivnog25m x 25m i ima mogunost kapacitivnog punjenja, odnosno pranjenja.P k d t i ih ik l ij l ti Prvo se kondenzatori svih piksela u cijelosti napune, nakon ega zapoinje proces integracije (generiranja)integracije (generiranja).
-
CCD i CMOS kamere CCD (Charged Coupled Device) kamera
Fotoni svjetlosti udaraju u svaki piksel 20/139 Fotoni svjetlosti udaraju u svaki piksel, oslobaaju elektrone koji su obuhvaeni elektrikim poljem i zaustavljaju se na
20/139
elektrikim poljem i zaustavljaju se na pikselu (fotoelektriki efekt).
Tokom vremena svaki piksel e akumulirati razliit iznos energije na temelju ukupnog broja fotona koji su udarili u njega.
Nakon to se period integracije kompletira, p g j p ,relativan iznos energije piksela se pohranjuje i ita proces kolekcije. p j
-
CCD i CMOS kamere CCD kamera - ip Dolazi u razliitim oblicima i dimenzijama 21/139Dolazi u razliitim oblicima i dimenzijama. Ukupan broj piksela - 4008 x 2672 = 11 Mega
Piksela.
21/139
Piksela. Veliina piksela izmeu 5 i 25 m.
Veliina dijafragme izmeu 5 i 36 mm po osi Veliina dijafragme izmeu 5 i 36 mm po osi.
F t di d k j k i t CCD i j j d k Fotodiode koje se koriste u CCD ipu nemaju jednaku osjetljivost na sve frekvencije svjetlosnog signala.
-
CCD i CMOS kamere CMOS kamera CMOS ip se znaajno razlikuje od CCD ipa 22/139 CMOS ip se znaajno razlikuje od CCD ipa. On takoer ima polje piksela, ali su oni locirani
paralelno i svaki piksel koristi nekoliko
22/139
paralelno i svaki piksel koristi nekoliko tranzistora za svoje lociranje.
Proces integracije (akumuliranje energije uProces integracije (akumuliranje energije u pikselima) je isti kao kod CCD ipa.
U fazi kolekcije CMOS koristi drukiji pristup,U fazi kolekcije CMOS koristi drukiji pristup, gdje se svaki piksel mjeri i pojaava se njegov signal, pri emu se to odvija paralelno za svaki piksel u polju.
Rezultantne vrijednosti piksela se prenose do njihovih destinacija.
-
CCD i CMOS kamere Obje tehnologije sistema vizije, CCD i CMOS,
generiraju digitalne signale koji se mogu direktno 23/139iskoristiti u robotici.
ip u kameri posjeduje paralelne digitalne ulazne i
23/139
izlazne pinove preko kojih se prenose diskretne vrijednosti sadraja piksela.
Neki moduli vizualnog sistema koriste ove digitalne signale i obrauju ih u stvarnom vremenu.
Za ovu svrhu koristi se ip koji predstavlja meuspremnik slika (frame grabber) izmeu digitalnih izlaza kamere i digitalnih ulaza u raunardigitalnih izlaza kamere i digitalnih ulaza u raunar. Ovakvi ipovi "hvataju" kompletnu sliku i omoguuju pristup pikselima, obino u pojedinanom poretku. p s up p se a, ob o u pojed a o po e u
-
CCD i CMOS kamere Vizualni senzori za praenje boja Vaan aspekt opaanja vizualnog sistema je 24/139 Vaan aspekt opaanja vizualnog sistema je
detektiranje i praenje odgovarajue boje (objekta) u okolini
24/139
(objekta) u okolini. Opaanje boje ima dvije vane prednosti:
D t k ij b j j f k ij j di lik Detekcija boje je funkcija pojedinane slike. Omoguuje kombinaciju sa drugim izvorima,
i t i ij ili l ki k krecimo stereovizijom ili laserskim senzorom, kako bi se znaajno poboljale informacije.
D t j k ij l ij k Danas postoje komercijalne verzije kamera sa dodatnom elektronikom koja omoguuje detektiranje i praenje objekta na temeljudetektiranje i praenje objekta na temelju njegove boje.
-
CCD i CMOS kamere Vizualni senzori za praenje boja Vrlo je interesantan CMUcam vizualni senzor za 25/139 Vrlo je interesantan CMUcam vizualni senzor za
robote. Ovaj vizaulni sistem se sastoji od CMOS kamere
25/139
Ovaj vizaulni sistem se sastoji od CMOS kamere, mikroprocesora koji radi na 50 MHz.
Radi se o jeftinom inteligentnom vizualnom sistemuRadi se o jeftinom inteligentnom vizualnom sistemu (smart kamera).
Ovaj sistem osigurava visokokvalitetne informacijeOvaj sistem osigurava visokokvalitetne informacije izvuene iz slike navedenom, vanjskom procesoru, koji obrauje dobivene informacije i moe upravljati, recimo, mobilnim robotom.
Vanjski procesor konfigurira mod podataka koji se koristi za praenje.
-
CCD i CMOS kamere
26/139
Vizualni senzori za praenje boja26/139
CMOS kamera + Mikroprocesorski bazirani sistem
3D senzor primjena u robotici (za inspekciju)3D senzor primjena u robotici (za inspekciju)
-
5.4. Kalibracija kamere Redukcija trodimenzionalne pozicije
take u njenu dvodimenzionalnu 27/139take u njenu dvodimenzionalnu projekciju unutar kamere predstavlja fundamentalni problem koritenja vizije u
27/139
fundamentalni problem koritenja vizije u mobilnoj robotici.Za prevazilaenje ovog problema koriteni Za prevazilaenje ovog problema koriteni su mnogi mehanizmi koji suuju skup moguih vrijednosti udaljenosti domoguih vrijednosti udaljenosti do objekta, upotrebu vie kamera ili koritenje vremenske integracijekoritenje vremenske integracije.
Kljuni koncept u transformaciji 3D slike u njenu 2D projekciju predstavlja perspektivna projekcija.
-
Kalibracija kamere Perspektivna projekcija - svaka taka slike se
projicira po pravcu kroz sredite projekcije, budui 28/139da se svjetlost prostire pravolinijski.
Koncept perspektivne projekcije je ekvivalentan
28/139
projekciji takozvane "pinhole" kamere.
objekt slika
objekt
sredite projekcije sredite projekcije
arina udaljenost arina udaljenost
ravnina slike
-
Kalibracija kamere Bolji geometrijski prikaz se dobiva ako se slika
pomakne ispred optikog sredita kamere 29/139(sredite projekcije).
Tada se kanonike osi slike postavljaju u sredite
29/139
projekcije.(X, Y, Z) u kanonikim
koordinate k l ( )
koordinate bj kt
kanonikim koordinatama
piksela (u, v) ukanonike koordinate slike (x, y)
v
objekta x
y
optika os kanonike osi
z
ff
Z
-
Kalibracija kamere
Veza izmeu kanonikih koordinata slike x i y i koordinata objekta u prostoru X Y i Z 30/139y i koordinata objekta u prostoru X, Y i Zdana je na sljedei nain:
30/139
ZfYy
ZfXx == ,
Povezanosti navedenih koordinata
Zy
Z,
Povezanosti navedenih koordinata predstavljaju nelinearne transformacije.
Osnovni zadatak se sastoji u odreivanju koordinata X, Y i Z iz koordinata x i y, odnosno u i v.
-
Kalibracija kamere Neka je zadana proizvoljna taka u prostoru
izraena u homogenim koordinatama X=[X1 31/139izraena u homogenim koordinatama X [X1X2 X3 1]T, tada njene kanonike koordinate u slici (x /x x /x ) iznose:
31/139
slici (x1/x3, x2/x3) iznose:
1X
=
~ 21
2
1
XXX
xx
P (*)
1
33
2 Xx
( )
gdje je projekcijska matrica.P~gdje je projekcijska matrica.P
-
Kalibracija kamere Projekcijska matrica transformira 3D
koordinatni sistem realnog svijeta u 3D 32/139g jkoordinatni sistem koji je poravnat sa optikim sreditem (centrom) i idealnom ravninom slike
32/139
kamere, a rezultat je perspektivne projekcije na idealni 2D koordinatni sistem ravnine slike.
Neki parametri kamere ne ovise o vrsti upotrijebljene kamere i oni se nazivaju vanjski parametri kamere dok se parametri koji separametri kamere, dok se parametri koji se mijenjaju ovisno o vrsti kamere nazivaju unutarnji parametri kamereparametri kamere.
Proces dobivanja, odnosno odreivanja projekcijske matrice za odreenu kameru nazivaprojekcijske matrice za odreenu kameru naziva se kalibracija kamere.
-
Kalibracija kamere Postoje razliiti mehanizmi kalibracije pojedinane
kamere, ali je moda najjednostavniji i najvie 33/139koriteni postupak koritenja kalibracijskog objekta sa poznatom 3D pozicijom i projekcijom.
33/139
Za zadanu skupinu kalibracijskih taaka u koordinatnom sistemu realnog svijeta Xi( lj i lik k lib ij ki bj kt )(napravljeno vie slika sa kalibracijskim objektom) odrede se njihove projekcije u ravnini slike (ui , vi). N k t i (*) i ti k Nakon toga se izraz (*) moe napisati kao:
114313212111
1141312113 )
~(~~~~~~~~ ii XPXPXPXPX
PPPPxu P
=
=
=
3
2
1
34333232131
24323222121
14313212111
3
2
34333231
24232221
14131211
3
3
3
)~()~()(
~~~~~~~~
1~~~~~~~~
i
i
i
i
i
XXX
PXPXPXPPXPXPXPPXPXPXP
XX
PPPPPPPPPPPP
xxvxu
PPP
1gdje je u = x1/x3 i v = x2/x3
-
Kalibracija kamere Da bi se preslikavanje obavilo sa najmanjom
pogrekom u slici uzima se da je i 34/139iXP
~
1~ 4,3 =Pprimijenjuje se metod najmanjih kvadrata (LS metod engl. least square) koji minimizira sljedei izraz:
34/1394,3
+ 232231 ))~()~(())~()~(( iiiiii vXXuXX PPPP Rjeenje minimizacije se dobiva rjeavanjem
matrine jednadbe AX = B, gdje je:
=iiiiiiiii
ZvYvXvZYXZuYuXuZYX
1000000001
A
=K
iiiiiiiii ZvYvXvZYX 10000A
]~~~~~~~~~~~[ 3,32,31,34,23,22,21,24,13,12,11,1 PPPPPPPPPPPX =T
-
Kalibracija kamere
35/139
i
vu
B 35/139
=K
ivB
Rjeenje LS metode je:
Optiko sredite kamere (C C C ) u koordinatnom
BAAAX TT 1)( = Optiko sredite kamere (Cx, Cy, Cz) u koordinatnom
sistemu prostora (objekta) definira se na sljedeinain: C
=
~00
y
x
CCC
P
10
zC
-
Kalibracija kamere Svaki redak matrice definira ravninu koja
prolazi kroz taku optikog sredita kamere 36/139P~
prolazi kroz taku optikog sredita kamere. Presjecite i definira usmjerenost
kamere a presjecite i zakret kamere
36/139
1~P 2
~P ~P ~Pkamere, a presjecite i zakret kamere oko te osi.
2P 3P
-
Kalibracija kamere Primjer 1. Kalibracija kamere koritenjem
kalibracijskog objekta. 37/139 Kao kalibracijski objekt koristi se ahovska ploa.
37/139
-
Kalibracija kamere Proces kalibracije = odreivanje unutarnjih
(intrinzini) i vanjskih (ekstrinzinih) parametara.38/139
U postupku kalibracije prvo se detektiraju vrhoviahovskih polja na svim slikama te se nacrta mrea
li i h k l k k bi t b l i l d ti b
38/139
na slici ahovske ploe kako bi trebala izgledati bezdistorzije.Ukoliko je neki ugao predaleko od stvarnog onda Ukoliko je neki ugao predaleko od stvarnog, ondase pomou distorzijskih koeficijenata runopodeavaju uglovi.p j g
Na sljedeoj slici prikazan je primjer detektiranjauglova za drugi uzorak sa prethodne slike.g g p
Identian postupak se provodi i za ostale uzorke. Stvarni uglovi na slici oznaeni su znakom +,g ,
kruii predstavljaju reprojicirane uglove, dokstrelice predstavljaju gradijent pogreke.
-
Kalibracija kamere Nakon toga se te informacije o poloaju uglova
koriste u procesu odreivanja ekstrinzinih i 39/139intrinzinih parametara, odnosno minimizacijisrednje kvadratne pogreke.
39/139
YO50
100
S i h i
X
e
l
i
]
150
200
250
Stvarni vrhovislike (+) idetektirani
h i
v
[
p
i
k
s
e
300
350
vrhovi naprojiciranojmrei (o)
400
450
500
u [pikseli]100 200 300 400 500 600 700 800
550
-
Kalibracija kamere Dobiveni intrinzini parametri arina duljina: 40/139arina duljina: 40/139
. )1.61318 1.50531,()921.60192 913.49376,(),( =hw ff
Centar slike: )2.77715 (2.91469,)232.70717 393.65084,(),( 00 =vu
Iskoenost senzora: 0.000000.00000 = Distorzija:
[ ]T0 000000 003090 009380 393840 13214=k [ ]c 0.00000 0.00309- 0.00938- 0.39384 0.13214-=k[ ]T0.00000 0.00089 0.00087 0.08875 0.01276
Pogreka piksela:
[ ]0.000000.000890.000870.088750.0 76[ ]T0.19198 0.19534=err
-
Kalibracija kamere Dobiveni ekstrinzini parametri Vektor translacije: 41/139Vektor translacije: 41/139
.[ ]Tt 01712.84948 74.307502 - 269.983575-=p
Vektor rotacije: [ ]Tv 0.043652- 1.757589 1.902719=R Matrica rotacije:
0 3322490 9316630 147023
=
0 8514950 3633250 3780890.405668-0.0004300.914020
0.3322490.9316630.147023R
0.851495-0.3633250.378089-
[ ] Pogreka piksela: [ ]T0.34822 0.27080=err
-
Kalibracija kamere Vektor kc odreuje distorziju kamere, odnosno
definira odstupanje poloaja piksela u stvarnoj slici 42/139p j p j p ju odnosu na istu dobivenu na idealnoj ravnini slike.
Vektor rotacije Rv iskazuje smjer rotacije slike u 3D
42/139
. j v j j jprostoru oko optike osi (os isijavanja).
Matrica R opisuje rotaciju slike u 3D prostoru uMatrica R opisuje rotaciju slike u 3D prostoru uodnosu na koordinatni sistem kamere.
Vektor translacije pt definira pomak slike u odnosuVektor translacije pt definira pomak slike u odnosuna idealnu ravninu slike.
Intervali pouzdanosti intrinzinih parametaraIntervali pouzdanosti intrinzinih parametaradobivaju se na temelju minimiziranja odstupanjapiksela veeg broja uzoraka iste slike dobivenih izrazliitih uglova snimanja.
-
Kalibracija kamere Estimirane lokacije kamere u odnosu na ahovsku
plou za svih 20 uzoraka, odnosno pogleda kamere 43/139prema ahovskoj ploi.
Estimirane lokacije odreene su matricom rotacije i
43/139
.
vektorom translacije.1000
1500
1518612
105
m
]
0
500
15
2
6
11
12
113
9
7
20
z
[
m
m
1000
1500 38
17169
14
19
[ ]
Ekstrinzini parametri (pozicija i orijentacija ahovske ploe u odnosu na koordinatni sistem
0
500 414y [mm]kamere).
-500 0 5001000 1500
-500
x [mm]
-
Kalibracija kamere 3D prikaz pozicije i orijentacije uzoraka ahovske
ploe u koordinatnom sistemu kamere, gdje je 44/139sredite kamere, odnosno ishodite pridruenog jojkoordinatnog sistema oznaeno sa Oc.
44/139
.
12156
8137
185
101121179204
1619
2003 158131614
19
-200
0 Oc
z
c
[
m
m
]
10001500
2000-400
-400 -200 0 200 400 0500
1000
xc [mm]yc [mm]
-
Kalibracija kamere Na sljedeem slajdu prikazana radijalna distorzija
lee kamere. 45/139 Openito, distorzija u optici lea oznaava
odstupanje od idealnog modela projekcije gdje
45/139
.
ravne linije u sceni ostaju ravne linije naprojekcijskoj ravnini.
Kod kamere su najvie izraene radijalna itangencijalna distorzija.
Radijalna distorzija pokazuje kako se pomjerajutake ahovske ploe u xyz koordinatnom sistemuprilikom akvizicije slike i koristi se za estimacijuprilikom akvizicije slike i koristi se za estimacijustvarnih pozicija i orijentacija ahovske ploe.Ona je jednaka nuli u centru lee te se poveava Ona je jednaka nuli u centru lee te se poveavakako se udaljavamo od centra prema periferiji.
-
Kalibracija kamere Radijalna distorzija lee kamere.
46/13946/139
.
0
50
0 51 1
1.51.5
22
2.5
2.5 3
33.
54
44
4.54.5
100
150
200
0.51
5
33.54
4.5
200
250
300
0.5
0.5 11.
51.52
2
52.5 3 3.5
4
5
p
i
k
s
e
l
i
] Ol
300
350
4000.5
51
11.5
52.
53
3.54
4.5
v
[
400
450
500
1
5
1.52
2
2.5
2.5
3
3
3.5
3.5
4 4
4 5 5
.54.4.5
0 100 200 300 400 500 600 700
500
2
23
3
3
3.54
44.5 4.5
u [pikseli]
-
Kalibracija kamere Pogreka projekcije izraena brojem piksela. Na slici su prikazane pogreke za svih 20 47/139Na slici su prikazane pogreke za svih 20
kalibracijskih uzoraka, odnosno razliitih pogledana ahovsku plou.
47/139
.
0.6
0.8
0.2
0.4
e
l
i
]
-0.2
0
v
[
p
i
k
s
e
0 8
-0.6
-0.4
-1 -0.5 0 0.5 1
-0.8
u [pikseli]
-
5.5. Uzorkovanje slike Digitalna slika predstavlja kolekciju uzoraka
vizualnog sadraja okoline. 48/139 U principu, scena se sastoji od polja svjetlosnih
zraka pridruenih svim moguim smjerovima
48/139
pogleda iz svih moguih poloaja. Ovakav opis scene naziva se lumigraf. Iako slika prikazuje kontinuiranu povrinu, ona se
sastoji od diskretnih taaka uzorkovanih vremenski i prostorno.
Diskretizacija uvodi fizika ogranienja na kvalitetu prikaza kontinuiranih povrina, pri emu se signali visokih frekvencija gube iz slike, a izobliuju se signali niih frekvencijaa izobliuju se signali niih frekvencija.
Ovaj fenomen se zove aliasing.
-
Uzorkovanje slike Minimalna frekvencija uzorkovanja koja se
zahtijeva za kompletni prikaz kontinuiranog 49/139j p p gsignala zove se Nyquistova frekvencija.
Za prikaz kontinuiranog signala potrebno je
49/139
Za prikaz kontinuiranog signala potrebno je da se signal uzorkuje sa frekvencijom koja je najmanje dvaput vea od najvee frekvencije j j p j ju signalu (Shanonov teorem).
S tim u vezi neka se promatraS tim u vezi neka se promatra jednodimenzionalni signal f(x)=cos(x). Ako se signal f(x) uzorkuje u cjelobrojnim Ako se signal f(x) uzorkuje u cjelobrojnim takama (to jest u 0, 1, 2, 3, itd.) tada se postiu vrijednosti 1 -1 1 -1vrijednosti 1, -1, 1, -1,....
-
Uzorkovanje slike Ako se f(x) uzorkuje u neparnim cjelobrojnim
takama tada se dobivaju vrijednosti 1, 1, 1, 50/139takama tada se dobivaju vrijednosti 1, 1, 1, 1, ....
Izraeno pomou ugaone frekvencije
50/139
Izraeno pomou ugaone frekvencije, frekvencija uzorkovanja mora biti , to znai da kontinuirani signal frekvencije iznad iznai da kontinuirani signal frekvencije iznad i ispod - ne moe biti prikazan.Amplitudni spektar kontinuiranog signala)( kf Amplitudni spektar kontinuiranog signala f(x), za k, xn, predstavlja se Fourierovom transformacijom:
)(kf
transformacijom:
+ xxk xkdeff i)()(
= xxk deff )()(
-
Uzorkovanje slike Filtri ili operatori transformacije slike sa velikim
iznosima amplitudnog spektra za k blizu 51/139p g p(Nyquistova frekvencija) pojaavaju visoke frekvencije u slici, odnosno izobliuju sliku.
51/139
Operacije nad slikom najee se mogu karakterizirati konvolucijskom sumom (y = x h):
+=
+
==
1 2
),(),(),( 22112121k k
knknhkkxnny
Tako, naprimjer, izglaivanje slike x(k1,k2) moe se provesti operatorom:
1 2k k
provesti operatorom:
141010
1)( kkh (*)
=010141
8),( 21 kkh (*)
-
Uzorkovanje slike (k1, k2) = (0, 0) predstavlja centralni element od
h 52/139h. Dvodimenzionalna Fourierova transformacija
ulaznog signala x(n n ) povezana je
52/139
)( x ulaznog signala x(n1,n2) povezana je sa dvodimenzionalnom Fourierovom transformacijom izlaznog signala y(n
),( 21 x),( 21 ytransformacijom izlaznog signala y(n1,
n2) relacijom:),( 21 y
),(),(),( 212121 xhy =
Frekvencijska karakteristika se moe koristiti za analizu odziva operatora (filtra) za proizvoljni ulazni signal.
-
Uzorkovanje slike Za dvodimenzionalni operator
predstavljen diskretnom konvolucijom, je 53/139
),( 21 xxh),( 21 kkh
definiran izrazom:53/139)( 21
+= +=1 2 = =
+=1 2
2211 )(2121 ),(),(
kkehkkh
gdje su k1 i k2 kontinuirane vrijednosti prostorne frekvencije Za operator iz izraza (*) slijedi:frekvencije. Za operator iz izraza ( ) slijedi:
),(),( )(21211 2
2211ehkkh kki=+= +=
+ 21
)()( 2121
2211
1 2
eeee ikikikik ++++= = =
8/))cos(2)cos(24( 2
21 kk ++=
-
Uzorkovanje slike Amplituda od prikazana je na slici.
54/139
h54/139
0.8
0 2
0.4
0.6
(
k
1
,
k
2
)
|
2-0.2
0
0.2
|
h
-3 -2 -1 0 1 2 3 -20
2
k2k1
Sa slike se uoava veliko pojaanje za frekvencije blizu Nyquistove.
Ovo znai da operator (*) nee dobro operirati u prisustvu uma.
-
5.6. Znaajke slike Osnova mnogih vizualnih zadataka u robotskoj
viziji je usporedba dvaju ili vie pogleda istog 55/139j j p j p g gobjekta dobivenih sa dvije/vie kamera ilidobivenih iz jedne kamere sa razliitih pozicija,
55/139
pri emu je jedan od njih referentni pogled. esto je korisno izabrati takve apstrakcije slikaj p j
koje pojednostavljuju usporedbu. Pojedinani pikseli su samo indirektno povezaniPojedinani pikseli su samo indirektno povezani
sa intenzitetom (boja) objekta u sceni. Iznosi piksela su rezultat sloene interakcije Iznosi piksela su rezultat sloene interakcije
izmeu osvjetljenosti prostora, poloaja kamere,prisustva drugih objekata u prostoru iprisustva drugih objekata u prostoru irefleksijskih svojstava objekata.
-
Znaajke slike Vrijednosti pojedinanih piksela ne koriste
se direktno u veini zadataka robotske vizije 56/139se direktno u veini zadataka robotske vizije. Zbog toga je potrebno nainiti njihovo
preobradbu da se istaknu korisne strukture u
56/139
preobradbu da se istaknu korisne strukture uslici. U nastavku se obrauju sljedeeznaajke slike:znaajke slike: boja i sjena, ogranienja osvjetljenosti slike (optiki
tok), korelacija, izdavajanje znaajkiizdavajanje znaajki, izdvajanje rubova.
-
Boja i sjena Kamere u boji postiu intenzitet od skupa
senzora osjetljivih na razliite valne duljine 57/139j j jsvjetlosti (obino RGB).
Nakon toga se slika predstavlja vektorom
57/139
Nakon toga se slika predstavlja vektoromvrijednosti u svakom pikselu, radije nego samimintenzitetom.
Jedna od najefikasnijih metoda za opis objektau sceni je histogram boja kojim se objektu sceni je histogram boja kojim se objektopisuje odreenom kombinacijom boja.
Slika se predstavlja vektorom (h h h ) u n Slika se predstavlja vektorom (h1, h2 ,..., hn) u n-dimenzionalnom vektorskom prostoru, gdjesvaki element h oznaava broj piksela i-te bojesvaki element hi oznaava broj piksela i-te bojeu slici.
-
Boja i sjena
Slinost slike H opisane histogramom (h1,h h ) i slike K opisane sa (k k k ) 58/139h2 ,..., hn) i slike K opisane sa (k1, k2 ,..., kn)moe se izraunati prema izrazu:
58/139
= iid khKH ),( U standardnim primjenama skup moguihp j p g
boja se reducira na manji broj (256 je tipianbroj boja) i tada se slika moe predstaviti saj j ) p256 vrijednosti.
Histogrami se normiraju tako da je mjera Histogrami se normiraju tako da je mjeraslinosti neovisna o veliini slike.
-
Optiki tok Iako vrijednosti pojedinanih piksela nisu
stabilne uz velike promjene u slici, mogu se 59/139p j , gsmatrati stabilnim pri malim promjenama.
Drugim rijeima intenzitet take se ne mijenja
59/139
Drugim rijeima, intenzitet take se ne mijenjanjezinim kretanjam.
Ovo je iskazano jednadbom ogranienja Ovo je iskazano jednadbom ogranienjaosvjetljenosti, odnosno jednadbomogranienja gradijenta:ogranienja gradijenta:
)()( tyxfdttdyydxxf =+++ (**)),,(),,( tyxfdttdyydxxf =+++ ( )
gdje je f(x, y, t) funkcija intenziteta slike.
-
Optiki tok Razvojem funkcije f(x, y, t) u Taylorov red
dobiva se: 60/139dobiva se: 60/139
)(),,(),,( 2xdtfdyfdxftyxfdttdyydxxf ++++=+++
Z j l i k d (O( 2)
)(),,(),,( xdtt
dyy
dxx
tyxfdttdyydxxf +++++++
Zanemarenjem lanova visokog reda (O(x2) drugog i vieg reda po x-u) i uzimajui u obzirizraz (**) slijedi:izraz (**) slijedi:
dyfdxff += (***)dtydtxt += (***)
Ova jednadba se naziva jednabomogranienja optikog toka.
-
Optiki tok Jednadba ogranienja optikog toka postavlja
ogranienje na brzinu slike (u, v) = (dx/dt, dy/dt) 61/139ogranienje na brzinu slike (u, v) (dx/dt, dy/dt)u ovisnosti o lokalnim derivacijama funkcijeintenziteta slike (Ex, Ey, Et) = (df/dx, df/dy,
61/139
( x, y, t) ( f , f y,df/dt).
Jednadba (***) nije dovoljna za izraunavanje Jednadba ( ) nije dovoljna za izraunavanjeoptikog toka (u, v), ve samo linearnogogranienja E u + E v + Et = 0.ogranienja Exu + Eyv + Et 0.
Lokalne informacije sadrane u jednadbiogranienja optikog toka daju linearnaogranienja optikog toka daju linearnaogranienja na (u, v), pri emu optiki tokpredstavlja vektorsko polje (u v)predstavlja vektorsko polje (u, v).
-
Optiki tok Ovo postavlja ogranienje na tok u smjeru
gradijenta osvjetljenosti ali ne i na 62/139g j j jogranienje u smjeru okomitom na smjergradijenta osvjetljenosti (slika ispod).
62/139
-
Optiki tok
Takoer je potrebno raunati u i v za svakipiksel to nije mogue navedenim 63/139piksel, to nije mogue navedenimpostupkom jer jednadba ogranienjaoptikog toka daje samo jednu jednadbu
63/139
optikog toka daje samo jednu jednadbupo pikselu.D bi d bil j d lj tik Da bi se dobilo jednoznano polje optikogtoka neophodne su dodatne informacije.
Nedostupnost lokalnih informacija optikogtoka u smjeru okomitom na smjergradijenta osvjetljenosti poznato je podimenom aperture problem (problemdijafragme kamere).
-
Optiki tok Rjeavanje aperture problema se omoguuje
uvoenjem dodatnih izraza koji izraunavaju 64/139j j jintegral kvadrata amplitude gradijentaoptikog toka:
64/139
+++= dxdyvvuue yxyxs )( 2222 yxyxsi pogreku u jednadbi ogranienjaoptikog toka:
++= dxdyEvEuEe tyxc 2)( ytyxc )(
-
Optiki tok Oba izraza trebaju poprimiti to je mogue
manje vrijednosti kada se eli minimizirati 65/139manje vrijednosti kada se eli minimiziraties + ec, odnosno izbjei aparture problem,gdje je parametar koji "oteava" pogreku
65/139
gdje je parametar koji oteava pogrekuu jednadbi kretanja scene (slike).V lik ij d t t k i ti Velika vrijednost ovog parametra se koristiako je mjerenje osvjetljenosti tano, a mala
k j j k i ako su mjerenja prekrivena umom(zaumljena).
U praksi se parametar runo podeavakako bi se postigle to je mogue boljep g j g jperformanse.
-
Optiki tok Primjena Eulerove jednadbe daje:
66/13966/139
xtyx EEvEuEu )(2 ++=
ytyx EEvEuEv )(2 ++=
dj j
ytyx )(
gdje je:22
2 + 22 dydx +=
Laplaceov operator.
-
Optiki tok Gornje jednadbe formiraju par eliptikih diferencijalnih
jednadbi drugog reda.67/139
U sluaju pojave silueta (jedan objekat zatvara drugi)javlja se diskontinuitet u optikom toku.
67/139
Ovo naravno naruava ogranienje glatkoe. Jedna od mogunosti prevazilaenja ovog problema je
pokuati pronai rubove koji nagovjetavaju ovakvapokuati pronai rubove koji nagovjetavaju ovakvapreklapanje objekata, a da se pri tome iskljue pikseli ublizini takvih rubova na temelju raunanja optikog toka.j j p g
Optiki tok obeava da bude sastavni dio buduihalgoritama vizije koji e kombinirati znakove koritenjemviestrukih algoritama.
Meutim, algoritmi izbjegavanje prepreka i upravljakinavigacijski sistemi koji iskljuivo koriste optiki tok nisunavigacijski sistemi koji iskljuivo koriste optiki tok nisujo uvijek u irokoj upotrebi.
-
Korelacija Iako se intenzitet strukture scene mijenja sa
promjenom pogleda, moe postojati sluaj da 68/139lokalna struktura slike blizu promatrane,interesantne take ostane konstantna.
68/139
Jedan od najpopularnijih pristupa koji umjestopromatranja jednog piksela, kao kod optikog toka,promatra skup piksela (prozor u slici) i uzorak izpromatra skup piksela (prozor u slici) i uzorak izjedne slike se korelira sa drugom slikom da sepronae njegov poloaj u drugoj slici.pronae njegov poloaj u drugoj slici.
Ovaj pristup se naziva korelacija.Slinost dviju slika f i definirana je izrazom: Slinost dviju slika f i g definirana je izrazom:
++ 22 ))()(()( fd ++= 22 )),(),((),( yyxxgyxfyxd
-
Korelacija Gornja suma je nainjena preko podruja dviju slika
koje se usporeuju. 69/139 Mjestu gdje se slika g moe nai u slici f pridruuje
se mala vrijednost d2, odnosno slike f i g su sline
69/139
j , f gako je d2 malo.
Obavljanjem operacije kvadriranja dobiva se:Oba ja je ope ac je ad a ja dob a se),(),(2),(),(),( 222 yyxxgyxfyyxxgyxfyxd +++++=
Ako se pretpostavi da su f i g konstantni unutar cijelog prozora tada je minimizacija izraza d2(x y)cijelog prozora, tada je minimizacija izraza d (x, y) ekvivalentna maksimizaciji korelacije f i g-a, gdje je korelacija dana sa:j ++= ),(),(),(corr yyxxgyxfyx
-
Korelacija U tipinim primjenama je mali prozor u jednoj
slici u korelaciji sa dijelovima prozora druge 70/139j j p gslike.
Korelacija je relativno jeftina
70/139
Korelacija je relativno jeftina. Cijena je povezana sa veliinom prozora i
podruja koji se pretraujepodruja koji se pretrauje. Takoer, jednostavna korelacijska funkcija dana
gornjim izrazom je osjetljiva na lokalnegornjim izrazom je osjetljiva na lokalne osjetljivosti slika f i g. O f k ij j k j lji l Ova funkcija je takoer osjetljiva na um u ulazu i distorziju izmeu dviju slika koje nisu rezultat jednostavnog pomjeranja (shiftovanje)jednostavnog pomjeranja (shiftovanje).
-
Korelacija Normiranjem se dobiva sljedea korelacijska
funkcija: 71/139funkcija: 71/139
1
),(),(),( yyxxgyyxxfyxW ++++2),(),( yxvyxv gf
gdje su f i g korigirane verzije ulaza, vf i vgg j f g g j , f gsu lokalne varijance od f i g izraunate unutar funkcije prozora W.unutar funkcije prozora W.
-
Izdvajanje znaajki slike Umjesto razmatranja cjelokupne slike neki pristupi
koriste heuristike za identificiranje pojedinih taaka 72/139na slici koje su vane za odreeni zadatak i kasnije koritenje tih taaka za prikazivanje slike.
72/139
Korneri, naprimjer, esto su veoma vani za vizualne zadatke i za njihovo identificiranje se koriste ranije izgraeni detektori kornerakoriste ranije izgraeni detektori kornera.
Opa klasa takvih operatora je poznata pod imenom detektori znaajki ili operatori od interesadetektori znaajki ili operatori od interesa.
U praksi ovi detektori trebaju identificirati lokacije koje su stabilne unutar malih promjena u slici i malihkoje su stabilne unutar malih promjena u slici i malih promjena u taki pogleda.
Oni takoer saimaju sliku u obliku brojnih podesivih Oni takoer saimaju sliku u obliku brojnih podesivih znaajki.
-
Izdvajanje znaajki slike Jedan od najpopularnijih i najvie koritenih
detektora znaajki je Moravecov operator. 73/139j j p Ovaj operator generira potencijalne take od
interesa na temelju mjerenja karakteristinih
73/139
interesa na temelju mjerenja karakteristinih parametara lokalne strukture slike.
Moravecov operator definira mjeru varijance u Moravecov operator definira mjeru varijance u pikselu (x, y) kao:
[ ] 21
2),(),(),var(
++= lykxfyxfyx
gdje je:
, Slkgdje je:
)}0,(),0,(),,0(),,0{( aaaaS = a je parametar.
-
Izdvajanje znaajki slike
Varijanca se rauna u okolici piksela (x, y) i minimalna varijanca se rauna na sljedei 74/139minimalna varijanca se rauna na sljedei nain:
74/139
),var(min),( Moravec),(
yyxxyxNNyx
++= pri emu se uzimaju samo minimalne lokalnepri emu se uzimaju samo minimalne lokalne vrijednosti operatora koje premauju specificirani pragspecificirani prag.
Moravecov operator je dizajniran s ciljem identifikacije taaka u slici koje imaju visokuidentifikacije taaka u slici koje imaju visoku varijancu, kao to su, naprimjer, korneri.
-
Izdvajanje znaajki slike Iako su take sa visokom vrijednou
varijance od interesa veoma je teko rei koji 75/139varijance od interesa veoma je teko rei koji detektor e biti odgovoran. Nagel (Nagel 1982) je razvio detektor koji
75/139
Nagel (Nagel, 1982) je razvio detektor koji veoma dobro reagira na uzorke intenziteta koji se pojavljuju u blizini kornera u slicikoji se pojavljuju u blizini kornera u slici.
Naalost, distribucija intenziteta slike identificiranih Nagelovim detektorom kornera samo indirektno odgovaraju kornerima na slici.
-
Izdvajanje znaajki slike Mnogo efikasniji je takozvani binarni
akvizicijski predloak koji predstavlja posebno 76/139j p j p j pizraen predloak poznate veliine koji se stavi u prostor i kome se lahko odrede pozicija i
76/139
orijentacija.
Binarni akvizicijski predloakpredloak
-
Izdvajanje rubova Mnoge slike mogu se opisati u obliku
strukture promjena u intenzitetu slike 77/139strukture promjena u intenzitetu slike. Rubovi predstavljaju konture u slici na kojima se skokovito mijenja intenzitet
77/139
kojima se skokovito mijenja intenzitet. Budui da je slika opisana kontinuiranom
funkcijom f( ) slijedi da se rubovifunkcijom f(u, v) slijedi da se rubovi pojavljuju na mjestima gdje su velike
ij d ti dij t f k ij f( )vrijednosti gradijenata funkcije f(u, v). Gradijent funkcije f(u, v) je vektor f(u, j j f( , ) j f( ,v)=[f/u, f/v].
Trenutno postoji veliki broj diskretnih Trenutno postoji veliki broj diskretnih aproksimacija gradijenta.
-
Izdvajanje rubova Kod gradijentnih operatora moraju se
izraunavati lokalni maksimumi i 78/139izraunavati lokalni maksimumi i minimumi u slici, to moe biti vrlo teko ostvariti
78/139
ostvariti. Ovaj problem se ublaava primjenom
gradijentnih operatora drugog reda kod kojihgradijentnih operatora drugog reda, kod kojih se trae take prolaska druge derivacije funkcije f( ) kroz nulufunkcije f(u, v) kroz nulu.
Ako su 1 i 2 ortogonalne usmjerene 1 2derivacije intenziteta slike, tada je amplituda gradijenta intenziteta slike dana sa 2221 +dok je smjer ovog gradijenta dan satan-1 (2/1).
-
Izdvajanje rubova Naprimjer, Sobelov operator se implementira
pomou korelacije slike sa operatorima 1 i 2, gdje 79/139p j p 1 2 g jsu oni dani sa:
79/139
121101
=
=
121000 ,
101202 21
Efekt djelovanja Sobelovog operatora prikazan je naslikama.
original (I) 1I 2I
-
Izdvajanje rubova Naalost, operatori koji koriste derivacije
imaju tendenciju pojaavanja uma u slici. 80/139j j p j j Zbog toga je potrebno obaviti filtriranje da bi se
smanjio um pa tek onda primijeniti Sobelov
80/139
smanjio um, pa tek onda primijeniti Sobelov operator.
U vezi s tim je vano promatrati odziv svakog od U vezi s tim je vano promatrati odziv svakog od Sobelovih filtera. Tako za 1 prijenosna funkcija postaje:postaje:
)()( )(1 2
2211hkk kki += += + ))sin(2)sin()(sin(2
),(),( )(212111 2
2211
kkkkki
ehkk kki
+++
= = =
+
))sin(2)sin()(sin(2 12121 kkkkki +++=
-
Izdvajanje rubova
Modul prijenosne funkcije prikazan je na slici.81/139
181/139
8
4
6
0
2
-3 -2 -1 0 1 2 3 -20
2-2
0
k2
Iako 1 ima veliku amplitudu na visokim frekvencijama moese oekivati njegovo slabo djelovanje u prisustvu uma
0 1 2 3 k2k1
se oekivati njegovo slabo djelovanje u prisustvu uma.Koritenje inicijalnog filtriranja s ciljem uklanjanja visokihfrekvencija ini operatore sline Sobelovim mnogo stabilnijim.
-
Izdvajanje rubova Drugi glavni problem sa gradijentnim
operatorima je da se mora pretraivati njihov 82/139p j p jizlaz kako bi se pronali i identificirali lokalni maksimum i minimum (poznati kao iljci) na slici.
82/139
iljci su predstavljeni znaajkama koje je veoma teko pronai u slici. p
Upotreba gradijentnih operatora drugog reda reducira ovaj problem jer se pretraga iljakareducira ovaj problem jer se pretraga iljaka zamjenjuje sa pronalaenjem taaka prolaska kroz nulu.
Postoji mnogo vrsta gradijentnih operatora drugog reda koji se ovdje mogu razmatrati, pridrugog reda koji se ovdje mogu razmatrati, pri emu je moda Laplaceov operator najpopularnijim.
-
Izdvajanje rubova Ovaj operator je oblika:
83/13983/139
2
2
2
22
yx +
=
Laplaceov operator je neusmjereni operator drugog reda
yx
reda. Operatori drugog reda takoer pojaavaju
visoke frekvencije to ima za posljedicu njihovuvisoke frekvencije, to ima za posljedicu njihovu osjetljivost na um i potrebno je takoer predfiltriranje slike niskopropusnim filtrom, p j p p ,naprimjer, Gaussovim filtrom oblika:
22
1 yx + 2222
1),( y
eyxG=
-
Izdvajanje rubova Laplaceov operator Gaussova filtra iznosi:
84/13984/139
))()( 22 IGIG =
Ovaj se operator koristi za raunanje j p jprolaska kroz nulu druge derivacije radije nego za raunanje iljaka u prvoj derivaciji.
Operator 2G je izotropni operator to znai da nije selektivan prema orijentaciji rubova. j p j j
Odzivi Gaussova filtra i njegovog Laplaceovog operatora prikazani su na sljedeem slajdu.operatora prikazani su na sljedeem slajdu.
-
Izdvajanje rubova Odzivi Gausova filtra (a) i njegovog
Laplaceovog operatora (b) 85/139Laplaceovog operatora (b) 85/139
x 10-3
4
6
x 10-4
20
2
010
200
200
-4
-2
(a)-20
-10-20
xy
010
200
20-6
(b)-20
-100
-20xy
-
Izdvajanje rubova Rezultati dobiveni Laplaceovim operatorom
Gaussova filtra primijenjenim za istu sliku uz 86/139razliite vrijednosti parametra prikazani su na sljedeim slikama.
86/139
original =1
-
Izdvajanje rubova
87/13987/139
=0.5 =2
-
Izdvajanje rubova Sa slika je jasno da se promjenom ovog
parametra moe prilagoavati rezolucija 88/139parametra moe prilagoavati rezolucija prikaza prostora.Izdvojeni individualni rubni pikseli obino se
88/139
Izdvojeni individualni rubni pikseli obino se povezuju u sloenije strukture prije daljnje obradeobrade.
Naprimjer, skup taaka koje predstavljaju linijski segment moe se u njega i pretvoriti.
Na taj se nain smanjuje koliina podataka j j j pkojom je prikazana slika.
Ovaj postupak se zove vektorizacija slike Ovaj postupak se zove vektorizacija slike.
-
Izdvajanje rubova Cannyjev operator Ova metoda koristi vierazinski algoritam za 89/139Ova metoda koristi vierazinski algoritam za
detekciju rubova u slici. Za razliku od ostalih metoda za detekciju i izdvajanje
89/139
Za razliku od ostalih metoda za detekciju i izdvajanje rubova, Cannyjeva metoda koristi dvije razliite vrijednosti pragova za detektiranje jakih i slabih rubova, te ukljuuje slabe rubove samo u sluaju kada su povezani sa jakim rubovima.
Na ovaj nain omogueno je kvalitetnije izdvajanje rubova iz slike u prisustvu uma.
Cannyjeva metoda predstavlja "optimalnu" metodu za detekciju, odnosno izdvajanje rubova.O i l f k ij C j d k i j Optimalna funkcija Cannyjevog detektora opisana je zbrojem eksponencijalnih lanova.
-
Izdvajanje rubova Cannyjev algoritam moe se razmatrati kao filter koji
ulaznu crno-bijelu sliku obrauje tako da na izlaznoj 90/139slici postoje samo rubovi ili ne-rubovi.
Detekcija rubova odvija se u etiri faze: izglaivanje
90/139
(usrednjavanje) slike, odreivanje gradijenta intenziteta slike, stanjivanje rubova i uporedba s pragompragom.
originalna slika Sobel Canny
-
5.7. Segmentacija slike Segmentacija slike bavi se dekompozicijom
scene u njezine sastavne dijelove. 91/139 Osnovni cilj njenog koritenja je odvajanje piksela
koji predstavljaju objekte od interesa od ostalih
91/139
piksela u sceni. Proces segmentacije slike obuhvaa tri potprocesa:
klasifikacija piksela, reprezentacija i opis. Na temelju ovih procesa razvijene su razliite
metode segmentacije. U nastavku poglavlja se razmatraju sljedei postupci
segmentacije: binarna, segmentacija s pragom (amplitudna segmentacija), grupiranje, obiljeavanje komponenti i metode koje koristeobiljeavanje komponenti i metode koje koriste granice objekta.
-
Segmentacija slikeBinarna klasifikacija s pragom Klasifikacija piksela predstavlja proces zakljuivanja 92/139Klasifikacija piksela predstavlja proces zakljuivanja
koji se primjenjuje na svaki piksel i pridruuje ga jednoj od C klasa, , gdje se klasa
92/139
{ }1,...,0 Ccj j g jpiksela c predstavlja cjelobrojnom vrijednou.
Kada je C = 2 tada se govori o binarnoj j g jklasifikaciji. U tom sluaju, pikseli se mogu klasificirati kao objekti (c = 1) ili neobjekti (c = 0) predstavljeni bijelom ili crnom bojom.
Binarna klasifikacija:
fvutvuftvuf
vuc
-
Segmentacija slike Prag t moe se odrediti koritenjem histograma
prvog reda, odnosno raunanjem minimuma u 93/139histogramu.
Odreuje se iznos praga tako da dio piksela ima
93/139
svjetlinu niu od praga ili odrediti prag na temelju histograma izraunatog za piksele u slici koji zadovoljavaju neki kriterij (velik iznos gradijenata)zadovoljavaju neki kriterij (velik iznos gradijenata).
Kod mnogih slika vrijednost piksela pada u jednu od dvije skupine tamne ili svijetle takedvije skupine, tamne ili svijetle take.
U takvim se sluajevima objekt moe izdvojiti od pozadine na temelju vrijednosti amplitude.pozadine na temelju vrijednosti amplitude.
Kod izbora praga mogu nastati problemi usljed djelovanja uma i smetnje, kada objekt i pozadina j j j , j pslike imaju irok raspon vrijednosti i u sluaju neuniformne pozadine.
-
Segmentacija slike Binarno klasificirane slike sa razliitim vrijednostima
praga: 0.4, 0.6 i 0.8. 94/13994/13950
100
50
100
v
[
p
i
k
s
e
l
i
] 150
200
250 v
[
p
i
k
s
e
l
i
] 150
200
250
300
u [pikseli]100 200 300 400 500
300
350
u [pikseli]100 200 300 400 500
300
350
[p ] u [pikseli]
50
100]
50
100
150
v
[
p
i
k
s
e
l
i
] 150
200
250
300
v
[
p
i
k
s
e
l
i
] 150
200
250
300
u [pikseli]100 200 300 400 500
300
350
u [pikseli]100 200 300 400 500
300
350
-
Segmentacija slikeBinarna klasifikacija sa Niblackovim algoritmom Niblackov algoritam koristi lokalni prag koji se 95/139Niblackov algoritam koristi lokalni prag koji se
rauna na sljedei nain:95/139
)()(),( WkWvu t +=gdje je W veliina regija oko take (u, v), () srednja vrijednost i ( ) standardna devijacija
)()(),( WkWvu t +
srednja vrijednost i ( ) standardna devijacija.
5050
p
i
k
s
e
l
i
]
100
150
200
[
p
i
k
s
e
l
i
]
100
150
200v
[
p
250
300
v
[
250
300
350
u [pikseli]100 200 300 400 500
350
u [pikseli]100 200 300 400 500
-
Segmentacija slikeGrupiranje s K srednjih vrijednosti (engl. K-means clustering) 96/139 Pronalazi grupe (engl. clusters) taaka u ravnini,
gdje svaka grupa odgovara skupini piksela sa
96/139
istaknutom razlikovnom bojom.
0 9
1
0.7
0.8
0.9
Tri grupe taaka sacentrima gdje su
0.4
0.5
0.6
y
centrima, gdje sucentri prikazaniveim krugovima.
0.2
0.3
0 0.2 0.4 0.6 0.8 10
0.1
x
-
Segmentacija slike Ovdje se polazi od pretpostavke da pojedinana
scena sadri etiri razliita elementa u boji. Pikseli se i j ti i k t k kl (C 4) 97/139grupiraju u etiri kromatske klase (C = 4).
Algoritam grupiranja s K srednjih vrijednosti je it ti i l it i j N di i l ih
97/139
iterativni algoritam za grupiranje N-dimenzionalnih taaka u K prostornih grupa.Svaka grupa definirana je centrom koji predstavlja Svaka grupa definirana je centrom ck koji predstavlja N-dimenzionalni vektor.
Neka je x N dimenzionalni vektor znaajki slike u taki Neka je x N-dimenzionalni vektor znaajki slike u taki (i, j).
Segmentacija treba grupirati vektore tako da znaajke Segmentacija treba grupirati vektore tako da znaajke unutar jedne grupe budu uniformne.
Nadalje, neka je poznat broj grupa K i neka je ck(n)Nadalje, neka je poznat broj grupa K i neka je ck(n)centar k-te grupe u n-toj iteraciji. Inicijalno se ck(0)postave na bilo koju vrijednost.
-
Segmentacija slike U n-toj iteraciji odabere se jedan vektor xi i dodijeli se
grupi taaka Rk ijem je centru najblii: 98/139g p k j j j 98/139
))}(,({min))(,( 1
ndndR jiKj
kiki cxcxx ==
Zatim se ponovo izraunaju centri grupa kao vektori
,...,1 Kj=
Zatim se ponovo izraunaju centri grupa kao vektori koji minimiziraju udaljenosti za vektore iz pojedine grupe:
Kkdndn iRx
kik
ki
,...,1 )},,({min))1(,( :)1( ==++
yxcxcy
Postupak se ponavlja sve dok se poloaj centara vie
Rx ki
p p j p jne mijenja, odnosno dok se sve take ne pridrue pojedinoj grupi.
-
Segmentacija slike Primjer 2. Segmentacija zasnovana na grupiranju
s K srednjih vrijednosti99/13999/139
50
s
e
l
i
]
100
150
200
s
e
l
i
]
100
200
v
[
p
i
k
s
250
300
350
v
[
p
i
k
s
300
100 200 300 400 500 600
400
450
100 200 300 400 500 600
400
u [pikseli] u [pikseli]
originalna slika slika dobivena klasifikacijom piksela za C = 4
-
Segmentacija slike
100/1390 60.7
0.8
100
100/139
1 2
3
4
y
0.3
0.4
0.5
0.6
v
[
p
i
k
s
e
l
i
]
200
300
0 0 2 0 4 0 6 0 80
0.1
0.2400
x0 0.2 0.4 0.6 0.8
centri klasa u xy kromatskoj ravnini u [pikseli]100 200 300 400 500 600
pikseli klase 3.p
k
s
e
l
i
]
100
200slika nakon primjene morfoloke
v
[
p
i
k
300
400
slika nakon primjene morfoloke operacije zatvaranja s krunim strukturnim elementom polumjera r = 2
u [pikseli]100 200 300 400 500 600
400
-
Segmentacija slikeSegmentacija zasnovana na obiljeavanju komponenti 101/139 Jednostavna i efikasna metoda koja se zasniva na
ispitivanju povezanosti piksela sa njegovim
101/139
susjedima i obiljeavanja povezanih skupova taaka. Algoritam: Prvo se binarnom slikom prolazi liniju po
liniju, slijeva na desno i odozgo prema dolje. Trenutni piksel X moe biti objekt (vrijednost 1) ili
pozadina (vrijednost 0). Ako je vrijednost piksela 1 tada se on obiljei
ispitivanjem susjeda. Ako je neki od susjeda ve obiljeen da pripada
nekom objektu onda i X dobiva istu oznaku.
-
Segmentacija slike U sluaju da neki od susjeda imaju razliite oznake
tada se pripadni objekti stapaju (ekvivalentni objekti). 102/139 Nova oznaka se stvara kod svakog prijelaza iz
vrijednosti na izolirani piksel 1 (novi objekt).
102/139
Rezultat pretraivanja je segmentacija slike u regije, to jest skupine objekata slike.
-
Segmentacija slikeSegmentacija zasnovana na granicama objekta Vri segmentaciju objekata u slici na temelju granica 103/139Vri segmentaciju objekata u slici na temelju granica
objekata. Granice objekta mogu se izdvojiti sljedeim metodama:
103/139
Granice objekta mogu se izdvojiti sljedeim metodama: praenje granice objekta, interpolacija krivulje i Houghova transformacija.
Metoda praenja granice (konture) daje kao izlaz niz koordinata taaka koje se nalaze na granici objekta.
Dobiveni niz odreuje regiju slike koja pripada objektu. Metoda interpolacije krivulje povezuje take p j j p j
rasporeda rubova da bi se dobila zatvorena kontura koja definira regiju.
Za to je potrebno razbiti konture u dijelove koji se interpoliraju i primijeniti neki od postupaka interpolacije.
-
Segmentacija slike Houghova transformacija Houghova transformacija koristi se za detekciju linija 104/139Houghova transformacija koristi se za detekciju linija
u slici. Pravu liniju, odnosno pravac, potrebno je opisati u
104/139
Pravu liniju, odnosno pravac, potrebno je opisati u obliku minimalnog broja parametara.
Standardni zapis v = au + b je problematian uStandardni zapis v au + b je problematian u sluaju vertikalnog pravca kada je a = .
Umjesto toga moe se koristiti ( ) parametrizacija: Umjesto toga moe se koristiti (, ) parametrizacija:
=+ cossin vuodnosno:
cos
tan += uv
-
Segmentacija slike [-/2, /2) je ugao nagiba i udaljenost pravca od
ishodita, za koji vrijedi [ min, max]. 105/139, j j [ min, max] Horizontalni pravac ima = 0 i vertikalni = -/2.
Svaki pravac moe se promatrati kao taka ( ) u
105/139
Svaki pravac moe se promatrati kao taka (, ) u dvodimenzionalnom prostoru svih moguih linija.Houghova transformacija preslikava pravac u taku u Houghova transformacija preslikava pravac u taku u koordinatnom sistemu . F ilij k j l i k j d t k bi Familija pravaca koja polazi kroz jednu taku bi se preslikala u skup taaka koje lee na sinusoidi. U praksi se razmatraju pravci iz konanog skupa U praksi se razmatraju pravci iz konanog skupa.
U tom smislu se ravnina kvantizira i koristi se d j lj A di ij N Nodgovarajue polje A dimenzija N N.
Ovo polje naziva se Houghova ravnina.
-
Segmentacija slike Primjer 3. Promatra se pravokutni objekt zakrenut za
odreeni ugao u smjeru kretanja kazaljke na satu. 106/139
50
100 100
200
300106/139
v
[
p
i
k
s
e
l
i
]
100
150
200
[
p
i
k
s
e
l
i
]
-200
-100
0
Houghova ravnina
u [pikseli]50 100 150 200 250
200
250
theta [rad]-1.5 -1 -0.5 0 0.5 1 1.5
-300
200 ravnina
60
80
100
Prikaz oko 50
100
Projekcija detektiranih linija
[
p
i
k
s
e
l
i
]
0
20
40 jedne presjene take
v
[
p
i
k
s
e
l
i
]
100
150
200
linija (Houghovi pravci) na originalnu
theta [rad]-0.5 -0.4 -0.3 -0.2 -0.1 0
-40
-20
u [pikseli]50 100 150 200 250
200
250
originalnu sliku
-
Segmentacija slikeSegmentacija zasnovana na raunanju momenta Momenti su efikasna i raunarski nezahtjevna klasa 107/139Momenti su efikasna i raunarski nezahtjevna klasa
svojstava slike koji mogu opisati veliinu regije, njenu lokaciju i oblik.
107/139
Moment slike f je skalar opisan izrazom:
),(),(
vufvumfvu
qppq
=
gdje je (p + q) red momenta. Za p = q = 0 imamo moment nultog reda odnosno: Za p = q = 0 imamo moment nultog reda, odnosno:
= vufm )(
=fvu
pq vufm),(
),(
-
Segmentacija slike Za binarnu sliku u kojoj su vrijednosti piksela podloge
jednaki nuli, moment predstavlja broj ne-nultih piksela 108/139(bijeli), odnosno veliinu regije izraenu brojem piksela.
108/139
Neka je ukupna masa regije jednaka m00 tada je centar mase ili centroid regije:
00
01
00
10 ,mmv
mmu cc ==
gdje su m10 i m01 momenti prvog reda.
0000 mm
Centralni momenti pq raunaju se u odnosu na centroid kao:
=
fvu
qc
pcpq vufvvuu
),(
),()()(
-
Segmentacija slike Ovi momenti povezani su sa momentima mpq na
sljedei nain: 109/139j
22
0110 0 ,0 == 109/139
00
01101111
00
201
020200
210
2020 , , mmmm
mmm
mmm ===
Matrica inercije regije:
=0211
1120
J
sadri momente oko osi koje su paralelne sa osima u i v i koje prolaze kroz centroid regije. Drugi centralniv i koje prolaze kroz centroid regije. Drugi centralni momenti 20 i 02 su momenti inercije i 11 je produkt inercije.
-
Segmentacija slike Produkt inercije poprima ne-nultu vrijednost ako je
oblik regije nesimetrian u odnosu na osi regije. 110/139 Na ovaj nain dobiva se ekvivalentna elipsa koja
ima istu matricu inercije kao i regija.
110/139
Svojstvene vrijednosti i svojstveni vektori matrice Jpovezani su sa radijusima elipse i njenom j jorijentacijom u odnosu na osi koordinatnog sistema.
Radijusi elipse raunaju sa kao:
2 ,2 21 ba ==
Zadnji stupac matrice svojstvenih vektora (v i v )
,0000 mm
v Zadnji stupac matrice svojstvenih vektora (vx i vy) odreuje ugao koji ovaj vektor zatvara sa x osi:
=
x
y
vv1tan
-
Segmentacija slike Primjer 4. Segmentacija zasnovana na raunanju
momenta 111/139 Ciljna regija oznaena je crnim pravokutnikom na drugoj
slici. Za ovu regiju raunaju se: momenti slike, centroid ij t i i ij ij ( t l i ti) dij i
111/139
regije, matrica inercije regije (centralni momenti), radijusi elipse i ugao koji s horizontalnom osi zatvara zadnji vektor stupac matrice svojstvenih vektora. stupac at ce s ojst e e to a
50
100
0
100
p
i
k
s
e
l
i
]
150
200
250p
i
k
s
e
l
i
]
200
v
[
p
300
350
400
v
[
300
400
u [pikseli]100 200 300 400 500 600
450
u [pikseli]100 200 300 400 500 600
-
Segmentacija slike Regije sa prve slike izdvojene su postupkom
segmentacije obiljeavanja komponenti. 112/139
100
112/139
[
p
i
k
s
e
l
i
]
200
v
300
400
u [pikseli]100 200 300 400 500 600
Moment nultog reda iznosi m00 = 6004, to predstavlja veliinu regije izraene u pikselima.
Koordinate centroida iznose uc=346.7539 piksela i vc=410.4446 piksela.
-
Segmentacija slike Ciljna regija je ograniena sa [umin, umax]=[310, 382]
piksela i [vmin, vmax]=[361, 460] piksela. 113/139p [ min, max] [ , ] p Matrica inercije regije J, iji su elementi centralni
momenti regija, jednaka je:
113/139
momenti regija, jednaka je:
=
=41814232902329.00436.2
1060211
1120
J
Svojstvene vrijednosti matrice J i radijusi elipse: 4181.42329.00211
=
=4408.40210.2
1062
1
3880.542 ,6904.36200
2
00
1 ====m
bm
a
Omjer a/b iznosi 0.6746 i ugao koji zatvara vektor zadnjeg stupca matrice svojstvenih vektora v=[vx vy] Tzadnjeg stupca matrice svojstvenih vektora v [vx vy]= [-0.0962 0.9954]T sa horizontalnom osi iznosi 95.5498
-
Segmentacija slike Omeene kutije, odnosno pravokutnici, sadre
granine linije okvira unutar kojih su smjetene etiri 114/139regije sa originalne slike (prva slika).
Dimenzije ovih regija definirane su intervalima [umin,
114/139
j g j [ min,umax] i [vmin, vmax].
00
100
v
[
p
i
k
s
e
l
i
]
200
300
v
300
400
u [pikseli]100 200 300 400 500 600
-
5.8. Registracija slike Problem registracije dviju slika sastoji se u
odreivanju geometrijske transformacije kojom 115/139se jedna slika preslikava u drugu.
Nakon registracije za svaku taku u prvoj slici
115/139
poznato je koja joj je taka korespondentna u drugoj slici.
Registracija je neophodna da bi se mogli uporeivati ili integrirati podaci dobiveni iz razliitih mjernih sistemasistema.
Prema tome, registracija slike je vaan problem analize slike kada imamo vie slika jednog objektaanalize slike kada imamo vie slika jednog objekta dobivenih razliitim nainima snimanja, kada imamo vie slika jednog objekta snimljenih u razliitim e s a jed og obje a s je u a vremenskim trenucima, kada elimo uporediti slike vie objekata i kada se eli uporediti slika s modelom.
-
Registracija slike Proces registracije sastoji se od tri potprocesa:
transformacija slike, mjere slinosti kojom se 116/139odreuje kvaliteta registracije i funkcija optimiranja kojom se maksimizira mjera slinosti.
116/139
Nakon to su dvije slike registrirane mogue je analizirati, odnosno detektirati razlike izmeu dviju istovrsnih slika naprimjer snimljenih u dva razliitaistovrsnih slika, naprimjer, snimljenih u dva razliita vremenska trenutka i kombinirati informacije sadrane u dvjema raznovrsnim slikama, naprimjer, snimljenimu dvjema raznovrsnim slikama, naprimjer, snimljenim razliitim nainima snimanja.
to se tie transformacije slike najee se koristeto se tie transformacije slike najee se koriste geometrijske transformacije, kao to su: linearne(ukljuuju translaciju, rotaciju, skaliranje i druge afine operacije), elastine i rigidne (neelastine).
-
Registracija slike Geometrijska transformacija vri se na prostoru u kojem
se slika nalazi, a ne na intenzitetima slike, zbog toga se 117/139ona moe matematiki predoiti u openitom obliku:
)),((),( vufvuf ST =117/139
Na ovaj nain obavlja se registracija ulazne slike fS na
)),((),( vufvuf ST
referentnu sliku fR tako to se primjenjuje transformacija T na prostor u kojem se slika fS nalazi.Slj d i t i t iji lik j Sljedei vaan segment u registraciji slike jekorespondencija slika.
Korespondencija vie slika je problem pronalaenja Korespondencija vie slika je problem pronalaenja koordinata piksela u vie razliitih slika koje odgovaraju istoj taki u stvarnom svijetu. j j
Ove take mogu se detektirati razliitim pogledima iste scene bez obzira na taku pogleda ili svjetlosni ambijent.
-
Registracija slike Pretpostavimo da imamo dvije slike iste scene
dobivene dvjema razliitim kamerama (veliina 118/139piksela, arina duljina, broj piksela po slici,...) postavljenim na razliite poloaje.
118/139
Ukoliko scene nisu usklaene tada odreivanje korespondencije izmeu slika predstavlja znaajan problemproblem.
U tom sluaju posee se za nekim od detektora znaajki naprimjer Harrisov detektor uglova kojiznaajki, naprimjer, Harrisov detektor uglova koji odabire samo karakteristine, odnosno svojstvene take.take.
Harrisov detektor rauna se prema izrazu:
)(tr)det(),( AA = kvuCH
-
Registracija slike Elementi matrice A raunaju se na temelju
gradijenata du x i y osi slike (fx i fy), bilo 119/139g j y (fx fy),kvadriranjem ili mnoenjem, i izglaivanja pomou teinske matrice W, na sljedei nain:
119/139
++++++++++++= ),(),(),(),(),(
),(),(),(),(),(2
2
jviujijviujviujijviujviujijviuji
yyx
yxx
fWffWffWfW
A
Matrica A moe se napisati i u obliku:
),(),(),(),(),( jjjjj yyx fff
= 2
2
)()()()(
yyx
yxx
fGffGffGfG
A
gdje je operacija konvolucije definirana kao: )()( yyx fGffG
22
22
2121 )()( += GGG 2
22
222
1)( vu
e+
=G
-
Registracija slike Na ovaj nain reducira se um u slici i poboljava
stabilnost i pouzdanost detektora. Prema tome, 120/139gradijenti slike fx i fy raunaju se pomou Gaussovog operatora sa mogunou podeavanja koeficijenta i l i j
120/139
izglaivanja . U jednadbi najee se uzima da je k = 0.04. Velike vrijednosti Harrisova detektora predstavljaju
izotrene i razlikovne uglove. Budui da je det(A) = 12 i tr(A) = 1+2 slijedi da je
ovaj detektor efikasan kada se izbjegava raunanje svojstvenih vrijednosti matrice A, to ponekad moe biti raunarski izuzetno zahtjevno.
-
Registracija slike Primjer 5. Korespondencija slika. Promatraju se dvije identine slike dobivene dvjema 121/139Promatraju se dvije identine slike, dobivene dvjema
kamerama razliitog broja piksela (7 i 10 Mega pixela) i stupnja uveanja slike
121/139
100 100
k
s
e
l
i
]
200
300
400
k
s
e
l
i
]
200
300
400
v
[
p
i
k
500
600
700v
[
p
i
k 500
600
700
800
u [pikseli]200 400 600 800 1000 1200
800
u [pikseli]200 400 600 800 1000 1200
800
900
[p ]
Na slikama je primijenjen Harrisov operator kojim se detektira 100 najizraenijih uglova (kornera).
-
Registracija slike Za mjeru slinosti dviju slika koje se registriraju
zasnovanu na vrijednostima piksela mogu se koristiti 122/139razliiti kriteriji, kao to su: kvadratna razlika intenziteta, korelacijske tehnike, uniformnost k ij t lik k it iji i t iji
122/139
kvocijenta slike, kriteriji zasnovani na teoriji informacija (naprimjer, zajednika entropija dviju slika)slika),...
Ovdje se razmatra kriterij koji koristi korelacijske tehnike, odnosno raunanje korelacijskogtehnike, odnosno raunanje korelacijskog koeficijenta s:
= = =
M NM N
M
i
N
j
jiji
jijis
22
221 1 11
))(())((
)),(()),((
ffff
ffff
= == = i ji j jiji 1 1 2221 1 211 )),(()),(( ffff
-
Registracija slike N je dimenzija prostora, i predstavljaju prosjene
vrijednosti od f1 i f2, koje se raunaju na sljedei 1f 2f
123/139j f1 2, j j jnain:
21 )(1 kjiM N ff123/139
Za jednodimenzionalni sluaj dobiva se:
2,1 ,),(1
1==
= =kji
NM i jkk ff
Za jednodimenzionalni sluaj dobiva se:
2
221 11)))(())((( ffff = =
NN
N
iii
s
1 221 11
12
22
2
1 11
))(())((
))(())((
ffff
ffff
==
==
N
i
N
i
N
i
N
i
ii
ii
444 3444 21444 3444 2121
2
1 22
12
1 11
1
))(())((
dd
ffff
=
=
=
=
=
N
i
i
N
i
i
ii
Normirani vektori di mogu se koristiti kao deskriptori znaajki.
-
Registracija slike Bolji rezultati u slaganju slika dobivaju se koritenjem
SURF (engl. Speeded Up Robust Feature) algoritma 124/139koji se zasniva na raunanju maksimuma u aproksimiranoj Hessijan-Gaussovoj sekvenci.
124/139
On rauna vektorski deskriptor koji sadri 64 elementa i opisuje svojstva piksela na nain da je invarijantan na skaliranje i rotaciju i koristi pikseleinvarijantan na skaliranje i rotaciju i koristi piksele unutar regije od interesa.Segmentacija slike je jako efikasna za pronalaenje Segmentacija slike je jako efikasna za pronalaenje objekta u slici, praenje objekta u nizu slika (film), kao i za odreivanje orijentacije objekta na slici. Osimi za odreivanje orijentacije objekta na slici. Osim navedenih deskriptora, odnosno detektora znaajki, veliku primjenu nalazi i SIFT (engl. scale-invariant feature transform).
-
5.9. Stereovizija Jedna kamera ne moe lokalizirati objekat u
3D prostoru ona daje informaciju o smjeru 125/1393D prostoru, ona daje informaciju o smjeru, a ne i o udaljenosti do njega. Koritenjem kamere 3D slika se pretvara u
125/139
Koritenjem kamere, 3D slika se pretvara u2D sliku.
Postavlja se pitanja: Kako iz kanonikih koordinata slike xl i yl , izvui informaciju o koordinatama objekta x,y i z?
Za odreivanje udaljenosti do objekta nuno j j jje koristiti vie slika i identificirati znaajke u njima.j
-
Stereovizija U mobilnoj robotici je vano izbjei objekat, a ne
imati informacije o njegovoj boji. 126/139j j g j j U vezi s tim je zgodno izdvojiti rubne take
(piksele) i povezati ih i na taj nain dobiti linijski
126/139
(p ) p j jsegment.
Na ovaj nain se smanjuje koliina podataka sa a o aj a se s a juje o a poda a a sakojima je prikazana slika.
Problem izvlaenje informacija o dubini na temeljuProblem izvlaenje informacija o dubini na temeljudvije slike koje oslikavaju scenu iz razliitihperspektiva se rjeava stereovizijom.
Problem se moe poopiti i na vie slika, odnosno vie kamera. Korespondentne take mogue je p g jmatematiki povezati epipolarnom geometrijom.
-
Stereovizija Epipolarna geometrija Epipolarna geometrija opisuje odnose izmeu slika 127/139 Epipolarna geometrija opisuje odnose izmeu slika
dobivenih pomou dvije kamere koje snimaju scenu iz dva razliita ugla.
P ( ) taka u 3D prostoru
127/139
P
P = (x, y, z) taka u 3D prostoru scene
Take p1 i p2 definiraju optike zrake
epipolarna ravnina ravnina slike 1
kamera koje prolaze kroz taku P u 3D prostoru.
Ravnina koja prolazi takom P iepipolarna ravnina
l1 l2
p2 p1
Ravnina koja prolazi takom P i centrima projekcije obiju kamera naziva se epipolarna ravnina. Sve tri take P, p1 i p2p2
e1
x2 z2 z1
C C1
ravnina. Sve tri take P, p1 i p2su koplanarne, odnosno lee u istoj epipolarnoj ravnini. Problem koji definira epipolarna e1
e2
y2
x1 y1
C2 ravnina slike 2
bazna linija
j p pgeometrija jest odreivanje odnosa izmeu taaka p1 i p2
-
Stereovizija Linija na kojoj se nalaze obje kamere naziva se
bazna linija (engl. baseline), a mjesto na kojem se 128/139sijeku bazna linija i ravnina slike naziva se epipol ili epipolarna taka (oznaena sa e1 i e2).
128/139
Ustvari, epipol predstavlja projekciju optikog centra jedne kamere na ravninu slike druge kamere.
Linije koje predstavljaju presjeke epipolarne ravnine s ravninama slika nazivaju se epipolarne linije, koje
l i lsu oznaene sa l1 i l2. Epipolarne linije se takoer mogu definirati kao linije
li i k j l i l i j k ij t k Pna slici koje prolaze epipolom i projekcijom take P(to jest takom p1, odnosno p2).
-
Stereovizija Epipolarna linija moe se promatrati kao projekcija
optike zrake prve kamere koja prolazi optikim 129/139centrom prve kamere i takom P na sliku druge kamere.
129/139
Budui da se taka P moe nalaziti samo na toj optikoj zraci, to znai da se njezina projekcija na drugu sliku moe nalaziti samo na razmatranoj epipolarnoj liniji. T i j i i i l i j Ta injenica naziva se epipolarno ogranienje.
Epipolarno ogranienje (uvjet) govori da se taka l iti tik j i dj i lmoe nalaziti samo na optikoj osi gdje epipolarna
ravnina sijee ravninu slike dobivene s druge kamerekamere
-
Stereovizija Kada se za neku taku prve slike trai taka na
drugoj slici koja odgovara istoj 3D taki scene, tada 130/139je pretraivanje druge slike ogranieno samo na epipolarnu liniju koja odgovara taki p1.
130/139
Uz poznavanje intrinzinih parametara obiju kamera te njihovog meusobnog poloaja, mogue je za
k t k lik d diti j j d j svaku taku prve slike odrediti njoj odgovarajuu epipolarnu liniju na drugoj slici i obratno.
-
Stereovizija Fundamentalna matrica Fundamentalna matrica matematiki opisuje 131/139 Fundamentalna matrica matematiki opisuje
epipolarnu geometriju. Taka p mora uvijek leati na epipolarnoj liniji l
131/139
Taka p2 mora uvijek leati na epipolarnoj liniji l2ravnine druge slike.
Da bi se pronala taka p potrebno je samo pronai Da bi se pronala taka p2 potrebno je samo pronai preslikavanje take p1 na epipolarnu liniju l2. Ovo se obavlja na sljedei nain Ovo se obavlja na sljedei nain.
Neka se promatra pomona ravnina koja ne sijee niti jedan od centara kamereniti jedan od centara kamere.
Mjesto gdje optika zraka prve kamere sijee ravninu oznaeno je takom Pravninu oznaeno je takom P.
-
Stereovizija Projekcija ove take na ravninu druge slike odgovara
taki p2 koja se nalazi na epipolarnoj liniji l2. 132/139p2 j p p j j 2 Budui da epipolarna taka e2 i taka p2 lee na
epipolarnoj liniji, tada vrijedi:
132/139
p p j j , j
222 pel = Ukoliko bi taku p2 prikazali kao umnoak vektora p1 i
neke matrice H tada bi se prethodni izraz mogao p gzapisati kao:
112222 FppHepel ===gdje je F fundamentalna matrica i H 2D homografska matrica koja se moe definirati poto su preslikavanja
112222 ppp
j p p jtake p1 u taku p2 projekcijski ekvivalentna u odnosu na taku P.
-
Stereovizija Vano je naglasiti da u sluaju kada meusobni
poloaj kamera nije poznat tada je potrebno 133/139estimirati fundamentalnu matricu.
133/139
P
ravnina slike 1
l2
p2 p1
p
e2
x2 z2 z1
C2 C1
H
e2
y2
x1 y1
C2 ravnina slike 2
-
Stereovizija Vano je naglasiti da u sluaju kada meusobni
poloaj kamera nije poznat tada je potrebno 134/139estimirati fundamentalnu matricu.
Primjer . Odreivanje korespondentnih taaka i
134/139
epipolarnih linija pomou sistema stereovizije, odnosno sistema dviju kamera. N lj d j li i ik lik d bi lij Na sljedeoj slici prikazane su slike dobivene lijevom i desnom kamerom, koje su poravnate i meusobno razmaknute za 30 cm gdje je f = 5 2 mmrazmaknute za 30 cm, gdje je f = 5.2 mm.
Na temelju procesa slaganja prve i druge slike koritenjem SURF deskriptora pronaene su 132koritenjem SURF deskriptora pronaene su 132 korespondentne take.
Nakon toga je primijenjena metoda konsenzusaNakon toga je primijenjena metoda konsenzusa sluajnih uzoraka (RANSAC - Random Sampling and Consensus) za estimaciju fundamentalne matrice.
-
Stereovizija Vano je naglasiti da u sluaju kada meusobni
poloaj kamera nije poznat tada je potrebno 135/139estimirati fundamentalnu matricu.
135/139
50
100
150
50
100
150
v
[
p
i
k
s
e
l
i
]
150
200
250
300 v
[
p
i
k
s
e
l
i
]
150
200
250
300300
350
400
450v 300
350
400
450
u [pikseli]100 200 300 400 500 600
450
u [pikseli]100 200 300 400 500 600
450
Slika dobivena lijevom kamerom Slika dobivena desnom kamerom
-
Stereovizija U ovom primjeru dobiveno je 53 podobnih (40.2%) i
79 nepodobnih (59.8%) taaka. 136/139 Poloaj podobnih taaka na sceni dobivenoj pomou
lijeve kamere prikazan je na lijevoj slici, dok su na
136/139
desnoj slici predoene epipolarne linije.
50
100
v
[
p
i
k
s
e
l
i
]
150
200
250
v 300
350
400
450
u [pikseli]100 200 300 400 500 600
450
-
StereovizijaOdreivanje dubine slike pomou triangulacije
137/139(x, y, z)
kontura objekta 137/139
Taka na objektu je opisna j j pkoordinatama (x,y,z) s obzirom na centar izmeu osi dviju lea.
f x
lea r lea l y
z
centar
arina ravnina
(x1, y1)b/2
f
b/2
(x2, y2) z
-
Stereovizija Iz prethodne slike slijedi:
bxx 2/+ 138/139
bxxzbx
fx
2/
2/
2
1
+= 138/139
d
zbx
fx 2/2 =
odnosno,
zy
fy
fy == 21
Iz gornjih izraza dobiva se izraz za disparitet (razlika u
zff
koordinatama slike (x1-x2)):
bxxzb
fxx = 21
-
Stereovizija Samo se mjerenjem dispariteta mogu izluiti
informacije o dubini.139/139
Na temelju gornjih jednadbi dobivaju se izrazi za koordinate objekta:
139/139
21 2/)(xx
xxbx += Udaljenost kamere do objekta je
inverzno proporcionalna disparitetu.Di it t j i l b
21
21
2/)( yyby
xx+= Disparitet je proporcionalan sa b; za
zadanu pogreku dispariteta sa poveanjem b-a poveava se tanost
21
fbz
xx
= estimacije dubine.
Kako b raste, zbog fizike odvojenosti kamera, neki objekti se mogu pojaviti na
21 xx , j g p jjednoj kameri, a na drugoj ne. Sva navedena pria vrijedi ako su kamere idealno poravnate, to u praksi nije sluaj tada se koristi kalibracija kamere.
top related