Petar Ćurković, dipl. ing.

Tomislav Stipančić, dipl. ing.

Bojan Šekoranja

Segmentacija slikeSegmentacija slike

1

Segmentacija slike• Pri analizi objekata na slici neophodno je razgraničiti “objekte

od interesa” od ostatka slike • Tehnika koja izdvaja objekte od interesa se naziva

segmentacija. • Metode segmentacije mogu se razdijeliti u tri grupe:thresholding– određivanje praga– izdvajanje cijelog objekta od

pozadineedge-based segmentacija – pronalaženje rubovaregion-based segmentacija – segmentacija bazirana na regijama• Ne postoji univerzalna tehnika segmentacije koja će raditi na

svim slikama niti je i jedna tehnika segmentacije savršena.

2

Segmentacija slikePotpuna segmentacija slike je kada je slika razdjeljena na konačan broj regija R1,..., Rs,

3

Tresholding-određivanje praga• Gray-level thresholding je najjednostavniji segmentacijski

proces.• Mnogi objekti ili regije slike imaju karakterističnu konstantnu

refleksiju ili apsorbciju svjetla na njihovim površinama – to nam omogućuje da odredimo neki konstantni iznos tj. prag koji će razdvajati objekte od pozadine

• Određivanje praga je računski nezahtjevna i jednostavna metoda – to je najstarija metoda koja još ima široku primjenu za jednostavnije zadatke

• Vrlo se jednostavno izvodi u realnom vremenu uz pomoć adekvatne opreme

4

Tresholding-određivanje pragaOsnovni algoritam:Provjeriti sve pixele orginalne slike. Algoritam transformira ulaznu sliku u binarnu (segmentiranu)

sliku i to na način:

gdje je T prag, g(i,j) = 1 su objekti a g(i,j) = 0 pozadina ili obrnuto.

Ako se objekti međusobno ne dodiruju i ako se jasno razlikuju od pozadine onda je ovo prigodna metoda

5

Tresholding-određivanje pragaVrlo je bitno odrediti dobar prag – samo u rjetkim

slučajevima se dešava da je jedan prag dobar za cijelu sliku (globalni prag) pošto je već i kod dosta jednostavnih slika dolazi do varijacija – te varijacije mogu biti uzrokovane nejednakim osvjetljenjem i nizom drugih faktora

Segmentacija pomoću varijabilnih pragova – kada prag varira u različitim dijelovima slike kao funkcija lokalnih karakteristika slike može dati rješenja u tom slučaju

6

Tresholding-određivanje praga(a) Originalna slika (b) Threshold

segmentacija(c) Prag previsok (d) Prag prenizak

7

Tresholding-određivanje praga

(a) Originalna slika(b) Detekcija rubova korištenjem raspona

Korištenje rasponag(i,j) = l for f(i,j) Є D1, = 2 for f(i,j) Є D2, = 3 for f(i,j) Є D3,… = n for f(i,j) Є Dn, = 0 u drugim slučajevima

8

Tresholding-određivanje pragaMetode određivanja praga se koriste da bi se odredio prag

automatski. Ako unaprijed znamo neku značajku slike zadatak određivanja je pojednostavljen jer se određuje prag koji zadovoljava tu značajku.

Metode se baziraju na analizi oblika histograma -najčešće se koristi histogram prvog reda

9

Tresholding-određivanje pragaHistogram prvog reda predstavlja relativnu frekvenciju svjetlina točaka u

sliciHistogram može biti bimodalan ili multimodalanHistogram se može izračunati globalno ili lokalno

Mogući problem: Određivanje minimuma je teško zbog izlomljenosti krivulje histograma

Rješenje: Izgladiti histogram ili izvršiti interpolaciju glatkom funkcijom

10

Tresholding-određivanje pragaPristupi tresholding segmentacijiOdrediti pragove pomoću minimuma u histogramuOdrediti iznos praga tako da određeni dio točaka ima

svjetlinu nižu od pragaOdrediti prag na osnovu histograma izračunatog samo za

točke u slici koje zadovoljavaju neki kriterij (npr. imaju veliki gradijent)

Koristiti a priori statističko znanje o regijama da bi minimizirali neku veličinu (npr. pogrešku)

11

Tresholding-određivanje pragaBimodalna segmentacijaKod mnogih slika vrijednost točaka pada u jednu od dvije

grupe (tamne ili svjetle točke)Primjeri: pisani tekst, mikroskopski uzorci, avioni na

pisti, kosti na roentgenskom filmu,...U takvim slučajevim se objekt može izdvojiti od pozadine

na osnovi vrijednosti amplitudePraktični problemi kod izbora vrijednosti praga: šum i

smetnje, objekt i pozadina imaju širok raspon vrijednosti, neuniformna pozadina

12

Tresholding-određivanje pragaBimodalna segmentacija

13

Tresholding-određivanje pragaOdabir pragaAko je histogram bimodalan (ima dva istaknuta maksimuma

između kojih se nalazi minimum) onda za prag treba odabrati amplitudnu vrijednost koja odgovara srednjem minimumu

p-tile thresholding – ako je poznato da objekt prekriva određeni dio površine slike može se prag odrediti tako da segmentirana regija ima površinu jednaku željenom dijelu ukupne površine slikeprimjer: ispisani tekst na nekoj stranici pokriva 1/p površinu stranice. Koristeći se tom informacijom o omjeru između dijela sa tekstom i praznog dijela vrlo se jednostavno određuje prag (na osnovu histograma) tako da 1/p dio slike bude iznad praga a drugi dio ispod praga.

14

Tresholding-određivanje pragaVišemodalna segmentacijaVišemodalni histogram je histogram koji ima više od dva

globalna maksimumaSlika tada sadrži nekoliko dominantnih nivoa amplituda

(nekoliko vrsta objekata)Ako je razdioba dominantnih amplituda unaprijed poznata

onda je lako odrediti pragoveAko je razdioba amplituda slike nepoznata sliku je

moguće segmentirati raznim iterativnim metodama

15

Tresholding-određivanje pragaVišemodalna segmentacija

Tomita metodaTomita je razvio rekurzivnu metodu gdje se u prvom

koraku slika pragom dijeli u dvije regijeU drugom koraku se računa histogram za svaku od regija i

ako je histogram bimodalan regija se ponovo dijeli u dva dijela

Ako je histogram unimodalan regija se ne dijeliProcedura se rekurzivno ponavlja sve dok se svi

bimodalni histogrami ne eliminiraju i ostanu samo unimodalni histogrami (prema nekom kriteriju)

16

Tresholding-određivanje pragaVišemodalna segmentacija

17

Segmentacija bazirana na rubovimaengl. edge-based Segmenatacija bazirana na rubovima se zasniva na

rubovima pronađenim uz pomoć raznih detektora – ti rubovi označavaju lokacije diskontinuiteta između nijansi, boja, teksture ili nečeg drugoga

Najčešće se problemi kod ove segmentacije javljaju zbog šumova ili drugih vrsta loših informacija o slici a to su da se registrira rub gdje ne postoji ili da se ne registrira gdje on postoji

Granice objekata se mogu izdvojiti metodama:Praćenje graniceInterpolacije krivuljaHough-ova transformacija

18

Segmentacija bazirana na rubovimaPraćenje graniceDetekcija rubova je važna u analizi slika zato što rubovi

određuju granice objekata i zato su korisni za segmentaciju registraciju i identifikaciju objekata na slici

Rubovi su mjesta naglih promjena u vrijednosti točaka slike

Zato je moguće koristiti gradijent funkcije za detekciju ruba

19

Segmentacija bazirana na rubovimaPraćenje graniceGradijent funkcije dviju varijabli je vektor koji pokazuje

smjer najbrže promjene funkcije f

S obzirom na detekciju smjera ruba postoji podjela na gradijentne (u dva ortogonalna smjera) i kompas (u više smjerova) operatore

20

Segmentacija bazirana na rubovimaInterpolacije krivuljaNekad je moguće točke rasporeda rubova (edge map)

povezati metodama interpolacije da bi se dobila zatvorena kontura koja definira regiju

Potrebno je razbiti konturu u dijelove koji se interpolirajuZa interpolaciju moguće je koristiti polinomske ili spline

metodeJednostavni iterativni algoritam za interpolaciju krivulje

linearnim segmentima je opisan u nastavku

21

Segmentacija bazirana na rubovimaInterpolacije krivuljaPočetna i završna točka su A i BU svakom koraku mjeri se

maksimalna pogreška i ako ona prelazi granicu onda se segment razbija u dva segmenta

Postupak se ponavlja dok se ne postigne željena točnost

22

Segmentacija bazirana na rubovimaHough-ova transformacijaHT se koristi za detekciju linija u sliciPravac se može opisati slijedećom jednadžbom:

gdje je ρ udaljenost pravca od ishodišta a ϑ kut nagibaHough transformacija pravca je točka u koordinatnom

sustavu (ρ, ϑ)Familija pravaca koji prolaze kroz jednu točku se

preslikava u skup točaka koje leže na sinusoidi

23

Segmentacija bazirana na rubovimaHough-ova

transformacijaPravac se

preslikava u točkuFamilija pravaca

kroz točku se preslikava u sinusoidu

24

Segmentacija bazirana na rubovimaHough-ova transformacijaAko imamo tri kolinearne točke onda pravac na kojem one

leže ima parametre sjecišta triju sinusoidaSvaka sinusoida u parametarskom prostoru odgovara snopu

pravaca određenog točkom

25

Segmentacija bazirana na rubovimaHough-ova transformacija

Hough transformacija za segmentaciju magnetske rezonancije mozga na lijevu i desnu polutku

26

Segmentacija bazirana na rubovimaHough transformacija – primjer

detekcije krugova

(a) Originalna slika tamnog kruga (poznatog radijusa na svjetloj pozadini)

(b) Za svaki tamni pixel određuje se moguće mjesto središta kruga sa krugom radijusa r i središtem u tom pixelu

(c) Frekventnost pojavljivanja pixela određuje središte našeg kruga – najfrekventnije mjesto je središte i označava se sa •

(d) Houghova transformacija točno detektira krug (označen sa •) čak i sa nekompletnim informacijama

27

Segmentacija bazirana na rubovimaHough-ova

transformacijaHough transformacija

—detekcija krugova,

(a)Originalna slika,

(b)Praćenje granice (vidimo da daje dosta loše rezultate),

(c)Parametarski prostor,

(d)Detektirani krugovi

28

Segmentacija bazirana na regijamaengl. region based methodsCilj ovih metoda je identificirati dijelove slike koje imaju

slične značajkeDvije karakteristične metode su:

Izrastanje područja (region growing)

Metoda dijeljenja i stapanja (split and merge)Za razliku od prethodnih metoda u kojima su se tražili rubovi

između regija ove metode direktno određuju regijeOva metode je pogodnije su za slike koje imaju dosta šuma

gdje je teško odrediti granice

29

Segmentacija bazirana na regijamaProblem segementacije izrastanjem područja sastoji se u

određivanju uniformnih skupina točaka slike (regija) Algoritmi za izrastanje područja uspoređuju svojstva

neklasificirane točke s dotad segmentiranom regijom da bi odlučili da li točka pripada regiji ili ne

Tehnike izrastanja područja mogu se podijeliti u tri grupe s obzirom na način uspoređivanja točaka:

• na osnovi sličnosti dvaju susjednih točaka• na osnovi sličnosti okolina dvaju susjednih točaka• na osnovi sličnosti točke i centroida regije

30

Izrastanje područja (region growing)

Metode pomoću sličnosti točakaengl. single linkage region growingsvaka točka slike predstavlja čvor grafasusjedne točke sličnih svojstava povezuju se granomsegmenti slike su maksimalni skupovi točaka koje pripadaju

jednoj povezanom skupu

31

Izrastanje područja (region growing)Metode pomoću sličnosti točaka

PrimjerPrimjer gdje se točke smatraju sličnima ako je razlika

vrijednosti manja od 5Korišteno je 4-susjedstvo za definiciju povezanog područja

32

Izrastanje područja (region growing)

Metode koje koriste sličnost okolinaengl. hybrid-linkage region growingove tehnike svakoj točki dodjeljuju vektor značajke koji

ovisi o K×K susjedstvu te točkenekoliko pristupa koristi maske za detekciju ruba za

označavanje točkaka koje pripadaju granicisegmentirane regije su onda povezani skupovi

neobilježenih točakaProblem: Ako je rub prekinut dolazi do povezivanja

različitih regija

33

Izrastanje područja (region growing)

Metode koje ispituju sličnost točke i regijeengl. centroid-linkage region growingkod ovih metoda ne uspoređuju se susjedne točkeSlikom se prolazi nekim redoslijedom i vrijednost točke

se uspoređuje s srednjom vrijednosti dosad klasificiranih točaka u regiji

34

Izrastanje područja (region growing)Metode koje ispituju sličnost točke i regije

PrimjerSlikom se prolazi red po redNeka točka y predstavlja trenutnu poziciju i neka točke 1, 2, 3 i

4 pripadaju respektivnim regijamaTočka y klasificira se u regiju i ako ima svjetlinu najbližu

srednjoj vrijednosti točaka u regiji iAko dvije regije imaju slične srednje vrijednosti onda se te

dvije regije stope (spoje)

35

Dijeljenje i stapanjeengl. split and mergeKod metode dijeljenja i stapanja koristi se prikaz slike

pomoću kvartarnog stabla gdje se svaka grana dijeli u četiri grane (engl. quad tree)

Inicijalna segmentirana regija je cijela slikaAko je regija neuniformna onda se razbija u četiri

podregijeAko su četiri susjedne regije uniformne onda se stapaju u

jednu regijuUniformnost regije se mjeri npr. pomoću razlike svjetline

najtamnije i najsvjetlije točke u regiji

36

Dijeljenje i stapanje

37

Traženje sličnosti• Eng. matching• Traženje sličnosti se može koristiti da se lociraju objekti

za koje znamo kako izgledaju, da pronađemo specifične obrasce, itd.

38

Evaluacija segmentacije • Evaluacija segmentacije je korisna kada trebamo izabrati jedan

od više algoritama ili obabrati parametre za izabrani algoritam• Nadzirana evaluacija uspoređuje rezultat koji daje algoritam i

realno stanje• Nadzirane evaluacije obično uspoređuju preklapanje površina

ili udaljenost između granica—postoji više načina da se to izvede

• Često je realno stanje slabo definirano ili je skupo doći do njega. Nenadzirane metode ocjenjuju segmentaciju neovisno o njemu

• Postoje mnoge nenadzirane metode ali su obično ograničene pretpostavkama regija slike

39