poglavlje 5 - restauracija slike

7/25/2019 Poglavlje 5 - Restauracija Slike

1/54

Digitalna Obrada Slike V.Crnojevi2008Digitalna Obrada Slike V.Crnojevi2008

POGLAVLJE 5

2002 R. C. Gonzalez & R. E. Woods


2/54


cilju uklanjanja degradacije da bi se kao rezultatdobila slika to blia originalnoj Restauracija i poboljanje

Ekvalizacija histograma ne pribliava sliku originalnoj verila oava l udskom vizuelnom sistemu obol an e

Uklanjanje zamuenja slike (deblurring) tei da sliku vratiu prvobitno stanje slike normalne otrine restauracija

Koliko je restaurirana slika bliska originalnoj Najee se koristi odnos signal um


P S N R= 10 log (L 1)

1M

1N

PM1i=o

PN1j=0

hf(x, y) f(x, y)

i2


3/54


Dve komponente: funkcija degradacije i aditivni um

- ,g(x, y) = h(x, y) f(x, y) + (x, y)


Kada se analizira samo um H(u,v)=1

, , , ,


4/54


Primer 1: Nivo osvetljaja i temperatura senzora utiu naprisustvo uma u CCD senzoru

r mer : n er erenc a u ana u za prenos s e zaz vaum EM zraenje usled nezatienih sklopova ili groma

Modeli uma u slici Gausov, Laplasov, impulsni, kvantizacioni, fotonski,

takasti (speckle), periodini um (smetnja)

Primena filtra koji najbolje odgovara datom modelu uma Nakon toga uklanja se uticaj funkcije degradacije



5/54


Najee korieni model uma (npr. termiki um) Linerane operacije nad Gausovim sluajnim promenljivama

a u ponovo ausove s u a ne promen ve Centralna granina teorema suma velikog broja sluajnih

procesa tei Gausovoj raspodeli

=30=10

Optimalni MLestimator aritmetika


srednja

vrednost


6/54


um sa raspodelom izraenog repa (heavy-tailed noise) Optimalni ML estimator - median Verovatnoa da um uzme veliku vrednost znaajno vea

nego kod Gausove rapodele

Izaziva vea oteenja slike negoGausov um =30



7/54


Samo odreeni procenat piksela oteen, a ostali netaknuti Vrednost oteenog piksela znaajno se razlikuje od okoline Mali procenat oteenih piksela izaziva veliku degradaciju Neophodno uklanjanje ovog uma pre bilo kakve obrade

=15%

Dva mo e a So i biber (salt & pepper)

Impulsi imaju MIN i MAX vrednost


Uniformni

Impulsi imaju bilo koju vrednost


8/54


Obino se modeluje uniformnom raspodelom, za dovoljnomali korak kvantizacije

Kada e bro kvantizacionih nivoamali, um postaje zavisan odsignala, korelisan od piksela dopiksela i nema unif. raspodelu

Srednja vrednost uma je 0, avarijansa 2/12

Svakim dodatnim bitom odnos


signal um kvantizacije poveava

se za 6 dB 16 nivoa (4 bita)


9/54


Zavisni neaditivni um sa Poasonovom raspodelom Kvantna priroda svetlosti dolazi do izraaja

Savremeni CCD senzori ovo jno su oset jivi a mogu aregistruju pojedinane fotone

a broj fotona

Srednja vrednost i varijansa

imaju istu vrednost Oblasti sa veim intenzitetom

vie oteene umom


Dua ekspozicija manje uma


10/54


Veoma sloen model um zavisan od signala i od prostorne orijentacije Nastaje u uslovima koherentnog izvora energije (svetlost,

EM polje, zvuk)

Usled nehomogenostireflektovani signal izloensluajnoj promeni faze iamplitude

Ove promene e ujukonstruktivno i destruktivnoizazivajui varijaciju u osvetljaju


U trazvu ne s i e, sate its i

snimci...


11/54


Ova smetnja nastaje usledinterferencije sa nekim izvorom

Sinusne i kosinusne 2D funkcije

se superponiraju na sliku ca ove sme n e mo e se a ouoiti u spektru slike

Parovi impulsa u 2D Furijeovom



12/54


=X

ziSzip(zi)

Akvizicija datim senzorom vri se nauzorku konstantnog osvetljaja =

ziS

(zi ) p(zi) a osnovu o enog s ogramaprocenjuje se raspodela i odreuju

njeni parametri


Gausova Rejlijeva Uniformna


13/54


Aritmetiki usrednjiva um se uklanja ublaavanjem

f(x, y) = 1

mn

X g(s, t)

nearan ar onvo uc a ML procena za Gausov um

Geometrijski usrednjiva

s, xy

=

1mn

Nelinearan filtar Slian efekat kao aritmetiki Bolje uva detalje slike

(s,t)Sxy

mn

Harmonijski usrednjiva Pogodan za Gausov um

i bele impulse (so)

x, y =P

(s,t)Sxy1

g(s, t)


Kontraharmonijski usrednjiva

Uoptenje prethodnih (Q)

f(x, y) = (s,t)Sxy

g(s, t)P(s,t)Sxy g(s, t)Q


14/54


Originalna slika Slika sa aditivnim

ausov m umom( =0, 2=400 )

Rezultat filtriranjaar me musrednjivaem saprozorom 3x3

Rezultat filtriranjageometrijskim


prozorom 3x3

piksela


15/54


Slika oteena sa10% crnog (biber)

Slika oteena sa

10% belog (so)

Rezultati filtriranjaprve i druge slike

usrednjivaem saprozorom 3x3iksela


Q=1.5 i Q=-1.5,

respektivno


16/54


Aritmetiki i geometrijski usrednjivai pogodniji su zauklanjanje uma sa Gausovom ili uniformnom raspodelom on ra armon s r v e o govara u u a n an u

impulsnog uma, ali samo ako taj um ima jednu vrstu

impulsa beli ili crni (so ili biber) Rezultati filtiranja iz

prethodnog primera

crni impulsi - Q=-1.5beli impulsi - Q=1.5



17/54


-

Zasnivaju se na sortiranju piksela koji su obuhvaenimaskom filtra i statistikama nad datim poretkom

Centralni piksel u poretku

Veoma dobar za impulsni um

f(x, y) = median(s,t)Sxy {g(s, t)}impulsa uz ouvanje ivica u slici)

Max filtar Isticanje najsjajnijih piksela

Min filtar

,(s,t)Sxy

,


Isticanje najtamnijih piksela

x, y = m n(s,t)Sxy

g s,


18/54


-

Midpointfiltar Srednja vrednost najmanjeg i najveeg piksela u poretku

f(x, y) =1

2 min(s,t) Sxy

{g(s, t)}+ max(s,t) Sxy

{g(s, t)} Alfa-trimovani usrednjiva(alpha-trimmed mean)

Odbacuje se najmanjih i najveih u poretku,-

Dobar filtar za kombinovani um, npr. impulsni i Gausov Specijalni sluajevi: aritmetiki usrednjivai median


f(x, y) =

mn X

(s, t)Smnxy

g(s, t)


19/54


Zahvaljujui principu sortiranja i svojoj nelinearnosti,mnogo bolje uva ivice u slici od aritmetikog usrednjivaa



20/54


(a) Originalna test slika Lena(b) Slika oteena sa 30%im ulsno uma ti aso i biber

(c) Rezultat filtriranja

median filtrom saprozorom ve i ine3x3 piksela

(d) Rezultat filtriranja

usrednjivaem saprozorom veliine3x3 piksela



21/54


Konvergencija Slika sa 10%

Nakon jednog prolaza Nakon dva prolaza



22/54


Slika oteena sa10% crnog (biber)

Slika oteena sa

10% belog (so)

Rezultat filtriranjaprve slike Max

3x3 piksela Rezultat filtriranja


filtrom sa prozorom

3x3 piksela


23/54


-

Filtri koji menjaju svoje karakteristike u prostoru uzavisnosti od parametara okoline datog piksela ausov um

U zavisnosti od odnosa lokalne i globalne varijanse, izlaz

filtra je kombinacija originalnog piksela i srednje vrednosti

f(x, y) =g(x, y) 22L

[g(x, y) mL] , 2 >

2L =

22L

= 1

U zavisnosti od toga da li je piksel detektovan kao impuls,

izlaz e biti originalni piksel ili median njegove okoline


f(x, y) =M(x, y)m(x, y) + [1 M(x, y)] g(x, y)

m(x, y) =median(s,t)Sxy {g(s, t)} , M(x, y) {0, 1}


24/54


za Gausov um Slika sa aditivnim

1000 Rezultat filtriranja

aritmetikimusrednjivaem

Rezultat filtriranjageometrijskim

usre n va em Rezultat filtriranjaadaptivnim filtrom


kod svih filtara)


25/54


za impulsni um Prekidaka ema Piksel se zamenjuje medianom

ako se detektuje da je oteen


Slika sa impulsnim umom Median filtar Adaptivni median filtar


26/54


Ovo se vrlo teko ostvaruje u prostornom domenu Koriste se 2D o asni filtri band ass ili bandsto Bandstop filtrom potiskuju se komponente 2D

spektra u opsezima koji odgovaraju periodinim

Bandpas filtrom moe se izolovati smetnja odostatka slike

Pojasni filtri: idealni, Batervortov, Gausov Notch filtrima se umesto opsega potiskuju


komponente na odreenoj lokaciji u 2D spektru


27/54


Idealni H(u, v) =

1, D(u, v)< D0 W2

0, D0 W2 D(u, v) D0+ W2

1, D(u, v)> D0+ W2

Batervortov H(u, v) = 1

1 + D(u,v)WD2(u,v)D2

2n

GausovH(u, v) = 1 e

12

D2(u,v)D20D(u,v)W

2



28/54


Slika saperiodinom

Spektar slike

renosnakarakteristikabandstopBatervortovogfiltra

Filtrirana slika



29/54


originalne slike izolovati samo periodinu smetnju

bp , = bs ,



30/54


Definiu se preko rastojanja D1(u,v) i D2(u,v) od taaka sakoordinatama (u0,v0) i (-u0,-v0) u frekvencijskoj ravni, na

D1(u, v) = p(u M/2 u0)2 + (v N/2 v0)2= 2 2

Idealni

,

H(u, v) = 0, D1(u, v) D0 ili D2(u, v) D0

1 dru de

Batervortov H(u, v) = 1

1 + D20

n


Gausov

, ,

H(u, v) = 1 e

1

2D1(u,v)D2(u,v)

D0

l b d l k l b d l k


31/54


Idealni Batervortov Gausov


Di it l Ob d Slik V C j i 2008Di it l Ob d Slik V C j i 2008


32/54


Notchpass filtri se dobijaju inverzijom notchstop filtaraHn u, v = 1 Hns u, v

Mogue je projektovati notch

filtar proizvoljne prenosneara ter st e o pot s u eodreeni opseg u spektru slike

Primer

Uklanjanje periodine smetnjeu radiografskoj slici nastaleusled nedostataka sistema


za akviziciju

Di it l Ob d Slik V C j i 2008Di it l Ob d Slik V C j i 2008


33/54


Spektar slike:uoavaju se

vertikalnekomponente

potiskujevertikalnukom onentu

Periodinasmetnjauklon ena filtrom


Restaurirana slika

Digitalna Obrada Slike V C j i 2008Digitalna Obrada Slike V C j i 2008


34/54


linearna rostorno-invari antna a um aditivan

g(x, y) = h(x, y) f(x, y) + (x, y)G(u, v) = H(u, v)F(u, v) + N(u, v)

Ova aproksimacija odgovara velikom broju degradacija Restauracija odgovara dekonvoluciji

Estimacija funkcije degradacije Opservacijom

Eksperimentom Matematikim modelovanjem


estimirane funkcije naziva se blind deconvolution

(dekonvolucija na nevieno)

Digitalna Obrada Slike V Crnojevi 2008Digitalna Obrada Slike V Crnojevi 2008


35/54


Pomou malog uzorka slike koji sadri deo pozadine iobjekta od interesa koji moemo generisati (rekonstruisati),

Na osnovu toga moe se konstruisati filtar za itavu slikukoji e imati slinu karakteristiku kao i filtar za deo slike

Hs (u, v) = Gs (u, v)

Fs(u, v)




36/54


Ako je dostupan isti ili slian ureaj kojim je izvrenaakvizicija ili prenos slike koji je izazvao degradaciju a osnovu mpu sa na u azu s s ema mogu e e na z azu

dobiti impulsni odziv PSF (Point Spread Function)

Tada se prenosna karakteristika moe jednostavno dobitie en em z aznog s gna a sa ons an om o a o govaraamplitudi impulsa

H(u, v) =G(u, v)

A




37/54


Formira se model sistema za prenos, pa se na osnovupretpostavljene prenosne karakteristike vri restauracija mogu ava uv u pro em res aurac e

Primeri modelovanja sistema

Fizike karakteristike atmosferskih turbulenci a Izmeu kamere i objekta koji se snima postoje atmosferske

turbulencije koje izazivaju degradaciju slike

Razmazivanje slike usled pokreta (motion blur)

Ukupna ekspozicija ureaja za akviziciju (film, CCD senzor)predstavlja integral vremenskih trenutaka ekspozicije Ukoliko izmeu senzora i objekta postoji relativno kretanje


doi e do direkcionog zamuenja slike - razmazivanja



38/54


modelovanjem Atmosferskeur u enc e

Prenosna

karakteristikas s ema

H(u, v) =ek(u2+v2)

56

Primer Bez turbulencija k=0.0025


k=0.001

k=0.00025

Digitalna Obrada Slike V.Crnojevi 2008Digitalna Obrada Slike V.Crnojevi 2008


39/54


Razmazivanje slike usled pokreta motion blur Pretpostavka je da izmeu kamere i objekta postojiun ormno nearno re an e

Uz pretpostavku linearnosti i prostorne invarijantnosti,

slika se moe predstaviti kao

Slika u ureaju za akviziciju dobija se integracijom u

f[x x0(t), y y0(t)]

intervalu vremena T vreme ekspozicije (brzina blendekod filma, period rastereenja kod CCD senzora)

T


g(x, y) =0

f[x x0(t), y y0(t)] dt

Digitalna Obrada Slike V.Crnojevi 2008Digitalna Obrada Slike V.Crnojevi 2008


40/54


G u v = T

x x0 t 0 t dt ej2(ux+vy)dxd

0

=

T

f[x x0(t), y y0(t)] e j2(u x+vy)

dxdy dt

=

Z T0

F(u, v)ej2[ux0 (t)+vy0(t)]dt

= F(u, v)Z0

e j2[u x0(t)+vy0(t)]dt

T


H u, v =0

e ux0 vy0 dt



41/54

g jg j

x0(t) = at/T, y0(t) =bt/TT

2 ux tT

2uat T T uau, v =0

e =0

e =ua

s n ua e

H(u, v) =

T

ua vb sin [(ua+ vb)] e j(u a+vb)

Rezultat jedirekcionozamuen e

(usmerenorazmazivanje slike) motion blur


a=b=0.1, T=1



42/54

g jg j

Uklanjanje degradacije deljenjem Furijeove transformacijeslike pretpostavljenom prenosnom karakteristikom sistema

F(u, v) = u, v

H(u, v)

N(u, v)

ak iako je funkcija degradacije poznata nije mogue upotpunosti ukloniti njen uticaj zbog prisustva uma

, ,H(u, v)

sluajan signal

ija Furijeova transformacija nije poznata Ako funkcija degradacije ima vrednosti bliske nuli,

komponenta uma dominira u restauriranoj slici ()


H(u,v)je uglavnom NF prirode, pa e male vrednosti biti u VFpodruju ograniavanjem analize samo na NF domenizbegava se katastrofalan uticaj vrednosti bliskih nuli


43/54



44/54

-

Inverzno filtriranje ne uzima u obzir prisustvo uma Wiener-ov filtar objedinjuje funkciju degradacije i statistikeara er s e uma u procesu res aurac e

I slika i um posmatraju se kao sluajni procesi

Cilj je pronalaenje procene originalne slike koja minimizujesrednju kvadratnu greku

e2 = En

(f f)2o

Vae sledee pretpostavke: Slika i um nisu korelisani Ili slika ili um ima sredn u vrednost 0


Nijanse sivog u procenjenoj slici su linearna funkcija nijansi

degradirane slike



45/54

-

F(u, v) = H(u, v)Sf(u, v)

2 G(u, v)

, , ,

= H(u, v)

H u v 2 + S u v S u vG(u, v)

=

" 1

H(u, v)

|H(u, v)|2

|H(u, v)|2

+ S(u, v)/Sf(u, v)

#G(u, v)

H(u, v) = funkcija degradacijeS(u, v) = |N(u, v)|

2= spektar snage uma


Sf u, v = F u, v = spektar snage originalne slike



46/54

-

Ako nema uma svodi se na inverzno filtriranje Spektar snage originalne slike retko je poznat, a u sluajue og uma spe ar snage uma e ons an a a a se a

lan moe aproksimirati konstantom K

1 H u v 2u, v =H(u, v)|H(u, v)|

2+ K

u, v

Primer:

Inverzni filtar Radijalnoogranieni


Wiener-ov filtar

sa konstantom K



47/54

-

Primer (slikarazmazana usled

Gausovim umomsrednje vrednosti 0)

Degradirana slika Inverzno filtriranje

-

Vrste: Varijansa uma 650


e ve ne man a 5 redova veliine

manja varijansa



48/54

Modifikuju prostorne relacije izmeu piksela slike Rubber-sheet transformations

Dva simultana procesa

Prostorna transformacija

Interpolacija nijansi

Dodeljivanje novih vrednosti pikselima u prostornorans orm sano s c




49/54

Transformacija koja preslikava lokacije piksela iz ravnioriginalne slike u ravan degradirane (izobliene) slike

x0 = r(x, y)

y0 = s(x, y)

Ako se r i s mogu izraziti analitiki, inverzna transformacijaje mogua redak sluaj

Najee se prostorna relokacija

piksela u okviru jednog regionadefinie na osnovu povezanihtaaka (tiepoints) i relacija


izme u nji Povezane take su granice regiona



50/54

Ove se relacijeesto aproksimiraju bilinearnim relacijamax0 = r(x, y) =c1x+ c2y+ c3xy+ c4

Slika se deli na kvadrilateralne regione, a preslikavanje

y0 = s(x, y) =c5x+ c6y+ c7xy+ c8

Koeficijenti definiu

preslikavanje u

Restauracija seizvodi inverzijom

0 0


x0, y0 x0, y0

f(x0, y0) = g(x0

0

, y0

0

)



51/54

Prostorna transformacija na osnovu povezanih taaka neosigurava dobijanje celobrojnih vrednosti koordinata

eop o no e zvr n erpo ac u vre nos p se anekom od metoda

Interpolacija metodom najblieg suseda nearna n erpo ac a

Spline interpolacija




52/54

Primer Slika sa 25 ekvidistantnih

Mrea povezanih taaka kojomse definie degradacija

najblieg suseda

Restaurirana slika De radirana slika metod

bilinearne interpolacije Restaurirana slika




53/54

transformacije Primer S i a pre

geometrijsketransformacije

na osnovu mreeiz prethodnogprimera

Razlika originalnei degradirane Geometrijski


res aur rana s a



54/54

Model degradacije slike Modeli uma Uklanjanje uma

Prostorno filtriranje uma Frekvencijsko filtriranje uma

Uklanjanje degradacije

Opservacijom, eksperimentom, modelovanjem Inverzno filtriranje


- Geometrijske transformacije

poglavlje 5 - restauracija slike

Documents