elasticno poravnavanje ultrazvoˇ cnihˇ posnetkov · temelji na fizikalnih zakonih deformabilnih...
TRANSCRIPT
UNIVERZA V MARIBORU
FAKULTETA ZA ELEKTROTEHNIKO,
RACUNALNISTVO IN INFORMATIKO
Sebastijan Sprager
ELASTICNO PORAVNAVANJE ULTRAZVOCNIH
POSNETKOV
Diplomska naloga
Maribor, avgust 2008
Diplomska naloga univerzitetnega studijskega programa
ELASTICNO PORAVNAVANJE ULTRAZVOCNIHPOSNETKOV
Student: Sebastijan Sprager
Studijski program: univerzitetni, racunalnistvo in informatika
Smer: programska oprema
Mentor: prof. dr. Damjan Zazula
Maribor, avgust 2008
ZAHVALA
Ob tej priloznosti se najlepse zahvaljujem men-
torju prof. dr. Damjanu Zazuli za skrbno vodenje in
pomoc pri izdelavi diplomske naloge. Za vso izkazano
podporo v casu studija pa se iz srca zahvaljujem svojim
starsem, katerim tudi posvecam to diplomsko nalogo.
I
Elasticno poravnavanje ultrazvocnih posnetkov
Kljucne besede: obdelava signalov in slik, poravnavanje slik, elasticno poravnavanje
slik, ultrazvok, posnetki jajcnih mesickov.
UDK: 621.391:004.93(043.2)
Povzetek
Ultrazvok igra pomembno vlogo na podrocju medicinskih preiskav, s pomocjo katerega
lahko opazujemo vitalne organe, njihovo strukturo in deformacije. Rezultati takih prei-
skav so 2D ali 3D posnetki delov cloveskega telesa. Velikokrat na takih posnetkih, pona-
vadi zajetih ob razlicnih casovnih intervalih, zelimo opazovati spremembe med dvema
posnetkoma. Opazujemo lahko tudi razlike med dvema prerezoma 3D ultrazvocnega
volumna. Pomembno je poudariti, da nas zanimajo predvsem lokalno omejene spre-
membe, katere v nasem primeru ponavadi predstavljajo deformacije tkiva. Taksne spre-
membe lahko ugotovimo ob uporabi elasticnega poravnavanja ultrazvocnih posnetkov. V
okviru te diplomske naloge smo razvili postopek za elasticno poravnavanje ultrazvocnih
posnetkov, s pomocjo katerega lahko opazujemo omenjene spremembe.
Poravnavanje slik spada med osnovne operacije pri obdelavi medicinskih posnetkov.
Gre za postopek prekrivanja dveh ali vec slik, ki prikazujejo podobno sceno in so po-
snete ob razlicnih casih, perspektivah ali senzorjih. Gre torej za postopek, pri katerem
opazovano sliko deformiramo tako, da se cim bolj ujame s primerjano sliko. V nasem
primeru je deformacija predstavljena s pomocjo deformacijske funkcije, ki v nasem pri-
meru predstavlja rezultat poravnavanja ultrazvocnih posnetkov. Deformacijska funkcija
namrec opisuje spremembe med opazovanima ultrazvocnima posnetkoma.
Poznamo vec vrst poravnavanja slik (togo, afino, projekcijsko, krivocrtno). Zaradi
lastnosti opazovanih sprememb na ultrazvocnih posnetkih, ki so precej lokalne, smo upo-
rabili elasticno poravnavanje. Elasticno poravnavanje slik je postopek poravnavanja, ki
temelji na fizikalnih zakonih deformabilnih teles in pri katerem slika predstavlja objekt,
ki ga deformiramo s pomocjo zunanjih sil.
Postopek, ki smo ga razvili v okviru te diplomske naloge, temelji na lokalno ne-
spremenljivem povprecju pegastega suma. Gre za algoritem, ki na podlagi ocenitvene
funkcije in njenega gradienta s pomocjo optimizacijskega postopka isce najustreznejso
resitev problema. Za optimizacijo problema je uporabljen optimizacijski postopek L-
BFGS-B. Algoritem je realiziran v okolju matlab, najtezji deli kode pa so napisani v
programskem jeziku C in vkljuceni v matlab.
II
Po koncani realizaciji je sledila potrditev algoritma, s katero smo pokazali pravilnost
delovanja nasega algoritma za poravnavanje ultrazvocnih posnetkov. V naslednjem ko-
raku je sledilo veliko stevilo poskusov poravnavanja raznolikih in skrbno izbranih testnih
primerkov ultrazvocnih posnetkov, katere so v nasem primeru v vecini predstavljale re-
zine 3D ultrazvocnih volumnov jajcnikov. Rezultati poskusov so potrdili ucinkovitost
nasega algoritma, ki se je izkazal kot zelo primeren za odkrivanje lokalnih sprememb na
ultrazvocnih posnetkih. Izkaze pa se, da ima algoritem dolocene tezave pri poravnavanju
ultrazvocnih posnetkov s specificnimi lastnostmi. Med te spadajo ultrazvocni posnetki z
zelo majhnimi lokalnimi spremembami, kjer moramo za ucinkovito poravnavanje upo-
rabiti gostejso mrezo deformacijskih parametrov, kar pomeni daljse izvajanje algoritma.
Tezave povzroca tudi poravnavanje zasukanih posnetkov. Pri zasukanih posnetkih zato
najprej uporabimo togo poravnavo, nato pa se postopek za elasticno poravnavanje, ki
smo ga predstavili v tej diplomski nalogi.
Postopek za poravnavo smo nato primerjali s postopkom, ki isce optimalno porav-
navo s pomocjo ocenitvene funkcije vsote kvadratov razlik. S primerjavo rezultatov
smo pokazali, da je postopek, ki deluje s pomocjo nespremenljivega povprecja pegastega
suma, ucinkovitejsi kot postopek, ki deluje z ocenitveno funkcijo vsote razlik kvadratov.
Na koncu smo predstavili se sklepe in moznost nadaljnjih raziskav, kamor spadata
izboljsanje zmogljivosti algoritma in zmoznost poravnavanja 3D ultrazvocnih volumnov.
III
Elastic Registration of Ultrasound Images
Keywords: signal and image processing, image registration, elastic image registration,
ultrasound, images of ovarian follicles.
UDC: 621.391:004.93(043.2)
Abstract
Ultrasonography plays a very important role in medical diagnostics. With use of ultra-
sonography we can observe vital organs, their structure and deformations. A set of 2D
or 3D images is what we get as result, when we observe a part of human body with use
of ultrasonography. There are many situations, when we want to find out the difference
between two observed images, acquired at the different time. We can also observe the
differences between two slices of 3D ultrasound volume. Our goal is to observe local di-
fferences between two ultrasound images, which usually represents tissue deformation.
This can be done by using elastic image registration of ultrasound images. The aim of
this thesis was to construct a method for elastic image registration.
Image registration is one of the basic medical image processing methods. Image
registration is the process of overlaying two or more images of the same scene taken at
different times, perspectives or sensors. Actually, we have to deform observed image.
By using deformation we must find the best fit between observed and reference image.
In our case we present deformation as a deformation function which presents a re-
sult obtained by our registration algorithm. Deformation function actually shows the
differences between two observed ultrasound images.
There are many image registration methods (rigid, affine, projection, curved). Due
to differences between two ultrasound images, which are in our case very local, we use
elastic image registration. Elastic image registration is a image registration method
based on physical law of deformable objects. The deformed image is presented as an
object, deformed by using external forces.
Method introduced in this thesis is based on locally invariant speckle noise mean.
Our elastic image registration method is presented as a optimisation problem. The
minimum is found by using optimization algorithm L-BFGS-B. In order to find the
minimum we must present the routines for calculation of objective function and its
gradient function. Algorithm is implemented in Matlab. Main parts of the algorithm
are written in C and included as a object library in Matlab.
IV
After the implementation has followed the validation of the algorithm with which
we have shown validity of the algorithm for elastic registration. After the validation we
have done many image registration experiments of diverse ultrasound images. We have
mostly used slices of 3D ultrasound volumes. The results has confirmed efficiency of
the algorithm, which has proved as very suitable for observation of local differences in
ultrasound images. The results also show that algorithm has some certain problems with
registration of specific types of images. One of these are ultrasound images with very
small local differences, where we must use denser grid of deformation parameters for
efficient registration, which means that registration lasts longer. Problems also causes
registration of rotated images. By registering of rotated images we must therefore use
rigid registration first and secondly the method described in this thesis.
Our method for image registration have we compared with method, which is based
on objective function SSD (sum of squared differences). With comparison of results we
have shown that the procedure, which works with use of invariant speckle-noise mean,
is more efficient as a method, based on sum of squared differences.
In the end we have presented the conclusions and possibility of further development
of the presented method for image registration (algorithm efficiency improvement and
ability of registering 3D ultrasound volumes).
V
Kazalo
1 Uvod 1
1.1 Namen diplomske naloge . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Zgradba diplomske naloge . . . . . . . . . . . . . . . . . . . . . . . . . 2
2 Ultrazvocni posnetki 3
2.1 Ultrazvok . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2 Uporaba ultrazvoka v medicini . . . . . . . . . . . . . . . . . . . . . . . 3
2.3 Zajem ultrazvocnih posnetkov . . . . . . . . . . . . . . . . . . . . . . . 3
2.4 Lastnosti ultrazvocnih posnetkov . . . . . . . . . . . . . . . . . . . . . 7
2.5 Pegasti sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.6 Ultrazvocni posnetki jajcnikov . . . . . . . . . . . . . . . . . . . . . . . 9
3 Poravnavanje slik 11
3.1 Postopki za poravnavo slik . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.2 Elasticno poravnavanje slik . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.3 Mere podobnosti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.4 Model preslikave . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.5 Optimizacijski postopek . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4 Orodja, potrebna za izvedbo algoritma za elasticno poravnavanje slik 25
4.1 B-zlepki . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4.1.1 Interpolacija slike . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2 Optimizacijski algoritem L-BFGS-B . . . . . . . . . . . . . . . . . . . . 29
5 Algoritem za elasticno poravnavanje s pomocjo pegastega suma 33
5.1 Zasnova problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
5.2 Ocenitvena funkcija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
5.3 Deformacijski model . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
5.4 Optimizacija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.5 Potek algoritma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5.6 Izvedba algoritma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
6 Rezultati 41
6.1 Potek preizkusanja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
6.2 Ocenjevanje uspesnosti poravnavanja . . . . . . . . . . . . . . . . . . . 41
6.3 Vpliv izbire parametrov . . . . . . . . . . . . . . . . . . . . . . . . . . 42
6.4 Prikaz rezultatov poravnavanja . . . . . . . . . . . . . . . . . . . . . . 43
VI
6.5 Konfiguracija racunalniskega sistema . . . . . . . . . . . . . . . . . . . 44
6.6 Poravnavanje enostavnih geometrijskih likov . . . . . . . . . . . . . . . 45
6.7 Potrjevanje algoritma . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
6.8 Poravnavanje lokalno spremenjenih ultrazvocnih posnetkov . . . . . . . 50
6.9 Poravnavanje ultrazvocnih posnetkov z zelo majhnimi lokalnimi spre-
membami . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
6.10 Poravnavanje ultrazvocnih posnetkov z vecjimi spremembami . . . . . . 63
6.11 Poravnavanje togo preslikanih ultrazvocnih posnetkov . . . . . . . . . . 66
6.12 Poravnavanje s pomocjo ocenitvene funkcije SSD . . . . . . . . . . . . . 69
7 Sklep 85
7.1 Moznost nadaljnjih raziskav . . . . . . . . . . . . . . . . . . . . . . . . 85
VII
Slike
1 Naprava za zajem ultrazvocnih posnetkov. . . . . . . . . . . . . . . . . 5
2 Zajem ultrazvocnih posnetkov. . . . . . . . . . . . . . . . . . . . . . . . 6
3 Preprost primer generiranja pegastega suma. . . . . . . . . . . . . . . . 8
4 Nakljucno generiranje pegastega suma. . . . . . . . . . . . . . . . . . . 9
5 Ultrazvocni posnetek jajcnika. . . . . . . . . . . . . . . . . . . . . . . . 10
6 Preprost primer poravnave slik. . . . . . . . . . . . . . . . . . . . . . . 11
7 Vrste poravnav slik glede na razlicne geometrijske preslikave. . . . . . . 13
8 Globalna poravnava slike. . . . . . . . . . . . . . . . . . . . . . . . . . 14
9 Lokalna poravnava slike. . . . . . . . . . . . . . . . . . . . . . . . . . . 14
10 Premik izbranega piksla x za vektor u(x). . . . . . . . . . . . . . . . . 15
11 Bazicna funkcija β0(x). . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
12 Bazicna funkcija β3(x). . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
13 Tenzorski produkt dveh bazicnih funkcij β3. . . . . . . . . . . . . . . . 28
14 Stirikratna povecava ultrazvocnega posnetka dimenzije 121 x 103 pikslov. 29
15 Potek algoritma za elasticno poravnavo ultrazvocnih posnetkov. . . . . 37
16 Psevdokod algoritma za elasticno poravnavanje slik. . . . . . . . . . . . 38
17 Struktura za izvedbo algoritma za elasticno poravnavanje ultrazvocnih
posnetkov. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
18 Mreza, s pomocjo katere prikazemo deformacije na poravnani sliki. . . . 43
19 Poravnava zvezde s krogom pri parametrih h = 30, h = 20 in h = 10. . 45
20 Poravnava kroga z zvezdo pri parametrih h = 30, h = 20, h = 10 in h = 5. 47
21 Rezultat potrjevanja algoritma za elasticno poravnavanje ultrazvocnih
posnetkov. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
22 Poravnavanje manjsega izseka iz ultrazvocnega posnetka (50 x 50 pikslov). 51
23 Rezultat poravnavanja ultrazvocnih posnetkov z blagimi lokalnimi spre-
membami. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
24 Rezultat poravnavanja ultrazvocnih posnetkov z raznolikimi lokalnimi
spremembami jajcnih mesickov. . . . . . . . . . . . . . . . . . . . . . . 54
25 Grafa, ki prikazujeta cas poravnavanja ter koeficient podobnosti pri po-
ravnavanju v odvisnosti od razmika med rezinama ultrazvocnega volumna. 56
26 Deformacijska polja, dobljena kot rezultat poravnavanja rezin ultrazvocnega
volumna z razlicnimi razmiki. . . . . . . . . . . . . . . . . . . . . . . . 57
27 Prikaz skrivanja mesicka pri poravnavanju dveh ultrazvocnih posnetkov. 58
28 Interpolacija posnetka, kjer smo postavili pri interpolaciji kontrolne tocke
B-zlepkov na vsak cetrti piksel posnetka. . . . . . . . . . . . . . . . . . 59
VIII
29 Prvi poskus poravnavanja posnetkov z zelo majhnimi lokalnimi spre-
membami. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
30 Drugi poskus poravnavanja posnetkov z zelo majhnimi lokalnimi spre-
membami. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
31 Tretji poskus poravnavanja posnetkov z zelo majhnimi lokalnimi spre-
membami. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
32 Prvi poskus poravnavanja posnetkov z vecjimi spremembami. . . . . . . 64
33 Drugi poskus poravnavanja posnetkov z vecjimi spremembami. . . . . . 66
34 Poravnavanje enakih ultrazvocnih posnetkov, ki sta drug proti drugemu
zasukana za 180 stopinj. . . . . . . . . . . . . . . . . . . . . . . . . . . 67
35 Poravnava zasukanih ultrazvocnih posnetkov pri razlicnih kotih. . . . . 70
36 Primerjava rezultatov pri prvem poskusu poravnavanja z metodama
USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
37 Grafa, ki prikazujeta rezultate meritev pri prvem poskusu poravnavanja
z metodama USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . 74
38 Primerjava rezultatov pri drugem poskusu poravnavanja z metodama
USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
39 Grafa, ki prikazujeta rezultate meritev pri drugem poskusu poravnavanja
z metodama USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . 77
40 Primerjava rezultatov pri tretjem poskusu poravnavanja z metodama
USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
41 Grafa, ki prikazujeta rezultate meritev pri tretjem poskusu poravnavanja
z metodama USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . 79
42 Primerjava rezultatov pri cetrtem poskusu poravnavanja z metodama
USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
43 Grafa, ki prikazujeta rezultate meritev pri cetrtem poskusu poravnava-
nja z metodama USST in SSD. . . . . . . . . . . . . . . . . . . . . . . 81
44 Primerjava rezultatov pri petem poskusu poravnavanja z metodama
USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
45 Grafa, ki prikazujeta rezultate meritev pri petem poskusu poravnavanja
z metodama USST in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . 84
IX
Preglednice
1 Podrocja uporabe ultrazvoka v medicinski diagnostiki. . . . . . . . . . . 4
2 Rezultati meritev pri poravnavanju zvezde s krogom. . . . . . . . . . . 46
3 Rezultati meritev pri poravnavanju kroga z zvezdo. . . . . . . . . . . . 48
4 Rezultati meritev pri poravnavanju izseka iz ultrazvocnega posnetka. . 51
5 Rezultati meritev pri poravnavanju ultrazvocnih posnetkov z blagimi
lokalnimi spremembami. . . . . . . . . . . . . . . . . . . . . . . . . . . 52
6 Rezultati meritev pri poravnavanju ultrazvocnih posnetkov z raznolikimi
lokalnimi spremembami. . . . . . . . . . . . . . . . . . . . . . . . . . . 55
7 Rezultati meritev pri poravnavanju ultrazvocnih posnetkov, dobljenih s
spreminjanjem razmika med rezinami ultrazvocnega volumna. . . . . . 56
8 Rezultati meritev pri prvem poskusu poravnavanja ultrazvocnih posnet-
kov z zelo majhnimi lokalnimi spremembami. . . . . . . . . . . . . . . . 60
9 Rezultati meritev pri drugem poskusu poravnavanja ultrazvocnih po-
snetkov z zelo majhnimi lokalnimi spremembami. . . . . . . . . . . . . 62
10 Rezultati meritev pri tretjem poskusu poravnavanja ultrazvocnih po-
snetkov z zelo majhnimi lokalnimi spremembami. . . . . . . . . . . . . 62
11 Rezultati meritev pri prvem poskusu poravnavanja ultrazvocnih posnet-
kov z velikimi spremembami. . . . . . . . . . . . . . . . . . . . . . . . . 65
12 Rezultati meritev pri drugem poskusu poravnavanja ultrazvocnih po-
snetkov z velikimi spremembami. . . . . . . . . . . . . . . . . . . . . . 65
13 Rezultati meritev poravnavanja zasukanih posnetkov pri razlicnih kotih. 68
14 Rezultati meritev pri prvem poskusu poravnavanja z metodama USST
in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
15 Rezultati meritev pri drugem poskusu poravnavanja z metodama USST
in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
16 Rezultati meritev pri tretjem poskusu poravnavanja z metodama USST
in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
17 Rezultati meritev pri cetrtem poskusu poravnavanja z metodama USST
in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
18 Rezultati meritev pri petem poskusu poravnavanja z metodama USST
in SSD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
X
1 Uvod
Razvoj postopkov za zajemanje medicinskih posnetkov je prinesel veliko novosti na
podrocju medicinskega diagnosticiranja. S pomocjo zajetih slik delov cloveskega telesa
lahko eksperti lazje opazujejo strukturo in deformacije tkiv, olajsano pa jim je tudi
nacrtovanje operacij in radioterapij. Med najpomembnejse postopke za zajem medi-
cinskih posnetkov spadajo magnetna resonanca, racunalniska tomografija in ultrazvok.
V okviru te diplomske naloge se bomo posvetili medicinskim posnetkom, zajetim z
ultrazvokom.
Ultrazvocne preiskave igrajo na podrocju medicinske diagnostike zelo pomembno
vlogo. Z njimi zajemamo slike, na katerih lahko opazujemo vitalne organe in tkiva,
njihovo strukturo ter deformacije. Rezultat zajemanja slik z ultrazvocno napravo je
zaporedje digitaliziranih 2D slik ali pa digitaliziran 3D volumen. Diagnosticiranje z
ultrazvocno napravo je poceni in neskodljivo, pa tudi do rezultatov pregleda pridemo
v realnem casu.
Zajeti medicinski posnetki nosijo veliko informacij o stanju opazovanega organizma.
Nekatere izmed njih so ocitne na prvi pogled, do preostalih pa se nekoliko tezje do-
kopljemo. Zato je razvitih veliko razlicnih postopkov za obdelavo medicinskih po-
snetkov, ki so v veliko pomoc pri odkrivanju informacij, saj opravljajo naloge, ki jih
sicer opravljajo eksperti, ampak so zaradi prihranka casa avtomatizirane (avtomatsko
oznacevanje dolocenih tkiv). Lahko pa opravljajo tudi ostale kompleksnejse naloge, s
katerimi najdejo uporabne informacije (sledenje gibanja tkiv).
Ena najpomembnejsih operacij pri obdelovanju medicinskih posnetkov je poravnava
slik. Gre za postopek, pri katerem zelimo doseci, da se anatomske strukture, prikazane
na medicinskih posnetkih, nahajajo v istih legah. Eden izmed primerov, kjer upo-
rabljamo poravnavanje medicinskih posnetkov, je izlocanje vpliva razlicnega zornega
kota, ki nastane zaradi razlicnega polozaja naprave, s katero zajemamo posnetke. V
takih primerih se na zajetih slikah kazejo globalne spremembe (zasuki in premiki). Po-
ravnava slik je zelo pomembna tudi pri uporabi vecmodalnih ultrazvocnih posnetkov.
To so posnetki, zajeti s pomocjo razlicnih postopkov za zajemanje medicinskih slik.
Tako lahko sliko mozganov zajamemo z magnetno resonanco in jo zdruzimo s sliko
precnega prereza glave, zajetim z racunalnisko tomografijo. Da slika mozganov, do-
bljena z magnetno resonanco, pravilno prekrije sliko precnega prereza glave, dobljeno z
racunalnisko tomografijo, uporabimo poravnavo slik. V tem primeru lahko nastopajo
tako globalne, kakor tudi lokalne spremembe slik.
Mnogokrat pa pride do situacije, ko nas zanima razlika med dvema slikama ali
med dvema prerezoma volumna. V teh primerih niso vec pomembne globalne spre-
membe slike (premiki in zasuki), temvec lokalno omejene spremembe, katere predsta-
1
Uvod 2
vljajo deformacije tkiv. V takih primerih zelimo na neki nacin opazovati in spremljati
te deformacije. Take deformacije lahko spremljamo s pomocjo elasticnega poravnava-
nja ultrazvocnih posnetkov, saj rezultat tega postopka predstavlja polje vektorjev, s
katerim so opisane smeri gibanja posameznih delov tkiv.
1.1 Namen diplomske naloge
Namen te diplomske naloge je razviti postopek, ki bo s pomocjo elasticnega porav-
navanja ultrazvocnih posnetkov zaznal in prikazal spremembe na opazovanih tkivih.
Poravnavanje se izvaja s pomocjo optimizacijskega postopka, ki temelji na primerjavi
lokalno nespremenljivega povprecja pegastega suma med dvema posnetkoma. Rezultat
takega poravnavanja je polje vektorjev, iz katerega je jasno razvidno, kako se opazovana
slika razlikuje od primerjane. Na tak nacin lahko opazujemo, kaksne so bile deformacije
opazovanih tkiv. Na koncu zelimo z rezultati poravnavanj vecjega stevila posnetkov
ugotoviti, ali je razviti pristop primeren za poravnavanje ultrazvocnih posnetkov, torej
za opazovanje lokalnih deformacij tkiv oziroma v koliksni meri je omenjeni postopek
uspesen, robusten in ucinkovit.
1.2 Zgradba diplomske naloge
Na zacetku diplomske naloge so predstavljeni ultrazvocni posnetki ter njihove lastno-
sti. V tem poglavju je opisano tudi, kako te posnetke zajemamo. V nadaljevanju je
predstavljeno poravnavanje slik v splosnem. Izpostavljene so lastnosti ter vrste porav-
navanja slik. Posebej smo se posvetili splosni predstavitvi elasticnega poravnavanja
slik, saj ta vrsta poravnavanja predstavlja glavno temo te diplomske naloge. Po pred-
stavitvi elasticnega poravnavanja sledi opis orodij, ki smo jih potrebovali pri gradnji
algoritma za poravnavanje – B-zlepki ter optimizacijski algoritem L-BFGS-B. V na-
slednjem poglavju pa sledi opis algoritma za poravnavanje s pomocjo pegastega suma,
kjer je opisana celotna zasnova, gradnja ter potek algoritma. Po predstavitvi algoritma
za poravnavanje sledijo rezultati in ugotovitve, pridobljene pri poravnavanju vecjega
stevila raznolikih testnih primerov ultrazvocnih posnetkov. Na koncu so opisane se
mozne izboljsave algoritma, moznosti za nadaljnji razvoj algoritma ter sklepna beseda.
2 Ultrazvocni posnetki
2.1 Ultrazvok
Ultrazvok [6] je zvok, ki ga ljudje s sluhom ne zaznamo. Ljudje slisimo zvocno valovanje
v obmocju med 20 in 20000 Hz. Zvoku, katerega frekvence so nad tem obmocjem (visje
od 20000 Hz), pravimo ultrazvok.
Vemo, da zvok predstavlja mehansko vzdolzno valovanje, ki se siri v neki snovi in
v homogenem materialu potuje s konstantno hitrostjo. Hitrost je odvisna od vrste
materiala, skozi katerega zvok potuje (v zraku potuje priblizno s hitrostjo 330 m/s, v
vodi in cloveskem mehkem tkivu pa okoli 1540 m/s) [5]. To lastnost uspeno izkoriscamo
pri zajemanju ultrazvocnih posnetkov (podpoglavje 2.3).
Ultrazvok [6] se najvec uporablja v medicini (podpoglavje 2.2), kamor sodi podrocje
nasih raziskav. Uporablja pa se lahko tudi za dolocanje oddaljenosti objekta (sonar),
v industrijske namene (iskanje napak v materialu, merjenje debeline) ter za ciscenje
obcutljivih elementov (lece, nakit). Kot zanimivost povejmo, da ga uspesno uporabljajo
tudi nekatere zivali, kot na primer netopir, ki s pomocjo ultrazvoka doloca oddaljenost
objektov, ki se nahajajo pred njim.
2.2 Uporaba ultrazvoka v medicini
Uporaba ultrazvoka je najbolj razsirjena prav v medicini, predvsem na podrocju me-
dicinske diagnostike, ceprav se uporablja tudi v terapevtske namene. S pomocjo ul-
trazvoka lahko namrec ob uporabi vecje energije pri oddajanju valov grejemo tkivo. S
takim lokaliziranim gretjem tkiva skusamo na primer odstranjevati ciste in tumorje.
Ultrazvok lahko ob povecani energiji in z nekoliko nizjo frekvenco oddajanja zvoka
tkiva tudi unici. Tudi to se s pridom uporablja v medicini, kot primer pa navedimo
unicevanje ledvicnih kamnov ali pa ciscenje zob.
Zaradi podrocja nasega raziskovanja se bomo v tem podpoglavju posvetili pred-
vsem uporabi ultrazvoka na podrocju medicinske diagnostike. Ultrazvok se kot zelo
ucinkovit izkaze pri zajemu slik mehkih tkiv. Podrocja uporabe ultrazvoka v medicin-
ski diagnostiki so prikazana v preglednici 1 [2]. Ultrazvok se uporablja tudi za zajem
slik misic, zivcev in povrsja kosti, lahko pa se uporablja tudi kot pripomocek pri drugih
medicinskih posegih (biopsija).
2.3 Zajem ultrazvocnih posnetkov
Ultrazvocne posnetke zajemamo s posebno napravo, ki jo sestavljajo sonda, racunalnik
ter prikazovalnik (slika 1). S pomocjo te naprave pridemo do ultrazvocnega posnetka
3
Ultrazvocni posnetki 4
Podrocje uporabe Primer uporabeporodnistvo ultrazvocni posnetki zarodkaginekologija ultrazvocni posnetki jajcnikovkardiologija ultrazvocni posnetki srcaendokrinologija ultrazvocni posnetki zlez (scitnica)gastroenterologija ultrazvocni posnetki prebaviloftalmologija ultrazvocni posnetki ocesaintravaskularni ultrazvok ultrazvocni posnetki notranjosti zil
Preglednica 1: Podrocja uporabe ultrazvoka v medicinski diagnostiki.
v treh korakih - generiranja zvocnega valovanja, sprejema odbojev ter sestavljanja
posnetka [2].
Generiranje zvocnega valovanja
Sonda vsebuje piezoelektricne kristale, s pomocjo katerih se generira ultrazvok. Ce
skozi piezoelektricne kristale spustimo izmenicni tok, ta tok povzroci krcenje in sirjenje
teh kristalov, kar se odraza kot vibriranje piezoelektricnih kristalov. To vibriranje
predstavlja izvor ultrazvocnega valovanja. Frekvenca ultrazvoka, ki se uporablja v
medicinski diagnostiki, je v obmocju med 1 in 16 MHz. Izkaze se, da je izbira frekvence
zelo pomembna. Za zajem povrsinskih tkiv, med katere spadajo na primer misice
ali kite, uporabljamo visje frekvence (7-18 Mhz). Rezultat zajema posnetkov v tem
obmocju je visja povrsinska in globinska locljivost posnetkov. Globlje strukture, kot na
primer ledvice ali jetra, zajemamo z nizjimi frekvencami (1-6 MHz). S tem dosezemo
vecjo prodornost zvocnega valovanja, imajo pa zato zajeti posnetki nizjo povrsinsko in
globinsko locljivost.
Sprejem odbojev
Generirani ultrazvok, ki ga uravnava in fokusira racunalnik, potuje skozi tkivo in se
delno odbija od plasti, ki predstavljajo mejo med tkivi. Zvok se namrec delno odbija
povsod, kjer prihaja do spremembe gostote tkiv (npr. krvnicke v krvni plazmi). Nekaj
teh odbojev se tako vrne do sonde. Ta odbiti zvok povzroci vibracije piezoelektricnih
kristalov, ki se v sondi pretvorijo v elektricne impulze. Elektricni impulzi potujejo
naprej v racunalnik. Racunalnik nato te impulze obdela in jih pretvori v digitalni
posnetek.
Ultrazvocni posnetki 5
Slika 1: Naprava za zajem ultrazvocnih posnetkov. Na levi strani je prikazana celotnanaprava, na desni pa sonda, s katero zajemamo ultrazvocne posnetke.
Sestavljanje posnetka
Racunalnik v ultrazvocni napravi mora poznati dva podatka, da lahko sestavi sliko, in
sicer:
a) cas, ki je pretekel med generiranjem zvoka ter sprejemom njegovega odmeva, ter
b) jakost tega odmeva.
Na podlagi teh dveh podatkov racunalnik doloci, kateri piksel na posnetku bo prizgal
(a) ter s kaksno intenziteto ga bo prikazal (b). Rezultat tega postopka je dvodimenzi-
onalna digitalizirana sivinska slika. Seveda se slike, generirane z razlicnimi napravami
ali postopki, lahko razlikujejo po dimenziji, locljivosti ali drugih lastnostih. Vec o tem
bomo spregovorili v podpoglavju 2.4.
Izvedba zajemanja ultrazvocnih posnetkov
Rekli smo, da ultrazvocne posnetke zajemamo s pomocjo sonde. V tem podpoglavju
bomo spoznali, na kaksen nacin lahko s pomocjo sonde zajemamo ultrazvocne posnetke
Ultrazvocni posnetki 6
[1, 4, 5].
Na tem mestu poudarimo, da kot rezultat zajema slik s pomocjo ultrazvoka lahko
dobimo posnetke naslednjih dimenzij:
a) 2D posnetke, kjer sta obe dimenziji prostorski (ultrazvocni posnetek),
b) 3D posnetke, kjer sta dve dimenziji prostorski in ena casovna (realnocasovni
ultrazvok),
c) 3D posnetke, kjer so vse tri dimenzije prostorske (3D volumen),
d) 4D posnetke, kjer so tri dimenzije prostorske, ena pa casovna (realnocasovni 3D
ultrazvok).
Pri posnetkih, kjer je ena dimenzija casovna, gre za prikaz gibanja tkiv znotraj orga-
nizma (bitje srca, prikaz gibanja zarodka). Taki posnetki se zajemajo z dovolj visoko
frekvenco zaporednih zajemov prostorskih dimenzij.
Slika 2: Zajem ultrazvocnih posnetkov. Na levi strani je prikazan zajem 2D ul-trazvocnega posnetka, na desni pa je prikazan zajem 3D volumna. Puscice predstavljajosmer prebiranja ultrazvocnega zarka.
Sedaj pa si oglejmo zajem slik v smislu prostorskih dimenzij. Vemo, da sonda
generira ultrazvocno valovanje. Tako oddaja niz tako imenovanih pulzov ultrazvocnega
valovanja, ki ga lahko zaradi visoke frekvence oddajanja poimenujemo kar ultrazvocni
zarek. Zajem 2D ultrazvocnega posnetka se izvede s pomocjo prebiranja tega zarka. Pri
starejsih ultrazvocnih napravah se prebiranje zarka izvaja mehansko (rocno), in sicer s
pomocjo kroznega premikanja ali zibanja sonde. Pri novejsih napravah pa je oddajnik
ultrazvocnega valovanja realiziran kot 1D polje. Tako je prebiranje zarka izvedeno kar
Ultrazvocni posnetki 7
elektronsko. Ta pristop zajema ultrazvocnih posnetkov je prikazan na levi strani slike
2. Vidimo, da je rezultat takega zajema 2D rezina tkiva v telesu.
3D volumen lahko najenostavneje pridobimo s pomocjo zajema sosednjih dvodi-
menzionalnih posnetkov (zaporednih rezin). Za tak zajem obstajajo naprave s posebno
sondo, ki omogoca z mehanskim premikanjem zajem zaporednih 2D posnetkov. Zaradi
pocasnosti taksnega mehanskega zajema je problem prikazati zaporedje volumnov v
smislu dodane casovne dimenzije. V ta namen so, predvsem zaradi hitrejsega zajema,
bile razvite sonde z oddajniki, ki so realizirani kot 2D polje. S tem je prebiranje ul-
trazvocnega zarka krmiljeno elektronsko. Pristop takega zajema je prikazan na desni
strani slike 2.
Na sliki 2 lahko opazimo, da pri 2D (3D) zajemu ne dobimo slik (volumnov) v
obliki pravokotnika (kvadra), kot bi najverjetneje marsikdo pricakoval. 2D posnetki
so tako podobni izseku kroznega kolobarja. V praksi si lahko namrec prebiranje ul-
trazvocnega zarka predstavljamo kot sledenje gibanju vrvice nihala. 3D volumni pa so
posebne piramidaste oblike, ki izgledajo kot izsek krogle z votlo sredico. Zaradi ome-
njenih znacilnosti obdelujemo ultrazvocne posnetke oziroma volumne raje s pomocjo
sfericnega koordinatnega prostora kot v kartezijskih koordinatah. Kljub temu smo
zaradi narave delovanja algoritma za poravnavanje posnetkov v okviru nasih raziskav
uporabili kartezicni koordinatni prostor.
2.4 Lastnosti ultrazvocnih posnetkov
Zajemanje slik z ultrazvokom prinasa stevilne prednosti, med katere spadajo zajem
slike v realnem casu, prenosljivost, neskodljivost postopka, sem pa spada tudi relativno
nizek strosek zajema slik [2]. Kljub vsem tem dobrim lastnostim pa se izkaze, da z
ultrazvokom dobimo posnetke, za katere je znacilna nizka locljivost ter slaba kvaliteta.
Ultrazvocni posnetki v primerjavi z ostalimi posnetki, ki se uporabljajo v medicinski
diagnostiki (npr. magnetna resonanca), namrec vsebujejo veliko suma. Za ultrazvocne
posnetke je znacilen pojav pegastega suma, ki je natancneje opisan v podpoglavju 2.5.
V podpoglavju 2.3 smo rekli, da na locljivost ultrazvocnih posnetkov vpliva fre-
kvenca, s katero ultrazvocna naprava zajema slike. To pa ni edini razlog, zaradi kate-
rega imajo ultrazvocni posnetki nizko locljivost [7]. Glavni razlog za nizko locljivost
ultrazvocnih posnetkov je koncna pasovna sirina signala, ki ga oddaja sonda ultrazvocne
naprave. Dva dodatna razloga pa sta tudi fazni zamik in spremenljivost hitrosti zvoka,
ki nastane zaradi nehomogenosti tkiv, skozi katera zvok potuje. Ta pojav se lahko
odraza tudi kot zmanjsan kontrast dobljenih ultrazvocnih posnetkov. Ce se preselimo
h konkretnim podatkom o locljivosti, povejmo, da imajo ultrazvocni posnetki locljivost
reda nekaj sto pikslov. V tej diplomski nalogi smo za poravnavanje uporabljali posnetke
Ultrazvocni posnetki 8
z locljivostjo 150 x 120 pikslov.
Rezultat zajema z ultrazvocno napravo je sivinski posnetek. V nasem primeru
imamo opravka s posnetki, katerih intenziteta posameznih pikslov je zapisana z 8 biti,
kar pomeni, da lahko intenziteto vsakega piksla predstavimo z 256 nivoji sivine. Sicer
pa je mozno pridobljene ultrazvocne posnetke tudi dodatno obdelati in jih opremiti z
barvo, kar je na primer smiselno pri Dopplerjevem ultrazvoku (npr. opazovanje pretoka
krvi znotraj zil).
2.5 Pegasti sum
Pegasti sum [1, 3] je nakljucen in deterministicen vzorec, ki nastane zaradi interference
pri odbijanju zvocnih valov ultrazvoka. Nastanek pegastega suma si lahko ogledamo
na naslednjem preprostem primeru [1]. Vzemimo, da imamo dva izvora koherentnega
zvocnega valovanja, ki sta na sliki 3 prikazana kot majhni beli tocki na dnu slike.
Vidimo, da se amplitude odbitih valov sestevajo, ko se vrhovi valov prvega izvora
pokrijejo z vrhovi valov drugega valovanja. Analogno lahko to situacijo predstavimo
kot istocasni met dveh kamnov v stojeco vodo. Na sliki 3 se tako pojavi pegasti vzorec,
ki ga vidimo kot ovalni obroc okoli izvora zvocnega valovanja.
Slika 3: Preprost primer generiranja pegastega suma.
Sedaj upostevajmo lastnost nakljucja pojavitve pegastega suma in na podoben
nacin na spodnji del slike nakljucno postavimo vecje stevilo izvorov zvocnega valovanja.
Rezultat je prikazan na sliki 4. Taka situacija je zelo podobna tisti, ki jo opazimo ob
natancnejsem pregledu kateregakoli ultrazvocnega posnetka.
Pegasti sum ima pomembno uporabno vrednost, kajti uporabimo ga lahko za sle-
denje gibanju med dvema ultrazvocnima posnetkoma [5, 16]. To pa ravno predstavlja
lastnost, s pomocjo katere lahko pridemo do cilja te diplomske naloge, kjer hocemo
zaznati lokalne spremembe med dvema ultrazvocnima posnetkoma. Te spremembe na
Ultrazvocni posnetki 9
Slika 4: Nakljucno generiranje pegastega suma.
slikah si lahko namrec predstavljamo kot manjse lokalne premike. Ker predvidevamo,
da sta sliki podobni, in vemo, da gre za elasticno poravnavo, lahko trdimo, da so
ti lokalni premiki posledica delovanja nekih sil. Te premike s pomocjo omenjenih sil
(deformacijo) lahko oznacimo kot gibanje regij na slikah, s cimer smo nas problem pred-
stavili na nekoliko drugacen nacin. Sledenje gibanju med ultrazvocnima posnetkoma
je mogoce zaradi naslednjih dveh dejstev [1]:
a) nakljucje vzorca pegastega suma zagotavlja, da ima vsaka regija na ultrazvocnem
posnetku svoj unikaten vzorec pegastega suma,
b) vzorec pegastega suma kljub gibanju (v nasem primeru deformacijam) ostaja
smiseln ter nespremenljiv, hkrati pa velja, da pegasti sum sledi gibanju (defor-
macijam).
Ti dve dejstvi se izkazeta kot kljucni pri zasnovi nasega algoritma za poravnavanje
ultrazvocnih posnetkov. Algoritem ultrazvocna posnetka namrec poravnava s pomocjo
lokalno nespremenljivega povprecja pegastega suma. Pegasti sum uporabimo, kot bomo
videli kasneje, ob ovrednotenju ocenitvene funkcije za primerjavo dveh slik. Omenjeno
ocenitveno funkcijo bomo spoznali pri predstavitvi algoritma, in sicer v podpoglavju
5.2.
2.6 Ultrazvocni posnetki jajcnikov
V okviru te diplomske naloge smo se ukvarjali pretezno s poravnavanjem ultrazvocnih
posnetkov jajcnikov. Jajcnik je del zenskih spolnih organov. Gre za zlezo, v kateri
nastajajo spolne zleze in hormoni. Najpomembnejsi sestavni del jajcnika so jajcni
mesicki (folikli), ki predstavljajo tudi podrocje nasega zanimanja pri poravnavanju
ultrazvocnih posnetkov jajcnikov.
Ultrazvocni posnetki 10
Slika 5: Ultrazvocni posnetek jajcnika.
Slika 5 prikazuje ultrazvocni posnetek jajcnika. Jajcni mesicki so na sliki 5 pred-
stavljeni kot jasno razvidna ovalna crna obmocja. Da bi razumeli, zakaj jajcni mesicki
na ultrazvocnih posnetkih tako izstopajo, moramo razloziti pojem ehogenosti. Ehoge-
nost nam pove, v koliksni meri se ultrazvocni valovi odbijajo od opazovanega tkiva. Z
ehogenostjo lahko opisemo lastnost tkiva. Ehogenost tkiv je na ultrazvocnem posnetku
predstavljena kot intenziteta osvetlitve opazovanih tkiv. Poznamo dve skrajnosti eho-
genosti. Hiperehogenost predstavlja izredno visoko stopnjo ehogenosti tkiv in se na
ultrazvocnem posnetku kaze kot belo obmocje, saj se ultrazvocni valovi od opazova-
nega tkiva odbijajo. Lep primer takega obmocja na ultrazvocnih posnetkih so ledvicni
kamni. Drugo skrajnost pa predstavlja hipoehogenost, ki se na ultrazvocnem posnetku
zaradi tkiv, ki prepuscajo ultrazvocne valove, kaze kot crno obmocje. Primer takega
tkiva so tekocinske ciste. Tudi za jajcne mesicke je znacilna visoka stopnja hipoehoge-
nosti, zato so na ultrazvocnih posnetkih jajcnikov zelo jasno razvidni, kar na podrocju
medicinske diagnostike z ultrazvokom s pridom izkoriscajo.
Ob opazovanju razlicnih ultrazvocnih posnetkov jajcnikov nas zanimajo predvsem
spremembe (deformacije, rast) teh mesickov. Z opazovanjem velikega stevila ultrazvoc-
nih posnetkov jajcnikov smo namrec ugotovili, da so spremembe jajcnih mesickov zelo
lokalne. Taka situacija se zato izkaze kot zelo primerna za preverjanje delovanja nasega
algoritma za poravnavo.
3 Poravnavanje slik
Poravnavanje slik je ena izmed osnovnih operacij pri obdelavi medicinskih posnetkov.
S poravnavanjem medicinskih posnetkov zelimo doseci, da se opazovane anatomske
strukture na vec posnetkih prekrijejo v enakih legah. S poravnavnjem si lahko poma-
gamo, ce na primer zelimo spremljati razvoj tkiv, tako da spremljamo zaporedne slike
opazovanih tkiv. Pri takem spremljanju se namrec srecujemo s problemom razlicnega
zornega kota posnetka (polozaj sonde se pri vsakem pregledu razlikuje) ter problemom
razlicnega casa zajemanja (med zajemom mine vec dni, v tem casu se opazovano tkivo
lahko spremeni).
Pri poravnavanju slik gre za postopek prekrivanja dveh (ali vec) slik, ki prikazu-
jeta podobno sceno, posneti pa sta ob razlicnih casih, iz razlicnih perspektiv ali pa sta
posneti z razlicnimi senzorji. Postopek bo opazovano (testno) sliko s pomocjo geome-
trijskih preslikav poravnal tako, da se bo ujemala z referencno sliko [9].
Privzemimo, da imamo dve sliki, ki ju zelimo poravnati. Sliko Ir imenujmo refe-
rencna slika, sliko It pa testna slika. Poravnavanje slik je po definiciji proces dolocanja
preslikave, ki sliko It spremeni v sliko It′ tako, da dosezemo cim boljse medsebojno uje-
manje med poravnano sliko It′ in referencno sliko Ir [10]. Preprost primer poravnave
je prikazan na sliki 6.
Slika 6: Enostaven primer poravnave slik: Ir je referencna slika, It je testna slika, It′
je poravnana testna slika.
3.1 Postopki za poravnavo slik
Poznamo razlicne postopke za poravnavo slik [8, 10], ki se med seboj razlikujejo po
razlicnih lastnostih. Delitev in opis postopkov si bomo pogledali v nadaljevanju.
11
Poravnavanje slik 12
Razseznost
Poravnave lahko delimo glede na razseznost podatkov, s katerimi upravljamo. Ce
smo omejeni na prostorske dimenzije, sta najpogostejsi poravnavi dvodimenzionalna
(2D/2D), torej poravnava dvodimenzionalnih slik, ter tridimenzionalna (3D/3D), to-
rej poravnava tridimenzionalnih slik. Poznamo tudi poravnavo dvodimenzionalne na
tridimenzionalno sliko (2D/3D).
Kot dimenzijo pa lahko vkljucimo tudi cas. Tukaj imamo v mislih cas, ki pretece
med zajetjem poravnavanih slik. Ce se preselimo v svet medicine, se taka vrsta porav-
nave uporablja na primer pri rasti kosti pri otrocih (dolg interval med zajemom slik),
spremljanju rasti tumorja (srednje dolg interval), nadzoru delovanja srca (kratek in-
terval) ali pa opazovanju potovanja diagnosticne pilule po krvnem obtoku (zelo kratek
interval).
Oslonilna informacija
Vrste poravnav lahko locimo tudi glede na uporabo oslonilne informacije. Vrsta oslo-
nilne informacije pove, ali pri poravnavi uporabljamo zunanje oznake na posnetkih, ali
pa uporabljamo informacijo, ki je vsebovana v slikah. Pri prvi se uporabljajo zunanje
oznacbe (npr. znacke). Poravnave, ki uporabljajo informacijo, vsebovano v slikah, pa
delimo na poravnave, ki poravnavajo znacilne slikovne tocke, segmentirana obmocja ali
neobdelane sivinske posnetke.
Vrsta preslikave
Poravnavo lahko delimo glede na to, kaksno vrsto geometrijskih preslikav uporabljamo.
Geometrijska preslikava α slike I v sliko I ′ je dolocena z bijektivno preslikavo vsake
tocke (x, y) na sliki I v tocko (x′, y′) na sliki I ′[11]:
(x′, y′) = α(x, y). (1)
Geometrijska preslikava je lahko toga, afina, projekcijska ter krivocrtna. Vrste po-
ravnav glede na geometrijske preslikave so prikazane na sliki 7. Za togo poravnavo je
znacilno, da uporablja samo premik in zasuk slike. Ce poravnava vzporedne premice
preslika v vzporedne premice, potem govorimo o afini poravnavi. Poravnavi, ki premice
preslika v premice, pravimo projekcijska poravnava. Pri do sedaj nastetih poravnavah
so vse preslikave dolocene s parametri (preslikavo pri togi poravnavi lahko opisemo s
tremi parametri v dvodimenzionalnem in sestimi parametri v tridimenzionalnem pro-
storu).
Poravnavanje slik 13
Najbolj splosna poravnava je krivocrtna, ki lahko vsako premico preslika v krivu-
ljo. Tukaj govorimo o elasticni (netogi) poravnavi. Ker bomo elasticno poravnavo
uporabili pri izvedbi nasega algoritma za poravnavanje, jo bomo podrobneje opisali v
nadaljevanju tega poglavja.
Slika 7: Vrste poravnav slik glede na razlicne geometrijske preslikave.
Podrocje preslikave
Preslikava se imenuje globalna, ce vpliva na celotno sliko (slika 8), ter lokalna, ce so
za posamezna podpodrocja slike dolocene lastne preslikave, ki so med seboj neodvisne.
Ker pricakujemo, da bo rezultat lokalne poravnave zvezen, moramo nezveznost v na-
slednjem koraku odpraviti z interpolacijo ali glajenjem (slika 9). Izkaze se, da pri togih
Poravnavanje slik 14
in afinih preslikavah gre za globalno poravnavo, o lokalni poravnavi pa lahko govorimo
pri uporabi krivocrtne preslikave.
Slika 8: Globalna poravnava slike.
Slika 9: Lokalna poravnava slike.
Interakcija z uporabnikom
Pri razlicnih algoritmih za poravnavo slik se pojavljajo trije nivoji interakcije. Prva je
avtomatska, kjer uporabnik racunalniskemu sistemu posreduje kvecjemu informacije o
postopku za zajem slike. Pri interaktivnih metodah uporabnik sam izvede potrebne
postopke poravnave ob podpori sistema, ki uporabniku nudi vizualno ali stevilcno oceno
trenutne poravnave. Pri polavtomatskih metodah pa mora uporabnik bodisi poskrbeti
za inicializacijo parametrov (npr. s segmentacijo podatkov) bodisi krmiliti algoritem
(npr. sprejemati ali zavracati predlagane resitve, ki jih je predlagal algoritem).
Postopek optimizacije
Parametre, ki se uporabljajo za izracun poravnave, lahko izracunamo analiticno, lahko
pa jih poiscemo s pomocjo optimizacijskih postopkov, kar pomeni iskanje optimuma
ocenitvene funkcije, ki je definirana s parametri. Analiticni izracun uporabljamo, kadar
uporabljamo manjse stevilo podatkov. Optimizacijski postopki pa delujejo z vecjim
stevilom parametrov, katerih stevilo je odvisno od vrste preslikave.
Modalnost podatkov
Glede na modalnosti podatkov locimo stiri razrede poravnave medicinskih slik. Pri eno-
modalni poravnavi izvajamo poravnavo z enomodalnimi slikami, npr. ultrazvok (UZ),
magnetna resonanca (MR) in racunalniska tomografija (CT). Pri vecmodalni poravnavi
pa gre za poravnavo slik, ki vsebujejo dve razlicni modalnosti, npr. UZ–CT, UZ–MR ali
CT–MR. Pri poravnavi slike z modelom in poravnavi slike s pacientom je prisotna ena
slika, kateri je nato treba dolociti lego v koordinatnem sistemu opazovanega objekta (v
prvem primeru je objekt model, v drugem pa pacient).
3.2 Elasticno poravnavanje slik
Elasticno poravnavanje slik je postopek, ki temelji na fizikalnih zakonih deformabilnih
teles [10]. Poravnana slika je tako modelirana kot objekt, ki ga deformiramo s pomocjo
zunanjih sil. Te deformacije potekajo tako, da se opazovana deformirana slika cim bolj
prilega referencni sliki.
Privzemimo, da imamo dve sliki, ki ju zelimo poravnati, in sicer referencno sliko Ir
ter testno sliko It. Sliko It zelimo deformirati tako, da se bo cim bolj ujemala s sliko Ir.
Tako pridobljeno sliko imenujmo It′. V splosnem sta sliki dvodimenzionalna objekta,
predstavljena s piksli. Sliki sta predstavljeni z enotnim koordinatnim sistemom, v
katerem ima vsak piksel lego doloceno z vektorjem x = [x, y]T . Z deformacijo se vsak
piksel na tej sliki premakne za neki vektor u(x) = [ux(x), uy(x)]T (slika 10). Vsak
piksel na deformirani sliki je torej dolocen z naslednjo enacbo [10]:
x′ = x + u(x). (2)
Slika 10: Premik izbranega piksla x za vektor u(x).
15
Poravnavanje slik 16
Postopek elasticnega poravnavanja slik
Da dobimo sliko It′, sliko It deformiramo s preslikavo, ki jo predpisuje funkcija u(x).
Omenjeno funkcijo imenujemo funkcija premikov. Rezultat te funkcije v dvodimenzio-
nalnem prostoru predstavljata matriki ux in uy. Ti matriki se imenujeta polje premikov
(displacement field). Prva predstavlja premik za posamezne piksle v smeri x, druga
pa v smeri y. Na podlagi ujemanja referencne slike Ir ter deformirane slike It′ nato
dolocimo funkcijo zunanjih sil [10]. Te sile namrec vodijo k izboljsanju ujemanja slik,
kajti z njihovo pomocjo izracunamo novo preslikavo u(x). Postopek elasticne poravnave
je namrec iterativen in z delovanjem zunanjih sil rezultat konvergira proti optimalnemu
ujemanju slik.
Postopek elasticnega poravnavanja se izvaja s pomocjo algoritma za elasticno po-
ravnavanje. V nadaljevanju je predstavljena njegova zgradba.
Zgradba algoritma za elasticno poravnavanje
Algoritem za elasticno poravnavanje je v splosnem zgrajen iz treh sestavnih delov [12]:
a) mera podobnosti pove, kako dobro se dve sliki ujemata,
b) model preslikave (transformation model) pove, na kak nacin (s kaksno preslikavo)
predstavimo testno sliko, da bi dosegli njeno ujemanje z referencno sliko. Tako
preslikavo predstavlja mnozica numericnih parametrov (deformacijski parametri);
c) optimizacijski proces s spreminjanjem vrednosti parametrov modela preslikave
isce najboljse ujemanje referencne in testne slike, ki je doloceno glede na upora-
bljen kriterij mere podobnosti.
Sledi predstavitev posameznih sestavnih delov algoritma in pregled razlicnih po-
stopkov za elasticno poravnavanje slik.
3.3 Mere podobnosti
Ocenjevanje podobnosti med referencno in deformirano testno sliko predstavlja enega
izmed bistvenih korakov pri elasticnem poravnavanju posnetkov. Izbira mere podob-
nosti ima zelo velik vpliv na rezultate poravnavanja. Mocno je povezana z razlicnimi
lastnostmi slik, ki jih poravnavamo [10]. Med te spadajo velikost slik, prisotnost svetlo-
stnih nehomogenosti na slikah, svetlostno lezenje ter modalnost. Izbira ustrezne mere
podobnosti pa je odvisna tudi od samega postopka poravnavanja, kjer je potrebno
upostevati vpliv lokalnosti poravnave, proznosti modela deformacij, optimizacijske me-
tode in zahtevane natancnosti resitve.
Poravnavanje slik 17
Privzemimo, da Ir predstavlja referencno sliko, It predstavlja testno sliko, It′ pa
naj predstavlja poravnano testno sliko. Rekli smo, da s postopkom poravnavanja slik
iscemo tako transformacijo, ki vrne najboljsi rezultat poravnave slik It′ s sliko Ir.
Pricakujemo, da funkcija mere podobnosti, ki podaja odvisnost podobnosti primerjanih
slik od deformacijskih parametrov, pri tej transformaciji doseze globalni ekstrem [10].
Funkcije mere podobnosti pa imajo ob globalnem ekstremu se kup lokalnih ekstremov,
ki ne ustrezajo optimalni poravnavi, lahko se pa zgodi, da je rezultat v tem primeru celo
nepravilen. Izogibanje lokalnim ekstremom dosezemo s pravilno izbiro parametrov, ki
opisujejo delovanje optimizacijskega algoritma. Ali bomo kot ekstrem iskali maksimum
ali minimum funkcije mere podobnosti, pa zavisi od zacetnih parametrov deformacije.
Postopke za elasticno poravnavanje v smislu uporabe mere podobnosti lahko raz-
delimo na [12]:
a) geometrijske pristope in
b) pristope z upostevanjem intenzitete svetlosti.
Geometrijski pristopi na obeh opazovanih slikah zgradijo model s paroma eksplici-
tno dolocenimi anatomskimi elementi. Med te elemente ponavadi spadajo funkcionalno
pomembna slikovna obmocja, krivulje in slikovne tocke. S tem je ze definirana presli-
kava iz ene slike v drugo. Gre torej za slike, katerim dolocimo strukturne informacije.
Uporaba taksnih strukturnih informacij zagotavlja, da ima taksna preslikava biolosko
pravilnost.
Za nas bolj zanimivi pa so pristopi z upostevanjem intenzitete svetlosti. Pristopi
z upostevanjem intenzitete pri ocenjevanju podobnosti iscejo ujemanje vzorcev na pri-
merjanih slikah z uporabo matematicnih in statisticnih kriterijev. Omenjeni postopki
dolocajo mero podobnosti med referencno in poravnano testno sliko in s spreminjanjem
deformacijskih parametrov skusajo mero podobnosti maksimizirati. Predpostavlja se
namrec, da si bosta primerjani sliki ob pravilni poravnavi najbolj podobni. V nada-
ljevanju si bomo pogledali nekaj najbolj pogosto uporabljenih mer podobnosti, ki se
uporabljajo pri pristopih poravnavanja z upostevanjem intenzitete svetlosti [10, 12].
Vsota kvadratov razlik
Najenostavnejso mero podobnosti predstavlja vsota kvadratov razlik (sum of squared
differences). Zaradi majhne casovne zahtevnosti je pogosto uporabljena. Primerna je
za poravnavanje slik, ki so enako svetle in imajo enak kontrast. Predstavljena je z
naslednjo enacbo:
SSD =∑
x∈I
(Ir(x) − It′(x))2, (3)
Poravnavanje slik 18
kjer Ir predstavlja referencno sliko, It′ transformirano testno sliko, x pa predstavlja
izbran piksel na sliki. Ponekod zasledimo tudi uporabo povprecja kvadratov razlik.
Povprecje kvadratov razlik predstavlja mero podobnosti, dobljeno z zmnozkom SSD
in faktorjem 1N
, kjer N predstavlja stevilo pikslov na slikah. Identicni sliki imata
koeficient SSD enak nic, v nasprotnem primeru pa velja, da manj kot sta si sliki
podobni, vecji je koeficient SSD.
Absolutna razlika
Tudi absolutna razlika (absolute difference) je zelo enostavna mera podobnosti, ki je
zelo podobna meri, katero predstavlja vsota razlik kvadratov. Edina razlika med njima
je v nelinearnosti, ki je uporabljena pri vsoti razlik kvadratov. V tem primeru absolutna
vrednost nadomesca kvadriranje. Tudi ta metoda je primerna za slike, ki so enako svetle
in imajo enak kontrast. Absolutna razlika je predstavljena z naslednjo enacbo:
AD =∑
x∈I
|Ir(x) − It′(x)|, (4)
kjer Ir predstavlja referencno sliko, It′ transformirano testno sliko, x pa predstavlja
izbran piksel na sliki. Tudi v tem primeru ponekod zasledimo uporabo povprecne
absolutne razlike. Povprecno absolutno razliko dobimo, ce koeficient AD delimo z N ,
ki predstavlja stevilo pikslov na opazovanih slikah. Tudi pri absolutni razliki velja,
da imata identicni sliki koeficient AD enak 0, v nasprotnem primeru pa ob padanju
podobnosti koeficient AD raste.
Standardni odklon razlike med slikama
Standardni odklon razlike med slikama (standard deviation of image difference) oce-
njuje razprsenost odstopanj intenzitet svetlosti istoleznih pikslov. Omenjena mera
podobnosti je predstavljena z naslednjo enacbo:
SDI =
√
1
N
∑
x∈I
(Ir(x) − It′(x) − (Ir − It′))2, (5)
kjer Ir predstavlja referencno sliko, It′ transformirano testno sliko, x predstavlja izbran
piksel na sliki, Ir − It′ pa predstavlja povprecno vrednost razlik intenzitet svetlosti med
slikama Ir in It′. Ta mera podobnosti je obcutljiva na konrast, ne pa tudi na razlicne
svetlosti pri slikah. Tudi pri tej meri podobnosti velja, da imata identicni sliki koeficient
SDI enak 0, v nasprotnem primeru pa ob padanju podobnosti koeficient SDI raste.
Poravnavanje slik 19
Standardni odklon histograma razlike med slikama
Mera standardnega odklona histograma razlike med slikama (standard deviation of
image difference histogram) je povsem podobna meri standardnega odklona razlike med
slikama. Razlika med njima je le v nacinu izracuna. Standardni odklon histograma
razlik med slikama je dolocen z naslednjo enacbo:
SDI =
√√√√
iMAX∑
i=−iMAX
i2Ni(Ir − It′), (6)
kjer Ni(Ir−It′) predstavlja stevilo parov istoleznih pikslov z razliko med intenzitetami
i.
Deterministicna sprememba predznaka
Deterministicna sprememba predznaka (deterministic sign change) je mera podobnosti,
kjer opazujemo stevilo sprememb predznaka razlike med slikama, kateremu je pristet
dodatni periodicni vzorec s periodo 2 in amplitudo p [10]. To mero podobnosti dejansko
predstavlja delez istoleznih pikslov, za katere je razlika intenzitet manjsa od p. Tako
nam v bistvu pove, koliksen delez slike se na histogramu razlike med slikama nahaja
na podrocju od −p do p.
Korelacijski koeficient
Korelacijski koeficient (correlation coefficient) je ena izmed mer podobnosti, ki se naj-
bolj pogosto uporabljajo. Izhaja iz teorije obdelave signalov. Pri uporabi te mere
podrobnosti domnevamo, da imata poravnavani sliki linearno odvisne nivoje inten-
zivnosti in da so podrocja zanimanja v celoti prikazana na slikah. Slabost te mere
podobnosti je zaradi povecane racunske zahtevnosti nekoliko vecja casovna zahtevnost.
Korelacijski koeficient se izracuna s pomocjo naslednje enacbe:
CC =
∑
x∈I(Ir(x) − Ir)(It′(x) − It′)√
∑
x∈I(Ir(x) − Ir)2∑
x∈I(It′(x) − It′)2
, (7)
kjer Ir predstavlja referencno sliko, It′ transformirano testno sliko, x predstavlja izbran
piksel na sliki, Ir in It′ pa predstavljata povprecni svetlosti referencne in transformirane
testne slike.
Poravnavanje slik 20
Korelacijsko razmerje
Pri korelacijskem razmerju (correlation ratio) gre za zelo podoben princip, kot je upo-
rabljen pri korelacijskem koeficientu. Pri uporabi korelacijskega razmerja domnevamo,
da med slikama obstajajo funkcionalne odvisnosti. Korelacijsko razmerje je doloceno z
naslednjo enacbo:
η = 1 −1
Nσ2
∑
i
Niσ2i , (8)
kjer je
σ2 =1
N
∑
x∈I
It′(x)2 − m2, m =1
N
∑
x∈I
It′(x) (9)
in
σ2i =
1
Ni
∑
x∈Ir(x)=i
It′(x)2 − m2i , mi =
1
Ni
∑
x∈Ir(x)=i
It′(x). (10)
kjer Ir predstavlja referencno sliko, It′ transformirano testno sliko, x pa predstavlja
izbran piksel na sliki. Tudi za to mero podobnosti je znacilna nekoliko vecja racunska
in casovna zahtevnost. Je pa ta mera podobnosti, podobno kot korelacijski koeficient,
neobcutljiva na razlike v svetlosti in kontrastu slik.
Poravnave, ki temeljijo na meri podobnosti z upostevanjem intenzitet svetlosti slik,
iscejo ustrezno ujemanje vzorcev na poravnavanih slikah. Z razliko od geometrijskega
pristopa tukaj ne uporabljamo poznavanja anatomije in dolocanja zanimivih regij, am-
pak na sliko gledamo kot celoto. Obstajajo pa tudi ze robustnejsi postopki, nekaksni
hibridni algoritmi, ki poravnavajo slike s pomocjo geometrijskega pristopa in tudi pri-
stopa z upostevanjem intenzitet svetlosti slik in skusajo izkoristiti prednosti obeh pri-
stopov.
Zaradi zasnove algoritma, ki ga bomo predstavili v okviru te diplomske naloge,
so zaradi primerjave za nas najbolj zanimive mere podobnosti, ki temeljijo na opazo-
vanju celotne slike, zato smo jih v tem podpoglavju nekoliko podrobneje predstavili.
Pri algoritmu, ki smo ga zgradili v okviru te diplomske naloge, smo namrec uporabili
prav posebno mero podobnosti. Mero podobnosti bomo v nadaljevanju poimenovali
kar ocenitvena funkcija. Omenjena ocenitvena funkcija temelji na lokalno nespremen-
ljivi povprecni vrednosti svetlosti pegastega suma. Pegasti sum smo spoznali v pod-
poglavju 2.5, analiticna izpeljava uporabljene ocenitvene funkcije pa je prikazana v
podpoglavju 5.2. Domnevali smo, da bi uporaba omenjene ocenitvene funkcije prinesla
kar nekaj prednosti, predvsem pri ucinkovitosti poravnavanja, zato smo v sklopu rezul-
tatov poskusov poravnavanja v podpoglavju 6.12 primerjali ucinkovitost poravnavanja
z omenjeno ocenitveno funkcijo ter ocenitveno funkcijo vsote kvadratov razlik (SSD).
Poravnavanje slik 21
3.4 Model preslikave
Model preslikave definira nacin predstavitve deformacije testne slike, ki jo skusamo
poravnati z referencno sliko [12]. Opisuje tip in stevilo mogocih deformacij. Prvo
pomembno lastnost modela preslikave predstavlja nacin, kako z deformacijo relativno
priblizati testno sliko k referencni, tako da bi dosegli cim boljse ujemanje, drugo po-
membno lastnost pa predstavlja uporaba interpolacije, s pomocjo katere lahko eno-
stavno opisemo deformacijski model. Postopke za elasticno poravnavanje lahko glede
na model preslikave (deformacije) delimo na naslednji nacin [13]:
a) modeli preslikave z uporabo prosto oblikovanih deformacij (free form deformati-
ons) in
b) modeli preslikave z uporabo bazicnih funkcij (basis functions).
Pri prosto oblikovanih deformacijah gre za model preslikave, kjer deformacijo opise-
mo s pomocjo vektorskega polja premikov, ki je enakih dimenzij kot sta poravnavani
sliki. Poljubno izbranemu pikslu na sliki pripada istolezni element vektorskega polja,
ki predstavlja novo lokacijo izbranega piksla. Ker se nahajamo v dvodimenzionalnem
prostoru, je vsak piksel predstavljen z dvema prostostnima stopnjama. Pri prosto
oblikovanih deformacijah je zahtevana diskretna in eksplicitna regularizacija modela,
interpolacija in odvajanje pa morata biti izvedena numericno.
Modele preslikave z uporabo bazicnih funkcij lahko delimo glede na podrocje defor-
macij:
a) globalne deformacije, ki so lahko izvedene z uporabo polinomov, Gaussove funk-
cije, “thin-plate” zlepki itd., ter
b) lokalne deformacije, ki so lahko izvedene z uporabo B-zlepkov, valckov, itd.
Za postopke poravnavanja, ki uporabljajo bazicne funkcije, je znacilno, da je stevilo
prostostnih stopenj doloceno z parametrizacijo. Za te postopke je zaradi zveznosti
znacilna lokalna gladkost resitve. Zveznost je namrec ena izmed pomembnejsih lastnosti
bazicnih funkcij. Interpolacija in odvajanje sta v primeru uporabe bazicnih funkcij
izvedena analiticno. V tem primeru gre torej za analiticni model preslikave.
Predstavitev modela z zlepki je ena najpomembnejsih in najpogosteje uporablje-
nih modelov preslikav pri postopkih za elasticno poravnavanje slik. Uporaba zlepkov
v vseh mogocih oblikah elasticnega poravnavanja se uporablja ze dobrih 15 let. Za
postopke poravnavanja slik, ki pri poravnavanju uporabljajo zlepke, je znacilno, da
preslikavo opisemo z mnozico deformacijskih parametrov (v smislu zlepkov deformacij-
skim parametrom pravimo kontrolne tocke). Deformacijo, ki jo opisujejo deformacijski
parametri, pa izracunamo s pomocjo bazicne funkcije zlepkov.
Poravnavanje slik 22
V nadaljevanju sledi pregled najpopularnejsih postopkov za netogo poravnavanje
slik glede na model preslikave [14].
Ujemanje blokov
Postopek, imenovan ujemanje blokov je en izmed pristopov za netogo poravnavo slik.
Pri poravnavanju na opazovani sliki polozimo mrezo kontrolnih tock, katere predsta-
vljajo sredisca manjsih oken, imenovanih bloki. S pomocjo teh blokov, opazovani sliki
lokaliziramo. Lokalizacijo slike nato prevedemo na problem maksimizacije kriterija
lokalne podobnosti. Predpostavljamo namrec, da je mnozica blokov na eni sliki pred-
stavljena z bijektivno preslikavo blokov na drugi sliki. Z drugimi besedami povedano
je zaradi deformacij na slikah prislo do premika nekaterih blokov, ki pa seveda niso po-
polnoma enaki, zato moramo upostevati kriterij lokalne podobnosti. Nas cilj je odkriti
te premike blokov in na podlagi teh premikov zgraditi polji vektorjev premikov, s cimer
bomo opisali deformacijsko funkcijo. Ker so premiki blokov na poravnani sliki precej
ostro vidni, nad poravnano sliko izvedemo konvolucijo z uporabo Gaussove funkcije z
namenom, da dosezemo glajenje slike.
Postopek poravnavanja z uporabo “thin-plate” zlepkov
Eden izmed postopkov za poravnavanje, ki za svoje delovanje uporabljajo zlepke, pred-
stavlja postopek, realiziran s pomocjo modela, ki uporablja tako imenovane “thin-
plate” zlepke. V tem primeru gre za postopke, za katere je znacilna globalna deforma-
cija slike. Pri modelu preslikave z omenjenimi zlepki si lahko sliko predstavljamo kot
tanko kovinsko plosco, kar je razvidno ze iz imena. Deformacija slike se namrec odraza
podobno, kot da bi skusali deformirati (pregibati, zvijati) tanko kovinsko plosco. Tudi
v tem primeru deformacijo predstavimo s kontrolnimi tockami. Vsaka kontrolna tocka
ima globalni vpliv na celotno transformacijo. Ce, recimo, samo za malenkost spreme-
nimo polozaj ene izmed njih, se posledicno spremenijo vse tocke v deformirani sliki.
To se izkaze kot slabost pri uporabi tega postopka, saj omejuje modeliranje komple-
ksnejsih in lokalnih deformacij, izkaze pa se tudi, da ob povecanju stevila kontrolnih
tock strmo naraste cas racunanja pri spremembi posamezne kontrolne tocke.
Postopek poravnavanja z uporabo valcne transformacije
Valcki so matematicne funkcije, s pomocjo katerih neko funkcijo oziroma zvezni signal
predstavimo kot frekvencne komponente. Posamezna frekvencna komponenta je pred-
stavljena z locljivostjo, ki je odvisna od obsega te komponente. Pri valcni transformaciji
gre torej pravzaprav za dekompozicijo signala na frekvencne komponente.
Poravnavanje slik 23
Enostavnejsi primer poravnavanja s pomocjo valcne transformacije predstavlja upo-
raba standardne diskretne valcne transformacije [15], kjer s pomocjo valcne dekompozi-
cije dobimo stiri interpolirane podpasovne slike (subband images), imenovane LL, LH,
HL in HH. V nasprotju s preostalimi tremi slikami, ki vsebujejo razlicne znacilnosti,
kot so robovi, raje uporabimo sliko LL, na kateri se nahajajo predvsem informacije, ki
nas najbolj zanimajo, to so anatomske strukture, vrednosti intenzitet, ipd.
Prednosti valcne transformacije so, da se po dekompoziciji ohranijo anatomske la-
stnosti, prikazane na medicinskih slikah, prednost pa je tudi v tem, da uporaba valckov
ne zamegli slike pri multiresolucijskem poravnavanju. Multiresolucijsko poravnava-
nje je postopek poravnavanja, kjer poravnavanje tece v vec nivojih, od najnizjega do
najvisjega, kjer posamezni nivo predstavlja locljivost poravnave.
Kljub vsemu pa se izkaze, da utegne biti postopek za poravnavanje z uporabo
valckov manj ucinkovit od postopkov za poravnavanje, ki uporabljajo B-zlepke (pred-
vsem v smislu casovne zahtevnosti) [17].
Postopek poravnavanja z uporabo B-zlepkov
Pristop k poravnavanju z uporabo B-zlepkov je eden najpogosteje uporabljanih pri
postopkih za elasticno poravnavanje. V nasprotju z “thin-plate” zlepki je za B-zlepke
znacilno, da so definirani v okolici kontrolnih tock. V kolikor spremenimo eno izmed
vrednosti kontrolnih tock, ta sprememba vpliva samo na deformacijo v okolici spreme-
njene tocke in ne na celotno sliko, kot pri “thin-plate” zlepkih. Pri B-zlepkih gre torej
za postopek, za katerega je znacilna lokalna deformacija slike.
Prednosti postopkov poravnavanja, ki uporabljajo B-zlepke, so njihova splosna pri-
mernost za poravnavanje razlicnih tipov medicinskih slik, jasnost rezultatov in racunska
ucinkovitost. Njihova glavna slabost pa je, da za ucinkovito poravnavanje v dolocenih
primerih potrebuje posebne mere podobnosti, ki preprecujejo zvijanje oziroma vr-
tincenje deformacijskega polja. V teh primerih je take mere zelo tezko uveljaviti pri
poravnavanju z nizko locljivostjo (gostejso mrezo deformacijskih parametrov).
B-zlepke smo zaradi njihovih pozitivnih lastnosti uporabili tudi pri postopku za
elasticno poravnavanje, ki je bil zgrajen v okviru te diplomske naloge. B-zlepki so
podrobneje opisani v podpoglavju 4.1, v poglavju 5 pa je predstavljena njihova uporaba
v okviru razvitega postopka za poravnavanje.
3.5 Optimizacijski postopek
S pomocjo postopka optimizacije [12] postopek za poravnavanje slik s pomocjo spremi-
njanja deformacije (recimo vrednosti kontrolnih tock) postopoma povecuje podobnost
Poravnavanje slik 24
poravnavanih slik. Dober optimizacijski postopek zanesljivo in hitro najde najboljso
mozno deformacijo. Izbira dobrega optimizacijskega postopka zahteva dobro poznava-
nje problema poravnavanja, njegove omejitve in dobro poznavanje numericne analize.
Pri netogi (elasticni) poravnavi se izbira ali zasnova novega optimizacijskega postopka
izkaze za tezavno nalogo, kajti bolj kot je model preslikave fleksibilen, vec deformacij-
skih parametrov je potrebnih za njegov opis. S stalisca optimizacije to pomeni, da se
poveca cas za iskanje ustrezne resitve, vecja verjetnost pa je tudi, da bomo pri optimi-
zaciji padli v lokalni minimum in tako kot rezultat poravnave dobili sliko, ki bo sicer
ustrezna, vendar pa ne bo predstavljala najboljse mozne resitve.
Obstaja veliko optimizacijskih postopkov, s pomocjo katerih lahko izvajamo porav-
navo slik. Kot smo ze omenili, je izbira najucinkovitejsega optimizacijskega postopka
ena izmed tezjih korakov pri zasnovi postopka za elasticno poravnavanje slik. Za posto-
pek, ki smo ga zgradili v okviru te diplomske naloge, smo glede na priporocilo avtorjev
v [16] izbrali optimizacijski postopek, imenovan L-BFGS-B. Omenjen optimizacijski
postopek je natancneje predstavljen v sekciji 4.2.
4 Orodja, potrebna za izvedbo algoritma za ela-
sticno poravnavanje slik
V podpoglavju 3.2 smo spoznali, da je algoritem za elasticno poravnavanje slik zgrajen
iz treh delov. Algoritem za elasticno poravnavanje ima tako doloceno ocenitveno funk-
cijo, model preslikave in optimizacijski algoritem. Rekli smo tudi, da algoritem, ki smo
ga razvili v okviru te diplomske naloge, podobnost poravnavanih slik ocenjuje z oce-
nitveno funkcijo, ki temelji na nespremenljivi povprecni vrednosti svetlosti pegastega
suma. Model preslikave tega algoritma je dolocen z B-zlepki, za optimizacijo pa bomo
uporabili optimizacijski algoritem L-BFGS-B. To poglavje je namenjeno natancnejsi
predstavitvi orodij, ki smo jih potrebovali za izvedbo algoritma za elasticno poravna-
vanje. Da bi lahko model preslikave predstavili z B-zlepki, moramo najprej B-zlepke
podrobneje predstaviti. Prav tako moramo podrobneje predstaviti tudi optimizacij-
ski algoritem L-BFGS-B, ce zelimo izvajati ucinkovito optimizacijo, ki predstavlja zelo
pomemben korak pri elasticnem poravnavanju slik.
4.1 B-zlepki
Beseda zlepek (spline) v angleskem jeziku pomeni dolg fleksibilni kovinski trak, ki se
uporablja pri izdelavi ladijskih in letalskih elementov. Tak trak je mogoce zvijati in
tako interpolirati zelene oblike [19]. Ce to analogijo prenesemo v matematicni model,
lahko zlepke uporabimo za opis krivulj ali pa z njihovo pomocjo opravimo interpolacijo,
v nasem primeru interpolacijo slike (poglavje 4.1.1).
Zlepki so po definiciji spojeni polinomi, sestavljeni iz kosckov (polinomov), ki so
med seboj gladko povezani [20]. Sticisca teh polinomov se imenujejo vozlisca (knots).
Za zlepek stopnje n velja, da je vsak njegov odsek opisan s polinomom stopnje n, kar
nas napelje k razmisljanju, da potrebujemo n + 1 koeficientov za opis posameznega
odseka. Vendar moramo upostevati se dodadno omejitev zaradi gladkosti. Ta omejitev
nam v vozliscih zagotavlja zveznost zlepkov ter njihovih odvodov vse do reda n − 1,
tako da imamo v praksi v vsakem odseku zgolj eno prosto stopnjo.
Za resitev nasega problema popolnoma zadostuje, ce uporabimo zlepke z unifor-
mnimi vozlisci in enotno razdaljo med njimi. Ob upostevanju teh dveh lastnosti lahko
B-zlepke (predpona B pomeni basis) opisemo z naslednjo enacbo [20]:
s(x) =∑
k∈Z
b(k)βn(x − k), (11)
kjer so b(k) kontrolne tocke B-zlepkov, βn(x) pa je bazicna funkcija zlepkov stopnje n.
25
Orodja, potrebna za izvedbo algoritma za elasticno poravnavanje slik 26
B-zlepki, ki jih bomo uporabili, so simetricne funkcije, ki imajo obliko zvona. B-zlepke
stopnje n dobimo s pomocjo konvolucije pulza β0:
βn(x) = β0 ∗ β0 ∗ . . . ∗ β0
︸ ︷︷ ︸
n+1
(x), (12)
kjer je pulz β0 predstavljen z naslednjo enacbo:
β0(x) =
1, −12
< x < 12
12, |x| = 1
2
0, sicer
, (13)
njegov graf pa je prikazan na sliki 11.
−2 −1.5 −1 −0.5 0 0.5 1 1.5 2−0.5
0
0.5
1
1.5
x
β0 (x)
Slika 11: Bazicna funkcija β0(x).
B-zlepki so preprosti za uporabo. Tako lahko odvod izracunamo z naslednjo enacbo:
dβn(x)
dx= βn−1(x +
1
2) − βn−1(x −
1
2). (14)
Izracun odvoda tako zmanjsa stopnjo B-zlepkov za 1. Na podoben nacin lahko
izracunamo tudi integral.
∫ x
−∞
βn(x)dx =∞∑
k=0
βn+1(x −1
2− k). (15)
Orodja, potrebna za izvedbo algoritma za elasticno poravnavanje slik 27
Izkaze se, da so v tej druzini zlepkov najbolj priljubljeni kubicni zlepki, verjetno
prav zaradi njihove lastnosti minimalne ukrivljenosti. Pogosto se uporabljajo pri viso-
kokvalitetni interpolaciji. In ravno kubicni zlepki so uporabljeni tudi v nasem algoritmu
za elasticno poravnavo, saj lahko diskretno sliko z njihovo pomocjo enostavno obrav-
navamo kot zvezno sliko. Funkcijo β3 predstavimo z naslednjo enacbo:
β3(x) =
23− |x|2 + |x|3
2, 0 ≤ |x| < 1
(2−|x|)3
6, 1 ≤ |x| < 2
0, 2 ≤ |x|
, (16)
graf te funkcije pa je prikazan na sliki 12.
−2.5 −2 −1.5 −1 −0.5 0 0.5 1 1.5 2 2.50
0.1
0.2
0.3
0.4
0.5
0.6
0.7
x
β3 (x)
Slika 12: Bazicna funkcija β3(x).
Sedaj se pa preselimo iz enodimenzionalnega sveta in si oglejmo, kako s pomocjo
B-zlepkov predstavimo poljubno sliko.
4.1.1 Interpolacija slike
B-zlepke se da zelo enostavno razsiriti v visje dimenzije, in sicer z uporabo tenzor-
skega produkta bazicnih funkcij [20]. V splosnem lahko model B-zlepkov predstavimo
v n-dimenzionalnem prostoru, vendar se bomo tukaj zaradi podrocja nase uporabe
(obdelava slik) omejili na dvodimenzionalen prostor. V enacbo (11) lahko enostavno
vpeljemo dodatno dimenzijo (vpeljemo tenzorski produkt bazicnih funkcij). Enacba se
Orodja, potrebna za izvedbo algoritma za elasticno poravnavanje slik 28
glasi takole:
f(x, y) =
(k1+K−1)∑
k=k1
(l1+K−1)∑
l=l1
b(k, l)β3(x − k)β3(y − l), (17)
kjer smo zaradi hitrejsega racunanja postavili omejitve pri vsotah, tako da se sestevajo
samo nenicelni elementi. V nasem primeru so koeficienti, ki dolocajo mejo, enaki
k1 = ⌈x − n+12⌉, l1 = ⌈y − n+1
2⌉ ter K = n + 1, kjer n predstavlja stopnjo B-zlepkov.
Tenzorski produkt dveh bazicnih funkcij kubicnih B-zlepkov je prikazan na sliki 13.
−2
−1
0
1
2
−2
−1
0
1
2
0
0.1
0.2
0.3
0.4
0.5
xy
β3 (x)β
3 (y)
Slika 13: Tenzorski produkt dveh bazicnih funkcij β3.
Poglejmo si, kako poteka interpolacija slike v nasem algoritmu. Privzemimo, da
imamo sivinsko sliko. Najprej je treba dolociti kontrolne tocke b(x, y). Teh je na-
tanko toliko, kolikor je pikslov na sliki. Torej pikslu (i, j) na sliki pripada natanko
ena kontrolna tocka b(i, j). Vrednost vsake kontrolne tocke je odvisna od intenzitete
istoleznega piksla. V enacbo (17) vstavimo pozicijo piksla (x, y), rezultat funkcije
f(x, y) pa predstavlja intenziteta tega piksla.
Z uporabo te enacbe in kontrolnih tock b lahko diskretno sliko opisemo kot zvezno.
Tako ima interpolirana slika v bistvu neskoncno locljivost, saj lahko za koordinato x in
y enacbe (17) vnesemo kakrsnikoli realni stevili, saj je pri poravnavi smisel, da nismo
omejeni na diskretne vrednosti pikslov (vzorcenje). Ce interpolirano sliko skusamo
povecati, ugotovimo, da povecana slika zaradi zveznih lastnosti kubicnih B-zlepkov
ostaja gladka (slika 14).
Orodja, potrebna za izvedbo algoritma za elasticno poravnavanje slik 29
Slika 14: Stirikratna povecava ultrazvocnega posnetka dimenzije 121 x 103 pikslov.Na levi sliki je prikazana povecava s skaliranjem pikslov, na desni pa povecana slika,dobljena s pomocjo interpolacije.
4.2 Optimizacijski algoritem L-BFGS-B
Za optimizacijski postopek, ki ga je potrebno izbrati pri realizaciji algoritma za ela-
sticno poravnavanje, smo v nasem primeru izbrali optimizacijski postopek L-BFGS-B.
L-BFGS-B [21] je algoritem z omejeno porabo pomnilnika, katerega namen je resevanje
zahtevnih nelinearnih optimizacijskih problemov. Lahko resuje probleme z omejitvami
pri spremenljivkah, kakor tudi probleme brez omejitev. Ena prednosti te vrste op-
timizacijskega algoritma je, da za optimizacijo ni potreben izracun Hessove matrike.
Tako je zelo primeren za resevanje problemov, kjer je Hessovo matriko tezko izracunati,
izkaze se pa tudi pri resevanju zelo zgoscenih optimizacijskih problemov. Uporaba algo-
ritma za resevanje nasega problema je natancneje opisana v poglavju 5, v tem poglavju
bomo omenjeni optimizacijski algoritem predstavili v bolj splosni luci.
Kratica BFGS predstavlja postopek, na katerem temelji obravnavan algoritem.
Predstavlja zacetnice priimkov avtorjev optimizacijskega postopka (Broyden, Fletcher,
Goldfarb, Shanno), ki je izpeljan iz Newtonovega optimizacijskega postopka. Newtonov
optimizacijski postopek je eden izmed postopkov, ki delujejo po principu vzpenjanja
na hrib (hill climbing), ki isce stacionarno tocko ocenitvene funkcije, kjer je njen gra-
dient enak 0. Prva crka v kratici pove, da ima algoritem sposobnost omejitve porabe
pomnilnika (limited memory algorithm), zadnja crka v kratici pa pove, da lahko iskanje
optimuma omejimo s pomocjo mej (boundary).
Naloga optimizacijskega algoritma L-BFGS-B je minimizirati nelinearno funkcijo z
Orodja, potrebna za izvedbo algoritma za elasticno poravnavanje slik 30
n spremenljivkami:
min f(x), (18)
kjer je x vektor, ki vsebuje n spremenljivk:
x = [x1, x2, . . . , xn]T . (19)
Vektor s spremenljivkami je lahko tudi omejen:
l ≤ x ≤ u, (20)
kjer vektorja l in u predstavljata vektorja s spodnjimi in zgornjimi mejami za posame-
zne spremenljivke v vektorju spremenljivk x.
V nadaljevanju je na kratko razlozen postopek delovanja algoritma L-BFGS-B [21].
Algoritem deluje iterativno. Na vsakem koraku iteracije se izracuna aproksimacija
Hessove matrike. Ta je v racunalniku poenostavljena zaradi omejitve pomnilnika in
je uporabljena za predstavitev ocenitvene funkcije f kot modela kvadratne funkcije
(oblika ax2 + bx + c). V naslednjem koraku se doloci smer iskanja, katero izracunamo
z dvostopenjskim pristopom. V prvi stopnji se s pomocjo projekcije gradienta doloci
nabor aktivnih spremenljivk, nato se v odvisnosti od prostih spremenljivk doloci pri-
blizek za minimizacijo ocenitvene funkcije, zapisane v kvadratni obliki. Iskalna smer
je tako definirana kot vektor, ki kaze iz trenutne iteracije proti pravkar izracunanemu
priblizku. V drugi stopnji se nato izvede linearno iskanje ob upostevanju izracunane
iskalne smeri. Ko je norma gradienta g dovolj majhna, se trenutna iteracija ustavi.
Optimum funkcije je najden po vec iteracijah, ko je absolutna vrednost razlik med
predhodno in trenutno iteracijo manjsa od konstante ε.
Prednosti optimizacijskega algoritma L-BFGS-B so:
a) napisana programska koda je enostavna za uporabo, algoritmu ni treba posredo-
vati niti Hessove matrike niti strukture ocenitvene funkcije,
b) pomnilniske omejitve algoritma nastavi uporabnik (kot parameter),
c) cena ene iteracije je relativno nizka in je popolnoma neodvisna od lastnosti oce-
nitvene funkcije. Ravno iz tega razloga je ta algoritem primeren za resevanje
problemov, kjer je Hessovo matriko tezko izracunati.
Ta algoritem pa ima tudi nekaj slabosti:
a) algoritem konvergira relativno pocasi proti resitvi, za zagotavljanje konvergence
pri tezjih primerih pride do velikega stevila ovrednotenj funkcij,
Orodja, potrebna za izvedbo algoritma za elasticno poravnavanje slik 31
b) pri problemih, ki so zelo obcutljivi na majhne spremembe, je lahko dobljena
resitev nenatancna,
c) algoritem nima znanja o strukturi problema, zato je ne more uporabiti za po-
spesitev iskanja optimuma.
Algoritem L-BFGS-B [21] je napisan v programskem jeziku fortran 77, kjer je upo-
rabljena dvojna natancnost. Ker je algoritem za elasticno poravnavo slik napisan v
matlabu, smo kot most med fortranom 77 in matlabom uporabili vmesnik L-BFGS-B
za matlab [22]. S pomocjo tega vmesnika klicemo rutino, ki vrne optimiziran problem
na naslednji nacin:
x = lbfgsb(x0,l,u,’f’,’g’,auxdata,’callback’,maxiter,m,factr,pgtol)
.
V nadaljevanju so opisani parametri, ki jih mora uporabnik posredovati optimiza-
cijskemu algoritmu. Ob tem moramo poudariti, da bomo v nadaljevanju izraz matrika
obravnavali kot v matlabu, kar pomeni, da je matrika lahko tudi skalar oziroma vektor.
x predsatvlja matriko (lahko tudi polje matrik), ki vsebuje resitev optimizacijskega
problema. Je popolnoma enake dimenzije, kot parametri x0, l in u.
x0 je matrika (polje matrik), ki predstavlja zacetni priblizek resitve.
l predstavlja matriko (polje matrik) s spodnjimi mejami za posamezne spremenljivke.
Dimenzije mora imeti popolnoma enake kot x0.
u predstavlja matriko (polje matrik) z zgornjimi mejami za posamezne spremenljivke.
Dimenzije mora imeti popolnoma enake kot x0.
’f ’ predstavlja rutino, ki izracuna vrednost ocenitvene funkcije v trenutni tocki. Ta
rutina mora imeti natanko toliko vhodov, kot je dimenzija x0. Izhod mora biti
skalar, ki predstavlja vrednost ocenitvene funkcije, ovrednotene v trenutni tocki.
’g’ predstalja rutino, ki izracuna gradient ocenitvene funkcije v trenutni tocki. Vhod
ima popolnoma enak kot rutina ’f ’, kot rezultat pa mora vrniti natanko toliko
izhodov, kolikor je bilo vhodov.
auxdata predstavlja polje dodatnih parametrov, ki jih potrebujeta za izracun rutini
’f ’ in ’g’.
’callback’ je funkcija, ki je uporabnisko prirejena za izpis informacij ob vsaki iteraciji
optimizacijskega algoritma.
Orodja, potrebna za izvedbo algoritma za elasticno poravnavanje slik 32
maxiter predstavlja maksimalno stevilo iteracij, ki se lahko izvede.
m je konstanta, ki predstavlja maksimalno stevilo korekcij. Te korekcije se uporabljajo
v matriki z omejitvijo pomnilnika.
factr je konstanta, ki mora biti manjsa od 0 in predstavlja natacnost resitve. Pove, za
kaksno vrednost se morata razlikovati sosednji iteraciji, da se optimizacija konca.
pgtol je konstanta, ki mora biti manjsa od 0. Z njo dolocimo, kdaj se bo koncala
trenutna iteracija, in sicer v odvisnosti od gradienta. To se bo zgodilo, ko bo
najvecja projekcija komponent gradienta manjsa od vrednosti pgtol.
5 Algoritem za elasticno poravnavanje s pomocjo
pegastega suma
Sedaj ko smo opremljeni s potrebnimi orodji, se lahko preselimo k izvedbi algoritma
za elasticno poravnavanje ultrazvocnih posnetkov.
5.1 Zasnova problema
Vzemimo, da imamo dve sliki, ki ju obravnavamo kot dva dvodimenzionalna diskretna
signala. Imenujmo ju fr(x) in ft(x). Prva oznaka naj predstavlja referencno sliko,
druga pa testno sliko. Pri tem je x ∈ I ⊂ Z2, I pa predstavlja dvodimenzionalni
diskretni interval, ki vsebuje mnozico vseh koordinat pikslov na sliki. Velja tudi, da je
testna slika geometrijsko deformirana razlicica referencne slike. To relacijo [18] opisemo
z enacbo (21):
fωt = f c
t (u(x)), (21)
kjer fωt predstavlja deformirano testno sliko, f c
t predstavlja zvezno predstavitev testne
slike, u(x) pa predstavlja deformacijsko funkcijo. To deformacijsko funkcijo bomo
poimenovali polje premika (displacement field). To poimenovanje smo izbrali zato, ker
vsak element na poziciji (i, j) tega polja predstavlja premik istoleznega piksla (i, j)
na sliki, ki jo bomo deformirali. Nas cilj je najti tako deformacijsko funkcijo (polje
premika), ki bo testno sliko deformirala tako, da se bo cim bolj prilegala referencni
sliki. Pricakujemo, da sliki fr(x) in ft(x) ne bosta popolnoma identicni, kajti to ni
mogoce zaradi suma, pa tudi prilagajanje slike definiramo z naslednjo minimizacijo
[18]:
u = arg minu∈U
E(fr, ft(u(x)), (22)
kjer U predstavlja prostor vseh deformacijskih funkcij u, E predstavlja kriterijsko funk-
cijo, ki jo bomo minimizirali, fr predstavlja intenzitete pikslov na referencni sliki ter
ft intenzitete pikslov na testni sliki. Na sliki 15 je prikazan diagram poteka za ta
algoritem.
5.2 Ocenitvena funkcija
Za ocenitev razlike med referencno in deformirano testno sliko bi lahko izbirali med
razlicnimi ocenitvenimi funkcijami. Temeljna zahteva je, da ima izbrana ocenitvena
funkcija E minimum takrat, ko sta sliki popolnoma poravnani. V nasem primeru z
ocenitveno funkcijo E iscemo najboljse prileganje slik s pomocjo primerjave povprecne
svetlosti pegastega suma.
33
Algoritem za elasticno poravnavanje s pomocjo pegastega suma 34
Vemo, da je nas cilj poiskati oceno polja premika u, ki ga bomo dobili s pomocjo
maksimizacije funkcije pogojne gostote verjetnosti [16]:
u = arg maxu
p(fr|ft,u). (23)
Ker sta referencna in testna slika pridobljeni z enakim postopkom za zajem slike, lahko
funkcijo p(fr|ft,u) izracunamo na naslednji nacin [16]:
p(fr|ft,u) =∏
x∈I
(fr(x)|fωt (x)), (24)
kjer fωt (x) predstavlja intenziteto piksla na lokaciji x zvezno opisane testne slike, katero
dobimo s pomocjo enacbe (21), fr(x) pa predstavlja intenziteto piksla na poziciji x
referencne slike.
Avtorji v [16] izhajajo iz enacbe (24) ter z uporabo dekorelacije pegastega suma
pridejo do trditve, da je funkcijo p(fr|ft,u) moc zapisati na naslednji nacin:
p(ft|fr,u) =∏
x∈I
2 exp(2(fωt (x) − fr(x)))
(exp(2(fωt (x) − fr(x))) + 1)2
. (25)
S pomocjo te enacbe lahko dolocimo premik med dvema slikama, in sicer tako, da
poiscemo maksimum te funkcije. Avtorji v [16] so enacbo (25) s pomocjo normalizirane
negativne verjetnostne funkcije (likelihood) izpeljali ocenitveno funkcijo E, ki se glasi
takole:
E = Λ(u) ≡1
N
∑
x∈I
(ln(exp(2r(x)) + 1) − r(x)), (26)
kjer je r(x) = fωt (x) − fr(x), N pa predstavlja stevilo vseh pikslov na sliki. Maksimi-
zacija enacbe (25) predstavlja iskanje minimuma zastavljenega problema in se glasi:
u = arg minu
Λ(u). (27)
5.3 Deformacijski model
Nas cilj je izracunati ustrezno deformacijsko funkcijo u(x). Imamo opravka z defor-
macijskimi funkcijami, za katere velja preslikava R2 → R
2. Izmed druzine vseh takih
deformacijskih funkcij iz prostora U se bomo sedaj omejili na funkcije, ki jih lahko
opisemo s koncnim stevilom parametrov c. Te parametre bomo poimenovali defor-
macijski parametri. Na ta nacin smo problem iskanja deformacijske funkcije bistveno
poenostavili in ga lahko predstavimo kot dvodimenzionalni minimizacijski problem.
Z uvedbo deformacijskih parametrov lahko deformacijski model zapisemo kot splosni
Algoritem za elasticno poravnavanje s pomocjo pegastega suma 35
linearni model na naslednji nacin [18]:
u(x) = x +∑
k∈Z2
ckϕk(x), (28)
kjer ϕk predstavljajo bazicne funkcije. Nas deformacijski model bomo opisali s pomocjo
B-zlepkov [16, 18]. Kot bazicne funkcije bi lahko uporabili na primer tudi polinome,
harmonicne funkcije ali valcke, vendar se za optimalno resitev izkazejo prav B-zlepki
[18]. S pomocjo B-zlepkov deformacijski model opisemo takole [16, 17]:
u(x) = x +∑
k∈Z2
ckβ3(
x
h− k), (29)
kjer ck = (ck,x, ck,y) predstavlja deformacijske parametre, h = (hx, hy) pa predstavlja
razdaljo v pikslih med dvema vozliscema (v smeri x in y). S tem smo preko slike, ki jo
bomo deformirali, polozili mrezo deformacijskih parametrov. V okolici teh parametrov
delujejo sile, ki deformirajo sliko v njihovi bliznji okolici. Manjsa razdalja parametrov
h prinese vecje stevilo deformacijskih parametrov ter posledicno finejso pokritost slike.
Na tem mestu je potrebno poudariti, da morata biti parametra hx in hy celostevilska.
Uporabnik ju posreduje kot vhodni argument pred zagonom algorimta.
Izkaze se, da ima deformacijski model s pomocjo B-zlepkov zelo dobre lastnosti
aproksimacije in je relativno hiter za izracun (podpoglavje 6).
5.4 Optimizacija
Resitev minimizacije ocenitvene funkcije E, enacba (26), predstavlja polje premikov
u(x). Optimalno polje premikov dobimo s pomocjo optimizacijskega algoritma, ki z
iterativnim postopkom prilagaja vrednosti deformacijskih parametrov, dokler ne najde
minimuma ocenitvene funkcije E [16]. Z enacbo to lahko zapisemo takole:
c = arg minc
E, (30)
kjer c predstavlja deformacijske parametre.
Za optimizacijo nasega problema uporabimo optimizacijski algoritem L-BFGS-B
(sekcija 4.2). Optimizacijski algoritem na vhodu prejme inicializirano polje deforma-
cijskih parametrov ck, rutino za izracun ocenitvene funkcije E ter rutino za izracun
gradienta omenjene funkcije. Kot rezultat vrne modificirano polje deformacijskih pa-
rametrov, s pomocjo katerega izracunamo optimizirano polje premikov u(x).
Ker moramo izracunati gradient ocenitvene funkcije, moramo poznati tudi njen prvi
Algoritem za elasticno poravnavanje s pomocjo pegastega suma 36
odvod, ki se v eksplicitni obliki glasi [16]:
∂E
∂ck,m
=1
N
∑
x∈Z2
exp(2r(x)) − 1
exp(2r(x)) + 1
∂f ct (d)
∂xm
∣∣∣∣d=u(x)
∂um(x)
∂ck,m
, (31)
kjer velja:∂f c
t (d)
∂x=
∑
k∈I
bkβ′3(ux − kx)β
3(uy − ky), (32)
∂f ct (d)
∂y=
∑
k∈I
bkβ′3(uy − ky)β
3(ux − kx), (33)
∂um(x)
∂ck,m
= β3(x
h− k), (34)
kjer je m ∈ {x, y}. Ker algoritem L-BFGS-B za optimizacijo problema ne potrebuje
Hessove matrike, potrebujemo samo enacbe za izracun prvega odvoda. Enacbe za
izracun drugega odvoda niso potrebne.
5.5 Potek algoritma
Potek algoritma za poravnavo ultrazvocnih posnetkov je prikazan na sliki 15. Algori-
tem na vhodu prejme testno in referencno sliko. Na zacetku se opravi normalizacija slik
(intentzitete pikslov se preslikajo v obmocje med 0 in 1) ter inicializacija deformacij-
skih parametrov, ki jih postavimo na 0 (to v praksi pomeni, da slika ni deformirana).
Naslednji korak deformira testno sliko glede na postavljene zacetne vrednosti defor-
macijskih parametrov. S pomocjo ocenitvene funkcije oceni razliko med slikama, nato
pa s pomocjo optimizacije v trenutni iteraciji izracuna nove vrednosti deformacijskih
parametrov. S pomocjo teh vrednosti nato izracuna novo deformacijsko funkcijo (v
nasem primeru polje premikov), s katero ponovno deformira testno sliko. Postopek
konvergira proti minimumu in je koncan, ko je razlika vrednosti ocenitvene funkcije
med sosednjima iteracijama manjsa od ε, ki je doloceno eksperimentalno.
Potek algoritma lahko na enostaven nacin predstavimo s pomocjo psevdokoda na
sliki 16.
Algoritem za elasticno poravnavanje s pomocjo pegastega suma 37
Slika 15: Potek algoritma za elasticno poravnavo ultrazvocnih posnetkov.
Algoritem za elasticno poravnavanje s pomocjo pegastega suma 38
procedure PoravnavanjeSlik(Ir,It,hx,hy);
{Vhod:}{Ir ... referencna slika}{It ... testna slika}{hx, hy ... razdalji med vozlisci}{Izhod:}{I ... poravnana testna slika}{Ostale uporabljene spremenljivke:}{Cx, Cy ... polji deformacijskih parametrov}{b ... polje interpolacijskih koeficientov interpolirane testne slike}{U ... polje premikov}{λ ... vrednost ocenitvene funkcije}{dCx, dCy ... polji z izracunanim gradientom ocenitvene funkcije}{k ... korak iteracije}{ε ... pogoj za konec optimizacijskega algoritma}
normalizacija(&Ir, &It);
inicializacija(&Cx, &Cy);
b = interpolacijaKubicniBzlepki(It);
while |λk+1 - λk| ≥ ε doλ = ovrednotiOcenitvenoFunkcijoE(Cx, Cy, Ir, It, b, hx, hy);
[dCx, dCy] = izracunajGradientE(Cx, Cy, Ir, It, b, hx, hy);
modificirajVrednostiDeformacijskihParametrov(&Cx, &Cy, λ, dCx,
dCy);
U = izracunPoljaPremikov(Cx, Cy, hx, hy);
deformirajTestnoSliko(Cx, Cy, b, U, hx, hy);
end whileU = izracunPoljaPremikov(Cx, Cy, hx, hy);
I = izracunPoravnaneTestneSlike(b, U);
return I;
Slika 16: Psevdokod algoritma za elasticno poravnavanje slik. Zanka while predstavljadelovanje optimizacijskega algoritma L-BFGS-B.
Algoritem za elasticno poravnavanje s pomocjo pegastega suma 39
5.6 Izvedba algoritma
Algoritem za poravnavanje ultrazvocnih posnetkov je napisan v matlabu. Napisan je v
matlabovem skriptnem jeziku (v nadaljevanju ga bomo poimenovali kar skript) z ime-
nom ImageRegistration, s pomocjo katere algoritem v okolju matlab tudi zaganjamo.
Na sliki 17 je prikazana struktura za izvedbo algoritma.
Slika 17: Struktura za izvedbo algoritma za elasticno poravnavanje ultrazvocnih po-snetkov.
Skript cbanal uporabljamo za izracun interpolacijskih koeficientov testne slike.
Najpomembnejsi del algoritma pa predstavlja skript L-BFGS-B, s pomocjo katerega
zazenemo optimizacijski algoritem L-BFGS-B (podpoglavje 4.2, [22]). Klic tega algo-
ritma si, predvsem zaradi uporabljenih parametrov, velja ogledati podrobneje:
[cx cy] = L-BFGS-B({cx cy}, {spm spm}, {zgm zgm},...
’ObjectiveFunc’, ’GradientFunc’, auxdata, ’genericcallback’,...
’maxiter’,300,’m’,15,’factr’,1e-5,’pgtol’,1e-5);
Izhod iz tega klica pomenita polji deformacijskih parametrov, s pomocjo katerega
dobimo deformacijsko funkcijo, s katero deformiramo testno sliko, tako da dobimo
poravnano testno sliko. Optimizacijskemu algoritmu posljemo zacetne vrednosti de-
formacijskih parametrov, ki so postavljene na nic. Polji spm in zgm pomenita interval
iskalnega prostora za posamezne deformacijske parametre. V nasem primeru smo vre-
dnosti spodnjih mej postavili na -Inf, vrednosti zgornjih mej pa na Inf, saj se je ob
Algoritem za elasticno poravnavanje s pomocjo pegastega suma 40
poravnavanju razlicnih ultrazvocnih posnetkov izkazalo, da se vrednosti deformacijskih
parametrov pri razlicnih parih slik spreminjajo povsem razlicno in tako ne moremo
napovedati, v katero obmocje bodo padle posamezne vrednosti teh parametrov. S tako
postavitvijo mej puscamo odprt cel iskalni prostor, s tem pa zagotovimo robustnost
algoritma in maksimiziramo verjetnost, da bo algoritem nasel najboljso resitev. Po-
dali smo tudi maksimalno dopustno stevilo iteracij, ki znasa 300. Parameter m smo
glede na nasvete avtorjev algoritma [21] nastavili na 15, vendar spreminjanje te vre-
dnosti ni prineslo nobenih sprememb pri casu izvajanja algoritma, kakor tudi ne pri
rezultatu poravnavanja. Zadnja dva parametra pomenita natancnost. Dolocili smo ju
povsem eksperimentalno, in sicer smo ju spreminjali pri poravnavanju vecjega stevila
ultrazvocnih posnetkov. Vrednosti sta se izkazali kot najboljsi, ki sta zato tudi stalno
izbrani in uporabnik nanju nima vpliva.
Vemo, da se programska koda, zapisana v matlabu, interpretira. Posledica tega je
strahovito pocasno izvajanje obcutljivih delov programske kode, med katere spadata
izracun ocenitvene funkcije ter gradienta ocenitvene funkcije. Te odseke kode smo
odkrili s pomocjo matlabovega profilirnika. Zanje smo uporabili MEX [23]. MEX je
kratica za Matlab Executable in predstavlja orodje, s pomocjo katerega lahko funkcije,
zapisane v nekem drugem programskem jeziku, povezemo z matlabom. V nasem pri-
meru smo uporabili programski jezik C. S pomocjo programskega jezika C smo tako
napisali tezke dele kode, nato pa jih prevedli s pomocjo orodja MEX in prevajalnika za
programski jezik C (GCC). Na tak nacin prevedeno funkcijo, ki je napisana v program-
skem jeziku C, lahko nato enostavno klicemo iz matlaba. Rezultat je opazno hitrejse
izvajanje algoritma. Cas racunanja se je tako zmanjsal tudi za faktor 5 in celo vec
(odvisno od tezavnosti problema).
6 Rezultati
Glavni cilj te diplomske naloge je bil zgraditi postopek za elasticno poravnavo ul-
trazvocnih posnetkov. Rekli smo, da je naloga tega postopka odkrivanje lokalnih spre-
memb na opazovanih posnetkih. S poskusi smo se zeleli prepricati, ali razviti pristop
deluje pravilno, v kaksni meri se izkaze za uspesnega in robustnega, predvsem pa smo
se zeleli prepricati, ali je razviti pristop primeren za ugotavljanje lokalnih sprememb
na opazovanih ultrazvocnih posnetkih. V tem poglavju bomo najprej razlozili potek
preizkusanja algoritma, na kaksen nacin bomo ocenjevali rezultate ter na kaksen nacin
jih bomo predstavili. V nadaljevanju pa sledi prikaz rezultatov, ki smo jih dobili pri
stevilnih poskusih poravnavanja ultrazvocnih posnetkov z razlicnimi znacilnostmi.
6.1 Potek preizkusanja
Algoritem za elasticno poravnavanje smo v glavnem preverjali z ultrazvocnimi posnetki,
ki prikazujejo jajcnike (podpoglavje 2.6). Pri poravnavi teh posnetkov smo hoteli
zaznati spremembe (deformacije) jajcnih mesickov, za katere je na podlagi opazovanja
vec posnetkov ocitno, da so zelo lokalne, kar se izkaze kot zelo primerna situacija za
preverjanje in ocenjevanje delovanja algoritma za poravnavanje. V nasem primeru
smo zaznavali spremembe mesickov na sosednjih rezinah istega volumna (3D posnetka
jajcnika). Te rezine predstavljajo sivinske slike locljivosti 150 x 120 pikslov. Razmik
med opazovanima rezinama znotraj volumna smo eksperimentalno spreminjali in tako
spremljali odziv ter uspesnost algoritma pri poravnavanju izbranih dveh slik.
6.2 Ocenjevanje uspesnosti poravnavanja
Po vsakem poravnavanju posnetkov moramo rezultat poravnavanja na neki nacin oce-
niti. Za ocenitev uspesnosti poravnavanja smo dolocili mero, katero izpeljemo iz po-
dobnosti slik, ki ju primerjamo. Kot vemo, mora biti deformirana testna slika cim
bolj podobna referencni sliki. Zato lahko trdimo, da podobnost oziroma razliko med
opazovanima slikama pomeni kar rezultat ocenitvene funkcije in jo dobimo kot:
µE = E(fr, fωt ), (35)
kjer fr predstavlja referencno sliko, fωt pa poravnano testno sliko. Cim manjsa je
razlika med slikama, tem manjsi je tudi rezultat ocenitvene funkcije. Dolocili smo tudi
minimalno mozno vrednost te funkcije, katero predstavlja konstanta, ki smo jo oznacili
z µmin. To konstanto smo dolocili s pomocjo razlike med dvema popolnoma enakima
41
Rezultati 42
slikama, in sicer:
µmin = E(I, I), (36)
kjer je I poljubna slika. Vrednost µmin je enaka, ne glede na to, kaksno sliko I posre-
dujemo ocenitveni funkciji E in na 10 decimalk natancno znasa µmin = 0, 6931471806.
Taksna natancnost je potrebna zaradi izracuna posebnega koeficienta, ki ga bomo po-
imenovali koeficient podobnosti. Koeficient podobnosti ima namrec zelo ozek interval
zaloge vrednosti funkcije, s pomocjo katere ga izracunamo. Izracunamo ga na naslednji
nacin:
µ =µmin
µE
, (37)
kjer je µ koeficient podobnosti, privzet kot referencna vrednost pri oceni razlike med
slikama. Njegova maksimalna vrednost je 1. To pomeni, da sta sliki popolnoma enaki.
Pri tem je treba poudariti, da moramo dobljeno vrednost koeficienta µ opazovati vsaj
na 4 decimalke natancno, saj so razlike koeficienta pri relativno podobnih slikah zelo
majhne.
Kljub vsemu se izkaze, da taka numericna ocenitev ni zadostno zagotovilo, da bomo
s poravnanimi slikami kljub dobri numericni oceni zadovljni. Zato je treba upostevati
se subjektivno vizualno oceno; torej moramo z vizualnim primerjanjem dveh slik ugoto-
viti, ali je poravnava bila uspesna. Na enak nacin smo ocenjevali razliko med slikama
pred vsakim zagonom algoritma. S tem smo lazje ocenili uspesnost ter robustnost
algoritma.
6.3 Vpliv izbire parametrov
Algoritmu za poravnavanje posredujemo tudi parameter h, ki pomeni razdaljo med vo-
zlisci na mrezi v polju deformacijskih parametrov. Od te mreze je odvisna natancnost
poravnave. Cim gostejsa je mreza, tem finejsa je poravnava in obratno. Pri tem mo-
ramo upostevati, da finejsa mreza potrebuje vec iteracij algoritma, da najde optimalno
resitev. Zato moramo parameter h izbrati tako, da bomo dosegli najboljso ucinkovitost
(sprejemljivo poravnavo v cim krajsem casu). Za povsem ucinkovito poravnavo mo-
ramo omenjeni parameter izbrati tako, da bomo z mrezo pokrili vse spremembe med
obema slikama. Vpliv in ucinkovitost izbire parametra h bomo opisali za vsak poskus
poravnave posebej.
Poudariti je treba, da navedemo parameter h posebej za smer x ter smer y, zato smo
ga zapisali kot vektor. S tem lahko dolocimo razlicno vodoravno in navpicno natancnost
mreze, s katero pokrijemo sliko. To je uporabno za posnetke, kjer je locljivost sprememb
na sliki v eni smeri manjsa od druge, zato lahko v tej smeri vozlisca postavimo redkeje,
kar nam prinese lep prihranek casa pri poravnavanju. Vendar smo v sklopu nasih
Rezultati 43
poskusov obravnavali zgolj posnetke, pri katerih so deformacije enakomerne po celi
povrsini, zato smo uporabljali uniformno mrezo, kjer je hx = hy. Zato v nadaljevanju
parametra h ne bomo vec zapisovali kot vektor. Ce bo na primer zapisano h = 8, to
pomeni, da je hx = hy = 8.
6.4 Prikaz rezultatov poravnavanja
Rekli smo, da bomo uspesnost vsakega poskusa poravnave ovrednotili na dva nacina.
Prikaz numericne ocene ni problematicen, saj za oceno ucinkovitosti poravnavanja
uporabimo koeficient podobnosti, cas, ki ga je algoritem porabil, da je nasel optimalno
poravnavo, in stevilo iteracij optimizacijskega algoritma.
Slika 18: Mreza (deformacijsko polje), s pomocjo katere prikazemo deformacije naporavnani sliki. Na levi strani je prikazana izvorna, nedeformirana mreza, na desni pamreza, deformirana s pomocjo deformacijske funkcije.
Glede na to, da numericna ocena poravnanosti obicajno ni zadostna, je treba po-
dati tudi vizualno oceno. Za vsak poskus poravnavanja bomo tako prikazali referencno,
testno ter poravnano testno sliko. S temi tremi posnetki je rezultat poravnavanja ze
dobro viden, vendar zelimo opazovati tudi spremembe, ki so nastale na primerjanih sli-
kah. To pa iz taksnega prikaza ni razvidno. Za prikaz deformacij na slikah uporabimo
sliko navadne mreze (crne ekvidistancne vzporednice v vodoravni in navpicni smeri).
Mrezo prikazuje slika 18 (levo). To sliko mreze po opravljenem poravnavanju slik defor-
miramo s pomocjo deformacijske funkcije, ki smo jo dobili kot rezultat poravnavanja.
Na tako deformirani sliki so jasno razvidne sile, ki so delovale na testno sliko. Te sile
pa opisujejo spremembe, ki so nastale na testni sliki v primerjavi z referencno. Mrezo
opisuje deformacijsko polje, zato bomo ta izraz uporabljali tudi v nadaljevanju pri pri-
kazovanju rezultatov. Primer deformirane mreze (deformacijskega polja) je prikazan
na sliki 18 (desno).
Rezultati 44
6.5 Konfiguracija racunalniskega sistema
Preden se preselimo k rezultatom poskusov poravnavanja, moramo predstaviti se racu-
nalniski sistem, s pomocjo katerega smo izvajali poskuse. Algoritem za elasticno po-
ravnavanje ultrazvocnih posnetkov je tekel na racunalniku z enojedrnim procesorjem
AMD Athlon 3500+ s 3 GB pomnilnika. Na tem racunalniku tece operacijski sistem
Ubuntu Linux verzije 8.04. Algoritem poganjamo znotraj matlaba za unix, v okviru
katerega je bil algoritem tudi realiziran.
Rezultati 45
6.6 Poravnavanje enostavnih geometrijskih likov
Kljub temu, da je nas algoritem namenjen za poravnavanje ultrazvocnih posnetkov, smo
najprej z velikim zanimanjem skusali poravnati slike, na katerih so prikazani enostavni
geometrijski liki. Glede na trditev, da bo algoritem najbolje deloval pri poravnavi
posnetkov z lokalnimi spremembami, smo izbrali temu primerna lika. Tako smo za
poravnavanje izbrali sliko, na kateri je prikazan krog, in sliko, na kateri je prikazana
sesterokraka zvezda. Sliki imata enak premer in sta dimenzije 80 x 80 pikslov.
Ir It
h = 30
h = 20
h = 10
Slika 19: Poravnava zvezde s krogom pri parametrih h = 30, h = 20 in h = 10.
Rezultati 46
Najprej smo poskusali zvezdo poravnati s krogom. Sliki omenjenih likov sta pri-
kazani na sliki 19. Pred zagonom algoritma smo pricakovali, da se bodo vboceni koti
zvezde izbocili tako, da bodo zapolnili vbocen beli prostor. Rezultat poravnavanja je
za razlicne izbire parametra h prikazan na sliki 19.
V prvi vrstici slike 19 je na levi strani prikazana referencna slika (krog), na desni
pa testna slika (zvezda). Nato sledijo tri vrstice. V vsaki vrstici je prikazan rezultat
poravnavanja pri razlicnih vrednostih parametra h. V drugi vrstici je tako prikazan
rezultat poravnavanja pri h = 30. Preko slik smo s to vrednostjo namrec polozili zelo
grobo mrezo in algoritem je tako zelo hitro opravil svojo nalogo, rezultat pa, kot vidimo
na sliki, ni nic kaj blizu pricakovanega. Pri izbiri parametra h = 20 pa vidimo, da je
oblika poravnave slike ze veliko blize krogu. V zadnjem poskusu, pri parametru h = 10,
pa vidimo, da je poravnana slika popolnoma enaka kot referencna. Po opazovanju
deformacijskega polja zadnjega poskusa lahko trdimo, da so nasa pricakovanja glede
elasticnega zapolnjevanja belega prostora v okolici zvezde izpolnjena.
h Stevilo iteracij Cas izvajanja [s] µ
30 39 60 0,978720 54 120 0,992710 14 160 0,9994
Preglednica 2: Rezultati meritev pri poravnavanju zvezde s krogom.
V preglednici 2 smo zbrali numericne rezultate meritev ob izvajanju algoritma, s
katerim smo poravnavali zvezdo s krogom. Prisli smo do ugotovitve, da stevilo itera-
cij optimizacijskega algoritma ni odvisno od tega, kako podrobno gremo v resevanje
problema, ampak od delovanja samega optimizacijskega algoritma. Opazimo tudi, da
je za zadnjo resitev poravnavanja, ki smo jo tudi sprejeli kot ugodno resitev, algori-
tem porabil 160 sekund. Sicer pa tudi koeficient podobnosti µ potrjuje, da je resitev
sprejemljiva, saj je njegova vrednost zelo blizu 1.
Izvedli smo se en poskus poravnavanja posnetkov enostavnih likov, pri cemer pa
smo vlogi referencne in testne slike zamenjali. Tako referencno sliko sedaj predstavlja
zvezda, testno sliko pa krog. Rezultat je prikazan na sliki 20. Ocitno je, da je obratna
poravnava veliko tezavnejsa, kot smo pricakovali. Ta sklep potrjujejo tudi numericni
rezultati meritev, ki so zbrani v preglednici 3.
Vidimo, da v tem primeru poravnavanje pri vrednosti parametra h = 10 ne da
dovolj dobre resitve. Problem namrec povzrocajo konice zvezde, ki jih zelimo doseci.
Konica je namrec predstavljena z majhnim stevilom pikslov, kar pomeni, da mora biti
mreza deformacijskih parametrov tako natancna, da lahko deformacijske sile izobliku-
jejo konico. Kljub izbiri parametra h = 5 pa vidimo, da so konice zvezde se vedno tope,
Rezultati 47
Ir It
h = 30
h = 20
h = 10
h = 5
Slika 20: Poravnava kroga z zvezdo pri parametrih h = 30, h = 20, h = 10 in h = 5.
vendar smo s tako resitvijo zadovoljni. Vsako nadaljnje manjsanje vrednosti parametra
h bi povzrocilo dolgo racunanje, saj je ze pri trenutni najboljsi resitvi trajalo kar 20
Rezultati 48
h Stevilo iteracij Cas izvajanja [s] µ
30 15 20 0,961320 34 80 0,982510 41 450 0,99655 33 1200 0,9983
Preglednica 3: Rezultati meritev pri poravnavanju kroga z zvezdo.
minut. Rezultat poravnave pri h = 5 je pa tako dovolj blizu optimalni resitvi, kar
potrjuje tudi vrednost koeficienta podobnosti. Kasneje bomo ugotovili, da ima kljub
vsemu ta algoritem veliko rezerve glede natancnosti poravnavanja, saj tako natancnih
sprememb v splosnem pri ultrazvocnih posnetkih ni treba zaznavati.
6.7 Potrjevanje algoritma
Preden predstavimo rezultate pri poravnavanju ultrazvocnih posnetkov, bomo algori-
tem validirali. Z validacijo bomo dokazali pravilno delovanje algoritma. Pri validaciji
gre v nasem primeru za postopek, pri katerem moramo izbrano sliko najprej deformi-
rati z neko poljubno izbrano deformacijsko funkcijo. To sliko oznacimo kot testno sliko.
Zatem skusamo poravnati z nedeformirano izvorno sliko, ki jo oznacimo za referencno.
S poravnavo testne in referencne slike smo v bistvu prisli do deformacijske funkcije.
V naslednji fazi skusamo deformirano testno sliko ponovno poravnati s prvotno testno
sliko. V kolikor algoritem deluje pravilno, bi rezultat te poravnave morala biti slika,
ki je identicna prvotni testni sliki. Rezultat validacije je prikazan na sliki 21. V prvi
vrstici na levi strani slike je predstavljena zacetna testna slika, na desni pa referencna
slika, s pomocjo katere smo dobili deformacijsko funkcijo. V drugi vrstici je na levi pri-
kazana deformirana testna slika, njeno pripadajoce deformacijsko polje pa je prikazano
na desni. Rezultat ponovnega poravnavanja z izvorno testno sliko je prikazan na levi
sliki v tretji vrstici, na njeni desni pa njeno pripadajoce deformacijsko polje.
Za potrditev pravilnosti delovanja algoritma morata biti izpolnjena dva pogoja.
Prvi pogoj je, da morata biti izvorna testna slika (slika 21, prva vrstica, levo) ter nova,
nazadnje poravnana testna slika (slika 21, tretja vrstica, levo) popolnoma enaki. Drugi
pogoj pa je, da so si istolezni koeficienti polj premikov, dobljenih pri obeh poravnavah,
nasprotni. Oznacimo prvo polje premikov z u1(x), drugo pa z u2(x). Ce algoritem
deluje pravilno, mora veljati naslednje:
u1(x) + u2(x) = 0, (38)
kjer 0 predstavlja nicelno matriko, ki je enakih dimenzij, kot sta u1(x) in u2(x). Zaradi
Rezultati 49
Slika 21: Rezultat potrjevanja algoritma za elasticno poravnavanje ultrazvocnih po-snetkov. V prvi vrstici sta prikazani zacetna testna slika in referencna slika, s pomocjokatere dobimo deformacijsko funkcijo. V drugi vrstici je prikazana deformirana testnaslika in njeno deformacijsko polje, v tretji vrstici pa je prikazan rezultat ponovnegaporavnavanja z izvorno testno sliko s pripadajocim deformacijskim poljem.
lazje predstave smo polji premikov prikazali kot deformacijsko polje na sliki 21. Na
deformacijskem polju (slika 21, druga in tretja vrstica, desno) mora biti razvidno, da
sile delujejo ravno v nasprotnih smereh. Delovanje sil v nasprotnih smereh je na sliki
lepo razvidno s pomocjo mreze; vbocenost krivulje na eni sliki je enaka izbocenosti
krivulje na isti lokaciji na drugi sliki in obratno.
Sedaj moramo ugotoviti, ali sile na prikazanem primeru res delujejo nasprotno. Ob
primerjavi obeh deformacijskih polj smo preverili tudi, ali smo kot rezultat enacbe (38)
Rezultati 50
res dobili nicelno matriko. Ce dobro opazujemo sliki obeh deformacijskih polj, vidimo,
da sliki po primerjavi nista popolnoma taki, kot bi pricakovali. Tak je primer vrtinca na
prvem deformacijskem polju, ki ga na drugem ni. Rezultat enacbe (38) pa je matrika,
ki je zelo blizu nicelne matrike, vseeno pa je kar nekaj elementov te matrike razlicnih
od nic (tudi na prej opisanem obmocju vrtinca).
Tudi sliki, ki ju primerjamo, nista popolnoma enaki. Prvi vzrok je v izbiri referencne
in testne slike, ki imata na nekaj obmocjih dolocene znacilnosti, ki se ne nahajajo na
obeh slikah (recimo jajcni mesicki, ki se nahajajo samo na eni sliki). Rezultat take
poravnave je deformacijska funkcija, ki dolocene dele poravnane slike nekoliko popaci.
Ta napaka ostane, zato so tudi pri ponovni poravnavi z izvorno testno sliko vidne
dolocene manjse razlike. Drugi vzrok pa tici v izbiri parametra h, ki je v nasem primeru
enak h = 8. Kot bomo videli kasneje, se ta vrednost namrec izkaze kot optimalna
za poravnavanje nasega tipa ultrazvocnih posnetkov. Poravnavanje s to vrednostjo
parametra h namrec spregleda manjse spremembe, zaradi cesar so na posnetkih in
deformacijskih poljih opazne tudi manjse razlike.
Vendar lahko ob upostevanju teh lastnosti recemo, da smo potrdili pravilno delova-
nje algoritma. Vidimo, da sta opazovani testni sliki kljub vsem prej nastetim stranskim
dejavnikom namrec prakticno enaki. Povejmo se, da smo validacijo opravili tudi z po-
dobnimi posnetki manjsih dimenzij pri izbiri parametra h = 1. Pridobljeni rezultati so
potrdili delovanje algoritma. Vendar smo v okviru te diplomske naloge raje prikazali
validacijo s primeri ultrazvocnih posnetkov, kakrsni nastopajo v realnih situacijah. Na
tak nacin smo na najprimernejsi nacin pokazali, da algoritem res deluje.
6.8 Poravnavanje lokalno spremenjenih ultrazvocnih posnet-
kov
Po opravljeni validaciji algoritma za elasticno poravnavanje pa se selimo k poskusom
poravnavanja ultrazvocnih posnetkov, kakrsni se pojavljajo v realnosti. Najprej smo se
lotili situacije, za katero smo predvidevali, da je nas algoritem najprimernejsi, hkrati pa
je tudi najpogostejsa pri nasem tipu posnetkov. Govorimo o poravnavanju ultrazvocnih
posnetkov, med katerimi nastopajo lokalne spremembe.
Za zacetek smo se lotili poravnavanja manjsega izseka ultrazvocnega posnetka di-
menzije 50 x 50 pikslov. Na obeh slikah so prikazani trije jajcni mesicki z manjsimi
lokalnimi spremembami. Omenjeni sliki smo poravnavali dvakrat. Prvic z vrednostjo
parametra h = 10, drugic pa z vrednostjo parametra h = 5. Rezultat je prikazan na
sliki 22.
V prvi vrstici na sliki 22 sta prikazani referencna na levi in testna slika na desni.
Druga vrstica prikazuje rezultat poravnavanja pri izbiri parametra h = 10, tretja vrstica
Rezultati 51
Ir It
h = 10
h = 5
Slika 22: Poravnavanje manjsega izseka iz ultrazvocnega posnetka (50 x 50 pikslov). Vprvi vrstici je na levi prikazana referencna slika in na desni testna slika. V drugi vrsticije prikazan rezultat poravnavanja pri izbiri parametra h = 10, v tretji vrstici pa prih = 5.
pa rezultat poravnavanja pri h = 5. Sedaj poglejmo se numericne rezultate meritve
poravnavanja, ki so prikazane v preglednici 4.
h Stevilo iteracij Cas izvajanja [s] µ
10 20 20 0,99405 19 60 0,9960
Preglednica 4: Rezultati meritev pri poravnavanju izseka iz ultrazvocnega posnetka.
Pri pregledu rezultatov takoj opazimo, da je poravnavanje manjsih posnetkov uspesno
tudi pri gosteje postavljeni mrezi deformacijskih parametrov h = 10, pri vrednosti pa-
rametra h = 5 pa je rezultat se boljsi. Nase ugotovitve sta potrdila tudi koeficienta
podobnosti, ki sta bila ze pri prvem poskusu poravnavanja zelo blizu 1, pri drugem pa
sta bila se blizje.
V naslednjem koraku smo poskusili poravnati ultrazvocna posnetka, ki predstavljata
rezini ultrazvocnega volumna, razmik med njima pa znasa dve rezini. Na teh dveh
Rezultati 52
posnetkih so lepo vidne enakomerno porazdeljene blage lokalne spremembe. Sklepali
smo, da bo to idealen primer za poravnavo s pomocjo nasega algoritma za elasticno
poravnavanje. Omenjena posnetka in rezultat poravnavanja pri razlicnih parametrih h
so prikazani na sliki 23.
Na levi strani prve vrstice je prikazana referencna, na desni pa testna slika. Prika-
zani sliki smo poravnavali z izbiro treh razlicnih vrednosti parametra h. Na sliki 23 je
v drugi vrstici prikazan rezultat poravnavanja pri vrednosti parametra h = 32, v tretji
vrstici pri h = 16, v cetrti pa pri h = 8. Numericni rezultati meritev so prikazani v
preglednici 5.
h Stevilo iteracij Cas izvajanja [s] µ
32 10 120 0,99122916 8 400 0,9928488 12 2160 0,994764
Preglednica 5: Rezultati meritev pri poravnavanju ultrazvocnih posnetkov z blagimilokalnimi spremembami.
Po natancnem opazovanju referencne in poravnane testne slike lahko trdimo, da je
rezultat poravnavanja bil uspesen, in sicer pri izbiri parametra h = 8. Vidimo, da so se
jajcni mesicki lepo pokrili in da so na deformacijskem polju lepo in pravilno prikazane
lokalne deformacije. Ponovno se je izkazalo, da je za dobro poravnavo treba pametno
izbrati parameter h. V tem primeru se izkaze, da je izbira h = 8 najprimernejsa in da
je tako mreza deformacijskih parametrov dovolj fina, da pokrije vse glavne spremembe.
Opazijo se sicer se dolocene manjse razlike med opazovanima posnetkoma, vendar te
razlike ne ovirajo odkrivanja ustreznih lokalnih sprememb jajcnih mesickov. Tudi ko-
eficient podobnosti je dovolj blizu 1, kar potrjuje podobnost opazovanih slik. Vidimo
pa, da se je cas racunanja pri zmanjsevanju parametra h skokovito povecal. Vsako
nadaljnje zmanjsevanje parametra h bi bilo nesmiselno, saj bi to vodilo v povecanje
casa racunanja, rezultat poravnavanja pa zagotovo ne bi bil veliko boljsi, saj sta opa-
zovana posnetka prakticno enaka, kar pomeni, da je izbira parametra h = 8 dala dober
rezultat.
V naslednjem poskusu smo poravnavali ultrazvocna posnetka, ki imata zanimive
znacilnosti (slika 24). Na posnetku je namrec vecje stevilo jajcnih mesickov, ki so zelo
blizu skupaj. Za neketare izmed njih je znacilno, da se manjsajo, drugi se pa vecajo,
hkrati pa je opazno, da so mesicki, ki se povecujejo oziroma zmanjsujejo, na omenjenih
posnetkih celo sosednji. Zaradi takih lastnosti smo sklepali, da bo poravnavanje teh
posnetkov tezavnejse, hkrati pa se bo izkazalo, ali je nas algoritem dovolj ucinkovit, da
uspe poravnati posnetke z omenjenimi lastnostmi.
Rezultati 53
Ir It
h = 32
h = 16
h = 8
Slika 23: Rezultat poravnavanja ultrazvocnih posnetkov z blagimi lokalnimi spremem-bami. V prvi vrstici sta prikazani referencna in testna slika, v drugi vrstici rezultatporavnavanja pri parametru h = 32, v tretji vrstici pri h = 16 in v cetrti vrstici prih = 8.
Rezultati 54
Ir It
h = 16
h = 8
Slika 24: Rezultat poravnavanja ultrazvocnih posnetkov z raznolikimi lokalnimi spre-membami jajcnih mesickov. V prvi vrstici sta prikazani referencna in testna slika, vdrugi vrstici je prikazan rezultat poravnavanja pri izbiri parametra h = 16, v drugi papri h = 8.
V prvi vrstici slike 24 je na levi prikazana referencna slika, na desni pa testna
slika. Omenjeni par posnetkov smo poravnavali pri vrednosti parametra h = 16 in
h = 8. V drugi vrstici slike 24 vidimo, da je ze uporaba gostejse mreze deformacijskih
parametrov dala zelo dober rezultat, saj se na deformacijski mrezi lepo vidijo smeri
Rezultati 55
rasti oziroma krcenja mesickov. Ce pa pogledamo tretjo vrstico slike 24, lahko brez
zadrzkov trdimo, da rezultat poravnavanja omenjenih posnetkov skoraj ne bi mogel
biti boljsi. Referencna in poravnana testna slika sta skoraj enaki, jajcni mesicki so
prakticno popolnoma poravnani, po drugi strani pa je dosezen tudi nas cilj ugotoviti
smeri sprememb, ki so lepo vidne na deformacijski mrezi. V preglednici 6 si oglejmo
se rezultate meritev.
h Stevilo iteracij Cas izvajanja [s] µ
16 14 590 0,9923408 14 2500 0,994142
Preglednica 6: Rezultati meritev pri poravnavanju ultrazvocnih posnetkov z raznolikimilokalnimi spremembami.
Ce dobljene rezultate primerjamo s predhodnim poskusom, lahko opazimo, da je
algoritem za poravnavanje pri tem poskusu porabil nekoliko vec casa, kar potrjuje
dejstvo, da gre za nekoliko tezji primer. Kljub temu pa se izkaze, da so koeficienti
podobnosti v tem primeru celo boljsi. Tako lahko recemo, da je algoritem za poravna-
vanje zelo uspesen tudi pri posnetkih z lastnostmi, ki smo jih predstavili pri trenutnem
poskusu.
Odziv algoritma pri medsebojno bolj oddaljenih rezinah ultrazvocnega vo-
lumna
Pri tem poskusu nas je zanimal odziv algoritma pri poravnavanju rezin, ki v ul-
trazvocnem volumnu niso sosednje. Za sosednje rezine volumna so namrec znacilne
manjse lokalne spremembe, ki pa se ob povecevanju razmika med rezinami vecajo.
Zanimalo nas je, kako se bo ob takem spreminjanju razmika odzval nas algoritem za
poravnavanje. Pri tem moramo poudariti, da nas na tem mestu ne zanima sam re-
zultat poravnavanja. Poskuse poravnavanja rezin, ki so zelo blizu skupaj ali pa zelo
dalec narazen, bomo namrec obravnavali posebej v podpoglavjih 6.9 in 6.10. V tem
primeru bomo v bistvu ocenjevali zmogljivost algoritma pri poravnavanju posnetkov,
dobljenih s pomocjo razlicnih razmikov med rezinami znotraj ultrazvocnega volumna.
Cim manjsi je razmik med rezinami volumna, tem bolj so si posnetki podobni in obra-
tno. Sklepali smo, da bo algoritem za poravnavanje podobnih posnetkov porabil manj,
za poravnavanje razlicnih posnetkov pa vec casa. Zato nas je v tem primeru zanimalo
predvsem casovno trajanje algoritma.
Opravili smo pet poskusov poravnavanja. Referencna slika je bila v vseh petih
poskusih enaka. Parameter h je bil pri vseh poskusih postavljen na 8.
Rezultati 56
Razmik med rezinami Stevilo iteracij Cas izvajanja [s] µ
1 3 990 0,9971302 4 1010 0,9949463 7 1470 0,9944505 9 1800 0,9937758 7 1420 0,98965310 15 3080 0,991323
Preglednica 7: Rezultati meritev pri poravnavanju ultrazvocnih posnetkov, dobljenihs spreminjanjem razmika med rezinami ultrazvocnega volumna.
V preglednici 7 so prikazani rezultati meritev pri poravnavanju ultrazvocnih po-
snetkov, ki smo jih dobili s pomocjo spreminjanja razmika med dvema rezinama ul-
trazvocnega volumna. Za lazjo predstavo so rezultati meritev prikazani tudi na dveh
grafih, ki ju kaze slika 25.
1 2 3 4 5 6 7 8 9 10500
1000
1500
2000
2500
3000
3500
Cas
por
avna
vanj
a re
zin
[s]
Razmik med rezinama1 2 3 4 5 6 7 8 9 10
0.989
0.99
0.991
0.992
0.993
0.994
0.995
0.996
0.997
0.998
0.999
Koe
ficie
nt p
odob
nost
i µ
Razmik med rezinama
Slika 25: Grafa, ki prikazujeta cas poravnavanja (levo) in koeficient podobnosti priporavnavanju (desno) v odvisnosti od razmika med rezinama ultrazvocnega volumna.
Ce pogledamo levi graf na sliki 25, vidimo, da se z vecanjem razmika med rezinama
cas, ki ga algoritem porabi za poravnavanje, povecuje. To dejstvo tako potrjuje nasa
pricakovanja in je posledica tega, da so si rezine z vecjo medsebojno razdaljo manj
podobne, torej imajo vecje stevilo lokalnih sprememb, kar pomeni, da bo algoritem po-
rabil vec casa, da bo nasel ustrezno deformacijsko funkcijo. Po drugi strani pa lahko na
desnem grafu opazimo, da koeficient podobnosti ob povecevanju razmika med opazova-
nima rezinama pada. Tudi to je posledica povecevanja lokalnih sprememb pri vecanju
razmika med rezinama. Vendar lahko potrdimo, da so vrednosti na desnem grafu, ki
prikazuje koeficiente podobnosti, dovolj blizu 1, kar potrjuje uspesnost poravnavanja v
vseh prikazanih primerih. Za razumevanje prikazanih rezultatov je dovolj, ce predsta-
vimo samo deformacijska polja poravnavanj pri posameznih razmikih med rezinama.
Rezultati 57
Ta so prikazana na sliki 26.
(a) d = 1 (b) d = 2 (c) d = 3
(d) d = 5 (e) d = 8 (f) d = 10
Slika 26: Deformacijska polja, dobljena kot rezultat poravnavanja rezin ultrazvocnegavolumna z razlicnimi razmiki. Parameter d predstavlja razmik med opazovanima rezi-nama.
Motena obmocja na poravnanih slikah
Opazimo lahko, da se na nekaterih delih poravnanega ultrazvocnega posnetka poja-
vljajo nenavadna motena obmocja. Ta motena obmocja lahko nastanejo iz vec razlo-
gov. Lahko nastanejo takrat, ko deformacijska funkcija skusa zelo majhna obmocja na
sliki raztegniti v velika obmocja. Na ultrazvocnih posnetkih jajcnikov se to zgodi v
situaciji, ko je na referencni sliki prikazan vecji mesicek, na testni sliki pa je ta zelo
majhen ali pa ga sploh ni. Takrat deformacijska funkcija skusa majhno crno (ali celo
sivo obmocje) na testni sliki raztegniti preko celotnega mesicka na referencni sliki, kar
se odraza kot zamegljen predel tistega obmocja slike. Velja pa tudi obratno, ko defor-
macijska funkcija zeli skriti mesicek na testni sliki, ki ga na referencni sliki ni. Primer
te situacije je prikazan na sliki 27. Na tej sliki je v sredini obmocje, ki je obkrozeno z
rdeco kroznico. Vidimo, da poravnava pri izbranem parametru h ni uspela popolnoma
zakriti mesicka, okoli tega mesicka pa se lepo vidi posledica deformacijskih sil, ki so
delovale v tem obmocju.
Na podoben nacin pride do pojava podobnih obmocij tudi pri zelo tezkih deformaci-
jah (vrtinci). To se bo najbolj opazilo pri poskusu poravnavanja zasukanih posnetkov,
Rezultati 58
Slika 27: Prikaz skrivanja mesicka pri poravnavanju dveh ultrazvocnih posnetkov. Nalevi je prikazana referencna slika, na desni testna slika, na sredini pa poravnana testnaslika.
kot bomo videli kasneje. V teh primerih so lahko taka obmocja na slikah dokaj ve-
lika. Take situacije lahko v splosnem predstavimo s primerom iz narave. Kdor je imel
opravka s kakrsnimikoli zelo tankimi elasticnimi predmeti (npr. elasticna rokavica),
ve, da postane barva tega predmeta pri zelo mocnem raztegovanju na mestu, kjer je
natezna sila najvecja, svetlejsa. Na podoben nacin nastajajo posebni vzorci na nasih
poravnanih posnetkih.
Se en razlog za pojav motenih obmocij pa je lahko opis deformacijske funkcije s
pomocjo interpolacije z B-zlepki. Velik vpliv na to ima redkejsa mreza deformacijskih
parametrov. Poudariti je treba se eno pomembno lastnost interpolacije slike z B-zlepki,
ki lahko deluje tudi kot nizko sito. Na sliki 28 je prikazan primer interpolacije slike, kjer
smo kontrolne tocke B-zlepkov postavili na vsak cetrti piksel. Slika ima locljivost 150
x 120 pikslov, kar pomeni, da je slika opisana z 18000 piksli. Polje kontrolnih tock B-
zlepkov interpolirane slike pa je veliko 37 x 30, kar pomeni, da je ta slika opisana s 1110
kontrolnimi tockami. Vidimo, da je glavna znacilnost interpolirane slike zamegljenost,
ki je zelo podobna prej omenjenim motenim obmocjem na slikah.
Po stevilnih opravljenih poskusih lahko trdimo, da je algoritem zelo primeren za
poravnavanje ultrazvocnih posnetkov, za katere so znacilne blage lokalne transforma-
cije. Vendar pa se utegne zgoditi, da pari ultrazvocnih posnetkov, ki jih poravnavamo,
nimajo vedno idealnih lastnosti (v nasem primeru so to lokalne deformacije). Zato
v naslednjih podpoglavjih sledijo rezultati poskusov poravnavanja z razlicnimi pari
ultrazvocnih posnetkov s posebnimi lastnostmi.
6.9 Poravnavanje ultrazvocnih posnetkov z zelo majhnimi lo-
kalnimi spremembami
Pogosto pride do situacije, ko se referencna in testna slika zelo malo razlikujeta. Taki
primeri se v praksi lahko pogosto pojavijo, predvsem takrat, ko med zaporednima
Rezultati 59
Slika 28: Interpolacija posnetka, kjer smo postavili pri interpolaciji kontrolne tocke B-zlepkov na vsak cetrti piksel posnetka. Levo je prikazan original, desno pa interpoliranaslika.
ultrazvocnima pregledoma ne mine veliko casa. Takrat so deformacije tkiva res mi-
nimalne. Tako situacijo lahko predstavimo tudi z opazovanjem sosednjih rezin ul-
trazvocnega volumna. Opazovani posnetki bodo v obeh primerih imeli podobne la-
stnosti.
Opravili smo tri poskuse poravnavanja posnetkov z opisanimi lastnostmi. Domne-
vali smo, da bo zaradi podobnosti posnetkov vrednost ocenitvene funkcije blizu opti-
malni poravnavi in da utegne optimizacijski algoritem morda prehitro koncati optimi-
zacijo. Zaradi tega smo morali upostevati lastnosti parametra h, za katerega smo ze
povedali, da doloca, kako natancno naj bo dolocena deformacijska funkcija. Sklepali
smo, da bi izbira tega parametra utegnila biti kljucna za ucinkovitost algoritma za
poravnavanje pri posnetkih z zelo majhnimi lokalnimi spremembami.
Na sliki 29 je prikazan prvi poskus poravnavanja posnetkov z zelo majhnimi lokal-
nimi spremembami. V prvem stolpcu je zgoraj prikazana referencna, spodaj pa testna
slika. Opazimo lahko, da ima opazovani jajcnik vecje stevilo mesickov, med katerimi
so razlike zelo majhne. Takoj je jasno, da ima izbira parametra h se kako pomemben
vpliv. V drugem in tretjem stolpcu sta prikazana rezultata poravnavanja pri h = 16
in h = 8. Omeniti moramo, da smo isti par posnetkov poravnavali tudi pri h = 32,
vendar se je izkazalo, da je narava opazovanega problema taksna, da visoke vredno-
sti parametra h niso dale zadovoljivih rezultatov, zato bomo v tej sekciji prikazovali
rezultate poravnavanja za nizje vrednosti parametra h.
Ce dobro pogledamo rezultate poravnave, vidimo, da je poravnavanje bilo uspesno.
Ze poravnava pri h = 16 je zelo lepo nakazala smeri deformacij, pri h = 8 pa je rezultat
nekoliko boljsi, vendar se bistveno ne razlikuje. S pomocjo preglednice 8 poglejmo, kaj
Rezultati 60
h = 16 h = 8
Slika 29: Prvi poskus poravnavanja posnetkov z zelo majhnimi lokalnimi spremembami.V prvem stolpcu je na vrhu prikazana referencna, spodaj pa testna slika. Drugi stolpecprikazuje rezultat poravnavanja pri izbiri parametra h = 16, tretji stolpec pa pri h = 8.
pravijo numericni rezultati meritev.
h Stevilo iteracij Cas izvajanja [s] µ
32 16 100 0,99306616 13 300 0,9944058 8 720 0,995165
Preglednica 8: Rezultati meritev pri prvem poskusu poravnavanja ultrazvocnih posnet-kov z zelo majhnimi lokalnimi spremembami.
Po pregledu rezultatov meritev se prepricamo, da je ta poskus v primerjavi s pred-
hodnimi poravnavami pri vseh vrednostih parametra h bistveno hitrejsi, pa tudi ko-
eficienti podobnosti so veliko blizje 1. Glede na te rezultate lahko recemo, da je bilo
poravnavanje v tem primeru dokaj ucinkovito.
Drugi poskus poravnavanja je prikazan na sliki 30. Ze po pregledu referencnega in
testnega posnetka (prva vrstica slike) vidimo, da so spremembe med njima zelo majhne
in lokalne. Tudi ti sliki predstavljata sosednji rezini v ultrazvocnem volumnu. Zato smo
Rezultati 61
Ir It
h = 8
h = 4
Slika 30: Drugi poskus poravnavanja posnetkov z zelo majhnimi lokalnimi spremem-bami. V prvi vrstici sta prikazani referencna in testna slika, v drugi vrstici je prikazanrezultat poravnavanja pri vrednosti parametra h = 8, v tretji vrstici pa pri h = 4.
ju poravnavali pri h = 8 in h = 4. Ce pogledamo se rezultate meritev v preglednici 9,
vidimo, da je ta poskus za nas algoritem predstavljal tezko nalogo, kar lahko sklepamo
predvsem po casu poravnavanja pri h = 4. Poravnava je v tem primeru namrec trajala
kar dobro poldrugo uro.
Kljub dlje casa trajajocemu poravnavanju pa rezultat poravnave, ce opazujemo
jajcne mesicke na poravnavnih slikah, ni najboljsi. Kljub vsemu pa so na deformacijskih
poljih lepo razvidne in pravilno nakazane smeri deformacije, kar je tudi nas cilj, zato
Rezultati 62
h Stevilo iteracij Cas izvajanja [s] µ
8 7 1140 0,9944054 9 5910 0,995165
Preglednica 9: Rezultati meritev pri drugem poskusu poravnavanja ultrazvocnih po-snetkov z zelo majhnimi lokalnimi spremembami.
smatramo, da je algoritem svojo nalogo vendarle opravil.
V tretjem poskusu smo poravnavali posnetka, ki sta na prvi pogled enaka, na nekaj
manjsih mestih pa se vendarle razlikujeta. Zanimal nas je predvsem odziv algoritma.
Pricakovali smo, da bo zaradi velike podobnosti med posnetkoma poravnavanje se
hitrejse kot v dosedanjih poskusih, koeficient podobnosti pa utegne imeti visoke vre-
dnosti.
Rezultate poravnavanja kaze slika 31. V prvem stolpcu sta prikazani referencna slika
(zgoraj) in testna slika (spodaj). Vidimo, da sliki resnicno na prvi pogled izgledata
enaki. V drugem in tretjem stoplcu sta prikazana rezultata poravnavanja za h = 8 in
h = 4.
Vidimo, da je tudi v tej situaciji za ucinkovito poravnavo bila potrebna dokaj gosta
mreza deformacijskih parametrov. Razlike so res minimalne in so lepo razvidne na
deformacijskih mrezah. Sedaj pa si poglejmo se rezultate meritev, ki so prikazani v
preglednici 10.
Opazimo lahko, da je algoritem v tem primeru kocnal poravnavno zelo hitro, koe-
ficienta podobnosti pa sta zelo visoka in zelo blizu 1, tako da sta se potrdila obe nasi
pricakovanji.
Se enkrat se je izkazalo, da algoritem za poravnavo posnetkov z zelo majhnimi lokal-
nimi spremembami potrebuje manj casa. Treba pa je poudariti, da je treba za pokritje
vseh teh majhnih sprememb (reda nekaj pikslov) nastaviti ustrezno nizko vrednost pa-
rametra h in s tem na testno sliko poloziti dovolj fino mrezo deformacijskih parametrov.
Algoritem namrec pri redko postavljeni mrezi majhne spremembe spregleda.
h Stevilo iteracij Cas izvajanja [s] µ
8 3 340 0,9975384 5 1700 0,997993
Preglednica 10: Rezultati meritev pri tretjem poskusu poravnavanja ultrazvocnih po-snetkov z zelo majhnimi lokalnimi spremembami.
Rezultati 63
h = 8 h = 4
Slika 31: Tretji poskus poravnavanja posnetkov z zelo majhnimi lokalnimi spremem-bami. V prvem stolpcu je zgoraj predstavljena referencna, spodaj pa testna slika.Drugi stolpec predstavlja rezultate poravnavanja pri parametru h = 8, tretji stolpecpa pri h = 4.
6.10 Poravnavanje ultrazvocnih posnetkov z vecjimi spremem-
bami
Pri naslednjih poskusih pa smo se preselili v drugo skrajnost. Lotili smo se poravnava-
nja ultrazvocnih posnetkov z vecjimi spremembami. Ultrazvocne posnetke takega tipa
dobimo z zajemom slik istega dela cloveskega telesa, kjer je med zaporednim pregledom
z ultrazvocno napravo minilo veliko casa, lahko pa vzamemo dve rezini ultrazvocnega
volumna z vecjim medsebojnim razmikom (ponavadi pet ali vec rezin). Zanimalo nas
je, kako se bo odzval algoritem pri poravnavanju posnetkov, na katerih nastopajo vecje
spremembe. Glede na dosedanje poskuse smo pred zacetkom poravnavanja domnevali,
da se utegne cas poravnavanja z algoritmom povecati, zmanjsal pa se bo koeficient
podobnosti. Zanimalo nas je, ali bo algoritem nasel deformacijsko funkcijo, ki bo kljub
manjsi podobnosti opazovanih slik prikazala pravilne smeri deformacij.
Opravili smo dva poskusa poravnavanja ultrazvocnih posnetkov jajcnikov z ome-
Rezultati 64
njenimi lastnostmi. Prvi poskus poravnavanja je prikazan na sliki 32. V prvem stolpcu
zgoraj je prikazana referencna, spodaj pa testna slika. Omenjeni sliki predstavljata re-
zini ultrazvocnega volumna z razmikom, ki znasa 8 rezin. Poravnavali smo pri h = 16
(drugi stolpec) in h = 8 (tretji stolpec). Ze pri primejavi testne in referencne slike
ugotovimo, da so jajcni mesicki na posnetkih postavljeni popolnoma drugace.
h = 16 h = 8
Slika 32: Prvi poskus poravnavanja posnetkov z vecjimi spremembami. V prvemstolpcu sta prikazani referencna slika (zgoraj) in testna slika (spodaj). Drugi stolpecprikazuje rezultat poravnavanja pri h = 16, tretji stolpec pa pri h = 8.
Rezultat poravnavanja nazorno kaze, v katero smer je sla poravnava. Algoritem
skusa istolezne mesicke, ki so razlicno postavljeni, delno poravnati ali pa jih obravnava
kot skupino, kar je lepo razvidno v obeh zgornjih skupinah mesickov na poravnanih
posnetkih. Ta ugotovitev je povsem razumljiva, saj je algoritem namenjen za lokalno
poravnavo, zato isce predvsem lokalne spremembe. Ce na poravnano skupino mesickov
gledamo kot na en sam mesicek, vidimo, da je poravnavanje uspelo, kar je razvidno tudi
iz deformacijskih polj, prikazanih na sliki 32. Sedaj si poglejmo se rezultate numericnih
meritev, ki so prikazani v preglednici 11.
V preglednici 11 lahko vidimo, da sta nasi domnevi o daljsem casu poravnavanja in
Rezultati 65
h Stevilo iteracij Cas izvajanja [s] µ
32 9 50 0,98524316 26 480 0,9899978 18 1800 0,991957
Preglednica 11: Rezultati meritev pri prvem poskusu poravnavanja ultrazvocnih po-snetkov z velikimi spremembami.
manjsem koeficientu podobnosti potrjeni, s tem da cas poravnavanja ni bistveno daljsi
kot pri dosedanjih poravnavah.
V nadaljevanju smo opravili poskus poravnavanja ultrazvocnih posnetkov, kjer je
na referencni in testni sliki skupen samo en jajcni mesicek. Omenjeni sliki predstavljata
rezini ultrazvocnega volumna z medsebojnim razmikom 10 rezin. Omenjeni rezini sta
bili izbrani nacrtno, in sicer tako, da bi bile razlike med testno in referencno sliko cim
vecje, hkrati pa je razvidno, da gre za isti opazovani objekt (v nasem primeru jajcnik).
Omenjen par posnetkov smo poravnavali pri vrednosti parametra h = 8. Rezultat
poravnavanja je prikazan na sliki 33. V zgornji vrstici je najprej prikazana referencna
slika, sledi testna slika. V drugi vrstici je najprej prikazana poravnavana testna slika,
sledi pa se njeno pripadajoce deformacijsko polje.
Odziv algoritma je tudi pri tem poravnavanju podoben kot pri prejsnjem poskusu.
Ce pogledamo rezultate meritev, prikazane v preglednici 12, opazimo, da so dobljeni
rezultati zelo podobni tistim v prejsnjem poskusu, ki so prikazani v preglednici 11.
Tako lahko sklepamo, da bo cas trajanja in ucinkovitost poravnave pri takih tipih
posnetkov vedno v okviru rezultatov, prikazanih v preglednicah 11 in 12.
h Stevilo iteracij Cas izvajanja [s] µ
8 25 1700 0,992080
Preglednica 12: Rezultati meritev pri drugem poskusu poravnavanja ultrazvocnih po-snetkov z velikimi spremembami.
Kljub uspesnemu poravnavanju posnetkov z vecjimi razlikami pa je vprasljiva upo-
rabnost dobljene deformacijske funkcije in pripadajocega polja premikov. Ce opazu-
jemo deformacijska polja, predstavljena pri poskusih v tem podpoglavju, opazimo, da
so zelo deformirana in zato zelo nepregledna. Vendar je treba poudariti, da smo obrav-
navali tipe posnetkov, pri katerih celo na podlagi se tako podrobnega opazovanja tezko
ugotovimo ali pa sploh ne moremo ugotoviti smeri deformacij (razen morda ekspertov).
Zato tega tudi ne smemo pricakovati od nasega algoritma, ki je namenjen predvsem
za lokalne poravnave. Z napovedovanjem takih tipov sprememb na ultrazvocnih po-
snetkih, ki so prikazani v tem podpoglavju, se ukvarjajo druga podrocja racunalnistva,
tako da odkrivanje takih sprememb ni predmet te diplomske naloge. V tej sekciji
Rezultati 66
Ir It
h = 8
Slika 33: Drugi poskus poravnavanja posnetkov z vecjimi spremembami. V prvi vrsticije na levi prikazana referencna, na desni pa testna slika. V drugi vrstici je prikazanrezultat poravnavanja pri h = 8.
smo s poskusi predvsem zeleli preveriti delovanje nasega algoritma in ali so rezultati
poravnavanja smiselni.
6.11 Poravnavanje togo preslikanih ultrazvocnih posnetkov
Za posnetke, ki jih poravnavamo, je znacilno, da je eden izmed njih nekoliko zasukan
ali pa premaknjen. Ta pojav ustreza togim preslikavam. V praksi pride pri pregledih z
ultrazvokom velikokrat do takih situacij, saj pri vec pregledih nikoli ne moremo dolociti
natancne lege sonde, zato je lahko ena slika nekoliko zasukana ali pa premaknjena v
primerjavi z drugo. Zato se nam je zdelo zelo pomembno, da preverimo delovanje
algoritma za elasticno poravnavanje s primeri posnetkov, za katere je znacilna toga
preslikava. Predvsem nas je zanimal rezultat pri zasuku. Upali smo namrec, da bo
Rezultati 67
algoritem za poravnavanje odporen na toge preslikave.
Izbrali smo ultrazvocni posnetek in ga oznacili kot referencno sliko. To sliko smo za-
sukali za dolocen kot. Zasukano sliko smo oznacili kot testno sliko. Pricakovali smo, da
bo rezultat poravnave testna slika, ki bo identicna referencni sliki. Tako smo za zacetek
skusali poravnati posnetek, ki smo ga zasukali za 180 stopinj. Po zagonu algoritma
smo zaradi trajanja poravnave in nepricakovano velikega stevila iteracij sklepali, da
je poravnavanje zasukanih posnetkov za nas algoritem zelo tezka naloga. Vseeno smo
upali na ugoden rezultat, vendar smo takoj po pregledu poravnanega ultrazvocnega
posnetka ugotovili, da se nasa pricakovanja niso izpolnila. Ker slika pove vec kot be-
sede, si oglejmo rezultat omenjenega poravnavanja, ki je prikazan na sliki 34. V zgornji
vrstici sta prikazani najprej referencna in nato testna slika, v spodnji vrstici pa rezultat
poravnavanja in pripadajoce deformacijsko polje.
Ir It
Rezultat poravnavanja posnetkov
Slika 34: Poravnavanje enakih ultrazvocnih posnetkov, ki sta drug proti drugemu za-sukana za 180 stopinj.
Vse, kar lahko opazimo na poravnani sliki in deformacijskem polju, je kup vrtincev.
Tako ugotovimo, da je poravnava v okviru algoritma sicer smiselna, vendar je rezultat
poravnavanja zasukanih posnetkov popolnoma neuporaben.
Rezultati 68
V nadaljevanju smo skusali ugotoviti, zakaj poravnavanje zasukanih posnetkov daje
taksne rezultate. Zaradi lazjega razumevanja bomo situacijo elasticnega poravnavanja
v grobem opisali z enostavnim fizikalnim eksperimentom. Predstavljajmo si, da imamo
zelo tanko elasticno krpo, ki jo razgrnemo cez podlago. Ta krpa predstavlja testno
sliko. Sedaj to krpo prebodimo z mnozico igel, ki naj bodo enako razmaknjene. Vse
igle zapicimo v podlago. Te igle naj predstavljajo mrezo deformacijskih parametrov.
Sedaj lahko deformiramo krpo tako, da izberemo eno izmed igel, jo rahlo dvignemo
(pazimo, da krpa ostane prebodena) in jo zapicimo v podlago na neko drugo, bliznjo
lokacijo. Premik igle je omogocen samo v njeni manjsi okolici (tako kot deformacijski
parameter deluje na okoliske piksle). Krpa se bo v okolici igle ponekod skrcila, na
drugod pa raztegnila. Sedaj lahko vse igle na podoben nacin premikamo in s tem
dolocimo deformacijsko funkcijo. Ce po teh pravilih skusamo zasukati sliko za, recimo,
180 stopinj, ze po nekaj poskusih opazimo, da je to nalogo nemogoce uspesno izvesti.
Ce se potrudimo po najboljsih moceh, bomo kot rezultat dobili elasticno krpo z velikim
stevilom vrtincem. Na tem mestu samo se dodajmo, da se s pomocjo tega fizikalnega
eksperimenta vidi, kje je najvecja moc algoritma za elasticno poravnavanje in zakaj
pri poravnavanju ultrazvocnih posnetkov z lokalnimi spremembami dobimo tako dobre
rezultate.
Kljub vsemu pa smo zeleli ugotoviti, ali je nas algoritem sploh odporen na zasuk,
in ce je, do kaksne mere je odporen. Zato smo referencno sliko zasukali za razlicne
kote, zacensi z najmanjsimi koti. Nato smo kote povecevali, sliki poravnavali in ugota-
vljali, kje je meja, kjer se zacnejo nesmiselni rezultati. Vse posnetke smo poravnavali
pri vrednosti parametra h = 16. Stopinje zasuka pri posamezni poravnavi in ustrezni
numericni rezultati so prikazani v preglednici 13. Ker koeficient podobnosti pri ome-
njenih poskusih poravnavanja ne kaze nobene smiselne informacije, ga v tej preglednici
namerno nismo prikazali.
Kot zasuka [◦] Stevilo iteracij Cas izvajanja [s]1 15 5405 19 82010 24 106020 35 148045 46 2040180 54 2200
Preglednica 13: Rezultati meritev poravnavanja zasukanih posnetkov pri razlicnih ko-tih.
V primerjavi z numericnimi rezultati poravnavanja predhodnih posnetkov lahko
takoj opazimo, da se je povecalo stevilo iteracij, prav tako pa se je zelo podaljsal cas
Rezultati 69
poravnavanja pri velikih kotih. Se pomembnejsa pa je ugotovitev, da casi poravnavanja
mocno narascajo v odvisnosti od velikosti kota. Sedaj pa si oglejmo posnetke, ki smo
jih dobili kot rezultat poravnavanja. Prikazani so na sliki 35. Rezultati poravnavanja
pri razlicnih kotih so prikazani v posameznih vrsticah kot trojice, kjer prva slika pomeni
zasukano referencno sliko, sledi poravnana zasukana referencna slika, na koncu pa se
pripadajoce deformacijsko polje.
Iz prikazanih posnetkov na sliki 35 lahko ugotovimo, da so se sprejemljivi rezultati
poravnavanja pri zasukih slik do 10 stopinj. Tako je pri poravnavanju pri zasuku za
1 in 5 stopinj poravnana slika se povsem identicna referencni sliki. Pri poravnavanju
z zasukom 10 stopinj, ki je zadnja meja, ki daje sprejemljive rezultate, pa so ze vidni
vrtinci, ceprav so podrocja opazovanja se vedno poravnana v skladu z referencno sliko.
Pri nadaljnjih poskusih (20, 45 in 180 stopinj) pa pride do tezkih deformacij in vrtincev,
ki ob povecevanju kota zasuka postajajo mocnejsi, slike pa tako popacijo, da postanejo
neuporabne.
Ob poravnavanju posnetkov, ki se razlikujejo zaradi toge preslikave, moramo po-
udariti se eno stvar. Tudi ce bi rezultati poravnavanja teh posnetkov bili uspesni ali
pa bi jih razglasili za uspesne (zasuk do 10 stopinj), se moramo zavedati, da dobljena
deformacijska funkcija povzroci velike premike. Spomniti se moramo namrec nasega
cilja, kjer zelimo odkrivati lokalne spremembe na slikah. Dognali pa smo, da ze pri
poravnavi identicne slike, in to ze pri zasuku za 5 stopinj, dobimo deformacijsko polje,
ki ze nakazuje relativno mocne deformacije (slika 35, prva vrstica), povrh vsega pa so se
neustrezne. Glede na to, da sta sliki identicni, bi pricakovali, da bi deformacijsko polje
moralo biti zasukano za ustrezen kot, kar pa se ni zgodilo. Nas algoritem obravnavano
situacijo namrec jemlje kot sliki z lokalnimi spremembami in jih ne obravnava kot sliki
z zasukom oziroma premikom. Zato pri taksnih situacijah sam nikakor ne more doseci
zelenega cilja, to je odkriti lokalne spremembe na opazovanih ultrazvocnih posnetkih.
Cilj je pa mozno doseci tako, da pred elasticnim poravnavanjem opazovani sliki najprej
poravnamo s pomocjo toge poravnave. Se vec, izkaze se, da zaporedno poravnavanje
z omenjenima postopkoma daje najucinkovitejse rezultate, veliko boljse, kot ce bi sliki
poravnavali z omenjenima postopkoma posamezno. V praksi se pogosto pojavljajo pri-
meri zasukanih posnetkov, zato je priporocljivo, da pred uporabo elasticne poravnave
te posnetke poravnamo s togo poravnavo.
6.12 Poravnavanje s pomocjo ocenitvene funkcije SSD
V naslednjem zaporedju poskusov smo skusali ugotoviti, kaksne rezultate daje nas
algoritem za poravnavanje v primerjavi z algoritmom, ki ima drugacno ocenitveno
funkcijo. Kot alternativno ocenitveno funkcijo smo uporabili vsoto kvadratov razlik
Rezultati 70
1◦
5◦
10◦
20◦
45◦
Slika 35: Poravnava zasukanih ultrazvocnih posnetkov pri razlicnih kotih. Poravnavaza posamezni kot je predstavljena v posamezni vrstici. Prvi stolpec prikazuje testne(zasukane referencne) slike, drugi stolpec prikazuje poravnane testne slike, zadnji stol-pec pa njihova deformacijska polja.
Rezultati 71
med dvema slikama [17]. V tuji literaturi je omenjena funkcija predstavljena s kratico
SSD (sum of squared differences). Zaradi krajsega zapisovanja bomo v nadaljevanju
algoritem, ki za poravnavanje ultrazvocnih posnetkov uporablja ocenitveno funkcijo
SSD, imenovali metoda SSD, nas algoritem, ki smo ga obravnavali doslej in ki poravnava
ultrazvocne posnetke s pomocjo pegastega suma, pa bomo imenovali metoda USST
(ultrasound speckle tracing) [16].
Ocenitvena funkcija SSD je predstavljena z naslednjo enacbo:
ESSD =1
N
∑
x∈I
(fωt (x) − fr(x))2, (39)
kjer N predstavlja stevilo pikslov na slikah, fωt (x) predstavlja deformirano testno sliko
in fr(x) predstavlja referencno sliko.
Ob spremembi ocenitvene funkcije je potrebno ustrezno spremeniti izracun gradi-
enta te funkcije, kjer je potrebno malce spremeniti obstojeco enacbo za izracun prvega
odvoda. Enacba za izracun prvega odvoda ocenitvene funkcije SSD se tako glasi:
∂ESSD
∂ck,m
=1
N
∑
x∈Z2
2(fωt (x) − fr(x))
∂f ct (d)
∂xm
∣∣∣∣d=u(x)
∂um(x)
∂ck,m
. (40)
V smislu implementacije algoritma uporabimo kar obstojec algoritem za poravna-
vanje s spremembami na mestih, ki jih opisujeta enacba (39) in (40). Ostale dele kode
pustimo nespremenjene. S tem bomo dosegli, da bo na rezultate poskusov poravnava-
nja vplivala izkljucno sprememba ocenitvene funkcije.
Da bi ugotovili vpliv razlicnih ocenitvenih funkcij na poravnavanje, smo poskuse
poravnavanja izvajali na ultrazvocnih posnetkih, ki smo jih ze poravnavali v trenutnem
poglavju. Dobljene rezultate poravnavanja s pomocjo obeh postopkov smo primerjali
in skusali oceniti, kateri postopek daje boljse rezultate. Tudi v teh poskusih smo
poravnavali ultrazvocne posnetke z razlicnimi znacilnostmi.
Rezultate meritev bomo prikazovali na podoben nacin, kot smo jih prikazovali do-
slej. Vendar je na tem mestu potrebno omeniti, da ocenitvena funkcija SSD vraca
drugacne vrednosti kot ocenitvena funkcija E. Rezultate ocenitvene funkcije ESSD
bomo skusali predstaviti s koeficientom podobnosti µ. Glede na to, da pri funkciji
SSD gre za vsoto kvadratov razlik, velja, da cim bolj podobni sta si sliki, tem bolj
je rezultat ocenitvene funkcije ESSD blizje vrednosti 0. Rezultat ocenitvene funkcije
ESSD pri poravnavanju dveh enakih slik je tako enak 0. Na podlagi te trditve lahko
postavimo enacbo za izracun koeficienta podobnosti, ki se glasi:
µSSD = 1 − ESSD(fr, fωt ), (41)
Rezultati 72
kjer fr predstavlja referencno, fωt pa poravnano testno sliko. Koeficient podobnosti
µSSD bo pri bolj podobnih slikah blizje vrednosti 1, kar velja tudi za koeficient po-
dobnosti µ. S pomocjo obeh koeficientov lahko tako enostavno primerjamo ocenjeno
podobnost opazovanih slik.
Poravnavanje lokalno spremenjenih ultrazvocnih posnetkov
Najprej smo se lotili poravnavanja ultrazvocnih posnetkov z manjsimi lokalnimi spre-
membami, ki so v praksi najpogostejsi. Prvi poskus je bil izveden pri treh razlicnih
vrednostih parametra h, in sicer pri h = 32, h = 16 ter h = 8. Na sliki 36 lahko
primerjamo rezultate poravnavanja, dobljenih pri uporabi metod SSD in USST.
V prvi vrstici sta prikazani najprej referencna in nato se testna slika. Po vrsticah
so prikazani rezultati poravnavanja pri parametrih h = 32, h = 16 in h = 8 (od zgoraj
navzdol). Zaradi lazje primerjave se v prvem stolpcu nahajajo testne slike poravnane z
metodo USST, v tretjem stolpcu se nahajajo njihova pripadajoca deformacijska polja,
v drugem stolpcu vidimo testne slike, poravnane z metodo SSD in v zadnjem stolpcu
njihova pripadajoca deformacijska polja. Tak nacin prikaza bomo v tem podpoglavju
uporabljali pri vseh prikazih rezultatov poravnavanja.
Preden podamo komentar primerjave rezultatov poravnavanja, si oglejmo se rezul-
tate meritev, dobljenih pri omenjenih poskusih, ki so prikazani v preglednici 14.
h k kSSD t [s] tSSD [s] µ µSSD
32 12 13 135 150 0,990701 0,98920916 12 22 490 920 0,992933 0,9925628 7 11 1380 1960 0,994157 0,993961
Preglednica 14: Rezultati meritev pri prvem poskusu poravnavanja z metodama USSTin SSD.
V preglednici 14 oznaka k predstavlja stevilo iteracij, potrebnih za poravnavanje
posnetkov ob uporabi metode USST, oznaka kSSD predstavlja stevilo iteracij, potrebnih
za poravnavanje posnetkov ob uporabi metode SSD, oznaka t predstavlja cas, potreben
za poravnavanje ultrazvocnih posnetkov ob uporabi metode USST, oznaka tSSD pa
predstavlja cas, potreben za poravnavanje ultrazvocnih posnetkov ob uporabi metode
SSD. Oznaki µ in µSSD predstavljata koeficienta podobnosti ob uporabi metode USST
oziroma SSD. Te oznake bomo pri prikazovanju meritev uporabljali tudi v nadaljevanju.
Na sliki 37 so rezultati meritev pri poravnavanju prikazani s pomocjo grafov. Na
levi je prikazan cas poravnave v odvisnosti od izbire parametra h, na desni pa koeficient
podobnosti pri razlicni izbiri parametra h. Z grafom modre barve je prikazan rezultat
poravnavanja z metodo USST, z rdecim grafom pa rezultat poravnavanja z metodo
Rezultati 73
Ir It
h = 32
h = 16
h = 8
Slika 36: Primerjava rezultatov pri prvem poskusu poravnavanja z metodama USSTin SSD pri razlicnih vrednostih parametra h. V prvi vrstici sta prikazani referencna intestna slika. Prvi stolpec predstavljajo rezultati poravnavanja z metodo USST, njihovapripadajoca deformacijska polja pa so prikazana v tretjem stolpcu. V drugem stolpcuso prikazani rezultati poravnavanja z metodo SSD, njihova pripadajoca deformacijskapolja pa so prikazana v cetrtem stolpcu.
SSD.
Ce najprej pogledamo rezultate poravnavanja na sliki 36 in primerjamo rezultate
obeh poravnav, lahko opazimo, da so rezultati poravnavanja pri izbiri parametra h =
32 pri uporabi obeh ocenitvenih funkcij enaki. Poravnava je v obeh primerih prevec
groba in zato so rezultati dalec od pricakovanega. Tudi koeficienta podobnosti sta
Rezultati 74
5 10 15 20 25 30 350
200
400
600
800
1000
1200
1400
1600
1800
2000
h
Cas
por
avna
vanj
a [s
]
5 10 15 20 25 30 350.989
0.99
0.991
0.992
0.993
0.994
0.995
0.996
h
Koe
ficie
nt p
odob
nost
i µ
Slika 37: Grafa, ki prikazujeta rezultate meritev pri prvem poskusu poravnavanja zmetodama USST (moder graf) in SSD (rdec graf). Na levi je prikazan cas poravna-vanja v odvisnosti od parametra h, na desni pa koeficient podobnosti v odvisnosti odparametra h.
v obeh primerih po pricakovanju zelo nizka. Pri izbiri parametra h = 16 pa lahko
pridemo do nekaterih novih spoznanj. Vidimo lahko, da so smeri deformacij v obeh
primerih pravilno nakazane, rezultat poravnave pa je pri uporabi metode SSD nekoliko
natancnejsi kot pri uporabi metode USST, ceprav koeficienta podobnosti kazeta, da
je posnetek, poravnan z metodo USST, nekoliko bolj podoben referencni sliki, vendar
zaradi majhnih razlik med vrednostmi koeficientov ta ocena v tem primeru ni najboljse
merilo. Da pa bi lahko dokoncno ocenili, kateri postopek ima boljsi ucinek, pa si
oglejmo case poravnavanja. Poravnavanje z metodo SSD je trajalo kar 430 sekund dlje
od poravnavanja z metodo USST. Tudi stevilo iteracij optimizacijskega algoritma je pri
metodi SSD nekoliko vecje. Res bi lahko trdili, da je rezultat poravnavanja s pomocjo
metode SSD nekoliko natancnejsi, vendar so tudi na poravnanem posnetku z metodo
USST jasno razvidne smeri deformacij, zato lahko ob upostevanju casov poranavanja s
pomocjo obeh metod trdimo, da je poravnavanje z metodo USST v tem primeru vseeno
ucinkovitejse. Nato smo sli se korak dlje in vrednost parametra h postavili na 8. Na
sliki 36 (spodnja vrstica) lahko opazimo, da smo kot rezultat poravnavanja pri obeh
metodah dobili poravnana posnetka, ki se razlikujeta le za malenkosti. Temu primerno
sta si tudi dobljena koeficienta podobnosti precej blizu. Torej bo spet odlocilen cas
poravnavanja. Poravnavanje je tudi v tem primeru trajalo dlje in to kar za 560 sekund.
Tudi v tem primeru lahko brez zadrzkov trdimo, da je poravnavanje z metodo USST
ucinkovitejse. To potrjujeta tudi grafa, ki sta prikazana na sliki 37. Opazimo lahko,
da je pri prikazu casa poravnavanja rdeca crta (metoda SSD) vedno nad modro crto
(metoda USST), na grafu, ki prikazuje koeficiente podobnosti, pa je rdeca crta pod
modro, kar pomeni, da se je v obeh primerih bolj izkazala metoda USST.
Rezultati 75
Ir It
h = 32
h = 16
h = 8
Slika 38: Primerjava rezultatov pri drugem poskusu poravnavanja z metodama USSTin SSD pri razlicnih vrednostih parametra h. V prvi vrstici sta prikazani referencna intestna slika. Prvi stolpec predstavljajo rezultati poravnavanja z metodo USST, njihovapripadajoca deformacijska polja pa so prikazana v tretjem stolpcu. V drugem stolpcuso prikazani rezultati poravnavanja z metodo SSD, njihova pripadajoca deformacijskapolja pa so prikazana v cetrtem stolpcu.
Tudi v drugem poskusu smo poravnavali ultrazvocne posnetke z lokalnimi spre-
membami, ki pa so nekoliko kompleksnejsi za poravnavanje, saj so spremembe jajcnih
mesickov na posnetkih zelo raznolike. Tudi v tem primeru smo zeleli preveriti in primer-
jati ucinkovitost poravnavanja s pomocjo metod USST in SSD. Rezultat poravnavanja
z obema metodama je prikazan na sliki 38.
Rezultati 76
Poravnavanje z obema metodama smo opravili pri izbiri parametra h = 32, h = 16
in h = 8. Ce dobro pogledamo rezultate poravnavanja obeh metod na sliki 38, lahko ta-
koj opazimo, da so v tem primeru pri vrednostih obeh parametrov posnetki, poravnani
z metodo USST zelo podobni posnetkom, poravnanih z metodo SSD. Ce poravnane
posnetke in njihova pripadajoca deformacijska polja pregledamo natancneje, pa lahko
opazimo, da je poravnava posneteka z uporabo metode SSD nekoliko agresivnejsa kot
pri poravnavi z metodo USST, kar se kaze kot mocnejse deformacije. Opazimo lahko
tudi, da sta oba posnetka, poravnana s pomocjo metode SSD, zaradi tega nekoliko
bolj popacena, kot posnetka poravnana z metodo USST. To bomo metodi SSD steli
kot slabost. Na podlagi tega lahko na primeru poravnave pri h = 8 opazimo, da so
deformacije pri uporabi metode USST na deformacijskem polju lepse prikazane kot pri
uporabi metode SSD, kjer je deformacijsko polje bolj popaceno.
h k kSSD t [s] tSSD [s] µ µSSD
32 16 14 190 165 0,988972 0,9860616 14 16 590 760 0,992340 0,9918538 14 17 2510 3060 0,994142 0,993557
Preglednica 15: Rezultati meritev pri drugem poskusu poravnavanja z metodama USSTin SSD.
Sedaj si oglejmo se rezultate meritev pri poravnavanju posnetkov z obema meto-
dama, ki so prikazani v preglednici 15. Koeficienta podobnosti imata pri obeh metodah
v obeh primerih podobne vrednosti, kar je bilo pricakovano. Spet pa je vrednost ko-
eficienta pri metodi USST nekoliko visja. Glede casa poravnavanja pa se je ponovno
izkazala metoda USST. Pri uporabi metode SSD je pri izbiri parametra h = 16 porav-
navanje trajalo 170 sekund dlje, pri uporabi parametra h = 8 pa kar 550 sekund dlje.
Casi poravnavanja in koeficienti podobnosti so graficno prikazani na sliki 39. Tudi v
tem primeru lahko zasledimo, da je na levem grafu, ki prikazuje case poravnavanja
pri razlicnih izbirah parametra h, modra crta (metoda USST) vedno pod rdeco, ravno
obratno pa je na desnem grafu, ki prikazuje koeficiente podobnosti poravnanih posnet-
kov v odvisnosti od izbire parametra h, kar pomeni, da je se je tudi v tem poskusu
poravnavanja metoda USST izkazala kot ucinkovitejsa.
Poravnavanje ultrazvocnih posnetkov z zelo majhnimi lokalnimi spremem-
bami
V tretjem poskusu smo s pomocjo metode USST in SSD poravnavali ultrazvocne po-
snetke z zelo majhnimi lokalnimi spremembami. Gre za posnetke, kjer se nahajajo
spremembe na majhnih obmocjih, velikosti reda nekaj pikslov. S poskusi smo po-
Rezultati 77
5 10 15 20 25 30 350
500
1000
1500
2000
2500
3000
3500
h
Cas
por
avna
vanj
a [s
]
5 10 15 20 25 30 350.986
0.987
0.988
0.989
0.99
0.991
0.992
0.993
0.994
0.995
0.996
h
Koe
ficie
nt p
odob
nost
i µ
Slika 39: Grafa, ki prikazujeta rezultate meritev pri drugem poskusu poravnavanja zmetodama USST (moder graf) in SSD (rdec graf). Na levi je prikazan cas poravna-vanja v odvisnosti od parametra h, na desni pa koeficient podobnosti v odvisnosti odparametra h.
skusali ugotoviti, katera izmed primerjanih metod je ucinkovitejsa pri poravnavanju
takega tipa ultrazvocnih posnetkov.
Tretji poskus poravnavanja, kjer smo poravnavali posnetke z zelo majhnimi lokal-
nimi spremembami, je prikazan na sliki 40. Posnetke smo poravnavali pri izbiri para-
metrov h = 16 in h = 8. Na podlagi opazovanja posnetkov se ponovno izkaze, da so si
posnetki, poravnani s pomocjo metode USST in SSD, zelo podobni, le da je posnetek,
poravnan z metodo SSD, nekoliko bolj deformiran. Z razliko od prejsnjih poskusov
bomo mocnejse deformacije, dobljene pri poravnavanju z metodo SSD, tej metodi steli
kot pozitivno lastnost. Poravnavamo namrec posnetke, ki imajo zelo majhne lokalne
spremembe, ki so ponavadi tezko opazne, metode za poravnavanje pa jih tezko zaznajo.
Metoda SSD pa deformacije ocitno bolj poudari, kar lahko opazimo, ce primerjamo obe
deformacijski mrezi v tretji vrstici slike 40 (h = 8), zato bomo v tem primeru to metodi
SSD steli v prednost. Da bomo lahko dokoncno ocenili in primerjali ucinkovitost metod
USST in SSD, pa si poglejmo rezultate meritev, ki so prikazani v preglednici 16.
h k kSSD t [s] tSSD [s] µ µSSD
32 10 9 120 130 0,993949 0,99279316 8 12 460 550 0,994458 0,9937718 4 7 1000 1420 0,994946 0,994682
Preglednica 16: Rezultati meritev pri tretjem poskusu poravnavanja z metodama USSTin SSD.
Spet se izkaze, da metoda SSD izvede vec iteracij optimizacijskega algoritma kot
metoda USST, pa tudi cas poravnavanja je pri metodi USST manjsi kot pri metodi
Rezultati 78
Ir It
h = 32
h = 16
h = 8
Slika 40: Primerjava rezultatov pri tretjem poskusu poravnavanja z metodama USSTin SSD pri razlicnih vrednostih parametra h. V prvi vrstici sta prikazani referencna intestna slika. Prvi stolpec predstavljajo rezultati poravnavanja z metodo USST, njihovapripadajoca deformacijska polja pa so prikazana v tretjem stolpcu. V drugem stolpcuso prikazani rezultati poravnavanja z metodo SSD, njihova pripadajoca deformacijskapolja pa so prikazana v cetrtem stolpcu.
SSD. Metoda USST pri izbiri parametra h = 16 najde ustrezno poravnavo 90 sekund
hitreje kot metoda SSD, pri izbiri parametra h = 8 pa 420 sekund hitreje. Koeficienti
podobnosti so pricakovano zelo blizu skupaj, ceprav so koeficienti, dobljeni pri porav-
navanju z metodo USST za malenkost vecji. Meritve so prikazane tudi graficno na sliki
41, kjer so na levem grafu prikazani casi poravnavanja, na desni pa koeficienti podobno-
Rezultati 79
sti, dobljeni pri poravnavanju. Modra crta predstavlja rezultate meritev poravnavanja
z metodo USST, rdeca pa rezultate meritev poravnavanja z metodo SSD. Rezultati
so priblizno taksni, kot smo jih bili navajeni do sedaj, vendar bi v tem primeru kljub
nekoliko pocasnejsemu delovanju dali prednost metodi SSD, ki nekoliko bolj poudari
tiste minimalne razlike.
5 10 15 20 25 30 350
500
1000
1500
h
Cas
por
avna
vanj
a [s
]
5 10 15 20 25 30 350.9925
0.993
0.9935
0.994
0.9945
0.995
h
Koe
ficie
nt p
odob
nost
i µ
Slika 41: Grafa, ki prikazujeta rezultate meritev pri tretjem poskusu poravnavanja zmetodama USST (moder graf) in SSD (rdec graf). Na levi je prikazan cas poravna-vanja v odvisnosti od parametra h, na desni pa koeficient podobnosti v odvisnosti odparametra h.
V nadaljevanju smo opravili poskus poravnavanja na posnetkih, kjer so lokalne
razlike zelo minimalne in se pojavljajo le na nekaj manjsih obmocjih na slikah. Z
drugimi besedami povedano je slika, katero poravnavamo, zelo podobna referencni
sliki. Opravili smo poskuse poravnavanja pri vrednostih parametra h = 32, h = 16,
h = 8 ter h = 4.
Na sliki 42 je predstavljen rezultat poravnavanja omenjenih ultrazvocnih posnet-
kov. Opazimo lahko, da so poravnani posnetki ter deformacijska polja, ce primerjamo
rezultate poravnavanja z obema metodama, prakticno enaki. Morda so za malenkost
deformacije bolj poudarjene pri posnetkih, poravnanih z metodo SSD, vendar je ta
razlika zanemarljivo majhna. Temu primerno blizu skupaj so tudi koeficienti podob-
nosti, prikazani v preglednici 17. Torej bomo boljso metodo dolocili na podlagi casa
poravnavanja posnetkov.
Tudi casi poravnavanja posnetkov s pomocjo obeh metod so prikazani v preglednici
17. V pomoc nam je lahko tudi graf, prikazan na sliki 43, kjer modra crta predstavlja
meritve rezultatov poravnavanja z metodo USST, rdeca crta pa predstavlja meritve re-
zultatov poravnavanja s pomocjo metode SSD. Opazimo lahko, da je bilo poravnavanje
v tem primeru z metodo USST ponovno veliko hitrejse. Glede na to, da so poravnani
posnetki, dobljeni z obema metodama, prakticno enaki, lahko brez zadrzkov trdimo,
Rezultati 80
Ir It
h = 16
h = 8
h = 4
Slika 42: Primerjava rezultatov pri cetrtem poskusu poravnavanja z metodama USSTin SSD pri razlicnih vrednostih parametra h. V prvi vrstici sta prikazani referencna intestna slika. Prvi stolpec predstavljajo rezultati poravnavanja z metodo USST, njihovapripadajoca deformacijska polja pa so prikazana v tretjem stolpcu. V drugem stolpcuso prikazani rezultati poravnavanja z metodo SSD, njihova pripadajoca deformacijskapolja pa so prikazana v cetrtem stolpcu.
Rezultati 81
h k kSSD t [s] tSSD [s] µ µSSD
32 4 5 25 20 0,997397 0,99636916 6 7 110 120 0,997538 0,9967078 3 7 340 760 0,997700 0,997084 5 5 1690 1960 0,997993 0,997317
Preglednica 17: Rezultati meritev pri cetrtem poskusu poravnavanja z metodamaUSST in SSD.
da je poravnavanje s pomocjo metode USST ucinkovitejse.
0 5 10 15 20 25 30 350
200
400
600
800
1000
1200
1400
1600
1800
2000
h
Cas
por
avna
vanj
a [s
]
0 5 10 15 20 25 30 350.9962
0.9964
0.9966
0.9968
0.997
0.9972
0.9974
0.9976
0.9978
0.998
0.9982
h
Koe
ficie
nt p
odob
nost
i µ
Slika 43: Grafa, ki prikazujeta rezultate meritev pri cetrtem poskusu poravnavanja zmetodama USST (moder graf) in SSD (rdec graf). Na levi je prikazan cas poravna-vanja v odvisnosti od parametra h, na desni pa koeficient podobnosti v odvisnosti odparametra h.
Rezultati 82
Poravnavanje ultrazvocnih posnetkov z vecjimi lokalnimi spremembami
Za konec smo opravili se poskus poravnavanja ultrazvocnih posnetkov, za katere so
znacilne vecje lokalne spremembe. Kot smo ze omenili, je podobnost med referencnim in
testnim posnetkom zelo majhna. Tudi v tem primeru smo skusali primerjati ucinkovitost
metod USST in SSD. Omenjene ultrazvocne posnetke smo poravnavali pri vrednosti
parametra h = 32, h = 16 in h = 8. Rezultat poravnavanja omenjenih posnetkov je na
sliki 44.
V tem primeru pa vidimo, da pri primerjanju poravnavanja z obema metodama
rezultati niso vec podobni, ampak se je vsaka metoda odzvala drugace. Na podlagi
opazovanja slik je zelo tezko oceniti, katera izmed metod je dala boljse rezultate, saj
si posnetki, ki smo jih poravnavali, niso prevec podobni. Lahko pa recemo, da je
rezultat poravnavanja v obeh primerih smiseln glede na okoliscine. Glede na koeficiente
podobnosti, ki so prikazani v preglednici 18 in na sliki 45 (desni graf), lahko recemo,
da je poravnava s pomocjo metode SSD dala celo boljse rezultate.
h k kSSD t [s] tSSD [s] µ µSSD
32 9 20 50 80 0,985243 0,98140916 26 37 480 580 0,989997 0,9885788 18 27 1820 1680 0,991957 0,992113
Preglednica 18: Rezultati meritev pri petem poskusu poravnavanja z metodama USSTin SSD.
Ce si pogledamo case poravnav, lahko opazimo, da so nekje v podobnem okviru,
kar je razvidno tudi na sliki 45 (levi graf). Pri finejsi mrezi deformacijskih parametrov
je v tem primeru bila metoda SSD celo hitrejsa. Torej lahko trdimo, da se pri po-
ravnavanju manj podobnih posnetkov na podlagi trenutnega poskusa malenkost bolje
izkaze metoda SSD. Vendar pa v praksi taksnih posnetkov, med katerimi ni vsaj nekaj
podobnih obmocij, ponavadi ne poravnavamo.
Po opravljenem zaporedju poskusov, s katerimi smo primerjali poravnavanje dveh
razlicnih metod (USST in SSD), smo prisli do zakljucka, da je metoda USST, razvita
v okviru te diplomske naloge, ucinkovitejsa kot metoda SSD. Ucinkovitost se kaze
predvsem v casu poravnavanja posnetkov, ki je v povprecju precej manjsi kot pri metodi
SSD. Res je, da so rezultati poravnavanja dokaj podobni, vendar smo ugotovili, da
metoda USST poravnano sliko deformira manj agresivno kot metoda SSD, kar omogoca
lazje opazovanje smeri deformacij na primerjanih slikah.
Rezultati 83
Ir It
h = 32
h = 16
h = 8
Slika 44: Primerjava rezultatov pri petem poskusu poravnavanja z metodama USSTin SSD pri razlicnih vrednostih parametra h. V prvi vrstici sta prikazani referencna intestna slika. Prvi stolpec predstavljajo rezultati poravnavanja z metodo USST, njihovapripadajoca deformacijska polja pa so prikazana v tretjem stolpcu. V drugem stolpcuso prikazani rezultati poravnavanja z metodo SSD, njihova pripadajoca deformacijskapolja pa so prikazana v cetrtem stolpcu.
Rezultati 84
5 10 15 20 25 30 350
200
400
600
800
1000
1200
1400
1600
1800
2000
h
Cas
por
avna
vanj
a [s
]
5 10 15 20 25 30 350.98
0.985
0.99
0.995
h
Koe
ficie
nt p
odob
nost
i µ
Slika 45: Grafa, ki prikazujeta rezultate meritev pri petem poskusu poravnavanja zmetodama USST (moder graf) in SSD (rdec graf). Na levi je prikazan cas poravna-vanja v odvisnosti od parametra h, na desni pa koeficient podobnosti v odvisnosti odparametra h.
7 Sklep
V tej diplomski nalogi smo predstavili problem poravnavanja ultrazvocnih slik ter pre-
izkusili algoritem za elasticno poravnavanje ultrazvocnih posnetkov. S preizkusanjem
algoritma smo prisli do zanimivih sklepov.
Izkaze se, da algoritem daje najboljse rezultate pri poravnavanju ultrazvocnih po-
snetkov z blagimi lokalnimi spremembami, za katere lahko recemo, da pri poravnavi z
relativno redko mrezo postavljenih deformacijskih parametrov pridemo do dobrih re-
zultatov. Algoritem je uspesen tudi pri deformacijah, ki so malce tezje narave, vendar
takrat za optimalno poravnavo potrebuje vec iteracij in posledicno tudi vec casa.
Nekaj vec tezav povzrocajo posnetki z deformacijami, ki se pojavljajo na zelo majh-
nih obmocjih (reda nekaj pikslov). Algoritem zaradi sirine obmocja pri redko posta-
vljeni mrezi deformacijskih parametrov te spremembe spregleda. Zato uporabimo go-
stejso mrezo deformacijskih parametrov, in sicer tako gosto, da z njimi pokrijemo vse te
majhne spremembe, kar pa vodi v povecanje stevila iteracij algoritma. Izkaze se tudi,
da je v dolocenih takih primerih ucinkovitost algoritma slaba, saj kljub podaljsanemu
casu racunanja ne dobimo veliko boljsih rezultatov. Velike tezave pa zaradi same na-
rave algoritma povzrocajo posnetki z globalnimi in togimi spremembami (zasuki in
premiki). V takih primerih je za optimalno poravnavo treba sliko najprej poravnati
s togim poravnavanjem, zatem pa z opisanim algoritmom opravimo se fino (lokalno)
poravnavo.
Algoritem se ob pravi izbiri gostote mreze deformacijskih parametrov pri poravnavi
ultrazvocnih posnetkov izkaze kot zelo ucinkovit. Glede robustnosti se tezave sicer po-
javljajo pri slikah z globalnimi (togimi) spremembami, kar pa odpravimo s predhodnim
poravnavanjem s katerim izmed alternativnih postopkov za poravnavanje slik.
Na koncu lahko na podlagi opravljenih poskusov vsekakor brez zadrzkov ugotovimo,
da so opisani poskusi potrdili primernost razvitih postopkov za odkrivanje lokalnih
sprememb na ultrazvocnih posnetkih.
7.1 Moznost nadaljnjih raziskav
Kljub uspesnemu delovanju algoritma pa se vedno obstaja kopica moznosti za nadaljne
raziskave. Ena izmed teh je izboljsanje zmogljivosti algoritma, s cimer bi skusali mi-
nimizirati cas, ki ga algoritem porabi za poravnavanje posnetkov. Dve izmed taksnih
moznosti, ki jih navajajo avtorji v [17], so vnaprejsnji izracun kontrolnih tock B-zlepkov
ter izracun gradienta ocenitvene funkcije z uporabo konvolucije.
Zaradi primernosti matematicnega modela lahko algoritem, ki sedaj deluje na 2D
posnetkih, brez tezav razsirimo v algoritem, ki ga lahko uporabimo za poravnavanje
85
Sklep 86
3D ultrazvocnih volumnov. Nas algoritem za elasticno poravnavanje se da v splosnem
razsiriti celo na n dimenzij. Prvi koraki raziskav, kjer bi uporabili nas algoritem za po-
ravnavanje 3D ultrazvocnih volumnov, so ze bili storjeni. Ugotovili smo, da razsiritev
matematicnega modela za eno dimenzijo ne bo predstavljala vecjih tezav, problemi
bodo nastali pri izbiri optimizacijske funkcije, saj je iskalni prostor pri poravnavanju
3D ultrazvocnih posnetkov zelo sirok. Ugotovili smo tudi, da je optimizacijska funk-
cija, uporabljena pri nasem algoritmu za poravnavanje, v taki obliki neprimerna za
poravnavanje 3D posnetkov, saj lahko deluje le z 2D matrikami. Zato smo prisiljeni v
izbiro druge optimizacijske funkcije, ki bo to omogocala, hkrati pa bo morala biti tudi
ustrezno ucinkovita.
Nastete moznosti vsekakor predstavljajo lep izziv za nadaljnje raziskave in nad-
gradnjo obstojecega algoritma. Da bi dosegli maksimalno zmogljivost in uporabnost
postopka za poravnavanje ultrazvocnih posnetkov (kasneje tudi volumnov), se bomo v
okviru podiplomskega studija omenjenih raziskav vsekakor lotili.
Literatura
[1] A. Støylen, Basic ultrasound for clinicians,
http://folk.ntnu.no/stoylen/strainrate/Ultrasound/, 5.7.2008
[2] Wikipedia, Medical ultrasonography,
http://en.wikipedia.org/wiki/Medical ultrasonography, 5.7.2008
[3] M. E. Anderson, G. E. Trahey, A seminar on k-space applied to medical ultraso-
und,
http://dukemil.egr.duke.edu/Ultrasound/k-space/bme265.html, 5.7.2008
[4] N. Dahiya, The Basics of 3D/4D Ultrasound,
http://www.gehealthcare.com/usen/ultrasound/education/products/cme 3d4d.html,
5.7.2008
[5] B. Stern, The Basic Concepts of Diagnostic Ultrasound,
http://www.yale.edu/ynhti/curriculum/units/1983/7/83.07.05.x.html, 5.7.2008
[6] Wikipedia, Ultrasound, http://en.wikipedia.org/wiki/Ultrasound, 5.7.2008
[7] U. R. Abeyratne, A. P. Petropulu, J. M. Reid, Higher Order Spectra Based Decon-
volution of Ultrasound Images, IEEE Transactions on Ultrasonics, Ferroelectrics
and Frequency Control, 42, (1995), 6, str. 1064-1075
[8] J. B. A. Maintz, M. A. Viergever, A Survey of Medical Image Registration, Medical
Image Analysis, 2, (1998), 1, str. 1-37
[9] B. Zitova, J. Flusser, Image registration methods: a survey, Image and Vision
Computing, 21, (2003), 1, str. 977-1000
[10] P. Rogelj, Elasticna poravnava slik razlicnih modalnosti, magistrsko delo, Univerza
v Ljubljani, Fakulteta za elektrotehniko, 2001
[11] B. Likar, Registration and Restoration of Medical Images, samozal. B. Likar, 2000
[12] W. R. Crum, T. Hartkens, D. L. G. Hill, Non-rigid image registration: theory and
practice, The British Journal of Radiology, 74, (2004), 1, str. 140-153
[13] F. Maes, A. Colligron, D. Vandermaelen, G. Marchal, P. Saetens, Multimodality
Image Registration by Maximization of Mutual Information, IEEE Transactions
on Medical Imaging, 16, (1997), 2, str. 187-198
87
[14] C. Fookes, A. Maeder, Comparison of Popular Non-Rigid Image Registration Te-
chniques and a New Hybrid Mutual Information-Based Fluid Algorithm,
http://www.aprs.org.au/wdic2003/CDROM/57.pdf, 8.8.2008
[15] J. Wu, A. C. S. Chung, Multimodal Brain Image Registration Based on Wavelet
Transform Using SAD and MI,
www.cse.ust.hk/˜achung/miar04 wu chung.pdf, 8.8.2008
[16] Y. Yue, J. W. Clark, D. W. Khoury, Speckle Tracking in Intracardiac Echocar-
diography for the Assessment of Myocardial Deformation, IEEE Transactions on
Biomedical Engineering (v tisku)
[17] J. Kybic, M. Unser, Fast Parametric Elastic Image Registration, IEEE Transac-
tions on Image Processing, 12, (2003), 11, str. 1427-1442
[18] J. Kybic, Elastic Image Registration using Parametric Deformation Model, dok-
torsko delo, Ecole Polytechnique Federale de Lausanne, 2001
[19] N. Guid, Racunalniska grafika, Fakulteta za elektrotehniko, racunalnistvo in in-
formatiko Maribor, 2001
[20] M. Unser, Splines: A Perfect Fit for Signal and Image Processing, IEEE Signal
Processing Magazine, 16, (1999), 6, str. 22-38
[21] C. Zhu, R. H. Byrd, J. Nocedal, L-BFGS-B – FORTRAN routines for large scale
bound constrained optimization, ACM Transactions on Mathematical Software,
23, (1997), 4, str. 550-560
[22] P. Carbonetto, A MATLAB interface for L-BFGS-B,
http://www.cs.ubc.ca/˜pcarbo/lbfgsb-for-matlab.html, 10.4.2008
[23] MathWorks, MEX-files Guide,
http://www.mathworks.com/support/tech-notes/1600/1605.html, 10.4.2008
88