AKADEMIA GRNICZO-HUTNICZA IM. STANISAWA STASZICAWYDZIA ELEKTROTECHNIKI, AUTOMATYKI, INFORMATYKI I ELEKTRONIKIKatedra AutomatykiROZPRAWA DOKTORSKAAlgorytmy komputerowej detekcji duych obiektww obrazach o wysokim poziomie szumui niejednorodnocimgr in. Rafa PetryniakPromotorProf. dr hab. in. Leszek WojnarPolitechnika Krakowskaim. Tadeusza KociuszkiKrakw 2011iPragn serdecznie podzikowa mojemu promotorowiprof. dr hab. in. LeszkowiWojnarowi,za yczliw opieki pomoc w przygotowaniu niniejszej rozprawy doktorskiej.Dzikuj wszystkim,ktrzy przyczynili si do powstania tej pracy.Rafa PetryniakiiKarolowi i Dorocie,ktrzy przyszli na wiatw trakcie pisania tej pracySpis treciSpistreci iiiSpisrysunkw vSpistabel viiiWykazskrtw i oznacze ixI. Wprowadzenie1. Wstp 22. Analizaproblemu, cel i zakrespracy 12II. Przygotowanieobrazudo dalszejanalizy3. Metodyusuwaniaszumu 223.1. Proste ltry korzystajce z ssiedztwa punktu. . . . . . . . . . . . . . . . 233.2. Liniowe wygadzenie obrazu bazujce na funkcji Gaussa . . . . . . . . . . 243.3. Nieliniowe wygadzenie obrazu bazujce na funkcji Gaussa. . . . . . . . . 274. Wstpnasegmentacjaobrazu 334.1. Klasyczny algorytm dziaw wodnych . . . . . . . . . . . . . . . . . . . . 344.2. Segmentacja z wykorzystaniem minimalnego drzewa rozpinajcego . . . . 365. czeniesegmentw 395.1. Wykorzystanie reprezentacji grafowej na potrzeby algorytmu czeniasegmentw . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395.2. Popularne kryteria czenia segmentw . . . . . . . . . . . . . . . . . . . . 41III.Algorytmysegmentacji orazdetekcji duychobiektw6. Segmentacjaobrazuzuyciem modelubazujcego nakrawdzi 486.1. Problem niecigoci krawdzi i sposoby ich czenia . . . . . . . . . . . . 48iiiSpis treci iv6.2. Propozycja algorytmu czenia regionwz wykorzystanieminformacjio krawdzi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 567. Detekcjaobiektw zuyciem modelubazujcego naksztacie 687.1. Segmentacja obiektw na obrazie z wykorzystaniem atlasu. . . . . . . . . 697.2. Propozycja algorytmu dokadnego dopasowania modelu do obiektu . . . . 718. Interaktywna metoda segmentacji obrazu bazujca na modeluznacznikw kontrolnych 938.1. Algorytm dziaw wodnych bazujcy na znacznikach . . . . . . . . . . . . 948.2. Hierarchiczna segmentacja obrazu . . . . . . . . . . . . . . . . . . . . . . 978.3. Podsumowanie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99IV. Podsumowanie9. Propozycjerozszerzajcemoliwoci proponowanejmetody 1029.1. Projekt automatycznego systemu rozpoznawania i detekcji duych obiektw1039.2. Koncepcja systemu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1039.3. Realizacja systemu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1079.4. Podsumowanie prac nad projektem. . . . . . . . . . . . . . . . . . . . . . 10910. Podsumowaniei wnioski 110V. DodatkiA. Algorytmydetekcji krawdzi 115A.1. Proste sposoby detekcji krawdzi . . . . . . . . . . . . . . . . . . . . . . . 115A.2. Zaawansowana detekcja krawdzi na przykadzie algorytmu Canny . . . . 117B. Algorytmywyznaczajcetransformacjjednego obrazuw drugi 120B.1. Techniki ledzenia obiektw. . . . . . . . . . . . . . . . . . . . . . . . . . 121B.2. Algorytmy nakadania obrazw. . . . . . . . . . . . . . . . . . . . . . . . 124Literatura 129rdainternetowe 137Skorowidz 138Spis rysunkw1.1 Spektrum elektromagnetyczne z zaznaczonym zakresem promieniowaniawidzialnego . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.2 Zdjcia przykadowych miast ilustrujce problemy detekcji duych obiektw . 71.3 Obrazy prezentujce przykady duych obiektw . . . . . . . . . . . . . . . . . 92.1 Wskazanie problemw w analizie duych obiektw na przykadzie obrazu kociudowej. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132.2 Segmentacja radiogramu koci udowej za pomoc standardowych metodprzetwarzania obrazu. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152.3 Moliwoci redukcji liczby segmentw poprzez zastosowanie algorytmuczcego segmenty. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173.1 Wyniki dziaania liniowych ltrw wygadzajcych . . . . . . . . . . . . . . . 253.2 Wykres dwuwymiarowej funkcji rozkadu Gaussa . . . . . . . . . . . . . . . . 263.3 Wykres zalenoci wspczynnikw wygadzenia obrazu od wartociestymatora krawdzi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283.4 Wyniki dziaania nieliniowego ltru rozmycia obrazu opartego o modelPerona-Malik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293.5 Wygadzenie obrazu ltrem medianowym (rezultaty i prol) . . . . . . . . . . 313.6 Porwnanie prolu ltracji redni arytmetyczn z median . . . . . . . . . . 323.7 Porwnanie prolultracji medianowej i ltracji Perona-Malik z obrazemoryginalnym. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324.1 Wyniki segmentacji koci biodrowej z wykorzystaniemalgorytmu dziawwodnych. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354.2 Segmentacja wododziaowa obrazu po uprzednim usuniciu szumu. . . . . . . 354.3 Przykad segmentacji obrazu niejednorodnego algorytmem grafowymposzukujcym minimalnego drzewa rozpinajcego . . . . . . . . . . . . . . . . 374.4 Segmentacja rentgenowskich obrazw koci udowej algorytmem grafowym MST 385.1 Testowa aplikacja prezentujca dziaanie rnych kryteriw czenia segmentw435.2 Wyniki czenia segmentw dla wybranego obrazu klatki piersiowej . . . . . . 445.3 Wyniki czenia segmentw dla wybranego obrazu koci udowej . . . . . . . . 45vSpis rysunkw vi6.1 Problem segmentacji obrazu z uyciem obrazu krawdziowego . . . . . . . . . 496.2 Problem segmentacji obrazu z wykorzystaniem obrazu krawdziowego . . . . . 496.3 Uzupenienie linii krawdzi metod ledzenia z wykorzystaniem obrazugradientowego. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516.4 Mapa odlegoci, jej negatyw i lokalne minima dla obrazu krawdziowego . . . 526.5 Rne warianty obrazw bdcych podstaw zalewania w algorytmie dziawwodnych. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 536.6 Wyniki czenia krawdzi z wykorzystaniem algorytmu dziaw wodnych . . . 536.7 Prezentacja wykorzystania dziaw wodnych do zamykania krawdzi . . . . . . 546.8 Przykadowy obraz echokardiograczny serca oraz wyniki detekcji lewej komory. 556.9 Ilustracja wpywu obrazu gradientowego na wynik detekcji dziaw wodnych . 556.10Obraz oryginalny i obrazy wejciowe do algorytmu czenia regionwnapodstawie krawdzi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 576.11Pojcie granicy oraz krawdzi midzy dwoma segmentami . . . . . . . . . . . . 586.12Klasykacja granic segmentw ze wzgldu na ssiedztwo krawdzi . . . . . . . 586.13Wynik kocowy i wyniki porednie proponowanego algorytmy czeniasegmentw . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 596.14Przykad niespjnoci wynikw algorytmu dziaw wodnych i detekcji krawdziCanny . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 606.15Przykadowy schemat podziau segmentw wyraony w postaci grafu (1) . . . 616.16Przykadowy schemat podziau segmentw wyraony w postaci grafu (2) . . . 646.17Przykady dziaania algorytmu czenia segmentw na podstawie krawdzi dlainnych zdj. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 657.1 Przykadowe zdjcia tomograczne klatki piersiowej . . . . . . . . . . . . . . . 697.2 Pierwszy etap segmentacji bazujcej na atlasie. . . . . . . . . . . . . . . . . . 707.3 Drugi etap segmentacji bazujcej na atlasie . . . . . . . . . . . . . . . . . . . 707.4 Trzeci etap segmentacji bazujcej na atlasie . . . . . . . . . . . . . . . . . . . 717.5 Problemy z dokadnoci algorytmu nakadania obrazw . . . . . . . . . . . . 727.6 Obrazy wejciowe do proponowanego algorytmu dokadnego dopasowania . . . 737.7 Wyniki dziaania proponowanego algorytmu dokadnego dopasowania dlarnych wartoci parametrusigma rozmycia Gaussa . . . . . . . . . . . . . . . 777.8 Wynik dziaania proponowanego algorytmu dokadnego dopasowania dla zdjtomogracznych klatki piersiowej . . . . . . . . . . . . . . . . . . . . . . . . . 797.9 Wzorcowy obraz koci udowej i manualnie przygotowany jej obrys . . . . . . . 807.10Prezentacja dziaania proponowanego algorytmu dokadnego dopasowania dlaobrazw koci udowej. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 817.11Poprawa detekcji koci udowej z zastosowaniem algorytmu czenia segmentw 83Spis rysunkw vii7.12Detekcja koci okciowej z wykorzystaniem metod zaproponowanych w pracy . 857.13Detekcja jamy miednicy z wykorzystaniem metod zaproponowanych w pracy . 867.14Detekcja drugiej koci rdrcza lewej rki z wykorzystaniem metodzaproponowanych w pracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 877.15Detekcja koci piszczelowej z wykorzystaniem metod zaproponowanych w pracy 887.16Detekcja koci udowej z wykorzystaniem metod zaproponowanych w pracy . . 897.17Detekcja koci pitowej z wykorzystaniem metod zaproponowanych w pracy . 907.18Detekcja koci ramiennej z wykorzystaniem metod zaproponowanych w pracy . 918.1 Interaktywna segmentacja obrazu algorytmem dziaw wodnychz zastosowaniem znacznikw punktowych. . . . . . . . . . . . . . . . . . . . . 958.2 Wpyw pooenia punktu startowego na wynik segmentacji obrazu algorytmemdziaw wodnych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 968.3 Moliwoci dokadnegookrelaniaobiektwdosegmentacji zzastosowaniemznacznikw cigych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 978.4 Proces hierarchicznej segmentacji obrazu z wykorzystaniem algorytmu dziawwodnych na sztucznym obrazie . . . . . . . . . . . . . . . . . . . . . . . . . . 988.5 Przykady dziaania algorytmu dziaw wodnych ze znacznikiem na obrazachprzedstawiajcych natur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1009.1 Projekt gracznej bazy danych - pierwsze dodanie obrazw do bazy . . . . . . 1059.2 Projekt gracznej bazy danych - dodanie kolejnych obrazw do bazy . . . . . . 1069.3 Przykadowy zrzut ekranu przedstawiajcy dziaanie skonstruowanej gracznejbazy danych. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108A.1 Detekcja krawdzi z uyciem obrazu gradientowego . . . . . . . . . . . . . . . 116A.2 Redukcja szumu ltrem Gaussa o wartocisigma = 2.0. . . . . . . . . . . . . 118A.3 Kierunek i zwrot gradientu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118A.4 Wynik eliminacji pikseli o niemaksymalnej wartoci . . . . . . . . . . . . . . . 119A.5 Obraz wynikowy dla algorytmu detekcji krawdzi algorytmem Canny . . . . . 119B.1 Prezentacja dziaania algorytmu przepywu optycznego Lukas-Kanade . . . . . 123B.2 Prezentacja dziaania algorytmu przepywu optycznego Horn-Schunck. . . . . 123B.3 Prezentacja dziaania korelacyjnego algorytmu dopasowania blokw . . . . . . 123B.4 Prezentacja dziaania algorytmunakadania obrazwbazujcego na ruchupoziomic. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126B.5 Prezentacja dziaania dwukierunkowego algorytmu nakadania obrazwz wykorzystaniem krzywych B-Spline . . . . . . . . . . . . . . . . . . . . . . . 127B.6 Rezultaty nakadania obrazu uzyskane narzdziem bUnwarpJ . . . . . . . . . 128Spis tabel3.1 Macierz ltru uredniajcego o rozmiarach 7 x 7. . . . . . . . . . . . . . . . . 243.2 Macierz ltru Gaussa o wartocisigma = 1 . . . . . . . . . . . . . . . . . . . 27A.1 Macierze ltrw gradientowych w kierunku poziomym i pionowym. . . . . . . 115viiiWykaz skrtw i oznaczeIMin analizowany obraz wejciowyIMout obraz wynikowyIMblur obraz po wygadzeniuIMws obraz reprezentujcy segmenty uzyskane algorytmem dziaw wodnychG(x, y) dwuwymiarowa funkcja rozkadu Gaussa odchylenie standardowe rozkadu normalnego (sigma)E(x, y) estymator krawdzi_u(x, y) gradient jasnoci obrazuCi zbir pikseli tworzcych jeden segment na obrazieInt(Ci) wewntrzne zrnicowanie podzbioruCiMST(Ci) minimalne drzewo rozpinajce podzbioruCie oznaczenie krawdzi grafuw(e) waga krawdzi grafueS, S1, S2, ... oznaczenie biecego i kolejnych analizowanych segmentwKi(S1, S2) kryterium czenia (podobiestwa) segmentwS1 iS2Mi(S) miara spjnoci segmentuSImin[x], x S kolejne piksele segmentu SKab kryterium czenia segmentu az segmentem bKba kryterium czenia segmentu bz segmentem adgab dugo granicy pomidzy segmentami ai bdgba dugo granicy pomidzy segmentami bi adkab dugo krawdzi na granicy segmentw ai bdkba dugo krawdzi na granicy segmentw bi aOpa obwd segmentu aOpb obwd segmentu bixCzIWprowadzenieRozdzia 1WstpWraz z pojawieniemsi pierwszychkomputerwwpoowie XXwiekurozpocz siokres gwatownego rozwoju spoeczestwa cyfrowego. Elektroniczne maszyny liczce,ktrezaczypojawiasinajpierwwzastosowaniachnaukowych, ekonomicznychorazwojskowych, obecnie wspierajczowiekaniemal wkadymrodzajujegoaktywnoci.Dotyczytonietylkowykonywaniadugichi mudnychoblicze, alerwniewsparcianarzdwzmysu(np. wzroku). Wszczeglnoci, naprzestrzeni ostatniegopwieczanastpi bardzoszybki rozwj cyfrowej analizyobrazw, cozaowocowaopowstaniemsystemwwizyjnych, ktreznajdujzastosowaniewwieludziedzinach, poczwszyodastronomii, geologii, zyki, poprzez medycyn, biologi i ekologi, a po archeologii sztuk. Pomimotego, esystemyteniestakdoskonaejakludzki narzdwzroku,to mog znacznie wesprze i poszerzy zakres jego moliwoci. Przykadowo fotograacyfrowa i analogowa pozwalaj na utrwalenie obrazw, ktre widzimyprzez uameksekundy, umoliwiajc tymsamymichpniejszanaliz wsposbbardziej uwany,a co za tymidzie bardziej obiektywny. Teleskopy i mikroskopy poszerzaj zakresludzkiegowidzenia, pozwalajcnaobserwowanieobiektwwrnej skali. Nowoczesnetechnologiemogrwniezrekompensowanaturalneograniczenialudzkiegooka, ktrewidzi tylkowograniczonymprzedzialeczstotliwocispektrumelektromagnetycznego(Rys. 1.1). Tymsamymmamy moliwo obserwowania zjawisk zachodzcych nietylko w zakresie promieniowania widzialnego, ale rwnie promieniowania gammai rentgenowskiego, jak rwnie w pamie podczerwieni i fal radiowych. Wasnota ju wXIXwieku pozwolia W.C. Roentgenowi na zarejestrowanie obrazu kociczowieka za pomoc odkrytego przez niego promieniowania X (zwanego rwnie od jegonazwiska promieniowaniem rentgenowskim). W kolejnych latach rozpocz si intensywnyrozwj rnego typu urzdze obrazowania medycznego, a do momentw przeomowychmona zaliczy [47] w szczeglnoci: zbudowanie mikroskopu elektronowego przezM. Knolla i E. Ruska, opracowanie zasad tomograi komputerowej przez A.M. Cormacka,pierwszezastosowanieultradwikworazpierwszewykorzystaniejdrowegorezonansumagnetycznego. Narzdzia te stanowi obecnie podstaw nowoczesnych metod diagnostykimedycznej.21. Wstp 3Rysunek1.1: Spektrumelektromagnetyczne z zaznaczonymzakresempromieniowaniawidzialnego (rdo: Wikipedia).Szerokie wykorzystanie systemw wizyjnych generuje ogromn ilo informacjiobrazowej. Dotyczytojunietylkotakspecjalistycznychzastosowa, jakdiagnostykaobrazowa,czyteobserwacjaniebanowoczesnymiteleskopami.Dzikiupowszechnieniusi cyfrowych aparatw fotogracznych oraz kamer wideo obraz jest gromadzony niemalnieustanie przez coraz wiksz liczb urzdze. Niestety w wikszoci przypadkw jakopozyskiwanych obrazw nie jest zadowalajca. Problem ten szczeglnie dotyczy urzdzemobilnych, ktre pomimocoraz wikszychmatryc wiatoczuychmajbardzosaboptyk. Chcc podda takie obrazy analizie, niezbdne wydaje si podjcie odpowiednichkrokwmajcychnacelupoprawichjakoci. Monawtymceluskorzystazmetodcyfrowego przetwarzania obrazu, ktre pozwalaj na usunicie zakce powstaychw trakcie procesu akwizycji, na ich wyostrzenie, a take popraw kontrastu oraz jasnociposzczeglnych punktw. Nawet tak przygotowane obrazy mog okaza si bezwartociowinformacj, jeli nie zostan odpowiednio zinterpretowane. Angaowanie do tej roli tylkoiwycznieczowieka,nawetjelinapocztkuwydajesitonajlepszymrozwizaniem,moe powodowa szereg problemw, ktre wynikaj przede wszystkimz ograniczeludzkiego narzduwzroku. Pomimo tego, e ludzki mzg przetwarza dane obrazowezprdkociok.100MB/s[69],tojednakszybkoulegaznueniu,jeliobserwowanajestprzez duszy czas ta sama scena. Dodatkowo nasze oko reaguje raczej na zmiany wartocibodcw, ni na ich wartoci bezwzgldne. Czynniki te znacznie zmniejszaj dokadnoocenyzjawiskobserwowanychnaobraziei uniemoliwiajuznaniejej zaobiektywn.W takiej sytuacji konieczne wydaje si wprowadzenie kolejnych etapw cyfrowej obrbkiobrazu, i nailejesttomoliwe, deniedopenejautomatyzacji procesupozyskiwania1. Wstp 4i oceny obrazu. Istotn rol odgrywaj tu zaawansowane algorytmy segmentacji obrazu,detekcji i ledzeniaobiektw, atake metodyrozpoznawaniawzorcw. Algorytmyteuatwiaj poszukiwanie i mierzenie analizowanych obiektw, ale nie s w stanie dokonapenej interpretacji zjawisk zarejestrowanych wobrazie. Wtymcelu niezbdna jestspecjalistyczna, czsto rwnie interdyscyplinarna wiedza, ktr posiada osoba dokadnieznajca badane zagadnienie. Ztak sytuacjspotykamysi np. wmedycynie, gdzielekarz bazujc na swojej wiedzy i dowiadczeniu potra oceni obraz i na tej podstawiedokonuje diagnozy stanu zdrowia pacjenta. Wanie taka wiedza i dowiadczenie,po odpowiednimzamodelowaniu walgorytmach przetwarzania obrazu, pozwala naprowadzenie prac naukowych [34, 24, 32] ukierunkowanych na tworzenie automatycznychlub pautomatycznych metod analizy obrazu. Powstaj rwnie prace [49, 70], ktrychcelem jest transfer wiedzy eksperckiej do systemw komputerowych w celu umoliwieniaautomatycznego rozumienia obrazw. Tego typu badania daj nadziej, e w niedalekiejprzyszoci nowoczesne systemy wizyjne zdobd uznanie w kolejnych dziedzinach yciajako realne wsparcie dla czowieka.Wchwili obecnej wyzwaniemdla inynierw tworzcych systemy wizyjne jestkonstruowanie uoglnionych algorytmw, ktre bd mogy znale zastosowanie w wielurnych przypadkach, a nie bdcych wycznie rozwizaniami dedykowanymi dlakonkretnego problemu. Znaczna cz popularnych algorytmw segmentacji obrazupozwala jedynie wykry elementarne obiekty wystpujce na obrazie, a nie cae obszary,ktreodpowiadajobiektomistniejcymwrzeczywistoci. Podejcietojest sprzecznez natur zmysu wzroku, ktry najpierw koncentruje nasz uwag na gwnych obiektach,ktre widzimy, a dopiero pniej pozwala nam dostrzec ich szczegy. W niniejszej pracyzostanie podjta tematyka detekcji takich obiektw, zwanych dalej duymi obiektami.cisezdeniowanieduegoobiektujakoelementuobrazunapotykanapodstawowtrudno, wynikajc z faktu, e obraz stanowi jedynie pewne odwzorowanierzeczywistoci. Wyobramysobiepojedynczosobstajcprzedgadkcian. Jeliw odpowiedni sposb owietlimy t osob, to na cianie uzyskamy jej cie. Sfotografowanietego cienia doprowadzi do powstania obrazu, na ktrym z atwoci wyrnimy jeden duyobiekt, a mianowicie cie omawianej osoby. Jeeli zrobilibymy zdjcie tej osoby i wszystkiepunktyjej obrazuistotnierniybysiodta(bdzietakzapewnenp. wprzypadkuosobywciemnymubraniuinienobiaejciany),to rwniewzgldnieatwebdziejejrozpoznaniejakojednegoduegoobiektu. Sprawaskomplikujesi, gdysfotografujemyosobubrannabiaolubdwieosoby, szczeglnie, gdybdnp. przytulonedosiebiei ubrane w podobny sposb. Obserwator takiego wydarzenia prawdopodobnie nie bdziemia problemw z rozrnieniem osb, o ktrych mowa, jednak zadanie to moe by ju1. Wstp 5dosyskomplikowanedorozwizaniazpomocoglnieznanychmetodkomputerowejanalizy obrazy.Podstaw zaliczenia danej grupy pikseli jako obiektu powinno by to, eodzwierciedlajone obiekt istniejcyzycznie, anie fakt posiadaniawsplnej cechy,takiej jak kolor, poziom szaroci, czy ssiedztwo. W oglnym przypadku do detekcji takrozumianychduychobiektwniewystarczyocenawartoci poszczeglnychpunktwkonieczne jest uwzgldnienie wiedzy o zycznych cechach badanych obiektw. Zapis takiejwiedzy w postaci sformalizowanej moe by bardzo trudny, szczeglnie, jeli zaoymy, eakwizycjaobrazumoeprzebieganietylkozapomocpowszechnieznanychaparatwfotogracznych, alerwnieinnychurzdze, takichjakkameratermowizyjna, aparatrentgenowski lub tomograf komputerowy.Due obiekty w rozumieniu niniejszej pracy, tak naprawd nie musz bywrzeczywistoci obiektami oduychrozmiarach. Wanejest to, abybyytoobiektydue w skali obrazu. Moe to by np. cae osiedle mieszkalne lub seria blisko rosncych,nachodzcych na siebie drzew. Z drugiej strony moe to by np. pojedyncza ywa komrka,podwarunkiem, ezajmujeznacznyobszarprzedstawiajcegojobrazu. Obiektywnietrudno wskaza warto progow, ktra oddzielaaby due obiekty od maych, ale monazaproponowa kilka kryteriw uatwiajcych takie rozrnienie.1. Wielko obiektu wzgldem innych obiektw. Kryteriumto mona rozpatrze nadwa sposoby:Jeli obraz przedstawia podobne obiekty, to mona zaoy, e bd one duymobiektami, jeli razem zajmuj wiksz cz obrazu, a ich liczba nie przekraczakilku(maksymalnie kilkunastu) egzemplarzy. Przykademopisywanej tutajsytuacji moe by obraz mocno powikszonej struktury komrkowej.Wprzypadkuobrazu,naktrymwystpujrne obiekty,doduychmonazaliczy te o najwikszymrozmiarze, pod warunkiem, e w sumie ichpowierzchnia rwnie zajmuje wiksz cz obrazu, a liczebno nie przekraczakilku, wzgldnie kilkunastu sztuk.2. Wizualna odrbno obiektu. Duy obiekt na obrazie niekoniecznie musi byobiektempojedynczym. Moeonskadasizmniejszych, skadowychobiektw.Tak grup mona sklasykowa jako jeden obiekt, jeli istnieje problem z wizualnymoddzieleniem poszczeglnych obiektw od siebie. Przykadem moe by grupa drzewrosncych blisko obok siebie, ktre na siebie nachodz. Dodatkowo, sklasykowaniuzbioruobiektwjakojedenduyobiektmoesprzyjaliczbatychobiektw. Jelijestichkilkadziesit, anawetkilkaset, adotegotworzoneskupiskooddzieloneodinnychobiektw,mogbyoneuznanejakojedenduyobiekt.Jakoprzykad1. Wstp 6mona poda tum ludzi na koncercie muzycznym stojcych na otwartej przestrzeni.W tym przypadku kryterium klasykacji moe by np. stosunek gabarytw obiektudo jego odlegoci od najbliszych ssiadw.Podanekryterianieskryteriami cileliczbowymi, aleraczej zbioremwskazweki cech duych obiektw, ktre mog uatwi ich rozrnienie spord innych obiektw naobrazie. Kryteria te mogyby zosta opisane za pomoc teorii liczb i zbiorw rozmytych,jednakrnorodno sytuacji, jakie mogzosta przedstawione naobrazie moe bytakdua, ebardzotrudne, wrczniemoliwejestjednoznaczneokrelenieprzedziawklasykacji. Wzwizkuztymwdalszej czci pracyzakadasi, ekadaseriazdj,ktra bdzie podlega analizie, powinna zosta wczeniej oceniona przez uytkownika, czyzawiera due obiekty czy te nie. Taka ocena, pomimo tego, e bdzie ocen subiektywn,jest niezbdna, aby uszczegowi jak przestrze na obrazie maj zajmowa due obiektyi jakamoebyichmaksymalnaliczebno(kryterium1)i czyjestmoliwewizualnerozrnienie poszczeglnych elementw tworzcych wiksz grup (kryterium 2).Wstpna ocena zdj wykonana przez uytkownika, moe by rwnie niezbdna tam,gdziejest potrzebnadodatkowawiedzapozwalajcaokreligranicezaleganiaduychobiektw. Wiedza ta moe wynika z dowiadczenia, a nawet intuicji osoby oceniajcej, cojeszcze bardziej utrudnia sformalizowanie jej w postaci przedziaw i kryteriw liczbowych.Aby zilustrowa tego typu sytuacj, mona wyobrazi sobie zdjcie lotnicze lub satelitarneprzedstawiajce due miasto (przykady na rysunkach 1.2a i 1.2b). Jeli zadaniem byobywyznaczenie obszarumiastanatymobrazie, tomonawskaza kilkaprzykadowychproblemw z tym zwizanych:obszar centrum (wysoka zabudowa, mao zieleni) rni si znacznie od przedmiei dzielnic willowych,dzielnice willowe z kolei wygldaj podobnie, jak otaczajce miasto mniejszemiasteczka, ktre do niego nie nale,czmiastajestzacienionalubwrczzasonitaprzezchmury, coutrudnialubuniemoliwia rozpoznanie niektrych obszarw,wprzypadku gdy miasto pooone jest wterenie grzystym, zabudowa moeby znacznie rzadsza i poronita dodatkowo licznymi drzewami i krzewamiupodobniajc si tymsamymdo licznych podmiejskich (ju poza miastem)nieuytkw.Wskazane powyej problemy pomimo pewnego stopnia skomplikowania, wydaj si atwedorozwizaniawdrodze manualnegozaznaczeniaobszarumiastaprzez uytkownika1. Wstp 7(a)(b)Rysunek 1.2: Zdjcia przykadowych miast ilustrujce problemy detekcji duych obiektw.(a) Bergen, Norwegia (autor: Leszek Wojnar).(b) Salt Lake City, Utach, USA (autor: Rick Willoughby).naobrazie. Tosamozadanie, jeli miaobyzostarozwizanewpeni automatycznieprzez komputer, nie wydaje si ju takie trywialne. Potrzeba podjcia tego zadaniawynika przede wszystkimz szybkoci i powtarzalnoci analizy wykonywanej przez1. Wstp 8komputer. Powtarzalno wynikwanalizymoe z powodzeniemzrwnoway drobnebdy w detekcji obiektw.Trudnoci wanalizieduychobiektwnaobrazachkomputerowychmogwynikanietylkozproblemuobiektywnegooddzieleniaichodpozostaychobiektw(moetowymaganawetzaangaowaniaosobyzewntrznej, ktrawskaeichdodatkowecechy),ale rwnie z problemwz ichakwizycji cyfrowymzapisem. Nierzadkozdarzasi,e z powodu swojej wielkoci obiekty te bywaj nierwnomiernie owietlone, a ichkrawdziewrnychmiejscachobrazumajrnepoziomyostroci. Czstobywatak,e maj one struktur niejednorodn i mog wyglda na obrazie jako zbir kilkuobiektw, chowistocietworzjedenwikszyobiekt. Wdalszej czci pracyzostaniedodatkowo rozpatrzona moliwo wystpowania zakce w obrazie, ktre jeszczebardziej utrudniaj proces detekcji duych obiektw.Wymienione powyej przykadowe problemy wistotny sposbutrudniaj analizobrazwprzedstawiajcychdueobiekty. Istniejewieletypwobrazw, ktrychmoeto dotyczy. Oto niektre z nich:wybrane skadniki struktur metali i ich stopw (np. obszary eutektyk (Rys. 1.3a)),obrazy przedstawiajce natur (Rys. 1.3b i 1.3e) - zarwno roliny jak i zwierzta,obszar narzdw wewntrznych na obrazach z tomograi komputerowej, np. obszarpuc (Rys. 1.3c),ladyzuycianapowierzchnirnychelementw(np.zuytaoponasamochodowa(Rys. 1.3d) lub wylizgany obszar touch-pada),obszar elementw kostnych, np. obszar koci udowej (Rys. 1.3f) oraz innych obiektw(Rys. 1.3g, 1.3h i 1.3i) na obrazach rentgenowskich.Dla obrazw takich jak te opisane powyej i innych, na ktrych wystpuj due obiekty,celemrozprawybdzieopracowanienowychmetodprzetwarzaniaobrazu, dziaajcychpodobnie jak nasz zmys wzroku, ktry ma zdolno do eliminacji zakce orazumiejtnokorzystaniazbazywiedzy. Cel tezzostaniedokadniesprecyzowanypodkoniec rozdziau 2, gdzie zostaa rozwinita problematyka detekcji duych obiektw orazzosta przedstawiony aktualny stan bada w tym zakresie.1. Wstp 9(a) (b) (c)(d) (e) (f)(g) (h) (i)Rysunek1.3: Obrazy prezentujce przykady duychobiektw(dokadny opis rdewtekcie; Rys. 1.3ai 1.3drdoInternet. Rys. 1.3bi 1.3epobranozoglnodostpnejbazy obrazwBerkeley Segmentation Dataset and Benchmark [44]. Rys. 1.3c jedenz przykadowych obrazw puc pozyskanych z Collegium Medicum UniwersytetuJagielloskiego. Rys. 1.3f jeden z obrazw radiologicznych koci udowej pozyskanyzKrakowskiegoCentrumMedycznego.Rys.1.3g,1.3hi1.3ipochodzinternetowejbazyobrazw medycznych Image Retrieval in Medical Applications).1. Wstp 10Rozprawa zostaa podzielona na 5 czci:I Wprowadzenie poza oglnym wstpem do problematyki detekcji duychobiektw (Rozdz. 1), zawiera bardziej szczegow analiz podejmowanego tematupracy przy uwzgldnieniu aktualnego stanu wiedzy (Rozdz. 2). Pod koniec rozdziauAnalizaproblemu,cel izakrespracyokrelonocelpracy,podanojejzakresorazpostawiono tezy, ktre bd werykowane w kolejnych czciach pracy.II Przygotowanie obrazu do dalszej analizy przedstawia metody, ktrychuycie jest zalecane na etapie wstpnej obrbki materiau badawczego przedprzystpieniemdo waciwego procesu jego analizy. Omwiono tutaj metodyusuwaniaszumuzobrazu(Rozdz. 3), algorytmywstpnejsegmentacji (Rozdz. 4)oraz znane techniki czenia regionw(Rozdz. 5), ktre byy testowane przedopracowaniem wasnych algorytmw.III Algorytmy segmentacji oraz detekcji duych obiektw stanowi gwn czepracy, gdzie zaprezentowano trzy koncepcje segmentacji i detekcji duych obiektw.Kada z tych koncepcji (Rozdz. 6, 7 i 8) bazuje na powszechnie znanych w literarurzemetodach przetwarzania obrazu, a wkadem wasnym autora niniejszej pracy s dwanowealgorytmy(Rozdz. 6.2i 7.2), ktrychcelemjestusprawnienieichdziaaniai poprawa jakoci uzyskiwanych przez nie wynikw.IVPodsumowanie zawiera nie tylko kocowe wnioski (Rozdz. 10), ale rwniewskazuje na propozycje wykorzystania opracowanych metod w systemieautomatycznego rozpoznawania i detekcji duych obiektw, ktrego projekt i etapyrealizacji opisano w rozdziale 9.VDodatki. Ostatniacz pracyzawieraopis znanychwliteraturze algorytmwanalizy obrazu (Dodatek A i B), ktre byy podstaw opracowania wasnych metodbadawczych. Pomimotego, eprawdopodobnieznanesoneosobomnacodziezajmujcymsikomputerowanalizobrazu,tozostaydoczone,abypozostaeosoby rwnie mogy pozna zasady ich dziaania.1. Wstp 11Wcelugracznej ilustracji podejmowanej tematyki, anastpnieopisuprzygotowaniadanych do analizy i ostatecznej prezentacji dziaania opracowanych metod wykorzystanowiele przykadowych obrazw. Pochodz one nie tylko z publicznie dostpnych zasobwInternetu, ale zostay rwnie udostpnione przez lekarzy z krakowskich orodkwmedycznych. Poniej przedstawiono krtk charakterystyk tych danych.Obrazyradiologiczne koci udowej (przykadowyobraz narysunku1.3f) - seria20 obrazw rentgenowskich przedstawiajcych lew ko udow udostpnione przezKrakowskie Centrum Medyczne1.Obrazytomograczne klatki piersiowej (przykadowyobraz na rysunku1.3c) -seria25skanwtomogracznychwykonanychdla5rnychpacjentwchorychnaastm(5skanwdlajednegopacjenta).ObrazypochodzzIIKatedryChorbWewntrznych Collegium Medicum Uniwersytetu Jagielloskiego2.Obrazyz projektuImage Retrieval inMedical Applications - IRMA20093, doktrych uzyskano licencj na ich przetwarzanie na potrzeby bada naukowychz Zakadu Informatyki Medycznej Uniwersytetu Aachen. Przykadowe obrazypokazano na rysunku 1.3g, 1.3g i 1.3g.Obrazy z publicznie dostpnej bazy danych Berkeley Segmentation Datasetand Benchmark4(przykadowy obraz na rysunku 1.3b i 1.3e), ktra zostaaprzedstawionawartykule[44].Bazatajestczstowykorzystywanadotestowaniai porwnywania wynikw dziaania nowo tworzonych algorytmw detekcji krawdziw obrazie.Dlapozostaychobrazw, niewymienionychpowyej, ichrdapochodzeniapodanokadorazowo w momencie ich uycia w tekcie.1Krakowskie Centrum Medyczne, ul. Mikoaja Kopernika 32, Krakw.2II Katedra Chorb Wewntrznych CM UJ, ul. Skawiska 8, Krakw.3WicejinformacjiobaziedanychImageRetrieval inMedical Applications2009monaprzeczytana stronie http://ganymed.imib.rwth-aachen.de/irma/.4Baza danych jest dostpna w Internecie pod nastpujcym adresem:http://www.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/.Rozdzia 2Analiza problemu, cel i zakres pracyStandardowyprocesdziaaniakomputerowychmetodanalizyobrazuskadasizkilkuetapw [75]. Najpierw z obrazu usuwany jest szum wynikajcy z niedoskonaoci aparaturydoakwizycji obrazu(etap1). Nastpniewyznaczanajestgranicazaleganiaobiektulubgrupy obiektw, ktre w danym momencie s przedmiotem bada (etap 2). Ostatecznieobiekty s mierzone (etap 3), a wynik jest prezentowany uytkownikowi lub zapisywany dobazydanych(ewentualnieplikulubarkusza kalkulacyjnego).Dodatkowo programmoedokona klasykacji danego obiektu, jeli zostay zdeniowane odpowiednie kryteria oceny(etap4). Zarwnodlapierwszego, jaki trzeciegoetapuistniejewielemetodoglnych,ktre sprawdzaj si w zdecydowanej wikszoci przypadkw. Algorytmy usuwania szumunajczciej starajsi wygadzi obraz biorc poduwag otoczenie punktu. Stosujcproste obliczenia statystyczne, takie jakmediana lubrednia, mona szybko usunwartoci skrajnewprowadzaneprzezszum. Zkolei pomiarywykonywanesnajczciejnaobraziebinarnym, przedstawiajcymposzukiwaneobiektyi obejmujwyznaczeniernychparametrwgeometrycznychi statystycznych. Etapem, odktrego najsilniejzaleypowodzeniecaegoprocesukomputerowejanalizyobrazujestdetekcjaobiektw.Czsto jest to zadanie na tyle trudne, e wymaga specjalistycznej wiedzyz zakresuprzetwarzania obrazw. Projektowane algorytmy s albo zbyt oglne tak, i nie sw stanie rozwiza postawionego przed nimi zadania w stopniu satysfakcjonujcym, albos dedykowane do konkretnego zbioru obrazw, przez co nie jest moliwe ich zastosowaniedlainnychtypwobrazw. Wstpnymzadaniemjakie postawionosobie napocztkurozpoczcia prac nad niniejsz rozpraw, byo umoliwienie atwej konguracjiparametrwalgorytmu detekcji, tak aby mg on zosta dostosowany doanalizy nie tylko jednego, ale wielu rnych grup obiektw. Wan kwesti, ktrbrano rwnie pod uwag jest moliwo ukryciaprzeduytkownikiemszczegwzwizanych z metodami komputerowej analizy obrazu i wykorzystanie przedewszystkim jego wiedzyw zakresieobejmujcym badanie.Proponowany zakres rozprawy doktorskiej dotyczy problemu detekcji obiektw,ktre z powodu swojej wielkoci oraz ewentualnego zrnicowania zarwno ta, jaki samych obiektw, nie mog by wydzielone z obrazu na podstawie prostych,jednoznacznych parametrw. Moe to by zwizane z lokalnymi wasnociami obiektu (np.122. Analiza problemu, cel i zakres pracy 13lokalneminima/maksima), losowymi zaburzeniami (przysonicieinnymobiektem)lubglobalnymiwasnociamiobrazu(np.nierwnomierneowietlenie).Dodatkowyproblemmogstwarzanieostregraniceobszaru, ktrypynnieprzechodzi wtolubczysizinnymi elementami. Rozwaonezostanierwniewystpowanieszumupowodujcegozakcenia poziomu szaroci lub koloru na poziomie pojedynczych pikseli obrazu.Powysze problemy dobrze ilustruje radiogram koci udowej pokazany na rysunku 2.1a.(a) (b) (c) 0 50 100 150 200 250 050100150200250300350400ProfilProfil 1(d) 0 20 40 60 80 100 120 140 160 180 050100150200250300350400ProfilProfil 2(e) 0 200 400 600 800 1000 1200 1400 050100150200250300HistogramHistogram(f)Rysunek 2.1: Wskazanie problemw w analizie duych obiektw na przykadzie obrazu (a)koci udowej. (b) Obraz z naoonymi liniami, dla ktrych wygenerowano prole widocznena(d)i (e). Prol (d)odpowiadalinii tej naobrazie(b), natomiastprol (e)liniiniebieskiej. Kierunekproluzosta okrelonycyframi zaznaczonymi na(b). Obraz(c)wskazujenaproblematycznefragmentyobrazuzpunktuwidzeniajegoautomatycznejanalizy (szczegowy opis w tekcie). Wykres (f) przedstawia wykres histogramu dla (a).(Opracowanie wasne).Na obrazie tym mona wyrni kilka elementw: obszar miednicy, obszar koci udowejorazto.Koudowapomimotego,ejestcilewpasowanawmiednic,anatomiczniejest osobnymelementemkostnym. Dalsze cechy anatomiczne nie bd analizowane,zostannatomiastwskazaneproblemywystpujcenatymobraziezpunktuwidzeniajegocyfrowegoprzetwarzania, awszczeglnoci wydzieleniaobszarukoci udowej. Napocztku warto przeledzi informacje jakie daje wygenerowanie histogramu oraz prolidla wybranych linii. Histogram pokazany na rysunku 2.1f jest rozkadem wartoci pikseli2. Analiza problemu, cel i zakres pracy 14wobrazie. Niewskazujeontutaj wyranegorozgraniczeniapomidzyposzczeglnymiobszarami obrazu, comoeutrudniawyznaczenieprogubinaryzacji. Podobnewnioskimonawysunobserwujcprolewyznaczonenaprzektnychobrazu. Widawnichnie tylko brak wystpowania ostrych granic pomidzy obszarem koci udowej a miednicoraz obszarem koci udowej a tem obrazu, ale rwnie zmienny poziom wartoci pikseliw obrbie samej koci udowej (wykres 2.1d). Te i inne problemy dodatkowo zaznaczonostrzakami na rysunku 2.1c. Wskazuj one na nastpujce cechy, ktre mog byproblematyczne podczas przetwarzania tego obrazu:nierwnomierny poziom jasnoci pikseli w obrbie koci udowej (strzaki 1),zmieniajca si ostro granicy pomidzy koci udow a tem, poczwszy odwyranie zaznaczonej wdolnej czci obrazu (strzaka 2), po sabsz wjegorodkowej czci (strzaka 3),brak wyranej granicy pomidzy koci udow a miednic (strzaka 4),dodatkowe artefakty przylegajce do koci udowej (strzaka 5), ktre powinny zostawskazane jako osobny obiekt w celu pniejszej analizy,nierwnomierne to (strzaka 6).Tegotypuutrudnieniakomplikujprzygotowaniealgorytmudetekcjibadanegoobiektu,niezalenie odtego, czyjest to obraz przedstawiajcyko udow, czyte dowolnyinny obraz. Due obiekty, ktre w nich wystpuj uniemoliwiaj zastosowaniejednego algorytmusegmentacji i wymagaj konstruowania bardziej zoonych, czstodedykowanych algorytmw. Aby pokaza problemy, jakie wi si z komputerowinterpretacj obrazu dla duych i niejednorodnych obiektwprzeanalizowano grupprzykadowych obrazw1z wykorzystaniem klasycznych algorytmw segmentacji. Wnioskiz tej analizy przedstawiono poniej:Algorytmy progowania, zwizane z poszukiwaniem optymalnej wartocigranicznej [51, 77] oddzielajcej obiekt od ta lub od innych obiektw, nie dziaajnajlepiej. Znajdowana przez nie warto (prg binaryzacji) potra poprawniewskaza tylko cz obiektu, dodajc lub pomijajc inne elementy. Ponadto, rneobiekty na tymsamymobrazie mog wymaga rnych wartoci progowych.Rwnie zastosowanie progowania z histerez, dla ktrego okrela si dwie wartociprogu- wysz, ktrazaznaczafragmentyobiektu, oraznisz, ktrej zadaniem1Testyprowadzonebyyzwykorzystaniemobrazwwskazanychwpoprzednimrozdzialeniniejszejpracy, gdzieopisanoichrdapochodzenia. Omawianealgorytmybdilustrowaneprzedewszystkimzapomocobrazukoci udowej, dlaktregopokazanopodstawoweproblemyzpunktuwidzeniajegokomputerowej obrbki.2. Analiza problemu, cel i zakres pracy 15(a) (b) (c)(d) (e) (f)Rysunek 2.2: Prby segmentacji obiektw na obrazie przedstawiajcym fragmentmiednicy oraz koci udowej z wykorzystaniem standardowych metod przetwarzania obrazu(dodatkowy opis w tekcie).(a) Progowanie z histerez z progiem wyszym rwnym 204 (obszar czerwonym) i progiemniszym rwnym 178 (obszar zielony). Jak wida na tym rysunku, szybciej zostay wliczonepunkty nalece do ta (lewy grny rg), anieli punkty nalece do obiektu.(b) Rezultaty progowania adaptacyjnego o wartoci promienia rwnej 30.(c) Wyniki rozrostu obszaru. Pomaraczowy obszar uzyskano poprzez przyczeniewszystkich punktw majcych warto nisz od 35 na obrazie gradientowym. Zwikszenietejwartocio1powodujerozlaniesiobszarunietylkonakolejnefragmentykoci,alerwnie na znaczne fragmenty ta.(d) Segmentacjabazujcanakrawdzi, gdziewszystkiepunktyzamknitejednlinikrawdzi stanowi osobne obiekty. Z powodu braku cigoci linii krawdzi na obrazku (d)widzimy tylko 3 segmenty. Detekcj krawdzi wykonano przy uyciu algorytmu Canny [7].(e) Wyniki segmentacji algorytmem dziaw wodnych, po jego wczeniejszym wygadzeniultrem Gaussa o wartocisigma rwnej 1.(f) Prba wyznaczenia obszaru koci udowej przy uyciu algorytmu aktywnego konturu.(Opracowanie wasne).2. Analiza problemu, cel i zakres pracy 16jest zakrelenie pozostaych fragmentw nalecych do obiektu i przylegajcych doobszaruuzyskanegowczeniej zwykorzystaniemwartoci wyszej - niesprawdzasi na tego typuobrazach(przykadna rysunku2.2a). Przetestowano rwniealgorytm progowania adaptacyjnego, w ktrym prg jest wyznaczany dynamiczniena podstawie lokalnego otoczenia (zazwyczaj jest to kwadrat, bd te okrg, gdziedugoboku/promieniajestpodanaprzezuytkownikajakoparametrwejciowydlaalgorytmu).Toostatniepodejciedajepodobnyrezultatjaknarysunku2.2b,co znacznie odbiega od oczekiwanego celu analizy.Z powodu braku jednorodnoci obiektu algorytmy rozrostu [20, 1, 22] (ang. regiongrowing)startujcezlosowychpunktw, bdtepunktwwyznaczonychprzezuytkownika, zatrzymujsipoobjciutylkoczci obszarulubwykrywajzbytdue obszary (przykad na rysunku 2.2c).Algorytmyoparteodetekcj krawdzizjednejstronyzatrzymujsinadrobnychkrawdziachwobiekcie, azdrugiej stronystajsibezuytecznewprzypadkunieostrych granic. Najwikszym problemem jest jednak fakt braku cigoci granici automatyczny dobr tych fragmentw, ktre maj by sklejone do postaci jednegoobiektu2(przykad na rysunku 2.2d).Wad dwch kolejnych narzdzi jest niepotrzebny podzia duego obiektu nakilkamniejszych. Pierwszeznichdziay wodne3[73, 4] (ang. watersheld)jestwraliwe na drobne lokalne gradienty (przykad na rysunku 2.2e), natomiast drugidzielenie i czenie regionw4(ang. split andmergetechnique)zatrzymujesina pewnym etapie dziaania nie potrac scali dwch niejednorodnych elementw(przykad na rysunku 2.3b).Aktywne kontury [2, 42, 50] s narzdziami skutecznymi, ale zwykle wymagaj pracyw trybie interaktywnym i s efektywne jedynie w ograniczonym zakresie przypadkw(przykad na rysunku 2.2f).Pomimo tego, e wskazane algorytmy nie daj satysfakcjonujcych rezultatwwprzypadku ich samodzielnego stosowania, to czsto bywaj uywane jako jedenzelementwbardziej zoonychalgorytmw. Powstajrwnieliczneichmodykacje,ktre lepiej sprawdzaj si od pierwotnych wersji w cile okrelonych sytuacjach2Problematyk t szerzej opisano w rozdziale 6.1. Problem niecigoci krawdzi i sposoby ich czenia.3Podstawy dziaania algorytmu dziaw wodnych opisano w rozdziale 4.1. Klasyczny algorytm dziawwodnych oraz 8.1. Algorytm dziaw wodnych bazujcy na znacznikach.4Moliwoci stosowaniaalgorytmwczeniasegmentwzostayomwionewrozdziale5. czeniesegmentw.2. Analiza problemu, cel i zakres pracy 17imogwymagaspenieniadodatkowychwarunkw,np.zwizanychzprzygotowaniemowietlenia lub wyborem urzdzenia akwizycyjnego.Przeprowadzonaanalizaliteraturypozwalanawskazanieszeregumetodikoncepcji,ktremogznalezastosowaniedodetekcji duychobiektw. Monadonichzaliczywymieniony wczeniej algorytm dziaw wodnych [73, 4], algorytmy aktywnego konturu [2,42, 50], algorytmy bazujce na teorii grafw [18, 63], a take algorytmy, ktrych podstaws rwnania rniczkowe czstkowe, takie jak metoda poziomic(ang. level set) [2, 42, 50]i inne. Algorytmyte, nawet jeli sznaczniebardziej zooneodwczeniej opisanychklasycznychalgorytmw, mogsprawiaproblemywdetekcji duychobiektw, takichjak ko udowa pokazana na rysunku 2.1a. Wynika to z faktu, i wikszo z nich traktujeobraz jedynie jako macierz liczb, nie biorc pod uwag informacji w nim zawartych i cechwyrniajcych badane obiekty od innych obiektw i od ta.(a) (b)Rysunek 2.3: Moliwoci redukcji liczby segmentwpoprzez zastosowanie algorytmuczcego segmenty. (a) Wstpna segmentacja obrazualgorytmemdziawwodnych.(b) Wyniki czenia segmentw. (opracowanie wasne)Kolejna grupa algorytmwuwzgldnia wiedz przekazan przez uytkownika lubzebran wtrakcie wczeniejszego dziaania (algorytmy bazujce na dowiadczeniu).Najprostszformtegopodejcia, ktrejest obecnieszerokostosowane, jest algorytmczeniaregionw[28,62,71].Gwnidejegodziaaniajestscalanieobiektw,ktrespeniajwczeniej ustalonekryteriumjednorodnoci, bdcezazwyczaj pewnmiarstatystyczn(np. redniawartoci wszystkichpikseli wdwchobszarachjestzbliona,zatemzostanonepoczone(przykadnarysunku2.3)).Trudnociwichstosowaniubywa waciwe okrelenie kryterium podobiestwa obiektw i wartoci progowej mwicej,ktreelementypowinnyzostazesobpoczone. Nawetjeli udanamsidobrate2. Analiza problemu, cel i zakres pracy 18parametrywodpowiedni sposb, tomoesizdarzy, ewczeniej zostaniewczonyinnyobiekt, anieli ten, oktrynamchodzio(problemytegotypumoesprawinp.detekcja osoby w zielonym swetrze stojcej na trawie).Innym podejciem jest zautomatyzowanie procesu generowania dedykowanychalgorytmw dla wczeniej okrelonych grup obrazw. W tym przypadku podejmowane sprby [11, 56] opisania wiedzy specjalisty z zakresu przetwarzania obrazu i umieszczeniejej w systemie ekspertowym. Taki system powinien po uprzednim szczegowymopisaniuzadania do analizywygenerowa sekwencj przeksztaceobrazudc dowydzieleniaposzukiwanegoobiektu. Jednakz powodutrudnoci ze sformalizowaniemwiedzy ekspertw metody te cigle pozostaj w sferze koncepcji i nie znajduj szerokiegozastosowania praktycznego.Metody inynierii wiedzy w analizie obrazu s wykorzystywane nie tylko w kontekciesystemwekspertowych, ale rwnie uywasi ichdoprzygotowaniaobszernychbazdanych wzorcwz danej dziedziny [41, 61, 5]. Zakada si, e dla kadego obiektuopisywanego wbazie danych powinien zosta zgromadzony odpowiednio duy zbirprzykadwmwicycho tym, jaktenobiekt wyglda i jakie obiektyzazwyczaj gootaczaj. Jakoprzykadmonapoda zdjcia przedstawiajce miasto z perspektywyprzechodnia. Prawdopodobnie znajd si na nimbudynki, ulice, samochody i inneosoby. Zawarty w bazie danych bogaty zestaw wzorcw opisujcych te obiektypowinien umoliwi poprawn segmentacj obrazu i automatyczne nazwanie wydzielonychelementw.Niestety,nawetpo zdeniowaniudokadnychbazwzorcwczsto wystpujproblemy, kiedy widoczny jest tylko fragment obiektu lub pojawi si inny obiekt podobnydo niego.Opisane powyej podejcie bywa rwnie stosowane na potrzeby diagnostykimedycznej i nosi nazw segmentacji bazujcej naatlasie [59, 52, 58, 37] (ang. Atlasbasedimagesegmentation). Sprawdzasionowprzypadkuobrazwbardzozblionychdo siebie, np. ssiadujcych przekrojwz gsto wykonanych zdj tomogracznych,gdzie wskazanie najednymobrazie badanegoobiektupozwalanajegoautomatycznewyznaczenie napozostaychobrazach. Natomiast wsytuacji, gdywystpujznacznernicewksztacieanalizowanychobiektw, wyniki tebywajnatyleniedokadne, iuniemoliwiajwykonywanieprecyzyjnychpomiarw. Wzwizkuztymmogonebystosowane jedynie jako pomoc przy wizualnej ocenie obiektw.Innmetod, ktramapodobnysposbdziaaniasaktywnemodeleksztatu(ang.Active shape models - ASM) [13, 12]. Tutaj, w odrnieniu od metod bazujcych na atlasie,gdziekolejneobrazysporwnywanedoobrazuwzorcowego, poszukiwanyobiektjestopisywanyzapomoczbioruwektorwcharakteryzujcychjegoksztat.Wprowadzajcproces uczenia algorytmu z wykorzystaniem pewnego wstpnego zbioru obrazw,2. Analiza problemu, cel i zakres pracy 19moliwe jest dodatkowo wyznaczenie informacji o najbardziej charakterystycznychmodykacjachksztatuanalizowanegoobiektu. Nadalszymetapieanalizytaki modelmoe by modykowanyprzez dodatkowe algorytmy, ktre starajsi dopasowa godorzeczywistegoksztatu, niedopuszczajcjednoczeniedonienaturalnychdeformacji.Opisane w pracach [66] i [65] moliwoci zastosowania tego typu algorytmw dolokalizacji twarzyidolokalizacjipojazdwwskazujnaszerokieichzastosowanie, przyczym wystpuj problemy dotyczce m.in. efektywnego uczenia algorytmu, wyznaczaniapunktw kontrolnych i dalszego ich dopasowania do obiektu. Utrudniaj one w znacznejmierze pen automatyzacj tego typu algorytmw.Cel i tezapracyAnalizaduychobiektwwobrazachowysokimpoziomieszumuiniejednorodnocidostarcza wielu problemw. Ich detekcja z wykorzystaniem powszechnie znanychalgorytmwsegmentacji obrazu nie przynosi podanych efektwi czsto wymagakonstrukcji dedykowanych algorytmw dla kadego przypadku z osobna. Takie podejciewymaga nie tylko specjalistycznej wiedzy z zakresu przetwarzania obrazu, ale czsto wiesizwysokimi kosztami opracowanianowejmetodyorazdugimczasemwprowadzeniajej na rynek - poczwszy od etapu koncepcyjnego, a po docelowe wdroenie w sprzcielub oprogramowaniu u potencjalnego uytkownika.Wzwizkuz tymjakocel pracyprzyjtoopracowanie metodkomputerowejanalizyobrazuwspomagajcychdetekcj wybranychobiektwwobrazacho wysokim poziomie szumu i niejednorodnoci, ktre bez modykacjizawartychwnichalgorytmwbdziemonadostosowadodetekcji rnychobiektw. Docelowozaproponowanewpracymetodypoetapiewstpnej konguracjipowinny dziaa w sposb automatyczny.W wietle tak sformuowanego celu przyjto nastpujc tez pracy:Poetapieodpowiedniej ltracji obrazu, wktrej zostanieusunitynietylkoszum, alerwnie drobne elementy zaburzajce struktur obiektu, moliwe jest przyjcie takiejstrategii postpowania, ktrapozwalanaokrelenieobszaruzaleganiaduychobiektw.Strategiatabazujenaprzygotowanymprzezuytkownikamodeluobiektu, ktryzawierainformacje o jego cechach charakterystycznych (np. informacj o teksturze, ksztacie,granicach oraz pooeniu wzgldeminnych obiektw). Nastpnie, poprzez analiz takprzygotowanegomodelunajednymobrazie, moliwejest wskazaniepodobnychobiektwna kolejnych obrazach w sposb automatyczny.CzIIPrzygotowanieobrazudo dalszejanalizy2. Analiza problemu, cel i zakres pracy 21Zanim w pracy zostanie podjta problematyka detekcji duych obiektw naobrazach niejednorodnych, zostan przedstawione niezbdne algorytmy suce doprzygotowania obrazu do waciwej analizy. Bd to zarwno proste, jak i bardziejzoone algorytmy usuwania zakcez obrazu, ktre pozwalaj zachowa strukturobiektwz moliwie maymrozmyciemgranic midzy nimi. Omwione bd takepopularnemetodysegmentacjiobrazualgorytmdziawwodnychialgorytmgrafowywyznaczajcy minimalne drzewo rozpinajce. Algorytmy te pozwalaj na skuteczndetekcjjednorodnychobiektw,ktreznacznieodrniajsiodinnychobiektwiodta. Niestety, segmentacja duych obiektw o zmiennej strukturze zarwno w kontekciejasnocipikseli,jakirnorodnociteksturypowodujezwykledueichrozdrobnienienawielemniejszychskadowych. Czstostosowanymrozwizaniemdlategoproblemusalgorytmyczeniasegmentw. Ichroljest redukcjaliczbypodziawi tworzeniewikszych obiektw, ktre speniaj zadane kryteria czenia. Niestety dla obrazwniejednorodnychprzygotowanieodpowiednichkryteriwjestbardzotrudneidajetylkoczciow popraw wyniku detekcji.Metody opisane wtej czci pracy bd miay istotny udzia wproponowanychw kolejnych rozdziaach koncepcjach detekcji duych obiektw:Algorytmy usuwania szumu (Rozdz. 3) bd stosowane zawsze przedprzystpieniemdo waciwej analizy obrazu. Pozwol na usunicie zbdnychelementw z obrazu, a tym samym uatwi poszukiwanie duych obiektw.Algorytmy wstpnej segmentacji obrazu (Rozdz. 4) zostan uyte dowyodrbnienia elementarnych struktur na obrazie. Segmenty przygotowane na tymetapiebdpodstawwaciwegoprocesudetekcji,ktryzostaniezaproponowanyw dalszej czci pracy.Algorytmy czenia regionw (Rozdz. 5) ich rol bdzie czenie wielu segmentwwobiektyodpowiadajcerzeczywistymobiektomnaobrazie. Zostanomwionepowszechnieznanekryteriaczeniasegmentwi problemywichstosowaniudoanalizy obrazw niejednorodnych.Rozdzia 3Metody usuwania szumuJednymz istotnychczynnikw, ktrywpywanapowodzenie procesuanalizyobrazujest jego jako. Podana byaby taka jako obrazu wejciowego, ktra wiernie oddajerzeczywist struktur badanego obiektu. Niestety, wiele czynnikw wpywa na to, e tenidea jest trudnydoosignicia, coobjawiasi niskostrociobrazu, lubwysokimpoziomemzakce. Do gwnych czynnikw, ktre negatywnie wpywaj na jakoobrazu mona zaliczy:niedoskonao urzdzeakwizycyjnychwynikajcz aktualnegostanutechnikilub te zewntrznych ogranicze (np. dopuszczalnego poziomu promieniowaniaw badaniach radiologicznych),wpyw czynnikw zewntrznych brak dobrego owietlenia lub te pomiar obiektu,ktry znajduje si w ruchu moe znacznie utrudni akwizycj obrazu,straty w trakcie transmisji przez kana komunikacyjny nieodpowiedniozabezpieczonyprzesy sygnauzurzdzeniapomiarowegomoebypodatnynadodatkowe zakcenia,bdy ludzkie nawet jeli pierwsze trzy czynniki maj minimalny wpyw na jakoobrazu, moe si zdarzy, e osoba ktra przygotowuje obrazy ustawi nieodpowiednieparametry wurzdzeniu akwizycyjnym, lub nieodpowiednio przygotuje obiektbadania i wyniki bd dalekie od oczekiwanych,ograniczenia nansowe czsto decydujcy czynnik, ktry wymusza korzystanie zesprztu nie najnowszej generacji i gorsze przygotowanie obiektu do bada, lub tepopiech w trakcie ich wykonywania.Te i inne powodywprowadzajdoobrazuniepotrzebne zakceniai artefakty, ktremogutrudnijegowaciwanaliz. Czowiekwnaturalnysposbpatrzcnaobrazyniskiej jakoci jest wstanie skupi uwag na kluczowych obiektach i opierajc sina dowiadczeniuoceni, czy przedstawiona na obrazie sytuacja jest poprawna, czyte nie. Tegorodzajuproces ltracji jest niezbdnyrwnie wprzypadkucyfrowegoprzetwarzania obrazu i powinien by stosowany przed uruchomieniemdocelowychalgorytmw segmentacji obrazu.223.1. Proste ltry korzystajce z ssiedztwa punktu 233.1 ProsteltrykorzystajcezssiedztwapunktuJedn z najprostszych metod usuwania szumu jest ltracja bazujca na lokalnymssiedztwie kadegopunktuobrazu. Podejcie tokorzystaz uproszczonegozaoenia,epunkti jegobezporednieotoczenienaleydotegosamegoobiektui powinnyonemie zblione wartoci lubwartoci te powinny zmienia si stopniowo. Przy takimzaoeniuwartoci znaczniernicesiodpozostaychuznajesizazakconeprzezczynniki zewntrznei powinnyonezostazmodykowane. Czstostosowantechnikwtakimprzypadku jest urednianie kadego punktu na podstawie jego otoczenia.Najczciej stosowana wielko otoczenia o promieniu jednego lub dwch punktw pozwalazredukowa drobny szum, natomiast znaczne zwikszenie tej wartoci, np. do poziomu 5lub6punktw, dajemoliwousuniciadrobnychelementwnaobrazie, ktreniesprzedmiotemanalizyi dodatkowowygadzaobiektywiksze, ktremogbypotakiejoperacji atwiejsze w detekcji. Zazwyczaj korzysta si dwch rodzajw redniej:rednia arytmetyczna wygadza cay obraz ustawiajc dla kadego punktu wartoredni z jego otoczenia. Naley ostronie stosowa to podejcie poniewa rozmywaona granice midzy obiektami i wprowadza do obrazu nowe wartoci.Mediana nie wprowadza do obrazu nowych wartoci, tylko wybiera dlamodykowanegopunktuwartocentralnzlokalnegootoczenia. Pozwalatonalepsze zachowanie granic, ni w przypadku redniej arytmetycznej, ale moe wpywanageometriobrazupoprzezzaokrglenieostrychkrawdzilubusuniciecienkichlinii [60]. Mediana bywa szczeglnie skuteczna do likwidacji szumu impulsowego.atwo zauway, e te dwa podejcia dziaaj wedug rnych przesanek. W przypadkuredniej arytmetycznej mamy do czynienia z podejciem liniowym, w ktrym niezalenieod pooenia analizowanego punktu wykonywana jest identyczna operacja urednianie.Natomiast wprzypadkumediany, zakadymrazempodejmowanajest indywidualnadecyzja wybr punktu centralnego. Jest to podejcie nieliniowe. Wkolejnychpodrozdziaachzostanprzedstawionebardziejzaawansowanetechnikizarwnoliniowe,jaki nieliniowe, ktre czciowo rozwizuj wskazane problemywyej wymienionychmetod.3.2. Liniowe wygadzenie obrazu bazujce na funkcji Gaussa 243.2 LiniowewygadzenieobrazubazujcenafunkcjiGaussaStosowanieredniejarytmetycznejdousuwaniaszumumoeprowadzidonadmiernegorozmycia obrazu i utraty istotnych informacji o granicach obiektw. Wynika to w duejmierzezfaktuidentycznegotraktowaniawszystkichpunktwzprzyjtegossiedztwazatemnapunkt centralnytaki samwpywmajpunktydoniegoprzylege, jaki telece na skraju przyjtego otoczenia. Wasno ta mone negatywnie wpywa na punktylecenastykudwchobiektw,lubwpobliuichgranic,cojestszczeglniewidocznedlawikszychwartoci ssiedztwa. Rozpatrujcprzykadowessiedztwoopromieniu3punktw, do liczenia redniej uwzgldniamy 49 elementw (obszar 7 na 7 punktw), gdziekadawartobdziemiaataki samwpywnakocowwartopunktucentralnego.Mona to przedstawi za pomoc macierzy ltru widocznej w tabeli 3.1.Tabela 3.1: Macierz ltru uredniajcego o rozmiarach 7 x 7.149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149149Taka wielko ltru bardzo dobrze wygadzi obszary znajdujce si wewntrz obiektw,jednak doprowadzi do znacznej utraty ostroci ich granic (Rys. 3.1c). Aby chociaczciowozapobiectemuzjawiskuczstostosowantechnikjestrnicowaniewpywuprzylegychpunktwwzalenoci odichodlegoci odpunktucentralnego. Powstaaw ten sposb rednia waona preferuje najblisze punkty, ktrych wartoci powinny bynajbardziej zblione do punktu centralnego.3.2. Liniowe wygadzenie obrazu bazujce na funkcji Gaussa 25(a) 60 80 100 120 140 160 180 200 220 240 260 0102030405060Warto pikseliOdlego (liczba pikseli)Profilobraz oryginalny(b)(c) 60 80 100 120 140 160 180 200 220 240 260 0102030405060Warto pikseliOdlego (liczba pikseli)Profilobraz oryginalnyrozmycie obrazu filtrem rednim, promieni=3(d)(e) 130 140 150 160 170 180 190 200 210 220 230 0102030405060Warto pikseliOdlego (liczba pikseli)Profilrozmycie obrazu filtrem rednim, promieni=3rozmycie funkcj Gaussa, sigma=1(f)Rysunek 3.1: Wyniki dziaania liniowych ltrwwygadzajcych dla przykadowegoobrazu tomogracznego klatki piersiowej: (a) obraz oryginalny, (c) ltracja uredniajcao promieniu =3, (e) ltracja Gaussa o wartoci sigma =1. Wprawej kolumnieprzedstawiono prole wartoci pikseli dla wybranej linii (komentarz w tekcie, opracowaniewasne).3.2. Liniowe wygadzenie obrazu bazujce na funkcji Gaussa 26Wygodnymsposobemustalenia wartoci poszczeglnych wag jest zastosowaniedwuwymiarowej funkcji rozkadu Gaussa:G(x, y) =122ex2+y222(3.1)gdzie:x odlego od osi X,y odlego od osi Y, odchylenie standardowe rozkadu normalnego (sigma)1.Rysunek 3.2: Wykres dwuwymiarowej funkcji rozkadu Gaussa (rdo: Internet).Utworzony za pomoc tej funkcji wykres przypomina swym ksztatem dzwon (Rys. 3.2).Tworzc docelow mask ltru naley przypisa punktowi centralnemu najwiksz wartouzyskan z wykresu, a dla pozostaych punktw obliczy odpowiednie wartoci korzystajczpodanegowyej wzoru. Abyustalirozmiarmacierzyltruwartozwrciuwag, e99, 7%polapodwykresemznajdujesiwodlegoci 3odwartocirodkowej.Dlategow praktyce maski, ktre si konstruuje maj wymiary 6 + 1|6 + 1|. Dodatkowo,po etapie dyskretyzacji funkcji Gaussa do macierzy ltru warto znormalizowa t macierztak, aby mie pewno, e suma wartoci wszystkich jej elementw bdzie si rwna1.Mona to uzyska dzielc kady element przez sum wszystkich elementw. Obliczona wgtych zalece maska ltru dla wartocisigma = 1, bdzie miaa wielko77 elementwi wartoci takie, jak w tabeli 3.2.1W tekcie zamiennie jest stosowane oznaczenie symbolu odchylenia standardowego () z pen nazw(sigma).3.3. Nieliniowe wygadzenie obrazu bazujce na funkcji Gaussa 27Tabela 3.2: Macierz ltru Gaussa o wartocisigma = 1.0.00000067 0.00002292 0.00019117 0.00038771 0.00019117 0.00002292 0.000000670.00002292 0.00078633 0.00655965 0.01330373 0.00655965 0.00078633 0.000022920.00019117 0.00655965 0.05472157 0.11098164 0.05472157 0.00655965 0.000191170.00038771 0.01330373 0.11098164 0.22508352 0.11098164 0.01330373 0.000387710.00019117 0.00655965 0.05472157 0.11098164 0.05472157 0.00655965 0.000191170.00002292 0.00078633 0.00655965 0.01330373 0.00655965 0.00078633 0.000022920.00000067 0.00002292 0.00019117 0.00038771 0.00019117 0.00002292 0.00000067Wyniki dziaaniaomwionychliniowychltrwwygadzajcychprzedstawiononarysunku 3.1. Wcelu lepszego zobrazowania uzyskanych rezultatwpokazano prolewartoci dlawybranej linii (prawakolumna) zarwnodlaobrazuoryginalnego, jaki dla obrazwpo zakoczonej ltracji. Dodatkowo obszar z zaznaczon lini proluzostaznaczniepowikszony, abylepiej pokazazmianywprowadzanenaobrazieprzezposzczeglne ltry. Obserwujc prol wartoci pikseli dla obrazu rdowego (Rys. 3.1a)monazauwayichwysokirozrzutwewntrzobszarunalecegodopuca(Rys.3.1b).Zastosowanieltracjiuredniajcej,pomimobardzodobregowygadzeniatychwartoci(Rys.3.1ciprol3.1d),powodujeniestetynadmiernerozmyciegranicobiektw.Lepiejwtymaspekcie radzi sobie ltr Gaussa, ktrynie wpywatakbardzonastrukturobiektw (Rys. 3.1e). Wida to szczeglnie na wykresie 3.1f, gdzie zestawiono obok siebieproledziaaniaobultrw. Napocztkui nakocutegowykresu, wmiejscachgdzieobszarpucczysizkorpusemciaa, ltrGaussamaostrzejszezbocze, anieli ltruredniajcy. Oznacza to, e przejcie jednego obszaru w drugi odbywa si na mniejszejodlegoci, co skutkuje tym, e granica midzy nimi jest ostrzejsza.3.3 Nieliniowewygadzenieobrazubazujcenafunkcji GaussaPomimo tego, e rozmycie funkcj Gaussa lepiej sobie radzi z zachowaniemgranicmidzyobiektami nizastosowanieredniej arytmetycznej, towrzeczywistoci kadypunktjesttaksamoprzetwarzany, niezalenieodtegoczyleywewntrzobiektu, czyte wpobliu jego granicy. Jest to znana cecha ltrwliniowych. Skuteczniejszymrozwizaniem mogoby si okaza indywidualne traktowanie kadego punktu w zalenociodjegolokalizacji, takabyproces ltracji by wzmocnionynaobszarachjednolitych,a zahamowany w pobliu krawdzi.3.3. Nieliniowe wygadzenie obrazu bazujce na funkcji Gaussa 28JednzpierwszychpracwtymzakresiebyartykuPeronai Malika[53]. Opisanawnimmetodanosi odnazwiskautorwnazwmodeluPerona-Malik2. Proponujesiwnimwprowadzenie zmiennego wspczynnika g decydujcego o stopniu rozmyciawzalenoci odwartoci estymatorakrawdzi E. Jakoprzykadestymatorakrawdziautorzy proponuj gradient jasnoci obrazu w punkcie zdeniowany jako:E(x, y) = | _ u(x, y)| (3.2)Wcytowanej pracypodane zostayrwnie dwie postacie funkcji g, wpywajcej nastopie rozmycia obrazu (wykresy funkcji pokazane na rysunku 3.3):g1(E) = exp((EK)2) (3.3)g2(E) =11 + (EK)2(3.4) 0 0.2 0.4 0.6 0.8 1 020406080100g1(E)g2(E)Rysunek 3.3: Wykres zalenoci wspczynnikw wygadzenia obrazug1ig2od wartociestymatora krawdziE(opracowanie wasne).Dodatkowy parametr K > 0 wskazuje na minimaln warto potrzebn dozakwalikowaniawybranegopunktudokrawdzi bdtejegoodrzucenia. Moebyonrozumianyjakornicajasnoci pomidzykrawdzi, aotoczeniem. Parametr tenmoe by eksperymentalnie wyznaczany przez uytkownika lub te moe by zaleny odhistogramu szumu wyznaczonego z obrazu [53].2W artykule zostaa przedstawiona matematyczna interpretacja algorytmu z uyciem procesu dyfuzjiciepa, ktra tutaj zostanie pominita jako wykraczajca poza ramy niniejszej pracy. Bardziej szczegowyopis tej oraz innych metod nieliniowych ltracji obrazu mona znale w pracy [30].3.3. Nieliniowe wygadzenie obrazu bazujce na funkcji Gaussa 29Wodrnieniu od wczeniej opisywanych ltrwliniowych, model Perona-Malikoperuje tylko na punktach z bezporedniego otoczenia (promie ltru = 1). Aby umoliwiregulacjstopniarozmyciazalecasiwielokrotneltrowanieobrazu3(algorytmzaliczasi do algorytmwiteracyjnych). Przykad dziaania omawianego ltru nieliniowego(a) 120 130 140 150 160 170 180 190 200 210 220 230 0102030405060Warto pikseliOdlego (liczba pikseli)Profilrozmycie funkcj Gaussa, sigma=1rozmycie nieliniowe, Perona-Malik, 60 iter.(b)Rysunek3.4: Wyniki dziaanianieliniowegoltrurozmyciaobrazuopartegoomodelPerona-Malik: (a)obrazpoltracji (60iteracji), (b)prol wartoci dlawybranej liniiporwnany z prolem obrazu po rozmyciu funkcj Gaussa (opracowanie wasne).przedstawiononarysunku3.4. Tutaj rwnie powikszonowybranyfragment obrazui utworzono wykres z prolem wartoci. Prol dodatkowo porwnano z prolem z obrazupo ltracji Gaussa (Rys. 3.1f). Prole te pomimo tego, e w przewaajcej czci wydajsi podobne, wykazuj pewne rnice w ssiedztwie krawdzi obiektw. Prol dla obrazupoltracji nieliniowej charakteryzujesiwtychmiejscachwyszymi skokami wartocipikseli, anieli prol obrazupoltracji funkcjGaussa. Obserwujcrwniewizualniewyniki ltracji naobrazie3.4awida, egraniceposzczeglnychobiektwniezostayrozmyte, a dziki temu, e zosta usunity szum z obrazu sprawiaj one nawet wraenieostrzejszych ni na obrazie rdowym 3.1a.3Jest to bezporednio zwizane z natur procesu dyfuzji ciepa, na ktrej autorzy opierali si podczastworzenia algorytmu, a ktrej efekty zale od czasu.3.3. Nieliniowe wygadzenie obrazu bazujce na funkcji Gaussa 30W przedstawionym modelu nieliniowej ltracji obrazu bazujcej na modeluPerona-Maliksabymogniwemmoeokazasisposbobliczaniaestymatorakrawdzi.Przykadowa metoda bazujca na lokalnymgradiencie jest bardzo czua na szumiwmiejscachgdziejegopoziomjestbardzowysokimoesiokaza,epunktzostaniezakwalikowany do krawdzi, zamiast do obszaru jednorodnego i te obszary nie zostanwygadzone. Abytemuzaradziwpracy[8] proponujesiwprowadzeniedodatkowegoetapu regularyzacji modelu. Moe si to odbywa z wykorzystaniem liniowych funkcjirozmyciaobrazu(zalecanerozmycieGaussa),ktrewygadznadmierneskokiwartocipunktw. Dopieronatakprzygotowanymobraziewyliczenieestymatorakrawdzi niebdzie zalene od lokalnych zakce i umoliwi bardziej wiarygodne wygadzenie obrazuwaciwmetodPerona-Malik. Wartorwniezwrciuwagnato, eregularyzacjamodelu wykonywana jest tylko przed pierwszymwyliczeniemestymatora krawdzii w kolejnych iteracjach nie musi by ju stosowana, aby nie prowadzi do niepotrzebnejutraty informacji o pooeniu krawdzi.Opisana powyej ltracja nieliniowa pomimo tego, e daje lepsze wyniki anielitradycyjny ltr uredniajcy oraz klasyczny ltr Gaussa, nie jest wolna od wad. Gwnymproblememwjej stosowaniujest przede wszystkimdugi czas dziaania, wynikajcyz iteracyjnej natury tego typu algorytmw. Dla przykadu, aby uzyska rezultat podobnydotegoprzedstawionegonarysunku3.4a, naleaowykona60iteracji algorytmudlacaego obrazu. Jest to nieporwnywalnie wicej od tradycyjnych ltrwtakich jakrednia, lubmediana, ktrepotrzebujwycznierazustaliwartokadegopunktuobrazu. Dodatkowymproblememwstosowaniuomawianychltrwnieliniowychmoebyodpowiedniedopasowanieliczbyiteracji dootrzymaniadobregorezultatu.Pomimotego,ealgorytmtenniejestpodatnynaniewielkiezmianyliczbyiteracji,toitakdlaosoby, ktra nie ma duego dowiadczenia w posugiwaniu si tego typu metodami moeniebyjasne, czyliczbaiteracji powinnawynosi60, czyte120, czyzdrugiejstronypowinnazosta zmniejszonado30. Innyproblem, oktrymwartotutaj wspomnie,jest mniejsza popularno tego typu algorytmw, przez co moe si okaza, e nieznajdziemy ich wwykorzystywanych przez nas do tej pory narzdziach. Natomiastprbaichsamodzielnej implementacji moebykopotliwa, poniewasonebardziejskomplikowane algorytmicznie, anieli tradycyjne ltry liniowe.3.3. Nieliniowe wygadzenie obrazu bazujce na funkcji Gaussa 31Jeli tego typu wady (dugi czas dziaania, kwestia doboru liczby iteracji i problemyw implementacji) oka si problematyczne, to rozwizaniem moe okaza si zastosowanieinnegoalgorytmunieliniowego, oktrymbyamowanapocztkutegorozdziau, czylimediany. Wybierajc ten algorytm, ktry te nie jest bez wad (napisano o tym na pocztku(a) 60 80 100 120 140 160 180 200 220 240 260 0102030405060Warto pikseliOdlego (liczba pikseli)Profilobraz oryginalnyrozmycie obrazu filtrem medianowym, promieni=3(b)Rysunek 3.5: Wyniki dziaania ltru medianowego: (a) obraz po ltracji, (b) prol wartocidla wybranej linii (opracowanie wasne).tegorozdziau)moeokazasi, eotrzymamywzupeniesatysfakcjonujcerezultaty.Wystarczy tylko spojrze na rysunek 3.5a, aby upewni si, e po zastosowaniu tej ltracjigraniceobiektwciglepozostajostre. Potwierdzatorwnieznajdujcysioboknarysunku3.5bprol przebiegajcypotychsamychpunktachcopoprzednio(Rys. 3.1a,3.1c, 3.1e i 3.4a). W odrnieniu od ltracji redniej (porwnanie proli mediany i redniejprzedstawiononarysunku3.6)usunicieskrajnychwartociniepowodujenadmiernegorozmycia obrazu i pozwala na zachowanie ostroci brzegu poszczeglnych obiektw.Natomiast zestawiajc prole wynikwltracji medianowej i ltracji Perona-Malikz obrazem oryginalnym (porwnanie proli zamieszczono na rysunku 3.7) trudno wydajednoznaczny werdykt, ktry z tych algorytmwjest lepszy4. Pomimo tego, e obaltrydobrzeradzsobiewmiejscachpojedynczychskokwwartoci pikseli, towydajesi, eprol ltruPerona-Malik lepiej pokrywasizezprolemobrazuoryginalnegow miejscach, gdzie nastpuje rzeczywista zmiana jednego obiektu w drugi.4Dokadneporwnanietychdwchltracjiobrazuwymagaopracowaniaodpowiednichmiarjakociwygadzeniaobrazu, przyjaknajlepszymzachowaniuostroci granic, anastpniewykonaniuszereguporwnadlaobrazwornympoziomiezaszumienia. Tegotypubadania, mimoisbardzowanez punktu widzenia komputerowej analizy obrazu, wykraczaj poza ramy niniejszej pracy.3.3. Nieliniowe wygadzenie obrazu bazujce na funkcji Gaussa 32 120 140 160 180 200 220 240 0102030405060Warto pikseliOdlego (liczba pikseli)Profilrozmycie obrazu filtrem rednim, promieni=3rozmycie obrazu filtrem medianowym, promieni=3Rysunek3.6: Porwnanieprolultracji redniarytmetyczn(Rys. 3.1c) zmedian(Rys. 3.5a) (opracowanie wasne). 60 80 100 120 140 160 180 200 220 240 260 0102030405060Warto pikseliOdlego (liczba pikseli)Profilobraz oryginalnyrozmycie nieliniowe, Perona-Malik, 60 iter.rozmycie obrazu filtrem medianowym, promieni=3Rysunek 3.7: Porwnanie prolu ltracji medianowej (Rys. 3.5a) i ltracji Perona-Malik(Rys. 3.4a) z obrazem oryginalnym (Rys. 3.1a) (opracowanie wasne).Rozdzia 4Wstpna segmentacja obrazuW rozdziale 2 powiconym analizie aktualnego stanu prac w zakresie tematyki niniejszejpracypokrtce omwiono algorytmysegmentacji obrazui moliwoci ichuycia dlaobrazw niejednorodnych. Wskazano tam na problem okrelenia kryterium jednorodnocipikseli, ktre wykorzystywane jest do grupowania pikseli wobszary odpowiadajcerzeczywistymobiektomnaobrazie. Pomimotego, eciglekonstruowanescoraztonowe i bardziej zaawansowane algorytmy segmentacji obrazu, trudno uzna, aby w rwniedobrymstopniusprawdzaysionewkadympodejmowanymzastosowaniu. Dlategojeli analiza dotyczy duych serii obrazw przedstawiajcych podobn scen, najlepszymrozwizaniem moe by konstruowanie dedykowanych algorytmw, w ktrych szczegowoopisujesicechycharakterystycznekluczowychobiektw(np. informacjeoteksturze,kolorze, krawdziach). Algorytmy tego typu, pomimo wprowadzenia pewnych ograniczew zakresie ich stosowania, czsto okazuj si bardziej efektywne i daj bardziej precyzyjnewyniki od klasycznych algorytmw segmentacji obrazu.Postawionawniniejszejpracytezazakada moliwoskonstruowania metod,ktre,nie tracc oglnej natury, mog by skutecznie uywane do segmentacji i detekcji duychobiektw. Kluczowewtymcelubdzieodpowiedniezamodelowanieinformacji otychobiektach i przekazanie jej do waciwego algorytmu1. Metody te w duym stopniu bdopierasinaistniejcychalgorytmachsegmentacji obrazu, ktredobrzeradzsobiezwydzieleniemelementarnychstruktur obrazu- mniejszychobiektw, ktrewchodzwskadduychobiektw. Przygotowana wtensposbwstpna segmentacja obrazuzostanieuytadotworzeniaduychobiektwzwieluobiektwmniejszych. Wdalszejczci rozdziauzostanieopisanyalgorytmdziawwodnychorazjedenz algorytmwsegmentacji obrazu bazujcy na teorii grafw.1Odpowiedniealgorytmyi sposobyprzekazywaniainformacji zostanzaproponowanewIII czcipracy.334.1. Klasyczny algorytm dziaw wodnych 344.1 Klasycznyalgorytm dziaw wodnychAbyzobrazowaalgorytmdziawwodnych[73] jegodziaaniezostanieporwnanedozalewaniaterenuprzez wod. Wtymceluwartospojrze naobraz niczymnamaptopograczn terenu. Analogia bdzie jaknajbardziej prawdziwa, jeli zaoysi, ejasno poszczeglnych pikseli okrela stopie wzniesienia wzgldem okrelonego punktuodniesienia wprzypadku mapy jest nimpoziommorza. Dodatkowo, na potrzebyilustracji omawianegoalgorytmumonazaoy, epodoeterenumastrukturgbkii nie ma problemu z przepuszczaniem wilgoci. Przy tak postawionych zaoeniach monawyobrazisobieprocesrwnomiernegozalewania(nasikania)caegoterenuoddoudogry. Oczywistymwydajesi, enajpierwzamoknterenypooonenajniej, awodabdzie rwnomiernie si w nich wypenia, a poczy si z ssiednimi zlewiskami.Niestety stosowanie tego podejcia do obrazwworyginalnej postaci moe daniepodane rezultaty. Powodem tego jest fakt, e obiekty ma obrazie mog mie rnjasnowzgldemsiebiei wzgldemta. Wtensposbnajpierwzostaybywypenionenajciemniejsze obiekty, pniej to, a na samymkocu obiekty janiejsze od ta.Tymsamymcz obiektw(tychnajciemniejszych) mogabyby pominita. Jeszczewikszyproblemmoeprzysporzyanalizaobiektwniejednorodnych, ktrychjasnojestinnawrnychjegoczciach. Biorcpoduwagwymienioneproblemyzalecasiprzygotowanie najpierwobrazugradientowego2, ktryuwydatnia krawdzie obiektwi dopiero pniej stosowanie algorytmu dziawwodnych. Wobrazie gradientowymlokalneminima, czyli punkty, ktrejakopierwszezalewaneswodwposzczeglnychsegmentach3, le wstrefach jednolitego nasycenia kolorw, natomiast czymbliejkrawdzi obiektwtymwartoci gradientuswysze i toone bdstanowi punktyczeniasidwchsegmentw. Wprowadzajcnazewnictwozwizanezanalizobrazumona powiedzie, e punkty czenia si zlewisk bd stanowi lini wododziau,natomiast same zlewiska bd okrela niezalene segmenty obrazu.Wyniki dziaania algorytmu dziaw wodnych przebiegajcego wg opisanej koncepcjimonazobaczynarysunku4.1. Ilosegmentw, ktrepowstaywwynikudziaaniaalgorytmu zdecydowanie przewysza liczb obiektw, ktre mgby wskaza uytkownik.W tym wypadku problem jest zwizany z wystpowaniem szumu na caym obrazie, ktrywprowadzaznacznynadmiarlokalnychminimw.Wtakiejsytuacjidobrympodejciembdzie skorzystanie z algorytmu usuwania szumu i ponowne uruchomienie caej proceduryod pocztku. Rezultaty pokazane na rysunku 4.2 s znacznie lepsze, ni poprzednie. Dorozmycia obrazu uyto ltracji Gaussa o parametrze sigma = 1. Nawet jeli odwzorowanie2Stosowanie operatorw gradientowych opisano w dodatku A.1.Proste sposoby detekcji krawdzi.3Lokalne minima s to punkty, wzgldem ktrych wszyscy ssiedzi maj wiksze wartoci.4.1. Klasyczny algorytm dziaw wodnych 35(a) (b) (c)Rysunek4.1: Wyniki segmentacji koci biodrowejzwykorzystaniemalgorytmudziawwodnych [73]: (a) obraz oryginalny, (b) obraz gradientowy, (c) wynik segmentacji(opracowanie wasne).(a) (b) (c)Rysunek 4.2: Segmentacja wododziaowa obrazu po uprzednim usuniciu szumu:(a) oryginalnyobraz po rozmyciultremGaussa o wartoci sigma =1, (b) obrazgradientowy, (c) wyniki segmentacji (opracowanie wasne).rzeczywistychobiektwnasegmentycigleniejestpoprawne,touzyskanywynikmoeby dobrym punktem wyjcia do dalszej analizy.Efektdziaaniaopisanegoalgorytmuwistotnysposbzaleyodliczbyi pooeniapunktw startowych dla procesu zalewania. Wklasycznymalgorytmie tak jakprzedstawionopowyej korzystasizlokalnychminimw, awpywananiemonastosujc wygadzanie obrazu. Moliwe jest oczywicie przygotowanie dedykowanegoalgorytmu wyznaczajcego punkty startowe lub poproszenie uytkownika o ich manualnewskazanie. To drugie podejcie zostanie szerzej omwione wrozdziale 8, jako jednaz proponowanych metod przygotowania modelu opisujcego due obiekty.4.2. Segmentacja z wykorzystaniem minimalnego drzewa rozpinajcego 364.2 Segmentacjazwykorzystaniem minimalnegodrzewarozpinajcegoZastosowanie reprezentacji grafowej na potrzeby analizy obrazu pozwala skorzystaz licznych algorytmw operujcych na grafach, m.in. algorytmw poszukiwaniaoptymalnychcieek, drzewrozpinajcychi ci grafw4. Algorytmyte rozpoczynajswoje dziaanie od lokalnych obszarw i w trakcie swojego dziaania pozyskuj coraz wicejinformacji ootoczeniu. Dziki temuwprocesieanalizyzostajuwzgldnionezarwnolokalne jak i globalne cechy poszczeglnych obiektw.W rozdziale tym zostan opisane moliwoci wykorzystania algorytmu wyznaczajcegominimalne drzewo rozpinajce (ang. Minimum spanning trees, MST) w procesiesegmentacji obrazu, ktre zostay przedstawione w pracach [76] i [18]. Na potrzeby tegoalgorytmu, segmentacja obrazu bdzie rozwaana jako podzia zbioru pikseli na wzajemnierozczne podzbiory C1, C2, C3, ..., CN, gdzie kady piksel naley do jednego z podzbiorwCi. Dokonujctransformacji obrazunagraf, kadypiksel bdziereprezentowanyjakowierzchoektegografu, natomiast krawdzieczcessiadujcepikseleprzyjmwagirwnernicyichwartoci. Wceluprzeprowadzeniadalszej analizyalgorytmuzostanwprowadzone nastpujce oznaczenia [18]:wewntrzne zrnicowanie podzbioruCi:Int(Ci) = max w(e), e MST(Ci) (4.1)gdzie:MST(Ci) minimalne drzewo rozpinajce podzbioruCi,e krawd naleca doMST,w(e) waga krawdzie,Int(Ci) = 0 dla zbiorw jednoelementowych.rnica midzy dwoma podzbioramiCm iCn:Diff(Cm, Cn) = min w(Vi, Vj), Vi Cm, Vj Cn, Vi, Vj E, (4.2)gdzie:Vi, Vj wierzchoki nalece odpowiednio doCm iCn,w(Vi, Vj) waga krawdzi czcejVi iVj(o ile taka krawd istnieje).4Zwize wprowadzenie do moliwoci zastosowania algorytmw grafowych na potrzeby analizy obrazumona znale w pracy [68].4.2. Segmentacja z wykorzystaniem minimalnego drzewa rozpinajcego 37minimalna rnica wewntrzna podzbiorwCm iCn5:MInt(Cm, Cn) = minInt(Cm) +[Cm[, Int(Cn) +[Cn[ (4.3)gdzie: parametr zdeniowany przez uytkownika,[ [ oznacza liczb elementw zbioru.Opierajc si nawyej postawionychzaoeniach, dwasegmenty Cmi Cnnaledotegosamegoobiektu, jeli warto Diff(Cm, Cn) jest mniejszaodMInt(Cm, Cn).Dziaanie takokrelonego algorytmurozpoczyna si odsegmentacji, wktrej kadypiksel tworzyosobnypodzbir Cii rosncegoprzesortowaniawagkrawdzi. Nastpnierozpoczynajc odkrawdzi o najmniejszej wadze, sprawdza si, korzystajc z wyejokrelonych warunkw, czy krawd ta moe poczy dwa podzbiory. W kadym krokuotrzymuje si uaktualniony podzia zbioru pikseli na podzbioryC1, C2, C3, ..., Ci, ... .(a) (b)Rysunek 4.3: Przykad segmentacji obrazu niejednorodnego algorytmemgrafowymposzukujcym minimalnego drzewa rozpinajcego:(a) obraz wejciowy, (b) wynik segmentacji (opracowano na podstawie [18]).Wartykule[18] autorzyalgorytmupokazujmoliwoci wykorzystaniaomwionejkoncepcji na przykadzie sztucznie wygenerowanych obrazw niejednorodnych (Rys. 4.3).Wskazuj oni na moliwoci poprawnej segmentacji zarwno obiektw o rnej teksturze,jak i tych, w ktrych wystpuj delikatne przejcia tonalne. Wasnoci te niekoniecznie spodane w przypadku analizy rzeczywistych obrazw niejednorodnych, poniewa mogwpywa na czenie ssiednich obiektw pomidzy, ktrymi nie ma ostrej granicy. Testyprzeprowadzone z wykorzystaniemprzykadowychzdj rentgenowskichkoci udowej(Rys. 4.4) dla niskiej wartoci progowej = 40 pozwoliy na uzyskanie zblionejwielkoci segmentw(Rys. 4.4bi 4.4e), jakmiaotomiejscewprzypadkustosowania5Oryginalny ang. termin: minimum internal dierence.4.2. Segmentacja z wykorzystaniem minimalnego drzewa rozpinajcego 38(a) (b) (c)(d) (e) (f)Rysunek 4.4: Segmentacja rentgenowskich obrazw koci udowej (lewa kolumna)algorytmem grafowym MST[18] o wartoci granicznej=40 (rodkowa kolumna) oraz= 70 (prawa kolumna) (opracowanie wasne).algorytmu dziaw wodnych po rozmyciu obrazu ltrem Gaussa o parametrzesigma = 1(Rys.4.2).Zwikszenietegoparametrudowartoci =70wceluuzyskaniawikszychsegmentwpowodujescaleniegowykoci udowej zfragmentemobszarunalecegodomiednicy (Rys. 4.4c i 4.4f). Kolejne zwikszanie wartoci progowej na wikszocitestowanychobrazwprowadziodoszybszegoczeniaobszarwnalecychdokociztem, zamiastczeniasisegmentwwaciwychobiektw. Podobnasytuacjamiaarwnie miejsce w przypadku algorytmu dziaw wodnych, dlatego oba algorytmy mogznalezastosowanieraczej dosegmentacji podstawowychstruktur naobrazie, nidowydzielania duych obiektw.Rozdzia 5czenie segmentwZuwagi na niebezpieczestwo tworzenia niepoprawnych segmentw, ktre zawierajfragmenty kilku obiektw, w opisywanych w rozdziale 4 algorytmach zaleca si ostronezwikszanie parametrw wpywajcych na wielko segmentw. Bezpieczniej jest uzyskanadmiarowy podzia obiektwna segmenty, ni doprowadzi do bdnych pocze,tworzc w ten sposb segmenty skadajce si z fragmentw dwch, lub wicejrzeczywistych obiektw. Opisane algorytmy segmentacji powinny by stosowane nawczesnymetapie analizyobrazudowydzieleniapodstawowychstruktur. Wkolejnymkrokuprzy uyciudodatkowej informacji o wasnociachtychstruktur, bd mogyzosta one poczone we waciwe obiekty. Algorytmy za to odpowiadajce noszmianoalgorytmwczenia(scalania) segmentw(ang. Region-Merging SegmentationAlgorithms). Wymagaj one okrelenia pewnych miar spjnoci, ktre powinny speniassiadujce segmenty wcelu ich poczenia wobiekty odpowiadajce rzeczywistymobiektom na obrazie.Wdalszej czci tego rozdziau omwiono ide dziaania algorytmw czeniasegmentw, atakeprzedstawionopopularnekryteriaspjnoci. Celemtejanalizyjestdokadniejszewskazanieproblemw, jakiestwarzauycietegotypumetoddoanalizyduychobiektwnaobrazachniejednorodnych. Dodatkowo, bliszeprzedstawienieichzasadydziaaniaumoliwi atwiejszanaliz zaproponowanegowrozdziale 6nowegoalgorytmu scalania regionw.5.1 Wykorzystaniereprezentacji grafowejnapotrzebyalgorytmuczeniasegmentwWygodnym sposobem konstruowania i implementacji algorytmw czenia segmentw jestwykorzystanie reprezentacji grafowej. Zazwyczaj informacja o poszczeglnych segmentachzapisywana jest wwierzchokach grafu, a zalenoci midzy ssiednimi segmentamizapamitaneswjegokrawdziach.Takiepodejcieznacznieuatwiaanalizzalenocimidzy poszczeglnymi segmentami i podejmowanie decyzji o ich poczeniu.Oglnazasadadziaaniaalgorytmwczeniasegmentwwoparciuoreprezentacjgrafow nie jest skomplikowana i moe przebiega wedug nastpujcego schematu:395.1. Wykorzystanie reprezentacji grafowej na potrzeby algorytmu czenia segmentw 40krok1Indeksacja wynikw segmentacji obrazu, ktra ma na celu przypisanieunikatowych wartoci pikselom nalecym do rnych segmentw.krok2Przygotowanie grafu reprezentowanego przez listy ssiedztwa - dla kadegosegmentu tworzona jest lista, w ktrej zapisywane s indeksy przylegych segmentw.krok3Dlakadegosegmentuwyliczanajest wartospjnoci jegopunktwwedugprzyjtejmiary(popularnemiaryopisanowkolejnejsekcji tegorozdziau), ktranastpnie zapisywanajest jakowagawierzchokagrafu, odpowiadajcemutemusegmentowi.krok4Dla kadej pary segmentw wyliczana jest warto kryterium czenia (najczciejliczonajakornicawartoci miar), ktranastpnie zapisywanajest jakowagakrawdzi czcej te segmenty.krok5Nastpnie wybierana jest krawd o najniszej wadze i sprawdzane jest czy miecisi ona w dopuszczalnej granicy1Jeli tak: segmenty poczone t krawdzi scalane s wjedensegment -wykonywane s wtedy nastpujce operacje:krok5.1wszystkie punkty obu segmentw otrzymuj ten sam indeks,krok5.2na podstawie poprzednich list tworzona jest nowa lista ssiedztwa,krok5.3informacja o poczeniu przekazywana jest do wszystkich segmentwprzylegych, takabymogyonerwniedokonaaktualizacji (zamienistary indeks na nowy, lub usun jeden z indeksw, jeli graniczyyz obydwoma poczonymi segmentami),krok5.4wyliczana jest ponownie miara spjnoci dla nowo powstaegosegmentu oraz wartoci kryteriumczenia z ssiednimi segmentami;skutkujetouaktualnieniemwagkrawdzi grafu, zktrymi czysitensegment,krok5.5Krok (5) wykonywany jest ponownie.Jeli nie: zakoczenie algorytmu.Analizujc ten algorytm atwo zwrci uwag na jego iteracyjny charakter. Po etapieanalizy wszystkich segmentw, algorytm wybiera te pary segmentw, ktre maj najniszwarto kryteriumczenia. Dziki temunastpuje systematycznywzrost najbardziejjednorodnychobszarw, ktryjestkontrolowanyprzezwartogranicznpodanprzezuytkownika.1Warto graniczna czenia segmentw przekazywana jest jako parametr do algorytmu.5.2. Popularne kryteria czenia segmentw 415.2 PopularnekryteriaczeniasegmentwIstniejewielemiarsucychdoopisywaniaspjnoci pikseli wobrbiesegmentwnaobrazie. Podpojciemmiaryspjnoci monarozumie pewnwielko statystyczna(np. redni, wariancj, korelacj i inne), ktra pozwala na zmierzenie okrelonejcechykadegosegmentu(np. intensywnoci pikseli, wasnoci histogramu). Pniej, napodstawie obliczonych wartoci porwnywane s ssiadujce ze sob segmenty i te z nich,ktremajnajbardziej zblionemiaryspjnoci, szesobscalane. Czasami zamiastobliczaniamiarspjnoci dlakadegosegmentuzosobnai porwnywaniaichzesob,warto dokadniej sprawdzi cechy wsplne ssiadujcych segmentw, np. poprzez analizpunktw wsplnych lecych na granicy midzy nimi. Dlatego w kontekcie algorytmwczeniasegmentw, zamiastoperowanianasamychmiarachspjnoci, czstokorzystasi z uoglnionego pojcia tzw. kryterium czenia segmentw, ktre dotyczy rwnieinnych pomiarw, niekoniecznie zwizanych z porwnywaniemwspomnianych miar.Sterujcwartocigraniczntegokryteriummonawpywanawielkowynikowychsegmentw.Poniej zostan przedstawione czsto stosowane kryteria czenia segmentw. W tymcelu wprowadza si nastpujce oznaczenia:Ki(S1, S2) - kryterium czenia (podobiestwa) segmentwS1 iS2,Mi(S) - miara spjnoci analizowanego segmentu,N - liczba wszystkich pikseli analizowanego segmentu,Imin[x], x S - kolejne piksele analizowanego segmentu.Wybrane kryteria czenia segmentw:1. Rnica rednich:K1(S1, S2) = [M1(S1) M1(S2)[, (5.1)M1(S) =

Imin[x]N, x S, (5.2)gdzieM1(S) - rednia arytmetyczna wszystkich pikseli S.2. Rnica kontrastu:K2(S1, S2) = [M2(S1) M2(S2)[, (5.3)M2(S) = MAX(S) MIN(S), (5.4)gdzie M2(S) - kontrast rozumiany jako rnica midzy najwiksz, a najmniejszwartoci w badanym segmencie.5.2. Popularne kryteria czenia segmentw 423. Rnica entropii:K3(S1, S2) = [M3(S1) M3(S2)[, (5.5)M3(S) =

Px log2(Px), (5.6)gdzie:M3(S) - miara entropii pikseli,Px- prawdopodobiestwo pikselax wyliczane ze znormalizowanego histogramu.4. Rnica wariancji:K4(S1, S2) = [M4(S1) M4(S2)[, (5.7)M4(S) =

(Imin[x] rednia(S))2N, x S, (5.8)gdzieM4(S) - wariancja pikseli.5. Rnica jednolitoci:K5(S1, S2) = [M5(S1) M5(S2)[, (5.9)M5(S) = 1 wariancja(S)rednia(S)2, (5.10)gdzieM5(S) - denicja jednolitoci (ang. uniformity).6. Korelacja histogramw:K6(S1, S2) =H1H2norm(H1)norm(H2), (5.11)gdzie:Hi- histogram segmentu (i),H1H2- iloczyn skalarny pomidzyH1, aH2,norm(Hi) - norma euklidesowa histogramuHi.7. Kontrast brzegu:K7(S1, S2) =1M

max(C(s, t)), t V (s) t S2 s S1, (5.12)C(s, t) = [Imin[s] Imin[t][ (5.13)gdzie:V (s) - punkty ssiednie pikselas,M - liczba pikseli na granicy miedzy segmentemS1, aS2.5.2. Popularne kryteria czenia segmentw 43Wszystkie powysze kryteria czenia segmentw dostpne s w otwartym analizatorzeobrazu Pandore2[90]. Na potrzeby ich przetestowania przygotowano gracznyinterfejs uytkownika3, ktry uatwi poszukiwanie odpowiedniej wartoci granicznej dlaposzczeglnych kryteriw (Rys. 5.1).Rysunek 5.1: Testowa aplikacja prezentujca dziaanie rnych kryteriw czeniasegmentw (praca wasna).Przetestowanezostaydwarnetypyobrazw: obrazyradiologicznekoci udoweji obrazy tomograczne klatki piersiowej. Pierwsze z nich charakteryzuj si duniejednorodnocii problememzwydzieleniemobszarukoci udowej, natomiastdrugie- obrazyklatki piersiowej - niestwarzajproblemwprzysegmentacji poszczeglnychobiektw. Obrazy te poddano wstpnej segmentacji algorytmemdziawwodnych,poprzedzonej operacjrozmyciaGaussaztaksamwartociparametrusigma=1.Dla obrazwkoci udowej wysza warto tego parametruprowadzia na niektrychobrazachdobdwwsegmentacji obawiajcej si m.in. czeniemfragmentwkociz tem. Natomiast dla obrazw przedstawiajcych puca pomimo tego, e parametr sigmamgby zosta znacznie zwikszony pozwalajc tym samym na uzyskanie duo wikszychsegmentw, towceluprezentacji moliwoci algorytmuczeniasegmentwzosta onustalony na takim samym poziomie.Na potrzeby omwienia algorytmw czenia segmentw w kontekcie duychobiektwwybranopojednymobraziezkadej serii zdj. Dlaprzykadowegoobrazutomogracznego klatki piersiowej (Rys. 5.2a) wszystkie omwione wyej kryteriapozwoliy na znaczn redukcj segmentw i doprowadziy do wydzielenia obszaru2Analizator Pandore jest zbiorem programw dziaajcych w linii komend, oraz bibliotek C++.3Aplikacj wraz z penym kodem rdowym opublikowano na stronie internetowej autora niniejszejpracy pod nastpujcymadresem: https://sites.google.com/site/rafalpetryniakresearchpl/software/pandore-gui-modules/region-merging.5.2. Popularne kryteria czenia segmentw 44puc, korpusu ciaa i ta (Rys. 5.2c). Warto graniczna dla kadego kryteriumbya dobierana indywidualnie poprzez systematyczne jej zwikszanie do momentuuzyskaniasatysfakcjonujcychwynikw. Poniewawyniki dlakadegokryteriumbyybardzo zblione, dlatego na obrazie 5.2c przedstawiono wyniki tylko dla kryteriumbazujcego na redniej arytmetycznej (warto graniczna kryterium=100). Opierajc sina zebranychspostrzeeniachmona przypuszcza, e poprawna segmentacja byabyrwniemoliwanapozostaychobrazachklatki piersiowej. Jeli jednakstaawartograniczna kryterium dla wszystkich obrazw (np. warto 100 dla redniej arytmetycznej)niedawaabydobrychrezultatw, wwczasmonarozwayprzygotowaniealgorytmu,ktry proponowaby odpowiedni warto indywidualnie dla kadego obrazu.(a) (b) (c)Rysunek 5.2: Wyniki czenia segmentwdla wybranego obrazu klatki piersiowej:(a) obraz oryginalny, (b) wstpna segmentacja algorytmem dziaw wodnych, (c) czeniesegmentw z zastosowaniem kryterium bazujcego na redniej o wartoci granicznej 100(opracowanie wasne).W odrnieniu od obrazw klatki piersiowej, ktre w zakresie testowanych kryteriwczeniasegmentwcechowaysidujednorodnoci, analizaprzykadowegozdjciakociudowejniedaaoczekiwanychrezultatw. Gwnymcelemtejanalizybyaprbawydzielenia koci udowej lub chociaby znaczna redukcja liczby segmentw w jej obszarze.Niestety, szybciej dochodzio do niepoprawnych pocze segmentwnalecych dornychobiektw, anieli do scalenia segmentwwewntrz poszczeglnychobiektw.Na rysunku 5.3 przedstawiono wyniki czenia segmentwdla wybranych kryteriw(dlapozostaychkryteriwuzyskanopodobnewyniki)zwartocigraniczn,dlaktrejuzyskanopierwszeniepoprawnezczenia.Wida,ejudlaniskiejwartocigranicznejdla poszczeglnych kryteriw szybciej dochodzio do scalenia fragmentw z tem, ni dooczekiwanych pocze zwikszajcych obszary odpowiednich obiektw. Nawet kryteriumoparte na kontracie brzegu (Rys. 5.3f), ktre pozwolio na uzyskanie stosunkowo duychsegmentw i nie zczyo obszaru koci z tem, spowodowao bdne scalenie gowy koci5.2. Popularne kryteria czenia segmentw 45udowej z fragmentem miednicy. Podobne problemy, jak te opisane dla wybranego obrazu,miay rwnie miejsce na pozostaych obrazach przedstawiajcych ko udow.(a) (b)(c) (d) (e) (f)Rysunek 5.3: Wyniki czenia segmentw dla wybranego obrazu koci udowej: (a) obrazoryginalny,(b)wstpnasegmentacjaalgorytmemdziawwodnych,czeniesegmentwz zastosowaniemkryteriumbazujcego na: (c) redniej (prg=5), (d) wyrwnaniuhistogramw(prg=0.85),(e)jednolitoci(prg=0.996),(f)kontraciebrzegu(prg=2)(opracowanie wasne).Podsumowujc, stosujc popularne kryteria czenia segmentwtrudno wykonapoprawn segmentacj duych obiektw na obrazach niejednorodnych. Obrazy tego typu,takjakwspomnianoju otymwrozdziale 2, sprawiajtrudno wjednoznacznymokreleniu cech znajdujcych si na nich obiektw. Pomimo istnienia tego typu problemw,w literaturze dotyczcej segmentacji obrazu pojawio si wiele prac prbujcych skutecznierozwiza zadanie czenia regionw(m.in. [4, 35, 48]). Rwnie wniniejszej pracyzostaniezaproponowanynowyalgorytmtegotypu, dedykowanyszczeglniedodetekcjilubzmniejszenialiczbysegmentwnaobrazachprzedstawiajcychdueobiekty. Jegoszczegow analiz zaprezentowano wIII czci pracy wrozdziale 6.2. Propozycjaalgorytmu czenia regionw z wykorzystaniem informacji o krawdzi.CzIIIAlgorytmysegmentacji orazdetekcjiduychobiektw5.2. Popularne kryteria czenia segmentw 47Proces segmentacji obrazu, nawet przy zastosowaniu tak zaawansowanych algorytmw,jakdziaywodnelubalgorytmygrafowe, moedawarezultatyinneodoczekiwanych.Zjednej strony moe to wynika z faktu, e analizowany obraz nie jest najlepszejjakoci lubobiektywnimzawarte majsabozaznaczone granice. Zdrugiej strony,nie wystarczy tylko uruchomi wybrany algorytmsegmentacji obrazu i czeka nawyniki, ale naley przekaza do algorytmu informacj, ktre obiekty nas interesuj(problemdetekcji)i jaki poziomszczegowoci powinienzostarozpatrzony(problemsegmentacji). Samalgorytmnie bdzie przecie wstanie domyli si, czy chcemyuzyska drobne obiekty na obrazie, czy te skupi si na detekcji duych obiektwskadajcych si z innych mniejszych obiektw. Problemszczeglnie jest widocznyw drugim przypadku, gdzie trzeba okreli, ktre obiekty powinny zosta poczone, byzapobiec nadmiernemurozdrobnieniunasegmenty. Takinformacj monaprzekazado algorytmuwpostaci modelureprezentujcego wiedz o poszczeglnychobiektachnaobrazie. Tegorodzajuwiedzamoezawieranp. informacjoteksturze, ksztacie,granicach i pooeniu poszczeglnych obiektw. Moe by rwnie przedstawiona zapomoc semantycznego opisu obiektwi ich wzajemnych zalenoci, co moe byszczeglnie przydatne wautomatycznymrozumieniuobrazw(ang. Automatic ImageUnderstanding) szerzej opisane w pracy [70] i [49].W dalszej czci rozprawy zostan zaproponowane trzy modele, ktre wg autora mogmie szczeglne zastosowanie do detekcji i segmentacji duych obiektw:Model bazujcy na krawdzi (Rozdz. 6) zostanie zaproponowany nowyalgorytmczeniaregionwz wykorzystaniemwczeniej przygotowanegoobrazukrawdziowego, ktry pozwala na znaczne zredukowanie liczby segmentw.Model bazujcy na ksztacie (Rozdz. 7) bdzie si opiera na technice segmentacjizatlasem(ang. Atlas-basedsegmentation)zzaproponowanymdodatkowoetapemcisego dopasowania ksztatu do obiektu na obrazie.Model bazujcy na znacznikach (Rozdz. 8) zalecany do interaktywnej segmentacjiobrazu.Rozdzia 6Segmentacja obrazu z uyciem modelu bazujcego na krawdziGranicezaleganiaobiektwnaobrazachcyfrowychzazwyczajopisywaneszapomocbinarnego (czarno-biaego) obrazu krawdziowego1. Taki obraz zawiera bardzo duoinformacji, ktr mona wykorzysta do jego skutecznej segmentacji. Na obrazachniejednorodnych, dla ktrychnie da si jednoznacznie dobra progubinaryzacji dlaobiektw, wyniki detekcji krawdzi mog by szczeglnie pomocne w procesie rozdzielaniaobiektw. Jest to oczywicie moliwe w przypadku istnienia wyranych rnic koloru lubstopniaszaroci pomidzyssiednimi obiektami. Wprzeciwnymwypadkuotrzymamyniecige krawdzie i pojawi si problemz ich poprawnympoczeniem. Zadaniedetekcji krawdzi moe zosta dodatkowo utrudnione wmomencie wystpienia naobrazielokalnychzakceczyliszumw.Wartowtakiejsytuacjizastosowaprocedu