pobierz tekst doktoratu

Wydział Elektrotechniki i Elektroniki Politechniki Łódzkiej

Katedra Informatyki Stosowanej

mgr inż. Wojciech Bieniecki

Nowe algorytmy przetwarzania obrazów w wizyjnych systemach komputerowych wspomagających diagnostykę patomorfologiczną

Praca doktorska

Promotor: prof. dr hab. inż. Dominik Sankowski

Łódź, 2005

Nowe algorytmy przetwarzania obrazów w wizyjnych systemach komputerowych wspomagających …

i

Spis treści Wstęp....................................................................................................................................................................1

Rozdział 1: Cel, zakres, tezy i układ pracy...............................................................4 1.1 Cel pracy...................................................................................................................................................5 1.2 Tezy pracy ................................................................................................................................................6 1.3 Zakres pracy.............................................................................................................................................7 1.4 Układ pracy............................................................................................................................................10

Rozdział 2: Projekt systemu komputerowej analizy mikroskopowych obrazów jąder komórkowych nowotworu sutka...................................................................13

2.1 Przegląd istniejących systemów analizy ilościowej obrazów mikroskopowych .........................14 2.2 Założenia projektu ................................................................................................................................18 2.3 Charakterystyka badanego obrazu.....................................................................................................23 2.4 Algorytm przetwarzania i analizy obrazów mikroskopowych w systemie Pato ........................25

2.4.1 Algorytmy filtracji obrazu..................................................................................................................27 2.4.2 Algorytmy segmentacji obrazu .........................................................................................................29 2.4.3 Identyfikacja obiektów........................................................................................................................33

2.5 Weryfikacja algorytmów ......................................................................................................................38 2.5.1 Metodyka eksperymentu....................................................................................................................38 2.5.2 Dyskusja wyników..............................................................................................................................40

Rozdział 3: Algorytmy przetwarzania wstępnego barwnych obrazów mikroskopowych .....................................................................................................42

Wstęp..................................................................................................................................................................43 3.1 Przegląd istniejących metod usuwania zakłóceń w obrazie ...........................................................43 3.2 Algorytmy usuwania zakłóceń w barwnych obrazach mikroskopowych....................................49

3.2.1 Algorytm PNN-VMF ..........................................................................................................................49 3.2.2 Algorytm 2pMLF.................................................................................................................................50

3.3 Weryfikacja zaproponowanych algorytmów....................................................................................52 Wnioski ..............................................................................................................................................................54

Rozdział 4: Algorytmy binaryzacji monochromatycznych obrazów mikroskopowych .....................................................................................................56

4.1 Przegląd istniejących metod binaryzacji obrazu...............................................................................57 4.2 Algorytm binaryzacji Bernsen-Bieniecki............................................................................................60

4.2.1 Szybka implementacja algorytmu Bernsena....................................................................................60 4.2.2 Algorytm wieloprzebiegowy.............................................................................................................61 4.2.3 Weryfikacja algorytmów ....................................................................................................................63

Podsumowanie .................................................................................................................................................68

Rozdział 5: Algorytmy segmentacji obrazów mikroskopowych metodą analizy przestrzeni barw ......................................................................................................69

5.1 Przegląd istniejących metod klasyfikacji pikseli...............................................................................70 5.1.1 Metody analizy histogramu składowych barwy ............................................................................71 5.1.2 Klasteryzacja przestrzeni barw..........................................................................................................72

5.2 Algorytm segmentacji obrazów mikroskopowych poprzez klasyfikację pikseli .........................74 5.2.1 Wybór metody klasyfikacji ................................................................................................................74 5.2.2 Algorytm CG 1-NN.............................................................................................................................76 5.2.3 Testy wariantów algorytmu CG 1-NN.............................................................................................82

Wnioski ..............................................................................................................................................................85

Rozdział 6: Algorytmy segmentacji monochromatycznych i barwnych obrazów mikroskopowych przy zastosowaniu metody działów wodnych.........................86

6.1 Istniejące metody segmentacji obrazu poprzez detekcję obszarów ...............................................87 6.1.1 Metoda działów wodnych..................................................................................................................89

6.2 Algorytm segmentacji obrazów mikroskopowych metodą działów wodnych............................95


ii

6.2.1 Implementacja algorytmu ..................................................................................................................95 6.2.2 Redukcja zjawiska nadmiernej segmentacji...................................................................................101 6.2.3 Weryfikacja algorytmu .....................................................................................................................106

Wnioski ............................................................................................................................................................108

Rozdział 7: Projekt systemu komputerowej oceny aktywności wydzielniczej limfocytów wykorzystującego zaproponowane algorytmy przetwarzania i analizy obrazów ..................................................................................................... 109

7.1 Charakterystyka badanego obrazu...................................................................................................111 7.2 Przegląd istniejących systemów analizy obrazów limfocytów ....................................................112 7.3 Zakres działania projektowanego systemu pomiarowo-diagnostycznego.................................113 7.4 Proponowany algorytm przetwarzania i analizy obrazów limfocytów......................................114

7.4.1 Algorytmy przetwarzania wstępnego obrazu ..............................................................................114 7.4.2 Algorytmy segmentacji obrazu .......................................................................................................117 7.4.3 Identyfikacja i pomiar obiektów......................................................................................................119

7.5 Weryfikacja systemu SpotView.........................................................................................................120 Wnioski ............................................................................................................................................................124

Zakończenie ........................................................................................................... 125

Wykaz literatury ..................................................................................................... 130

Załącznik A: Segmentacja obrazu – podstawowe definicje ............................... 138 A.1 Grafy......................................................................................................................................................139 A.2 Obraz cyfrowy .....................................................................................................................................140

Załącznik B: Opracowane dane badawcze .......................................................... 146 B.1 Rekonstrukcja zaszumionych obrazów barwnych filtrami medianowymi ................................147 B.2 Progowanie obrazów algorytmem wieloprzebiegowym opartym na metodzie Bernsena ......153 B.3 Testy algorytmów klasyfikacji pikseli ..............................................................................................158 B.4 Segmentacja obrazów tkanki rakowej algorytmem działów wodnych.......................................164 B.5 Analiza ilościowa obrazów mikroskopowych wycinków histologicznych i rozmazów cytologicznych ................................................................................................................................................167

Załącznik C: Opis użytych metod diagnostyki medycznej ................................. 171 C.1 Badanie aktywności receptorów progestagenowych i estrogenowych w histologicznych i cytologicznych preparatach mikroskopowych barwionych immunohistochemicznie........................172

C.1.1 Cel badania ........................................................................................................................................172 C.1.2 Przebieg badania...............................................................................................................................175

C.2 Badanie aktywności wydzielniczej limfocytów metodą ELISPOT ..............................................176 C.2.1 Istota badania ....................................................................................................................................176 C.2.2 Uzyskiwanie obrazów......................................................................................................................176


iii

Spis tabel Tab. 2-1 Przedziały wartości barw w barwieniu immunohistochemicznym ..................................................24 Tab. 2-2 Zakresy barw obiektów............................................................................................................................34 Tab. 2-3 Kryteria identyfikacji obiektów ..............................................................................................................37 Tab. 2-4 Wartości NMSE (%) dla pomiarów pogrupowanych wg metody przygotowania preparatu.......40 Tab. 2-5 Średnia liczba jąder komórkowych w polu widzenia dla badania ręcznego i automatycznego...40 Tab. 3-1 Zależność wywołanego wariantu od frakcji zmodyfikowanych pikseli...........................................51 Tab. 3-2 Obrazy użyte w doświadczeniu .............................................................................................................52 Tab. 3-3 Filtry użyte w doświadczeniu.................................................................................................................52 Tab. 3-4 Zależność wywołanego wariantu od frakcji zmodyfikowanych pikseli...........................................52 Tab. 5-1 Frakcja punktów użytych w pierwszym przebiegu (dla powierzchni nieskończonej) ..................78 Tab. 6-1 Utrata informacji podczas przekształcania obrazów barwnych na monochromatyczne .............102 Tab. 6-2 Wyniki segmentacji metodą działów wodnych z progowaniem wysokości działu wodnego....107 Tab. 6-3 Wyniki segmentacji dla algorytmu klasyfikacji pikseli z wykorzystaniem siatki działów

wodnych....................................................................................................................................................108 Tab. 7-1 Porównanie liczności N, wartości oczekiwanej µ i wariancji σ2 dla wybranych próbek..............121 Tab. 7-2 Porównanie liczności N, wartości oczekiwanej µ i wariancji σ2 dla odfiltrowanych próbek.......121 Tab. 7-3 Porównanie rozkładów log10 pola i ciężaru plamek dla wybranych obrazów ..............................122 Tab. B-1 Jakość rekonstrukcji obrazów zaszumionych: airplane, baboon, couple, girl ...............................149 Tab. B-2 Jakość rekonstrukcji obrazów zaszumionych: girl2, girl3, house, jelly_beans1 ............................150 Tab. B-3 Jakość rekonstrukcji obrazów zaszumionych: jelly_beans, Lena, peppers, sailboat ....................151 Tab. B-4 Jakość rekonstrukcji obrazów zaszumionych: splash, tiffany, tree.................................................152 Tab. B-5 Szybkość działania algorytmów progowania (Pentium 4 2GHz), czasy w ms. ............................158 Tab. B-6 Czas obliczeń w [ms] dla algorytmów progowania w zależności od wielkości maski dla obrazu

„stonoga” (1228800 pikseli) (Pentium4 2 GHz) .................................................................................158 Tab. B-7 Czas obliczeń w [ms] dla algorytmów progowania w zależności od wielkości maski dla obrazu

„suma” (1040384 pikseli) (Pentium4 2 GHz)......................................................................................158 Tab. B-8 Wyniki testów dla algorytmów klasyfikacji pikseli: zbiór testowy „1” (367500 punktów), zbiór

uczący 100 punktów................................................................................................................................161 Tab. B-9 Wyniki testów dla algorytmów klasyfikacji pikseli: zbiór testowy „1” (367500 punktów), zbiór

uczący 200 punktów................................................................................................................................161 Tab. B-10 Wyniki testów dla algorytmów klasyfikacji pikseli: zbiór testowy „1” (367500 punktów), zbiór

uczący 667 punktów................................................................................................................................162 Tab. B-11 Wyniki testów dla algorytmów klasyfikacji pikseli: zbiór testowy „2” (1470000 punktów),

zbiór uczący 100 punktów......................................................................................................................162 Tab. B-12 Wyniki testów dla algorytmów klasyfikacji pikseli: zbiór testowy „2” (1470000 punktów),

zbiór uczący 200 punktów......................................................................................................................162 Tab. B-13 Wyniki testów dla algorytmów klasyfikacji pikseli: zbiór testowy „2” (1470000 punktów),

zbiór uczący 667 punktów......................................................................................................................162 Tab. B-14 Jakość klasyfikacji pikseli z wykorzystaniem redukcji zbioru uczącego .....................................163 Tab. B-15 Wyniki analizy ręcznej i automatycznej dla badania nr 18512......................................................167


iv

Tab. B-16 Wyniki analizy ręcznej i automatycznej dla badania nr 18511......................................................168 Tab. B-17 Wyniki analizy ręcznej i automatycznej dla badania nr 16970......................................................168 Tab. B-18 Wyniki analizy ręcznej i automatycznej dla badania nr 18414......................................................169 Tab. B-19 Wyniki analizy ręcznej i automatycznej dla badania nr 20325......................................................169 Tab. B-20 Wyniki analizy ręcznej i automatycznej dla badania nr 17132......................................................170 Tab. B-21 Wyniki analizy ręcznej i automatycznej dla badania nr 16599......................................................170


v

Spis ilustracji Rys. 1-1 Własne algorytmy zastosowane w systemach Pato i SpotView.........................................................11 Rys. 2-1 Schemat ręcznej analizy obrazów patomorfologicznych raka sutka w Zakładzie Patomorfologii

Klinicznej.....................................................................................................................................................19 Rys. 2-2 Uproszczony schemat automatycznej analizy ilościowej obrazów mikroskopowych

(opracowanie własne) ...............................................................................................................................21 Rys. 2-3 Obiekty widoczne na mikroskopowym obrazie preparatu z biopsji (powiększenie 300x)............23 Rys. 2-4 Efekt Holmesa: a), b) różne grubości wycinka oraz c), d) – odpowiadające im obrazy

mikroskopowe obiektów. .........................................................................................................................25 Rys. 2-5 Sieć działań w systemie PATO................................................................................................................26 Rys. 2-6 Proces filtrowania wstępnego przed klasyfikacją barwną. Opis w tekście ......................................28 Rys. 2-7 Segmentacja obrazu przez progowanie .................................................................................................30 Rys. 2-8 Etapy segmentacji metodą działów wodnych.......................................................................................31 Rys. 2-9 Segmentacja hybrydowa ..........................................................................................................................32 Rys. 2-10 Segmentacja obrazu cytologicznego metodą klasyfikacji pikseli. a) obraz oryginalny, b)

progowanie wartości H, c) algorytm 1-NN dla cech H, S, I, grad(I). .................................................35 Rys. 2-11 Przykład zastosowania współczynników kształtu dla różnych obiektów .....................................37 Rys. 2-12 Algorytm identyfikacji obiektów ..........................................................................................................38 Rys. 3-1 Maska dla rodziny VMF. p0 – aktualny piksel. .....................................................................................47 Rys. 3-2 Pseudokod VMF dla maski krzyżowej ..................................................................................................47 Rys. 3-3 Pseudokod FMVMF dla maski krzyżowej ............................................................................................48 Rys. 3-4 Pseudokod PNN-VMF dla maski krzyżowej ........................................................................................50 Rys. 3-5 Sumy rang dla 15 obrazów zakłóconych szumem impulsowym.......................................................54 Rys. 4-1 Taksonomia metod wyznaczania progu w segmentacji obrazu.........................................................57 Rys. 4-2 Zastosowanie maski chromatycznej dla segmentacji obrazów barwnych........................................58 Rys. 4-3 Przykład sytuacji, w których algorytm Bernsena działa błędnie. Opis w tekście............................59 Rys. 4-4 Optymalizacja wydajności metody Bernsena .......................................................................................60 Rys. 4-5 Adaptacyjne progowanie wieloprzebiegowe........................................................................................61 Rys. 4-6 Iteracyjny algorytm progowania, wersja 1 ............................................................................................62 Rys. 4-7 Iteracyjny algorytm progowania, wersja 2 ............................................................................................63 Rys. 4-8 Analiza porównawcza metody Bernsena i algorytmu wieloprzebiegowego. a) obraz wejściowy,

b) wynik segmentacji dla dużego promienia okna M, c) wynik segmentacji dla małego promienia okna W, d) algorytm wieloprzebiegowy, wersja 1 ...............................................................................64

Rys. 4-9 Binaryzacja obrazu “B5”. Opis w tekście...............................................................................................65 Rys. 4-10 Średnia szybkość przetwarzania (P4 2 GHz) ......................................................................................66 Rys. 4-11 Złożoność czasowa algorytmów progowania dla średniego przypadku .......................................67 Rys. 5-1 Zastosowanie algorytmów klasyfikacji do segmentacji obrazów ......................................................71 Rys. 5-2 Obraz mikroskopowy tkanki nowotworowej po klasyfikacji pikseli ................................................75


vi

Rys. 5-3 Zbiory ∞F (klasyfikowane w pierwszym przebiegu): (a) szachownica, (b) punkty kratowe, i (c) punkty kratowe zmodyfikowane. Część (d) pokazuje, że “krzyże” pokrywają całą powierzchnię siatki prostokątnej......................................................................................................................................78

Rys. 5-4 Głosowanie klas większościowe (a) i bezwzględne (b) dla punktów nie należących do zbioru F82 Rys. 5-5 Średnia frakcja punktów przetwarzanych przez klasyfikator CG 1-NN dla różnych wariantów.

......................................................................................................................................................................83 Rys. 5-6 Średnia dokładność testowanych wariantów w stosunku do klasyfikatora CG 1-NN...................83 Rys. 5-7 Jakość klasyfikacji dla testowanych wariantów w zależności od stopnia redukcji zbioru

uczącego. .....................................................................................................................................................84 Rys. 5-8 Szybkość klasyfikacji (w Mpix/sek.) na procesorze PIII 750 MHz....................................................85 Rys. 6-1 Interpretacja obrazu monochromatycznego jako krajobrazu .............................................................89 Rys. 6-2 Metoda strzałkowa: a) siatka trójkątna dla obrazu, liczby określają poziom jasności, b) graf

skierowany..................................................................................................................................................90 Rys. 6-3 Schemat zalewania obszaru poprzez symulację opadu atmosferycznego dla jednego wymiaru.92 Rys. 6-4 Symulacja opadu atmosferycznego dla fragmentu obrazu.................................................................92 Rys. 6-5 Pętla przetwarzania punktów obrazu dla sekwencyjnej metody powodziowej .............................95 Rys. 6-6 Implementacja sekwencyjnego algorytmu powodziowego................................................................96 Rys. 6-7 Punkty obrazu zapisane w postaci LUT ................................................................................................97 Rys. 6-8 Schemat algorytmu działów wodnych z wykorzystaniem procedury rozrostu obszarów............98 Rys. 6-9 Procedura flood-fill dla przypadku ogólnego ......................................................................................99 Rys. 6-10 Procedura weryfikacji punktów sąsiadujących dla metody rozrostu obszarów .........................100 Rys. 6-11 Procedura flood-fill dla algorytmu rozrostu obszarów...................................................................101 Rys. 6-12 Proces łączenia obszarów poprzez usuwanie zbędnych linii działów wodnych: wycinek obrazu

z nałożoną siatką linii działów wodnych (a), obraz po progowaniu linii (b); przykład: jeśli działy W1,3 i W2,3 są usunięte, dział W1,3 także zostanie usunięty (c), ostateczny efekt segmentacji (d)..105

Rys. 6-13 Segmentacja obrazu mikroskopowego metodą klasyfikacji pikseli z pomocą siatki działów wodnych....................................................................................................................................................106

Rys. 6-14 Obraz mikroskopowy „1” poddany segmentacji .............................................................................107 Rys. 7-1 Obraz uzyskany metodą ELISPOT widziany pod mikroskopem ....................................................111 Rys. 7-2 Wielkość plamek i rozkład intensywności barwy ..............................................................................111 Rys. 7-3 Etapy działania systemu wizyjnego w badaniu ELISPOT. Kolorem niebieskim zaznaczono etapy

opracowane przez autora rozprawy, a zielonym – przetwarzane zbiory danych. ........................113 Rys. 7-4 Algorytm wykrywania linii brzegowej obszaru zainteresowania ...................................................115 Rys. 7-5 Przebieg jasności linii poziomej badanego obrazu.............................................................................115 Rys. 7-6 Wyznaczenie punktu centralnego ROI ................................................................................................116 Rys. 7-7 Schemat procedur przetwarzania wstępnego w programie SpotView...........................................117 Rys. 7-8 Binaryzacja obrazu ELISPOT różnymi metodami..............................................................................118 Rys. 7-9 Deaglomeryzacja obiektów własnym wariantem metody działów wodnych ...............................119 Rys. 7-10 Fragmenty wysegmentowanego obrazu: a) Immunospot®, b) SpotView....................................122 Rys. 7-11 Porównanie rozkładu dla pola i ciężaru dla wybranych obrazów (B4 i B5) ................................123 Rys. 7-12 Porównanie rozkładu dla pola i ciężaru dla wybranych obrazów (B6 i C4) ................................123


vii

Rys. B-1 Obrazy testowe o rozdzielczości 256x256 pikseli ..............................................................................147 Rys. B-2 Obrazy testowe o rozdzielczości 512x512 pikseli ..............................................................................148 Rys. B-3 Obraz ELISPOT B4 – progowanie ........................................................................................................153 Rys. B-4 Obraz ELISPOT B5 – progowanie ........................................................................................................154 Rys. B-5 Obraz ELISPOT B6 – progowanie ........................................................................................................155 Rys. B-6 Obraz ELISPOT C4 – progowanie........................................................................................................156 Rys. B-7 Obraz ELISPOT C7 – progowanie........................................................................................................157 Rys. B-8 Segmentacja własnym algorytmem klasyfikacji - Obraz cytologiczny „1”....................................159 Rys. B-9 Segmentacja własnym algorytmem klasyfikacji - Obraz cytologiczny „2”....................................159 Rys. B-10 Segmentacja własnym algorytmem klasyfikacji - Obraz cytologiczny „5”..................................160 Rys. B-11 Deaglomeryzacja sklejonych obiektów metodą działów wodnych, badanie nr 16599, wymaz z

biopsji ........................................................................................................................................................164 Rys. B-12 Deaglomeryzacja sklejonych obiektów metodą działów wodnych, badanie nr 17132, wymaz z

biopsji ........................................................................................................................................................164 Rys. B-13 Deaglomeryzacja sklejonych obiektów metodą działów wodnych, badanie nr 16599, imprint165 Rys. B-14 Deaglomeryzacja sklejonych obiektów metodą działów wodnych, badanie nr 17132, imprint165 Rys. B-15 Deaglomeryzacja sklejonych obiektów metodą działów wodnych, badanie nr 16599, wycinek

histologiczny.............................................................................................................................................166 Rys. B-16 Deaglomeryzacja sklejonych obiektów metodą działów wodnych, badanie nr 17132, wycinek

histologiczny.............................................................................................................................................166 Rys. C-1 Urządzenia do barwienia preparatów ................................................................................................172 Rys. C-2 Proces cięcia zatopionych w parafinie skrawków tkanki.................................................................173 Rys. C-3 Maszyna do wykonywania imprintów, a) widok ogólny, b) komora chłodząca ze stolikiem ...174 Rys. C-4 Przykładowe obrazy mikroskopowe dla BAC (a), wycinka histologicznego (b) i imprintu (c)

oglądane przy powiększeniu 400x. .......................................................................................................174 Rys. C-5 Schemat działania metody ELISPOT...................................................................................................177 Rys. C-6 Obraz uzyskany metodą ELISPOT widziany pod mikroskopem ...................................................178


viii

Spis definicji Def. 3-1 Mediana.......................................................................................................................................................45 Def. 4-1 Adaptacyjne progowanie wieloprzebiegowe ........................................................................................61 Def. 5-1 Klasyfikacja.................................................................................................................................................70 Def. 5-2 Krzyż w siatce prostokątnej .....................................................................................................................78 Def. 7-1 Ciężar obiektu ..........................................................................................................................................120 Def. A-1 Graf ...........................................................................................................................................................139 Def. A-2 Graf skierowany......................................................................................................................................139 Def. A-3 Krawędź grafu ........................................................................................................................................139 Def. A-4 Ścieżka......................................................................................................................................................139 Def. A-5 Graf spójny ..............................................................................................................................................139 Def. A-6 Podgraf.....................................................................................................................................................139 Def. A-7 Komponent spójny .................................................................................................................................139 Def. A-8 Graf ważony ............................................................................................................................................140 Def. A-9 Komponent spójny dla poziomu h.......................................................................................................140 Def. A-10 Minimum lokalne .................................................................................................................................140 Def. A-11 Graf w przestrzeni dyskretnej.............................................................................................................140 Def. A-12 Obraz cyfrowy.......................................................................................................................................140 Def. A-13 Obszar płaski.........................................................................................................................................141 Def. A-14 Zbiór progowy ......................................................................................................................................141 Def. A-15 Częściowa segmentacja obrazu ..........................................................................................................141 Def. A-16 Częściowa segmentacja obrazu poprzez progowanie.....................................................................141 Def. A-17 Częściowa segmentacja obrazu poprzez klasyfikację pikseli.........................................................142 Def. A-18 Segmentacja obrazu..............................................................................................................................142 Def. A-19 Obszary sąsiadujące i łączenie obszarów..........................................................................................142 Def. A-20 Podział obszarów..................................................................................................................................143 Def. A-21 Odległość geodezyjna ..........................................................................................................................143 Def. A-22 Funkcja odległości ................................................................................................................................143 Def. A-23 Dział wodny ..........................................................................................................................................144 Def. A-24 Operacja zatapiania obszarów............................................................................................................144 Def. A-25 Wysokość działu wodnego .................................................................................................................145


ix

Wykaz skrótów i symboli matematycznych 1-NN (ang. one nearest neighbor) – metoda najbliższego sąsiada – nieparametryczna reguła

klasyfikacji nadzorowanej

2pMLF (ang. 2-pass median like filter) – dwuprzebiegowy filtr usuwający szum impulsowy z ob-razów barwnych

3D trójwymiarowy

AEC (3-amino9-etylkarbazol) – barwnik brunatny ANN (ang. artificial neural network) – sztuczna sieć neuronowa

AR (ang. aspect ratio) – współczynnik kształtu obiektu

BAC biopsja aspiracyjna cienkoigłowa

BMP (ang. bitmap) – format zapisu barwnego obrazu cyfrowego.

BSS (ang. Backward Selection Strategy) - strategia kolejnego usuwania cech – metoda doboru cech dla klasyfikatora

BVDF (ang. basic vector directional filter) - filtr przestrzenny dla obrazów barwnych usuwający szum impulsowy na podstawie analizy odległości pomiędzy wektorami barw

C kontrast, także współczynnik kolistości

c klasa (np. piksela obrazu) lub wektor barwy

card(.) moc zbioru

CCD (ang. charge-coupled device) – przyrząd o sprzężeniu ładunkowym – matryca światłoczu-ła – element kamery

CG 1-NN (ang. color and geometry one nearest neighbor) – algorytm klasyfikacji pikseli

d Impuls zakłócający funkcję jasności obrazu DAB (3,3’ – diaminobenzydyna) – barwnik brunatny DDF (ang. distance directional filtr) – filtr przestrzenny dla obrazów barwnych usuwający

szum impulsowy na podstawie analizy odległości i kątów pomiędzy wektorami barw

ELISPOT (ang. enzyme linked immunospot assay) – metoda oceny aktywności wydzielniczej limfo-cytów

ER (ang. estrogene receptor) – receptor estrogenowy ∞F podzbiór zbioru L. F – podzbiór zbioru I

f funkcja jasności lub barwy w obrazie (analogowym lub cyfrowym)

FIFO (ang. first in first out) – kolejka – powszechnie używana struktura danych

FMVMF (ang. fast modified VMF) – zoptymalizowany filtr będący rozwinięciem metody VMF

FSS (ang. forward selection strategy) - strategia kolejnego dodawania cech – metoda doboru cech dla klasyfikatora

G = (V, E) graf, gdzie V, zbiór wierzchołków, E – zbiór krawędzi

g funkcja gęstości prawdopodobieństwa

GVDF (ang. generalized vector directional filter) - filtr przestrzenny dla obrazów barwnych bę-dący rozwinięciem BVDF

HLS (ang. hue – luminance – saturation) – barwa, jasność, nasycenie – model kodowania bar-wy w obrazie cyfrowym

HSI (ang. hue – saturation – intensity) – ton, nasycenie, jasność – model kodowania barwy w obrazie cyfrowym

HSV (ang. hue – saturation – value) – ton, nasycenie, wartość – model kodowania barwy w obrazie cyfrowym

I obraz cyfrowy


x

JPEG (ang. joint photographic experts group) – standard kompresji obrazów

k współczynnik całkowity

k-NN (ang. k nearest neighbors) – metoda k najbliższych sąsiadów – nieparametryczna reguła klasyfikacji nadzorowanej

l wartość jasności obrazu

L nieskończona prostokątna siatka dyskretna

L*a*b* model kodowania barwy w obrazie cyfrowym

LOO (ang. leave one out) – metoda minus jednego elementu – metoda szacowania prawdopo-dobieństwa mylnej decyzji dla badanego klasyfikatora i zbioru testowego.

L*u*v model kodowania barwy w obrazie cyfrowym LUT (ang. look-up table) – tablica przeszukiwań, słownik, tablica haszująca – struktura danych

najczęściej przechowująca paletę barw obrazu.

M maska, okno, element strukturujący – otoczenie wybranego punktu obrazu o zadanej geo-metrii

MRI (ang. magnetic resonance imaging) – rezonans magnetyczny – nieinwazyjna metoda dia-gnozowania mózgu

NMSE (ang. normalized square mean error) – znormalizowany średni błąd kwadratowy

O(.) złożoność obliczeniowa (asymptotyczna)

o(.) złożoność czasowa (dla średniego przypadku) OQ (ang. ordered queue) – struktura danych wykorzystująca stos i kolejkę

P prawdopodobieństwo

p piksel obrazu PAL (ang. phase alternation line) – standard kodowania obrazu w telewizji analogowej

PCA (ang. principal component analysis) – analiza składowych głównych – algorytm prze-kształcenia przestrzeni cech w inną przestrzeń w której minimalizowana jest korelacja współrzędnych

PNN-VMF (łac. primum non nocere VMF) – po pierwsze nie szkodzić – algorytm będący rozwinię-ciem metody VMF

PR (ang. progestagen receptor) – receptor progestagenowy

RGB (ang. red – green – blue) – sposób kodowania barwy w obrazie analogowym i cyfrowym

RMSE (ang. root of mean square error) – pierwiastek ze średniego błędu kwadratowego

ROI (ang. region of interest) – obszar zainteresowania – fragment obrazu podlegający analizie

RSST (ang. recursive shortest spanning tree) – jedna z metod segmentacji poprzez łaczenie ob-szarów

RVMF (ang. reduced vector median filter) – zoptymalizowany filtr będący rozwinięciem metody VMF

SIS (ang. simple image statistics) – metoda prostych statystyk obrazu – algorytm automatycz-nego wyznaczania progu dla binaryzacji obrazu

SKIZ (ang. skeleton of influence zones) – szkielet poprzez strefę wpływów – algorytm segmen-tacji obrazów

SR geometryczny środek ciężkości zbioru np. (komponentu spójnego na obrazie)

TIFF (ang. tagged image file format) – format zapisu barwnych obrazów cyfrowych

VMF (ang. vector median filter) – wektorowa mediana – filtr przestrzenny dla obrazów barw-nych usuwający szum impulsowy

VMRHF (ang. vector median rational hybrid filter) – filtr przestrzenny dla obrazów barwnych dla usuwania różnych typów szumu


xi

YUV model kodowania barwy w obrazie telewizyjnym

β współczynnik rzeczywisty

γ ścieżka (w grafie, w zbiorze)

µ wartość średnia, wartość oczekiwana

π funkcja segmentacji obrazu

ρ metryka, funkcja odległości, tu: odległość w przestrzeni barw lub odległość pomiędzy pikselami obrazu

σ odchylenie standardowe

τ wartość progowa

ω skumulowany moment zerowego stopnia

∗ operacja splotu (w pracy używana dla funkcji w przestrzeni dyskretnej)

∇ lub grad – gradient – tu: gradient funkcji jasności obrazu

int(.) zbiór punktów wewnętrznych zbioru (w pracy – zbiór punktów wewnętrznych np. kom-ponentu spójnego)

⊕ operacja dylatacji obrazu


xii

Wykaz pojęć angielskich stosowanych w pracy adjacent regions obszary przylegające do siebie bottomhat filtr morfologiczny (dosł. spód kapelusza) clustering klasteryzacja – podział przestrzeni cech (np. przestrzeni barw) na spójne

rozłączne podzbiory – metoda klasyfikacji.

competitive learning jeden z algorytmów klasteryzacji convex hull najmniejsze wypukłe otoczenie zbioru spójnego (obiektu na obrazie) cues wskazówki – tu – metoda wyznaczania punktów startowych dla algorytmu

segmentacji obrazu poprzez rozrost obszarów.

de-interlace usuń przeplot – filtr przestrzenny dla obrazów z kamery wideo. digital microscopy mikroskopia cyfrowa – zagadnienia związane z przetwarzaniem obrazów

mikroskopowych

discrete lattice siatka dyskretna definiowana na potrzeby opisu obrazu cyfrowego fuzzy k-means rozmyta metoda k średnich – rodzaj metody klasteryzacji image closure morfologiczne zamknięcie obrazu – filtr przestrzenny image opening morfologiczne otwarcie obrazu – filtr przestrzenny. immersion based method zalewanie obszaru – jedna z odmian algorytmu segmentacji metodą dzia-

łów wodnych

impulse noise (lub impulsive noise) – szum impulsowy manhattan metryka miejska mean shift metoda przesunięcia średniej – algorytm segmentacji poprzez klasyfikację

pikseli

multithresholding metoda kwantyzacji odcieni szarości obrazu monochromatycznego oversegmentation nadmierna segmentacja – wydzielenie zbyt dużej liczby obiektów paint bucket ( flood-fill) – wiadro z farbą – operacja indeksacji punktów obrazu i łącze-

nia ich w zbiów będący wysegmentowanym obiektem

plateau obszar płaski – spójny zbiór punktów obrazu o tej samej jasności quadtree drzewo czwórkowe – metoda m. in. podziału obrazu na obszary region growing rozrost obszarów – metoda segmentacji obrazu region merging (fusion) – łączenie obszarów – metoda segmentacji obrazu region splitting dzielenie obszarów – metoda segmentacji obrazu snakes jeden z algorytmów segmentacji metodą tzw. aktywnego konturu spline krzywa sklejana – metoda reprezentacji krzywej lub powierzchni w prze-

strzeni

supervised classification klasyfikacja nadzorowana training set (learning set) – zbiór uczący dla metod klasyfikacji nadzorowanej threshold wartość progowa tophat filtr morfologiczny (dosł. czubek kapelusza) unattended classification (unsupervised classification) Klasyfikacja nienadzorowana undersegmentation niedostateczna segmentacja – wydzielenie zbyt małej liczby obiektów validation set zbiór walidacyjny – zbiór na którym testuje się klasyfikator watershed dział wodny – jedna z metod segmentacji obrazu poprzez rozrost obszarów

Wstęp W XXI wieku pomimo postępu technologicznego i rozwoju nauk medycznych

nowotwór pozostaje najgroźniejszą chorobą cywilizacyjną. W 2002 roku w Eu-ropie zachorowało na raka prawie 2,9 mln ludzi, ponad 1,7 mln zmarło. Dane z Instytutu Onkologii w Warszawie na rok 2002 są równie alarmujące. W Polsce zmarło w tym roku ponad 87 tys. osób i z każdym rokiem liczba ta rośnie o pół-tora tysiąca. Według statystyk nowotwory złośliwe najczęściej atakują płuca, je-lito grube i sutki. U kobiet rak piersi jest najczęściej występującym rodzajem nowotworu. W Polsce notuje się corocznie około 10000 nowych przypadków zachorowań. Na skutek niedostatecznej diagnostyki lub braku leczenia wskaź-nik umieralności w każdym roku rośnie o około 1,6%. Pacjentka prawidłowo diagnozowana i leczona ma średnio 40% procent szans na przeżycie kolejnych 10 lat, podczas gdy osoba nieleczona – tylko 5%. Jednym ze sposobów leczenia raka jest hormonoterapia pod warunkiem właściwego doboru leku. Trafność wyboru określa się między innymi poprzez badanie receptorów płciowych w jądrach komórkowych nowotworu. Badanie polega na wykonaniu odpowied-niej liczby preparatów mikroskopowych nowotworu metodą biopsji oraz wy-cinka histologicznego i stwierdzeniu, jaki odsetek jąder komórkowych wykazu-je reakcję receptorów, czyli zmienia kolor. Zwiększenie liczby wykonanych ana-liz oraz polepszenie prawidłowości ich przeprowadzenia mogłyby poprawić niezbyt optymistyczne statystki umieralności. Jest sprawą oczywistą, że zauto-matyzowanie procesu diagnostyki obrazów przy pomocy systemu kompute-rowej analizy obrazu jest w stanie spełnić te wymagania.

Automatyczne przetwarzanie i analiza obrazów uzyskiwanych z diagno-stycznej aparatury medycznej jest systematycznie rozwijaną dziedziną informa-tyki stosowanej. Pewne obrazy rutynowo diagnozowane w bardzo krótkim cza-sie przez lekarza sprawiają wiele kłopotów przy automatycznej analizie. W in-nych przypadkach wzrokowa analiza obrazu (szczególnie w przypadku licze-nia obiektów, np. jąder komórkowych tkanki nowotworowej) jest bardzo żmudna. W wyniku zmęczenia wzroku osoba przeprowadzająca badanie może popełnić błąd. Zastosowanie systemu automatycznej analizy ilościowej obrazu może ograniczyć prawdopodobieństwo pomyłki.

Istnieją klasy obrazów, w których pewnych cech nie da się zbadać poprzez ocenę wzrokową, np. pola powierzchni obiektów. W pewnych sytuacjach wraż-liwość oka ludzkiego na kolory jest zbyt niska, by prawidłowo określić barwę widzianych obiektów. Duże znaczenie ma również powstawanie złudzeń wzrokowych. Człowiek patrząc na obraz zawsze postrzega pewne obiekty w kontekście tła, na którym się znajdują, a więc większość ich cech morfologicz-nych: wielkość, składowe barwy, kształt, ułożenie obiektów, może być fałszy-wie ocenionych. System komputerowy, jeśli nie wprowadzono dodatkowo ta-kiej funkcjonalności, pozbawiony jest tej cechy postrzegania ludzkiego. Zwykle stanowi to jego zaletę. Program komputerowy jest w stanie wyznaczyć te pa-rametry morfologiczne w sposób bezwzględny, bez możliwości pomyłki. Wśród zagadnień diagnostyki obrazowej istnieją niestety częste przypadki, w których obraz jest zakłócony, np. fragment obiektu jest zasłonięty przez inny

Wstęp

2

obiekt, lub na skutek uszkodzenia obiekt jest niekompletny. Człowiek jest w stanie „dorysować w myśli” brakujący fragment obiektu dzięki doświadczeniu w przeprowadzanych analizach, podczas gdy algorytm segmentujący obraz nie zawsze jest przygotowany na taką ewentualność.

Istnieje wiele gotowych programów przetwarzania i analizy obrazów. Kate-goria pierwsza to darmowe lub komercyjne programy do obróbki cyfrowej fo-tografii. Ich zastosowanie jako narzędzia wspomagającego diagnostykę obra-zową jest dosyć ograniczone. Dzięki zaimplementowanym filtrom i możliwości wyznaczania konturów mogą jedynie poprawić jakość obrazu, podczas gdy dalsza analiza dokonywana jest przez człowieka.

Drugą grupę oprogramowania stanowią specjalizowane systemy komercyjne. Specjalizacja ta dotyczy zarówno celu analizy, jak i urządzeń, z którymi pro-gram współpracuje. O ile takie programy postawione im zadania realizują do-brze, o tyle w przypadku badań nad nowymi metodami diagnostycznymi, lub radykalnej zmiany warunków doświadczenia, stają się bezużyteczne. Zazwy-czaj nie ma możliwości ingerencji w algorytm programu. Należy zwrócić uwa-gę również na fakt, że wysoki koszt oprogramowania stanowi zwykle barierę dla ośrodków medycznych w Polsce, zwłaszcza, jeśli będzie wykorzystywany jedynie niewielki procent jego funkcjonalności.

Ostatnią grupę stanowią systemy realizowane w ramach interdyscyplinar-nych badań naukowych prowadzonych przez ośrodki informatyczne i medycz-ne. Ich cechą jest to, że są specjalizowane do konkretnego zadania, a więc okro-jone ze zbędnej funkcjonalności. Jednocześnie mogą być na bieżąco modyfiko-wane wraz ze zmieniającym się zapotrzebowaniem. Mimo dużej liczby istnieją-cych opracowań naukowych (zob. Rozdział 2), istnieje ciągłe zapotrzebowanie wśród lekarzy-praktyków oraz prowadzących badania naukowe na nowe, spe-cjalizowane, wizyjne systemy diagnostyczne.

Niniejsza praca jest wynikiem realizacji zapotrzebowania na programy do analizy obrazów złożonego przez dwa ośrodki: Zakład Patomorfologii Klinicz-nej Instytutu Centrum Zdrowia Matki Polki w Łodzi oraz Katedrę i Klinikę Ne-frologii i Medycyny Transplantacyjnej Akademii Medycznej we Wrocławiu.

Zakład Patomorfologii dysponował komercyjnym systemem wizyjnym, a Kli-nika Nefrologii korzystała z odpłatnych analiz. W obu przypadkach wyniki analiz otrzymywane w ten sposób okazały się niewystarczające do prowadzo-nych badań naukowych.

Stawianie przez lekarzy nowych zadań wymagających informatycznych sys-temów przetwarzania i analizy obrazów jest ważnym źródłem innowacji na-ukowych. Realizacja podsystemu przetwarzania i analizy obrazu dla wybranej klasy obrazów jest zadaniem nie tylko inżynierskim, ale i naukowym. Jednym z ważnych etapów tej analizy, który jest zagadnieniem przewodnim w tej pracy, jest segmentacja obrazu. Klasyczne algorytmy segmentacji obrazów nie zawsze są skuteczne. Opracowanie właściwej metody wymaga testów różnych warian-tów tych metod, doboru parametrów, zastosowania odpowiedniej kombinacji

Wstęp

3

algorytmów oraz oczywiście tworzenia nowych. Istotny jest również aspekt implementacji algorytmów. Przetwarzanie obrazów stawia duże wymagania dla mocy obliczeniowej komputerów, bądź to ze względu na dużą ilość danych, do których musi być zapewniony dostęp swobodny, bądź też na wymaganą szybkość obliczenia.

Rozdział 1: Cel, zakres, tezy i układ pracy

Cel, zakres, tezy i układ pracy

5

1.1 Cel pracy W ramach współpracy Katedry Informatyki Stosowanej i Zakładu Patomorfo-

logii Klinicznej ICZMP autor rozprawy zaprojektował system automatycznej diagnostyki obrazów patomorfologicznych nazwany Pato, umożliwiający licze-nie jąder komórkowych tkanki nowotworowej w preparatach cytologicznych i histologicznych barwionych immunohistochemicznie na dwa kolory. Wraz z systemem zbudowano odpowiednie stanowisko badawcze. Oprogramowanie w pierwszej fazie działania umożliwia przechwytywanie obrazu z urządzenia akwizycji obrazu (kamera analogowa lub CCD, aparat cyfrowy) sprzężonego z mikroskopem. Następnie uruchamiany jest subsystem analizy obrazów, które-go głównym zadaniem jest poprawna segmentacja obrazu, dalej identyfikacja obiektów, czyli jąder komórek nowotworowych z reakcją pozytywną i z reakcją negatywną, a w końcowej fazie uzyskanie liczby obiektów tych dwóch typów. Opracowanie algorytmu segmentacji i identyfikacji obiektów było najtrudniej-szym zagadnieniem informatycznym, ponieważ jakość obrazów poddawanych analizie była bardzo niska. Aby rozwiązać to zagadnienie zaprojektowano algo-rytmy wyszczególnione w kolejnym podrozdziale.

System Pato przetestowano w Zakładzie Patomorfologii na preparatach mi-kroskopowych przygotowanych z tkanki pobranej od siedmiu pacjentów, w re-zultacie otrzymując około 140 obrazów. Obrazy zostały zbadane przez osobę wykonującą na co dzień rutynowe badanie patomorfologiczne. Następnie te same obrazy poddano analizie systemem Pato. Stwierdzono, że dla większości przypadków możliwa jest wiarygodna automatyczna segmentacja wybranej klasy obrazów przy użyciu opracowanego systemu. Badanie statystyczne do-wiodło porównywalności wyników z badaniem ręcznym. Obrazy, które zostały błędnie zidentyfikowane przez program pochodzą przede wszystkim z prepa-ratów o niskiej jakości, czyli zawierających uszkodzone fragmenty tkanki. Wy-kazano statystycznie, że dla obrazów dobrej jakości względne pole powierzchni jąder komórkowych zabarwionych jest równie dobrym wskaźnikiem jak odse-tek jąder komórkowych zabarwionych. Pozwala to wysnuć wniosek, że prepa-raty z uszkodzonej tkanki mogą być analizowane programem bez liczenia jąder komórkowych. Ocena taka nie byłaby możliwa bez użycia programu kompute-rowego.

Niezmiernie istotny jest również czas wykonywania obliczeń. Program zain-stalowany na przeciętnym komputerze do prac biurowych jest w stanie wyko-nać analizę obrazu 50 razy szybciej niż człowiek.

Aby zaprezentować uniwersalność zaprojektowanych algorytmów przetwa-rzania i analizy obrazu zdecydowano się na prezentację w niniejszej rozprawie drugiego systemu przetwarzania i analizy obrazów. Jego realizacja była wyni-kiem współpracy z Katedrą i Kliniką Nefrologii i Medycyny Transplantacyjnej Akademii Medycznej we Wrocławiu. Program nazwany SpotView jest narzę-dziem wspomagającym analizę obrazów uzyskiwanych w procesie immunoen-zymatycznej wizualizacji aktywności wydzielniczej pojedynczych limfocytów


6

metodą ELISPOT. Badanie to pozwala m. in. prognozować ryzyko odrzucenia przeszczepu nerki.

Analiza obrazów w metodzie ELISPOT wymaga testowania różnych parame-trów morfologicznych obiektów widocznych na obrazie w postaci kolistych plam. Analizy takie są możliwe do przeprowadzenia na zlecenie – przy pomocy komercyjnego oprogramowania, jednak są bądź zbyt kosztowne, bądź zbyt długotrwałe, aby mogły stanowić jedyne źródło danych dla badań naukowych prowadzonych przez Katedrę i Klinikę Nefrologii. Dysponowanie własnym oprogramowaniem, możliwość jego szybkiej modyfikacji i strojenia umożliwiło przyspieszenie procesu badawczego. System SpotView uzupełnił więc brakują-cy element stanowiska badawczego.

Kluczowym elementem dla tego systemu wizyjnego jest poprawna segmenta-cja obrazu i identyfikacja obiektów, aby można było precyzyjnie określić wiel-kość plamek. Skuteczność opracowanych metod segmentacji potwierdza zgod-ność wyników uzyskanych programem SpotView z otrzymanymi przy pomocy komercyjnego oprogramowania. Zaprojektowane algorytmy identyfikują obiek-ty o zróżnicowanym kontraście i wielkości w sposób bardziej precyzyjny niż oprogramowanie komercyjne, co potwierdzono statystycznie. Znalezione obiekty są poddawane analizie ilościowej w celu określenia aktywności wy-dzielniczej limfocytów. Oprócz standardowego parametru, jakim jest pole po-wierzchni, wprowadzono dodatkowy deskryptor nazwany ciężarem obiektu, co pozwala uzyskać większą precyzję pomiaru, szczególnie przy niedostatecz-nej rozdzielczości obrazu.

Oba zaprojektowane systemy wizyjne są rozwiązaniami prostymi w obsłudze i względnie tanimi – nie wymagają skomplikowanych instalacji i sprzęgania z aparaturą medyczną – co ma duże znaczenie dla ośrodków medycznych. W przeciwieństwie do systemów komercyjnych oprogramowanie może być na podstawie konsultacji z lekarzami prowadzącymi badania naukowe w prosty sposób modyfikowane, co pozwala na rozwijanie nowych technik diagnostycz-nych.

1.2 Tezy pracy Przedstawione w formie opisowej zadania, jakie wyznaczył autor pracy moż-

na w syntetycznej formie określić jako następujące tezy:

1. Opracowane przez autora rozprawy algorytmy przetwarzania i anali-zy ilościowej barwnych obrazów mikroskopowych tkanki nowotwo-rowej umożliwią obiektywną i szybką diagnozę raka piersi.

Teza zakłada, że obrazy cytologiczne i histopatologiczne tkanki nowotworo-wej barwione w celu wykrycia hormonów płciowych w komórkach nowotworu będą analizowane przy użyciu opracowanych algorytmów wielokrotnie szyb-ciej niż w badaniu wzrokowym, wyniki analizy będą powtarzalne i obiektyw-ne. Dokładność będzie porównywalna z badaniem ręcznym.


7

2. Algorytmy przetwarzania i analizy obrazów opracowane dla potrzeb realizacji zadań ujętych w tezie 1 są na tyle uniwersalne, że mogą być zastosowane przy prognozowaniu stanu nerki po przeszczepie.

W pracy zostanie pokazane, że opracowane algorytmy przetwarzania wstęp-nego oraz segmentacji mogą być użyte w systemie analizy ilościowej obrazów powstających w badaniu reakcji komórek układu odpornościowego na antyge-ny biorcy, co stanowi prognozę możliwości wystąpienia odrzucenia przeszcze-pu nerki.

1.3 Zakres pracy Realizacja tez pracy wymagała wykonania następujących zadań inżynier-

skich:

zbudowania stanowisk badawczych;

oprogramowania urządzeń akwizycji obrazu;

wykonania dwóch kompletnych aplikacji wraz z interfejsem użytkownika i modułem archiwizacji danych.

Jednak najważniejszym zadaniem było opracowanie skutecznych algorytmów przetwarzania i analizy obrazów dla budowanych aplikacji. Realizacja tego za-dania wymagała dokonania pełnego przeglądu wiedzy z zakresu metod prze-twarzania i analizy obrazu oraz przetestowania i wyboru właściwych algoryt-mów i ich parametrów. Wśród algorytmów przetwarzania i analizy obrazu możliwych do zastosowania na potrzeby realizacji tych dwóch projektów nale-ży wyróżnić:

algorytmy i metody wykorzystane jako narzędzie – bez własnych modyfika-cji: metody kodowania obrazów barwnych, metody przetwarzania wstępne-go obrazów – filtry, algorytmy erozji i dylatacji obrazów barwnych, klasyfi-kator minimalnoodległościowy k-NN, metody opisu morfologicznego obiek-tów (np. współczynniki kształtu);

algorytmy i metody potencjalnie użyteczne, lecz nie wykorzystywane w pra-cy: klasyczne metody klasteryzacji przestrzeni barw, metody wykrywania konturu, metody segmentacji tekstury, klasyfikatory oparte na sieciach neu-ronowych.

W trakcie prowadzonych badań autor rozprawy zdecydował, że dla polep-szenia procesu analizy obrazu należy wprowadzić pewne modyfikacje istnie-jących algorytmów, a także algorytmy złożone, bazujące na metodach stan-dardowych, lecz użytych w specyficznej kombinacji.

Poniżej wyszczególniono najważniejsze własne algorytmy.

Filtr PNN-VMF i 2pMLF (rozdział 3). W pracy zaproponowano dwie wersje algorytmu przetwarzania wstępnego obrazu barwnego. Celem algorytmów jest


8

usunięcie szumu powstającego w procesie akwizycji obrazu, a także wynikają-cego z samego charakteru badanych obrazów. Obecność szumu wpływa nieko-rzystnie na dalsze etapy analizy obrazów, w tym na segmentację. Zapropono-wany w niniejszej pracy algorytm jest zrealizowany w oparciu o filtr VMF (ang. vector median filter). Wprowadzono jednak własne modyfikacje w rezultacie czego opracowano algorytm wydajniejszy niż VMF, a jednocześnie działający w sposób bardziej precyzyjny.

Algorytm progowania Bernsen-Bieniecki (Rozdział 4:) Zaprojektowany algo-rytm jest rozwinięciem znanego algorytmu binaryzacji obrazu monochroma-tycznego z lokalnym wyborem progu metodą Bernsena. Takie algorytmy bina-ryzacji stosuje się w przypadku obrazów o nierównomiernej ekspozycji. W ta-kim wypadku nie jest możliwe określenie jednej, uniwersalnej dla całej po-wierzchni obrazu wartości progowej. Zaproponowana metoda działa wielo-przebiegowo, co eliminuje błędy segmentacji charakterystyczne dla metody ba-zowej. Jednocześnie uzyskano lepszą niż w przypadku algorytmu wyjściowego szybkość przetwarzania.

Algorytm klasyfikacji pikseli CG 1-NN- (Rozdział 5:). Klasyfikacja pikseli jest powszechnie stosowaną metodą kwantyzacji i segmentacji obrazów barwnych. Rozpatrując zadanie segmentacji jako proces klasyfikacji wykorzystano staty-styczną regułę k-NN, dającą bardzo dobre wyniki segmentacji przy obrazach o znanej liczbie klas i przy dobrze zdefiniowanym zbiorze referencyjnym. Nieste-ty wielka liczba punktów zbioru testowego (czyli badanego obrazu) i zbioru re-ferencyjnego (czyli fragmentu innego obrazu tej samej klasy zanalizowanego ręcznie) wydłuża czas obliczeń do wartości nie akceptowalnej. W niniejszej pra-cy zaproponowano algorytm dwuprzebiegowy, w którym tylko część pikseli jest klasyfikowana w pierwszym przebiegu przy pomocy reguły k-NN co wy-datnie przyspiesza jego działanie bez znaczącego pogorszenia jakości segmen-tacji.

Algorytmy działów wodnych - Rozdział 6: Segmentacja obrazu metodą zwa-ną zalewaniem obszaru lub też metodą działów wodnych (ang. watershed) zo-stała opracowana około 25 lat temu i jest nadal systematycznie rozwijana. W omawianych aplikacjach zadaniem algorytmu jest wspomaganie procesu seg-mentacji poprzez rozdzielenie obiektów o podobnych właściwościach nacho-dzących na siebie. W pracy zaproponowano własną implementację algorytmu opartą o zalewanie obszaru (flood fill). Przeprowadzono również badania nad charakterystycznym dla metody działów wodnych zjawiskiem nadmiernej segmentacji i zaproponowano rozwiązania oparte na przetwarzaniu wstępnym obrazu, oraz na metodzie łączenia obszarów. Opracowano własne kryterium metody łączenia obszarów dla algorytmu watershed wykorzystujące pojęcie wy-sokości względnej działu wodnego. Wartość ta jest podawana jako parametr al-gorytmu segmentacji, dzięki czemu algorytm działów wodnych można dostroić do segmentacji wybranej klasy obrazów. W pracy zaproponowano również al-gorytm segmentacji wykorzystujący jednocześnie metodę klasyfikacji pikseli razem z metodą działów wodnych tak, by wykorzystać zalety obu: dla klasyfi-


9

kacji pikseli jest to precyzja wyznaczania granic obiektów, a dla metody dzia-łów wodnych – gwarancja rozdzielności obiektów.

Praca doktorska była częściowo finansowana przez Komitet Badań Nauko-wych jako tzw. grant promotorski (nr 3T11E03426), dzięki któremu zakupiono szybki sprzęt komputerowy wykorzystywany w tworzeniu aplikacji, testowa-niu algorytmów i budowie stanowiska diagnostycznego.

Częściowe wyniki badań publikowano systematycznie w trakcie pracy. Naj-częściej były to wystąpienia na konferencjach krajowych i międzynarodowych pod auspicjami IEEE, co stanowiło swoistą recenzję i umożliwiło wymianę do-świadczeń naukowych.

Publikacje dotyczące algorytmów przetwarzania wstępnego obrazów

1. GRABOWSKI Sz., BIENIECKI W. (2002): Usuwanie szumu impulsowego w obrazach kolorowych przy użyciu zmodyfikowanego filtru medianowego. X Konferencja Sieci i Systemy Informatyczne, Łódź.

2. GRABOWSKI Sz., BIENIECKI W. (2003): A two-pass median filter for impulse noise attenuation in co-lor images. Proceedings of CADSM 2003 International IEEE Conference, Lviv–Slavsk, Ukraine, pp. 101–104.

3. GRABOWSKI Sz., BIENIECKI W. (2003): A two-pass median-like filter for impulse noise removal in multi-channel images. KOSYR 2003 Computer Recognition Systems, Wrocław, pp. 195–200.

Publikacje dotyczące algorytmu binaryzacji

4. BIENIECKI W., GRABOWSKI Sz., (2005a): Multi-pass approach to adaptive thresholding based image segmentation. Proceedings of the 8th International IEEE Conference CADSM 2005, Lviv–Polyana, Ukra-ine, pp. 418–423.

Publikacje dotyczące algorytmu klasyfikacji pikseli

5. BIENIECKI W., GRABOWSKI Sz. (2004): Nearest Neighbor classifiers for color image segmentation. Proceedings of IEEE International Conference TCSET 2004, Lviv–Slavsk, Ukraine, pp. 209–212.

Publikacje dotyczące algorytmu działów wodnych

6. BIENIECKI W. (2003): Image segmentation and recognition techniques for cytology. KOSYR 2003, Computer Recognition Systems, Wrocław, pp. 77–82.

7. BIENIECKI W. (2004): Oversegmentation avoidance in watershed-based algorithms for color images. Proceedings of IEEE International Conference TCSET 2004, Lviv-Slavsk, Ukraine, pp. 169–172.

Publikacje dotyczące systemu diagnostycznego dla obrazów mikroskopowych raka sut-ka

8. BIENIECKI W., GRABOWSKI Sz. (2002): Automatyczna analiza ilościowa cytologicznych obrazów mi-kroskopowych. Seminarium Słok Przetwarzanie sygnałów w systemach wizji i sterowania, str. 85.

9. BIENIECKI W., GRABOWSKI Sz., SEKULSKA J., KAŁUŻYŃSKI A., TURANT M. (2002): System przetwarzania patomorfologicznych obrazów mikroskopowych. X Konferencja Sieci i Systemy Informa-tyczne, vol. 2 str. 485–499, Łódź.

10. BIENIECKI W., GRABOWSKI Sz., SEKULSKA J., TURANT M., KAŁUŻYŃSKI A. (2003): Automatic segmentation and recognition of patomorphological microscopic images. Proceedings of CADSM 2003 IEEE International Conference, Lviv-Slavsk, Ukraine, pp.461–464.

11. BIENIECKI W., GRABOWSKI Sz., SEKULSKA J. (2003): A system for pathomorphological micro-scopic image analysis. KOSYR 2003 Computer Recognition Systems, Wrocław, str. 21–28.


10

12. BIENIECKI W., SEKULSKA J. (2003): Segmentacja i analiza obrazów mikroskopowych barwionych im-munohistochemicznie. Automatyka, t. 7, zeszyt 3, Uczelniane Wydawnictwa Naukowo-Dydaktyczne, Kra-ków, str. 283–293.

Publikacje dotyczące systemu diagnostycznego dla metody ELISPOT 13. BIENIECKI W., SANKOWSKI D., KOŚCIELSKA-KASPRZAK K. (2004): System analizy obrazów

uzyskiwanych w immunoenzymatycznej wizualizacji aktywności wydzielniczej limfocytów metodą ELISPOT. Automatyka, t. 8. z. 3. Uczelniane Wydawnictwa Naukowo-Dydaktyczne, Kraków, str. 63–71.

14. BIENIECKI W., GRABOWSKI Sz., SANKOWSKI D., KOŚCIELSKA-KASPRZAK K., BERNAT B., KLINGER M. (2005): An Efficient Processing and Analysis Algorithm for Images Obtained from Immu-noenzymatic Visualization of Secretory Activity. Proceedings of the 8th. International IEEE Conference CADSM 2005, Lviv-Polyana, Ukraine, pp. 458–460.

15. BIENIECKI W., GRABOWSKI Sz., (2005b): Wybrane zagadnienia przetwarzania i analizy obrazów mikroskopowych w diagnostyce medycznej. Prace naukowe Katedry Informatyki Stosowanej, Zeszyt Ju-bileuszowy 10 lat KIS, Łódź, str. 155-164.

Publikacja nr 3 została wyróżniona 2 nagrodą na konferencji KOSYR 2003.

1.4 Układ pracy Przyjęty układ pracy odpowiada postawionemu zakresowi. Głównym wąt-

kiem w pracy jest przedstawienie schematu przetwarzania i analizy obrazu w systemie Pato oraz algorytmów użytych do realizacji zadania. Sam system opi-sano w rozdziale 2 Komputerowa analiza mikroskopowych obrazów tkanki nowotworowej barwionej immunohistochemicznie. W rozdziale scharaktery-zowano obrazy mikroskopowe będące przedmiotem analizy. Wybór odpo-wiednich algorytmów przetwarzania tej klasy obrazów został poprzedzony szczegółowym przeglądem publikacji o podobnej tematyce. System poddano wyczerpującemu testowaniu na wybranej grupie obrazów porównując wyniki osiągnięte przez program z uzyskanymi przez wykwalifikowanego pracownika laboratorium.

Osiągnięcie głównego celu pracy wymagało realizacji celów cząstkowych, czyli zaprojektowania określonych algorytmów przetwarzania obrazów. Aby zachować przejrzystość opisu, zdecydowano, że każdemu z tych zadań będzie poświęcony osobny rozdział (wg. opisu wprowadzonego w poprzednim pod-rozdziale). Każdy z rozdziałów 3, 4, 5 i 6 wyszczególnia stan wiedzy dotyczący poruszanego zagadnienia, własne rozważania teoretyczne, własne prace do-świadczalne przeprowadzone w celu określenia właściwości algorytmów i wnioski. Dzięki takiemu rozwiązaniu czytelnik może zapoznawać się z rozdzia-łami reprezentującymi dane zagadnienie będące wycinkiem całości badań w wybranej przez siebie kolejności. Na tę okoliczność w niektórych miejscach znajdują się odwołania do innych części pracy.

Celem doktoratu było między innymi pokazanie uniwersalności zaprojekto-wanych algorytmów przetwarzania obrazów. Ostatni, siódmy rozdział meryto-ryczny Komputerowa analiza obrazów uzyskiwanych w immunoenzyma-tycznej wizualizacji aktywności wydzielniczej limfocytów metodą ELISPOT opisuje drugą zaprojektowaną w ramach pracy doktorskiej aplikację dla metod przetwarzania i analizy obrazu. Omówiono poszczególne etapy przetwarzania


11

realizowane przez system, oraz zweryfikowano statystycznie jego skuteczność w konfrontacji z oprogramowaniem komercyjnym.

Układ materiału w rozdziałach merytorycznych jest zgodny z poniższym schematem (Rys. 1-1).

Algorytm filtracji obrazu

Rozdział 3

Algorytm binaryzacji

obrazu Rozdział 4

Algorytm segmentacji

poprzez klasyfikację

pikseli Rozdział 5

Algorytm segmentacji

metodą działów

wodnych Rozdział 6

Algorytm Identyfikacji

obiektów Rozdział 2

Algorytm identyfikacji

obiektów Rozdział 7

System SPOTVIEW Rozdział 7

System PATO

Rozdział 2

Algorytm wyznaczania

ROI Rozdział 7

Rys. 1-1 Własne algorytmy zastosowane w systemach Pato i SpotView

W Zakończeniu można znaleźć podsumowanie osiągnięć pracy, wnioski z zakończonych badań, oraz przedstawienie bieżących prac i nowych pomysłów związanych z tą tematyką.

Uzupełnienie pracy stanowią następujące załączniki. W Załączniku A –Segmentacja obrazu – podstawowe definicje zamieszczono własne opracowa-nie podstawowych definicji związanych z obrazem, w tym z segmentacją. Defi-nicje te pozwalają w sposób precyzyjny operować pojęciem segmentacji przy opisie algorytmów. Załącznik B – Opracowane dane badawcze zawiera wyniki wszystkich przeprowadzonych badań a więc:

obrazy testowe i wyniki rekonstrukcji zaszumionych obrazów przy użyciu opracowanego filtru medianowego;

wyniki testów dla zaproponowanego algorytmu progowania;

wyniki testów dla zaproponowanego algorytmu klasyfikacji pikseli;


12

rezultaty segmentacji obrazów histopatologicznych zaproponowanym algo-rytmem działów wodnych;

wyniki analizy obrazów histopatologicznych i cytologicznych.

Załącznik C – Opis użytych metod diagnostyki medycznej stanowi uzupeł-nienie do rozdziałów 2 i 7. Przedstawiono tu metodę diagnozowania reakcji re-ceptorów progestagenowych i estrogenowych w komórkach nowotworowych przy użyciu barwienia immunohistochemicznego oraz metodę ELISPOT po-zwalającą na ocenę natężenia odpowiedzi immunologicznej wobec określonych antygenów na poziomie pojedynczych komórek.

Rozdział 2: Projekt systemu komputerowej analizy mikroskopowych obra-zów jąder komórkowych nowo-tworu sutka

Rozdział ten w sposób syntetyczny opisuje zaprojektowany w ramach pracy doktorskiej system przetwarzania i analizy obrazów mikrosko-powych preparatów histologicznych i cytologicznych komórek nowo-tworowych.

W rozdziale zdefiniowano problem i scharakteryzowano obrazy mikro-skopowe będące przedmiotem analizy.

Wybór odpowiednich algorytmów przetwarzania tej klasy obrazów zo-stał poprzedzony szczegółowym przeglądem publikacji o podobnej te-matyce. Wybrany algorytm zawiera zarówno algorytmy standardowe jak i specjalnie zaprojektowane dla tej aplikacji. Procedury standardowe opisano w tym rozdziale, podczas gdy algorytmy własne zaprezento-wano w rozdziałach następnych.

System poddano testowaniu na wybranej grupie obrazów porównując wyniki osiągnięte przez program z uzyskanymi przez wykwalifikowa-nego pracownika laboratorium.

Projekt systemu komputerowej analizy mikroskopowych obrazów jąder komórkowych nowotworu sutka

14

2.1 Przegląd istniejących systemów analizy ilościowej obrazów mikroskopowych

Problem analizy ilościowej obrazu mikroskopowego, w szczególności okre-ślenie liczby komórek (lub jąder komórkowych) w obrazach histologicznych i cytologicznych tkanki nowotworowej oraz jednoczesne klasyfikowanie tych komórek jest ważnym zagadnieniem z punktu widzenia medycyny. Wśród do-stępnych materiałów w postaci publikacji naukowych i popularnonaukowych, dokumentacji technicznej programów komercyjnych, dostępnych w Internecie programów darmowych oraz programów wykonanych w ramach prowadzonej przez jednostki badawcze działalności naukowej autor rozprawy nie znalazł pozycji bezpośrednio dotyczącej postawionego problemu. Niemniej jednak liczba publikacji dotyczących analizy komputerowej obrazu mikroskopowego jest znaczna, a samo zagadnienie stało się elementem klasycznym w dziedzinie przetwarzania obrazów; w anglojęzycznej terminologii informatycznej określa-ne bywa mianem digital microscopy i jest przedmiotem specjalistycznych kursów [http://www.emboj.org].

W celu znalezienia algorytmu, który pozwoliłby na możliwie najwierniejszą segmentację badanych obrazów mikroskopowych, dokonano przeglądu publi-kacji z dziedziny przetwarzania obrazów biomedycznych. Przegląd ów rozpo-czyna praca habilitacyjna wykonana w Uniwersytecie Medycznym w Łodzi [Klencki, 2002]. Na przestrzeni 9 lat autor tej publikacji zbudował trzy systemy przetwarzania i analizy kariometrycznej mikroskopowych obrazów cytologicz-nych w endokrynologii. Pierwszy system, Karyometry Manager [Klencki i Le-wiński, 1993] umożliwiał akwizycję obrazu z kamery analogowej, zapis i odczyt plików na dysku, filtrowanie obrazu (wyostrzanie krawędzi, wygładzanie). Program umożliwiał ręczne oznaczanie jąder komórkowych lub ich segmenta-cję w trybie automatycznym. Automatyczna segmentacja jąder komórkowych wykorzystywała dwa algorytmy progowania. Pierwszy algorytm, wykorzystu-jący progowanie globalne umożliwiał wyszukiwanie jąder komórkowych. Po-przez progowanie lokalne natomiast można było uzyskać dokładny obraz poje-dynczego jądra komórkowego. Algorytm realizował metodę opisaną w [Pavli-dis, 1987] określającą wartość progu lokalnego na podstawie poziomu jasności piksela w miejscu największego gradientu. Program umożliwiał obliczanie pa-rametrów określających kształt i wielkość jąder komórkowych wg definicji z [Hufnagl i Voss, 1984]. Drugim opracowanym przez autora publikacji progra-mem był FrameGrabber [Klencki i in. 1997], stanowiący rozwinięcie programu KaryometryManager. Aplikacja korzystała z tych samych algorytmów przetwa-rzania obrazu, jednak umożliwia współpracę w obrazami barwnymi i przetwa-rzanie poszczególnych składowych barwy w przestrzeni RGB lub HSI. W póź-niejszym czasie program uzupełniono o moduły Cytofotometer95 oraz AgNORMeter95 [Klencki i in. 1999] umożliwiające określenie gęstości optycznej jąder komórkowych i wyznaczanie plam w badaniu AgNOR. Finalną aplikacją autora rozprawy habilitacyjnej jest program Imager, który oprócz zastosowa-nych w poprzednich wersjach algorytmów przetwarzania obrazu umożliwia


15

sterowanie torem wizyjnym – nastawianie parametrów kamery CCD oraz ste-rowanie stolikiem mikroskopu optycznego i filtrami.

Wśród pozycji książkowych na uwagę zasługuje [Zieliński i Strzelecki, 2002], mimo że jest to pozycja przeznaczona głównie dla osób o wykształceniu me-dycznym chcących wykorzystywać technologie informatyczne do prowadzenia badań. Autorzy tego przewodnika po metodach analizy obrazu biomedycznego dokonali całościowego przekroju zagadnień związanych z morfometrią, w tym wiarygodnością pomiarów. W dalszej części, książka zawiera krótki kurs metod przetwarzania obrazu wraz z konkretnymi przykładami zastosowania w bio-medycynie. Ostatnie rozdziały poświęcone są urządzeniom i oprogramowaniu wykorzystywanemu w morfometrii. Pewne dane zebrane w tej pracy będą jesz-cze poniżej cytowane.

Interesujące opracowanie stanowi również praca zbiorowa [Lisboa i in., 2000]. Tytuł pracy brzmiący po polsku „Sztuczne sieci neuronowe w biomedycynie” jest bardzo ogólny, niemniej jednak na uwagę zasługują przynajmniej dwa roz-działy. Autorka rozdziału 19 zatytułowanego „ważność wyboru cech i prymi-tywów w przetwarzaniu obrazów wielokanałowych” skupia uwagę na wybra-nej klasie obrazów – mikroskopowych obrazach cytologicznych. Dokonuje na tym przykładzie analizy możliwych podejść do zagadnienia segmentacji obrazu medycznego. Praca ma jednak charakter przeglądowy, poznawczy, również nie może służyć jako baza pomysłów na realizację konkretnego zagadnienia. Wśród cytowanych rozwiązań autorka wspomina jednak pewien system dia-gnostyczny BREAKIT [http://sos.ist.unige.it/breakit], rozwiązujący podobne zadanie jak projektowany przez autora rozprawy program. Niestety sam pro-gram oraz dokumentacja techniczna czy naukowa nie zostały udostępnione. System ten według autorki [Lisboa i in., 2000 rozdział 19] umożliwia interak-tywną segmentację obrazów mikroskopowych z użyciem sieci neuronowych oraz elementów logiki rozmytej. Jako przestrzeń cech dla sieci neuronowych wybrano składowe koloru, parametry morfologiczne, oraz densytometryczne. Ważną cechą tego programu jest możliwość prawidłowej segmentacji komórek, które w preparacie cytologicznym tworzą skupiska – przylegają do siebie. Stu-diując [Lisboa i in., 2000] warto również zwrócić uwagę na rozdział 4. Rozdział ten dotyczy systemu PAPNET dokonującego kompleksowej analizy mikrosko-powych obrazów cytologicznych tkanki nowotworowej. Program umożliwia detekcję komórek rakowych w różnych narządach dla rozmazów Papanicolaou. System działa interaktywnie, wymaga nauczenia rozpoznawania poszczegól-nych wad komórek. Program komputerowy jest zintegrowany z mechanizmem sterowania mikroskopem oraz ma zaimplementowaną procedurę automatycz-nego skanowania całego preparatu mikroskopowego w poszukiwaniu obsza-rów zainteresowania. Algorytmy segmentacji i identyfikacji, których szczegó-łów autorzy nie ujawnili, bazują na sieciach neuronowych. System przetesto-wano z dobrym skutkiem na rozmazach pobranych z różnych narządów, mię-dzy innymi z szyjki macicy oraz przełyku. Również okazał się on skuteczny przy wspomaganiu badania na posiew moczu.


16

Wśród prac poświęconych analizie obrazu mikroskopowego w zastosowa-niach biomedycznych istnieje duża liczba publikacji, w których zaprezentowa-no konkretne rozwiązania problemów związanych z segmentacją obrazu. Inte-resujące rozwiązanie problemu segmentacji obrazów wielu komórek prezentują autorzy [Metzler i in., 2000]. Przedmiotem badań jest analiza obrazów fibrobla-stów traktowanych substancjami toksycznymi, w tym badanie zmiany kształtu tych komórek. Dany obraz jest monochromatyczny, a do jego segmentacji wy-korzystuje się algorytm progowania adaptacyjnego ze zmiennym lokalnym progiem. Po binaryzacji z obrazu usuwane są artefakty przy użyciu filtrów morfologicznych. Mimo to większość komórek widocznych na obrazie po do-konaniu binaryzacji nie tworzy osobnych komponentów spójnych – obiekty stykają się lub zachodzą na siebie. Komórki są rozdzielane poprzez stosowne operacje morfologiczne. Na początku wykonuje się operację ulepszonej erozji. De facto jest to iteracyjna operacja otwarcia, z tym, że faza erozji i dylatacji prze-biegają naprzemiennie dla różnych elementów strukturujących obliczonych w poprzedniej iteracji. W wyniku erozji ulepszonej powstają rozdzielone obiekty - markery. Następnie przeprowadza się etap rozrostu obszarów realizowany jako analogiczny proces iteracyjnej dylatacji. Autorzy sugerują wyższość swojego algorytmu erozji nad algorytmem erozji warunkowej Serry oraz nad transfor-macją odległości (każdemu punktowi obiektu nadaje się wartość zależną od od-ległości do najbliższego punktu tła). W przeciwieństwie do tych wcześniejszych metod algorytm dobrze działa także w przypadku, gdy obiekty różnią się od siebie kształtem i wielkością.

Oprócz faktu, że komórki widoczne na obrazie cytologicznym mogą tworzyć skupiska, pewną cechą utrudniającą segmentację obrazu jest słaba widoczność niektórych jąder komórkowych. Czasami ich krawędzie są ledwie widoczne, a wnętrze jest przezroczyste. W pracy [Korzyńska i in., 2003] zaprezentowano al-gorytm segmentacji komórek neutrofili. Zagadnienie dotyczy obrazu mono-chromatycznego, ruchomego. Autorka zastosowała algorytm bazujący zarówno analizie tekstury jak i wykrywaniu konturu. Algorytm analizy tekstury jest re-alizowany metodą klasyfikacji pikseli. Każdy piksel rozpatrywany jest wraz z otoczeniem, dla którego oblicza się dwie cechy: wartość średnią jasności oraz odchylenie standardowe. Algorytm klasyfikacji (którego autorka nie opisała w pracy, przypuszczalnie jedna z metod klasteryzacji) rozdziela piksele obrazu na dwie klasy – punkty komórek i punkty tła. Metoda wykrywania konturu jest uproszczoną wersją metod aktywnego konturu znanych też pod nazwą snakes. Klasyfikacja pikseli, a następnie ich indeksacja do komponentów spójnych po-zwala na wyznaczenie pewnego punktu wewnętrznego dla każdego obiektu. Z tego punktu wyprowadzane są promienie i dla każdego promienia poszukiwa-ne jest miejsce, w którym gradient jasności jest maksymalny. Punkty te łączone są w kontur przy użyciu krzywych sklejanych (spline). Na podstawie otrzyma-nego konturu wyznacza się nowy punkt centralny, z którego będą wyprowa-dzane promienie w następnej iteracji.

Algorytmy opracowane przez autorów powyższych publikacji dotyczą obra-zów monochromatycznych. Poniżej przedstawiono dwie prace dotyczące seg-mentacji obrazów barwnych. W pracy [Comaniciu i in., 2000] autorzy prezentu-


17

ją system nazwany Pathosys. Program jest systemem interaktywnym, w którym operator musi zaznaczyć na obrazie obiekt – leukocyt – który chce zanalizować. Projektanci systemu zadbali, aby program był przyjazny dla użytkownika i wie-le funkcji obsługiwanych jest głosem. Ważnym zadaniem systemu jest możliwie dokładna segmentacja zaznaczonego obiektu, czyli precyzyjne wykrycie kontu-ru jądra komórkowego i obrysu całej komórki. Do segmentacji autorzy użyli technikę klasteryzacji mean-shift w połączeniu z analizą tekstury.

Wśród algorytmów segmentacji obrazów barwnych w ostatnich latach dużą rolę odgrywa metoda działów wodnych watershed. W [Lezoray i Cardot, 2002] zaprezentowano algorytm wykorzystujący dwie techniki: klasteryzację i meto-dy rozrostu obszarów. Klasteryzacja w wydaniu autorów [Lezoray i Cardot, 2002] polega na niezależnej analizie histogramów dla składowych kolorów. Każdy histogram intensywności składowej koloru jest segmentowany jedno-wymiarową transformacją watershed. W rezultacie tego powstaje dla każdej składowej koloru niezależnie wysegmentowany obraz. Obrazy składa się, przypisując piksele do pewnych klastrów zdefiniowanych jako wspólne dla wszystkich składowych koloru. Pozostałe piksele nie są klasyfikowane. Powsta-łe w ten sposób spójne obszary używa się jako markery (punkty startowe) w metodzie rozrostu obszarów. Dla metody tej wykorzystuje się kryterium lokal-ne - gradient koloru wokół piksela oraz semi-globalne – odległość w przestrzeni barw piksela od średniej wartości koloru dla danego komponentu spójnego. Metodę segmentacji przetestowano na obrazach mózgu (MRI), oraz mikrosko-powych obrazach komórek skóry, obrazach krwinek, oraz obrazach histolo-gicznych, których dokładnego pochodzenia autorzy nie określili.

Powyższy przegląd literatury dotyczącej istniejących systemów informatycz-nych z zakresu digital microscopy pozwala na dokonanie pewnej ich taksonomii:

ze względu na format obrazu:

o obraz barwny;

o obraz monochromatyczny (lub barwny, w którym informacja o kolo-rze nie jest istotna);

ze względu na statyczność obrazu:

o obraz nieruchomy;

o obraz ruchomy (lub sekwencja obrazów) – badanie ruchliwości ko-mórek;

ze względu na zawartość obrazu:

o obraz tkanki: celem analizy jest identyfikacja i badanie morfologii struktury tkanki [Zubert i in., 1999];

o obraz jednej komórki: cel analizy – identyfikacja i badanie morfologii komórki w celu wykrycia zmian patologicznych;


18

o obraz wielu takich samych komórek – liczenie komórek w polu wi-dzenia – najczęściej analiza komórek krwi

Na podstawie powyższego wyboru publikacji dotyczących algorytmów seg-mentacji i identyfikacji obrazów mikroskopowych można stwierdzić, że najczę-ściej spotyka się różnorodne kombinacje istniejących, klasycznych algorytmów zastosowanych w pierwotnej formie bądź zmodyfikowanych tak, aby zwięk-szyć ich skuteczność dla wybranej klasy obrazu. W tym celu wprowadza się zmodyfikowane algorytmy przetwarzania wstępnego, nowe kryteria, miary, współczynniki, również w ograniczonym stopniu same algorytmy.

Dla potrzeb przetwarzania wstępnego używa się zwykle algorytmów:

wyrównania jasności tła w obrazie;

detekcji braku ostrości i wyrównania ostrości;

usunięcia szumów związanych z procesem akwizycji obrazu;

konwersji obrazu na obraz monochromatyczny lub transformacji składowych barwy.

Dla potrzeb segmentacji stosuje się najczęściej podejścia:

progowanie obrazu (obraz monochromatyczny);

klasyfikację pikseli poprzez metody klasteryzacji, lub poprzez klasyfikatory (najczęściej sztuczne sieci neuronowe (ANN));

analizę tekstury;

metody wykrywania obszarów, najczęściej metody rozrostu;

nieco rzadziej – algorytmy wykrywania konturu [Szymański i in., 2002].

2.2 Założenia projektu Podstawowym celem wykonywanej pracy doktorskiej była realizacja kompu-

terowego systemu diagnostycznego, który obiektywnie, dokładnie i szybko przeprowadzi analizę preparatów mikroskopowych cytologicznych i histolo-gicznych tkanki nowotworowej barwionych immunohistochemicznie [Bieniecki i Grabowski, 2002; Bieniecki i in., 2002; Bieniecki i in., 2003a; Bieniecki i in., 2003b; Bieniecki i Sekulska 2003]. Cel i przebieg samego badania, w tym proces przygotowania preparatu opisano w załączniku C. Rys. 2-1 przedstawia sche-matycznie etapy wykonywania badania bez użycia komputerowej analizy ob-razu. Przygotowany preparat umieszcza się pod mikroskopem w celu jego ana-lizy. Następnie nastawiana jest ostrość. Obraz preparatu może być obserwowa-ny bezpośrednio w okularze mikroskopu lub zbierany poprzez kamerę wideo i wyświetlony na ekranie telewizyjnym. Pracownik laboratorium obserwuje ją-


19

dra komórkowe widoczne na ekranie, zapisuje wyniki i przesuwa preparat w celu znalezienia następnego fragmentu tkanki.

scena

+

układ opt. przetwornik fotoelektryczny

(mikroskop) (preparat) (kamera video)

Obraz analogowy

wizualizacja identyfikacja i pomiar obiektów

akwizycja obrazu

analiza obrazu

obiekt

Rys. 2-1 Schemat ręcznej analizy obrazów patomorfologicznych raka sutka w Zakładzie Patomorfolo-gii Klinicznej

Uściślenie koncepcji systemu automatycznej analizy obrazów wymaga usta-lenia odpowiedzi na następujące pytania:

Jaka jest wymagana dokładność analizy obrazów?

Jaka jest wymagana szybkość przetwarzania, i czy przetwarzanie ma się od-bywać on-line?

Jaka jest wymagana interakcja użytkownika z systemem, tzn. czy system ma dokonywać analizy zupełnie automatycznie, czy z pomocą operatora?

Czy system ma wykonywać jeszcze inne operacje oprócz liczenia jąder ko-mórkowych w polu widzenia i określania obecności receptorów?

Po dyskusji przeprowadzonej z pracownikami Zakładu Patomorfologii Kli-nicznej przyjęto następujące założenia projektowe dotyczące systemu Pato:

System będzie działał przy wykorzystaniu istniejącego stanowiska laborato-ryjnego, tj. na istniejącym mikroskopie wraz z kamerą wideo. W związku z malejącymi kosztami zakupu kamery CCD z przetwornikiem o wysokiej rozdzielczości i głębi kolorów przewiduje się jej wymianę, co pozwoli na uzyskanie obrazu o lepszej jakości. Stanowisko nie zawiera urządzenia au-tomatyzującego sterowanie mikroskopem, a więc system komputerowy nie będzie sterował ruchem stolika, korekcją oświetlenia ani dopasowaniem ostrości obrazu.


20

System będzie działał w trybie off-line. Przy tym założeniu szybkość przetwa-rzania obrazów jest sprawą drugorzędną w stosunku do poprawności ich analizy. Założono tylko, że system powinien działać szybciej niż jest to w stanie robić człowiek. System dopuszcza analizę obrazu wcześniej zapisane-go na dysku, bądź przechwyconego w danej chwili z kamery.

Zdecydowano, że system będzie przetwarzał każdy obraz niezależnie. Wyni-ki analizy nie będą dalej przetwarzane ani analizowane w aplikacji, a jedynie eksportowane do arkusza kalkulacyjnego Excel lub do pliku tekstowego.

Przyjmując powyższe założenia co do funkcjonalności samego systemu, zde-cydowano się skupić uwagę przede wszystkim na zaprojektowaniu skutecz-nych algorytmów przetwarzania i analizy obrazu. W związku z tym jako cel in-formatyczny wyznaczono następujące zagadnienia:

Zaprojektowanie algorytmów segmentacji obrazów o maksymalnie dostęp-nej precyzji. Zdecydowano, że algorytmy powinny skutecznie działać przy minimum interakcji użytkownika systemu, jednakże interakcje taką dopusz-czają.

Zaprojektowanie algorytmów analizy morfologicznej obiektów wysegmen-towanych w obrazie w celu ich identyfikacji, w tym badanie współczynni-ków kształtu, pola powierzchni, analiza chromatyczna.

Wykazanie zgodności pomiędzy frakcją pola powierzchni jąder komórko-wych zabarwionych pozytywnie a frakcją ich liczby oraz sprawdzenie wia-rygodności automatycznej analizy w stosunku do badania ręcznego poprzez zastosowanie statystycznych testów zgodności.

Porównanie wiarygodności badania rozmazu cytologicznego w stosunku do badania wycinka histologicznego.

Po wprowadzeniu systemu komputerowej analizy obrazu doświadczenie przebiega według schematu przedstawionego na Rys. 2-2. Na schemacie wy-różniono trzy podstawowe obszary charakterystyczne dla tego typu systemu wizyjnego. Pierwszy z nich to scena. W projektowanym systemie wizyjnym sceną jest preparat mikroskopowy. Obraz powstaje w wyniku przenikania przez preparat światła, którego źródło stanowi lampa znajdująca się pod pre-paratem. Poszczególne fragmenty preparatu mikroskopowego charakteryzują się różną przenikalnością fali świetlnej dla poszczególnych zakresów długości fali, dzięki czemu powstały obraz charakteryzuje się zróżnicowaną jasnością i barwą. Podczas przechodzenia promienia przez preparat na granicach ośrod-ków (powietrze, szkło, badana substancja) następują zjawiska załamania oraz ugięcia światła, które mogą wprowadzić pewne zakłócenia w powstałym obra-zie.

Po przejściu przez badaną scenę promienie świetlne kierowane są na układ optyczny, w tym wypadku obiektyw i okular mikroskopu, dzięki którym obraz jest odpowiednio powiększony i skupiony na matrycy światłoczułej, może być


21

ponadto obserwowany przez oko ludzkie. Układ optyczny może być sterowany ręcznie lub automatycznie.

scena

układ opt. przetwornik fotoelektryczny

(mikroskop) (preparat)

(kamera video)

(karta TV)

Obraz cyfrowy

Przetwarzanie wstępnearchiwizacja obrazu

archiwizacja pomiarów

obraz cyfrowy odfiltrowany

segmentacja

obraz indeksowanyidentyfikacja i pomiar obiektów

Wizua-lizacja

akwizycja obrazu

przetwarzanie i analiza obrazu

obiekt

przetwornik A/C

Rys. 2-2 Uproszczony schemat automatycznej analizy ilościowej obrazów mikroskopowych (opraco-wanie własne)

Stolik mikroskopu wyposażony w napęd elektryczny jest rozwiązaniem przydatnym zwłaszcza przy prowadzeniu analizy stosunkowo dużych struk-tur, których rozmiary znacznie przekraczają pole widzenia. W takim wypadku możliwe jest również automatyczne poszukiwanie obszarów zainteresowania poprzez zgrubną analizę obrazu w trakcie przesuwania stolika. Zastosowanie napędu stolika w pionie umożliwia z kolei automatyczne nastawienie ostrości. Nastawienie ostrości jest ważne szczególnie w przypadku dużych powiększeń,


22

gdy głębia ostrości jest mniejsza niż grubość analizowanego preparatu. W skład układu optycznego systemu wizyjnego mogą ponadto wchodzić wszelkiego rodzaju filtry, począwszy od mechanicznie przestawianych filtrów chroma-tycznych i fluorescencyjnych, poprzez filtry elektrycznie przestrajalne pomię-dzy trzema barwami podstawowymi (RGB), zakończywszy na filtrach Lyot’a [Morris i in. 1994] umożliwiających przepuszczanie światła monochromatycz-nego (o szerokości pasma około 5 nm) dla wybranej długości fali. Układ optyczny wykorzystany przy projektowaniu systemu nie posiada możliwości automatycznego sterowania ruchem stolika oraz nie zawiera filtrów elektrycz-nych.

Zadaniem układu optycznego jest skupienie obrazu na powierzchni prze-twornika fotoelektrycznego będącego częścią bloku akwizycji obrazu, czyli kamery. Przetwornik fotoelektryczny w zależności od swojej konstrukcji może generować od razu obraz cyfrowy lub zbierać sygnał w postaci analogowej. W przypadku urządzeń analogowych sygnał podawany jest na wejście przetwor-nika analogowo-cyfrowego (na Rys. 2-2 przedstawionego jako karta TV). W przypadku kamery cyfrowej obraz przetworzony jest już wewnątrz kamery, co zapewnia z reguły lepszą jego jakość. Kamery wykonywane są najczęściej jako scalone analizatory obrazu wykonane w technologii MOS (ang. metal-oxide-silicone) lub telewizyjne lampy analizujące typu widikon [Chabłowski i Skuli-mowski, 1982]. Zestawienie wad i zalet obu rozwiązań jest przedmiotem dys-kusji w [Zieliński i Strzelecki 2002, str. 302-309]. Zasadniczym kryterium przy wyborze kamery jest możliwość uzyskania obrazu barwnego. Kamery czarno-białe wyposażone są w jeden układ fotoelektryczny. Pomimo to mogą być za-stosowane do akwizycji obrazów barwnych pod warunkiem zastosowania opi-sanego powyżej filtru Lyot’a, przy czym charakteryzują się niższą ceną w sto-sunku do jakości otrzymywanego obrazu. W tańszych rozwiązaniach kamery kolorowe wykonywane są również w technologii jednej matrycy światłoczułej, na której znajdują się elementy światłoczułe trzech typów, pochłaniające skła-dowe odpowiednio R, G, B światła padającego na element światłoczuły. Wadą takiego rozwiązania jest fakt trzykrotnego zmniejszenia rozdzielczości barwy w obrazie w stosunku do rozdzielczości jasności obrazu. Wady tej pozbawione są kamery wyposażone w trzy niezależnie działające przetworniki fotoelektryczne – jest to jednak rozwiązanie najbardziej kosztowne.

Wydzielony w systemie blok przetwarzania i analizy obrazu jest realizowany przez zaprojektowany w ramach niniejszej pracy program komputerowy. Pro-ces analizy obrazu rozumie się najczęściej jako dokonanie ilościowego opisu wybranych cech rejestrowanej sceny uzyskanego w wyniku obliczeń zastoso-wanych do założonego modelu sceny i układu optycznego [Pratt, 1987; Mater-ka, 1991]. Obliczenia te są realizowane zwykle w następujących po sobie eta-pach przetwarzania obrazu [Pavlidis, 1987; Gonzales i Woods, 1992; Tadeusie-wicz i Korohoda, 1997; Wiatr, 1998]: przetwarzanie wstępne, segmentacja, iden-tyfikacja obiektów, oraz pomiar cech morfometrycznych i fotometrycznych obiektów. Stosowne definicje, przegląd literatury, a także własne rozwiązania związane z wymienionymi etapami przetwarzania obrazów dla potrzeb projek-


23

towanego systemu zostaną przedstawione w dalszych częściach niniejszej roz-prawy.

Uzyskane zarówno pośrednie, jak i końcowe wyniki działania systemu wizyj-nego mogą być prezentowane w formie tabel i wykresów, oraz archiwizowane na dysku twardym w celu ich późniejszego wykorzystania. Możliwa jest rów-nież wizualizacja, czyli prezentowanie obrazu na ekranie monitora w każdym etapie jego przetwarzania: filtracji, segmentacji, identyfikacji.

2.3 Charakterystyka badanego obrazu Przedmiotem badania są obrazy mikroskopowe preparatów przygotowanych

przy użyciu trzech różnych technik omówionych w załączniku C. Mimo, iż jak widać na Rys. C-4 techniki te w znaczny sposób wpływają wygląd obrazu mi-kroskopowego, w rzeczywistości obrazy te prezentują te same struktury biolo-giczne, podobny jest również charakter zakłóceń (Rys. 2-3).

jądro z reakcją pozytywną

Jądro z reakcją

negatywną

Jądra o częściowej

reakcji

cytoplazma

jądro żle wysycone

barwnikiem

struktury niekomórkowe

7 sklejonych jąder

pęcherz powietrza

Błędy akwizycji obrazu

Rys. 2-3 Obiekty widoczne na mikroskopowym obrazie preparatu z biopsji (powiększenie 300x)

Są to:

jądra komórkowe tkanki nowotworowej,

całe komórki nowotworowe (jądra komórkowe otoczone cytoplazmą),

komórki tłuszczowe,


24

jądra komórkowe i komórki tkanki zdrowej,

krwinki czerwone,

struktury niekomórkowe: śluz, włókna, masy martwicze, skrzepy krwi i włóknika,

zanieczyszczenia i pęcherze powietrza.

Z punktu widzenia osoby przeprowadzającej doświadczenie, interesującymi obiektami są tylko jądra komórkowe tkanki nowotworowej. W jądrach tych osoba ocenia wybarwienie. Jądra komórkowe wykazujące reakcję pozytywną barwią się na kolor brunatno-czerwony, podczas gdy pozostałe jądra komór-kowe pozostają bladoniebieskie. Barwnik brunatny (chromatogen) użyty w do-świadczeniu ma oznaczenie DAB (3,3’ – diaminobenzydyna) lub AEC (3-amino9-etylkarbazol), a barwnik błękitny to hematoxylina Meyera. W Tab. 2-1 zestawiono wzorcowe zakresy barw charakterystyczne dla wymienionych barwników w skali HSI. Tabelę przygotowano na podstawie [Zieliński i Strze-lecki, 2002 str. 128].

Tab. 2-1 Przedziały wartości barw w barwieniu immunohistochemicznym

Barwnik Barwa Reakcja H (º) S (%) I (%)

DAB brunatna pozytywna 31,9 ± 11,3 42,1 ± 26,6 28,4 ± 15,8

Hematoxylina błękitna negatywna 240,9 ± 19,1 33,3 ± 18,8 43.0 ± 7,7

Proces barwienia nie zawsze przebiega tak, jak należy, więc nasycenie barwą dla poszczególnych jąder komórkowych bywa różne. Co więcej, stopień reakcji receptorów jąder komórkowych również się zmienia, więc istnieją jądra ko-mórkowe, w których fragment powierzchni jest wybarwiony na kolor brunat-ny, a pozostała część na kolor niebieski.

Obiekty widoczne na obrazie mikroskopowym nigdy nie są równomiernie rozłożone w polu widzenia. Zarówno jądra, jak i inne elementy mogą wystę-pować w pewnej odległości od siebie, mogą stykać się ze sobą lub tworzyć zbit-ki (klastry), czyli nachodzić na siebie.

Jądra komórkowe są obiektami okrągłymi, jednak w procesie przygotowania preparatu mogą ulec deformacji lub uszkodzeniu [Klencki, 2002; Zieliński i Strzelecki, 2002 str. 57-64]. Zdeformowane jądra komórkowe najczęściej przyj-mują kształt owalny lub zbliżony do kształtu ziarna fasoli. Uszkodzenie jądra komórkowego powoduje najczęściej rozlanie się zawartości jądra, przez co jego obrys w pewnych miejscach staje się niewidoczny.

Przy ustalonym powiększeniu jądra komórkowe powinny być obiektami o zbliżonej średnicy. Jednak obraz powstały z prześwietlenia preparatu mikro-skopowego jest dwuwymiarowym rzutem pewnego fragmentu przestrzeni, co


25

może powodować pewne deformacje kształtów i wielkości znajdujących się tam obiektów. Jeżeli na przykład dwie kule o jednakowej średnicy zostaną przecięte różnymi płaszczyznami, to wielkości tych przekrojów będą różne. To zjawisko zostało opisane jako efekt Holmesa [http://www.udel.edu/Biology/Wags/b667/lect6/lect6_11.gif] (Rys. 2-4).

Rys. 2-4 Efekt Holmesa: a), b) różne grubości wycinka oraz c), d) – odpowiadające im obrazy mikro-skopowe obiektów.

Ważną informacją dotyczącą obrazu pozyskanego w istniejącym stanowisku laboratoryjnym jest jego format. Urządzenie przechwytujące obraz generuje plik w formacie zgodnym z BMP. Obraz jest w standardzie RGB (trzy kanały ośmiobitowe), jego rozdzielczość wynosi 700 na 525 punktów. Przy zastosowa-niu powiększenia mikroskopu 400 razy jest to rozdzielczość w zupełności wy-starczająca zarówno do analizy manualnej oraz cyfrowej. Obrazy powstające w procesie akwizycji oraz kwantyzacji sygnału analogowego dla danego toru wi-zyjnego posiadają pewne wady. Pierwszą z nich jest jaskrawy pionowy prążek znajdujący się z lewej strony obrazu (Rys. 2-3), a drugą nierównomierność wy-świetlania linii parzystych i nieparzystych.

2.4 Algorytm przetwarzania i analizy obrazów mikroskopowych w systemie Pato

Poniższy podrozdział opisuje algorytm przetwarzania obrazu działający w aplikacji Pato. Rys. 2-5 przedstawia całościowo mapę operacji na obrazie, które program wykonuje od chwili wprowadzenia obrazu wejściowego do pamięci do momentu identyfikacji obiektów. Wśród tych operacji można wydzielić pewne większe grupy transformacji:

segmentacja obrazu poprzez progowanie – operacje (a), (b), (d), (f);

segmentacja obrazu poprzez wykrywanie obszarów z zastosowaniem algo-rytmu watershed – (a), (e), (g);


26

obraz wejściowy

obraz barwny nasycony

obraz monochromatyczny


obraz binarny

obraz indeksowany (obiekty)


obiekty sklasyfikowane

progowanie watershed

morfologia

klasyfikacja barw

a

b

q

filtr de-interlace filtr 2pMLF

- konwersja do odcieni szarości - filtr morfologiczny

identyfikacja drzewo decyzyjne

zbiór uczący

obraz barwny wygładzony

- „odjęcie” tła - wyrównanie kontrastu

desaturacja



morfometria

c

de

f g

h

i

j

k

PRZETWARZANI E

WSTĘPNE

SEGMENTACJA

I DENTYFI KACJA

Rys. 2-5 Sieć działań w systemie PATO

segmentacja oraz identyfikacja metodą hybrydową, czyli połączenie obrazów powstałych w wyniku progowania oraz algorytmu watershed, a także indek-sacja punktów obiektów (f) + (g);


27

uzupełnienie obiektów informacją barwną i przeprowadzenie klasyfikacji metodami minimalnoodległościowymi z wykorzystaniem zbioru uczącego i drzewa decyzyjnego, a także przygotowanie statystyk – (a), (b), (c), (i), (j), (k).

Poniższe podrozdziały szczegółowo przedstawiają każdy etap.

2.4.1 Algorytmy filtracji obrazu Zastosowane w programie algorytmy filtracji obrazu mają na celu przygoto-

wanie obrazu do procesu segmentacji. Zarówno wykorzystany algorytm seg-mentacji przez progowanie, algorytm oparty na metodzie działów wodnych, a zwłaszcza algorytm klasyfikacji opierają swoje działanie na pewnych współ-czynnikach, których zmiana pogarsza w znacznym stopniu ich skuteczność. Współczynniki te zostały dobrane do pewnych parametrów barw, przedziałów kontrastu i jasności, rozdzielczości obrazu i powiększenia mikroskopu. Cele wykonywania operacji filtrowania można więc określić jako:

usunięcie szumu z obrazu barwnego;

usunięcie zakłóceń toru wizyjnego, takich jak nierównomierność wyświetla-nia linii parzystych i nieparzystych;

wyrównanie nierównomiernego oświetlenia na obrazie spowodowanego właściwościami optycznymi mikroskopu, oraz wadami preparatu;

wyrównanie kontrastu i nasycenia barw tak, aby uzyskać maksymalny za-kres jasności.

Usunięcie z obrazu zakłóceń toru wizyjnego (Rys. 2-5a) polega na zastosowa-niu filtru usuń przeplot (ang. de-interlace). Filtr ten w najprostszej implementacji odtwarza obraz na podstawie parzystych linii poziomych obrazu. Linie niepa-rzyste są interpolowane (punkt o współrzędnych (x, 2y+1) powstaje poprzez uśrednienie wartości R, G, B dla punktu (x, 2y) oraz (x, 2(y+1)).

Cechą obrazu wideo powstającego w lampie analizującej jest to, że liczba linii poziomych jest stała, w danym przypadku 525 linii, w systemie PAL jest to 625 linii. Linie poziome są natomiast jednowymiarowym sygnałem analogowym kwantowanym i próbkowanym dopiero przez kartę wideo. Maksymalna czę-stotliwość zawarta w tym sygnale zależy od parametrów samej lampy analizu-jącej, pasma przenoszenia elementów elektronicznych w układach kodera, wzmacniacza i dekodera, a także samego kabla koncentrycznego do transmisji sygnału. Generalnie ta maksymalna częstotliwość nie jest wystarczająca, aby obraz wideo miał tę samą efektywną rozdzielczość w poziomie i w pionie. Efekt przeplotu polegający na tym, że linie parzyste obrazu kodowane są w sygnale wideo z pewnym przesunięciem czasowym w stosunku do linii nieparzystych jest podczas oglądania ruchomego obrazu na monitorze lub telewizorze prak-tycznie niedostrzegalny. W przypadku „złapania” przez urządzenie przechwy-tujące jednej klatki, zależnie od trybu działania tego urządzenia możemy zaob-serwować, że brakuje co drugiej linii obrazu, lub linie parzyste są poprzesuwa-


28

ne w stosunku do nieparzystych (mogą też mieć inną jasność, nasycenie kolo-rem). Zjawisko to następuje nawet przy obserwowaniu obiektów nierucho-mych.

Wymienione powyżej informacje sugerują możliwość zredukowania roz-dzielczości obrazu: dwukrotnie liczby linii poziomych, i trzykrotnie liczby pik-seli w jednej poziomej linii. Ma to zasadniczy wpływ na szybkość przetwarza-nia obrazu. Wśród etapów przetwarzania obrazu operacja redukcji rozdzielczo-ści nie została jednak zastosowana, gdyż błąd szacowania parametrów morfo-logicznych obiektów na obrazie binarnym rośnie wraz ze zmniejszeniem roz-dzielczości. Efekt przeplotu jest charakterystyczny wyłącznie dla analogowych lamp obrazowych, w przypadku obrazów pozyskanych aparatem cyfrowym użycie filtru de-interlace nie jest konieczne.

Usunięcie szumu z obrazu (Rys. 2-5a) jest ważnym etapem przetwarzania wstępnego. Występowanie w obrazie izolowanych punktów o maksymalnej lub minimalnej jasności (lub nietypowej wartości dla pewnej składowej barwy) mo-że powodować błędne działanie dalszych algorytmów, zarówno przetwarzania wstępnego jak i segmentacji. Dzieje się tak dlatego, że algorytmy te bazują na lokalnym lub globalnym kontraście wyznaczanym na podstawie różnicy po-między jasnością maksymalną i minimalną pikseli. Usuwanie szumu jest reali-zowane przez zaprojektowany specjalnie dla obrazów barwnych filtr 2pMLF (rozdział 3). Proces filtracji obrazu oznaczony na Rys. 2-5 jako (b) i (c) przed-stawia ciąg operacji zobrazowanych na Rys. 2-6.

usuwanie zakłóceń

Wyrównanie jasności tła

Wyrównanie

nasycenia i kontrastu

a) b)

c) d)

Rys. 2-6 Proces filtrowania wstępnego przed klasyfikacją barwną. Opis w tekście


29

Operacja odjęcia tła (Rys. 2-6c) jest filtrem często stosowanym w mikroskopii. Jej użycie zapewnia obiektywizację pomiarów fotometrycznych preparatu. Jeśli mamy do dyspozycji obraz referencyjny, na którym widoczne jest tylko tło, wówczas operację odjęcia obrazu referencyjnego Ir od obrazu I definiujemy na-stępująco:

( ) ( ) ( )( ) ( )

( ) ( )( ) ( )

>≤

−+=′′=−

yxfyxfyxfyxf

dladla

yxfyxffyxf

yxffyxIIr

r

rR ,,

,,,,

,,:,,:

max

max (2.1)

Dla obrazów barwnych filtrowania takiego dokonuje się dla wszystkich skła-dowych barw. Obraz referencyjny można uzyskać obserwując pod mikrosko-pem fragment preparatu, na którym nie znajdują się fragmenty badanej tkanki. W wypadku braku obrazu referencyjnego, czyli w przypadku opisywanym w niniejszym opracowaniu, można go uzyskać poprzez przefiltrowanie obrazu będącego przedmiotem analizy. Zakładając, że tło jest jaśniejsze niż widoczne na nim obiekty na obrazie wykonuje się operację dylatacji (rola operacji morfo-logicznych została omówiona w rozdziale 3), a następnie dwukrotną operację uśredniania przez filtr dolnoprzepustowy o dużej masce. Algorytm przedsta-wia równanie (2.2):

( )( ) 221 MMMII R ∗∗⊕= (2.2)

W toku eksperymentów ustalono, że maska tego filtru (M2) będzie kwadra-tem o boku dwukrotnie większym niż średnica największego spodziewanego na obrazie obiektu, natomiast element strukturujący (M1) będzie miał kształt koła o średnicy takiej, jak długość boku M2.

Proces wyrównania kontrastu jest standardowym przekształceniem liniowym jasności punktu i nie wymaga dodatkowego omówienia. Dla dalszych etapów przetwarzania obrazów zastosowano konwersję przestrzeni barw RGB na prze-strzeń HSI.

2.4.2 Algorytmy segmentacji obrazu Przez segmentację obrazu rozumie się podział obrazu na spójne i rozłączne

podzbiory pozostające w ścisłym związku z obszarami lub obiektami w rze-czywistości występującymi na obrazie [Gonzales i Woods; 1992]. Podzbiory ta-kie nazywamy komponentami spójnymi. Komponenty spójne wydziela się poprzez zdefiniowanie odpowiednio dla analizowanego obrazu kryterium ho-mogeniczności (jasność, tekstura, barwa). Jeśli rezygnuje się z kryterium spój-ności, operację taką nazywamy częściową segmentacją. Przykładem metody pełnej segmentacji jest algorytm działów wodnych, a częściowej segmentacji – binaryzacja obrazu i klasyfikacja pikseli. Formalne definicje powyższych pojęć zamieszczono w załączniku A (Def. A-15 – Def. A-18).


30

Binaryzacja obrazu

W programie zastosowano metodę progowania adaptacyjnego wieloprzebie-gowego ze zmienną maską (Rys. 2-5f). Sama metoda zostanie opisana w roz-dziale 4. W przestrzeni barw HSI progowaniu podlega składowa I (Rys. 2-5d) dla każdego piksela p.

Dla wybranej klasy obrazów ważne są wielkości masek w algorytmie wielo-przebiegowym. Wartości te, tak jak w przypadku filtrowania są zdefiniowane w zależności od tego, jak duże komponenty spójne mają być widoczne na obra-zie. Podobnie jak w przypadku filtrowania, w procesie binaryzacji uzależniono wielkość maski od wielkości segmentowanych obiektów. Tu przyjęto, że mini-malna maska będzie miała średnicę taką, jak średnica najmniejszego spodzie-wanego komponentu, a maska maksymalna taka, jak maksymalna spodziewa-na średnica obiektu. Ponieważ w każdym kroku algorytmu promień maski jest podwajany wartości te są odpowiednio zaokrąglane. Schematycznie proces bi-naryzacji przedstawia Rys. 2-7.

a) b) c)

Konwersja do odcieni szarości Progowanie adaptacyjne

Rys. 2-7 Segmentacja obrazu przez progowanie

Na Rys. 2-7 a) jest obrazem odfiltrowanym, b) przedstawia składową I dla ob-razu a c) wynik binaryzacji własna metodą.

Segmentacja obrazu metodą działów wodnych

Zastosowanie metody działów wodnych w omawianej aplikacji (Rys. 2-5g) ma na celu niedopuszczenie do „sklejenia” sąsiadujących ze sobą komponen-tów spójnych, co może się zdarzyć podczas binaryzacji.


31

Sama metoda działów wodnych, jej warianty, własna odmiana algorytmu oraz wpływ parametrów związanych z przetwarzaniem wstępnym i końco-wym obrazu zostały opisane szczegółowo w rozdziale 6.

Działanie metody działów wodnych zastosowanej do badanego obrazu pre-zentuje Rys. 2-8.

Dla potrzeb przeprowadzenia segmentacji metodą działów wodnych zasto-sowano konwersję obrazu (Rys. 2-8a) do odcieni szarości (Rys. 2-5e, Rys. 2-8b) omówioną w rozdziale 6.2.2, dzięki czemu uzyskujemy stosunkowo dużą liczbę odcieni szarości. Dla podwyższenia skuteczności metody działów wodnych za-stosowano morfologiczne otwarcie obrazu realizowane dla odcieni szarości (Rys. 2-8b). Dla otwarcia obrazu zastosowano maskę o średnicy równej połowie średnicy spodziewanych obiektów.

Ważnym elementem algorytmu jest przetwarzanie końcowe powodujące re-dukcję zjawiska nadmiernej segmentacji (Rys. 2-8d). Redukcja zjawiska nastę-puje poprzez usunięcie linii podziału obszarów pod warunkiem, że wysokość względna takiej linii jest mniejsza od pewnego ustalonego progu (definicje – zob. Załącznik A). W fazie eksperymentów próg ten ustalono na 10% kontrastu, czyli różnicy pomiędzy punktem o najmniejszej a największej jasności (wartość kontrastu dla przyjętego sposobu konwersji obrazu do postaci monochroma-tycznej nie jest znana przed tą konwersją).

przetwarznie

segmentacja watershed

redukcja

nadmiernej segmentacji

wstępne

a) b)

c) d)

Rys. 2-8 Etapy segmentacji metodą działów wodnych


32

Więcej obrazów przedstawiających wynik działania metody działów wod-nych na obrazach mikroskopowych jąder komórkowych można znaleźć w Za-łączniku B (Rys. B-11 do Rys. B-16).

Składanie obrazów

Proces ów, który można nazwać również segmentacją hybrydową, przebiega w trzech etapach. Jako obrazy wejściowe wykorzystuje się obraz binarny po-wstały w procesie progowania (Rys. 2-5f) oraz obraz poddany segmentacji me-todą działów wodnych wraz z przetwarzaniem końcowym (Rys. 2-5g). Sam pomysł opisano w rozdziale 6. W wyniku składania obrazów część pikseli do-datkowo zostaje zaklasyfikowana jako piksele tła, powodując rozdzielenie skle-jonych obiektów (patrz lewy górny róg zdjęcia, Rys. 2-9). Powstały w ten spo-sób obraz binarny poddawany jest indeksacji, czyli znajdowane są komponenty spójne, a wszystkim pikselom każdego komponentu przypisuje się tę samą ety-kietę (unikalną liczbę całkowitą).

wygładzanie obiektów

Obraz binarny

Siatka watershed

Rys. 2-9 Segmentacja hybrydowa

Obiekty rzeczywiste, czyli te wyróżnione na Rys. 2-3 nie zawierają postrzę-pionych krawędzi, szczelin, otworów, natomiast komponenty powstałe w wy-


33

niku segmentacji – tak. Artefakty te są usuwane z obrazu poprzez standardowe operacje morfologiczne: usunięcie wklęsłości z obiektu, usunięcie dziur, także eliminuje się komponenty o zbyt małych rozmiarach oraz komponenty przyle-gające do krawędzi obrazu.

Po wykonaniu powyższych operacji przyjmuje się, że pozostałe komponenty odzwierciedlają wysegmentowane na obrazie obiekty i mogą one być poddane identyfikacji.

2.4.3 Identyfikacja obiektów Jakie cechy bierze pod uwagę człowiek identyfikując jądra komórkowe na ob-

razie? Przede wszystkim osoba dokonująca analizy jest w stanie wyróżnić na obrazie tło, a na nim poszczególne obiekty. W budowanym systemie kompute-rowym ten etap jest realizowany w procesie segmentacji. Wśród obiektów, któ-re człowiek obserwuje na obrazie mikroskopowym powinien on wyróżnić jądra komórkowe na tle pozostałych obiektów rzeczywistych lub powstałych jako zakłócenia toru wizyjnego (Rys. 2-3). Jądra komórkowe charakteryzują się okre-śloną barwą, kształtem, wielkością. Człowiek jest w stanie policzyć jądra ko-mórkowe rozpoznając granice każdego jądra – krawędzie obiektu. Często jed-nak występuje sytuacja, w której krawędź taka jest nieczytelna, wówczas mózg ludzki jest w stanie wyobrazić sobie ten nieistniejący fragment krawędzi, co niestety nie jest możliwe przy użyciu programu analizującego obraz. Wśród wybranych jąder komórkowych osoba dokonująca analizy dokonuje ich klasy-fikacji na podstawie barwy.

O ile człowiek wyposażony w oko jest w stanie precyzyjniej niż system kom-puterowy znaleźć jądra komórkowe, o tyle wzrokowa ocena stopnia ich reakcji może być bardzo niedokładna. Potwierdzają to częściowo wyniki badań staty-stycznych zaprezentowanych w dalszej części rozdziału, a także przeprowa-dzone przez autora rozprawy doświadczenie.

Osoba wykonująca rutynowe analizy preparatów mikroskopowych została poproszona o wskazanie na kilku obrazach po kilka jąder komórkowych, które jej zdaniem wykazują reakcję pozytywną oraz kilka jąder z reakcją negatywną, przy czym zadeklarowała ona, że dokonując tej selekcji bierze pod uwagę wy-łącznie barwę. Po wstępnej analizie okazało się, że granica podziału przestrzeni barw na dwa podzbiory (podprzestrzeń związana z jądrami komórkowymi za-barwionymi pozytywnie oraz podprzestrzeń związana z jądrami komórkowy-mi zabarwionymi negatywnie) jest bardzo rozmyta, co sugeruje możliwość czę-stych pomyłek człowieka. Taki wynik doświadczenia można wytłumaczyć na-stępująco:

Jądra komórkowe nie są równomiernie naświetlone na obrazie. W przypad-ku obrazów ciemniejszych oko ludzkie gorzej rozróżnia barwy, podczas, gdy obraz cyfrowy w prawie niezmienionym stopniu nadaje się do analizy kom-puterowej (składowa reprezentująca ton koloru nie zmienia się).


34

Jądra komórkowe mogą być tylko częściowo wysycane barwnikiem, co wię-cej, pewne fragmenty jądra komórkowego mogą wykazywać reakcję pozy-tywną, a pozostałe nie. Założenie przyjęte podczas analizy ręcznej mówiące, że gdy więcej niż ¾ powierzchni jądra komórkowego wykazuje reakcję pozy-tywną, to całe jądro wykazuje taką reakcję jest trudne do zweryfikowania. Po pierwsze człowiek nie jest w stanie wystarczająco dokładnie oszacować pola powierzchni, a po drugie nie może precyzyjnie określić granicy plamy bru-natnej i błękitnej, gdyż kolor zmienia się płynnie.

Ocena barwy plamy przez oko ludzkie (podobnie zresztą jasności) następuje zawsze w kontekście barw otaczających obserwowany obiekt, co może po-wodować złudzenia optyczne. Jest możliwe, że osoba wykonująca analizę dokonuje klasyfikacji jąder komórkowych prawidłowo wykorzystując nabyte wcześniej doświadczenie. Wykorzystuje nieświadomie inną niż kolor i kształt, trudną do zwerbalizowania cechę obiektu.

Doświadczalnie ustalono zakresy barw charakterystyczne dla obiektów roz-różnialnych na badanym obrazie mikroskopowym (Tab. 2-2)

Tab. 2-2 Zakresy barw obiektów

klasa Typ obiektu Barwa Barwa w skali HSI

1. Jądro komórkowe z reakcją pozytywną Zbliżona do brunatnej (0°, 42%, 28%)

2. Jądro komórkowe z reakcją negatywną Zbliżona do błękitnej (240°, 33%, 43%)

3. Komórka tłuszczowa Zbliżona do bladożółtej (300°, 24%, 60%)

4. Zanieczyszczenia Odcienie szarości S=0%

5. Tło Zbliżona do białej I=100%

Klasyfikacja barwy metodami minimalnoodległościowymi

Wszystkie wymienione powyżej etapy segmentacji obrazu nie wykorzystywa-ły informacji barwnej w obrazie. Celem algorytmów przetwarzania obrazów za-implementowanych w tym systemie było nie tylko wydzielenie obiektów będą-cych jądrami komórkowymi, ale również ich klasyfikacja. Piksele komponen-tów spójnych obrazu wysegmentowanych w poprzednich etapach przetwarza-nia są klasyfikowane metodami minimalnoodległościowymi. Dzięki takiemu zabiegowi piksele, które zostały wydzielone jako tło nie muszą być poddawane procesowi ponownej klasyfikacji, co powoduje podniesienie wydajności algo-rytmu.

Idea metod minimalnoodległościowych oraz sam algorytm zostaną zaprezen-towana w rozdziale 5. Rys. 2-10 przedstawia rezultat segmentacji obrazu cyto-logicznego dwiema metodami klasyfikacji pikseli. Na Rys. 2-10b przedstawiono wynik segmentacji poprzez progowanie wartości H dla pikseli, przyjmując, że tło to przedział {0, 199}, ekspresja ujemna, czyli kolor niebieski to wartości {200,


35

299}, a ekspresja dodatnia – {300, 359}. Rys. 2-10c prezentuje wynik segmentacji barwnej obrazu algorytmem 1-NN dla cech H, S, I, ∇I. Więcej wyników znaleźć można w załączniku B (Rys. B-8 – Rys. B-10).

Zaletą zastosowania metody 1-NN (i CG 1-NN) w stosunku do progowania wartości H dla pikseli jest większa precyzja segmentacji, mniejsza wrażliwość na zakłócenia oraz większy zakres stosowalności algorytmu.

a)

b)

c)

Rys. 2-10 Segmentacja obrazu cytologicznego metodą klasyfikacji pikseli. a) obraz oryginalny, b) pro-gowanie wartości H, c) algorytm 1-NN dla cech H, S, I, grad(I).

Wstępne kryteria dla algorytmu segmentacji metodą klasyfikacji barw są takie jak wyszczególniono w Tab. 2-2. Kryteria te są korygowane poprzez tworzenie zbioru uczącego. W aplikacji użytkownik może wskazać obiekty typu 1, 2, 3, 4 i 5, dzięki czemu poprawiana jest dokładność działania metody 1-NN. Wraz ze zwiększaniem się liczby punktów zbioru uczącego maleje liniowo szybkość


36

przetwarzania. Dlatego uzyskany poprzez interakcję użytkownika programu zbiór uczący jest redukowany (rozdział 5).

Identyfikacja obiektów metodą drzewa decyzyjnego

Przyjęto założenie, że algorytm segmentacji pozwala oddzielić na obrazie obiekty od tła. Założono ponadto, iż kształt obiektów uzyskany w procesie segmentacji wiernie oddaje rzeczywisty kształt obiektów i nie będzie w później-szym czasie poprawiany. Kształt i wielkość obiektów są podstawowym kryte-rium pozwalającym wyselekcjonować struktury komórkowe od pozostałych. Jądra komórkowe są owalami o zbliżonych do siebie rozmiarach. Pole po-wierzchni komponentów spójnych określa się najczęściej w sposób pośredni poprzez liczbę pikseli w danym komponencie. W przypadku, gdy posługujemy się określonym powiększeniem, nie jest konieczne skalowanie liczby pikseli na mm2. Pojedyncze jądra komórkowe przy powiększeniu 400x tworzą zwykle na obrazie komponenty spójne o wielkości 200–500 pikseli.

Istnieje wiele współczynników kształtu [Tadeusiewicz i Korohoda, 1997, roz-dział 6.4 i 6.5], czyli funkcji przyporządkowujących komponentowi spójnemu pewną skalarną wartość. Dobre współczynniki kształtu to takie, których war-tość jest zbliżona dla obiektów o podobnych kształtach, a wyraźnie różna dla obiektów o różnych kształtach. Dodatkowo ważną cechą dobrego współczyn-nika kształtu jest jego inwariantność na przekształcenia obrazu: zmianę skali, obroty, zaszumienia. Do testów wybrano dwa standardowe współczynniki kształtu: współczynnik wydłużenia figury (ang. aspect ratio) (2.4) oraz współ-czynnik kolistości (2.5). Dla zdefiniowania współczynnika wydłużenia figury konieczne jest wyznaczenie środka ciężkości komponentu (2.3).

( ) ( ) ∑∑==

==∈∃=n

ii

n

iiiiI y

nyx

nxIyxyxSR

11

1,1,,:, (2.3)

( )( ){ }

( )( ){ }pSR

pSRAR

IIIp

IIIpI ,max

,min

int\

int\

ρ

ρ

∈

∈= ; 10 ≤< IAR (2.4)

2

_4obwód

ipowierzchnpoleC ⋅=

π ; 10 ≤< C (2.5)

Oba współczynniki przyjmują wartość 1 dla obiektu będącego kołem. AR jest współczynnikiem dobrze dyskryminującym kształt obiektu w przypadku obiektów wypukłych. Współczynnik C prawidłowo rozróżnia obiekty o podob-nym lub identycznym współczynniku AR, np. gdy jeden z nich ma gładką linię brzegową a drugi poszarpaną lub gdy jeden z nich jest obiektem wypukłym a drugi niewypukłym (Rys. 2-11).


37

Rys. 2-11 Przykład zastosowania współczynników kształtu dla różnych obiektów

Ze względu na fakt, że obiekty wysegmentowane na obrazie poddane są ope-racji wygładzenia (usunięcie wklęsłości z obiektu, ang. convex hull) zdecydowa-no się na użycie współczynnika AR. Obliczenie współczynnika C wymaga obli-czenia obwodu obiektu. Obliczenie to oprócz dość znacznej złożoności oblicze-niowej obarczone jest dużym błędem zależnym od rozdzielczości obrazu i me-tody wyznaczenia linii brzegowej obiektu.

W Tab. 2-3 zebrano przyjęte na podstawie doświadczeń parametry interesują-ce z punktu widzenia analizy obiektów. Dane te pochodzą od obrazów po fil-tracji (Rys. 2-6).

Tab. 2-3 Kryteria identyfikacji obiektów

Cecha: A B C

Typ obiektu Pole pow. (pix)

AR Dominująca liczba punktów komponentu zaklasyfikowana przez 1-NN do klasy

1. Jądro komórkowe z reakcją pozytywną

300 - 500 >0,4 1

2. Jądro komórkowe z reakcją negatywną

300-500 >0,4 2

3. Komórka tłuszczowa 400-800 >0,4 3

4. Zanieczyszczenia - - 4

5 Zbitka jąder kom. >800 - -

6. Tło - - 5

Algorytm identyfikacji obiektów działa następująco (Rys. 2-12).

Dla wszystkich wysegmentowanych obiektów dokonuje się identyfikacji morfologicznej.

Usuwa się obiekty o wybranych wartościach cechy A (polu powierzchni mniejszym niż 200 pikseli).

Z pozostałych usuwa się obiekty o wybranych wartościach cechy B (AR < 0,4).


38

Dla wszystkich pozostałych obiektów liczy się piksele klasyfikowane metodą CG - 1-NN.

Po klasyfikacji barwnej pikseli obiekty identyfikuje się przy użyciu cechy C. Odrzucamy obiekty, które są komórkami tłuszczowymi, zanieczyszczeniami lub są punktami tła, a błędnie zostały zakwalifikowane w procesie segmentacji.

Obiekt

S<300

AR<0,4

Usuń obiekt

Analiza chromatyczna

Obiekt nie jest jądrem

Usuń obiekt

T

N

T

N

T

Usuń obiekt

oszacuj liczbę i rodzaj jąder

N

S<500T

Obiekt jest jądrem

Obiekt jest zbitką jąder

N

Rys. 2-12 Algorytm identyfikacji obiektów

Pozostałe obiekty są jądrami komórkowymi pojedynczymi lub nie możliwymi do wysegmentowania zbitkami jąder, co można ustalić na podstawie analizy cechy A. W przypadku gdy cecha A ma wartość z przedziału 300-500 pikseli to obiekty są pojedynczymi jądrami komórkowymi. W przypadku plam więk-szych automatycznie szacuje się ile jąder komórkowych znajduje się w zbitce i jaka jest ich reakcja. Np. obiekt o wielkości 1233 pikseli, dla którego 425 punk-tów jest typu 1, 733 punktów typu 2 i pozostałe 75 punktów innych typów zo-stanie zakwalifikowany jako jedno jądro z reakcją pozytywną i dwa jądra z re-akcją negatywną.

2.5 Weryfikacja algorytmów

2.5.1 Metodyka eksperymentu Celem eksperymentu było przetestowanie poprawności działania systemu w

konfrontacji z analizą wykonywaną na co dzień przez doświadczonego labo-ranta. W tym celu z archiwum wybrano preparaty mikroskopowe wykonane dla siedmiu pacjentek. Preparaty te były wykonane zarówno techniką biopsji, odcisku na zamrożonym szkiełku i jako skrawki histologicznie. Preparaty były


39

przygotowywane pod kątem sprawdzenia aktywności receptorów progestage-nowych oraz estrogenowych. Każdy preparat został umieszczony pod mikro-skopem, a dla wybranych obszarów wykonano zdjęcia. Dla pojedynczego pre-paratu udawało się znaleźć zwykle 3-5 takich obszarów. Ogółem powstały 144 zdjęcia, które poddano niezależnie analizie ręcznej jak i analizie komputerowej przy pomocy zaprojektowanego oprogramowania.

Osoba wykonująca analizę ręczną liczyła jądra komórkowe w polu widzenia dla każdego zdjęcia i zapisywała ich liczbę z uwzględnieniem liczby jąder ko-mórkowych z reakcja pozytywną. Program komputerowy dokonywał zapisu w tej samej postaci. Dodatkowo w programie zaprezentowano wyniki reakcji immmunohistochemicznej bez liczenia jąder komórkowych – obliczono propor-cję pola powierzchni zabarwionego przez jądra komórkowe z reakcją pozytyw-ną, do pola powierzchni zabarwionego przez wszystkie jądra komórkowe. Ana-liza taka nie jest możliwa bez użycia programu komputerowego, nie była więc przeprowadzona w badaniu ręcznym. Istnieje jednak uzasadnione podejrzenie, że badanie to jest równoważne z liczeniem jąder komórkowych, gdyż jądra komórkowe tej samej tkanki są to obiektami o zbliżonej wielkości.

W załączniku B zaprezentowano tabele z uzyskanymi wynikami dla indywi-dualnych pomiarów: (Tab. B-15 - Tab. B-21). Tam również znajdują się obja-śnienia użytych poniżej symboli: mP, mT, %mP , pP, pT, %pP oraz pA%.

Dla obliczenia zgodności metody ręcznej i automatycznej obliczono średni znormalizowany błąd kwadratowy (NMSE, ang. normalized mean square error). Obliczenia przeprowadzono dla następujących serii wyników:

1) liczba wszystkich jąder komórkowych znalezionych na pojedynczym obrazie przez człowieka i zidentyfikowanych przez program (mT vs. pT);

2) liczba jąder komórkowych o zabarwieniu wskazującym na reakcję pozytywną znalezionych na pojedynczym obrazie przez człowieka i zidentyfikowanych przez program (mP vs. pP);

3) procentowy udział liczby jąder komórkowych o zabarwieniu wskazującym na reakcję pozytywną znalezionych na pojedynczym obrazie przez człowieka i zidentyfikowanych przez program (mP% vs. pP%);

4) procentowy udział liczby jąder komórkowych o zabarwieniu wskazującym na reakcję pozytywną znalezionych na pojedynczym obrazie przez człowieka oraz procentowy udział pikseli zidentyfikowanych przez program jako punk-ty należące do jąder komórkowych o reakcji pozytywnej (mP% vs. pA%);

5) procentowy udział liczby jąder komórkowych o zabarwieniu wskazującym na reakcję pozytywną znalezionych na pojedynczym obrazie przez człowieka oraz procentowy udział pikseli zidentyfikowanych przez program jako punk-ty należące do jąder komórkowych o reakcji pozytywnej (pP% vs. pA%).


40

Wyniki opracowano oddzielnie dla każdego typu preparatu, ponieważ obra-zy nieco różnią się między sobą. Najlepszą dokładność spodziewano się uzy-skać dla skrawków histologicznych uznawanych za preparaty o lepszej jakości. Dane zbiorcze zaprezentowano w Tab. 2-4.

Tab. 2-4 Wartości NMSE (%) dla pomiarów pogrupowanych wg metody przygotowania preparatu.

Opis porównania symbol Skrawek hist. BAC Imprint Śred.

1 Liczba wszystkich jąder mT vs. pT 5,5 2,4 3,7 4,9

2 Liczba jąder pozytywnych mP vs. pP 13,8 9,3 20,8 13,9

3 Frakcja jąder zabarwionych pozytywnie mP% vs. pP% 8,0 13,0 19,7 13,9

4 Frakcja jąder zabarwionych pozytywnie i pole powierzchni

mP% vs. pA% 10,0 14,1 18,1 14,3

5 Frakcja jąder zabarwionych pozytywnie (program) i pole powierzchni

pP% vs. pA% 2,5 2,4 4,1 3,0

Podstawową wielkością jest liczba wszystkich jąder komórkowych. Wielkość błędu względnego dla tej wartości jest miarą poprawności segmentacji obrazu. Z kolei poprawność procesu identyfikacji można ocenić przez porównanie frak-cji obiektów zabarwionych pozytywnie. Aby odpowiedzieć na pytanie, czy pomiar pola powierzchni tkanki zabarwionej pozytywnie jest równoważny określeniu liczby jąder komórkowych zabarwionych pozytywnie również prze-prowadzono stosowne porównanie.

2.5.2 Dyskusja wyników Na podstawie Tab. 2-4 można wywnioskować, że algorytm segmentacji

obiektów w większości przypadków prawidłowo wykrywa jądra komórkowe. Błąd rzędu 5% jest dopuszczalny w diagnostyce medycznej. Należy zauważyć, że błąd ten jest większy w przypadku obrazów histologicznych niż w przypad-ku obrazów z innych typów preparatu. Spowodowane jest to prawdopodobnie większą liczbą jąder komórkowych znalezionych na pojedynczym obrazie. Średnie wartości dla liczby znalezionych jąder komórkowych w polu widzenia prezentuje Tab. 2-5.

Tab. 2-5 Średnia liczba jąder komórkowych w polu widzenia dla badania ręcznego i automatycznego

Rodzaj badania mT – średnio pT – średnio

Histopatologia 190 219,2

BAC 76,2 72,3

Imprint 69,5 62,1


41

Systematyczne zaniżanie liczby znalezionych jąder komórkowych oznaczać może, że niektóre jądra pomimo zastosowania do segmentacji metody działów wodnych oraz analizy morfologicznej pozostają sklejone – dwa lub więcej jąder komórkowych identyfikowanych jest jako jedno.

Niewielki błąd pomiędzy frakcją pola powierzchni i liczby komórek z reakcją pozytywną obliczonych przez program świadczy o tym, że obliczenie pola po-wierzchni wszystkich jąder komórkowych i pola powierzchni jąder komórko-wych z reakcją pozytywną może być dobrym wskaźnikiem stopnia reaktywno-ści receptorów. Pole powierzchni zarówno względne jak i bezwzględne jest trudne do oszacowania wzrokowo bez systemu komputerowego. Z kolei dla systemu komputerowego wykonanie klasyfikacji pikseli jest operacją mniej zło-żoną. W przypadku obrazów o niskiej jakości ta miara może okazać się dokład-niejsza.

Pozostaje jeszcze pytanie, dlaczego tak duże rozbieżności wykazuje porów-nanie liczby jąder komórkowych zabarwionych pozytywnie. Błąd rzędu 14% zwykle określa się jako niedopuszczalny. Dla przyjętej w ręcznym badaniu ru-tynowym czterostopniowej skali stopnia reaktywności jąder komórkowych błąd jest jeszcze większy, a mimo to wyniki tych badań decydują o podjęciu le-czenia pacjenta. Program komputerowy szybko realizujący obliczenie z nieco mniejszym błędem zastosowany w rutynowym badaniu mimo wszystko umoż-liwia przyrost dokładności metody.

Postanowiono prześledzić na przykładzie jednego obrazu, dlaczego występu-ją niezgodności w identyfikacji jąder komórkowych. Pracownik laboratorium na obrazie oznaczył jądra komórkowe, które jego zdaniem przedstawiały reak-cję pozytywną i te, dla których reakcja była ujemna. Wyniki skonfrontowano z programem komputerowym, co pozwoliło na weryfikację jego działania. Oka-zało się, że w niektórych przypadkach człowiek klasyfikował dwa jądra ko-mórkowe o podobnym zabarwieniu do dwóch różnych klas, a jądra komórko-we o różnym zabarwieniu do tej samej klasy. Mógł popełnić przy tym błąd, gdyż oceniał barwę obiektów subiektywnie, w kontekście barw otaczających, podczas gdy program działał poprawnie.

Rozdział 3: Algorytmy przetwarzania wstępnego barwnych obrazów mikroskopowych

Rozdziały 3 – 6 zawierają opisy i testy wykorzystanych do budowy sys-temu przetwarzania obrazu algorytmów. W celu określenia właściwo-ści zaprojektowanych algorytmów konieczne było przeprowadzenie ich testów niezależnie od aplikacji dla przetwarzania obrazów mikrosko-powych. Na początek zostaną omówione metody filtracji, ponieważ jednym z celów pracy było opracowanie skutecznego filtru realizujące-go usuwanie szumu z obrazu przed zastosowaniem segmentacji po-przez progowanie lub klasyfikację pikseli. W tym celu opracowano filtr bazujący na tzw. medianie wektorowej, lecz mający lepsze właściwości rekonstrukcji. Pierwsza część rozdziału (3.1) stanowi przegląd wiedzy dotyczący algorytmów usuwania szumu z obrazów, własne algorytmy opisano w podrozdziałach 3.2.1 i 3.2.2, ich testy zaprezentowano w rozdziale 3.3.

Algorytmy przetwarzania wstępnego barwnych obrazów mikroskopowych

43

Wstęp Obróbka wstępna obrazu jest ważnym etapem przetwarzania obrazów. Ce-

lem przetwarzania wstępnego jest przygotowanie obrazu do fazy segmentacji. Większość algorytmów segmentacji działa prawidłowo tylko wtedy, gdy obraz jest właściwie przetworzony wstępnie. Zadania algorytmów przetwarzania wstępnego można generalnie wyróżnić dwa: usunięcie defektów obrazu oraz wzmocnienie pewnych cech obrazu. Defekty obrazu powstają bądź poprzez niewłaściwe, nierównomierne jego oświetlenie, bądź w procesie akwizycji ob-razu na skutek niedoskonałości elementów toru wizyjnego [Szymański i in., 2004]. Można więc powiedzieć, że zadaniem algorytmów usuwających defekty jest poprawa jakości obrazu i rekonstrukcja utraconych danych. Wzmacnianie pewnych cech obrazu powoduje z reguły utratę innych jego właściwości i znaczne jego zniekształcenie. Przykładowo, zastosowanie algorytmów segmen-tacji wykrywających krawędzie, poprzedzone jest użyciem filtru wzmacniają-cego krawędzie, który w znacznym stopniu zmienia zawartość obrazu.

3.1 Przegląd istniejących metod usuwania zakłóceń w obrazie

Szum

Szumem (ang. nosie) nazywamy defekty powstające w obrazach cyfrowych lub analogowych spowodowane zakłóceniem sygnału wizyjnego. Istnieje kilka modeli szumu przybliżających szum naturalnie występujący w obrazie [Sonka i in., 1998; Vardavoulia i in., 2001]. Wybór odpowiedniego modelu szumu jest istotny podczas testowania algorytmów usuwania szumu. Testy takie przepro-wadza się poprzez sztuczne zaszumianie obrazu wzorcowego, a następnie ob-raz taki przetwarza się przy użyciu projektowanego algorytmu filtrującego. Otrzymany obraz porównuje się z obrazem wzorcowym w celu określenia prawidłowości działania algorytmu. Szum może być skorelowany z obrazem – wtedy, gdy zakłócenia obrazu zależą od samego obrazu, lub nieskorelowany – przekłamania występują niezależnie od obrazu. Szum skorelowany możemy modelować jako szum multiplikatywny

IsIsII ⋅≈⋅+=ˆ (3.1)

dla każdego punktu obrazu, gdzie:

I - obraz wzorcowy,

I - obraz zaszumiony,

s - szum.

Model szumu addytywnego polega na dodaniu wartości szumu do wartości obrazu doskonałego:

sII +=ˆ , (3.2)


44

dla każdego punktu obrazu I.

Filtry usuwające szum z obrazów powinny charakteryzować następujące wła-sności:

poprawna identyfikacja pikseli zaszumionych;

poprawne odtworzenie wartości pikseli zaszumionych;

brak wpływu na piksele poprawne.

Dla obrazów, czyli tablic dwuwymiarowych stosuje się filtry przestrzenne, wykorzystujące tzw. element strukturujący. Element ten jest zwykle niedużą maską kwadratową M (np. 3 x 3 lub 5 x 5) z danym pikselem w jej centrum.

Filtry morfologiczne dla obrazów barwnych

W niniejszej pracy konieczne było dla potrzeb segmentacji obrazów metodą działów wodnych (rozdział 6) zastosowanie filtrów wzmacniających pewne ce-chy obrazu a dokładniej, wygładzających obiekty. Wprowadzenie nowych algo-rytmów nie było tu konieczne, ograniczono się do zastosowania powszechnie stosowanych tzw. operacji morfologicznych. Informacje dotyczące zastosowa-nia operacji morfologicznych w zakresie przetwarzania obrazów monochroma-tycznych i binarnych są powszechnie dostępne w podręcznikach z zakresu przetwarzania obrazów, można jednak wyróżnić pewne pozycje skupiające uwagę tylko na tym zagadnieniu: [Serra, 1982; Haralick i in., 1987; Maragos i Schafer, 1987].

Filtrowanie obrazu przy użyciu operacji morfologicznych polega na prze-kształceniu tego obrazu w obraz tej samej wielkości i klasy przy użyciu innego obrazu zwanego elementem strukturującym. Wspólną cechą filtrów morfolo-gicznych jest to, że fragmenty obrazu wejściowego, które są w pewien sposób podobne do elementu strukturującego (podobieństwo geometryczne, dodatko-wo rozkład jasności w przypadku obrazów monochromatycznych) pozostają niezmienione, podczas gdy pozostałe fragmenty obrazu są wzmocnione lub osłabione. W literaturze można znaleźć przykłady aplikacji filtrów morfolo-gicznych dla potrzeb filtracji i analizy obrazów w medycynie, w geologii, kom-presji obrazów [Sternberg, 1983; Chu i Delp, 1989; Sun i Maragos, 1989; Over-turf i in., 1995]. W niniejszej pracy doktorskiej filtry oparte na operacjach morfo-logicznych używane są jak już wspomniano do segmentacji algorytmem dzia-łów wodnych, a ten z kolei jest wykorzystany w obu projektowanych syste-mach wizyjnych.

Wiele technik przetwarzania obrazów zaprojektowanych pierwotnie na po-trzeby obrazów monochromatycznych doczekało się uogólnienia na obrazy barwne. Dokonując przeglądu algorytmów przetwarzania obrazów pod kątem poszukiwania takich uogólnień można zauważyć naturalną tendencję – próbuje się zastosować znany algorytm niezależnie dla każdej składowej koloru, a na-stępnie dokonać syntezy otrzymanych wyników. Nie zawsze takie podejście jest wystarczające, gdyż nie uwzględnia w pełni zależności pomiędzy wekto-


45

rami w przestrzeni barw. Podobnie, nie ma jednoznacznego uogólnienia defini-cji operacji morfologicznych do przestrzeni obrazów barwnych. Istnieje kilka możliwych wariantów, które mają ograniczone zastosowanie. Najprostszym rozwiązaniem jest wykonanie operacji morfologicznej niezależnie dla wszyst-kich składowych barwy. Przestrzeń barw zastosowana do tej operacji również może być dowolna (HSI, HLS, Luv, L*a*b). Opis różnych przestrzeni barw można znaleźć w literaturze, m. in. [Foley i in., 1990], dyskusję dotyczącą zalet i wad przestrzeni barw HSV opisano w [Ferez i Koch, 1994]. To rozwiązanie ma zasadniczą wadę – barwa dla piksela obrazu wynikowego powstała z nowo otrzymanych składowych będzie inna niż barwa piksela obrazu wynikowego. Krawędzie obiektów widzianych na obrazie mogą ulec „rozwarstwieniu”, czyli dla poszczególnych składowych barwy będą one przebiegać inaczej [Astola i in., 1990]. W przypadku zastosowania operacji morfologicznych jako algoryt-mów przetwarzania wstępnego dla potrzeb segmentacji obrazów barwnych, w których kształt i barwa mają zasadnicze znaczenie w procesie identyfikacji, ta-kie rozwiązanie jest nie do przyjęcia.

Drugim rozwiązaniem jest szeregowanie barw w obrębie elementu strukturu-jącego. W czasie wykonywania operacji na konkretnym punkcie obrazu nie ist-nieje konieczność uszeregowania wszystkich jego punktów, lecz tylko wybra-nych – które podlegają przetwarzaniu.

Autorzy pracy [Comer i Delp, 1999] zaproponowali wektorowy filtr morfolo-giczny działający podobnie jak opisany poniżej wektorowy filtr medianowy. W pracy [Hanbury i Serra, 2001b] zaproponowano rozwiązanie wektorowe dla przestrzeni barw L*a*b, gdzie wprowadzono dla każdej barwy miarę nazwaną potencjałem elektrycznym.

Ostatnim tu prezentowanym, często stosowanym rozwiązaniem jest wybór odpowiedniej przestrzeni barw, a następnie wybór tylko jednej, najbardziej znaczącej składowej barwy i przeprowadzenie operacji morfologicznej analo-gicznie jak dla obrazów monochromatycznych [Hanbury i Serra, 2001a; Peters, 1997].

Filtry medianowe dla obrazów barwnych

Powszechnie stosowanym, skutecznym filtrem przestrzennym dla usuwania szumu w obrazach monochromatycznych jest filtr medianowy.

Def. 3-1 Mediana

Niech { }1221 ,,, += kxxxM K gdzie Nk ∈ będzie zbiorem punktów maski oraz { }1221 ,,, +kppp K ciągiem wartości jasności punktów należących do M posorto-wanych niemalejąco. Wówczas medianę dla zbioru M określamy wzorem

( ) 1+= kpMMed (3.3)

W przyjętej definicji maska otoczenia zawiera nieparzystą liczbę punktów – fakt ten gwarantuje, że mediana będzie wartością pewnego punktu z maski. Jest


46

to niewątpliwa zaleta filtru. Kolejnymi zaletami są łatwość implementacji i duża szybkość działania, o ile rozmiar maski nie jest zbyt duży (nie przekracza 25 pikseli).

Lemat 3-1

Element Med(M) można równoważnie wskazać wzorem:

( ) ∑ −=∈ j

jiMp

ppMMedi

minarg . (3.4)

co należy czytać następująco: medianą zbioru M jest taki punkt pi, dla którego suma modułów różnic pomiędzy pi a pozostałymi punktami zbioru M osiąga minimum.

Dowód (opracowanie własne):

Załóżmy, że: 1221 ,, +≤≤≤ kppp K , oraz przyjmijmy następujące oznaczenia:

∑+

=

−=12

1

k

jjii ppS ; ( )∑

−

=

−=1

1

1i

jjii ppS ; ( )∑

+

+=

−=12

1

2k

ijiji ppS . (3.5)

Wówczas mamy 21iii SSS += . Zauważmy, że:

( ) ( ) ( )( ) ( )122

12

121

12

11

1

−−⋅−++=

=−+⋅−−+⋅−+=

+

+++

kippSS

ikppSippSS

iiii

iiiiiii (3.6)

Wartość ( )ii pp −+1 jest zawsze nieujemna, więc:

ii SS ≤+1 dla { }ki ,,2,1 K= oraz ii SS ≥+1 dla { }12,,2,1 +++= kkki K (3.7)

Ostatecznie mamy, że

ikik SS12,2,11 min+=+ =

K (3.8)

co kończy dowód lematu. ■

W wypadku obrazów barwnych (przykładowo w modelu RGB) definicja fil-tru medianowego wymaga istotnej zmiany, gdyż nie jest możliwe liniowe upo-rządkowanie wektorów wartości pikseli. Należy zwrócić uwagę na możliwość błędnego działania filtru zastępującego oryginalną wartość piksela kolorowego wektorem złożonym z median osobnych składowych barwnych pikseli sąsiedz-twa. Przykładem niech będą wektory maski: p1 = {50, 100, 130}T, p2 = {120, 40, 100}T i p3 = {100, 130, 70}T. Wektor złożony z median składowych miałby war-tość {100, 100, 100}T, a zatem byłby pewnym szarym punktem nie występują-cym (lokalnie) w oryginalnym obrazie. Co więcej, taka wersja mediany koloro-wej może spowodować różne przesunięcia lokalnych maksimów na poszcze-gólnych składowych barw [Zheng i in., 1993].

W pracy [Astola i in., 1990] zaproponowano tzw. medianę wektorową (Vector Median Filter, VMF) dla obrazów barwnych, wykorzystującą obliczanie odległo-


47

ści między wektorami w metryce euklidesowej. Ze względu na fakt, że algo-rytm ten stał się punktem wyjścia dla przedstawionych w niniejszej rozprawie rozważań teoretycznych, zostanie on szczegółowo omówiony.

Korzystając ze wzoru (3.4) można zastąpić różnicę między skalarami odległo-ścią między wektorami w sensie zadanej metryki. W praktyce najczęściej używa się metryki miejskiej lub euklidesowej.

Formalnie:

( ) ( )∑−

=∈

=1

0,minarg

N

jjiMp

ppMMedi

ρ , (3.9)

gdzie Med(M) jest medianą (wyjściem filtra), N liczbą punktów w masce M, zaś pi, 10 −= Ni K , pikselami z maski M. Przyjmijmy dodatkowo, że p0 oznacza piksel, który aktualnie analizujemy (zazwyczaj w centrum maski). Pozostałe punkty oznaczymy jak na Rys. 3-1.

p0

p1

p3

p4 p2

Rys. 3-1 Maska dla rodziny VMF. p0 – aktualny piksel.

Dla ustalonej maski krzyżowej i metryki miejskiej przykładowa implementa-cja VMF (opracowanie własne) została zaprezentowana na Rys. 3-2.

suma0 = |p0 - p1| + |p0 - p2| + |p0 - p3| + |p0 - p4|;

suma1 = |p0 - p1| + |p1 - p2| + |p1 - p3| + |p1 - p4|;

suma2 = |p0 - p2| + |p1 - p2| + |p2 - p3| + |p2 - p4|;

suma3 = |p0 - p3| + |p1 - p3| + |p2 - p3| + |p3 - p4|;

suma4 = |p0 - p4| + |p1 - p4| + |p2 - p4| + |p3 - p4|;

sumamin = suma0;

if(sumamin>suma1){ p0 = p1; sumamin = suma1; } if(sumamin>suma2){ p0 = p2; sumamin = suma2; } if(sumamin>suma3){ p0 = p3; sumamin = suma3; } if(sumamin>suma4){ p0 = p4;}

Rys. 3-2 Pseudokod VMF dla maski krzyżowej

Autorzy pracy [Smołka i in., 2001] zauważyli, że zaszumiona wartość punktu F0 może źle wpłynąć na wybór sąsiada, który zastąpi F0. Zaproponowany przez nich filtr FMVMF pomija w formule sumy liczenie odległości do p0. Pikselem, który zastąpi p0 w filtrze FMVMF, jest wektor pk, gdzie


48

( ) ( ) ( )

+−<== ∑∑∑

−

=

−

=∈

−

=∈

hpozostalycdla

ppppjezelippik

N

jj

N

jjipMp

N

jjipMpopt

ii

0

,,min,minarg:1

10

1

1\

1

1\ 00

ρβρρ (3.10)

gdzie β jest zadanym stałym parametrem. Nietrudno zauważyć, że filtr ten jest szybszy niż VMF, gdyż dla punktów maski z Rys. 3-1, z wyjątkiem p0, liczy się odległości tylko do 3 (a nie 4) wektorów. Wartość parametru β , przy zało-żeniu normalizacji składowych barwnych do przedziału [0; 1], została w [Smoł-ka i in., 2001] ustalona eksperymentalnie na 0,75, choć autorzy twierdzą, że ge-neralnie dobre wyniki są uzyskiwane przy wartości β w przedziale [0,2; 1]. Implementacja tego algorytmu (w opracowaniu własnym autora rozprawy) wygląda następująco:

suma0 = |p0 - p1| + |p0 - p2| + |p0 - p3| + |p0 - p4| - beta;

suma1 = |p1 - p2| + |p1 - p3| + |p1 - p4|;

suma2 = |p1 - p2| + |p2 - p3| + |p2 - p4|;

suma3 = |p1 - p3| + |p2 - p3| + |p3 - p4|;

suma4 = |p1 – p4| + |p2 - p4| + |p3- p4|;

sumamin = suma1; ptmp = p1;

if(sumamin>suma2){ ptmp = p2; sumamin = suma2; } if(sumamin>suma3){ ptmp = p3; sumamin = suma3; } if(sumamin>suma4){ ptmp = p4; sumamin = suma4; } if(suma0-beta<sumamin) p0 = ptmp;

Rys. 3-3 Pseudokod FMVMF dla maski krzyżowej

Trahanias zaprezentował inne podejście, polegające na zastąpieniu metryki miejskiej bądź euklidesowej innymi miarami odległości uwzględniającymi kąt pomiędzy wektorami kolorów pikseli, celem wyeliminowania wektorów poło-żonych „nietypowo” w przestrzeni barw. Idea zaowocowała kilkoma konkret-nymi algorytmami: Basic Vector Directional Filter (BVDF) [Trahanias i Venetsa-napoulos, 1993], Generalized Vector Directional Filter (GVDF) [Trahanias i Ve-netsanapoulos, 1993] i Directional-Distance Filter (DDF) [Karakon i Trahanias, 1995].

W [Vardavulia i in., 2001] zaproponowano medianę wektorową w modelu barw HSV, ale jej przewaga w testach nad VMF działającym w przestrzeni RGB jest niewielka.

Inną prostą ideą było wprowadzenie stałych [Viero i in., 1994] oraz adapta-cyjnych [Alparone i in., 1996] wag do wektorowych filtrów medianowych.

Ponieważ szybkość w niektórych aplikacjach jest sprawą pierwszoplanową (zwłaszcza przy filtracji sekwencji wideo w czasie rzeczywistym), rozważano także odwzorowanie trójwymiarowych wektorów w jeden wymiar przy użyciu krzywych wypełniających przestrzeń [Regazzoni i in., 1997]. Niestety, filtr


49

RVMF (Reduced Vector Median Filter) przedstawiony w wymienionej pracy osią-gał nieco gorszy stosunek sygnału do szumu niż oryginalny VMF.

Inny ciekawy filtr, zwany Vector Median-Rational Hybrid Filter (VMRHF), po-kazano w [Khriji i Gabbouj, 1999]. Wyjście filtru jest ilorazem dwóch wielomia-nów, czyli funkcją rzeczywistą. Filtr ten jest konkurencyjny wobec VMF i DDF przy różnych typach szumu (gaussowskim, impulsowym i mieszanym).

3.2 Algorytmy usuwania zakłóceń w barwnych obrazach mikroskopowych

Omówione w rozdziale 3.1 filtry będące rozszerzeniem idei mediany wekto-rowej mogą być zastosowane do projektowanych systemów przetwarzania ob-razów. Autor rozprawy zauważył jednak, że algorytm FMVMF można dodat-kowo zmodyfikować tak, aby zmniejszyć liczbę pikseli, które zostają zmodyfi-kowane mimo, że nie są zaszumione. Zjawisko to może powodować zniekształ-cenie niewielkich obiektów widocznych na obrazie a co za tym idzie pogorsze-nie efektu przetwarzania wstępnego. W pracy zaproponowano dwie wersje al-gorytmu: jedno i dwuprzebiegową.

3.2.1 Algorytm PNN-VMF Opracowana przez autora rozprawy metoda opublikowana w [Grabowski i

Bieniecki, 2002] wprowadza dwie modyfikacje do filtru FMVMF, w celu zmniej-szenia liczby zamienianych punktów i w efekcie poprawy jakości filtracji. Stąd filtr nazwano Primum Non Nocere Vector Median Filter (PNN-VMF); łacińska sen-tencja „po pierwsze: nie szkodzić” podkreśla różnicę pomiędzy nowym filtrem a VMF, który modyfikuje wartości większości pikseli w obrazie, czego wizual-nym efektem jest rozmywanie krawędzi.

Pierwsza modyfikacja wynika z obserwacji, że nie tylko zaszumiony piksel p0 utrudnia podjęcie prawidłowej decyzji, ale problem dotyczy całego sąsiedztwa. Dlatego też postanowiono przy predykcji uwzględniać już przetworzone (od-szumione) wartości pikseli sąsiedztwa, o ile to jest możliwe (przy tradycyjnym porządku skanowania liniami poziomymi od lewej do prawej). Oznacza to, że przy oznaczeniach jak na Rys. 3-1 przy rozważaniu piksela p0 uwzględnia się nowe (odszumione) wartości pikseli p3 i p4. Od tej zasady jest uczyniony jeden wyjątek: przy liczeniu odległości od p3 do p4 w sumie skojarzonej z p3 uwzględ-niamy nową wartość tylko piksela p4, natomiast przy odległości od p4 do p3 w sumie skojarzonej z p4 odwrotnie, tj. bierzemy nową wartość jedynie p3. Czyni-my tak, aby nie „faworyzować” punktów p3 i p4.

Piksel p0 zamieniany jest tak, jak w przypadku FMVMF na piksel skojarzony z minimalną sumą odległości, jednak ustalamy nowe kryterium dla zmiany tego piksela. Piksel pozostawiamy, jeżeli co najwyżej jedna suma skojarzona z pi jest

mniejsza od ( )∑−

=

+−1

10 ,

N

jjppρβ . W filtrze FMVMF jeden taki sąsiad wystarczył,


50

aby wymusić zmianę p0. Ta cecha prezentowanego filtru umożliwia też osią-gnięcie wyższej prędkości działania niż jego poprzednik. Fragment pseudoko-du implementujący filtr PNN-VMF przedstawia Rys. 3-4.

suma0 = |p0 - p1| + |p0 - p2| + |p0 - p3N| + |p0 - p4N| - beta;

suma1 = |p1 - p2| + |p1 - p3N| + |p1 - p4N|;

suma2 = |p1 - p2| + |p2 - p3N| + |p2 - p4N|;

suma3 = |p1 - p3N|+ |p2 - p3N| + |p3 - p4N|;

suma4 = |p1 – p4N|+ |p2 - p4N| + |p3N- p4|;

howmanygt=0;

if(suma0>suma1)howmanygt++; if(suma0>suma2)howmanygt++; if(suma0>suma3)howmanygt++; if(suma0>suma4)howmanygt++; if(howmanygt<2)continue; int sumamin=suma1; p0=p1;

if(suma2<sumamin){ p0=p2; sumamin=suma2;} if(suma3<sumamin){ p0=p3; sumamin=suma3;} if(suma4<sumamin){ p0=p4;}

Rys. 3-4 Pseudokod PNN-VMF dla maski krzyżowej

3.2.2 Algorytm 2pMLF Drugi, zaimplementowany przez autora rozprawy algorytm nazwany 2pMLF

(ang. 2-pass median-like filter) [Grabowski i Bieniecki, 2003a; Grabowski i Bie-niecki, 2003b] jest rozwinięciem PNN-VMF. Celem jego wprowadzenia było dalsze polepszenie jakości rekonstrukcji zaszumionego obrazu. W rezultacie powstał algorytm dwuprzebiegowy, którego pierwszy przebieg polega na wy-konaniu procedury PNN-VMF.

Znany jest fakt, że w pewnych przypadkach pierwszy przebieg filtru media-nowego nie usuwa szumu z wszystkich pikseli obrazu, dopiero użycie tego sa-mego filtru po raz drugi lub kolejny przynosi pożądany skutek. Niemniej jed-nak ponowne użycie filtru może zniekształcić obraz, czyli wprowadzić modyfi-kacje do pikseli, które nie były zakłócone.

W przypadku szumu o małym natężeniu można domniemać, że pierwszy przebieg filtru usunie go całkowicie i wówczas drugi przebieg jest zbędny – spowalnia działanie algorytmu i może powodować zniekształcenie obrazu. Z kolei obraz silnie zaszumiony poddany powinien być ponownej filtracji, ze względu na zwiększone prawdopodobieństwo wystąpienia dwóch lub więcej zaszumionych pikseli obok siebie.


51

W proponowanej metodzie decyzja o zastosowaniu drugiego przebiegu po-dejmowana jest automatycznie na podstawie informacji zebranej podczas pierwszego przebiegu. Ze względu na fakt, że PNN-VMF modyfikuje w więk-szości przypadków tylko piksele rzeczywiście zaszumione, można sądzić, że liczba pikseli zmodyfikowanych przez ten filtr jest z pewnym przybliżeniem wprost proporcjonalna do zawartości szumu w obrazie, innymi słowy jest to miara zaszumienia obrazu. Na podstawie powyższych obserwacji istnieje przy-puszczenie, że również pewna proporcjonalna do natężenia szumu liczba pik-seli nie została w pierwszym przebiegu poprawiona. Można zatem na tej pod-stawie ustalić czułość filtru dla drugiego przebiegu. Wprowadzono trzy wa-rianty:

wariant najostrożniejszy N4: piksel p0 pozostaje niezmieniony, jeśli liczba sum

skojarzonych z wszystkimi sąsiadami piksela mniejszych niż ( )∑−

=

+−1

10 ,

N

jjppρβ

jest mniejsza od 4; wariant umiarkowany N3: piksel p0 pozostaje niezmieniony, jeśli liczba sum

skojarzonych z wszystkimi sąsiadami piksela mniejszych niż ( )∑−

=

+−1

10 ,

N

jjppρβ

jest mniejsza od 3; wariant nieostrożny N2: piksel p0 pozostaje niezmieniony, jeśli liczba sum skoja-

rzonych z wszystkimi sąsiadami piksela mniejszych niż ( )∑−

=

+−1

10 ,

N

jjppρβ jest

mniejsza od 2.

N2 jest niczym innym tylko filtrem PNN-VMF.

Algorytm działa następująco: Ustalamy eksperymentalnie trzy wartości pro-gowe, np. τ 1, τ 2 i τ 3 takie, że 10 321 <<<< τττ , np. 0,04, 0,08 i 0,13. Są to warto-ści progowe dla frakcji pikseli zmodyfikowanych w pierwszym przebiegu. Uruchamiamy pierwszy przebieg, czyli PNN-VMF obliczając jednocześnie frak-cję zmodyfikowanych pikseli fmp. Dla 10 τ≤< fmp przerywamy procedurę, dla

21 ττ ≤< fmp uruchamiamy algorytm N4, dla 32 ττ ≤< fmp wariant N3, a dla wartości fmp większej – ponownie stosujemy PNN-VMF, czyli wariant N2 (Tab. 3-1).

Tab. 3-1 Zależność wywołanego wariantu od frakcji zmodyfikowanych pikseli

Warunek Wariant drugiego przebiegu

10 τ≤< fmp Przerwanie procedury

21 ττ ≤< fmp N4

32 ττ ≤< fmp N3

13 ≤< fmpτ N2


52

3.3 Weryfikacja zaproponowanych algorytmów Aby wyniki badania mogły być porównywalne testy przeprowadzono na 15

obrazach używanych powszechnie w literaturze (Tab. 3-2 oraz Załącznik B.1). Obrazy zaszumiano sztucznie szumem „sól i pieprz” o natężeniu 2%, 5%, 12% i 30%. Filtry użyte w doświadczeniu wyszczególniono w Tab. 3-3.

Tab. 3-2 Obrazy użyte w doświadczeniu Tab. 3-3 Filtry użyte w doświadczeniu

Obrazy o rozdzielczo-ści 256x256 pikseli

Obrazy o rozdzielczo-ści 512x512 pikseli

Oznaczenie Filtr

COUPLE LENA VMF vector median filter

GIRL1 PEPPERS FMVMF fast modified vector median filter

GIRL2 AIRPLANE PNN-VMF primum non nocere vector me-dian filter

GIRL3 BABOON VMF 2p. dwa przebiegi VMF

HOUSE SAILBOAT FMVMF 2p. dwa przebiegi FMVMF

JELLY_BEANS1 SPLASH PNN-VMF 2p. dwa przebiegi PNN-VMF

JELLY_BEANS2 TIFFANY 2pMLF Filtr dwuprzebiegowy medianopo-dobny

TREE

Dla obliczania odległości ρ użyto metryki miejskiej, a zastosowana przestrzeń barw to RGB.

Dla wstępnej oceny działania porównano szybkość działania algorytmów i liczbę zmodyfikowanych pikseli (Tab. 3-4).

Tab. 3-4 Zależność wywołanego wariantu od frakcji zmodyfikowanych pikseli.

% zmodyfikowanych pikseli (średnio) Filtr

Szybkość przetwarzania

[Mpix/sek] dla 2% szumu dla 5% szumu dla 12% szumu dla 30% szumu

VMF 2,0 59,9 60,0 60,3 62,2

FMVMF 2,5 0,6 0,8 1,9 8,5

PNN-VMF 2,3 0,5 0,7 1,9 8,4

VMF 2p 1,5 283 283,1 283,6 286,5

FMVMF 2p 1,3 2,4 2,6 3,7 11,9

PNN-VMF 2p 1,2 1,0 1,2 3,6 11,2

2pMLF 2,0 0,5 0,7 1,9 8,5


53

Dokładniejsza analiza jakości rekonstrukcji obrazu zaszumionego wymaga obliczenia znormalizowanego średniego błędu kwadratowego (NMSE – ang. normalized mean square error) definiowanego następująco:

( ) ( )( )( )∑ ∑

∑ ∑= =

= =−

= X

x

Y

y

X

x

Y

y e

yxf

yxfyxfNMSE

1 12

1 12

,

,, (3.11)

X, Y – szerokość i wysokość obrazu;

( )⋅f – funkcja barwy obrazu wzorcowego;

( )⋅ef - funkcja barwy obrazu zrekonstruowanego;

( ) ( )yxfyxf e ,, − - jest odległością pomiędzy wektorami barw mierzoną w me-tryce euklidesowej;

( )2, yxf - jest sumą kwadratów składowych barwy dla piksela (x, y).

Miarą błędu uzupełniającą NMSE jest pierwiastek kwadratowy ze średniego błędu kwadratowego (RMSE – ang. root of square mean error):

( ) ( )( )YX

yxfyxfRMSE

X

x

Y

y e

⋅

−=∑ ∑= =1 1

2,, (3.12)

Ze względu na dużą liczbę otrzymanych wyników zdecydowano się na ich prezentację w postaci wykresu rangowego (Rys. 3-5). Filtr, który okazał się naj-lepszy dla zestawu obrazów otrzymuje rangę 0, następny 1 itd. W przypadku remisu, oba filtry dostają po równo tę samą liczbę punktów, np. po 0,5. Przy-znawane punkty (należy je rozumieć jako punkty karne) są sumowane, i zostały zbiorczo zaprezentowane w postaci słupków. Im krótszy słupek, tym algorytm lepszy. Wszystkie otrzymane dane znajdują się w załączniku B w Tab. B-1, Tab. B-2, Tab. B-3 i Tab. B-4. Interpretując te tablice i Rys. 3-5 można stwierdzić, że oryginalna wersja filtru (VMF) daje najgorsze wyniki, jak również zastosowanie dwóch przebiegów VMF w porównaniu z innymi wersjami dwuprzebiegowy-mi wypada najgorzej. Dodatkowo, ocena wzrokowa przefiltrowanego przez VMF obrazu pozwala sądzić, że filtr ten ma tendencję do rozmywania krawędzi obiektów. W przypadku obrazu Lena z naniesionym 12-procentowym szumem impulsowym, VMF zmodyfikował aż 65,2% pikseli obrazu, zaś FMVMF i PNN-VMF tylko po 9,6%.

Filtr PNN-VMF okazał się lepszy niż filtr FMVMF dla obrazów o większej gę-stości szumu – im bardziej zaszumiony obraz, tym większa jest przewaga filtru PNN-VMF nad konkurentami.

Filtr FMVMF okazał się nieco szybszy niż PNN-VMF o około 10% i około 15-20% szybszy w porównaniu do VMF. Na komputerze z procesorem Pentium III 750 uzyskano szybkość przetwarzania około 2,3 MB/sek dla FMVMF.


54

Następnym spostrzeżeniem jest fakt, że stosowanie wersji dwuprzebiegowej ma sens wyłącznie w obrazach o dużym stopniu zaszumienia. Generalnie – jest to operacja dość ryzykowna – może powodować niepotrzebną zamianę pikseli niezaszumionych. Zaproponowane rozwiązanie dwuprzebiegowe (2pMLF) w większości przypadków daje najmniejsze błędy rekonstrukcji, jednak różnica jest bardzo niewielka w porównaniu do pozostałych wersji dwuprzebiegowych. Jego zaletą jest uzależnienie wykonania drugiego przebiegu od liczby zmodyfi-kowanych w pierwszym przebiegu pikseli. Dodatkowo szybkość działania drugiego przebiegu rośnie przy zmniejszeniu gęstości szumu.

2% szumu

5% szumu

12% szumu 30% szumu

Rys. 3-5 Sumy rang dla 15 obrazów zakłóconych szumem impulsowym

Wnioski Przedstawione w pracy nowe wersje filtrów medianopodobnych przeznaczo-

ne dla projektowanych systemów osiągają niewielką przewagę nad algorytma-mi opracowanymi przez innych naukowców, jeśli chodzi o jakość usuwania za-kłóceń oraz charakteryzują się porównywalną szybkością przetwarzania. Udało się zaprojektować filtr, który w mniejszym stopniu niż wcześniejsze wersje zniekształca niezaszumione fragmenty obrazu. Dodatkowo, bez istotnego po-mniejszenia szybkości przetwarzania obliczana jest liczba zmodyfikowanych pikseli będąca miarą zaszumienia, a więc również skuteczności rekonstrukcji. Na podstawie tej wiedzy można podjąć decyzję o dalszej filtracji obrazu i pa-rametryzacji tego procesu. Opublikowane algorytmy [Grabowski i Bieniecki,


55

2002; Grabowski i Bieniecki, 2003a; Grabowski i Bieniecki, 2003b] stały się już inspiracją do dalszych prac [Stoliński, 2004 – praca magisterska]. Autor tej pra-cy podjął zagadnienie optymalizacji parametrów stosowanych przy filtracji ob-razu, a także automatycznego dostrajania algorytmów poprzez uczenie sieci neuronowych. W rozdziale nie przeprowadzono weryfikacji testów na obra-zach będących przedmiotem analizy, ponieważ przedstawione algorytmy sta-nowią tylko pewien etap przetwarzania.

Rozdział 4: Algorytmy binaryzacji mono-chromatycznych obrazów mi-kroskopowych

Progowanie jest klasyczną metodą binaryzacji obrazu monochroma-tycznego. Dla większości aplikacji skuteczność segmentacji poprzez progowanie jest wystarczająca, a szybkość przetwarzania nieporówna-nie większa w porównaniu do innych metod.

Zaprojektowany algorytm wykorzystuje dwie metody klasyczne – au-tomatycznego wyznaczania progu globalnego oraz metodę progu lo-kalnego. Algorytm działa iteracyjnie, przy czym zaproponowano dwie wersje iteracji. Celem wprowadzenia iteracji jest dopasowanie wielkości „sąsiedztwa” dla metody progu lokalnego tak, aby była ona skuteczna dla różnych wielkości obiektów na obrazie. Przyjęto również założenie, że obraz poddany został wcześniejszej obróbce polegającej na usunięciu szumu impulsowego.

Opis algorytmu własnego znajdujący się w rozdziale 4.2 poprzedzono przeglądem znanych z literatury algorytmów wyznaczania progu.

Algorytmy binaryzacji monochromatycznych obrazów mikroskopowych

57

4.1 Przegląd istniejących metod binaryzacji obrazu Zagadnienie progowania (Załącznik A, Def. A-16) jest na tyle ważnym pro-

blemem w dziedzinie przetwarzania obrazów wykorzystanym przez autora tej rozprawy, że uznał on za celowe w sposób schematyczny przedstawić najważ-niejsze metody (Rys. 4-1). Jako podstawę tego schematu przyjęto przeglądowy artykuł [Sankur i Sezgin, 2004].

Wszystkie wymienione na Rys. 4-1 metody (ograniczono się do wypisania nazwisk autorów) mają na celu automatyczne znalezienie wartości progowej: albo jednakowego (globalnego) dla całego obrazu lub też zmiennego (lokalne-go) dla różnych fragmentów obrazu.

Problemem, nad którym pracują naukowcy jest automatyczny wybór warto-ści progowej. Generalnie wśród istniejących algorytmów inżynier ma wybór pomiędzy tymi, które wyznaczają jednakową wartość progu dla całego obrazu oraz tymi, w których próg jest wyznaczany niezależnie dla każdego piksela. Oczywiście nie istnieje rozwiązanie uniwersalne dla wszystkich obrazów, dla-tego dla konkretnych zagadnień metodę i jej parametry dobiera się doświad-czalnie.

PROGOWANIE

Analiza kształtu histogramu jasności: • Rosenfeld, 1983 • Sezan, 1985 • Carlotto i Olivo, 1997 • Ramesh, 1995 • Guo i Kai, 1998 Badanie entropii:

• Pun, 1980 • Kapur, 1985 • Li, 1993 • Shanbak, 1994 • Yen, 1995 • Brink, 1996 • Sahoo, 1997 • Cheng, 1999

Metody korelacji: • Pal, 1989 • Abutaleb, 1989 • Chang, 1999 • Beghdadi, 1995 • Friel , 1999

Atrybuty obiektów: • Tsai i Cheng, 1985 • Hertz, 1988 • O’Gorman, 1994 • Huang, 1995 • Pikaz, 1996 • Leung, 1998

Metody lokalnegoprogu: • Yasuda, 1980 • White, 1983 • Niblack, 1986 • Benrsen, 986 • Palumbo, 1986 • Yanowitz, 1989 • Kamel, 1993 • Oh, 1999, • Sauvola, 2000

Klasteryzacja: • Ridler, 1978 • Otsu, 1979 • Lloyd, 1985 • Kittler, 1986 • Yani, 1994 • Yawahar, 1997

Rys. 4-1 Taksonomia metod wyznaczania progu w segmentacji obrazu

Segmentacja obrazów barwnych metodą progowania polega na zdefiniowa-niu wartości progu (lub progów) dla poszczególnych składowych barwy i okre-śleniu warunków logicznych pozwalających przypisać analizowany piksel do wybranej klasy. Często zakresy barw i przypisane im klasy określa się mianem masek chromatycznych. Przykładowo – dla przestrzeniu barw YUV warunek


58

przynależności piksela do klasy C można zdefiniować jak na schemacie (Rys. 4-2).

if( (Y> τYlow) && (Y≤ τYup) && (U> τUlow) && (U≤ τUup) && (V> τVlow) && (V≤ τVup)

) pixel_class = C;

Rys. 4-2 Zastosowanie maski chromatycznej dla segmentacji obrazów barwnych

Wówczas na wykresie kolorymetrycznym przestrzeń zajmowana przez klasę C będzie prostopadłościanem. Wariacje dotyczące warunków logicznych sto-sowanych dla składowych przestrzeni barw mogą być rozmaite, zależne od konkretnego zadania segmentacji. Metody dotyczące tego typu podejścia do segmentacji zaprezentowano w pracach [Bruce i in., 2000].

Jako punkt wyjścia dla rozważań teoretycznych dotyczących opracowania odpowiedniego dla projektowanych aplikacji algorytmu binaryzacji metodą progowania wybrano dwa algorytmy podstawowe: metodę prostych statystyk obrazu SIS (ang. Simple Image Statistic) [Kittler i in., 1985; Sahoo i in., 1988] oraz algorytm Bernsena [Bernsen, 1986].

Algorytm SIS jest metodą znajdowania globalnej wartości progowej na pod-stawie prostych statystyk obrazu i nie wymaga tworzenia histogramu wartości pikseli. Załóżmy, że obraz rzeczywisty przedstawia obiekt o jasności a na tle o jasności b, jednak dla poszczególnych pikseli obrazu wartości te są w pewien sposób zaszumione. Wówczas odpowiednia dla takiego obrazu wartość progu τ powinna być następująca:

( )2

ba +=τ . (4.1)

Jeśli dla każdego punktu obrazu p(i,j) o jasności l(i,j) zdefiniujemy jego gra-dient:

( ) ( ) ( ) ( ) ( ){ }1,1,,,1,1max, +−−+−−=∇= jiljiljiljilpjie (4.2)

to wówczas otrzymujemy szukaną wartość progu.

( ) ( )

( )∑∑

∑∑

= =

= =

⋅= m

i

n

i

m

i

n

i

jie

jiejil

1 1

1 1

,

,,τ

(4.3)

Metody progu lokalnego są użyteczne w przypadku złego, a w szczególności nierównomiernego oświetlenia sceny. W metodach tych wartość progu oblicza-na jest osobno dla poszczególnych pikseli (lub większych fragmentów obrazu) na podstawie informacji o wartościach pikseli w wybranym otoczeniu M pikse-


59

la badanego. W metodzie Bernsena jako wartość progową przyjmuje się średnią pomiędzy wartością minimalną i maksymalną w obrębie okna.

( ) ( ) )],(),([5,0)(min)(max5,0),( minmax jiljilpfpfjiijij MpMp

+⋅=

+⋅=

∈∈τ (4.4)

gdzie M jest oknem o rozmiarach b na b pikseli wokół piksela (i, j).

( ) bjxbiyIyxM ij <−∧<−∈= :,{ (4.5)

Ponadto przyjmuje się, że jeśli kontrast w obrębie okna

( ) ( ) ( )jiljiljiC ,,, minmax −= (4.6)

jest zbyt mały, wówczas przyjmuje się że wszystkie punkty należące do okna należą do tej samej klasy określonej przez wybrany eksperymentalnie próg glo-balny τ0.

Ze względu na sposób obliczania progu lokalnego metoda Bernsena (a także inne metody wykorzystujące stały zbiór M) ma pewną wadę uniemożliwiającą zastosowanie go w pierwotnej formie dla potrzeb budowanego systemu prze-twarzania obrazów. Otóż wielkość okna M powinna być dobrana proporcjonal-nie do wielkości obiektów, które algorytm wykrywa. Zastosowanie zbyt duże-go okna powoduje, że algorytm segmentacji pomija małe obiekty o niewielkim kontraście leżące w sąsiedztwie obiektów o większym kontraście. Zjawisko to prezentuje Rys. 4-3a. Załóżmy, że na obrazie istnieją dwa obiekty O1 i O2, oraz że jasność tła wynosi 100, obiektu O1 60 a obiektu O2 10. Dla punktu p(i,j) i sko-jarzonego z nim okna M mamy lmax=100, lmin=10, a więc środek przedziału, czyli wartość progu to 55. Ponieważ wartość ta jest mniejsza od jasności obiektu O1, więc punkt p(i,j) zostanie błędnie zaklasyfikowany jako punkt tła. Okno zbyt małe ma wpływ na nieprawidłowe wykrywanie krawędzi dużych obiektów oraz nieprawidłową identyfikację dużych obszarów obrazu o jednolitym tle. Gdyby widoczne na Rys. 4-3b obiekty oraz tło były w pewien sposób zaszu-mione, wówczas dla każdego punktu obrazu spełnione jest kryterium kontrastu dla metody Bernsena, czyli szerokość przedziału pomiędzy wartością minimal-ną a maksymalną w obszarze okna M. W przypadku klasyfikacji takiego piksela p, dla którego wszystkie punkty okna M należą o jednego obiektu następuje błędna klasyfikacja niektórych pikseli wewnątrz obiektu (piksele jaśniejsze niż wartość średnia będą klasyfikowane jako tło).

a)

p(i,j)

M

O1

O2

b)

p(i,j)

O1 O2

M

Rys. 4-3 Przykład sytuacji, w których algorytm Bernsena działa błędnie. Opis w tekście.


60

Wniosek w powyższego eksperymentu jest taki, że wielkość okna przeszuki-wania powinna być dobrana eksperymentalnie do wielkości obiektów widocz-nych na obrazie. Może to stanowić problem w przypadku, gdy nie znamy do-kładnej skali obrazu lub obiekty, które będą segmentowane charakteryzują się zróżnicowanym kontrastem i wielkością.

4.2 Algorytm binaryzacji Bernsen-Bieniecki Obrazy mikroskopowe będące materiałem badawczym w diagnostyce pato-

morfologicznej charakteryzują się z reguły nierównomiernym oświetleniem, nierównomierną jasnością widocznych obiektów, rozmytymi krawędziami. Ob-razy takie mogą być segmentowane metodami progowania pod warunkiem za-stosowania odpowiednich metod przetwarzania wstępnego oraz automatycz-nego wyboru progu lub progów. Po przetestowaniu wybranych algorytmów progowania autor rozprawy zdecydował się na skonstruowanie własnego algo-rytmu z wyznaczaniem progu lokalnego, bazującego na metodzie Bernsena [Bieniecki i Grabowski, 2005a]. Dla skutecznego wyznaczania τ0 autor rozprawy zdecydował się użyć metody SIS w niezmienionej formie.

4.2.1 Szybka implementacja algorytmu Bernsena Algorytm Bernsena jest dość szybkim algorytmem ze względu na fakt, że nie

jest wymagane tworzenie histogramu obrazu. Z drugiej jednak strony koniecz-ność przeglądania dla każdego punktu obrazu pewnego otoczenia tego punktu powoduje zwiększenie złożoności obliczeniowej algorytmu. Jeśli przez n ozna-czymy liczbę pikseli obrazu, a przez r – promień otoczenia M dla każdego punktu obrazu, to złożoność obliczeniową [Cormen, 2004, str. 45-63] możemy ograniczyć z góry przez ( )2rnO ⋅ .

Przy założeniu, że otoczenie M ma kształt kwadratu o boku 2r, można przy-spieszyć działanie algorytmu. W niniejszej pracy zastosowano metodę zapre-zentowaną na Rys. 4-4. Dla bieżącego wiersza rozpatrujemy pasek o szerokości takiej jak okno M. Dla każdej kolumny j obliczamy wartość minimalną i mak-symalną, wartości te umieszczamy w tablicach.

Szerokość okna MBieżący wiersz i

j, max(j), min(j)

Rys. 4-4 Optymalizacja wydajności metody Bernsena


61

Następnie wiersz skanowany jest powtórnie, tym razem przeglądane są przygotowane poprzednio tablice i wybierane są z nich wartości: maksymalna i minimalna dla określonego zakresu indeksów. Dzięki temu złożoność oblicze-niowa maleje do ( )rnO ⋅ .

4.2.2 Algorytm wieloprzebiegowy W celu dopasowania algorytmu do zróżnicowanej zawartości obrazu w tej

pracy zaproponowano algorytm wieloprzebiegowy.

Def. 4-1 Adaptacyjne progowanie wieloprzebiegowe

Jest to algorytm (Rys. 4-5) wykonujący progowanie w n (n>1) krokach. W każdym kroku pewne piksele są klasyfikowane na podstawie ich wartości oraz progu obliczonego na podstawie wartości pikseli z pewnego zdefinio-wanego otoczenia. Pozostałe, niesklasyfikowane piksele przechodzą do na-stępnego etapu. Algorytm kończy działanie, gdy wszystkie piksele obrazu zostaną sklasyfikowane.

Krok 1 (K1)

Krok 2 (K2)

Krok n (Kn)

Obraz wejściowy

Informacja lokalna

Informacja lokalna

Informacja lokalna

Obraz wyjściowy po segmentacji

Obraz po częściowej segmentacji 1

Obraz po częściowej segmentacji 2

Obraz po częściowej segmentacji n-1

Rys. 4-5 Adaptacyjne progowanie wieloprzebiegowe

Algorytm wieloprzebiegowy uzyskano bazując na metodzie Bernsena. W każdym kroku iteracji podwaja się promień okna M. Aby podnieść wydajność, do następnego przebiegu wybiera się tylko te punkty, które zostały zaklasyfi-kowane jako tło. Algorytm kończymy, gdy kolejny przebieg nie powoduje już zmiany przyporządkowania pikseli albo osiągnięto ustalony maksymalny pro-mień okna. W celu sprawdzenia wydajności i opracowania możliwie szybkiej metody zaproponowano dwie wersje algorytmu.


62

W wersji pierwszej (Rys. 4-6) każdy piksel, który nie jest pikselem należącym do obiektu jest rozpatrywany z oknem M, którego rozmiar zależy od kroku ite-racji. Ponieważ w każdym kroku iteracji wielkość okna jest stała dla wszystkich pikseli, możliwe jest zastosowanie wariantu z poziomym pasem (Rys. 4-4).

(T0, C0) := SIS(I) r := Rmin n := 0 In := I Objects := {∅} Background := {∅} while(r<Rmax) { foreach(p∈In) {

M:={(x,y):|p-(x,y)|<r} (T, C):=Bernsen(W)

if(C < C0) T:=T0

if(L(p)<T) { In+1 := In \ {p}; Objects := Objects ∪ {p}; } } n := n + 1; r := 2 * r; } Background := In

Rys. 4-6 Iteracyjny algorytm progowania, wersja 1

Cechą algorytmu jest stała liczba iteracji, w których skanowany jest cały obraz punkt po punkcie. Druga wersja algorytmu (Rys. 4-7) zakłada wykonanie całej procedury iteracyjnej dla każdego piksela niezależnie. Piksel rozpatrywany jest wraz z oknem M o rosnącej w każdym kroku iteracji wielkości. Rozwiązanie to umożliwia wprowadzenie optymalizacji w inny sposób. Wartości minimalna i maksymalna jasności pikseli w oknie przeszukiwania znalezione w i-tym kroku iteracji są wykorzystywane w kroku i+1. Dodatkowo, ponieważ 1+∈ ii MM , nie jest konieczne w każdym kroku iteracji przeszukiwanie wszystkich pikseli na-leżących do całego okna 1+iM , a jedynie nowo dodanych (należących do

ii MM \1+ ).

Cechą tej wersji algorytmu jest to, że liczba iteracji dla poszczególnych pikseli obrazu może być różna.


63

(T0, C0) := SIS(I) Objects := {∅} Background := {∅} foreach(p∈I) {

Background:=Background ∪ {p}; r := Rmin M0:= {∅} n := 1 repeat {

Mn:={(x,y):|p-(x,y)|<r}\Mn-1 (T, C):=Bernsen(Mn) if(C < C0) T:=T0 if(L(p)<T) { Background:= Background \{p} Objects := Objects ∪ {p}

} r:=2*r inc(n)

}until(p∈Objects OR r>Rmax) }

Rys. 4-7 Iteracyjny algorytm progowania, wersja 2

4.2.3 Weryfikacja algorytmów Dla przeprowadzenia testu porównawczego wybrano 5 zdjęć cyfrowych ob-

razów naturalnych: „jaszczurka”, „kasprowy”, „pomnik”, „stonoga”, „suzuki” o rozdzielczości 1280 x 960 (1.2 MPix) oraz 6 obrazów mikroskopowych, będą-cych przedmiotem analizy dla jednego z projektowanych w ramach tej pracy systemów (zob. rozdział 7 oraz załącznik C): „B4”, „B5”, „B6”, „C4”, „C7” o rozdzielczości 1024x1024 (1MPix). Obrazy w postaci pierwotnej wraz z wyni-kiem progowania znajdują się w dodatku B (Rys. B-3 – Rys. B-7). W ramach eksperymentu przeprowadzono następujące testy:

zgrubna (wizualna) ocena poprawności segmentacji;

oszacowanie złożoności czasowej dla poszczególnych algorytmów w zależności od wielkości maski przeszukiwania;

porównanie wydajności algorytmów na podstawie czasu obliczeń.

Badanie poprawności segmentacji rozpoczęto od testów na obrazie sztucz-nym „test”, prezentowanym już na Rys. 4-3, których celem było wykazanie po-prawności działania algorytmu wieloprzebiegowego. Na Rys. 4-8 zaprezento-wano wyniki działania własnej implementacji algorytmu Bernsena z ustalonym progiem globalnym metodą SIS oraz algorytmu wieloprzebiegowego dla obra-zu „test”.


64

a) b)

c) d)

Rys. 4-8 Analiza porównawcza metody Bernsena i algorytmu wieloprzebiegowego. a) obraz wejścio-wy, b) wynik segmentacji dla dużego promienia okna M, c) wynik segmentacji dla małego promienia

okna W, d) algorytm wieloprzebiegowy, wersja 1

Badany obraz (Rys. 4-8a) składa się z trzech obiektów umieszczonych na ja-snym tle: obiekt jasny, obiekt ciemny, oraz obiekt o niejednorodnej jasności. Rys. 4-8b prezentuje wynik działania metody Bernsena dla dużej maski M (o wielkości zbliżonej do najmniejszego obiektu widocznego na obrazie). Czerwo-nym kolorem zaznaczono kontury znalezionych obiektów. Wyraźnie widać nie-prawidłowości w segmentacji obiektu jasnego, o czym już pisano powyżej. Na Rys. 4-8c przedstawiono wynik działania algorytmu Bernsena dla małego okna skanowania. Piksele, które zostały zaklasyfikowane do obiektów oznaczono ko-lorem niebieskim. Ponieważ dwa z trzech obiektów mają jednorodne zabarwie-nie w swoim wnętrzu, dla punktów wewnętrznych tych obiektów kontrast jest równy zero. W tym przypadku algorytm korzysta z progu globalnego wyliczo-nego metodą SIS i z tego powodu wnętrze obiektu jasnego zostało błędnie za-klasyfikowane jako tło. Obiekt o zróżnicowanej jasności również nie został prawidłowo zidentyfikowany, punkty jaśniejsze zostały zakwalifikowane jako tło. Algorytm wieloprzebiegowy, wersja 1 (Rys. 4-8d), zadziałał, dla badanego obrazu testowego poprawnie (tak jak na Rys. 4-8b zaznaczono czerwonym ko-lorem kontury obiektów).

W następnym teście poprawności segmentacji użyto obrazu mikroskopowego “B5”. W celu analizy obrazu wejściowego (Rys. 4-9a) dla zastosowań w diagno-


65

styce należy wydzielić na nim ciemne plamki, podczas gdy pozostała część ob-razu jest tłem. Badany obraz miał rozdzielczość 1024 x 1024 pikseli. Plamki róż-nią się wielkością i kontrastem w stosunku do tła; podczas wykonywania zdję-cia nie udało się również zapewnić jednolitych warunków ekspozycji oraz pre-cyzyjnie nastawić ostrości. Na Rys. 4-9b pokazano wynik binaryzacji przy za-stosowaniu jednego progu otrzymanego metodą SIS. Nie wszystkie plamki zo-stały przez algorytm “zauważone”, dodatkowo w prawej części obrazu widzi-my artefakty spowodowane nierównomiernym oświetleniem.

a)

b)

c)

d)

e)

Rys. 4-9 Binaryzacja obrazu “B5”. Opis w tekście.

Rys. 4-9c przedstawia wynik binaryzacji metodą Bernsena dla okna o promie-niu 40 pikseli (w rzeczywistości okno jest kwadratem o boku 2*40+1=81 pikseli, jednak w dalszej części tekstu będzie użyte pojęcie „promień”). Liczba popraw-nie zidentyfikowanych plamek jest tu wyraźnie większa, jednak znów algorytm pominął najmniejsze plamki o zbyt małym kontraście. Rys. 4-9d i Rys. 4-9e pre-zentują wynik działania procedury wieloprzebiegowej odpowiednio dla pierw-szej i drugiej wersji. Użyto zakresu promienia okna 5 ÷ 40. Dla pierwszej wersji algorytmu uzyskano maksymalną czułość i wszystkie plamki zostały wykryte. Powstały w nielicznych przypadkach “fałszywe” plamki – pojedyncze izolo-wane piksele zostały zaklasyfikowane jako obiekty. Algorytm w wersji drugiej pominął najmniejsze i najsłabiej widoczne plamki, lecz mimo to wynik segmen-tacji jest lepszy niż dla algorytmu Bernsena jednoprzebiegowego. Podsumowu-jąc – najlepsze wyniki segmentacji dla obrazu „B5” daje algorytm wieloprzebie-gowy w wersji pierwszej. Pozostałe mimo wszystko artefakty są możliwe do usunięcia poprzez zastosowanie filtru medianowego. Wyniki binaryzacji pozo-


66

stałych obrazów mikroskopowych zobrazowano na Rys. B-4 – Rys. B-7 (Załącz-nik B).

W następnym teście porównano średnią wydajność algorytmów obliczoną dla dziesięciu obrazów. Algorytmy zostały zaimplementowane w języku C++ obiektowym. Użyto kompilatora Microsoft Visual C++ 6.0. Testy przeprowa-dzono na komputerze z procesorem P4 2 GHz. Szybkość przetwarzania wyra-żono w pix/sek. i zaprezentowano na Rys. 4-10.

Rys. 4-10 Średnia szybkość przetwarzania (P4 2 GHz)

Żaden z testowanych algorytmów progu lokalnego nie osiągnął szybkości przetwarzania porównywalnej z progowaniem dla arbitralnie przyjętej wartości progu (23,68 Mpix/sek). Wśród pozostałych algorytmów najszybszy okazał się algorytm wieloprzebiegowy w wersji 1 z użyciem optymalizacji przy pomocy paska przeszukiwania (Rys. 4-4). Algorytm działa szybciej niż jednoprzebiego-wa wersja Bernsena, ponieważ przetwarzanie rozpoczyna się od mniejszej ma-ski M (tutaj 10). Nie wszystkie piksele przechodzą do następnych kroków itera-cji (maska o promieniu 20 i 40). Oryginalny algorytm Bernsena przetwarza każ-dy piksel wraz z maską o promieniu 40.

Ostatni eksperyment polegał na oszacowaniu średniej złożoności czasowej al-gorytmów jedno- i wieloprzebiegowych jako funkcję wielkości okna M (Rys. 4-11). Dla każdego z 10 obrazów testowych wykonano binaryzację różnymi wa-riantami metod dla różnych wielkości okna. Maksymalną wielkość okna usta-lono na 20, 30, 40, 60 i 80, podczas gdy dla algorytmów wieloprzebiegowych dolną granicę okna ustalono tak, aby algorytm działał w trzech przebiegach, czyli odpowiednio: 5, 7, 10, 15 i 20.

Dla każdego otrzymanego zestawu pomiarów wykonano regresję wykorzy-stując wybrane funkcje: jednomian, logarytm, pierwiastek, po czym zaakcepto-wano funkcje najlepiej aproksymujące pomiary, czyli te, dla których średni błąd kwadratowy był najmniejszy. Średnia czasowa złożoność algorytmu Bernsena wynosi o(r2), co potwierdza oszacowanie złożoności obliczeniowej.


67

Algorytm Bernsena zoptymalizowany pod względem szybkości (z paskiem przeszukiwania) oraz algorytm wieloprzebiegowy w wersji 1 uzyskały złożo-ność czasową liniową, czyli o(r). Dla algorytmu wieloprzebiegowego w drugiej wersji najlepsze dopasowanie uzyskano funkcją ( )( )rro log⋅ , co jest rezultatem pośrednim i wskazuje, że stopień optymalizacji algorytmu jest gorszy niż w przypadku paska przeszukiwania.

Bernsen: o(r2)

Bernsen opt.: o(r)

Bernsen-Bieniecki (opt.) v.1: o(r)

Bernsen-Bieniecki v.2: o(rlog(r))

Bernsen-Bieniecki v.2 (opt.): o(rlog(r))

Rys. 4-11 Złożoność czasowa algorytmów progowania dla średniego przypadku


68

Podsumowanie Metody segmentacji oparte na progowaniu dają bardzo duże możliwości. Są

proste w implementacji, a przejrzystość kodu pozwala wprowadzać szereg modyfikacji zmieniających w istotny sposób cechy algorytmu. Algorytm oparty na progowaniu należy dobierać eksperymentalnie dla postawionego działania, podobnie jak same parametry tego algorytmu. Zaprojektowany algorytm umożliwia prawidłową binaryzację obrazu zawierającego ciemne obiekty na ja-snym tle o wielkości mieszczącej się w pewnym przedziale. Algorytm funkcjo-nuje prawidłowo również w przypadku nierównomiernego oświetlenia sceny. Procedura Bernsen-Bieniecki wer. 1 sprawdziła się w obu projektowanych sys-temach przetwarzania obrazu mikroskopowego i stanowi trzon całego algo-rytmu segmentacji.

Konstrukcja algorytmów zapewnia swobodę implementacji, dzięki czemu ist-nieje możliwość zwiększenia szybkości działania oraz zmniejszenia złożoności obliczeniowej. Opracowany algorytm, mimo, że jest procedurą wieloprzebie-gową, w niektórych przypadkach działa szybciej niż algorytm Bernsena.

Istnieje dalsza możliwość przyspieszenia działania kodu zaproponowanego w tym rozdziale. W przypadku dużej szerokości zbioru M istnieje możliwość zastosowania tego samego zbioru M dla kilku sąsiadujących ze sobą pikseli.

Rozdział 5: Algorytmy segmentacji obra-zów mikroskopowych metodą analizy przestrzeni barw

Jednym z najważniejszych zagadnień w niniejszej rozprawie było opra-cowanie algorytmów segmentacji obrazów barwnych możliwych do za-stosowania w systemie diagnozowania obrazów mikroskopowych tkanki nowotworowej barwionej immunohistochemicznie. W toku prowadzonych badań przetestowano istniejące algorytmy segmentacji barwnej; rozpatrzono między innymi algorytmy klasyfikacji pikseli z wyróżnieniem metod progowania i klasteryzacji. Szczególnym zainte-resowaniem autora objęto metodę klasyfikacji minimalnoodległościo-wej k-NN, ponieważ charakteryzuje się ona wysoką jakością klasyfika-cji. Liczba dostępnych pozycji literaturowych dotyczących zastosowa-nia tej reguły do segmentacji obrazów barwnych była niewystarczająca. Zaimplementowano własny algorytm segmentacji oparty na klasyfika-cji minimalnoodległościowej. Algorytm poddano modyfikacjom w celu polepszenia wydajności i jakości segmentacji. W rezultacie powstał ulepszony wariant dwuprzebiegowy, w którym zredukowano moc zbiorów uczącego i testowego przy zachowaniu dobrej jakości klasyfi-kacji.

Algorytmy segmentacji obrazów mikroskopowych metodą analizy przestrzeni barw

70

5.1 Przegląd istniejących metod klasyfikacji pikseli W literaturze bardzo często segmentację obrazów rozpatruje się jako zadanie

klasyfikacji w przestrzeni cech będącej w ścisłym związku z przestrzenią barw. Proces segmentacji obrazu poprzez klasyfikację pikseli zdefiniowano w załącz-niku A, Def. A-17, poniżej zaprezentowano pojęcie klasyfikacji.

Def. 5-1 Klasyfikacja

Klasyfikacja jest to predykcja wartości zmiennej dyskretnej obiektów opisa-nych T-wymiarowymi wektorami cech. W obrębie tego pojęcia możemy wy-różnić klasyfikację nadzorowaną (ang. supervised classification) i nienadzoro-waną (ang. unsupervised, unattended classification). W pierwszym przypadku etykiety klas nieznanych obiektów określa się na podstawie zbioru obiektów o znanych etykietach, tzw. zbioru uczącego (ang. training set, learning set). Właściwość predykcji etykiet nieznanych próbek na podstawie danego zbio-ru uczącego nazywa się również zdolnością generalizacji klasyfikatora. W przypadku klasyfikacji nienadzorowanej brak jest zbioru uczącego. Zadanie polega wówczas na rozdzieleniu zbioru obiektów pewną liczbę podzbiorów w taki sposób, aby obiekty w obrębie pojedynczego podzbioru były do siebie możliwie podobne (w przestrzeni zadanych cech i w sensie określonej me-tryki lub miary podobieństwa). Tak utworzone podzbiory nazywamy często klastrami (ang. clusters), a proces wyodrębniania klastrów — klasteryzacją (ang. clustering).

Stan wiedzy dotyczący wykorzystania metod klasyfikacji w algorytmach przetwarzania obrazów czytelnik znajdzie w pozycji [Hance i in., 1996; Power i Clist, 1996]. Na poniższym schemacie (Rys. 5-1) wyszczególniono opisane tam algorytmy, z uwzględnieniem podziału na metody klasyfikacji parametrycznej, czyli nadzorowanej i nienadzorowanej. Wśród metod klasyfikacji nadzorowanej wyróżniono algorytmy oparte o sieci neuronowe, drzewa decyzyjne, klasyfika-tor minimalnoodległościowy k-NN oraz maksimum podobieństwa. Wyróżnio-ne metody nienadzorowanej klasyfikacji pikseli, można określić wspólnie jako metody klasteryzacji, czyli podział przestrzeni barw na spójne, rozłączne zbio-ry. Proponowane algorytmy zostały przetestowane dla obrazów owoców [Po-wer i Clist, 1996] oraz dla wykrywania zmian w obrazach tkanki nowotworowej [Hance i in., 1996]. Oczywiście możliwe jest łączenie technik klasyfikacji nadzo-rowanej i nienadzorowanej. W pracy [Eom, 1999] użyto kombinacji klasyfikato-ra opartego na sieci neuronowej w połączeniu z algorytmem klasteryzacji. Al-gorytmy klasteryzacji i nadzorowanej klasyfikacji pikseli realizują podejście, w którym uwzględnia się tylko informację o kolorze rozpatrywanego piksela. Po-dejście to występuje również w przypadku metod opartych o progowanie barw oraz analizę histogramu 1D i 3D. Istnieją również metody wykorzystujące za-leżności geometryczne (sąsiedztwo, kontekst) pikseli segmentowanego obrazu [Strzecha, 2001].


71

NADZOROWANA - maksimum

podobieństwa - drzewo decyzyjne - k najbliższych

sąsiadów - sieć neuronowa

NIENADZOROWANA - progowanie adaptacyjne - rozmyta metoda k

średnich - SCT i rozcięcie centrum - PCT i obcięcie mediany - podział i łączenie - multi rozdzielczość

SEGMENTACJA JAKO

KLASYFIKACJA

Rys. 5-1 Zastosowanie algorytmów klasyfikacji do segmentacji obrazów

W celu zapoznania czytelnika z możliwościami, jakie daje klasyfikacja pikseli, poniżej przedstawiono krótki przegląd znanych z literatury metod. Pierwszą omawianą grupą będą algorytmy analizy histogramu.

5.1.1 Metody analizy histogramu składowych barwy Algorytm analizy histogramu (lub histogramów) składowych barwy ma za

zadanie wykrycie wartości najczęściej występującej (mody) lub kilku takich wartości. W ujęciu globalnym przyjmuje się, że zbiór pikseli widoczny na obra-zie jako jeden obiekt powinien zawierać piksele o podobnym kolorze i w związku z tym na histogramie te piksele powinny tworzyć jedną modę. Ponad-to zakłada się, że każda taka moda ma rozkład normalny. W przypadku analizy 1D detekcję mód przeprowadza się zwykle dla wszystkich składowych koloru, a następnie porównuje i składa rezultaty. Przestrzeń barw ma zwykle trzy składowe. Takie podejście ogranicza nam maksymalną liczbę klas pikseli do trzech, jednak możliwe jest użycie jednocześnie kilku przestrzeni barw [Ohlan-der, 1978]. Skuteczność wyboru składowych barw może podnieść zastosowanie metody PCA (ang. principal component analysis) [Otta, i in., 1980].

W późniejszych pracach zaproponowano znajdowanie większej liczby mód w każdym z histogramów [Tominaga, 1990] poprzez rekursywną analizę histo-gramów. Rekursywny podział histogramu opisany został również w [Otha, 1985], a następnie wykorzystany w dalszych pracach, np. [Celenk, 1990; Tomi-naga, 1992].

Istnieją również algorytmy wykorzystujące metodę hybrydową opartą o kla-syfikację pikseli w połączeniu z metodą łączenia obszarów, co w założeniu po-woduje redukcję zjawiska nadmiernej segmentacji [Schettini, 1993; Cheng i in., 2001].


72

Podsumowując: metody oparte o analizę histogramu 1D mają pewne wspólne cechy. Jako informacja wejściowa nie jest właściwie potrzebna żadna wiedza na temat zawartości obrazu, nie jest również wymagana znajomość liczby klas obiektów występujących na obrazie. Są to niewątpliwie zalety metod analizy histogramu 1D. Do wad należy zaliczyć przede wszystkim fakt, że w proces rozdzielania wektora koloru na składowe to jednowymiarowa projekcja prze-strzeni 3D. Pojawia się problem jak najlepiej wybrać składowe koloru, aby nie nastąpiła poważna utrata informacji. Należy również zwrócić uwagę na dużą złożoność obliczeniową metod opartych o analizę histogramu.

Praktyka pokazuje, że algorytmy wykorzystujące jednowymiarową analizę histogramu działają właściwie wtedy, gdy obraz zawiera niewiele zakłóceń, oraz gdy obszary, które mają zostać znalezione, mają podobne rozmiary. Więcej możliwości, ale również większa złożoność obliczeniowa charakteryzuje meto-dy analizy histogramu 3D.

Histogram 3D obejmuje trzy składowe koloru naraz. Zbudowanie takiego hi-stogramu można rozumieć jako stworzenie przestrzeni „kontenerów”, do któ-rych trafiają piksele o określonych wartościach. Implementacja odpowiednich struktur danych dla histogramu 3D wymaga znacznej mocy obliczeniowej (du-ża zajętość pamięci). Dla przestrzeni barw RGB mamy 2563≈16,7mln kontene-rów. Rozwiązaniem zmniejszającym zapotrzebowanie na pamięć jest wstępna kwantyzacja przestrzeni barw [Gentile i in., 1990; Sankowski i in., 2004]. Liczbę kontenerów można również zmniejszyć poprzez badanie ich populacji i reduk-cję kontenerów o małej populacji [Park i in., 1998].

5.1.2 Klasteryzacja przestrzeni barw Klasteryzacja polega na zdefiniowaniu pewnej przestrzeni wektorowej cech i

odwzorowaniu cech dotyczących pikseli na pewne wektory w tej przestrzeni. Przy pomocy metod statystycznych przestrzeń cech dzieli się na pewne spójne podzbiory, tzw. klastry, które odwzorowane na piksele obrazu tworzą jedno-rodne obszary. Dyskusja zalet i wad metod klasteryzacji jest przeprowadzona w [Hanson i Riseman, 1978].

Jedną z pierwotnie stosowanych technik klasteryzacji była metoda k średnich opracowana w [MacQueen, 1967]. Algorytm k średnich na wejściu pobiera war-tość k – ustaloną liczbę klas, na jakie ma zostać podzielona przestrzeń (tu prze-strzeń barw). Fakt, że wartość k jest ustalona, stanowi zaletę w przypadku, gdy mamy pewną wiedzę a priori dotyczącą zawartości obrazu. Jeśli liczba obiek-tów, a w szczególności klas obiektów, jest wartością szukaną, algorytm ten nie jest skuteczny.

Metoda polega na losowym wybraniu k środków ciężkości jC dla każdego klastra. Następnie rekursywnie wśród punktów w przestrzeni barw poszuki-wane są te leżące najbliżej danego środka ciężkości. Po przypisaniu punktu do danej klasy aktualizowany jest środek ciężkości. Algorytm wykonuje się aż do wyczerpania wszystkich nieprzypisanych punktów. Rozwinięciem metody k


73

średnich jest rozmyta metoda k średnich [Gruite, Bratney, 1988] (ang. fuzzy k-means).

Udoskonalenie polega na uniezależnieniu końcowego wyniku od początko-wego wyboru środków ciężkości. W rozmytej metodzie k średnich minimalizu-jemy średni błąd kwadratowy przyporządkowania punktu do danej klasy. Jako parametr metody wybiera się współczynnik [ )∞∈ ;1β , który żargonowo można określić jako współczynnik rozmytości. Im większa wartość tego współczynni-ka, tym granice klastrów są bardziej rozmyte.

Nadal pozostaje jednak do rozwiązania problem doboru wartości k. W pracy [Lim i Lee, 1990] zaproponowano rozwiązanie oparte o analizę histogramu 1D dla określenia liczby klas, a następnie zastosowania rozmytej metody k śred-nich, z kolei w [Liew i in., 2000] zastosowano wagi szacowane na podstawie lo-kalnego sąsiedztwa przestrzennego.

Ostatnią wśród opisywanych tutaj metod klasteryzacji jest competetive learning [Uchijama i Arbib, 1994]. Jest to dalsze rozwinięcie metody k średnich, z tym, że nie musimy znać początkowej wartości k – jedynie musimy określić maksymal-ną liczbę klas. Mimo kilku niedogodności okazuje się, że algorytm, w przeci-wieństwie do metody k średnich, daje stabilne wyniki, brak jest również uwa-runkowań związanych z losowaniem początkowych położeń środków ciężko-ści.

Pewną osobną algorytmów klasteryzacji stanowią tzw. algorytmy koloryme-tryczno-przestrzenne. Różnica polega na tym że każdy piksel badany jest nie tylko ze względu na wartość wektora barwy ale brane są pod uwagę również wektory barw pikseli sąsiadujących. Różne rozwiązania wykorzystujące tę za-leżność opisano w [Orchard i Bouman, 1991; Balasubramaian i in., 1994; Strze-cha 2001].

Wśród metod klasteryzacji można również wyróżnić metodę przemieszczania średniej (ang. mean shift) [Fukunaga i Hostetler, 1975; Cheng, 1995; Comaniciu i Meer, 1999]. Wektor przemieszczania średniej jest nieparametrycznym estyma-torem gradientu gęstości (tu: gęstości punktów w przestrzeni cech dla przetwa-rzanego obrazu). Algorytm klasteryzacji oparty na metodzie przesunięcia śred-niej wymaga zdefiniowania okien przeszukiwania, tj. ustalenia ich ilości, pro-mieni i środków. Najczęściej losuje się pewną liczbę punktów z obrazu i przyj-mując je jako środki sfer bada się ilość punktów wpadających w taką sferę. Dla wybranych sfer przeprowadza się iterację przesunięcia średniej. Otrzymane w ten sposób środki klastrów można jeszcze poddać losowemu przesunięciu i powtórzyć iterację. Na koniec przeprowadza się klasyfikację pozostałych punk-tów metodą k najbliższych sąsiadów, wykorzystując jako zbiór uczący otrzy-mane środki klastrów.


74

5.2 Algorytm segmentacji obrazów mikroskopowych poprzez klasyfikację pikseli

5.2.1 Wybór metody klasyfikacji Postawione zadanie segmentacji obrazu mikroskopowego barwionego im-

munohistochemicznie wymaga zastosowania odpowiedniego algorytmu wyko-rzystującego informację barwną w obrazie. Algorytm powinien wykorzystywać pewną wiedzę a priori o badanym obrazie, a mianowicie: liczba klas obiektów (a zatem klas pikseli) jest z góry narzucona i wynosi 5, jednocześnie znamy przy-bliżone zakresy barw dla poszczególnych klas obiektów (Tab. 2-2). Z drugiej strony:

na pojedynczym obrazie nie zawsze znajdują się obiekty wszystkich pięciu klas; zakresy barw dla poszczególnych klas obiektów są indywidualne dla każdego

preparatu mikroskopowego (z którego powstaje tylko 4 – 8 obrazów).

Wobec powyższego przyjęto, że zostanie zastosowana metoda klasyfikacji nadzorowanej, spełniająca następujące kryteria:

maksymalna liczba klas jest znana i niezmienna; istnieje możliwość modyfikacji kryterium przynależności pikseli do danej klasy

poprzez podanie przykładu (uczenie na danych testowych).

W podsumowaniu rozdziału 2.1 wskazano, że w takim przypadku stosuje się często klasyfikatory oparte na sztucznych sieciach neuronowych. Dla potrzeb niniejszego zagadnienia zdecydowano się jednak zastosować własny algorytm bazujący na statystycznej regule k najbliższych sąsiadów [Fix i Hodges, 1952] zastosowanej do wektora barwy piksela wzbogaconego o współrzędną związa-ną z otoczeniem geometrycznym piksela. W porównaniu do sztucznych sieci neuronowych klasyfikator minimalnoodległościowy charakteryzuje się:

prostotą konstrukcji (nie jest konieczny eksperymentalny dobór struktury sieci) uproszczonym procesem uczenia. Uczenie polega na utworzeniu zbioru refe-

rencyjnego i ewentualnym przeprowadzeniu jego redukcji podczas gdy w przy-padku sieci neuronowej proces uczenia może być długotrwały, co przy częstej zmianie kryterium klasyfikacji może być uciążliwe. Dodatkowo w przypadku sieci powstaje możliwość przeuczenia (ang. overfitting)

znacznie wydłużonym procesem klasyfikacji.

Dla zoptymalizowania działania reguły k-NN ze względu na dokładność kla-syfikacji konieczne jest jednakże określenie odpowiedniej wartości k dla kon-kretnego zagadnienia. Najczęściej używa się metody minus jednego elementu (ang. leave one out, LOO). Drugim, jeszcze ważniejszym zabiegiem jest wybór odpowiedniej przestrzeni cech, to znaczy takiej, w której współrzędne nie są ze sobą skorelowane i są reprezentatywne dla klas. Proces selekcji cech jest przedmiotem pracy [Devijver i Kittler, 1982].

Na podstawie danych literaturowych (pozycje wymienione w rozdziale 5.1) wybrano jako przestrzeń cech przestrzeń barw HSI. Dla obrazów naturalnych


75

współrzędne wektora barwy w tej przestrzeni są mniej skorelowane niż w przypadku innych przestrzeni barw, np. RGB. Przestrzeń HSI charakteryzuje się również dobrym odzwierciedleniem wrażliwości oka ludzkiego na kolory, co ma znaczenie podczas wyboru punktów do zbioru uczącego. Wektor uzu-pełniono o składową grad(I), która wprowadza informację przestrzenną do al-gorytmu. Grad(I) jest modułem gradientu, czyli zmiany jasności danego piksela w otoczeniu maski kwadratowej 5 x 5 pikseli.

Na Rys. 5-2 przedstawiono wykres kolorymetryczny jednego z obrazów mi-kroskopowych wycinka tkanki raka sutka poddanego ręcznej segmentacji. Dla tego konkretnego obrazu wyróżniono tu trzy klasy obiektów – jądra komórko-we zabarwione na kolor brunatny, jądra komórkowe zabarwione na kolor błę-kitny oraz wszystkie pozostałe obiekty stanowiące tło. Piksele przynależące do poszczególnych obiektów poetykietowano, obraz przekonwertowano do skali HSI. Poniższy wykres przedstawia rzut przestrzeni HSI na płaszczyznę HI.

Rys. 5-2 Obraz mikroskopowy tkanki nowotworowej po klasyfikacji pikseli

Na wykresie można zaobserwować, że zakresy barw odpowiadające poszcze-gólnym obiektom widocznym na obrazie tworzą spójne klastry, jednak granice pomiędzy nimi nie są określone w sposób jednoznaczny ( mogą przebiegać w nieco odmienny sposób, w zależności od badanego preparatu). Punkty należące do poszczególnych obiektów nie tworzą również wyraźnie oddzielonych od siebie skupisk, jest to przyczyna, dla której algorytmy klasteryzacji tutaj się nie sprawdziły.


76

Dla przyjętej przestrzeni zdefiniowano metrykę w oparciu o metrykę miejską (5.1), która w zastosowaniu do metody k-NN okazuje się tak samo dokładna jak metryka Euklidesowa [Grabowski, 2003], a jej implementacja ma mniejszą zło-żoność obliczeniową.

( ) ( ) 2121212121 ,, ccIISSHHcc H ∇−∇+−+−+= ρρ (5.1)

gdzie ( )

≥−−−<−−

=180360180

,2121

212121 HHdlaHH

HHdlaHHHHHρ (5.2)

Definicję (5.2) wprowadzono ze względu na fakt, że wartość H jest kątem. Sposób uzyskiwania zbioru uczącego opisano poniżej.

5.2.2 Algorytm CG 1-NN Jedną z niedogodności związaną z wykorzystaniem klasyfikatora minimalno-

odległościowego jest duża złożoność obliczeniowa. Obrazy o dużej rozdzielczo-ści wymagają przetworzenia kilkuset tysięcy punktów, a w przypadku klasyfi-katora 1-NN liczba porównań jest iloczynem liczności zbioru uczącego i testo-wego.

Zbiór uczący może zawierać kilkadziesiąt lub kilkaset próbek (dla badanej klasy obrazów patomorfologicznych). Powstaje on poprzez wskazanie na pierwszym w serii obrazie jednolitych plam (czyli zbiorów punktów) i przypi-sanie ich do wybranej klasy przez operatora aplikacji.

Okazuje się, że dalsze zwiększanie liczności zbioru testowego nie przynosi zadawalających rezultatów dla podniesienia jakości segmentacji, a tylko wy-dłuża jej czas – w przypadku dużych obrazów – do kilku minut.

Szybkość klasyfikacji można zwiększyć poprzez redukcję zbioru odniesienia dla metody 1-NN. Redukcja zbioru odniesienia polega na zastąpieniu oryginal-nego zbioru mniejszym, lecz równie reprezentatywnym. W niniejszej pracy za-stosowano stochastyczną procedurę Skalaka [Skalak, 1994]. Ciekawą własnością tego algorytmu jest możliwość redukcji zbioru do zadanej liczby punktów. Po-nadto algorytm Skalaka charakteryzuje się prostotą implementacji dzięki czemu jest możliwa dalsza jego modyfikacja, odpowiednia dokładność (zachowanie własności generalizacji) i duża szybkość działania. Algorytm został poddany te-stom i modyfikacjom w ramach pracy [Grabowski, 2003], gdzie czytelnik znaj-dzie wyczerpujący jego opis.

Specyfika zbioru testowego, który w tym przypadku jest zbiorem pikseli da-nego obrazu pozwala zredukować czas przetwarzania również w inny sposób. W przypadku ogólnym klasyfikator k-NN (i oczywiście 1-NN) traktuje zbiór te-stowy jako zbiór nieuporządkowany, bez zależności geometrycznych (prze-strzennych) pomiędzy jego punktami.

W przypadku punktów obrazu punkty leżące w sąsiedztwie lub w niewielkiej odległości z wysokim prawdopodobieństwem powinny należeć do tego samego


77

obiektu, a więc do tej samej klasy. Przypuszczenie to bierze się stąd, że obraz cyfrowy poddawany segmentacji jest wynikiem dyskretyzacji (w przestrzeni geometrycznej i w przestrzeni barw) obrazu naturalnego, gdzie rozkład jasności i barw jest zwykle funkcją ciągłą na wybranym przedziale.

Ta prosta obserwacja stanowiła inspirację do zaprojektowania algorytmu kla-syfikacji uwzględniającego zarówno podobieństwo w przestrzeni cech jak i za-leżności geometryczne CG 1-NN (ang. color, geometry and 1-nearest neighbor) [Bieniecki i Grabowski, 2004]. O ile sama idea badania zależności geometrycznej jak i kolorymetrycznej nie jest nowa, (patrz rozdział 5.1) to sposób jej użycia jest oryginalny.

Proponowany algorytm używa klasyfikatora minimalnooległościowego (czyli metody stosunkowo wolnej) tylko dla niektórych pikseli obrazu. Pozostałe pik-sele przechodzą do drugiego etapu, w którym w pierwszej kolejności rozpa-trywane jest kryterium związane z otoczeniem punktu i na jego podstawie po-dejmowana jest decyzja o przynależności piksela do określonej klasy. Dopiero w przypadku, gdy kryterium to nie daje wystarczającej pewności, punkty są przetwarzane przez klasyfikator 1-NN. Idea klasyfikacji wieloetapowej (tzw. klasyfikatory kaskadowe) jest powszechnie stosowana w dziedzinie rozpozna-wania obrazów. W przypadku procesu klasyfikacji pikseli obrazu takie podej-ście może zasadniczo skrócić czas obliczeń kosztem niewielkiego, być może niezauważalnego spadku jakości segmentacji, pod warunkiem właściwego do-boru schematu klasyfikatora.

Niech L oznacza zbiór wszystkich punktów nieograniczonej prostokątnej siatki dyskretnej (lattice), I⊂L, zbiór wszystkich punktów obrazu. Oznaczmy zbiór pikseli, które będą przetwarzane w pierwszym przebiegu (regułą 1-NN) jako F (F⊂I). Oznaczmy ponadto jako ∞F analogiczny zbiór dla nieograniczonej siatki L. Ogólna koncepcją będzie wybranie zbioru ∞F w pewien określony re-gularny sposób tak, aby każdy piksel x ze zbioru ∞FL \ posiadał przynajmniej jednego sąsiada w zbiorze ∞F (biorąc pod uwagę 4- lub 8-sąsiedztwo w siatce prostokątnej). Wówczas piksel ten może być łatwo klasyfikowany na podstawie sąsiadujących z nim pikseli ze zbioru ∞F przypisanych do klas w pierwszym przebiegu. Taka idea jest rozwiązaniem kompromisowym pomiędzy szybko-ścią a jakością klasyfikacji. W niniejszej pracy rozważono trzy różne zbiory ∞F : szachownica (Rys. 5-3a), punkty kratowe (Rys. 5-3b) i punkty kratowe zmody-fikowane (Rys. 5-3c).

Dla przypadku nieskończonej powierzchni stosunek liczności zbioru ∞F do zbioru L przedstawia Tab. 5-1. Generalnie – im mniej liczny jest zbiór ∞F , tym większy można osiągnąć przyrost prędkości algorytmu, jednocześnie pogarsza-jąc jakość klasyfikacji. Z trzech wybranych zbiorów punkty kratowe zmodyfi-kowane są zbiorem najrzadszym.


78

a) b)

c) d)

Rys. 5-3 Zbiory ∞F (klasyfikowane w pierwszym przebiegu): (a) szachownica, (b) punkty kratowe, i (c) punkty kratowe zmodyfikowane. Część (d) pokazuje, że “krzyże” pokrywają całą powierzchnię siatki

prostokątnej.

Tab. 5-1 Frakcja punktów użytych w pierwszym przebiegu (dla powierzchni nieskończonej)

Wariant %

Wszystkie punkty 100

Szachownica 50

Punkty kratowe 25

Punkty kratowe zmodyfikowane. 20

Warto zwrócić uwagę na następujący fakt dotyczący zbioru ∞F jako punktów kratowych zmodyfikowanych. Po pierwsze punkty te odpowiadają kolejnym pozycjom skoczka szachowego. Po drugie, jeśli każdy punkt ze zbioru ∞F bę-dzie centrum krzyża (ramiona krzyża należą do zbioru L wtedy „widać” (Rys. 5-3d), że zbiór L może być pokryty takimi krzyżami. Poniżej przedstawiono dowód formalny tego twierdzenia dla nieograniczonej powierzchni L.

Konwencja: niech 1ρ oznacza metrykę miejską (Manhattan).

Def. 5-2 Krzyż w siatce prostokątnej

Zbiór S pięciu punktów siatki prostokątnej, dla których istnieje punkt

( ) Syxo ∈, taki, że Sp∈∀ ( ) 1,1 ≤poρ (5.3)


79

nazwiemy krzyżem. (Rys. 5-3d).

Lemat 4-1

Siatka prostokątna L może być całkowicie pokryta rozłącznymi krzyżami.

Dowód:

Aby znaleźć pokrycie wystarczy określić położenia punktów centralnych krzyży K,2,1, =ioi , dla każdego krzyża. Zostanie pokazane, że położenie ( )yx, punktów centralnych krzyży ( )yxoi , , KK ,2,1,0,1,2 −−=i spełnia równanie

mxy 52 += (5.4)

dla KK ,2,1,0,1,2 −−=x KK ,2,1,0,1,2 −−=m dla spełnienia wymagań.

Poprawność wybranych punktów centralnych jest równoważna dwóm wa-runkom:

1. nie istnieje para krzyży jiSS ji ≠,, takich, że ( )jkikk SpSpp ∈∧∈∀

2. każdy punkt siatki należy do pewnego krzyża iS .

Aby udowodnić warunek 1 pokażemy, że dla dowolnego ( )yxpk , i dowolnego krzyża jiSS ji ≠,, , oraz ich punktów centralnych odpowiednio ji oo , , zachodzi nierówność

( ) ( ) 3,, 11 ≥+ jkik opop ρρ . (5.5)

Wynika to z warunku nierówności trójkąta dla dowolnej metryki.

Dla dowolnych punktów centralnych

( )iii yxo , i ( )jjj yxo , , ji ≠ , mamy ( ) ( )( )5,1 ≥⇒= jiji ooxx ρ (5.6)

z równania (5.4).

Dodatkowo:

( ) ( )( )3,1 1 ≥⇒=− jiji ooxx ρ (5.7)

oraz

( ) ( )( )3,2 1 ≥⇒=− jiji ooxx ρ (5.8)

W ten sam sposób:

( ) ( )( )3,3 1 ≥⇒≥− jiji ooxx ρ (5.9)

W ten sposób pokazano, że dla dowolnych punktów centralnych ji oo , ji ≠ zachodzi nierówność ( ) 3,1 ≥ji ooρ .

Zgodnie z właściwościami metryki (symetria, nierówność trójkąta) mamy:


80

( ) ( ) ( ) 3,,3, 111 ≥+⇒≥ jkikji opopoo ρρρ (5.10)

dla dowolnego ( )yxpk , , czyli równanie (5.5), co kończy dowód warunku 1.

Dla udowodnienia warunku 2 wykorzystamy spostrzeżenie, że ( ) Lyxpk ∈, spełnia warunek

rmxy ++= 52 , (5.11)

dla pewnych wartości m, r, takich, że: KK ,2,1,0,1,2 −−=x , KK ,2,1,0,1,2 −−=m , 4,3,2,1,0=r .

Niech ( ) rpR k = , a dowolny punkt kp będzie określony dodatkowo przez trzy liczby x, y, m, zgodnie z równaniem (5.11). Generuje to pięć przypadków. Do-wolny punkt ( )yxpk , należy do zbioru iS z punktem centralnym ( ) ii Syxo ∈ˆ,ˆ spełniającym równanie mxy ˆ5ˆ2ˆ += takim, że

dla ( ) 0=kpR lub ( ) 1=kpR

xx =ˆ yy =ˆ mm =ˆ

dla ( ) 2=kpR 1ˆ += xx yy =ˆ mm =ˆ

dla ( ) 3=kpR 1ˆ −= xx yy =ˆ 1ˆ += mm

dla ( ) 4=kpR xx =ˆ 1ˆ += yy 1ˆ += mm

Pokazano, że równanie (5.11) przedstawiające położenie punktów centralnych krzyży spełnia warunek pokrycia krzyżami nieskończonej siatki, co kończy dowód. ■

W przypadku rozpatrywanego zbioru ∞F (zmodyfikowane punkty kratowe) punkt ze zbioru ∞FL \ jest klasyfikowany na podstawie sąsiedztwa geome-trycznego, jeżeli obydwa punkty sąsiadujące ze zbioru ∞F z nim będą należały do tej samej klasy. Poniżej zostanie udowodnione, że każdy punkt ze zbioru

∞FL \ ma dokładnie dwóch sąsiadów ze zbioru ∞F .

Lemat 4-2

Dla dowolnego punktu ( ) ∞∈ FLyxpk \, istnieją dokładnie dwa punkty cen-tralne ( )iii yxo , i ( )jjj yxo , , ji ≠ , takie, że prawdziwe są poniższe warunki:

a) ( ) ( ) 3,, 11 =+ jkik opop ρρ b) 1≤− ixx ; 1≤− iyy (5.12)

c) 1≤− jxx ; 1≤− jyy


81

Dowód:

Niech jeden z punktów io , jo będzie punktem centralnym krzyża, do którego należy punkt kp . Nie tracąc nic na ogólności rozważań przyjmijmy, że jest to

io . Z definicji krzyża, para warunków (5.12)b jest spełniona automatycznie. Po-nadto, ( ) 1,1 =ik opρ . Wynika z tego konieczność udowodnienia istnienia punktu centralnego

( )jjj yxo , , ji ≠ , (5.13)

dla którego

1=− jxx oraz 1=− jyy . (5.14)

Obecnie będziemy posługiwać się konwencją używaną w dowodzie lematu 1. Jest sprawą jasną, że każdy punkt ( ) ∞∈ FLyxpk \, spełnia warunek (3), ale teraz r jest ograniczone do 1, …, 4. Przyjmijmy, że 1=r . Łatwo zauważyć, że ( )yxoj ˆ,ˆ , gdzie

1ˆ += xx , mm =ˆ , mxy ˆ5ˆ2ˆ += , (5.15)

jest szukanym punktem centralnym. Analogicznie, można wskazać parame-try dla pozostałych trzech przypadków ( 4,3,2=r ) co kończy dowód. ■

Kryterium klasyfikacji

Autor rozprawy udowodnił, że dla zbioru ∞F zdefiniowanego jako zmodyfi-kowane punkty kratowe każdy piksel, który będzie klasyfikowany w drugim przebiegu ma dokładnie dwóch sąsiadów geometrycznych. W przypadku zbio-rów ograniczonych, czyli I i F zależność ta zachodzi dla ( ) ( )FIyxpk \int, ∈ . Punkty brzegowe obrazu mają jednego lub dwóch sąsiadów geometrycznych z

FL \ zależnie od swojej pozycji.

Jeżeli zbiór F jest skonstruowany jako szachownica (Rys. 5-3a) lub jako punk-ty kratowe (Rys. 5-3b) wówczas kryterium klasyfikacji może być zdefiniowane jako głosowanie większościowe lub bezwzględne (Rys. 5-4).

W przypadku głosowania bezwzględnego piksel p zostanie przypisany do klasy C tylko wtedy, gdy wszystkie punkty z nim sąsiadujące ze zbioru F nale-żą do klasy C. W przeciwnym przypadku piksel p będzie klasyfikowany regułą 1-NN. W wariancie z głosowaniem większościowym p jest przypisany do klasy C, jeśli C jest najczęściej występującą klasą wśród sąsiadów p ze zbioru F.

Na Rys. 5-4 punkty zaznaczone kolorem szarym należą do zbioru F i zostały przetworzone regułą 1-NN. Punkty oznaczone kolorem białym będą klasyfi-kowane na podstawie sąsiedztwa geometrycznego. Punkty „?” muszą być prze-tworzone w drugim przebiegu regułą 1-NN.


82

a) b)

Rys. 5-4 Głosowanie klas większościowe (a) i bezwzględne (b) dla punktów nie należących do zbioru F

5.2.3 Testy wariantów algorytmu CG 1-NN Celem przeprowadzonych doświadczeń było porównanie kilku wariantów

algorytmu klasyfikacji pikseli. Do badania użyto obrazów (tu zbiorów testo-wych) o rozdzielczościach 700 x 525 pikseli oraz 1400 x 1050 pikseli. Algorytm korzystał ze zbioru odniesienia zawierającego 667 punktów. Zbiór tez został zredukowany algorytmem Skalaka do 300, 200, 100 i 50 punktów. Dzięki temu uzyskano odpowiednią liczbę kombinacji zbioru testowego i uczącego dla każ-dego wariantu algorytmu.

W przypadku segmentacji obrazów medycznych oszacowanie dokładności klasyfikacji stanowi pewien problem. Zbiory testowe używane do weryfikacji metod rozpoznawania obrazów znane z Internetu (iris, bupa, itp.) zostały opra-cowane przez człowieka – eksperta. W przypadku obrazu, gdzie liczba punk-tów zbioru jest rzędu kilkuset tysięcy, procedura taka wydaje się mało realna. Z tego też powodu klasyfikacji zbiorów dokonano metodą jednego najbliższego sąsiada uznawaną jako najdokładniejszą i wyniki przyjęto jako wzorcowe. Jako miarę zgodności użyto procentowy udział pikseli zaklasyfikowanych tak samo przez metodę 1-NN i algorytm testowany. Oprócz jakości klasyfikacji pod uwagę wzięto również czas przetwarzania.

Pierwszy test (Rys. 5-5) obejmował średnią frakcję punktów przetworzonych przez klasyfikator 1-NN w obu przebiegach. Oczywiście liczba punktów prze-tworzonych przez klasyfikator w pierwszym przebiegu jest stała dla danego wariantu (por. Tab. 5-1). Liczba punktów przetworzonych w drugim przebiegu zależy od zawartości szumu w obrazie (rozumianego jako nagromadzenie pik-seli o zróżnicowanych wartościach na pewnej powierzchni). Należy zwrócić uwagę na fakt, że sposób głosowania (bezwzględne, większościowe) ma nie-wielki wpływ na obliczoną frakcję.

Podsumowując to badanie należy stwierdzić, że uzyskane w najlepszym przypadku frakcje rzędu 1/3 są dość obiecującym wynikiem.


83

Rys. 5-5 Średnia frakcja punktów przetwarzanych przez klasyfikator CG 1-NN dla różnych wariantów.

Rys. 5-6 Średnia dokładność testowanych wa-riantów w stosunku do klasyfikatora CG 1-NN

Następny test obejmował pomiar dokładności klasyfikacji (Rys. 5-6). Tym ra-zem zmierzono procentowy udział punktów, które zostały zaklasyfikowane zgodnie z czystą metodą 1-NN. Najgorszy uzyskany rezultat dla wariantu skoczka szachowego jest tylko nieznacznie gorszy w stosunku do czystej meto-dy 1-NN (1,1%).

Warto również sprawdzić, jaki wpływ na jakość klasyfikacji ma jednoczesne zastosowanie redukcji zbioru uczącego wraz z wprowadzonymi modyfikacjami do algorytmu klasyfikacji. Do testu przeznaczono 3 obrazy (367500 pikseli) i zbiór uczący zredukowany do 300, 100, 50 punktów. Wyniki zaprezentowano zbiorczo w postaci wykresu słupkowego (Rys. 5-7). Samo wprowadzenie re-dukcji do metody 1-NN powoduje zwiększenie błędu klasyfikacji (w przypad-ku redukcji zbioru uczącego do 50 pkt. jest to około 5%). Wysokość słupków na-leży więc obserwować zawsze w kontekście pierwszego rzędu słupków (czyli dla metody 1-NN). Warto zauważyć, że mimo dużego stopnia redukcji zbioru uczącego, metody szybkie, czyli wykorzystujące tylko punkty kratowe lub kra-towe zmodyfikowane radzą sobie dobrze z klasyfikacją (średnia jakość dla 3 obrazów powyżej 93%). Metoda wykorzystująca punkty kratowe i głosowanie większościowe działa mniej stabilnie niż pozostałe warianty, rozrzut liczby punktów poprawnie sklasyfikowanych w zależności od obrazu jest większy, również jakość klasyfikacji nie maleje jednostajnie wraz z redukcją zbioru uczą-cego.


84

Rys. 5-7 Jakość klasyfikacji dla testowanych wariantów w zależności od stopnia redukcji zbioru uczącego.

Na koniec zaprezentowano benchmark (Rys. 5-8) – czyli pomiar szybkości działania algorytmów. Wszystkie warianty zostały zaprojektowane w języku C++ obiektowym, a konstrukcja wykonywanych instrukcji jest maksymalnie zbliżona.

Użyto kompilatora MS Visual Studio98, a algorytmy testowano na kompute-rze PC Pentium III. W celu obliczenia wydajności pomnożono liczność zbioru uczącego przez liczność zbioru testowego i podzielono przez czas przetwarza-nia. Szybkość przetwarzania wyrażono w megapikselach na sekundę.

( ) ( )610⋅

⋅=

ptIcardScardρ (5.16)

Wzór (5.16) w pełni nie odzwierciedla złożoności obliczeniowej algorytmów, a jedynie może określić złożoność czasową, oraz pozwala przedstawić wyniki w czytelny sposób. Tym razem zwyciężył wariant, w którym zbiór F jest naj-rzadszy.

Wyniki testów w formie tabel znajdują się w załączniku B.3.


85

Rys. 5-8 Szybkość klasyfikacji (w Mpix/sek.) na procesorze PIII 750 MHz

Wnioski Jako metodę podstawową dla konstrukcji własnego algorytmu segmentacji

obrazów barwnych poprzez klasyfikację pikseli wybrano metodę jednego naj-bliższego sąsiada. Główną jej zaletą jest wysoka jakość klasyfikacji, a za wadę uznaje się dużą złożoność obliczeniową algorytmu.

Wyniki testów porównawczych dla różnych wariantów metod klasyfikacji pikseli opartych na regule 1-NN pokazują, że zaprezentowany algorytm dwu-przebiegowy CG 1-NN charakteryzuje się wysoką jakością klasyfikacji w sto-sunku do metody bazowej, jednocześnie średnia szybkość przetwarzania naj-szybszego wariantu metody CG 1-NN dla mikroskopowych obrazów cytolo-gicznych i histologicznych jest około trzykrotnie większa.

Algorytm CG 1-NN stał się jednym z dwóch podstawowych algorytmów wy-korzystanych do budowy aplikacji automatycznej segmentacji obrazów pato-morfologicznych raka sutka (rozdział 2). Będzie również wykorzystywany w dalszych pracach nad programem analizy obrazów reakcji immunoenzyma-tycznej limfocytów (rozdział 7) w przypadku, gdy do preparatów zostanie wprowadzone barwienie komórek.

Rozdział 6: Algorytmy segmentacji mono-chromatycznych i barwnych ob-razów mikroskopowych przy za-stosowaniu metody działów wodnych

W związku z projektem systemu automatycznej segmentacji obrazów biomedycznych konieczne było opracowanie skutecznego algorytmu segmentacji obrazów charakteryzujących się dużą liczbą obiektów o podobnych rozmiarach, obiektów o słabo widocznych krawędziach, często nachodzących na siebie, lub stykających się krawędziami. Wśród istniejących algorytmów do dalszych badań wybrano algorytm działów wodnych. Istnieje wiele różnych pomysłów realizacji tego algorytmu. Na podstawie przedstawionego w rozdziale 6.1.1 przeglądu literatury wybrano jedno z istniejących rozwiązań i na jego podstawie zaprojek-towano algorytm (6.2), którego założeniem było zachowanie wszystkich zalet metody bazowej, przy jednoczesnej eliminacji znanych jej wad. Ostatni podrozdział poświęcony jest testowaniu algorytmu i wskazaniu możliwych kierunków rozwoju.

Algorytmy segmentacji monochromatycznych i barwnych obrazów mikroskopowych przy zastosowaniu …

87

6.1 Istniejące metody segmentacji obrazu poprzez detekcję obszarów

Definicje dotyczące zagadnienia segmentacji obrazu, wykrywania obszarów oraz pojęć związanych przedstawionymi w tym rozdziale algorytmami zebrano w załączniku A. Jako obszar definiuje się spójny zbiór pikseli (Def. A-7), dla którego określa się pewne kryterium jednorodności.

Wśród istniejących algorytmów wyróżniamy metody [Tadeusiewicz i Koro-hoda, 1997]: rozrostu obszarów (region growing), łączenia obszarów (region mer-ging), podziału obszarów (region splitting), podziału i łączenia obszarów (region splitting and merging).

Metody podziału obszarów

Metoda podziału obszarów działa „od góry do dołu”. Początkowo przyjmuje się, że cały obraz jest jednym obszarem, dla którego sprawdza się kryterium jednorodności. Jeśli kryterium nie jest spełnione obszar dzieli się według pew-nego schematu podziału. Najczęściej stosuje się dekompozycję drzewa czwór-kowego (quadtree), czyli podziału obszaru na 4 równe prostokąty, gdyż począt-kowy obszar jest prostokątem. Dla każdego z wydzielonych obszarów ponow-nie dokonuje się sprawdzenia kryterium jednorodności i ewentualnego podzia-łu według tego samego schematu.

Pewnym rozwinięciem metody podziału obszarów jest metoda podziału i łączenia obszarów. Algorytm działa rekursywnie wykonując najpierw podział obszaru metodą opisaną powyżej, a następnie sąsiadujące ze sobą obszary są porównywane ze względu na jednorodność i ewentualnie łączone. Etap ten za-pobiega powstawaniu zjawiska nadmiernej segmentacji i pozwala na przyspie-szenie działania algorytmu.

Niedoskonałości metod opartych na podziale obszarów to przede wszystkim wynik działania metody zależny jest od wszelkich transformacji obrazu – obro-tów, skalowania – nie jest też jednoznacznie zdefiniowana kolejność porówny-wania i łączenia obszarów.

Metody łączenia obszarów

W metodzie łączenia obszarów działanie algorytmu rozpoczyna się od usta-lenia obszarów początkowych. W ogólnym przypadku obszarem początkowym jest pojedynczy piksel, jednak można założyć, że wcześniej zastosowano inną metodę, której skutkiem była nadmierna segmentacja (oversegmentation) i taki obraz poddajemy korekcji. W metodzie RSST (Recursive Shortest Spanning Tree) zaprezentowanej w [Morris i in., 1986] sąsiadujące obszary sortowane są w strukturze drzewa. Sąsiadujące obszary, dla których średnia wartość koloru jest najbliższa są rekursywnie łączone, z uwzględnieniem pewnej odchyłki dla małych obszarów.


88

Metody łączenia obszarów bardzo precyzyjnie odwzorowują granice obsza-rów. Wrażliwe są jednak na występowanie lokalnych zmian tekstury.

Metody rozrostu obszarów

Działanie algorytmów opartych na rozroście obszarów polega na oznaczeniu początkowych punktów obrazu, mogą to być pojedyncze piksele lub ich grupy, które rozrastają się poprzez iteracyjne łączenie punktów lub obszarów sąsiadu-jących spełniających pewne kryterium podobieństwa. Zwykle brane są pod uwagę dwa kryteria podobieństwa:

sąsiedztwo geometryczne: odległość przestrzenna piksela, który ma zostać

przyłączony do obszaru;

właściwości kolorymetryczne: odległość w przestrzeni cech związanej

z przestrzenią barw lub tekstury pomiędzy pikselem, który ma zostać przyłą-

czony, a obszarem.

W pracy [Tremeau i Borel, 1997] autorzy zaproponowali następujące kryteria przyłączania piksela do istniejącego obszaru:

kryterium lokalne: „barwa” bieżącego piksela powinna być „zbliżona” do

„barwy” sąsiadów piksela już dołączonych do pewnego obszaru;

kryterium globalne: „barwa” bieżącego piksela powinna być „zbliżona” do

„średniej barwy” istniejącego obszaru.

Pojęcia zostały tu użyte w cudzysłowach, ponieważ definiują kryterium w sposób zgrubny. Jest to zabieg celowy, daje możliwość eksperymentów z przestrzenią cech piksela i ustalania kryteriów bliskości.

W swojej pierwotnej formie algorytmy oparte na rozroście obszarów nie speł-niają dobrze swojej roli, gdyż wynik segmentacji jest ściśle zależny od wyboru punktów początkowych i kolejności przetwarzania punktów [Haralick i Shapi-ro, 1985], tzn. czy obszary przetwarzane są szeregowo, czy równolegle. Czasa-mi zdarza się, że pewne piksele po zakończeniu przetwarzania nie zostaną przypisane do żadnego z istniejących obszarów, dlatego zwykle w fazie wła-ściwej segmentacji należy wykonać korektę. Do wymienionych tu wad należy zaliczyć jeszcze brak precyzji w wyznaczaniu krawędzi obszarów. Metoda ma wszak dwie niewątpliwe zalety: szybkość działania oraz przejrzystą konstruk-cję – co daje możliwość budowania licznych wariantów.

Pewnym wariantem metody rozrostu obszarów jest metoda powodziowa zwana również metodą działów wodnych (watershed). Jednak ze względu na jej specyfikę zostanie omówiona w osobnym podrozdziale.


89

6.1.1 Metoda działów wodnych Metoda działów wodnych (watershed transform) zwana także metodą powo-

dziową jest specyficzną metodą rozrostu obszarów. Szczegółowy opis formalny został zamieszczony w [Beucher i Lantuejoul, 1979], a także skrótowo w załączniku A, Def. A-23, poniżej przedstawiony zostanie opis intuicyjny.

Zwykle rozumienie algorytmu powodziowego opiera się na traktowaniu ob-razu (monochromatycznego) jako fragmentu krajobrazu, w którym wysokość bezwzględna jest odpowiednikiem jasności w danym punkcie tego obrazu (Rys. 6-1). Zadaniem algorytmu jest znalezienie na tej powierzchni pewnych charak-terystycznych punktów – minimów lokalnych i grzbietów (grani) zwanych później działami wodnymi. Minimum lokalne jest obszarem otoczonym przez „ląd” położony wyżej. „Zbiornikiem wodnym” jest obszar, w którym groma-dziłaby się woda z padającego deszczu. Zakładając, że woda gromadzi się w zbiornikach (zlewniach) – to właśnie są rozrastające się obszary – zwiększając iteracyjnie „poziom wody” do tej samej wartości we wszystkich zbiornikach dochodzimy do momentu, gdy zbiorniki te mają się połączyć. Wówczas w tym miejscu stawia się nieskończenie wysoką zaporę zapobiegającą zlewaniu się ob-szarów. Algorytm kończy działanie, gdy wszystkie punkty obrazu zostaną przetworzone, obrazowo mówiąc „zalane”.

Rys. 6-1 Interpretacja obrazu monochromatycznego jako krajobrazu

Topograficzną wysokością dla algorytmu może być każda skalarna właści-wość piksela obrazu: jasność, gradient jasności, nasycenie kolorem. Umożliwia to zastosowanie transformacji watershed do segmentacji obrazów barwnych.

Implementacje algorytmu działów wodnych

Najwcześniejsze algorytmy segmentacji metodą działów wodnych były pro-cedurami działającymi lokalnie dla każdego piksela, wykonywane w sposób iteracyjny.

Twórcy metody działów wodnych [Beucher i Lantuejoul, 1979] zaproponowa-li rozwiązanie, w którym początkowo wykrywane są wszystkie minima lokalne w obrazie monochromatycznym. Każde minimum staje się początkiem obszaru, który jest iteracyjnie powiększany, dopóki nie zetknie się z innym obszarem.


90

Algorytm kończy się, gdy następny jego krok nie powoduje zmiany przypo-rządkowania pikseli.

W metodach sekwencyjnych punkty obrazu przetwarzane są według okre-ślonego porządku, co wynika bezpośrednio z charakteru tych algorytmów. W pracy Meyera [Meyer, 1992] zastosowano przetwarzanie wzdłuż poziomych linii obrazu. W pracy [Sankowski i Mosorov, 2002] zasygnalizowano, że wynik segmentacji przy takim podejściu zależy od kolejności przetwarzania punktów, na przykład od kierunku skanowania linii obrazu. Autorzy pracy [Beucher i Meyer, 1990] zaproponował algorytm strzałkowy. Metoda polega przedstawie-niu obrazu monochromatycznego jako grafu skierowanego (Rys. 6-2).

a)

b)

Rys. 6-2 Metoda strzałkowa: a) siatka trójkątna dla obrazu, liczby określają poziom jasności, b) graf skierowany

Każdy piksel obrazu jest węzłem w grafie, a węzły wychodzą w kierunku ośmiu pikseli sąsiadujących. Te połączenia skierowane, czyli strzałki są gene-rowane w procesie dylatacji geodezyjnej (czyli rozrostu obszarów) w kierunkach na zewnątrz od obszaru, w iteracyjnej procedurze przetwarzają-cej w jednym przebiegu punkty o określonej jasności.

Zostało pokazane, że powyższe metody charakteryzują się dużą złożonością obliczeniową i występują problemy z dokładnością segmentacji. Obecnie algo-rytmy oferujące lepszą dokładność i szybkość opierają swoje działanie o proces zatapiania, zalewania. Procedury zatapiania (immersion based) symulują zjawi-sko zalewania obszarów o zróżnicowanej powierzchni przez wodę. Woda wy-dobywa się z punktów będących minimami lokalnymi i w każdym kroku itera-cji podnosi swój poziom. W ten sposób powstają zbiorniki wodne rozszerzające swój zasięg. W chwili, gdy obszary zalewania stykają się ze sobą stawiana jest nieskończenie wysoka bariera pomiędzy nimi. Procedura została opublikowana w [Vincent i Soille 1991]. Opis matematyczny algorytmu znajduje się w załącz-niku A, Def. A-24.

W implementacji Vincenta i Soille’a w swojej pierwszej fazie algorytm sortuje piksele obrazu według rosnącej jasności i w takiej kolejności będą one przetwa-rzane. W każdej iteracji przetwarza się punkty pobierając je z początku utwo-rzonej w ten sposób kolejki. Każdy piksel jest sprawdzany, czy nie stanowi mi-nimum lokalnego. Piksele, które są minimami dostają swoje unikalne etykiety i umieszczane są w kolejce FIFO. Następnie piksel jest usuwany z kolejki i następuje badanie jego sąsiadów geometrycznych. Piksele, o tej samej jasności


91

dostają tę samą etykietę, co badany wcześniej piksel i trafiają na koniec kolejki. Procedura jest powtarzana, dopóki wszystkie punkty kolejki dla danej jasności nie zostaną przetworzone, to znaczy nie dostaną własnej etykiety. Piksele, któ-rych sąsiedzi mają przypisaną inną etykietę są oznaczane etykietą W, czyli stają się punktem ściany. Procedura jest powtarzana iteracyjnie dla rosnącej jasności punktów, dopóki wszystkie punkty obrazu nie zostaną przetworzone.

W swojej pracy badawczej Meyer [Meyer, 1992] używał tak zwanej kolejki uporządkowanej (OQ), która jest tablicą kolejek FIFO. Każdy piksel umieszczo-ny w OQ trafia na koniec kolejki związanej z poziomem jasności tego piksela. Pobieranie piksela z OQ polega na pobraniu go z początku kolejki odpowiada-jącej najniższej jasności (oczywiście niepustej kolejki). Początkowo OQ jest ini-cjowana pikselami, które stanowią minima lokalne w obrazie. Dla punktu, któ-ry jest pobierany z OQ przypisuje się etykietę, a następnie opatruje się tą etykie-tą jego sąsiadów geometrycznych. Sąsiedzi zostają umieszczeni w OQ według podanej powyżej reguły. Jeśli piksel pobierany z OQ ma już etykietę – jest z niej usuwany. Procedura kończy się w momencie, gdy OQ jest pusta.

Warto zwrócić uwagę, że procedura ta przyporządkowuje pikselom tylko etykiety związane z poszczególnymi obszarami. Jeśli jest potrzeba wyznaczenia linii podziału, odbywa się to w drugim przebiegu, gdzie badane jest sąsiedztwo pikseli ze względu na zgodność etykiet. Meyer opracował również drugą wer-sję algorytmu, w której linie podziału obszarów wyznaczane są w pierwszej fa-zie jego działania. Okazuje się jednak, że w takim podejściu może nastąpić przypadek, w którym linie podziału uniemożliwią przetworzenie punktów znajdujących się za tą linią. W dalszych badaniach wprowadzono poprawkę niwelującą ten efekt.

W [Meyer, 1992] zaproponowano algorytm segmentacji metodą powodziową dla obrazów barwnych. Działanie procedury zbliżone jest do klasycznej metody rozrostu obszarów.

W pracy [Moga i in., 1995] opisano jeszcze jedno ciekawe rozwiązanie (Rys. 6-3 i Rys. 6-4). Opiera się ono na symulacji opadu atmosferycznego. W jednym przebiegu algorytmu na każdy piksel obrazu „spada jedna kropla deszczu”. Po spadnięciu kropla ta dzięki „sile grawitacji” porusza się po powierzchni w kierunku gradientu wysokości, dopóki gradient nie będzie zerem. Krople gromadzą się w minimach lokalnych. W momencie, gdy zbiornik wodny prze-pełni się, woda może znaleźć ujście i popłynąć niżej również zgodnie z grawitacją. Algorytm był w późniejszych latach rozwijany, w celu poprawy jego wydajności [Stoev, 2000]. Na Rys. 6-3 zaprezentowano symulację opadu atmosferycznego dla jednego wymiaru. Obszary zamalowane kolorem szarym przedstawiają wodę gromadzącą się w zbiornikach. Odpowiednia ilość wody eliminuje zjawisko nadmiernej segmentacji (zatopione wyspy). Strzałki pokazu-ją zjawisko wypływania wody z przepełnionego zbiornika.


92

Rys. 6-3 Schemat zalewania obszaru poprzez symulację opadu atmosferycznego dla jednego wymia-ru

Rys. 6-4 prezentuje działanie metody symulacji opadu atmosferycznego na powierzchni. Strzałki pokazują kierunek przemieszczania się spadających kro-pli.

Rys. 6-4 Symulacja opadu atmosferycznego dla fragmentu obrazu

Problem nadmiernej segmentacji

Procedura oparta o metodę powodziową działa bardzo precyzyjnie. Zwykle wszystkie kontury obiektów rzeczywistych widocznych na obrazie są prawi-dłowo odwzorowane podczas działania tej metody segmentacji. Zauważalna jest jednak tendencja do generowania zbyt dużej liczby obiektów – kilka wy-segmentowanych przez metodę obiektów sąsiadujących ze sobą odpowiada jednemu obiektowi rzeczywistemu. Naukowcy zajmujący się metodą powo-dziową zwykle wyróżniają dwa podejścia do zjawiska nadmiernej segmentacji.

Przetwarzanie wstępne obrazu celem przygotowania wymaganych warun-ków dla działania procedury powodziowej powinno obejmować usuwanie szumu. Istota działania algorytmu powodziowego polega między innymi na tym, że każdy piksel obrazu, który jest minimum lokalnym może stać się po-czątkiem nowego obszaru. Celem przetwarzania wstępnego powinno być więc usunięcie wszystkich zbędnych minimów lokalnych, a więc takich, które nie są punktami wewnętrznymi szukanych obiektów. W badaniach prowadzonych przez autora rozprawy przetestowano następujące techniki:


93

Filtr medianowy: Filtr medianowy powszechnie stosuje się do usuwania szumu, powstającego przy błędach kwantyzacji obrazu. Piksele o nieprawidłowej jasności występują pojedynczo – tzn. są otoczone pikselami o prawidłowo odczytanej jasności. Na dwuwymiarowej powierzchni obrazu układają się zazwyczaj zgodnie z rozkładem równomiernym. W przypadku ob-razów barwnych objętych szczególnym zainteresowaniem autora rozprawy używa się wektorowego filtra medianowego [Grabowski i Bieniecki, 2003]. Filtr ten był również przedmiotem badań w ramach tego doktoratu i został omó-wiony w rozdziale 3.

Operacje morfologiczne. Operacje morfologiczne na obrazie rozumiane są tu-taj jako erozja i dylatacja obrazu. Filtry te mogą być stosowane razem w odpowiedniej kolejności, co daje ciekawe efekty. Różne kombinacje tych fil-trów znane są jako: morfologiczne domknięcie (image closure), otwarcie (ope-ning), filtry tophat i bottomhat. Zastosowanie najlepszej kombinacji wymaga zna-jomości zawartości obrazu. Jeżeli na obrazie widoczne są ciemne obiekty na ja-snym tle, to dla potrzeb segmentacji metodą powodziową trafne wydaje się za-stosowanie operacji domknięcia, czyli kolejno dylatacji i erozji. Operacja taka powoduje wyrównanie jasności wewnątrz obiektów, a więc usunięcie minimów lokalnych z wewnątrz obiektu. W rezultacie unika się powstawania wewnątrz obiektu linii podziału w czasie segmentacji. Pewną niedogodnością operatorów morfologicznych jest to, że zakłócają one przebieg krawędzi obiektów. Przegląd algorytmów dotyczących operacji morfologicznych obrazu można znaleźć w rozdziale 3.

Inne filtry wygładzające. Filtry wygładzające mają za zadanie eliminować zbędne minima lokalne w jasności obrazu. Filtry, które eliminują wysokie czę-stotliwości w obrazie zwykle wpływają niszcząco na przebieg krawędzi. W badaniach nad metodą powodziową autor rozprawy przetestował filtr dol-noprzepustowy i filtr Gaussa zaimplementowany jako maski konwolucyjne [Ritter i Wilson, 2001].

Markery – są to najbardziej efektywne techniki przetwarzania wstępnego dla zagadnienia eliminacji nadmiernej segmentacji. Markery to sztucznie wygene-rowane punkty startowe (lub obszary) dla metody powodziowej. Gwarantuje to, że każdy taki punkt lub obszar w procesie rozrostu do końca działania pro-cedury pozostanie jednym obszarem. Pomysł markerów został zaproponowany w [Beucher, Meyer, 1990]. W rzeczywistości markery to punkty o zerowej (mi-nimalnej) jasności, czyli w terminologii topograficznej – „najgłębsze”. Markery można wprowadzić do obrazu ręcznie lub przy użyciu innego algorytmu seg-mentacji (np. progowania). Dodatkową zaletą techniki opartej o markery jest to, że krawędzie obiektów nie są zniekształcone tak jak ma to miejsce dla algoryt-mów filtrujących. Technika markerów dobrze zdaje egzamin w zadaniach pół-automatycznej segmentacji – operator wskazuje obiekty, a algorytm powo-dziowy precyzyjnie obrysowuje ich krawędzie.

Zadanie redukcji zjawiska nadmiernej segmentacji jako post-segmentacji sprowadza się do zastosowania odpowiedniego algorytmu łączenia obszarów.


94

Ponieważ wynikiem segmentacji metodą powodziową są zbiory punktów związanych z poszczególnymi obszarami oraz zbiory punktów związanych z liniami podziału, operację łączenia należy rozumieć jako eliminację zbędnych linii podziału. Wśród dostępnych pozycji bibliograficznych znaleziono różne ciekawe rozwiązania tego problemu, np.: grafy obszarów w metodzie powo-dziowej dla gradientu [Vincent i Soille, 1991], badanie dynamiki obszarów [Naj-man i Schmitt, 1996], tzw. wskazówki (cues), czyli sztuczne obiekty związane w pewien sposób z obszarami [Higgins i Ojard, 1993; Hansen i Higgins, 1997], indeksację obiektów obrazu [Mogą i Gabbouj, 1997] i wielopoziomową analizę gradientu [Jackway, 1995]. W większości przypadków definiuje się odpowied-nie kryterium łączenia wykorzystując informacje o sąsiadujących obszarach na podstawie obrazu gradientowego. W rzeczywistości trudno jest ustalić uniwer-salne kryterium dla wszystkich obiektów widocznych na jednym obrazie, a co za tym idzie również w ramach kilku obrazów tej samej klasy. Ciekawą metodę proponowano w [Stoev i Strasser, 2000]. Autorzy skonstruowali algorytm łą-czenia obszarów wykorzystujący kombinację czterech różnych kryteriów zależ-nych od zawartości obrazu.

Problem niejednoznaczności algorytmu działów wodnych

Wadą wszystkich metod segmentacji opartych na obszarach jest wrażliwość na wszelkie transformacje obrazu: skalowanie, obroty, zmianę głębi kolorów (lub liczby poziomów jasności) oraz wszelkie inne operacje na obrazie cyfro-wym, modyfikujące zależności jasności pomiędzy sąsiadującymi pikselami (de facto mowa tu o gradiencie jasności w punkcie obrazu). Dodatkowo, dla metody powodziowej dla obrazów cyfrowych znaczenie ma kolejność przetwarzania pikseli w obrazie w ramach jednej iteracji algorytmu [Sankowski i Mosorov, 2002] (czyli dla ustalonego poziomu jasności). Z opisu matematycznego (por. Def. A-23) wynika, że dla przestrzeni ciągłej (dla obrazu analogowego) trans-formata powodziowa jest jednoznaczna. W przypadku obrazu dyskretnego pewnym utrudnieniem jest obecność obszarów płaskich (por. Def. A-13), dla których kolejność przetwarzania pikseli ma znaczenie. Dodatkowo pojawiają się niejednoznaczności przy wyznaczaniu samych linii działów wodnych. Dział wodny powstaje na granicy dwóch obszarów, które są przetwarzane iteracyjnie przez rozrost. Piksele obrazu nie są etykietowane jednocześnie, lecz w pewnej kolejności. Jeżeli strefy zasięgu obiektów sąsiadujących występują na obszarze płaskim, wówczas obiekt, który podlegał rozrostowi jako pierwszy, zostanie rozszerzony na cały ten obszar płaski. Rozwiązaniem jest obliczenie odległości geodezyjnej każdego punktu obszaru płaskiego od istniejących obszarów. Wówczas obszar plateau jest równomiernie dzielony na strefy (zgodnie z resztą z Def. A-21). Jest to proces dodatkowo zwiększający złożoność obliczeniową al-gorytmu.

Zasadniczy wpływ na powtarzalność procesu segmentacji metodą działów wodnych niezależnie od transformacji obrazu a także na to, aby różne imple-mentacje metody generowały zbliżone siatki działów wodnych ma przetwarza-nie wstępne obrazu. Operacje przetwarzania wstępnego powinny eliminować


95

na obrazie obszary płaskie. Są to filtry wygładzające działające na dużych ma-skach.

6.2 Algorytm segmentacji obrazów mikroskopowych metodą działów wodnych

Autor rozprawy przeprowadził analizę istniejących implementacji metody działów wodnych w celu wybrania wersji odpowiedniej dla badanej klasy ob-razów. Powstały w ten sposób dwie implementacje metody oraz algorytmy re-dukcji zjawiska nadmiernej segmentacji.

6.2.1 Implementacja algorytmu W metodach szeregowych zalewania obszaru punkty przetwarza się

w kolejności rosnącej jasności. W ogólnym przypadku pętla, według której punkty są przetwarzane wygląda tak jak na Rys. 6-5 (implementacja pętli w ję-zyku C/C++).

for(i=jasność_min; i<=jasność_max; i++) {

for(y=1;y<=wysokość_obrazu;y++) {

for(x=1;x<=szerokość_obrazu; x++) {

if(jasność(x,y) == i) && (etykieta(x,y)==0) PrzetwarzajPunkt(x,y);

}

}

}

Rys. 6-5 Pętla przetwarzania punktów obrazu dla sekwencyjnej metody powodziowej

Dla każdej jasności występującej w obrazie w kolejności rosnącej przeszuki-wany jest cały obraz i znajdowane są punkty o żądanej jasności oraz takie, które nie zostały jeszcze przyporządkowane do żadnego obszaru bądź krawędzi (o-znaczonej tu stałą W). Wybrane punkty są następnie przetwarzane. Procedurę PrzetwarzajPunkt zaimplementowaną w języku C/C++ przedstawia Rys. 6-6.

Działanie procedury zalewania rozpoczyna się od utworzenia tablicy sąsia-dów geometrycznych badanego punktu ( )yx, (linie /3/ - /5/). Pod uwagę wzięto tzw. ośmiosąsiedztwo, (zob. Def. A-11), czyli punkty o współrzędnych różniących się maksymalnie o 1 w kierunku poziomym, pionowym i ukośnym. Przyjmując, że badany punkt nie ma jeszcze etykiety, sprawdzamy, jakie etykie-ty mają sąsiedzi tego punktu. (linie kodu /6/ - /20/).


96

/1/ void PrzetwarzajPunkt(x, y) /2/ { /3/ Punkty Sasiadzi[8]; /4/ LiczbaSasiadow = TworzTabliceSasiadow(Sasiedzi); /5/ Znaleziona_Etykieta=0; /6/ for (i = 0; i < LiczbaSasiadow; i++) /7/ { /8/ Etykieta_Sasiada= PobierzEtykiete(Sasiedzi[i]); /9/ if((Etykieta_Sasiada!=0)&&(Etykieta_Sasiada!=W)) /10/ { /11/ if(Znaleziona_Etykieta==0) /12/ Znaleziona_Etykieta=Etykieta_Sasiada; /13/ else /14/ if(Etykieta_Sasiada!=Znaleziona_Etykieta) /15/ { /16/ UstawEtykiete(x, y, W); /17/ break; /18/ } /19/ } /20/ } /21/ if(PobierzEtykiete(x,y) ==0) /22/ { /23/ if(Znaleziona_Etykieta==0) /24/ { /25/ Znaleziona_Etykieta = ++DostępnaEtykieta; /26/ UstawEtykiete(x, y, Znaleziona_Etykieta); /27/ } /28/ else /29/ UstawEtykiete(x, y, Znaleziona_Etykieta); /30/ } /31/ }

Rys. 6-6 Implementacja sekwencyjnego algorytmu powodziowego

Rozpatrujemy następujące przypadki:

jeśli wśród sąsiadów danego punktu niektóre punkty nie mają jeszcze etykiety lub mają etykietę działu wodnego (warunek w linii /9/), a wszystkie pozostałe mają tę samą etykietę, to badanemu punktowi również przyporządkowujemy tę etykietę;

jeśli wśród sąsiadów występują różne etykiety, tzn. że badany punkt jest na styku dwóch różnych obszarów, wówczas stawiamy mu etykietę W, czyli staje się on punktem działu wodnego (linie /14/ - /18/);

jeśli żaden z sąsiadów nie miał jeszcze żadnej etykiety (w praktyce oznacza to, że żaden z punktów sąsiadujących nie był jeszcze przetwarzany) to przetwa-rzany punkt ( )yx, staje się początkiem nowego obszaru (linie /23/ - /27/). Dzięki zmiennej Dostepna_Etykieta mamy numer ostatnio przydzielonej etykiety, i przydzielamy punktowi liczbę o jeden większą.


97

Aby przyspieszyć działanie algorytmu zalewania obszarów metodą sekwen-cyjną piksele obrazu indeksuje się w specjalnej strukturze zbliżonej do LUT (lo-okup table) (Rys. 6-7).

1

2

3

4

255

42

3

525

25 26 63 120

Współrzędne x

jasn

ość

Współrzędne y

Punkt (63, 4) o jasności 3

Rys. 6-7 Punkty obrazu zapisane w postaci LUT

Struktura ta to dynamiczna tablica trójwymiarowa. Pierwszy wymiar odpo-wiada jasności piksela, drugi współrzędnej y a trzeci współrzędnej x. W kolej-nym kroku iteracji przetwarza się punkty o tej samej jasności. Zastosowanie te-go typu struktury przyspiesza wyszukiwanie wartości ( )yx, dla punktu, który powinien być przetwarzany. Istnieje pewne podobieństwo tej struktury do wprowadzonej przez Meyera i omawianej już tutaj kolejki uporządkowanej. Jednak w proponowanym tu algorytmie struktura ta jest inicjowana raz przed rozpoczęciem właściwej procedury, a w trakcie jej działania pozostaje niezmie-niona.

Opisywany algorytm charakteryzuje się dużą szybkością przetwarzania. Nie-stety posiada on wadę, o której wspomniano w poprzednim rozdziale, a mia-nowicie możliwość zmiany przebiegu granic wysegmentowanych obiektów po zmianie kolejności przetwarzania pikseli w pętli (Rys. 6-5).

Poniżej przedstawiono algorytm zalewania obszaru, w którym kolejność przetwarzania pikseli nie jest wyznaczona przez linie skanowania (poziome lub pionowe), lecz przez sąsiedztwo z punktami już przetworzonymi, przyporząd-kowanymi do obszarów.

Algorytm wykorzystuje strukturę Obiekt. Obiekt jest to komponent spójny. Obiekt posiada etykietę, listę współrzędnych punktów, z dodatkowo wydzie-


98

loną listą punktów brzegowych, czyli konturem. Oczywiście ta struktura da-nych odpowiada wysegmentowanemu obiektowi na obrazie.

Działanie procedury zalewania obszarów obejmuje tworzenie nowych Obiektów, oraz rozrost Obiektu wedle ustalonych kryteriów. Wydzielenie w Obiekcie punktów konturu umożliwia szybkie wykonanie procedury roz-rostu. Schemat blokowy algorytmu przedstawiono na Rys. 6-8.

START

STOP

poziom_wody := 0 lista_ob jest pusta

poziom_wody := poziom_wody+1

Weź następny obiekt z lista_ob

Koniec lista_ob

Obiekt był modyfikowany

Rozrost(punkty_brzeg) Modyfikujliste(punkty_brzeg)

Czy istnieją punkty obrazu o poziomie jasności =

poziom_wody bez etykiety?

poziom_wody<max?

N

rozrost(punkty_brzeg) modyfikuj_liste(punkty_brzeg)

N

T

T

T

Weź jeden z tych punktów. Utwórz nowy Obiekt i dodaj ten punkt jako brzegowy N

N

T

Rys. 6-8 Schemat algorytmu działów wodnych z wykorzystaniem procedury rozrostu obszarów

Algorytm startuje od utworzenia struktury LUT takiej jak w pierwszej wersji (Rys. 6-7). Dla przyjętego poziomu wody będą przetwarzane w pierwszej kolej-ności istniejące obiekty. Rozrost obiektu następuje zawsze w sąsiedztwie jego punktów brzegowych. Takie założenie upraszcza procedurę rozrostu. W sąsiedztwie każdego punktu brzegowego poszukujemy punktów, które nie maja jeszcze etykiety, a ich jasność jest równa aktualnemu poziomowi wody. Znalezione w ten sposób punkty dołączane są do obiektu oraz modyfikowana jest lista punktów brzegowych. Gdy wszystkie punkty spełniające to kryterium zostaną przyporządkowane do poszczególnych obiektów, poszukujemy punk-


99

tów o jasności równej bieżącemu poziomowi wody, i kolejno wokół znalezione-go punktu budujemy nowy obiekt. Utworzony obiekt jest oczywiście opatrzony nową etykietą i dodawany do listy obiektów.

Procedura rozrostu obszaru opiera swoje działanie na metodzie zwanej „wia-dro z farbą” (paint bucket, flood-fill). Najczęściej procedura taka jest realizowana rekurencyjnie rozpoczynając od wybranego punktu startowego. W standardowym wydaniu procedura ta zamienia w spójnym obszarze obrazu wszystkie punkty o kolorze stary_kolor na nowy_kolor. Na Rys. 6-9 przedsta-wiono prostą implementację w języku C/C++.

void flood(int x, int y) {

if((x<0) || (x>=szerokość) || (y<0) || (y>=wysokość)) return;

if( kolor(x, y) == stary_kolor) {

kolor(x, y) = nowy_kolor;

flood(x+1, y);

flood(x, y+1);

flood(x-1, y);

flood(x, y-1);

}

}

Rys. 6-9 Procedura flood-fill dla przypadku ogólnego

Dla procedury zalewania obszarów pojęcie stary_kolor punktu oznaczać będzie punkt, który jeszcze nie otrzymał żadnej etykiety oraz ma określony po-ziom jasności, z kolei ustalenie nowego koloru będzie rozumiane jako przypi-sanie punktowi etykiety danego obiektu. Dodatkowo należy określić pewne warunki na punkty sąsiadujące, na podstawie których podejmowana jest decy-zja o przypisaniu etykiety.

Na poniższym listingu (Rys. 6-10) znajduje się implementacja sprawdzenia warunków na sąsiedztwo punktu.

Dane dla funkcji, to położenie badanego punktu, oraz położenie punktu są-siadującego. Dodatkowo wykorzystywana jest informacja o etykiecie przetwa-rzanego obiektu oraz bieżącym „poziomie wody”.

Funkcja zwraca wartość TRUE w następujących przypadkach:

gdy punkt sąsiadujący ma tę samą etykietę, co obiekt, ale nie jest brze-gowy (linie 5-14);


100

gdy punkt sąsiadujący jeszcze nie ma etykiety, a jego jasność jest równa bieżącemu poziomowi wody (linie 20-22).

W pozostałych przypadkach, co skutkuje tym, że punkt nie będzie przetwa-rzany, funkcja zwraca wartość FALSE. Dodatkowo, jeśli punkt sąsiadujący był punktem brzegowym przetwarzanym w poprzednim kroku iteracji, to przestaje być brzegowy.

/1/ BOOL SprawdzPunkt(int x, int y, int xs, int ys) /2/ { /3/ if(etykieta(xs, ys) == W) /4/ return FALSE; /5/ if(etykieta(xs, ys ) == Etykieta_Obiektu) /6/ { /7/ if( JestBrzegowy(xs,ys)) /8/ { /9/ if(jasnosc(xs, ys)<jasnosc(x, y))

/10/ brzegowy(xs, ys) = FALSE; /11/ return FALSE; /12/ { /13/ return TRUE; /14/ } /15/ if(etykieta(xs,yx) != 0 ) /16/ { /17/ Etykieta(x, y) = W; /18/ return FALSE; /19/ } /20/ if(jasnosc(xs, ys) != Poziom_Wody) /21/ return FALSE; /22/ return TRUE; /23/ }

Rys. 6-10 Procedura weryfikacji punktów sąsiadujących dla metody rozrostu obszarów

Procedura zalewania obszaru zaimplementowana w języku C/C++ została przedstawiona na Rys. 6-11. Działanie funkcji jest następujące: w czasie jednego wywołania funkcji przetwarzany jest punkt o współrzędnych ( )yx, wraz z punktami sąsiadującymi. Punkt centralny, czyli ( )yx, otrzymuje etykietę obiektu, chyba, że ma już wcześniej przypisaną etykietę. W dalszym ciągu dla każdego z czterech sąsiadów geometrycznych sprawdzane są omówione wcze-śniej warunki. W przypadku pozytywnej weryfikacji następuje rekurencyjne uruchomienie procedury dla punktu sąsiadującego. Każde rekurencyjne wywo-łanie funkcji flood odpowiada rozrostowi obiektu o jeden piksel, a więc obiekt zmienia się i zostaje ustawiona flaga Obiekt_Zmodyfikowany.


101

/1/ void flood(int x, int y) /2/ { /3/ if(etykieta(x, y) == W) /4/ return; /5/ etykieta(x, y) = Etykieta_Obiektu; /6/ brzegowy(x, y) = TRUE; /7/ if(y>0){ /8/ if(SprawdzPunkt(x, y, x, y-1) /9/ { /10/ Obiekt_Zmodyfikowany = TRUE; /11/ flood(x, y-1); /12/ } /14/ } /15/ if(y<wysokość){ /16/ if(SprawdzPunkt(x, y, x, y+1) /17/ { /18/ Obiekt_Zmodyfikowany = TRUE; /19/ flood(x, y+1); /20/ } /21/ } /22/ if(x>0){ /23/ if(SprawdzPunkt(x, y, x-1, y) /24/ { /25/ Obiekt_Zmodyfikowany = TRUE; /26/ flood(x-1, y); /27/ } /28/ } /29/ if(x<szerokość){ /30/ if(SprawdzPunkt(x, y, x+1, y) /31/ { /32/ Obiekt_Zmodyfikowany = TRUE; /33/ flood(x+1, y); /34/ } /35/ } /36/ }

Rys. 6-11 Procedura flood-fill dla algorytmu rozrostu obszarów

6.2.2 Redukcja zjawiska nadmiernej segmentacji W podrozdziale 6.1.1 dokonano przeglądu metod redukcji zjawiska nadmier-

nej segmentacji dla obrazów segmentowanych metodą powodziową. Badania przeprowadzone w ramach niniejszej rozprawy [Bieniecki, 2004] obejmowały zarówno metody przetwarzania wstępnego, dzięki któremu likwidowane są zakłócenia obrazu powodujące nadmierną segmentację, jak i przetwarzanie końcowe – czyli metody korekcji wysegmentowanego obrazu. Sama metoda powodziowa również może być modyfikowana tak, aby decyzja o przypisaniu pewnych pikseli obrazu do działu wodnego była podejmowana w trakcie jej działania.


102

Wśród metod przetwarzania wstępnego pominięto zastosowanie markerów ze względu na charakter analizowanych obrazów (projektowane przez autora systemy zakładały, że liczba obiektów na obrazie jest znaczna, a segmentacja będzie w pełni automatyczna). Zastosowano odpowiednią konwersję prze-strzeni barw do obrazu monochromatycznego oraz operacje morfologiczne.

Jako metodę przetwarzania końcowego zastosowano algorytm analizy linii działów wodnych. Jest to podejście odmienne od omówionych w rozdziale 6.1.1, których ideą jest analiza podobieństwa obszarów sąsiadujących.

Przetwarzanie wstępne obrazu

Dla obrazów barwnych bardzo ważnym zagadnieniem jest taka transformacja przestrzeni barw do wartości skalarnej, aby utrata informacji była możliwie najmniejsza. Jak już wspomniano, metoda powodziowa jest wrażliwa na wszel-kie zmiany w sposobie kwantyzacji obrazu, a w szczególności działanie algo-rytmu pogarsza się wraz ze zmniejszeniem liczby poziomów szarości. Przy zmniejszeniu liczby poziomów szarości wzrasta liczba obszarów płaskich, któ-rych obecność jest niekorzystna z punktu widzenia wykrywania linii działów wodnych. W przypadku konwersji obrazów barwnych do obrazów monochro-matycznych najczęściej wykorzystuje się standardowe przekształcenie.

( ) BGRBGRgray ⋅+⋅+⋅= 11.059.03.0:,, (6.1)

Operacja ta zmniejsza drastycznie liczbę różnych barw na obrazie (patrz Tab. 6-1).

Tab. 6-1 Utrata informacji podczas przekształcania obrazów barwnych na monochromatyczne

Obraz mikroskopowy: Rozdzielczość 700x525 pikseli, True Color

Nr obrazu 1 2 3 4 5 6 7 8 9

Liczba różnych barw

83466 58297 32179 21834 69070 53689 46448 84154 192552

Liczba odcieni szarości

241 245 223 177 245 247 236 255 354

W przypadku obrazów o gorszej jakości – kontrast pomiędzy obiektami a tłem może być po takiej konwersji zbyt niski, aby metoda powodziowa po-prawnie je wysegmentowała. Również zwiększone jest prawdopodobieństwo powstania obszarów płaskich, co niekorzystnie wpływa na działanie algoryt-mu. Aby zachować maksimum informacji można wprowadzić sztucznie po-rządkowanie barw. Takie przekształcenie niejawnie przyporządkowuje każde-mu kolorowi na obrazie inną wartość.

Niezależnie od przestrzeni barw, np.: ( )1111 ,, cbac = i ( )2222 ,, cbac = , rela-cję”>” możemy zdefiniować następująco:


103

>==>=

>>

212121

2121

21

21 lublub

ccorazbborazaabborazaa

aagdycc (6.2)

Tak zdefiniowana relacja „faworyzuje” składową a wektora w stosunku do składowej b i c. W przestrzeni barw RGB wszystkie trzy składowe barwy są równorzędne (zwłaszcza dla obrazów naturalnych), więc wybranie konkretnej współrzędnej R, G, B nie wydaje się być właściwym rozwiązaniem. Inaczej sprawa ma się w przypadku przestrzeni HSI. Składowa hue (ton koloru) ma ciekawe właściwości:

Dla dowolnego koloru o współrzędnych ( )bgr ,, oraz współczynnika p>0, ta-kiego, że [ ]255;0,, ∈⋅⋅⋅ bpgprp mamy: ( ) ( )bpgprphuebgrhue ⋅⋅⋅= ,,,, .

Dla dowolnego koloru o współrzędnych ( )bgr ,, oraz współczynnika x, takie-go, że [ ]255;0,, ∈+++ xbxgxr mamy: ( ) ( )xbxgxrhuebgrhue +++= ,,,, .

Wynika z tego, że wartość hue jest niezależna zarówno od nasycenia koloru jak i jasności.

Dla dwóch barw c1(H1, S1, Ii) i c2(H2, S2, I2) relację „>” zdefiniowano w tej pra-cy następująco:

−<−=<

==>

>

020121

21

21

21

21

21

lub

HHHHoraz

orazSSSS

orazoraz

IIIIII

gdycc (6.3)

gdzie

( )

<−≥−

−+−

=−00

360:

0

0

0

00 HH

HHdladla

HHHH

HHi

i

i

ii o

(6.4)

0H jest pewnym ustalonym kątem określanym eksperymentalnie dla danego typu obrazów. Dla potrzeb przetwarzania obrazów cytologicznych przyjęto wartość o900 =H , ponieważ dla tego kąta (zob. Rys. 5-2) każdy punkt obrazu należy do tła. Przy pomocy tak zdefiniowanej relacji następuje sortowanie barw w obrazie i przypisanie każdej z nich skalarnej wartości wg rosnących indek-sów posortowanej tablicy.

Przetwarzanie końcowe obrazu

W rozdziale 6.1.1 dokonano przeglądu metod redukcji zjawiska nadmiernej segmentacji w procesie post-segmentacji poprzez łączenie obszarów. Autorzy algorytmów zwykle brali pod uwagę pewne kryterium podobieństwa obsza-rów sąsiadujących, którego spełnienie było warunkiem ich łączenia. Często zdarza się, że wysegmentowane obiekty sąsiadujące ze sobą mają prawie iden-tyczne właściwości kolorymetryczne lub inne – możliwe do zbadania. Obiekty rzeczywiste mogą stykać się ze sobą lub nachodzić na siebie. Jeśli w na skutek


104

zastosowania metody powodziowej udało się pomiędzy nimi wyznaczyć grani-cę, nie powinno się jej zbyt pochopnie wymazywać.

W niniejszej rozprawie zastosowano więc podejście, w którym analizowane są przede wszystkim linie podziału, a nie same obszary sąsiadujące. W rezultacie powstały dwa warianty – pierwszy jako parametryczna metoda powodziowa, drugi – jako algorytm hybrydowy wykorzystujący właściwości kolorymetryczne pikseli linii podziału.

Algorytm analizy „wysokości” linii działów wodnych

Działanie algorytmu polega na określeniu wysokości wszystkich działów wodnych (Def. A-25) i porównaniu tej wartości z pewną wartością progową. Działy wodne o wysokościach mniejszych powinny być usunięte w procesie łą-czenia odpowiednich obszarów sąsiadujących. Zamysł takiego postępowania jest taki, że łączone są obszary tzw. płytkie, czyli zbliżone do obszarów pła-skich, które jednak nie mogą być przetwarzane tak jak obszary płaskie. Obszary takie są wyodrębniane z obrazu w czasie działania metody działów wodnych szczególnie w przypadku obrazów zaszumionych. Algorytm może być reali-zowany w różnych wariantach.

Wariant pierwszy zakłada, że dla każdego punktu, który został zakwalifiko-wany jako punkt działu wodnego obliczana jest jego wysokość względna jako

( ) ( )iWniW vvvh −== ..1

min: (6.5)

gdzie v1 ... vn są wartościami minimów lokalnych sąsiadujących obszarów na granicy których wyznaczana jest linia podziału, a vw jest wartością punku linii podziału. Po zakończeniu działania procedury zalewania obszarów obraz skła-dający się z siatki linii działów wodnych (Rys. 6-12a) o wartościach równych wysokości względnej jest progowany. W wyniku tej operacji pewne punkty tej-że siatki zostaną usunięte (Rys. 6-12b). Powstały w ten sposób obraz poddany jest przeindeksowaniu (ponownemu przypisaniu punktom komponentów spójnych tych samych wartości) w celu usunięcia pozostałych fragmentów linii działów wodnych (Rys. 6-12d).

W drugiej wersji algorytmu w momencie przypisywania punktu obrazu do zbioru działów wodnych punkt taki jest indeksowany parą ( )nm, wskazującą na numery obiektów Bn, Bm, które taki punkt rozdziela. Przyjmuje on oznacze-nie nmW , . Po zakończeniu operacji zalewania obszarów przetwarzane są wg. in-deksów punkty należące do zbioru działów wodnych. Punkty indeksowane tą samą parą ( )nm, tworzą oczywiście komponent spójny. Każdy taki komponent jest testowany zgodnie z przyjętym kryterium, w tym wypadku poddawana jest operacji progowania wysokość względna. Usuwanie linii działu wodnego polega na wykonaniu operacji łączenia komponentów: obiektu Bn, obiektu Bm oraz obiektu nmW , .


105

a) b)

c) d)

Rys. 6-12 Proces łączenia obszarów poprzez usuwanie zbędnych linii działów wodnych: wycinek obra-zu z nałożoną siatką linii działów wodnych (a), obraz po progowaniu linii (b); przykład: jeśli działy W1,3

i W2,3 są usunięte, dział W1,3 także zostanie usunięty (c), ostateczny efekt segmentacji (d)

Algorytm analizy kolorymetrycznej linii działów wodnych

Analiza kolorymetryczna linii działów wodnych wymaga zastosowania po-dejścia algorytmicznego takiego jak w drugiej wersji metody progowania wy-sokości względnej działów wodnych. Należy więc dokonać segmentacji metodą działów wodnych, uzyskując podział obrazu I na komponenty spójne

( )UU

2,,

1 Njiji

s

ii WII

∈=

∪= (6.6)

w tym linie działów wodnych jiW , . W pracach poświęconych metodom seg-mentacji watershed często zwraca się uwagę na fakt, że najlepsze efekty stosuje się poprzez wspomaganie tej metody przez inne techniki segmentacji [Stoev i Strasser, 2000]. Znaczną część pracy badawczej związanej z tą rozprawą po-święcono klasyfikacji pikseli z użyciem klasyfikatora minimalnoodległościowe-go k-NN, zdecydowano się również wykorzystać go do analizy linii działów wodnych. Celem takiego podejścia w przypadku obrazów mikroskopowych komórek nowotworowych było dokonanie automatycznej segmentacji komó-rek, które jako obiekty na obrazie często nachodzą na siebie, mają nieostre kon-tury. Metody oparte na klasyfikacji pikseli często zawodzą w przypadku obiek-tów zachodzących na siebie, co powoduje, że rozpoznawane są jako jeden obiekt.

Liczba potencjalnych kombinacji metody działów wodnych w połączeniu z metodą klasyfikacji pikseli jest znaczna. Wybrano dwa zasadnicze warianty: w


106

pierwszym – obraz poddany jest segmentacji metodą klasyfikacji pikseli i nieza-leżnie metodą działów wodnych. Następnie każdy punkt jiW , zostaje zaklasyfi-kowany jako punkt tła. Taka operacja powoduje „przecięcie” sklejonych obiek-tów nie powodując jednocześnie ingerencji w punkty tła. Warto zauważyć, że obszary zbliżone do płaskich, szczególnie podatne na zjawisko nadmiernej segmentacji w metodzie działów wodnych, czyli fragmenty obrazu o minimal-nym kontraście, to zwykle obszary tła. Niekorzystne zjawiska powstające pod-czas segmentacji metodą klasyfikacji pikseli oraz rezultat nałożenia siatki dzia-łów wodnych prezentuje Rys. 6-13.

Drugi wariant zakłada klasyfikację pikseli jiW , pewną metodą, np. k-NN z użyciem jako zbioru uczącego takiego samego jak do segmentacji barwnej całe-go obrazu. Jeśli dla pojedynczej linii działu wodnego stwierdzimy, że jej wszystkie punkty należą do tej samej klasy – linię należy usunąć, w przeciw-nym wypadku pozostawić. To kryterium rozumieć należy jako przypuszczenie, że gdy linia działu wodnego przecina obszar o mało zróżnicowanym kolorze to tak naprawdę nic ona nie rozdziela.

Rys. 6-13 Segmentacja obrazu mikroskopowego metodą klasyfikacji pikseli z pomocą siatki działów wodnych

6.2.3 Weryfikacja algorytmu Testy własnych algorytmów wykorzystujących metodę działów wodnych

obejmowały przede wszystkim poprawność segmentacji dla wybranej klasy ob-razów. Dla testów wzięto pod uwagę obrazy mikroskopowe będące przedmio-tem zainteresowania w dalszej części pracy (rozdział 2). Celem testu było sprawdzenie, czy algorytm prawidłowo segmentuje komórki, tak, jak to zrobił człowiek - ekspert. Przykładowy obraz mikroskopowy przedstawiono na Rys. 6-14. Obraz testowy został poddany ocenie eksperta, który wyróżnił pewną liczbę obiektów – jąder komórkowych – w wypadku obrazu nr 1 była to suma 62. W doświadczeniu przetestowano cztery różne próbki obrazów takiej samej tkanki pobranej od różnych pacjentek.


107

Rys. 6-14 Obraz mikroskopowy „1” poddany segmentacji

W Tab. 6-2 przedstawiono liczbę obiektów (przypuszczalnie komórek) wy-segmentowanych przez różne warianty algorytmu.

Tab. 6-2 Wyniki segmentacji metodą działów wodnych z progowaniem wysokości działu wodnego

Metoda Liczba obiektów

Nr próbki obrazu: 1 2 3 4

1. Segmentacja przez eksperta 62 88 38 53

2. Metoda watershed 2222 10484 12473 11984

3. Metoda watershed z przetwarzaniem wstępnym 1060 1352 1378 1287

4. Metoda watershed + progowanie działów wodnych (próg 12) 79 84 31 53

5. Metoda watershed + progowanie działów wodnych (próg 7) 68 95 44 66

Metoda działów wodnych bez żadnych procedur pomocniczych za każdym razem dzieli obraz na dość dużą liczbę obiektów, która w żaden sposób nie od-powiada liczbie aktualnej. Również przetwarzanie wstępne polegające na wy-konaniu operacji morfologicznych wyrównujących jasność wewnątrz obiektów nie przyniosło spodziewanego rezultatu. Dopiero wprowadzenie metody anali-zy wysokości względnej działów wodnych po zastosowaniu procedury powo-dziowej spowodowało, że wyniki są porównywalne. Program segmentujący znalazł więcej obszarów, niż wyróżnił to człowiek ekspert, ale to dlatego, że na obrazie widoczne są również małe obiekty nie będące jądrami komórkowymi.

Drugie doświadczenie przeprowadzono dla algorytmu hybrydowego wyko-rzystującego segmentację barwną (klasyfikację pikseli) i metodę działów wod-nych, dla tego samego zestawu obrazów (Tab. 6-3). Przetwarzanie obrazu obejmujące klasyfikację pikseli nie daje dla żadnej z próbek zadawalających efektów – mamy tu do czynienia z niedostateczną segmentacją. Większość jąder


108

komórkowych, które są blisko siebie zlewa się w jedną plamę, co uniemożliwia określenie ich liczby.

Tab. 6-3 Wyniki segmentacji dla algorytmu klasyfikacji pikseli z wykorzystaniem siatki działów wodnych

Metoda Liczba obiektów

Nr próbki obrazu: 1 2 3 4

1. Segmentacja przez eksperta 62 88 38 53

2. 1-NN + siatka watershed 57 90 34 49

3. Segmentacja watershed + analiza pikseli działu wodnego 64 94 38 55

Niezależne wykonanie procedury watershed i zaklasyfikowanie wszystkich punktów działów wodnych jako punkty tła (metoda 2 w Tab. 6-3) dla obrazów testowych daje wynik zbliżony do rzeczywistego, z niewielką tendencją do nie-dostatecznej segmentacji. Algorytm segmentacji wykorzystujący klasyfikację pikseli działów wodnych po wykonaniu transformacji watershed daje wyniki zbliżone do metody progowania wysokości działów wodnych, z tym, że nie ma możliwości parametryzacji algorytmu. Przeprowadzone tutaj testy nie są do końca miarodajne, ich przeprowadzenie miało na celu pokazanie cech zapropo-nowanych algorytmów. Szczegółowa analiza poprawności działania metod segmentacji została przeprowadzona dla dużej liczby próbek w rozdziale 2. Ce-lem tej analizy była weryfikacja poprawności działania systemu diagnozowania mikroskopowych obrazów patomorfologicznych raka sutka. Przykładowe wy-niki działania procedury watershed z analizą wysokości działów wodnych znaj-dują się w załączniku B (Rys. B-11, Rys. B-13, Rys. B-15).

Wnioski Podobnie, jak w przypadku metod segmentacji obrazu z wykorzystaniem kla-

syfikacji pikseli, badania były ukierunkowane na osiągnięcie zadawalających wyników dla pewnej wybranej klasy obrazów – obrazów mikroskopowych tkanek. Jako bazową do własnych badań wybrano metodę działów wodnych ze względu na precyzję wykrywania granic pomiędzy obiektami. Pomimo, że opis matematyczny definiuje algorytm w sposób jednoznaczny, istnieje wiele im-plementacji znacznie różniących się od siebie, a co ważniejsze działających w różny sposób. Ze względu na stopień komplikacji istniejących implementacji, co utrudniało ich jednolite przetłumaczenie na wspólny język programowania (w tym wypadku C++) nie dokonano ich porównania z algorytmem własnym. Nowość opracowanego algorytmu polega w tym wypadku nie na osiągnięciu maksymalnej wydajności, lecz na pomyślnym jego przetestowaniu dla celów konkretnej aplikacji oraz na zaprojektowaniu algorytmu hybrydowego łączące-go metody wykrywania obszarów i metody klasyfikacji pikseli. Dzięki takiemu podejściu można wpływać na wynik segmentacji poprzez wprowadzanie do-datkowej informacji.

Rozdział 7: Projekt systemu komputerowej oceny aktywności wydzielni-czej limfocytów wykorzystują-cego zaproponowane algoryt-my przetwarzania i analizy ob-razów

Niniejszy rozdział prezentuje inną aplikację dla metod przetwarzania i analizy obrazu. Przedstawiony tu system pomiarowo diagnostyczny wykorzystuje po pewnych modyfikacjach algorytmy przetwarzania wstępnego obrazu oraz segmentacji zaprojektowane i użyte do analizy obrazów mikroskopowych tkanki nowotworowej. Celem takiego zabie-gu było pokazanie ich uniwersalności. Opisywany system nazwany przez autora SpotView jest narzędziem wspomagającym analizę obra-zów uzyskiwanych w procesie immunoenzymatycznej wizualizacji ak-tywności wydzielniczej pojedynczych limfocytów metodą ELISPOT – metodzie pozwalającej diagnozować ryzyko odrzucenia przeszczepu nerki. Analiza obrazów w tej metodzie diagnostycznej wymaga testo-wania różnych parametrów morfologicznych obiektów widocznych na obrazie w postaci kolistych plam. Analizy takie są możliwe do prze-prowadzenia przy pomocy komercyjnego oprogramowania, lecz są kosztowne i długotrwałe.

Kluczowym elementem tego systemu wizyjnego jest poprawna seg-mentacja obrazu i identyfikacja obiektów, aby można było precyzyjnie określić wielkość plamek. Skuteczność metod segmentacji potwierdza zgodność uzyskanych wyników z otrzymanymi przy pomocy komer-cyjnego oprogramowania. Zaprojektowane algorytmy identyfikują obiekty o zróżnicowanym kontraście i wielkości w sposób bardziej pre-cyzyjny niż oprogramowanie komercyjne. Znalezione obiekty są pod-dawane analizie ilościowej w celu określenia aktywności wydzielniczej

Projekt systemu komputerowej oceny aktywności wydzielniczej limfocytów wykorzystującego …

110

limfocytów. Oprócz standardowego parametru, jakim jest pole po-wierzchni, wprowadzono dodatkowy deskryptor, co pozwala uzyskać większą precyzję pomiaru.


111

7.1 Charakterystyka badanego obrazu Istotę badania ELISPOT i sposób powstawania obrazów omówiono w załącz-

niku C. Oglądany pod mikroskopem obraz jest fotografowany przy użyciu apa-ratu cyfrowego, w wyniku czego powstaje obraz o rozdzielczości około 1500 x 1500 pikseli lub większej (Rys. 7-1). Obserwowany obszar zainteresowania („studzienka” - Załącznik C) ma kształt koła o stałej średnicy 6mm. W opisy-wanym doświadczeniu jest to obraz monochromatyczny, ale w Katedrze Nefro-logii trwają badania nad otrzymaniem obrazu dwubarwnego.

~6 mm

Rys. 7-1 Obraz uzyskany metodą ELISPOT widziany pod mikroskopem

Każda plamka na obrazie odpowiada jednej komórce, a intensywność barwy i promień plamki zależą od ilości wydzielonego czynnika. Przedmiotem analizy obrazu jest zarówno liczba plamek, jak i ich rozmiar, w pewien sposób propor-cjonalny do ilości wydzielonego czynnika. Ze względu na sposób powstawania, plamki powinny mieć kształt zbliżony do kolistego, a intensywność barwy po-winna maleć wraz z odległością od środka (Rys. 7-2). Powoduje to, że krawę-dzie plamek są rozmyte, co stanowi pewne utrudnienie dla algorytmu przetwa-rzania obrazu.

Rys. 7-2 Wielkość plamek i rozkład intensywności barwy

Zadania systemu informatycznego, a więc poszczególne etapy procesu prze-twarzania i analizy obrazu opisano w rozdziale 7.3.


112

7.2 Przegląd istniejących systemów analizy obrazów limfocytów

Wśród istniejących opracowań dotyczących analizy obrazów uzyskiwanych metodą ELISPOT można znaleźć niemal wyłącznie rozwiązania komercyjne. Przed nawiązaniem współpracy z Katedrą Informatyki Stosowanej Katedra i Klinika Nefrologii i Medycyny Transplantacyjnej korzystała z analiz dzięki uprzejmości Cellular Technology Ltd, USA. Firma ta jest producentem systemu wizyjnego ImmunoSpot [Hesse i in., 2001; Karulin i in., 2000; http://www.immunospot.com]. Producent deklaruje wysoką jakość analiz, dzięki specjalnemu systemowi oświetlenia obrazu, możliwości pracy z różnymi formatami plików i różnymi rozdzielczościami obrazu oraz algorytmowi cen-trującemu analizowany obraz i automatycznej regulacji ostrości. Produkt jest sprzedawany jako cały system oraz jako oddzielny program komputerowy.

Inny ciekawy system Sorcerer, pochodzi z firmy Perceptive Instruments Ltd. [http://www.perceptive.co.uk/colonycounter]. System ten zawierający układ optyczny oraz program analizujący może być używany zarówno do analiz ob-razów w badaniu ELISPOT jak i obrazów kolonii bakterii. System akwizycji ob-razu charakteryzuje się wysoką rozdzielczością. Zawiera wbudowany mecha-nizm sterowania płytką z preparatami. Producent deklaruje dużą skuteczność wykrywania plamek i precyzję pomiaru ich średnicy.

Firma Scan Analytics [http://www.scananalytics.com] proponuje oprogra-mowanie do analizy obrazu biomedycznego ogólnego stosowania pozwalające m. in. na analizę obrazów ELISPOT.

Podobne rozwiązanie przedstawia Software Alpha Innotech Corporation [http://www.adpsa.co.za/Alpha] w postaci oprogramowania AlphaEaseFC. Oprogramowanie to pozwala na akwizycję, poprawę jakości oraz analizę róż-nych kategorii obrazów biomedycznych. Oprogramowanie można wzbogacić o biblioteki wyposażone w specjalistyczne, m. in. do analizy obrazów ELISPOT.

Zaawansowane techniki przetwarzania obrazów w programie KS ELISPOT oferuje Zeiss [http://www.zeiss.de/elispot]. Program posiada procedurę uczą-cą, w której plamki zaznaczane są ręcznie, co ma poprawić skuteczność seg-mentacji i identyfikacji. Uczenie obejmuje takie parametry jak średnica, kolor, nasycenie koloru, kontrast, kształt plamki i stopień rozmycia jej krawędzi. Pro-ducent zaznacza wysoką przydatność systemu do badań naukowych.

Ostatni z wymienionych programów to ELISpot Reader System firmy AID [http://www.elispot.com]. Program wykonuje analizę obrazów według usta-wień użytkownika. Użytkownik może sam skorygować położenie obszaru zain-teresowania na obrazie oraz na bieżąco modyfikować parametry procedury segmentującej. Na bieżąco na sąsiednim okienku można obserwować histogram rozkładu pola powierzchni plamek. Obrazy mogą być pozyskiwane bądź od razu z urządzenia fotografującego płytkę będącego również produktem AID albo z pliku graficznego w dowolnym formacie. Wyniki mogą być eksportowa-


113

ne do pliku tekstowego, Excela, oraz najpopularniejszych systemów baz da-nych.

Wszystkie wymienione powyżej opisy są dostępne na stronach WWW produ-centów. Producenci nie oferują wersji demo, przy pomocy których można oce-nić ich przydatność do badań prowadzonych wspólnie z Katedrą i Klinika Ne-frologii. Producenci nie ujawniają również dokumentacji technicznej na pod-stawie której można by stwierdzić, jakie algorytmy przetwarzania i analizy ob-razów zostały użyte.

Wśród dostępnych pozycji literaturowych nie znaleziono materiałów nauko-wych dotyczących algorytmów analizy obrazów ELISPOT.

7.3 Zakres działania projektowanego systemu pomiarowo-diagnostycznego

Opracowanie projektu systemu SpotView wymagało ciągłej konsultacji z pra-cownikami AM we Wrocławiu w celu określenia zakresu działania systemu. W przyjętym do realizacji projekcie ustalono, że działanie programu obejmuje procedury realizowane przez typowy system wizyjny (Rys. 7-3)

Obraz

Obraz odfiltrowany

Obraz indeksowany

Indywidualne i zbiorcze charakterystyki obiektów

Diagnoza

Akwizycja obrazu

Przetwarzanie wstępne

Analiza statystyczna

segmentacja

Identyfikacja i pomiar cech

Przygotowanie badania ELISPOT

Rys. 7-3 Etapy działania systemu wizyjnego w badaniu ELISPOT. Kolorem niebieskim zazna-czono etapy opracowane przez autora rozprawy, a zielonym – przetwarzane zbiory danych.


114

Akwizycja i archiwizacja obrazu. Badane obrazy uzyskuje się poprzez foto-grafowanie aparatem cyfrowym wyposażonym w optykę pozwalającą na uzy-skanie powiększenia około 20x. Obrazy barwne są zapisywane w postaci pli-ków TIFF lub JPEG w rozdzielczości 0,5÷3,2 MPix. W programie SpotView nie ma interfejsu do komunikacji z aparatem – ustala się, że zdjęcia będą przygo-towane off-line.

Przetwarzanie wstępne obrazu. Etap przetwarzania wstępnego obrazu reali-zuje następujące zadania: przede wszystkim wydzielenie obszaru zaintereso-wania i oszacowanie skali, przekształcenie obrazu do postaci monochroma-tycznej, wyrównanie niejednorodnej jasności tła.

Segmentacja obrazu. Podczas segmentacji wydzielane są na obrazie kompo-nenty spójne odpowiadające pojedynczym plamkom. W systemie SpotView użyto dwóch technik segmentacji użytych w systemie omawianym w rozdziale 2 – progowania adaptacyjnego oraz algorytmów segmentacji morfologicznej. Celem takiego podejścia było całkowite zautomatyzowanie etapu segmentacji i pokazanie uniwersalności algorytmów.

Analiza morfologiczna obrazu. Dla wysegmentowanych obiektów oblicza się następujące parametry morfologiczne: pole powierzchni, współczynnik kształ-tu, a także wyznacza współczynnik nazwany ciężarem obiektu. Ponieważ po-szukiwane obiekty spełniają pewne kryteria dotyczące przedziału wartości dla tych współczynników, na ich podstawie można wydzielić spośród wszystkich plam tylko te, które są wynikiem reakcji immunologicznej.

Przygotowanie statystyk i eksport wyników. Obliczone wartości pola po-wierzchni i ciężaru są grupowane w histogramy i eksportowane do arkusza kalkulacyjnego Excel. Założono, że sam program nie będzie przeprowadzał analizy statystycznej oraz archiwizacji wyników.

7.4 Proponowany algorytm przetwarzania i analizy obrazów limfocytów

7.4.1 Algorytmy przetwarzania wstępnego obrazu Pierwszym etapem przetwarzania obrazu w systemie SpotView jest wydzie-

lenie obszaru zainteresowania ROI (ang. region of interest). Obszarem zaintere-sowania dla obrazu:

( ) ( ) [ ] [ ]{ }NMyxyxI ,0,0,:, ×∈= (7.1)

jest podzbiór:

( ) ( ) ( ){ }220

20:, RyyxxIyxROI ≤−+−∈= (7.2)

czyli kolisty fragment obrazu (Rys. 7-1), wewnątrz którego widać tylko mem-branę z widniejącymi na niej plamami. Aby wyznaczyć ten obszar należy zna-leźć wektor (x0, y0, R). Zaproponowany algorytm rozpoczyna pracę od znale-zienia pewnych punktów należących do lewego oraz do prawego brzegu ob-


115

szaru zainteresowania (Rys. 7-4). Dla wybranego zbioru linii poziomych (wy-starczy około 20 linii równomiernie na całej wysokości obrazu) o współrzęd-nych LnLL yyy ,,, 21 K analizuje się wartość jasności dla rosnącej wartości współ-rzędnej x dla lewej strony obrazu. Przyjmujemy, że piksel stanowiący początek linii należy do tła, a koniec linii należy do ROI.

yL1

yL2

yL3

yL4

yLn-1

yLn

yRn

yRn-1

yR4

yR3

yR2

yR1

Rys. 7-4 Algorytm wykrywania linii brzegowej obszaru zainteresowania

Tę samą operację, należy wykonać dla prawej strony obrazu.

W przypadku widocznym na Rys. 7-4 tło jest ciemniejsze niż ROI. Przegląda-jąc punkty w kierunku rosnącej wartości x szukamy punktu będącego mini-mum lokalnym występującego zaraz za maksimum lokalnym (Rys. 7-5, okolice współrzędnej 300). Detekcja kończy się sukcesem, jeżeli różnica pomiędzy zna-lezionymi maksimum i minimum jest większa niż 20% całego zakresu jasności.

Rys. 7-5 Przebieg jasności linii poziomej badanego obrazu

Punkty wyznaczone przez algorytm łączymy w pary tak, aby para zawierała jeden punkt z lewej krawędzi i jeden punkt z prawej krawędzi (Rys. 7-6).


116

pL1

pL2

pL3

pL4

pLn-1

pLn pR1

pR2

pR3

pR4

pRn-1

pRn

S1

S2S3S4

Sn-1Sn

Rys. 7-6 Wyznaczenie punktu centralnego ROI

Dla odcinków łączących te punkty (oznaczonych białą linią przerywaną) wy-znacza się symetralne S1, S2 … Sn (czarne linie ciągłe) i oznacza punkty przecię-cia symetralnych. Wartość średnia z obliczonych punktów przecięcia symetral-nych jest szukaną wartością (x0, y0), a średnia odległość pomiędzy tym punktem a znalezionymi punktami krawędzi jest wartością R.

W programie SpotView istnieje możliwość ręcznego poprawienia okręgu ROI przy użyciu myszki.

Dalsze kroki przetwarzania obrazu wykonywane są tylko dla wydzielonego obszaru zainteresowania. Na podstawie promienia ROI wyznacza się skalę ob-razu – jest to możliwe, gdyż wielkość studzienki jest znana. Ustawienie skali ma duże znaczenie dla algorytmów filtracji, segmentacji identyfikacji, które dzięki temu działają niezależnie od rozdzielczości obrazu.

Obraz poddawany jest filtracji pozwalającej na wyrównanie tła. Krok ten re-alizuje algorytm oparty o filtr konwolucyjny. Jego zadaniem jest „odjęcie” tła od widocznych na obrazie obiektów. Operację tę można symbolicznie zapisać następująco:

MIII Fil ∗−= (7.3)

gdzie I jest obrazem wejściowym M, kwadratową maską binarną o wielkości przyjętej empirycznie, a IFil obrazem wynikowym. * czyli operacja splotu jest powszechnie stosowana we wszystkich filtrach przestrzennych. Przyjęto, że dla danej klasy obrazów bok maski będzie stanowił 10% średnicy obrazu. Oma-wiany filtr ten działa w przestrzeni barw RGB, co pozwala na wyrównanie nie tylko jasności, lecz także zaburzeń w nasyceniu kolorem.


117

Tak przygotowany obraz jest konwertowany do postaci monochromatycznej. W bieżących doświadczeniach prowadzonych przez Katedrę i Klinikę Nefrolo-gii i Medycyny Transplantacyjnej we Wrocławiu stosuje się jeden rodzaj barw-nika, jakkolwiek istnieje przypuszczenie, że komórki będą barwione na dwa ko-lory. Przed konwersją obrazu barwnego na poziomy szarości następuje wy-równanie histogramu RGB, co pozwala na uzyskanie maksymalnego kontrastu, a co za tym idzie możliwie najmniejszą utratę informacji. Schemat przedsta-wiono na Rys. 7-7.

Wykreślanie

ROI

wyrównanie

tła

desaturacja

wygładzenie

Rys. 7-7 Schemat procedur przetwarzania wstępnego w programie SpotView

7.4.2 Algorytmy segmentacji obrazu Postawione zadanie wymaga znalezienia na obrazie obiektów o minimalnej

średnicy 0,05 mm. Przy rozdzielczości 500 pikseli odpowiada to około pięciu pikselom. Dodatkowym utrudnieniem jest fakt, że obiekty charakteryzują się różnym stopniem jasności oraz kontrastem w stosunku do tła (por. Rys. 7-7). Punktem wyjścia dla otrzymania efektywnego algorytmu segmentacji wychwy-tującego tak małe obiekty było zastosowanie algorytmu progowania adaptacyj-nego. Ze względu na duże zróżnicowanie wielkości obiektów widocznych na obrazie zdecydowano się na użycie własnego algorytmu wieloprzebiegowego, opisanego w rozdziale 4. Na Rys. 7-8 zaprezentowano fazę binaryzacji obrazu dwoma metodami standardowymi oraz ulepszonym algorytmem wieloprze-biegowym. Więcej obrazów, w tym porównanie metod binaryzacji znajduje się w załączniku B (Rys. B-3 – Rys. B-7).


118


progowanie metodą Simple Image Statistics

progowanie metodą Bernsena

ulepszony algorytm Bernsen-Bieniecki

Rys. 7-8 Binaryzacja obrazu ELISPOT różnymi metodami

W procesie segmentacji opartej na progowaniu zdarza się, że obiekty leżące blisko siebie (szczególnie w przypadku, gdy ich krawędzie nie dają odpowied-niego kontrastu) nie zostaną prawidłowo rozdzielone. Dla uniknięcia tego zja-wiska zastosowano rozwiązanie identyczne jak zaprezentowane w rozdziale 2 (Rys. 7-9). Obraz monochromatyczny poddawany jest segmentacji metodą wa-tershed, a powstałe linie działów wodnych są użyte do rozdzielania obiektów leżących blisko siebie. Podobnie, jak w przypadku obrazów histologicznych za-stosowano własną wersję tego algorytmu.

Ostatnim etapem segmentacji jest wydzielenie na obrazie wszystkich kompo-nentów spójnych, poprzez nadanie pikselom etykiet wskazujących przynależ-ność do poszczególnych plamek.


119

Rys. 7-9 Deaglomeryzacja obiektów własnym wariantem metody działów wodnych

7.4.3 Identyfikacja i pomiar obiektów Zgodnie ze szczegółowo omówioną w Załączniku C procedurą przeprowa-

dzania badań dla wszystkich komponentów spójnych wyznacza się następujące parametry morfologiczne (rozdział 2 niniejszej pracy oraz [Tadeusiewicz i Ko-rohoda, 1997]):

pole powierzchni – wartość proporcjonalna do liczby pikseli obiektu obliczo-na przy użyciu automatycznie wyznaczonego współczynnika skali;

obwód obiektu – wartość obliczona poprzez wyznaczenie konturu obiektu;

środek ciężkości;

współczynnik wydłużenia figury.

Obliczone w ten sposób parametry pozwolą sprawdzić, czy wszystkie wy-segmentowane obiekty są poszukiwanymi plamkami. Usuwa się następujące komponenty:

stykające się brzegiem obszaru zainteresowania;

o powierzchni poniżej 0,03 mm;

o współczynniku wydłużenia poniżej 0,5.


120

Pomimo założenia wstępnego, że obiekty mają kształt zbliżony do okrągłego (Rys. 7-7) w rzeczywistości barwnik rozlewa się nierównomiernie i powstałe plamki nigdy nie będą okrągłe, przez co tolerancja na współczynnik wydłuże-nia została powiększona.

Pośrednim celem analizy obrazów w metodzie ELISPOT jest oszacowanie ilo-ści cytokin wydzielonych przez limfocyt (patrz Załącznik C). Ze względu na sposób powstawania plamki nasycenie lub stopień szarości nie jest równomier-ny w jej obrębie. Wynika to ze zmian intensywności wydzielniczej limfocytów, dyfuzji barwnika i dysocjacji składników. W rezultacie ilość wydzielanych cy-tokin nie jest wprost proporcjonalna do pola powierzchni plamki.

Aby przeprowadzić dokładniejszą analizę ilościową autor rozprawy wpro-wadził dodatkowy deskryptor zwany ciężarem obiektu. Obliczenie ciężaru wymaga zsumowania intensywności zabarwienia po wszystkich pikselach w obrębie komponentu spójnego i odpowiedniego przeskalowania otrzymanej sumy.

Def. 7-1 Ciężar obiektu

Niech { }kSSS ,...,, 21 będzie zbiorem wysegmentowanych z obrazu I kompo-nentów spójnych zidentyfikowanych jako plamki. Niech

( )( ){ }yxll

iSyx,min

,minU∈

= -

minimalna jasność piksela wśród wszystkich komponentów spójnych (ja-sność mierzona jest dla wybranych pikseli obrazu nieprzetworzonego), ana-logicznie przez

( )( ){ }yxll

ROIyx,max

,max ∈= oznaczmy maksymalną jasność piksela

w obrazie nieprzetworzonym. Ciężar obiektu Sk oznaczymy Wk i zdefiniuje-my jako:

( )( )

( )minmax

max

, minmax

max ,,:

llyxlln

llyxll

W k

Syxk

k−

−⋅=

−−

= ∑∑∈

, (7.4)

gdzie nk jest liczbą pikseli komponentu Sk..

Poprzez zastosowaną operację skalowania wzór (7.4) pozwala porównać pole powierzchni i ciężar obiektów. Gdyby wszystkie wysegmentowane obiekty miały tę samą jasność, wówczas pole powierzchni i ciężar miałyby te same war-tości. Stąd przyjęto, że można wyrażać ciężar obiektów w mm2 dla zachowania porównywalności wyników.

7.5 Weryfikacja systemu SpotView Poniżej przedstawiono analizę porównawczą działania algorytmu segmenta-

cji realizowaną przez oprogramowanie ImmunoSpot® [Karulin i in., 2000; Hes-se i in., 2001], dzięki uprzejmości Cellular Technology Ltd, USA, oraz własny


121

program SpotView dla dziesięciu studzienek. W Tab. 7-1 porównano liczbę obiektów (N) wysegmentowanych przez oba programy.

Tab. 7-1 Porównanie liczności N, wartości oczekiwanej µ i wariancji σ2 dla wybranych próbek

Próbka B4 B5 B6 C4 C7 C8 D6 D12 E8 G12

N Immunospot 459 31 306 589 37 399 319 14 289 114

N SpotView 773 310 647 1008 325 643 597 282 445 548

Zgodność σ2 95%

TAK TAK TAK TAK NIE TAK TAK NIE TAK NIE

Zgodność µ 95%

TAK TAK TAK TAK X TAK TAK X TAK X

Algorytm segmentujący w aplikacji SpotView pozwala znajdować obiekty małe oraz o jasności niewiele różniącej się od jasności tła. Powoduje to znaczne różnice pomiędzy liczbą obiektów znalezionych przez porównywane progra-my. Wysegmentowane obrazy poddano pobieżnej ocenie wzrokowej w celu stwierdzenia, czy program nie wyłapał błędnie obiektów, które nie są szuka-nymi przez nas plamami, lecz zakłóceniami. Program Immunospot® tworzy hi-stogramy rozkładu wielkości plamek, wyniki skalując w log mm2. Tab. 7-1 przedstawia dodatkowo obliczone wartości oczekiwane i wariancje dla dziesię-ciu próbek. Przyjęto, że próbki mają rozkład normalny. Do weryfikacji staty-stycznej zastosowano test ilorazowy wariancji i statystykę t-Studenta dla warto-ści oczekiwanej dla poziomów istotności 0,05. Ze względu na to, że program Immunospot® pomija małe obiekty (co widać po braku zgodności rozkładów pól obiektów), które powinny być policzone, porównano rozkłady pól po odfil-trowaniu obiektów o średnicy poniżej 0,12 mm (Tab. 7-2).

Tab. 7-2 Porównanie liczności N, wartości oczekiwanej µ i wariancji σ2 dla odfiltrowanych próbek


N Immunospot 226 6 110 257 17 202 124 7 156 49

N SpotView 277 8 149 302 20 226 152 8 175 60

Zgodność σ2 95% TAK TAK TAK TAK TAK TAK TAK TAK TAK TAK

Zgodność µ 95% NIE TAK TAK TAK TAK TAK TAK NIE TAK TAK

Interpretując Tab. 7-2 należy potwierdzić hipotezę o tym, że program Spo-tView oblicza rozkłady wielkości plamek zgodnie z oprogramowaniem Immu-nospot®, przy założeniu, że pominie się obiekty bardzo małe. Warto zwrócić uwagę na to, że program SpotView obrysowuje plamki ciaśniej. Zjawisko to można zaobserwować również na Rys. 7-10.


122

Rys. 7-10 Fragmenty wysegmentowanego obrazu: a) Immunospot®, b) SpotView

Ponieważ w badaniu ELISPOT ważny jest rozkład intensywności wydzielni-czej limfocytów, porównano w zbiorczej formie histogramy dla pola po-wierzchni i „ciężaru” obiektów. Tab. 7-3 prezentuje wyniki dla 10 obrazów uży-tych w poprzednim doświadczeniu.

Tab. 7-3 Porównanie rozkładów log10 pola i ciężaru plamek dla wybranych obrazów


N SpotView 773 310 647 1008 325 643 597 282 445 548

Ciężar - σ2 0,63 0,144 0,617 0,416 0,431 0,732 0,622 0,334 0,648 0,676

Pole - σ2 0,63 0,171 0,386 0,395 0,235 0,603 0,368 0,202 0,701 0,462

Ciężar - µ -3,08 -4,30 -3,76 -3,38 -4,35 -2,95 -3,68 -4,39 -2,86 -3,73

Pole - µ -2,4 -2,75 -2,46 -2,44 -2,69 -2,24 -2,45 -2,67 -2,15 -2,42

Dla wybranych czterech obrazów wyniki przedstawiono też w formie wykre-sów (Rys. 7-11 i Rys. 7-12).

Porównując wyniki otrzymane przy użyciu tradycyjnej miary oraz ciężaru nietrudno stwierdzić, że wyniki różnią się znacząco. Rozważania nad rozkła-dem jasności punktów obiektu jako odzwierciedleniem intensywności wydziel-niczej limfocytów pozwalają sądzić, że wprowadzony tutaj ciężar jest lepszym wskaźnikiem reakcji, lecz na razie nie ma możliwości weryfikacji tej hipotezy.


123

Rys. 7-11 Porównanie rozkładu dla pola i ciężaru dla wybranych obrazów (B4 i B5)

Rys. 7-12 Porównanie rozkładu dla pola i ciężaru dla wybranych obrazów (B6 i C4)

Warto zwrócić uwagę na fakt, że dla obliczenia ciężaru plamki poprawna seg-mentacja, czyli dokładne wyliczenie granic plamki ma mniejsze znaczenie niż w


124

przypadku pola powierzchni. Jasność pikseli znajdujących się blisko brzegu obiektu jest z reguły większa, przez co ich udział w wadze obiektu jest mniej-szy.

Wnioski Odnosząc wyniki obliczeń uzyskanych przy wykorzystaniu systemu Spo-

tView do wyników Immunospot®, który jest uznanym systemem analizy obra-zów w ELISPOT, można przyjąć, że udało się zaprojektować skuteczną metodę przetwarzania tej klasy obrazów i potwierdzić prawidłowość jej działania. Wy-konywanie analiz przy użyciu systemu Immunospot® jest kosztowne i czaso-chłonne, co sprawia, że oprogramowanie przygotowywane w ramach współ-pracy Politechniki Łódzkiej i Akademii Medycznej we Wrocławiu ma szanse stać się cennym narzędziem, wspomagającym zastosowanie techniki ELISPOT do prognozowania funkcji przeszczepionych nerek oraz wczesnego diagnozo-wania niekorzystnych zjawisk immunologicznych prowadzących do odrzuca-nia przeszczepu.

Zakończenie

Zakończenie

126

Ważniejsze rezultaty badań

W ramach niniejszej pracy zaprojektowano i wykonano program Pato, a w nim kompletny algorytm segmentacji i identyfikacji obrazów mikroskopowych tkanki nowotworowej wycinków histologicznych i rozmazów cytologicznych. Dzięki powstałemu oprogramowaniu możliwe było wykonanie przez pracow-ników Zakładu Patomorfologii Klinicznej naukowych badań nad zależnością stopnia reakcji immunohistochemicznej od zastosowanej techniki przygotowa-nia preparatu (biopsja, imprint, wycinek). Możliwe jest również stosowanie sys-temu Pato w diagnostycznych badaniach rutynowych; wówczas ważną jego własnością okazuje się szybkość działania. Podczas gdy proces ręcznego licze-nia jąder komórkowym na jednym preparacie trwa około godziny, z pomocą zaprojektowanego programu komputerowego można go skrócić do około jed-nej minuty (czas zależy od mocy obliczeniowej komputera).

Drugim systemem, który wykonano w ramach tej pracy doktorskiej jest Spo-tView – system segmentacji i identyfikacji obrazów uzyskiwanych w badaniu ELISPOT. Dzięki wprowadzeniu algorytmu binaryzacji Bernsen-Bieniecki oraz nowego współczynnika opisującego rozmiar obiektu, uzyskano wyniki porów-nywalne z oprogramowaniem komercyjnym, a w przypadku obrazów gorszej jakości, nawet lepsze. Zwiększenie precyzji pomiaru, jak również skrócenie cza-su oczekiwania na analizę przyspieszyło tok badań prowadzonych w Akademii Medycznej we Wrocławiu nad opracowaniem nowej metody diagnozowania przewlekłego odrzucenia nerki.

W trakcie analizy i implementacji wybranych, istniejących algorytmów prze-twarzania obrazów dokonano licznych ich modyfikacji w celu poprawy ich wydajności lub dokładności dla spełnienia wymagań dotyczących badanych obrazów. Dla skonstruowanych algorytmów przeprowadzono testy na ogólnie dostępnych obrazach testowych w celu określenia ich właściwości i obiektyw-nego porównania z algorytmami standardowymi. Zaprojektowane algorytmy to:

PNN-VMF i 2pMLF: dwie wersje algorytmu przetwarzania wstępnego obra-zów barwnych. W stosunku do algorytmu standardowego VMF lepiej reali-zują proces usuwania szumu z obrazu i charakteryzują się minimalnie lepszą wydajnością;

Bernsen-Bieniecki: jest to algorytm binaryzacji obrazu monochromatycznego z lokalnym wyborem progu lokalnego, został on wykorzystany w obu sys-temach przetwarzania obrazu. W przeciwieństwie do standardowych Algo-rytmów tej klasy jest procedurą wieloprzebiegową, co eliminuje konieczność doboru wielkości maski przeszukiwania do wielkości obiektów wyszukiwa-nych z tła;

CG 1-NN: algorytm segmentacji obrazów barwnych poprzez klasyfikację pikseli oparty na statystycznej regule k-NN, ale o lepszej wydajności, dzięki czemu przyspieszono działanie algorytmu trzykrotnie dla średniego przy-

Zakończenie

127

padku. Algorytm ten wykorzystano do klasyfikacji obiektów w barwnych obrazach cytologicznych tkanki nowotworowej;

algorytm segmentacji oparty na metodzie zalewania obszarów z redukcją zjawiska nadmiernej segmentacji. Algorytm ten został wykorzystany w obu projektowanych systemach i umożliwił segmentację obiektów tworzących skupiska (zarówno jądra komórkowe nowotworu jak i limfocyty).

Przygotowanie algorytmów wymagało znacznego wysiłku programistyczne-go:

zaimplementowano w języku C++ własną bibliotekę procedur do przetwarzania i analizy obrazów;

na potrzeby zaprojektowanych systemów i aplikacje testujące algorytmy na-pisano łącznie 950 kB kodu źródłowego, zawierającego 80 klas i ponad 1100 funkcji.

Wyniki badań przedstawiono w 15 publikacjach, w tym na konferencjach międzynarodowych IEEE.

Czy udowodniono tezy pracy?

Pierwsza teza pracy „Opracowane przez autora rozprawy algorytmy prze-twarzania i analizy ilościowej barwnych obrazów mikroskopowych tkanki nowotworowej umożliwią obiektywną i szybką diagnozę raka piersi” została udowodniona, ponieważ:

Dla ponad 90% przeanalizowanych obrazów mikroskopowych możliwa jest wiarygodna automatyczna segmentacja wybranej klasy obrazów. Badanie statystyczne dowodzi porównywalności wyników z badaniem ręcznym.

Pomimo, że najważniejszym założeniem dla opracowania algorytmów była jakość przetwarzania osiągnięto zadowalającą szybkość przetwarzania obra-zów, kilkadziesiąt razy większą niż osiągalna dla badania ręcznego. Szyb-kość działania programu umożliwia przeprowadzenie analizy jednego pre-paratu mikroskopowego w czasie jednej minuty – podczas gdy wykwalifi-kowany pracownik laboratorium potrzebuje jednej godziny.

Wykazano statystycznie, że dla obrazów trudnych (gorszej jakości), dla któ-rych wyznaczona automatycznie liczba jąder komórkowych wyraźnie odbie-ga od wyników otrzymanych ręcznie równoważnym wskaźnikiem diagno-stycznym jest pole powierzchni jąder komórkowych zabarwionych pozy-tywnie. Ocena taka nie była by możliwa bez użycia programu komputero-wego. W rutynowych badaniach histopatologicznych obrazów takich nie analizuje się, uznając je za nieprzydatne.

Druga teza pracy, która brzmi „Algorytmy przetwarzania i analizy obrazów opracowane dla potrzeb realizacji zadań ujętych w tezie 1 są na tyle uniwer-

Zakończenie

128

salne, że mogą być zastosowane przy prognozowaniu stanu nerki po prze-szczepie” również została udowodniona, gdyż:

Stosując zaprojektowane dla potrzeb systemu diagnostyki obrazów mikro-skopowych tkani raka algorytmy i metody przetwarzania obrazu udało się zaprojektować tani i skuteczny system wykonujący analizę obrazów tzw. spotów stosowaną np. do wczesnego wykrywania rozwijającego się prze-wlekłego odrzucania przeszczepu nerki.

System daje wyniki porównywalne do tych uzyskanych przez ośrodek dys-ponujący komercyjnym oprogramowaniem; ponadto umożliwia dopasowa-nie metod analizy do potrzeb Katedry Nefrologii Akademii Medycznej we Wrocławiu.

Wnioski z przeprowadzonych eksperymentów i planowane dalsze badania

W celu podniesienia wiarygodności wyników badania ręcznego tkanki nowo-tworowej uznanych jako wzorcowe, należy zwiększyć ich ilość i liczbę osób przeprowadzających eksperymenty. Aby w sposób wyczerpujący przeprowa-dzić weryfikację wydajności i jakości algorytmu segmentacji metodą działów wodnych, planowana jest implementacja wszystkich wcześniejszych wersji tego algorytmu na tej samej platformie programistycznej.

W pracy pokazano, że opracowane algorytmy i ich kombinacje można użyć w obu systemach przetwarzania obrazu. Jest więc prawdopodobne, że uda się za-projektować jeszcze inny system przetwarzania obrazów, który będzie je wyko-rzystywał.

Prace nad nową metodą diagnostyczną w Akademii Medycznej we Wrocła-wiu nadal będą trwać już w ramach wspólnego przyznanego ostatnio (czerwiec 2005) grantu Ministerstwa Nauki i Informatyzacji nr: 3T11E02929 nt. „Opraco-wanie systemu analizy obrazów uzyskiwanych w immunoenzymatycznej wi-zualizacji aktywności wydzielniczej limfocytów metodą ELISPOT”. Obecnie przeprowadza się testy pozwalające na uzyskiwanie preparatów dwubarw-nych. Ich analiza będzie wymagała opracowania nowego algorytmu przetwa-rzania obrazów.

Wykaz literatury

Wykaz literatury

131

[1] AID Autoimmun Diagnostika GmbH, Germany. http://www.elispot.com/ (link sprawdzony 18.07.2005)

[2] ALPARONE L., BARNI M., BARTOLINI F., CAPPELINI V. (1996): Adaptively weighted vector-median filters for motion-fields smoothing. Proceedings of the International Conference on Acoustic Speech and Sig-nal Processing ICASSP'96, Atlanta, Georgia, USA, pp. 2267–2270, May 7-10, 1996.

[3] ASTOLA J., HAAVISTO P. NEUVO Y. (1990): Vector median filters. Proc. IEEE, vol. 78 no. 4, pp. 678–689, April 1990.

[4] BALASUBRAMAIAN R., ALLEBACH J., BOUMAN C. A.(1994): Color image quantization with use of a fast binary splitting technique. Journal of the Optical Society of America, 11(11), pp. 2777–2786, Nov. 1994.

[5] BERNSEN J. (1986): Dynamic thresholding of grey-level images. Proceedings 8th International Conference on Pattern Recognition, Paris, pp. 1251–1255.

[6] BEUCHER S., MEYER F. (1990): Morphological segmentation. Journal of Visual Communication and Image Representation, 1, Vol. 1, Oct. 1990.

[7] BEUCHER S., LANTUEJOUL C. (1979): Use of watersheds in contour detection. International Workshop on image processing, real-time edge and motion detection /estimation, Rennes, France.

[8] BIENIECKI W., GRABOWSKI Sz. (2002): Automatyczna analiza ilościowa cytologicznych obrazów mikro-skopowych. Seminarium Słok Przetwarzanie sygnałów w systemach wizji i sterowania, str. 85.

[9] BIENIECKI W., GRABOWSKI Sz., SEKULSKA J., KAŁUŻYŃSKI A., TURANT M. (2002): System prze-twarzania patomorfologicznych obrazów mikroskopowych. X Konferencja Sieci i Systemy Informatyczne, vol. 2 str. 485–499, Łódź.

[10] BIENIECKI W., GRABOWSKI Sz., SEKULSKA J., TURANT M., KAŁUŻYŃSKI A. (2003a): Automatic segmentation and recognition of patomorphological microscopic images. Proceedings of CADSM 2003 IEEE International Conference, Lviv-Slavsk, Ukraine, pp.461–464.

[11] BIENIECKI W., GRABOWSKI Sz., SEKULSKA J. (2003b): A system for pathomorphological microscopic image analysis. KOSYR 2003 Computer Recognition Systems, Wrocław, str. 21–28.

[12] BIENIECKI W. (2003): Image segmentation and recognition techniques for cytology. KOSYR 2003, Com-puter Recognition Systems, Wrocław, pp. 77–82.

[13] BIENIECKI W., SEKULSKA J. (2003): Segmentacja i analiza obrazów mikroskopowych barwionych immu-nohistochemicznie. Automatyka, t. 7, zeszyt 3, Uczelniane Wydawnictwa Naukowo-Dydaktyczne, Kraków, str. 283–293.

[14] BIENIECKI W. (2004): Oversegmentation avoidance in watershed-based algorithms for color images. Pro-ceedings of IEEE International Conference TCSET 2004, Lviv-Slavsk, Ukraine, pp. 169–172.

[15] BIENIECKI W., GRABOWSKI Sz. (2004): Nearest Neighbor classifiers for color image segmentation. Pro-ceedings of IEEE International Conference TCSET 2004, Lviv–Slavsk, Ukraine, pp. 209–212.

[16] BIENIECKI W., SANKOWSKI D., KOŚCIELSKA-KASPRZAK K. (2004): System analizy obrazów uzyski-wanych w immunoenzymatycznej wizualizacji aktywności wydzielniczej limfocytów metodą ELISPOT. Auto-matyka, t. 8. z. 3. Uczelniane Wydawnictwa Naukowo-Dydaktyczne, Kraków, str. 63–71.

[17] BIENIECKI W., GRABOWSKI Sz., (2005a): Multi-pass approach to adaptive thresholding based image segmentation. Proceedings of the 8th International IEEE Conference CADSM 2005, Lviv–Polyana, Ukraine, pp. 418–423.

[18] BIENIECKI W., GRABOWSKI Sz., (2005b): Wybrane zagadnienia przetwarzania i analizy obrazów mikro-skopowych w diagnostyce medycznej. Prace naukowe Katedry Informatyki Stosowanej, Zeszyt Jubileuszowy 10 lat KIS, Łódź, str. 155-164.

[19] BIENIECKI W., GRABOWSKI Sz., SANKOWSKI D., KOŚCIELSKA-KASPRZAK K., BERNAT B., KLINGER M. (2005): An Efficient Processing and Analysis Algorithm for Images Obtained from Immunoen-zymatic Visualization of Secretory Activity. Proceedings of the 8th. International IEEE Conference CADSM 2005, Lviv-Polyana, Ukraine, pp. 458–460.

[20] BREAKIT Project, http://sos.ist.unige.it/breakit/ (link sprawdzony 18.07.2005)

[21] BRUCE J., BALCH T., VELOSO M. (2000): Fast and inexpensive Color Image Segmentation for Interactive Robots. Proceedings of the 2000 IEEE/RS Int. Conference on Intelligent Robots and Systems, pp. 2061–2066.

Wykaz literatury

132

[22] CELENK M. (1990): A color clustering technique for color image segmentation. Computer Vision, Graphics, and Image Processing, 52:145–170.

[23] CHABŁOWSKI J., SKULIMOWSKI W. (1982): Telewizja w pytaniach i odpowiedziach. WNT, Warszawa.

[24] CHENG H. D., JIANG X. H., SUN Y., WANG J. (2001): Color image segmentation: advances and pros-pects. Pattern Recognition, 34 pp. 2259–2281.

[25] CHENG Y. (1995): Mean shift, mode seeking and clustering. IEEE Trans. Pattern Analysis and Machine In-telligence, vol. 17, pp. 790–799.

[26] CHU C. H., DELP E. J. (1989): Impulsive noise suppression and background normalization of electrocardio-gram signals using morphological operators. IEEE Transactions on Biomedical Engineering, vol. 36, no. 2, pp. 262-273, Feb. 1989.

[27] COLLINS C. L. (1994): The Challenge of Cytology Proficiency Testing. Laboratory Medicine: Vol. 25, No. 4, April 1994

[28] COMANICIU D., MEER P. (1999): Mean Shift Analysis and Applications. IEEE Int. Conf. Computer Vision (ICCV'99), Kerkyra, Greece, 1197–1203.

[29] COMANICIU D., MEER P., FORAN D. (2000): Image Guided Decision Support System for Pathology. Ma-chine Vision and Applications, Vol. 11, No. 4, pp. 213-224.

[30] COMER M. L., DELP E. J. (1999): Morphological operations for color image processing. Journal of Electro-nic Imaging 8 (03), Jul. 1999, pp. 279-289.

[31] CORMEN T. H. (2004): Wprowadzenie do algorytmów. WNT Warszawa.

[32] DE GRUIJTER J. J., MC BRATNEY A. B. (1998): A modified fuzzy k-means for predictive classification. in: Bock, H. H. (ed) Classification and Related Methods of Data Analysis, pp. 97–104. Elsevier Science, Amster-dam.

[33] DEVIJVER P. A., KITTLER J. (1982): Pattern Recognition: A Statistical Approach. Prentice Hall, London, 1982.

[34] EOM K. B. (1999): Segmentation of monochrome and color texture using moving average modeling ap-proach. Image Vision Comput. 17 233–244.

[35] European Molecular Biology Organization http://www.emboj.org (link sprawdzony 18.07.2005)

[36] FEREZ F., KOCH C. (1994): Toward color image segmentation in analog VLSI: Algorithm and Hardware. International Journal of Computer Vision, 12(1):17-42.

[37] "FIX E., HODGES J. L. (1952): Discriminatory Analysis: Non-parametric Discrimination Small Sample Per-formance. Project 21-49-004, Report Number 11, USAF School of Aviation Medicine, Randolph Field, Texas, pp. 280–322, 1952; reprinted in the book: B. V. Dasarathy, “NN Pattern Classification Techniques,” pp. 40–56, IEEE Computer Society Press, 1991."

[38] FOLEY J. D., VAN DAM A., FEINER S. K., HUGHES J. F. (1990): Computer Graphics: principles and practice. Addison Wesley Publishing Company, sec. ed. 1990.

[39] FUKUNAGA K., HOSTETLER B. (1975): The estimation of the gradient of a density function, with applica-tions in pattern recognition. IEEE Trans. Information Theory 21, pp.: 32–40.

[40] GEBAUER B. S., HRICIK D. E., ATALLAH A., BRYAN K., RILEY J., TARY-LEHMANN M., GREENSPAN N. S., DEJELO C., BOEHM B. O., HERING B. J., HEEGER P. S. (2002): Evolution of the en-zyme-linked immunosorbent spot assay for post-transplant alloreactivity as a potentially useful immune moni-toring tool. Am. J. Transplant. vol. 2, pp. 857-866.

[41] GENTILE R., ALLEBACH J., WALOWIT E. (1990): Quantization of color images based on uniform color spaces. Journal of Imaging Technology, 16(1): pp. 11–21, Feb. 1990.

[42] GONZALES R. F., WOODS R. E. (1992): Digital image processing. Addison-Wesley Publishing Company, MA.

[43] GRABOWSKI SZ. (2003): Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej. Praca doktorska, Akademia Górniczo-Hutnicza, Kraków 2003.

[44] GRABOWSKI SZ., BIENIECKI W. (2002): Usuwanie szumu impulsowego w obrazach kolorowych przy uży-ciu zmodyfikowanego filtru medianowego. X Konferencja „Sieci i Systemy Informatyczne”, str. 515–523.

Wykaz literatury

133

[45] GRABOWSKI SZ., BIENIECKI W. (2003a): A two-pass median-like filter for impulse noise removal in mul-ti-channel images. III Konferencja “Komputerowe Systemy Rozpoznawania” KOSYR2003, Miłków k/Karpacza, pp. 195-200.

[46] GRABOWSKI Sz., BIENIECKI W. (2003b): A two-pass median filter for impulse noise attenuation in color images. Proceedings of CADSM 2003 International IEEE Conference, Lviv–Slavsk, Ukraine, pp. 101–104.

[47] HAMADANI N. (1981): Automatic target cueing in IR imagery. Master’s thesis, AIR Force Institute of Tech-nology, WPAFB, Ohio, Dec. 1981.

[48] HANBURY A., SERRA J. (2001b): Mathematical Morphology in the HLS Colour Space. 12th British Ma-chine Vision Conference, Manchester, UK, September 2001.

[49] HANBURY A., SERRA J. (2001a): Mathematical Morphology in the L*a*b* Space. 8th European Congress for Stereology and Image Analysis, Sept. 2001, Bordeaux, France.

[50] HANCE G. A., UMBAUGH S. E., MOSS R. H., STOECKER W. V.: Unsupervised color image segmenta-tion with application to skin tumor borders. IEEE Eng. Med. Biol. 15 (1) (1996) 104–111.

[51] HANSEN M. W., HIGGINS W. E. (1997): Relaxation methods for supervised image segmentation. IEEE Transactions on Pattern Recognition and Machine Intelligence, vol. 19, no. 9, 1997, pp. 949-962.

[52] HANSON A. R., RISEMAN E. R. (1978): Segmentation of natural scenes. In Hanson and Riseman, editors, Computer Vision Systems, pp. 129–163, Academic Press, NJ.

[53] HARALICK R. M., SHAPIRO L. G. (1985): Image segmentation techniques. Computer Vision, Graphics and Image Processing, 29:100-132, 1985.

[54] HARALICK R. M., STERNBERG S. R. AND ZHUANG X. (1987): Image analysis, using mathematical morphology. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 9, no. 4, pp. 532-557.

[55] HEEGER P. S. (2003): T-cell allorecognition and transplant rejection: a summary and update. Am. J. Trans-plant. vol. 3, pp. 525-533.

[56] HESSE M. D., KARULIN A. Y., BOEHM B. O., LEHMANN P. V., TARY-LEHMANN M. (2001): A T cell clone's avidity is a function of its activation state. J. Immunol. vol. 167, pp. 1353-1361.

[57] HIGGINS W., OJARD E. (1993): Interactive morphological watershed analysis for 3D medical images. Computerized Medical Imaging and Graphics, 17(4/5):387–395.

[58] Holmes Effect, University of Dellware http://www.udel.edu/Biology/Wags/b667/lect6/lect6_11.gif (link sprawdzony 18.07.2005)

[59] HRICIK D. E., RODRIGUEZ V., RILEY J., BRYAN K., TARY-LEHMANN M., GREENSPAN N., DEJELO C., SCHULAK J. A., HEEGER P. S. (2003): Enzyme linked immunosorbent spot (ELISPOT) assay for inter-feron-gamma independently predicts renal function in kidney transplant recipients. Am. J. Trans-plant. vol. 3, pp. 878-884.

[60] HUFNAGL P., VOSS K. (1984): Merkmale der Form, Größe und Lage digitaler Objekte. Bild und Ton 1984, 37, pp. 293-299.

[61] Immunospot http://www.immunospot.com (link sprawdzony 18.07.2005)

[62] JACKWAY P. T. (1995): Morphological multiscale gradient watershed image analysis. In G Borgefors, edi-tor 9th SCIA Scandinavian Conference on Image Analysis, pp. 87-94, June 1995.

[63] JAIN R., KASTURI R., SCHUNCK B. G. (1995): Machine Vision. McGraw-Hill.

[64] KARAKOS D. G., TRAHANIAS P. E. (1995): Combining vector median and vector directional filters: The directional-distance filters. Proceedings of the IEEE Conference on Image Processing, ICIP-95, pp. 171–174, October 1995.

[65] KARULIN A. Y., HESSE M. D., TARY-LEHMANN M., LEHMANN P. V. (2000): Single-cytokine-producing CD4 memory cells prevail in vivo, in type 1/type 2 immunity. J. Immunol. vol. 164, pp. 1862-1872.

[66] KHRIJI L., GABBOUJ M. (1999): Vector Median-Rational Hybrid Filters for Multichannel Image Process-ing. IEEE Signal Processing Letters, vol. 6, no. 7, pp. 186–190, July 1999.

[67] KITTLER J., ILLINGWORTH J., FOGLEIN J.(1985): Threshold selection based in a simple image statistic. Computer Vision, Graphics and Image Processing, vol.30, pp. 125–147.

Wykaz literatury

134

[68] KLENCKI M., LEWIŃSKI A. (1993): “Karyometry Manager” ver. 1.2 – the computer system for mor-phometric analysis of cell nuclei. The 7th International Symposium on System-Modelling-Control, Zakopane, Zakopane, vol. 1, pp. 252-255.

[69] KLENCKI M., SŁOWIŃSKA-KLENCKA D., LEWIŃSKI A. (1997): System for microscopic image analysis for the MS Windows 95 environment. Computers in Medicine 4, Zakopane, pp. 191-193.

[70] KLENCKI M., SŁOWIŃSKA-KLENCKA D., LEWIŃSKI A. (1999): Quantitative analysis of argyrophilic nucleolar organizing regions (AgNORs) with specialised Windows 95/NT application. Computers in Medicine 5, Zakopane, vol. 1 pp. 81-84.

[71] KLENCKI M. (2002): Zastosowanie systemu komputerowej analizy obrazu mikroskopowego i własnego opro-gramowania do pomiaru wybranych wskaźników charakteryzujących procesy wzrostowe tkanek. Rozprawa habilitacyjna. Endokrynologia Polska, suplement 4 do zeszytu 4/2002, t. 53, Łódź.

[72] KORZYŃSKA A., HOPPE A., STROJNY W., WERTHAEIM D. (2003): Segmentation of neutrphil images using texture analysis and a contour based technique. Konferencja KOSYR2003, Wrocław, pp. 29-33.

[73] LEZORAY O., CARDOT H. (2002): Histogram and Watershed Based Segmentation of Color Images. In Pro-ceedings of CGIV’2002, pp. 358–362, France.

[74] LIEW A. W. C., LEUNG S. H., LAU W. H. (2000): Fuzzy image clustering incorporating spatial continuity. IEE Proceedings on Vision Image Signal Processing, 147(2), pp. 185–192, Apr 2000.

[75] LIM Y. W., LEE S. U. (1990): On color image segmentation algorithm based on the thresholding and fuzzy c-means techniques. Pattern Recognition, 23(9), pp. 935–952.

[76] LISBOA P., IFEAHOR E., SZCZEPANIAK P. (2000): Artificial Neural Networks in Biomedicine. Springer Verlag, London.

[77] MACQUEEN J. (1967): Some methods for classification and analysis of multivariate observations. 5th Berke-ley Symposium on Mathematics, Statistics and Probability, University of California Press, Berkeley, CA, USA, Vol. 1, pp. 281–296.

[78] MARAGOS P. A., SCHAFER R. W. (1987): Morphological filters – Part 1: Their set-theoretic analysis and relations to linear shift-invariant filter. IEEE Transactions on Acoustics, Speech and Signal Processing, vol. ASSP-35, no 8, pp.1153-1169, 1987.

[79] MATERKA A. (1991): Elementy cyfrowego przetwarzania i analizy obrazów. PWN, Warszawa.

[80] "METZLER V., LEHMANN T., BIENERT H., MOTTAGHY K., SPITZER K. (2000): Scale-independent shape analysis for quantitative cytology using mathematical morphology. Comput Biol Med. 2000 May;30(3):135-51."

[81] MEYER F. (1992): Color image segmentation. In Proceedings of the International Conference on Image Proc-essing and its Applications, pp. 303–306.

[82] MEYER F. (1994): Topographic distance and watershed lines. Signal Processing, 38(1): 113–125, July 1994.

[83] MOGA A. N., CRAMARIUC B., GABBOUJ M.(1995): A parallel watershed algorithm based on rainfalling simulation. In European Conference on Circuit Theory and Design, vol. 1, pp. 339–342, Istanbul, Turkey.

[84] MOGA A. N., GABBOUJ M. (1997): Parallel image component labeling with watershed transformations. IEEE Transactions on Pattern Analysis an Machine Intelligence, 19(5):441–450.

[85] MORRIS O. J., LEE M.J., CONSTANTINIDES A.G. (1986): Graph Theory for Image Analysis: an Ap-proach Based on the Shortest Spanning Tree. IEE Proceedings, Vol. 1333, pp. 146-152.

[86] MORRIS H. R., HOYT C. C., TREADO P. J. (1994): Imaging spectrometers for fluorescent and Raman mi-croscopy: acusto-optic and liquid crystal tunable filters. Applied Spectroscopy 48, pp. 857-866.

[87] NAJMAN L., SCHMITT M. (1996): Geodesic Saliency of Watershed Contours and Hierarchical Segmenta-tion. IEEE Transactions On Pattern Analysis And Machine Intelligence, December 1996 (Vol. 18, No. 12).

[88] OHLANDER R., PRICE K., REDDY D. R. (1978): Picture segmentation using a recursive region splitting method. In Computer Graphics and Image Processing, 8, pp. 313–333.

[89] ORCHARD M. T., BOUMAN C. A. (1991): Color quantization of images. IEEE Transactions on Signal Pro-cessing, 39(12), pp. 2677–2690.

Wykaz literatury

135

[90] OTHA Y. I., KKANADE T., SAKAI T. (1980): Color information for region segmentation. In Computer Graphics and Image Processing, 13, pp. 222–241.

[91] OTHA Y.(1985): Knowledge-based Interpretation of Outdoor Natural Color Scenes. Pitman Advanced Pu-blishing Program, Boston, Massachusetts.

[92] OTSU N. (1979): A threshold selection method from gray-level histograms. IEEE Transactions on Systems, Man and Cybernetics, vol. SMC-9, pp. 62–66, Jan. 1979.

[93] OVERTURF L. A., COMER M. L., DELP E. J. (1995): Color image coding using morphological pyramid decomposition. IEEE Transactions on Image Processing.

[94] PAVLIDIS T. (1987): Grafika i przetwarzanie obrazów, WNT, Warszawa

[95] Perceptive Instruments Ltd. http://www.perceptive.co.uk/colonycounter (link sprawdzony 18.07.2005)

[96] PETERS II R. A. (1997): Mathematical morphology for angle-valued images. In Non-Linear Image Pro-cessing VIII. SPIE vol. 3026.

[97] PIETIKAINEN M., HARWOOD D. (1986): Segmentation of color images using edge-preserving filters. In V. Capellini and R. Marconi, editors, Advance Image Processing and Pattern Recognition, pp. 94-99, North-Holland.

[98] POLKOWSKI W. i in. (1997): Analytical and Quantitative Cytology and Histology 19: 246 (1997).

[99] POWER W., CLIST R. (1996): Comparison of supervised learning techniques applied to color segmentation of fruit image. Proceedings of SPIE, Intelligent Roberts and Computer Vision XV: Algorithms, Techniques, Active Vision, and Materials Handling, Boston, Massachusetts, November 19-21, 1996, pp. 370–381.

[100] PRATT W. K. (1987): Digital Image Processing. John Wiley & Sons, New York, USA.

[101] REGAZZONI C. S., TESCHIONI A. (1997): A New Approach to Vector Median Filtering Based on Space Filling Curves. IEEE Transactions on Image Processing 6, pp. 1025–1037.

[102] RITTER G., WILSON J. (2001): Handbook of computer vision and image algebra. CRC Press, London, New York, Washington D.C.

[103] S. H. PARK, I. D. YUN, S. U. LEE: Color image segmentation based on 3D clustering: morphological ap-proach. Pattern Recognition, 31(8), pp. 1061–1076, 1998.

[104] SAHOO P. K., SOLTANI S., WONG A. C., CHEN Y. C. (1988): A survey of thresholding techniques. Com-puter Vision, Graphics and Image Processing, vol. 41, pp. 233–260, 1988.

[105] SANKOWSKI D., MOSOROV V. (2002): The analysis of dependence of watershed transformation of raster-scan order. In Proc. IEEE TCSET'2002, Lviv, Ukraine, pp. 237–238.

[106] SANKOWSKI W., JABŁOŃSKI P., NAPIERALSKI A., BARADAD V. P. (2004): Identyfikacja rodzaju ryby przy wykorzystaniu algorytmów adaptacyjnej kwantyzacji wektorów. XII Konferencja Sieci i Systemy In-formatyczne. Teoria, projekty, wdrożenia, aplikacje. T.2. str. 535-542, Łódź.

[107] SANKUR B., SEZGIN M. (2004): A Survey Over Image Thresholding Techniques And Quantitative Per-formance Evaluation. (accepted), Journal of Electronic Imaging, 13(1), pp. 146–165.

[108] ScanAnalytics http://www.scananalytics.com (link sprawdzony 18.07.2005)

[109] SCHETTINI R. (1993): A segmentation algorithm for color images. Pattern Recognition Letters, 14, pp. 499–506.

[110] SERRA J. (1982): Image Analysis and Mathematical Morphology. New York: Academic Press, 1982.

[111] SKALAK D. B. (1994): Prototype and feature selection by sampling and random mutation hill climbing algo-rithms. In Proceedings of the 11th Int. Conf. on Machine Learning, New Brunswick, NJ, USA, pp. 293–301.

[112] SMOŁKA B., SZCZEPAŃSKI M., PLATANIOTIS K. N., VENETSANOPOULOS A. N. (2001): New tech-nique of impulse noise suppression in color images. II Konferencja „Komputerowe Systemy Rozpoznawania” KOSYR2001, Miłków k/Karpacza, str. 225–232.

[113] Software Alpha Innotech Corporation http://www.adpsa.co.za/Alpha/

[114] SONKA M., HLAVAC V., BOYLE R. (1998): Image Processing, Analysis and Machine Vision. Brooks Cole 2. edition, 1998.

[115] STARKER S. K. et al.(1997): Analytical and Quantitative Cytology and Histology 19: 87.

Wykaz literatury

136

[116] STARZ H. (1991): Immunohistochemistry on Paraffin Sections. GIT Verlag, Darmstadt.

[117] STERNBERG S. R. (1983): Biomedical image processing. IEEE Computer Magazine, pp. 22-24.

[118] STOEV S. L. (2000): RafSi - A Fast Watershed Algorithm Based on Rainfalling Simulation. Proceedings of 8th International Conference on Computer Graphics, Visualization, and Interactive Digital Media (2000), pp. 100-107.

[119] STOEV S., STRASSER W. (2000): Extracting regions of interest applying local watershed transformation. Proceedings of the 11th Annual IEEE Conference on Visualization (VIS-2000), pp. 21–28, ACM Press.

[120] STOLIŃSKI S. (2004), Filtry medianowe dla usuwania szumu z obrazów barwnych. Praca magisterska, Wy-dział Elektrotechniki I Elektroniki Politechniki Łódzkiej.

[121] STRZECHA K. (2001): Wybrane metody przetwarzania i analizy obrazów dla wysokotemperaturowych po-miarów własności fizykochemicznych. Praca doktorska, Politechnika Łódzka, Łódź.

[122] SUN F., MARAGOS P.(1989): Experiments on image compression using morphological pyramids. Proceed-ings of the SPIE Visual Communications and Image Processing Conference IV, vol. 1199, pp. 1303-1312.

[123] SZYMAŃSKI T., KIEŁBIK R., NAPIERALSKI A. (2002): Detekcja krawędzi w obrazach ruchomych czasu rzeczywistego w oparciu o system rekonfigurowalny. RUC'2002. Materiały V Krajowej Konferencji Naukowej Reprogramowalne Układy Cyfrowe. Szczecin, str.147-153.

[124] SZYMAŃSKI T., KIEŁBIK R., NAPIERALSKI A. (2004): Filtracja medianowa obrazów ruchomych czasu rzeczywistego w oparciu o system rekonfigurowalny. Reprogramowalne Układy Cyfrowe. Materiały V Krajo-wej Konferencji Naukowej Szczecin RUC'2004. str.189-194.

[125] TADEUSIEWICZ R., KOROHODA J. (1997): Komputerowa analiza i przetwarzanie obrazów. Wydawnic-two Fundacji Postępu Telekomunikacji, Kraków.

[126] TARY-LEHMANN M., HRICIK D. E., JUSTICE A. C., POTTER N. S., HEEGER P. S. (1998): Enzyme-linked immunosorbent assay spot detection of interferon-gamma and interleukin 5-producing cells as a pre-dictive marker for renal allograft failure. Transplantation. vol. 66, pp. 219-224.

[127] TOMINAGA S. (1990): A color classification method for color images using an uniform color space. In Pro-ceedings of the Tenth International Conference on Pattern Recognition, pp 803-807, 1990, Atlantic City, NJ, June 16-21.

[128] TOMINAGA S. (1992): Color classification of natural color images. Color Research and Application, 17(4), pp. 230–239.

[129] TRAHANIAS P., VENETSANAPOULOS A. (1993): Vector directional filters: A new class of multichannel image processing filters. IEEE Transactions on Image Processing 2, pp. 528–534, April 1993.

[130] TREMEAU A., BOREL N. (1997): A region growing and merging algorithm to color segmentation. Pattern Recognition, 30, pp. 1191-1203.

[131] TURANT M. (2004): Badania nad ilościową oceną receptorów estrogenowego i progesteronowego w raku gruczołu piersiowego w zależności od materiału biologicznego oraz typu nowotworu. Praca doktorska, Insty-tut “Centrum Zdrowia Matki Polki” w Łodzi.

[132] UCHIYAMA T., ARBIB M. A. (1994): Color image segmentation using competitive Learning. IEEE Tran-sactions on Pattern Analysis and Machine Intelligence, 16(12), pp. 1197–1206.

[133] VARDAVOULIA M. I., ANDREADIS I., TSALIDES PH. (2001): A New Vector Median Filter for Colour Image Processing. Pattern Recognition Letters 22 (2001) 675–689.

[134] VERSTEEGEN J. M., LOGTENBERG T., BALLIEUX R. E. (1998): Enumeration of IFN-gamma-producing human lymphocytes by spot-ELISA. A method to detect lymphokine-producing lymphocytes at the single-cell level. J. Immunol. Methods. vol. 111, pp. 25-29, 1998.

[135] VIERO T., ÖISTAMÖ K., NEUVO Y. (1994): Three-dimensional median-related filters for color image se-quence filtering. IEEE Transactions on Circuits and Systems for Video Technology, vol. 4, no. 2, pp. 129–142, April 1994.

[136] VINCENT L., SOILLE P. (1991): Watersheds in digital spaces: An efficient algorithm based on immersion simulations. IEEE PAMI, 1991, 13(6): 583-598.

[137] WIATR, K. (1998): Architektura potokowa specjalizowanych procesorów sprzętowych do wstępnego prze-twarzania obrazów w systemach wizyjnych czasu rzeczywistego. Wydawnictwa AGH, Kraków.

Wykaz literatury

137

[138] ZABEL M. (red) (1999): Immunocytochemia. Wydawnictwo Naukowe PWN, Warszawa.

[139] Zeiss KS Elispot http://www.zeiss.de/elispot/ (link sprawdzony 18.07.2005)

[140] ZHENG J., VALAVANIS K. P., GAUCH J. M. (1993): Noise Removal from Color Images. J. Intelligent and Robotic Systems 7 (1993), 257–285.

[141] ZIELIŃSKI K., STRZELECKI M. (2002): Komputerowa analiza obrazu biomedycznego. PWN, W-wa, Łódź.

[142] ZUBERT M., NAPIERALSKA M., SOBÓW T., LIBERSKI P., GRAMS A. R., NAPIERALSKI A., GRABOWSKI J. (1999): An approach to the microscope image classification of brain amyloidosis diseases by filtering process of amyloid plaque. Proceedings of the XXIInd National Conference on Circuit Theory and Electronic Networks. 2, s.497-501, Warszawa.

Załącznik A: Segmentacja obrazu – podsta-wowe definicje

Zrozumienie algorytmów segmentacji obrazu wymaga precyzyjnego zdefiniowania pojęć, którymi operuje się przy okazji omawiania metod segmentacji, dokonywania analizy istniejących algorytmów oraz bu-dowania nowych. Wygodnym modelem matematycznym dla opisu tych zagadnień jest model grafu. Poniżej zaprezentowano własne opra-cowanie dobrze znanych definicji.

Segmentacja obrazu – podstawowe definicje

139

A.1 Grafy

Def. A-1 Graf

Grafem ( )EVG ,= nazywamy parę złożoną ze zbioru wierzchołków (lub wę-złów) V i zbioru par wierzchołków VVE ×⊆ .

Def. A-2 Graf skierowany

Graf nazywamy skierowanym, wtedy i tylko wtedy, gdy para ( ) Ewu ∈, jest uporządkowana.

Def. A-3 Krawędź grafu

Parę ( )wu, nazywamy krawędzią (lub incydencją) w przypadku grafu nie-uporządkowanego lub łukiem – w przypadku grafu uporządkowanego. Punkty u i v nazywamy sąsiadami. Zbiór wszystkich sąsiadów wierzchołka v oznaczamy ( )vNG .

Def. A-4 Ścieżka

Ścieżką (drogą) γ o długości l dla grafu G z wierzchołka p do wierzchołka q nazywamy sekwencję ( )ll pppp ,,,, 110 −K taką, że pp =0 , qpl = oraz

[ ) ( ) Eppli ii ∈∈∀ +1,,0 . Ścieżkę nazywamy prostą, gdy wszystkie wierzchoł-ki są różne. Jeżeli istnieje ścieżka z wierzchołka p do wierzchołka q, co ozna-czamy qp → , mówimy, że wierzchołek q jest osiągalny z wierzchołka p.

Def. A-5 Graf spójny

Graf nieskierowany nazywamy spójnym, jeżeli qpEqp →∈∀ , .

Def. A-6 Podgraf

Podgrafem ( )EVG ′′=′ , grafu ( )EVG ,= nazywamy taki graf, dla którego VVEEEVV ′×′⊆′⊆′⊆′ .

Def. A-7 Komponent spójny

Komponentem spójnym grafu nazywamy maksymalny spójny podgraf gra-fu. Graf G można wyrazić jako sumę komponentów spójnych grafu.


140

Def. A-8 Graf ważony

Grafem ważonym nazywamy trójkę ( )fEVG ,,= , gdzie RVf →: jest funk-cją zdefiniowaną dla węzłów, lub trójkę ( )wEVG ,,= , gdzie REw →: , jest funkcją przyporządkowującą wartości krawędziom.

Def. A-9 Komponent spójny dla poziomu h

Komponentem spójnym P dla poziomu h nazywamy taki komponent spójny, którego wszystkie węzły mają wartość h. Brzegiem komponentu spójnego dla poziomu h nazywamy zbiór wszystkich wierzchołków tego komponentu, które posiadają sąsiadów o wartościach różnych od h, a wnętrze komponen-tu spójnego to wszystkie pozostałe punkty.

Def. A-10 Minimum lokalne

Minimum lokalnym jest spójny komponent dla poziomu h taki, że żaden jego węzeł nie posiada sąsiada o wartości mniejszej od h.

A.2 Obraz cyfrowy

Def. A-11 Graf w przestrzeni dyskretnej

Siatka prostokątna reprezentująca dwuwymiarową przestrzeń dyskretną jest jedną z form grafu. Wówczas węzły tego grafu nazywamy pikselami. Jeżeli siatka ZZD ×⊆ jest skończona, wówczas zbiór pikseli D można opisać gra-fem ( )EDG ,= , gdzie E będzie zbiorem par pikseli sąsiadujących. Sąsiedztwo pikseli najczęściej definiujemy jako 4-sąsiedztwo, tzn. definiujemy połączenia pomiędzy pikselem, a czterema pikselami powyżej, poniżej, z lewej i z prawej, lub 8-sąsiedztwo, gdy piksel jest połączony z wszystkimi ośmioma otaczającymi go pikselami.

Odległość pomiędzy sąsiadującymi pikselami ( )qp,ρ zdefiniowana jest jako nieujemna waga przyporządkowana każdej incydencji. Odległość pomiędzy pikselami, które nie są sąsiadami, to minimalna suma odległości pomiędzy pik-selami tworzącymi ścieżkę pomiędzy pikselami p i q.

Def. A-12 Obraz cyfrowy

Cyfrowym obrazem jest graf ważony ( )fEDI ,,= , gdzie [ ] NNNMD ×⊂× ],...,1[,...,1: . Dziedziną funkcji f jest zbiór D, czyli f przypo-

rządkowuje pikselowi pewną wartość. Jeżeli NNNDf ××→: to obraz I jest obrazem barwnym, jeżeli NDf →: to I jest obrazem monochromatycznym, a w przypadku { }1,0: →Df I jest obrazem binarnym. W dalszej części defi-nicje będą dotyczyć obrazu monochromatycznego.


141

Def. A-13 Obszar płaski

Obszar płaski (plateau) dla poziomu h jest to komponent spójny dla poziomu h, co rozumiemy jako spójny zbiór pikseli o tej samej wartości (jasności) h.

Def. A-14 Zbiór progowy

Zbiorem progowym dla obrazu I i progu τ jest zbiór ( ){ }ττ <∈= pfIpT :

Def. A-15 Częściowa segmentacja obrazu

Niech ( )fEDI ,,= będzie obrazem cyfrowym na podstawie Def. A-12. Za-gadnienie częściowej segmentacji polega na znalezieniu funkcji:

{ } NskI ⊂=→ ,,1: Kπ

Innymi słowy, częściowa segmentacja zwana też klasyfikacją pikseli polega na przyporządkowaniu każdemu pikselowi obrazu pewnej etykiety ze zbio-ru k. Jeśli { }1;0=k to proces nazywamy binaryzacją obrazu.

Dla obrazu monochromatycznego jedną metod częściowej segmentacji jest progowanie.

Def. A-16 Częściowa segmentacja obrazu poprzez progowanie

Segmentacja obrazu monochromatycznego ( )fEDI ,,= poprzez progowanie polega na zdefiniowaniu funkcji { }1;0: →Iπ w następujący sposób:

( ) ( )( )

≥<

=ττ

πpfdlapfdla

p10

dla zdefiniowanej pewnej wartości τ, tzw. progu (ang. threshold) jasności, wyznaczającej granicę pomiędzy obiektami a tłem obrazu. Po operacji pro-gowania wszystkim punktom obrazu o jasności mniejszej niż h zostanie przypisana jasność zero zaś punktom o jasności większej – jasność maksy-malna. Segmentacja może być również przeprowadzona z wykorzystaniem większej liczby progów (ang. multithresholding) w celu wyznaczenia większej liczby klas obiektów. Wartości progowe mogą być dobierane ręcznie lub au-tomatycznie, np. na podstawie analizy histogramu obrazu źródłowego.


142

Def. A-17 Częściowa segmentacja obrazu poprzez klasyfikację pikseli

Częściowa segmentacja poprzez klasyfikację pikseli dotyczyć może zarówno obrazu monochromatycznego jak i barwnego. Proces segmentacji można po-dzielić dwa etapy. Pierwszym z nich jest utworzenie T-wymiarowej prze-strzeni cech RT i obliczenie wartości cech w tej przestrzeni dla każdego pikse-la. Formalnie zapisując, konstruuje się funkcję

TI RI →:π

Drugim etapem jest właściwa klasyfikacja, czyli konstrukcja funkcji

kRTII →:π

Funkcję IIπ nazywa się klasyfikatorem. Liczność zbioru k określa liczbę klas.

Def. A-18 Segmentacja obrazu

Niech ( )fEDI ,,= będzie obrazem cyfrowym na podstawie Def. A-12. Za-gadnienie segmentacji polega na znalezieniu zbiorów sIII ,., 21 K takich, że spełnione są warunki:

a) sIII ,., 21 K są komponentami spójnymi;

b) Us

kkII

1=

= ;

c) { } ∅=∩⇒≠∈∀ ji IIjisji ,,,1, K .

Operacja segmentacji polega na zdefiniowaniu funkcji

{ } NsI ⊂→ ,,1: Kπ takiej, że:

{ } ( ) kpIpsk k =⇔∈∈∀ π,,1K

Zbiory sIII ,., 21 K nazywamy obszarami spójnymi, a wartości s,,1K etykie-tami obszarów.

Def. A-19 Obszary sąsiadujące i łączenie obszarów

Obszary spójne III lk ∈, nazywamy sąsiadującymi wtedy i tylko wtedy, gdy

lkp III ∪= jest komponentem spójnym. Wówczas operację tworzenia obsza-ru pI nazywamy łączeniem obszarów.


143

Def. A-20 Podział obszarów

Operacja podziału obszaru pI polega na segmentacji tego obszaru zgodnie z Def. A-18.

Def. A-21 Odległość geodezyjna

Niech dany będzie zbiór ZZA ××⊂ L (ewentualnie RRA ××⊂ L ) oraz punkty Aba ∈, . Odległością geodezyjną ( )baA ,ρ nazywamy minimalną dłu-gość ścieżki wśród wszystkich ścieżek z a do b zawartych w zbiorze A. Jeżeli mamy zbiór AB ⊂ wówczas odległość geodezyjną możemy zdefiniować dla tego zbioru następująco:

( ) ( ){ }baBa ABbA ,min, ρρ ∈= .

Załóżmy, że dokonano segmentacji zbioru AB ⊂ na s obszarów sBBB ,., 21 K . Wówczas geodezyjną strefą zasięgu IZ (ang. geodesic influence zone) dla zbio-ru iB w zbiorze a nazywamy zbiór:

( ) { } ( ) ( ){ }jAiAiA BpBpijsjApBIZ ,,:,,,1: ρρ <≠∈∀∈= K .

Dla obszaru AB ⊂ geodezyjną strefą zasięgu nazywać będziemy sumę stref zasięgu dla poszczególnych podobszarów iB .

( ) ( )Us

iiAA BIZBIZ

1=

= .

Dopełnienie tego zbioru do zbioru A nazywać będziemy szkieletem stref za-sięgu SKIZ (ang. skeleton of influence zones)

( ) ( )AIZABSKIZ AA \= .

SKIZ jest zbiorem wszystkich punktów, które są równoodległe od co naj-mniej dwóch najbliższych komponentów spójnych.

Def. A-22 Funkcja odległości

Niech D będzie zbiorem spójnym, ( )DC przestrzenią funkcji ciągłych, dwu-krotnie różniczkowalnych na zbiorze D, oraz ( )DCf ∈ . Odległością topogra-ficzną pomiędzy punktami p i q ( Dqp ∈, ) nazywamy wyrażenie:

( ) ( )( )dssfqpTf ∫ ∇=γγ

γinf, ,


144

gdzie γ jest ścieżką zawartą w zbiorze D od punktu p do punktu q.

Aby obliczyć odległość topograficzną, należy znaleźć taką ścieżkę, która bę-dzie minimalizować wyrażenie pod całką. Przyjmując analogię do świata rze-czywistego: załóżmy, że człowiek porusza się w terenie górzystym. Jeśli chce pokonać dystans pomiędzy dwoma punktami poruszając się po ograniczonym obszarze tak, aby jak najmniej podchodzić i schodzić, wówczas powinien wy-brać właśnie taką ścieżkę, która minimalizuje wartość pod całką. W szczególności wartość ta może być równa zero.

Odległość topograficzną możemy również zdefiniować dla punktu i zbioru. ( ) ( )apTApT fAaf ,min,

∈=

Def. A-23 Dział wodny

Definicja działu wodnego dla przestrzeni ciągłej opiera się o funkcję odległo-ści.

Załóżmy, że dla obszaru D i funkcji ( )DCf ∈ istnieją poindeksowane mini-ma lokalne { } skkm ,...,1= . Zlewnią dla minimum mi będzie zbiór punktów zbioru D takich, że ich odległość topograficzna do mi jest mniejsza niż do pozosta-łych minimów. Formalnie zapis wygląda następująco:

( ) ( ) ( ) ( ) ( ){ }jfjifii mxTmfmxTmfsiijDxmCB ,,:,...1,1,...1: +<++−=∀∈=

Zbiorem działów wodnych dla funkcji f jest zbiór punktów, które nie należą do żadnej zlewni:

( ) ( )Us

iimCBDfW

1

\=

=

Def. A-24 Operacja zatapiania obszarów

Niech ( )fEDI ,,= , gdzie [ ] NffDf ⊂→ maxmin ,: , będzie obrazem mono-chromatycznym, gdzie maxmin , ff to minimalna i maksymalna jasność. Definiu-jemy procedurę rekurencyjną, gdzie wartością zmienną jest [ ]maxmin , ffh∈ . Oznaczmy przez Xh zbiór obszarów (czyli komponentów spójnych) przetwa-rzanych dla danej wartości h. Komponent spójny dla progu Th+1 może być nowym minimum lokalnym (przez MINh oznaczmy zbiór nowych minimów lokalnych dla progu h), lub rozszerzeniem jednego z istniejących obszarów z Xh. Dla wartości h obliczana jest geodezyjna strefa zasięgu zbioru Xh, dla zbioru progowego Th+1. Zbiór działów wodnych w jest zbiorem punktów nienależących do żadnej geodezyjnej strefy zasięgu.


145

( ){ }( )

∪===∈=

+++ hThh

hh

XIZMINXThpfDpX

h 1

minmin

11

min: (zbiór progowy dla wartości hmin)

( )max

\ hXDfW =

Def. A-25 Wysokość działu wodnego

Załóżmy, że w wyniku segmentacji obrazu i metodą powodziową otrzymali-śmy rozłączne zbiory sIII ,., 21 K , oraz zbiory punktów będące liniami dzia-łów wodnych jiW , , gdzie ( )ji, są indeksami obiektów sąsiadujących, tzn.

( )ji, są takie, że zbiór: jjii IWII ∪∪= ,~ jest komponentem spójnym.

Proces tworzenia zbioru I~ jest procesem łączenia obszarów sąsiadujących. Oznaczmy przez ( ){ }pfH

kIpk ∈= min wartość minimum lokalnego dla każdego

obiektu oraz przez ( ){ }pfHWp

bW ∈= min minimalną wysokość bezwzględną dzia-

łu wodnego. Jako wysokość działu wodnego definiujemy

{ }kbWjikW HHH

jiji−=

= ,, ,min

Innymi słowy wysokość działu wodnego jest to różnica pomiędzy punktem działu wodnego o najmniejszej wartości a największym z minimów lokal-nych dla obszarów rozdzielanych przez ten dział wodny.

Załącznik B: Opracowane dane badawcze

Niniejszy załącznik zawierający dane eksperymentalne i wyniki obli-czeń stanowi uzupełnienie dla rozdziałów 2 – 7. Podczas gdy w wy-mienionych rozdziałach zaprezentowano tylko zbiorcze opracowania danych weryfikujących działanie algorytmów, w niniejszym załączniku znajdują się wyniki cząstkowe w postaci tabel. Dodatkowo zamiesz-czono tu testowane obrazy zarówno w formie pierwotnej jak i przetwo-rzonej.

Opracowane dane badawcze

147

B.1 Rekonstrukcja zaszumionych obrazów barwnych filtrami medianowymi

Na poniższych rysunkach przedstawiono standardowe obrazy testowe uży-wane do określania właściwości badanych algorytmów filtracji.

COUPLE GIRL GIRL2

GIRL3 HOUSE JELLY_BEANS1

JELLY_BEANS2 TREE

Rys. B-1 Obrazy testowe o rozdzielczości 256x256 pikseli


148

AIRPLANE

BABOON

LENA

PEPPERS

SPLASH

SAILBOAT

TIFFANY

Rys. B-2 Obrazy testowe o rozdzielczości 512x512 pikseli

W Tab. B-1 – Tab. B-4 zastawiono wyniki wskaźników dla błędów usuwania szumu dla badanych obrazów, z zastosowaniem różnych wariantów algoryt-mów jednoprzebiegowych i dwuprzebiegowych. W kolumnie „filtr” pogrubie-niem i kolorem zielonym zaznaczono własne algorytmy. W wierszach pogru-bieniem i kursywą zaznaczono najlepsze wyniki (osobno w kategorii algorytmu jednoprzebiegowego i dwuprzebiegowego).


149

Tab. B-1 Jakość rekonstrukcji obrazów zaszumionych: airplane, baboon, couple, girl

Obraz AIRPLANE BABOON COUPLE GIRL % szu-mu Filtr NMSE

[10–3] RMSE [10–3]

NMSE [10–3]

RMSE [10–3]

NMSE [10–3]

RMSE [10–3]

NMSE [10–3]

RMSE [10–3]

– 0,015 0,883 0,486 0,881 0,020 0,857 0,014 0,889 VMF 0,878 6,674 150,852 15,511 1,385 7,220 1,303 8,613 2%

FMVMF 0,016 0,888 35,621 7,537 0,035 1,144 0,030 1,308 PNN-VMF 0,017 0,935 32,656 7,217 0,035 1,148 0,030 1,306

VMF 2p 0,965 6,998 163,084 16,127 1,501 7,518 1,346 8,754 FMVMF 2p 0,022 1,046 44,975 8,469 0,044 1,281 0,037 1,443 PNN-VMF 2p 0,022 1,056 39,143 7,901 0,041 1,244 0,035 1,404

2pMLF 0,017 0,935 34,308 7,397 0,035 1,148 0,030 1,306 – 0,094 2,184 2,968 2,175 0,125 2,167 0,085 2,206 VMF 0,881 6,684 151,114 15,524 1,388 7,228 1,306 8,623 5%

FMVMF 0,020 1,007 36,159 7,594 0,041 1,247 0,036 1,434 PNN-VMF 0,022 1,051 33,142 7,270 0,042 1,254 0,117 2,576

VMF 2p 0,968 7,007 163,304 16,138 1,504 7,525 1,349 8,763

FMVMF 2p 0,026 1,151 45,556 8,524 0,050 1,378 0,043 1,566 PNN-VMF 2p 0,027 1,161 39,699 7,957 0,048 1,343 0,122 2,632 2pMLF 0,022 1,051 34,795 7,449 0,042 1,254 0,117 2,576

– 0,543 5,249 17,290 5,251 0,720 5,208 0,484 5,247 VMF 0,897 6,745 152,665 15,603 1,406 7,275 1,323 8,680 FMVMF 0,047 1,544 39,178 7,904 0,078 1,713 0,069 1,983 PNN-VMF 0,048 1,568 35,874 7,564 0,078 1,715 0,135 2,768


12%

2pMLF 0,048 1,568 37,541 7,738 0,078 1,715 0,135 2,768

– 3,263 12,867 103,641 12,856 4,355 12,804 2,886 12,818 VMF 1,027 7,217 163,248 16,135 1,558 7,658 1,456 9,106 FMVMF 0,244 3,517 59,293 9,724 0,351 3,633 0,306 4,172 PNN-VMF 0,233 3,439 54,199 9,297 0,332 3,536 0,368 4,580


30%

2pMLF 0,217 3,316 57,826 9,603 0,315 3,444 0,356 4,502


150

Tab. B-2 Jakość rekonstrukcji obrazów zaszumionych: girl2, girl3, house, jelly_beans1

Obraz GIRL2 GIRL3 HOUSE JELLY_BEANS1 % szu-mu Filtr NMSE

[10–3] RMSE [10–3]

NMSE [10–3]

RMSE [10–3]

NMSE [10–3]

RMSE [10–3]

NMSE [10–3]

RMSE [10–3]

– 0,575 5,986 0,046 0,900 0,030 0,886 0,014 0,857 VMF 0,012 0,864 2,186 6,198 2,145 7,521 0,291 3,963 FMVMF 0,015 0,958 0,032 0,745 0,029 0,875 0,014 0,861 PNN-VMF 0,580 6,014 0,030 0,726 0,029 0,867 0,016 0,922 VMF 2p 0,016 1,011 2,305 6,363 2,470 8,071 0,316 4,124 FMVMF 2p 0,018 1,070 0,034 0,770 0,034 0,944 0,019 1,013 PNN-VMF 2p 0,015 0,958 0,031 0,737 0,033 0,938 0,019 1,003

2%

2pMLF 0,078 2,204 0,030 0,726 0,029 0,867 0,016 0,922 – 0,576 5,993 0,279 2,215 0,184 2,206 0,088 2,177 VMF 0,015 0,959 2,192 6,206 2,151 7,531 0,294 3,980 FMVMF 0,017 1,039 0,042 0,864 0,040 1,031 0,016 0,936 PNN-VMF 0,582 6,019 0,041 0,848 0,040 1,026 0,018 0,993


5%

2pMLF 0,442 5,250 0,041 0,848 0,040 1,026 0,018 0,993 – 0,583 6,028 1,567 5,248 1,041 5,240 0,507 5,230 VMF 0,030 1,372 2,235 6,266 2,182 7,585 0,307 4,066 FMVMF 0,033 1,444 0,108 1,377 0,098 1,604 0,030 1,276 PNN-VMF 0,588 6,052 0,106 1,367 0,097 1,603 0,032 1,309


12%

2pMLF 2,657 12,867 0,106 1,367 0,097 1,603 0,032 1,309

– 0,659 6,408 9,437 12,877 6,270 12,859 3,054 12,829 VMF 0,160 3,158 2,590 6,745 2,464 8,061 0,422 4,767 FMVMF 0,151 3,067 0,627 3,318 0,545 3,792 0,156 2,896 PNN-VMF 0,639 6,311 0,590 3,220 0,510 3,668 0,143 2,775 VMF 2p 0,136 2,912 2,600 6,759 2,713 8,459 0,420 4,755 FMVMF 2p 0,147 3,028 0,514 3,005 0,473 3,533 0,125 2,593 PNN-VMF 2p 0,139 2,941 0,529 3,048 0,480 3,556 0,130 2,645

30%

2pMLF 0,575 5,986 0,531 3,054 0,476 3,542 0,128 2,631


151

Tab. B-3 Jakość rekonstrukcji obrazów zaszumionych: jelly_beans, Lena, peppers, sailboat

Obraz JELLY_BEANS2 LENA PEPPERS SAILBOAT % szu-mu Filtr NMSE

[10–3] RMSE [10–3]

NMSE [10–3]

RMSE [10–3]

NMSE [10–3]

RMSE [10–3]

NMSE [10–3]

RMSE [10–3]

– 0,501 0,881 0,019 0,866 0,075 0,935 0,022 0,885 VMF 10,488 4,031 1,874 8,500 10,300 10,962 4,198 12,202 FMVMF 0,473 0,856 0,022 0,927 0,102 1,092 0,147 2,281 PNN-VMF 0,491 0,872 0,021 0,899 0,094 1,047 0,209 2,722


2%

2pMLF 0,491 0,872 0,021 0,899 0,094 1,047 0,209 2,722

– 3,032 2,168 0,121 2,162 0,415 2,201 0,132 2,161 VMF 10,612 4,055 1,879 8,510 10,313 10,969 4,204 12,211 FMVMF 0,593 0,959 0,031 1,091 0,138 1,267 0,161 2,393 PNN-VMF 0,612 0,974 0,073 1,674 0,342 1,996 0,214 2,753


5%

2pMLF 0,612 0,974 0,073 1,674 0,342 1,996 0,214 2,753

– 17,191 5,161 0,699 5,192 2,324 5,207 0,765 5,207 VMF 11,335 4,191 1,903 8,565 10,384 11,007 4,242 12,265 FMVMF 1,237 1,384 0,077 1,719 0,332 1,969 0,248 2,966 PNN-VMF 1,261 1,398 0,140 2,319 0,651 2,755 0,333 3,438


12%

2pMLF 1,261 1,398 0,140 2,319 0,651 2,755 0,333 3,438

– 106,047 12,819 4,270 12,829 14,141 12,844 4,639 12,826 VMF 17,140 5,154 2,106 9,010 10,976 11,316 4,515 12,653 FMVMF 6,937 3,279 0,417 4,009 1,700 4,453 0,831 5,427 PNN-VMF 6,498 3,173 0,463 4,225 1,888 4,694 0,860 5,523


30%

2pMLF 6,036 3,058 0,445 4,140 1,847 4,642 0,854 5,504


152

Tab. B-4 Jakość rekonstrukcji obrazów zaszumionych: splash, tiffany, tree

Obraz SPLASH TIFFANY TREE

% szu-mu Filtr NMSE

[10–3] RMSE [10–3]

NMSE [10–3]

RMSE [10–3]

NMSE [10–3]

RMSE [10–3]

– 0,018 0,869 0,054 0,870 0,041 0,872 VMF 0,922 6,210 4,831 8,251 6,058 10,543 FMVMF 0,007 0,544 0,095 1,160 0,616 3,362 PNN-VMF 0,008 0,591 0,079 1,057 0,598 3,312 VMF 2p 0,967 6,362 5,080 8,461 6,257 10,715 FMVMF 2p 0,008 0,572 0,102 1,198 0,736 3,675 PNN-VMF 2p 0,009 0,604 0,083 1,084 0,671 3,510

2%

2pMLF 0,008 0,591 0,079 1,057 0,598 3,312 – 0,116 2,204 0,343 2,198 0,260 2,184 VMF 0,924 6,217 4,840 8,259 6,072 10,555 FMVMF 0,012 0,698 0,117 1,282 0,642 3,433 PNN-VMF 0,062 1,617 0,198 1,672 0,623 3,382 VMF 2p 0,969 6,369 5,089 8,468 6,270 10,726 FMVMF 2p 0,013 0,733 0,125 1,328 0,764 3,745 PNN-VMF 2p 0,063 1,625 0,204 1,694 0,699 3,581

5%


12%


30%

2pMLF 0,261 3,302 1,261 4,216 1,780 5,714


153

B.2 Progowanie obrazów algorytmem wieloprzebiegowym opartym na metodzie Bernsena

Na poniższych rysunkach przedstawiono wynik binaryzacji obrazów w ba-daniu ELISPOT różnymi algorytmami, w tym również własnym algorytmem wieloprzebiegowym.

obraz wejściowy

SIS

Bernsen

Bernsen-Bieniecki

Rys. B-3 Obraz ELISPOT B4 – progowanie


154

obraz wejściowy

SIS

Bernsen

Bernsen-Bieniecki



155

obraz wejściowy

SIS

Bernsen

Bernsen-Bieniecki



156

obraz wejściowy

SIS

Bernsen

Bernsen-Bieniecki

Rys. B-6 Obraz ELISPOT C4 – progowanie


157

obraz wejściowy

SIS

Bernsen

Bernsen-Bieniecki

Rys. B-7 Obraz ELISPOT C7 – progowanie

W poniższych tabelach zestawiono średnie wyniki szybkości działania testo-wanych algorytmów binaryzacji obrazu. W Tab. B-5 przedstawiono testy wy-konane dla 10 obrazów, 5 obrazów z badania ELISPOT i 5 obrazów scen natu-ralnych. W Tab. B-6 i Tab. B-7 dokonano zestawienia średnich czasów przetwa-rzania dla badanych obrazów i algorytmów progowania z progiem lokalnym. Dane te zebrano w celu oszacowania złożoności czasowej algorytmów w zależ-ności od wielkości maski.


158

Tab. B-5 Szybkość działania algorytmów progowania (Pentium 4 2GHz), czasy w ms.

Obraz Liczba pik-seli

Progow. Bernsen, maska 40

Bernsen, op-tym., maska

40

Bernsen -Bieniecki wer. 1,

maska [10-40]

Bernsen-Bieniecki, wer. 2,

maska [10-40]

Bernsen-Bieniecki wer. 2, optym., maska [10-40]

B4 226070 10 7581 831 110 520 440B5 226070 10 7541 801 90 500 440B6 226070 10 7510 811 100 510 430C4 226070 10 7510 831 100 510 440C7 226070 10 7500 801 110 510 430

jaszczurka 1228800 51 43092 3726 892 3395 2544kasprowy 1228800 51 43052 3586 822 3355 2474pomnik 1228800 50 43072 3656 862 3375 2494stonoga 1228800 41 43012 3586 832 3345 2484suzuki 1228800 50 43122 3726 902 3395 2544Średnia

szybkość [MPix/s]

23,677 0,027 0,310 1,439 0,357 0,471

Tab. B-6 Czas obliczeń w [ms] dla algorytmów progowania w zależności od wielkości maski dla obrazu „stonoga” (1228800 pikseli) (Pentium4 2 GHz)

Zakres promienia maski [5-20] [8-32] [10-40] [15-60] [20-80] Bernsen 691 1442 2123 4387 10075Bernsen, opt. 331 481 812 1242 1823Bernsen-Bieniecki, wersja 1 371 511 822 1282 1883Bernsen-Bieniecki, wersja 2 922 1883 3345 7061 11427Bernsen-Bieniecki, wer 2 opt. 802 1643 2434 5028 10125

Tab. B-7 Czas obliczeń w [ms] dla algorytmów progowania w zależności od wielkości maski dla obrazu „suma” (1040384 pikseli) (Pentium4 2 GHz)

Zakres promienia maski [5-20] [8-32] [10-40] [15-60] [20-80] Bernsen 821 1912 2764 5858 9844Bernsen, opt. 310 440 551 1151 1652Bernsen-Bieniecki, wersja 1 330 481 571 1181 1712Bernsen-Bieniecki, wersja 2 861 1882 2784 5808 9644Bernsen-Bieniecki, wer 2 opt. 811 1842 2694 5638 9423

B.3 Testy algorytmów klasyfikacji pikseli Na poniższych rysunkach przedstawiono wynik wykonania procedury klasy-

fikacji pikseli opracowaną metodą CG 1-NN, dla mikroskopowych obrazów cy-tologicznych komórek raka sutka. Przyjęto trzy klasy: jądra z reakcją dodatnią (kolor czerwony), jądra z reakcją ujemną (kolor niebieski) i tło (biały).


159

Rys. B-8 Segmentacja własnym algorytmem klasyfikacji - Obraz cytologiczny „1”



160


Poniższe tabele przedstawiają wyniki pomiaru szybkości działania oraz jako-ści klasyfikacji pikseli dla różnych wersji algorytmu CG 1-NN w porównaniu do metody 1-NN. Zastosowano również redukcję zbioru uczenia algorytmem Skalaka. Poniżej przedstawiono objaśnienia nagłówków w Tab. B-8 – Tab. B-13.

Nr metody:

0. oryginalna metoda 1 – NN

1. punkty „szachownicy” metodą 1-NN, pozostałe głosowaniem bezwzględ-nym;

2. punkty „szachownicy” metodą 1-NN, pozostałe głosowaniem większo-ściowym;

3. punkty „kratowe” metodą 1-NN, pozostałe głosowaniem bezwzględnym;

4. punkty „kratowe” metodą 1-NN, pozostałe głosowaniem większościo-wym;

5. punkty „kratowe zmodyfikowane” metodą 1-NN, pozostałe głosowaniem większościowym.

Pomiary:

A. czas obliczeń na procesorze PIII 750 (sek.)


161

B. liczba punktów klasyfikowana metodą 1-NN w pierwszym przebiegu

C. liczba punktów klasyfikowana metodą 1-NN w drugim przebiegu

D. czas obliczeń względem oryginalnej metody 1-NN

E. procent punktów obliczonych metodą 1-NN

F. Szybkość przetwarzania w MPix/sek.

G. Liczba punktów, które zostały zaklasyfikowane tak samo jak dla oryginal-nej metody 1-NN

H. Procent punktów, które zostały zaklasyfikowane tak samo jak dla orygi-nalnej metody 1-NN

I. Iloczyn danych z F i H.

Tab. B-8 Wyniki testów dla algorytmów klasyfikacji pikseli: zbiór testowy „1” (367500 punktów), zbiór uczący 100 punktów

Nr metody 0 1 2 3 4 5 Pomiar A 6,5 4,0 3,5 2,5 2,0 2,0Pomiar B 367500 183750 183750 92050 92050 73500Pomiar C 0 26390 7803 33519 23055 29645Pomiar D 100,00 61,54 53,85 38,46 30,77 30,77Pomiar E 100,0 57,2 52,1 34,2 31,3 28,1Pomiar F 5,65 9,19 10,50 14,70 18,38 18,38Pomiar G 367500 367049 364266 365253 363546 362924Pomiar H 100,00 99,88 99,12 99,39 98,92 98,75Pomiar I 565 918 1041 1461 1818 1815




162










163

Jakość klasyfikacji pikseli zbadano jako charakterystykę porównawczą po-między metodą 1-NN z pełnym zbiorem uczącym, a własnymi wariantami CG 1-NN oraz przy zastosowaniu redukcji zbioru uczącego. Wynik przedstawiono w postaci procentowego udziału pikseli w obrazie, które zostały zaklasyfiko-wane tak samo jak przy pomocy metody wzorcowej.

Tab. B-14 Jakość klasyfikacji pikseli z wykorzystaniem redukcji zbioru uczącego

Liczność zbioru uczącego

300 200 100 50

Liczba pkt. zgod-nych

Zwykła metoda 1NN

obraz 1 358024 353679 351640 346973 obraz 2 358024 349885 348211 345652 obraz 3 358024 349427 352640 346973 średnio % 97,4% 95,5% 95,5% 94,3%

szachownica 1-NN + głos. bezwzględne


szachownica 1-NN + głos. większościowe


kratowe 1-NN + głos. bezwzględne


kratowe 1-NN + głos. większościowe


kratowe mod. 1-NN + głos. większościowe



164

B.4 Segmentacja obrazów tkanki rakowej algorytmem działów wodnych

Na poniższych rysunkach zaprezentowano wynik działania metody działów wodnych z własnymi algorytmami redukcji zjawiska nadmiernej segmentacji. Wyniki zwizualizowano w ten sposób, że na obraz testowy nałożono siatkę działów wodnych będącą wynikiem działania algorytmu.

Rys. B-11 Deaglomeryzacja sklejonych obiektów metodą działów wodnych, badanie nr 16599, wymaz z biopsji

Rys. B-12 Deaglomeryzacja sklejonych obiektów metodą działów wodnych, badanie nr 17132, wymaz z biopsji


165

Rys. B-13 Deaglomeryzacja sklejonych obiektów metodą działów wodnych, badanie nr 16599, imprint

Rys. B-14 Deaglomeryzacja sklejonych obiektów metodą działów wodnych, badanie nr 17132, imprint


166

Rys. B-15 Deaglomeryzacja sklejonych obiektów metodą działów wodnych, badanie nr 16599, wycinek histologiczny

Rys. B-16 Deaglomeryzacja sklejonych obiektów metodą działów wodnych, badanie nr 17132, wycinek histologiczny


167

B.5 Analiza ilościowa obrazów mikroskopowych wycinków histologicznych i rozmazów cytologicznych

Poniżej zaprezentowano tabele zawierające znalezioną liczbę jąder komórko-wych z reakcją pozytywną i negatywną. Dane otrzymano metodą oceny wzro-kowej przeprowadzonej przez pracownika laboratorium oraz analizy przepro-wadzonej przy pomocy systemu Pato. Nagłówki kolumn należy czytać nastę-pująco:

mP – liczba jąder z reakcją pozytywną zaobserwowanych przez laboranta;

mT – liczba wszystkich jąder kom. zaobserwowanych przez laboranta;

%100% ⋅=mTmPmP - frakcja jąder z reakcją pozytywną dla pomiaru ręcznego;

pP – liczba jąder kom. z reakcją pozytywną obliczona przez program;

pT – liczba wszystkich jąder komórkowych obliczona przez program;

%100% ⋅=pTpPpP - frakcja jąder z reakcją pozytywną dla pomiaru autom.;

pA% - frakcja pola powierzchni obrazu zajmowana przez jądra komórkowe z reakcją pozytywną w stosunku do pola powierzchni zajmowanego przez wszystkie jądra komórkowe.

Pojedynczy wiersz tabeli zawiera informacje o jednym zdjęciu. „-” oznacza brak zdjęcia. Wiersze tabeli pogrupowano względem metody uzyskiwania pre-paratu, a kolumny względem badanego receptora.

Tab. B-15 Wyniki analizy ręcznej i automatycznej dla badania nr 18512 ER PR mP mT mP% pP pT pP% pA% mP mT mP% pP pT pP% pA%

195 273 71,4 116 188 61,7 66,3 175 228 76,8 132 201 65,7 75,4 156 267 58,4 97 158 61,4 67,2 99 238 41,6 68 134 50,7 48,2 118 187 63,1 84 154 54,5 50,3 229 264 86,7 122 203 60,1 63,7 - - - - - - - - - - - - - -

Skra

wek

- - - - - - - - - - - - - - 45 86 52,3 26 83 31,3 18,3 70 132 53,0 46 111 41,4 39,3 67 140 47,9 25 121 20,7 14,3 89 117 76,1 60 91 65,9 67,7 28 60 46,7 6 44 13,6 3,6 27 46 58,7 25 66 37,9 35,3 - - - - - - - 44 91 48,4 49 71 69,0 71,3

BA

C

- - - - - - - - - - - - - - 48 51 94,1 29 52 55,8 55,7 37 43 86,0 9 34 26,5 28,3 42 42 100,0 19 23 82,6 95,0 30 59 50,8 4 74 5,4 2,6 73 73 100,0 24 40 60,0 65,4 10 29 34,5 10 17 58,8 35,5 131 139 94,2 70 135 51,9 54,8 58 68 85,3 10 45 22,2 17,0

Impr

int

- - - - - - - - - - - - - -


168


123 284 43,3 79 239 33,1 25,0 124 301 41,2 95 299 31,8 35,9 7 285 2,5 21 271 7,7 9,0 86 330 26,1 98 327 30,0 34,9

65 303 21,5 9 291 3,1 1,0 107 199 53,8 25 202 12,4 7,1 - - - - - - - - - - - - - -

Skra

wek

- - - - - - - - - - - - - - 11 56 19,6 4 52 7,7 2,5 46 51 90,2 28 54 51,9 54,3 12 45 26,7 3 45 6,7 3,8 28 60 46,7 25 60 41,7 34,9 10 37 27,0 26 37 70,3 73,0 29 77 37,7 37 67 55,2 60,6 23 72 31,9 17 66 25,8 20,2 17 43 39,5 9 40 22,5 27,2

BA

C

- - - - - - - - - - - - - - 15 47 31,9 0 55 0,0 0,0 19 51 37,3 17 26 65,4 68,0

5 67 7,5 35 69 50,7 57,3 46 107 43,0 31 47 66,0 72,0 11 38 28,9 11 37 29,7 29,0 44 64 68,8 40 54 74,1 79,2 20 51 39,2 15 45 33,3 28,0 26 113 23,0 52 105 49,5 49,0

Impr

int

- - - - - - - - - - - - - -


120 181 66,3 71 147 48,3 46,2 120 175 68,6 69 135 51,1 51,8 90 136 66,2 49 117 41,9 43,2 164 194 84,5 91 192 47,4 42,5 55 155 35,5 81 125 64,8 64,8 174 192 90,6 152 193 78,8 74,0 38 141 27,0 61 102 59,8 65,4 169 193 87,6 57 117 48,7 48,4

Skra

wek

- - - - - - - - - - - - - - 15 16 93,8 10 13 76,9 84,0 7 11 63,6 3 13 23,1 17,1 14 19 73,7 8 19 42,1 57,9 3 7 42,9 2 7 28,6 19,3

7 59 11,9 3 66 4,5 7,2 66 96 68,8 42 97 43,3 57,9 38 52 73,1 22 40 55,0 66,6 61 78 78,2 22 69 31,9 32,4

BA

C

64 84 76,2 35 66 53,0 64,5 - - - - - - - 15 16 93,8 5 16 31,3 33,2 45 46 97,8 31 45 68,9 84,0 18 29 62,1 10 29 34,5 45,3 14 17 82,4 6 19 31,6 43,0 46 63 73,0 45 59 76,3 83,4 33 42 78,6 17 40 42,5 39,5

8 29 27,6 6 33 18,2 30,9 23 33 69,7 11 27 40,7 44,2

Impr

int

17 42 40,5 11 41 26,8 44,1 10 35 28,6 13 29 44,8 37,3


169


- - - - - - - 104 221 47,1 69 211 32,7 36,4 - - - - - - - 108 175 61,7 84 183 45,9 54,6 - - - - - - - 102 201 50,7 93 198 47,0 53,5 - - - - - - - 21 153 13,7 18 114 15,8 53,5

Skra

wek

- - - - - - - - - - - - - - - - - - - - - 29 40 72,5 39 51 76,5 76,5 - - - - - - - 11 21 52,4 13 24 54,2 66,1 - - - - - - - 28 42 66,7 30 41 73,2 81,6 - - - - - - - 58 88 65,9 48 85 56,5 69,5

BA

C

- - - - - - - - - - - - - - 45 106 42,5 58 118 49,2 50,8 - - - - - - - 51 75 68,0 39 72 54,2 67,3 - - - - - - - 25 51 49,0 25 51 49,0 57,6 - - - - - - - - - - - - - -

Impr

int

- - - - - - - - - - - - - -


107 182 58,8 103 176 58,5 59,1 - - - - - - - 160 252 63,5 121 243 49,8 46,2 - - - - - - - 134 210 63,8 84 190 44,2 39,1 - - - - - - - 137 208 65,9 63 127 49,6 49,9 - - - - - - -

Skra

wek

- - - - - - - - - - - - - - 84 201 41,8 58 201 28,9 15,9 - - - - - - - 37 77 48,1 6 79 7,6 4,7 - - - - - - -

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

BA

C

- - - - - - - - - - - - - - 49 119 41,2 8 105 7,6 4,1 - - - - - - - 50 123 40,7 8 103 7,8 4,5 - - - - - - -

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

Impr

int

- - - - - - - - - - - - - -


170


148 188 78,7 92 135 68,1 68,0 42 78 53,8 36 66 54,5 60,8 195 221 88,2 98 143 68,5 75,9 129 245 52,7 150 290 51,7 59,9

63 117 53,8 58 88 65,9 70,2 216 340 63,5 258 371 69,5 76,4 31 315 9,8 20 119 16,8 7,2 149 187 79,7 156 216 72,2 82,3

Skra

wek

- - - - - - - - - - - - - - 114 144 79,2 87 130 66,9 79,0 16 52 30,8 9 24 37,5 25,3

43 74 58,1 55 95 57,9 62,1 49 56 87,5 26 35 74,3 92,4 19 34 55,9 31 32 96,9 96,6 29 30 96,7 21 28 75,0 90,9

- - - - - - - 19 24 79,2 25 26 96,2 95,4

BA

C

- - - - - - - - - - - - - - 46 84 54,8 45 83 54,2 73,8 57 75 76,0 43 73 58,9 84,1 62 70 88,6 41 51 80,4 89,4 82 103 79,6 56 82 68,3 84,6 49 59 83,1 34 55 61,8 78,5 47 61 77,0 41 61 67,2 80,5

- - - - - - - - - - - - - -

Impr

int

- - - - - - - - - - - - - -


84 202 41,6 104 232 44,8 38,3 127 207 61,4 92 185 49,7 52,9 107 224 47,8 93 229 40,6 37,2 171 277 61,7 104 218 47,7 67,4 123 254 48,4 78 184 42,4 39,7 96 196 49,0 106 216 49,1 44,8

- - - - - - - 151 246 61,4 133 235 56,6 57,5

Skra

wek

- - - - - - - - - - - - - - 174 228 76,3 172 275 62,5 68,0 111 154 72,1 102 150 68,0 76,5

91 180 50,6 86 156 55,1 54,6 65 146 44,5 80 133 60,2 63,4 - - - - - - - - - - - - - - - - - - - - - - - - - - - -

BA

C

- - - - - - - - - - - - - - 87 172 50,6 114 179 63,7 70,3 45 58 77,6 23 48 47,9 74,0 67 138 48,6 64 123 52,0 55,8 94 146 64,4 72 123 58,5 74,5

- - - - - - - 33 87 37,9 36 86 41,9 48,6 - - - - - - - - - - - - - -

Impr

int

- - - - - - - - - - - - - -

Załącznik C: Opis użytych metod diagnostyki medycznej

Opis użytych metod diagnostyki medycznej

172

C.1 Badanie aktywności receptorów progestagenowych i estrogenowych w histologicznych i cytologicznych preparatach mikroskopowych barwionych immunohistochemicznie

C.1.1 Cel badania Zakład Patomorfologii Klinicznej Akademii Medycznej w Łodzi wykonuje ru-

tynowe i naukowe badania preparatów uzyskanych z tkanki nowotworowej pacjentek, u których stwierdzono nowotwór sutka. Nowotwór ten może być le-czony przy zastosowaniu chemioterapii, pod warunkiem odpowiedniego dobo-ru leku. W tym celu materiał pobrany od pacjentki bada się w celu wykrycia obecności receptorów estrogenowych (ER) i progestagenowych (PR) w jądrach komórek nowotworowych, które są odpowiedzialne za podział tych komórek i w efekcie wzrost tkanki nowotworowej. Do przygotowania preparatów mikro-skopowych wykorzystuje się następujące techniki pozyskiwania materiału: wy-cinek histologiczny tkanki – pobrany podczas badania śródoperacyjnego, od-cisk tkanki na szkiełku podstawowym tzw. imprint oraz rozmaz cytologiczny (biopsja aspiracyjna cienkoigłowa BAC). W celu stwierdzenia obecności recep-torów w jądrach komórkowych materiał biologiczny poddaje się technikom immunohistochemicznym, gdzie ekspresja receptorowa zlokalizowana jest w jądrach komórkowych (Rys. C-1).

Rys. C-1 Urządzenia do barwienia preparatów

Metody otrzymywania preparatów, w tym procesu barwienia zostały omó-wione szczegółowo w [Starz, 1991; Collins, 1994; Starker i in. 1997; Zabel, 1999; Zieliński i Strzelecki, 2002].


173

Jądra komórkowe wykazujące ekspresję dodatnią receptorów, co oznaczamy ER+ (lub PR+ dla receptorów progestagenowych), barwią się na kolor brunat-no-czerwony, podczas gdy pozostałe jądra komórkowe nie wykazują ekspresji tych receptorów (ER-, PR-) i mają kolor niebieski (barwnik ten to hematoxylina Meyera).

Preparaty histopatologiczne dają najbardziej czytelne obrazy, a co za tym idzie, najdokładniejsze wyniki. Pozyskanie materiału jest procedurą inwazyjną, wymaga wycięcia fragmentu tkanki z ciała pacjenta. Najczęściej dokonuje się tego podczas operacji lub pobiera się fragment amputowanej tkanki. Dodatko-wo, przygotowanie preparatu jest pracochłonne (Rys. C-2).

Rys. C-2 Proces cięcia zatopionych w parafinie skrawków tkanki

Z zatopionego uprzednio w parafinie wycinka guza wykonywane są skrawki o grubości 4 µm. Skrawki są wkładane do kuwety z gorącą wodą, gdzie parafi-na ulega rozpuszczeniu. Pływające skrawki są zbierane i umieszczane na szkiełku podstawowym.

Preparaty uzyskiwane metodą imprint również wymagają inwazyjnej inter-wencji chirurgicznej u pacjenta, tzn. pobrania wycinka tkanki, lecz proces przy-gotowania preparatu jest krótszy i łatwiejszy. W specjalnej maszynie (Rys. C-3) w komorze o temperaturze -50°C umieszcza się szkiełko podstawowe. Do schłodzonego szkiełka przyciskany jest na chwilę skrawek tkanki, a następnie oderwany. Po oderwaniu na szkiełku zostaje fragment tkanki, który zdążył przymarznąć do szkiełka. Elementy tkanki pozostające na szkiełku podstawo-wym mogą być częściowo uszkodzone lub zniekształcone, jednak ilość pozosta-łego materiału jest wystarczająca, aby oglądając preparat pod mikroskopem wybrać fragmenty odpowiednie do analizy.


174

a)

b)

Rys. C-3 Maszyna do wykonywania imprintów, a) widok ogólny, b) komora chłodząca ze stolikiem

Preparaty cytologiczne powstają podczas zabiegu biopsji, który jest zabiegiem stosunkowo nieinwazyjnym. Poprzez igłę wysysa się fragment tkanki w postaci płynnej i płyn ten nanosi się na szkiełko podstawowe. Czas potrzebny na przy-gotowanie preparatu jest więc tak samo krótki jak w przypadku wykonywania imprintów. Dodatkowo pozyskanie materiału jest dużo łatwiejsze. Preparaty cytologiczne zawierają wymieszane komórki zdrowe i nowotworowe, jądra komórkowe nie otoczone cytoplazmą, krwinki czerwone i struktury niekomór-kowe, takie jak śluz, włókna, masy martwicze, skrzepy krwi i włóknika. Wyod-rębnienie jąder komórek nowotworowych i określenie ekspresji receptorów jest kłopotliwe i wymaga analizy większej powierzchni preparatu niż w przypadku badania histologicznego. Tkanka jest rozłożona na powierzchni preparatu nie-równomiernie, w skupiskach, podczas gdy większość jego powierzchni jest pu-sta. Obrazy mikroskopowe charakterystyczne dla poszczególnych technik przygotowania preparatów przedstawia Rys. C-4.

a) b) c)

Rys. C-4 Przykładowe obrazy mikroskopowe dla BAC (a), wycinka histologicznego (b) i imprintu (c) oglądane przy powiększeniu 400x.


175

C.1.2 Przebieg badania Poniżej opisano czynności wykonywane podczas rutynowych i naukowych

badań patomorfologicznych. Stanowisko laboratoryjne wyposażone jest w mi-kroskop optyczny umożliwiający uzyskanie powiększenia do 1000x. Mikroskop ma własne źródło światła z możliwością wstawiania filtrów barwnych. Stero-wanie ruchem stolika i doborem ostrości jest ręczne. Obraz może być oglądany poprzez okular mikroskopu lub przechwytywany przez analogową kamerę wideo, a następnie wyświetlany na ekranie komputera lub telewizora. Wyposa-żenie komputera umożliwia zapisywanie obrazów na dysku twardym.

Badanie reakcji receptorów wykonywane przez pracownika Zakładu Pato-morfologii dla celów naukowych można podzielić na następujące etapy:

Przygotowanie odpowiedniej liczby preparatów. W każdym przypadku guza pobiera się materiał histologiczny, materiał cytologiczny „imprint” (jeden lub dwa odciski) oraz jeden lub dwa rozmazy pochodzące z biopsji aspiracyjnej cienkoigłowej. Na każdym szkiełku połowę materiału barwi się immunohisto-chemicznie w celu wykrycia receptora ER, a połowę w celu wykrycia receptora PR.

Umieszczenie pod mikroskopem preparatu i wykonanie zdjęć. Do liczenia ją-der komórkowych stosuje się powiększenie 400x. Wybiera się te zdjęcia, na któ-rych jądra komórkowe nie są ze sobą zlepione i można wydzielić granice po-między nimi, aby dokładnie je policzyć. Ruch stolika mikroskopowego powi-nien być tak zaplanowany, aby wybór fragmentów preparatu był możliwie przypadkowy, a jednocześnie, aby zaobserwować jak największą ilość jąder komórkowych. W przypadku materiału histopatologicznego wystarczy wy-dzielić obszary nie zawierające tkanki zdrowej.

Liczenie jąder komórkowych. Etap ten wymaga sporej uwagi. Pomijając sku-piska komórek, a koncentrując uwagę tylko na wyraźnie rozdzielonych komór-kach ustalono, że:

jądra komórkowe wykazujące częściową ekspresję dodatnią uznaje się za jądra

z ekspresją dodatnią, jeśli barwi się więcej niż 75% powierzchni jądra, przy

czym pole to oceniane jest wzrokowo.

jądra komórkowe, które nie mieszczą się w całości w polu widzenia są odrzu-

cane z dalszych obliczeń.

W Zakładzie Patomorfologii Klinicznej dla niektórych przypadków wykorzy-stuje się przestarzały, bazujący na analizie obrazów monochromatycznych sys-tem Multiscan. Cykl przygotowania preparatu mikroskopowego jest złożony i czasochłonny. Co więcej, doświadczony laborant jest w stanie przeanalizować w ciągu półtorej do dwóch godzin dane dla jednej pacjentki, czyli średnio pięć preparatów mikroskopowych zawierających razem około 20 – 25 obrazów.


176

W rutynowych badaniach histopatologicznych przeprowadzanych w Zakła-dzie Patomorfologii Klinicznej badany materiał oceniany jest w 4-stopniowej skali, w zależności od proporcji zawartych w nim receptorów ER i PR, przy czym stosuje się zwykle ręczne liczenie jąder komórkowych i ręczną ich klasy-fikację.

Badania naukowe prowadzone przez zespół prof. Kuliga mają na celu staty-styczne porównanie wyników badania dla wszystkich trzech technik przygo-towania preparatu mikroskopowego. W szczególności interesujący jest fakt, na ile skuteczne jest badanie metodą biopsji w stosunku do badania wycinków hi-stologicznych, a co za tym idzie, jaka jest możliwość eliminacji niepotrzebnych zabiegów [Turant, 2004].

C.2 Badanie aktywności wydzielniczej limfocytów metodą ELISPOT

C.2.1 Istota badania ELISPOT (ang. enzyme linked immunospot assay) [Tary-Lehman i in., 1998; Ver-

steegen i in., 1998] jest metodą pozwalającą na ocenę natężenia odpowiedzi immunologicznej wobec określonych antygenów na poziomie pojedynczych komórek. Idea metody polega na detekcji wydzielania mediatorów odpowiedzi immunologicznej, cytokin, przez pojedyncze komórki układu odpornościowe-go. ELISPOT w szczególności pozwala oceniać poziom reaktywności komórek biorcy przeszczepu wobec antygenów dawcy. Z doniesień literaturowych wy-nika, że monitorowanie komórkowej odpowiedzi immunologicznej po prze-szczepie powinno umożliwić przewidywanie długoterminowej funkcji prze-szczepionych nerek oraz weryfikowanie skuteczności stosowanej terapii im-munosupresyjnej [Gebauer i in., 2002; Heeger, 2003; Hricik i in., 2003]. Celem badań naukowych prowadzonych w Katedrze i Klinice Nefrologii i Medycyny Transplantacyjnej Akademii Medycznej we Wrocławiu jest opracowanie i wdrożenie metody opartej o technikę ELISPOT, która pozwoliłaby na progno-zowanie funkcji przeszczepionych nerek oraz wczesne diagnozowanie nieko-rzystnych zjawisk immunologicznych prowadzących do odrzucania przeszcze-pu.

C.2.2 Uzyskiwanie obrazów Obecnie w AM we Wrocławiu prowadzone są badania, których bezpośred-

nim celem jest oznaczanie w krwi biorców przeszczepów nerek liczebności lim-focytów zdolnych do wydzielania interferonu γ w odpowiedzi na stymulację przez antygeny dawcy. Badanie ELISPOT (Rys. C-5) prowadzone jest w 96-dołkowych płytkach, w których dna poszczególnych studzienek (o średnicy około 6 mm) stanowi membrana ze związanymi przeciwciałami specyficznie rozpoznającymi interferon γ. W studzienkach umieszczana jest zawiesina lim-focytów pochodzących od biorcy przeszczepu (o znanej ilości komórek), a do wybranych studzienek dodawane są limfocyty dawcy.


177

Cytokiny wydzielane przez pobudzone limfocyty biorcy są wychwytywane w bezpośrednim sąsiedztwie komórek przez specyficzne przeciwciała związane do membrany. Po usunięciu komórek, obecność wydzielonego interferonu γ wykrywana jest za pomocą immunoenzymatycznej reakcji biotyna-streptawidyna-fosfataza alkaliczna.

Rys. C-5 Schemat działania metody ELISPOT

W wyniku katalizowanej przez enzym konwersji chromogenu (BCIP/NBT) w nierozpuszczalny barwny produkt, w miejscach uprzedniej obecności komórek


178

wydzielających interferon γ powstają obserwowane na obrazie plamki (ang. spots) (Rys. C-6). Tak wybarwioną płytkę umieszcza się pod mikroskopem, a poszczególne studzienki fotografuje przy użyciu kamery lub aparatu cyfrowe-go, co pozwala na uzyskanie rozdzielczości ok. 1500 x 1500 pikseli (lub więk-szej).

Rys. C-6 Obraz uzyskany metodą ELISPOT widziany pod mikroskopem

Każda plamka na obrazie odpowiada jednej komórce, a intensywność barwy i promień plamki zależą od ilości wydzielonego czynnika. Przedmiotem analizy obrazu jest zarówno liczba plamek, jak i ich parametry morfologiczne.

pobierz tekst doktoratu

Documents