dr hab. Paweł Strumiłło dr hab. Michał [email protected] [email protected]
(2 godz. wykład, 2 godz. laboratorium/projekt)
Strumillo, Strzelecki
Forma zaliczenia
I. Materiał wykładowyDwa kolokwia w czasie semestru (cz. I i Cz. II),
wyniki ważone po 50%, ale jest konieczne zaliczenie
każdej z części
II. Projekt Grupy ćwiczeniowe otrzymują do samodzielnego
wykonania projekty z zakresu przetwarzania i analizy
obrazów.
Zaliczenie: raport + referat wygłoszony przez grupę
ćwiczeniową.
Literatura:
1. Notatki i materiały wykładowe (pliki *.pdf)
(http://www.eletel.p.lodz.pl/~pstrumil)
2. A. Materka, Elementy przetwarzania obrazów,
PWN, 1991.
3. R. Tadeusiewicz, Systemy wizyjne robotów przemysłowych, WNT
1992.
4. R. Tadeusiewicz, P. Korohoda, Komputerowa
analiza i przetwarzanie obrazów, Wyd. Fundacji Postępu
Telekomunikacji, Kraków 1997.
5. T. Pavlidis, Grafika i przetwarzanie obrazów,
WNT, 1987.
6. W. Skarbek, Metody reprezentacji obrazów cyfrowych, Akademicka
Oficyna Wydawnicza, Warszawa, 1993.
Cele przetwarzania obrazów
Poprawa jakości obrazu
(np. w 1964, zastosowano komputerowe metody do poprawy jakości obrazu zdjęć Księżyca przesłanych przez sondę kosmiczną Ranger 7 w Jet Propulsion Laboratory (JPL), USA)
© JPL
Cele przetwarzania obrazów
(np. czas transmisji pierwszego przesłania
obrazu kablem położonym na dnie oceanu
w 1920, obliczono na ok. 1 tyg., po
zastosowaniu technik kompresji danych
czas transmisji skrócił się do 3 godz.)
©IOC, Antwerp
Przetworzenie obrazu do postaci umożliwiającej pomiar wybranych jego cech, automatycznej analizy lub transmisji.
Playboy Magazine
JPEG 0.1 JPEG 0.1 bppbpp WaveletWavelet 0.1 0.1 bppbpp
JPEG-2000
8 8 bppbpp
Cele przetwarzania obrazów
Przetworzenie obrazu do postaci umożliwiającej pomiar wybranych jego cech, automatycznej analizy lub transmisji.
Obraz RTG
ziarna pszenicy
Cele analizy (rozpoznawania) obrazów
Przetworzenie obrazu do postaci umożliwiającej pomiar wybranych jego cech, automatycznej analizy lub transmisji.
Baza obrazów z odciskami palców FBI 1992
Biometria
Cele przetwarzania obrazów
Stereowizja – analiza sceny trójwymiarowej
Wytworzenie
obrazu głębi
Obraz lewyObraz lewy Obraz prawyObraz prawy
Obraz głębiObraz głębiw w pseudokolorachpseudokolorach
Wydzielone Wydzielone najbliższenajbliższe obiektyobiekty
Komputerowy system analizy obrazów
Przetwarzanie wstępne
Przetwarzanie wstępne
Wydzielanie cech
Wydzielanie cech
SegmentacjaSegmentacja
Analiza cech obrazu
Analiza cech obrazu
Komputer+
program+
baza wiedzy
Komputer+
program+
baza wiedzy
Akw
izycja
obra
zu
9
Ramowy program przedmiotu:
1. Akwizycja i reprezentacja obrazu
2. Poprawa jakości obrazu (ang. image enhancement)
3. Restauracja obrazu (ang. image restoration)
4. Analiza obrazu (ang. image analysis)
5. Kompresja obrazów (ang. image coding)
6. Stereowizja (ang. stereovision)
Praktyczny przykład restauracji obrazu
Ruch kamery wczasie ekspozycji
Obraz po korekcji
Addison_Wesley Inc.
Akwizycja obrazu
Wydzielanie cech
Ilościowy opis cech
Rozpoznawanie
obiektów
15
12
9
15
10
12
2115
14
13
Przykład zadania analizy obrazów
Kompresja obrazów (JPEG, MPEG, JPEG2000)
czyli ...
jak przeciągnąć słonia przez ucho igielne
Obraz źródłowy
Kanał
transmisyjny
(pamięć komputera)
Obraz
zrekonstruowany
Systemy analizy obrazów - zastosowania
• nauka i przemysł (kontrola jakości produktów, sortowanie wyrobów, ...)
• medycyna (diagnostyka obrazowa, RTG, tomografia komputerowa, USG, mikroskopia, ...)
• obronność (rozpoznanie fotograficzne, wykrywanie i śledzenie celów, sterowanie pociskami, ...)
• robotyka (sterowanie spawarek i dysz do malowania, sterowanie pojazdów, ...)
• eksploracja Ziemi i kosmosu (interpretacja obrazów astronomicznych, satelitarnych, lotniczych, sody kosmiczne, ....)
• biometria (rozpoznawanie odcisków palców, kształtu dłoni, tęczówki oka, twarzy)
System wykonany w Instytucie Elektroniki
TV
camera
frame
grabber
++ +
programy
Obraz mikroskopowy
tkanki nerwowejObraz kolonii
bakteryjnych
Obraz modelu lateksowego
naczyń krwionośnych mózgu
1985 r
Widmo fal elektromagnetycznych
10181024 1016 1014 1012 1010 108 106 104 1021022 1020
Częstotliwość, Hz
promieniowanie
gamma
fale radiowe
prom. X mikrofale
podczerwieńultrafioletPromieniowaniePromieniowanie
świetlneświetlne
400 500 600 700 [nm]
Obrazy wizualne
Tomografia rezonansu magnetycznego (MRI)
COST B11 action "Quantitation of Magnetic
Resonance Image Texture„ (1998-2002)
COST B21
"Physiological modelling of MR Image
formation" www.eletel.p.lodz.pl
Grafika komputerowa
Modelowanie obiektów 3D
Modelowanie powierzchni
Wizualizacja 3D
Rzeczywistość wirtualna
Rekonstrukcja
Przykłady zadań rozpoznawania obrazów:rozpoznawanie twarzy (biometria)
Juliusz Jaksa, Krzysztof Ślot, Piotr Szczypiński „ Facerecognition using deformable models”, ICSES’2001
Przykłady zadań rozpoznawania obrazów:rozpoznawanie słów
H. Nowak „Rozpoznawanie słów na podstawie analizy sekwencji obrazów”,
praca doktorska realizowana w Zakładzie Elektroniki Medycznej IE
Przykłady zadań rozpoznawania obrazów: bazy obrazów
C.E. Jacobs, A. Finkelstein, D.H. Salesis,„Fast multiresolution image quering”,1999
„Idea” obrazu
poszukiwanego
kopia obrazu
poszukiwanego
Obraz odszukanylub
DWT
Obraz monochromatyczny jako nieujemna funkcja dwumymiarowa
x y
f(x,y)
( ) ( )yxfyx
M
,,
:2
→
ℜ→ℜ⊂Ω +
Ω
x
y
0 50 100 150 200 250 30060
80
100
120
140
160
180
200
220
Distance along profile
Przekroje jasności obrazu
Obrazy koloroweObrazy kolorowe RRGGBB
0 50 100 150 200 250 300 350 400 450 5000
50
100
150
200
250
300
Distance along profile
Rozkład składowych RGB wzdłuż wybranego wiersza obrazu
Obraz cyfrowy jako macierz liczb
X
Y
(0,0)
. . . . . . . . . . . .
. . 15 17 18 . .
. . 20 31 14 . .
. . . . . . . . . .
f(x,y)
Obraz cyfrowy jako macierz liczb
Obraz cyfrowy f(x,y):
macierz dwuwymiarowa (M,N),
tj. o M wierszach i N kolumnach,
której elementy są nieujemne i przyjmują
skończoną liczbę wartości
1...,,1,0
1...,,1,0
−=
−=
My
Nx( ) 1...,,1,0, −= Lyxf
Kolorowy obraz cyfrowy?
(np. L=256)
Kolorowy obraz cyfrowy RGB
( ) ( )BGR fffyx ,,, =f
Jeżeli każda składowa koloru jest kodowana zapomocą 8 bitów, można
uzyskać 224 kolorów!
Kolorowy obraz cyfrowy – obraz indeksowany
obraz
monochromatyczny
Obraz
kolorowy
0.990.30.21
...
paleta barw
(ang. look-up table)
012...
25
. . .
f(x,y) =25 R G B
. . .. . .
Formaty plików graficznych
Podstawowe powody stosowania formaty plików graficznych:
• wymienność obrazów pomiędzy aplikacjami
• kompresja danych
Podstawowe formaty plików graficznych:
• JPEG (Joint Photographic Experts Group) → NOWY: JPEG2000
• GIF (Graphics Interchange Format)
• PNG (Portable Network Graphic)
• TIFF (Tagged Image File Format)
• BMP, PCX, …Grafika rastrowa a wektorowa?
Grafika rastrowa a grafika wektorowa
© Wikipedia
Grafika wektorowa:Obrazy są budowane z elementarnych figur
geometrycznych: linii, krzywych, wielokątów
Grafika rastrowa:Obrazy są budowane z siatki punktów (pikseli)
Porównanie podstawowych plików graficznych
Głównie to skanowanych
dokumentów tekstowych
Złożony format o rozbudowanej
strukturze
.tifTIFF
System WindowsProsty format bez kompresji.bmpBMP
Internet, animowane GIFyFormat indeksowany, maks. 256
kolorów, kodowanie bezstratne
.gifGIF
Wyśmienity do kompresji zdjęć,
ma zastąpić JPEG
Kompresja z definiowaną utratą
jakości, (DWT)
.jp2JPEG
2000
Internet, obraz statyczny
(ruchome: MNG), kanał alfa,
lepszy niż JPEG do obrazów
zawierających tekst
Popierany przez konsorcjum
www konsorcjum ma zastąpić
GIF
.pngPNG
Bardzo dobry do kompresji zdjęćKompresja z definiowaną utratą
jakości, (DCT)
.jpgJPEG
ZastosowaniePodstawowe cechyPlikFormat