image-based measurement bildgestützte messverfahren

Institut für Elektrische Meßtechnik und Meßsignalverarbeitung

Professor Horst Cerjak, 19.12.20051

WS 2008/09Image-based Measurement 1 Introduction, Color Axel Pinz

Image-based MeasurementBildgestützte Messverfahren

2 VO WS 438.0201 LU SS 438.021

Axel Pinz




Image-based Measurement

• Color, Illumination• Image Acquisition

– Projective geometry– Camera models– Calibration

• Reconstruction– 3D Scene structure (from stereo, from motion, ...)– Tracking (motion trajectories, 4D, camera+object pose, ...)– Structure and Motion

• Fundamental algorithms• State of the art technology




Was kann ich optisch messen ?

Radiometrische Größen– Strahlung (Wärme)– UV– Lichttechnische Größen

• Beleuchtungsstärke• Leuchtdichte• Lichtstrom, …

– Farbe, spektrale Komponenten





Geometrische Größen– Lage– Länge– Winkel– Entfernung– Fläche





„abgeleitete“ Größen– Spektrale Albedo (Farbe der Objektoberfläche)– 3D Position und Orientierung (Objekte / Kamera)– Identifikation von Objekten / Marken– Mustererkennung– Computer Vision– Image Understanding




„Optisch“ vs. „Bildgestützt“

• 0- oder 1-D– Fotodiode– Laser-Triangulierung– Längen- / Winkel-

Codierung– …

• 2-D Rasterbilder– Kenngrößen– Abgeleitete Größen

• 3-D – Stereo– „direkte“ Verfahren




Examples (“optical” - 1)





[Hoffmann, Taschenbuch d. Messtechnik][Hoffmann, Taschenbuch d. Messtechnik]





[Jähne, Handbook of Computer Vision and Applications][Jähne, Handbook of Computer Vision and Applications]




Example (image-based)




Tracking von 3D Modellen




Augmented Reality als Anwendung





Der Standard 28.11.2006:





EMT Prototypen




Bildgestützte Messverfahren

• Menschliches und maschinelles Sehen, Grundlagen der digitalen Bildverarbeitung

• Beleuchtung – “Illumination and Image Formation”– Farbe, Farbmodelle– Farbwahrnehmung, Farbkonstanz

• Bildaufnahme – “Solid-State Image Sensing”

• Kamera– Modell, projektive Geometrie, Kalibrierung– Pose, PnP

• Stereo Rekonstruktion• Punktkorrespondenzen (‘corners+descriptors’)• Tracking




Menschliches visuelles System

Auge, Retina

Stäbchen, Zapfen, Farbsehen

Neurophysiologie– Reizleitung Retina visueller Cortex– Rezeptive Felder– Bedeutung von Kanten / Linien, Orientierung




Grundlagen Digitale BV

Kenngrößen eines dig. Rasterbildes– Räumliche Auflösung– Radiometrische Auflösung– Nachbarschaft– Farbe

HistogrammOperationen E(x,y) A(x,y)

– Punkt-Op.– Lokale Fenster-Op., Faltung, Rangordnung– Globale Op., Transformationen, Fourier

Segmentation (Bild Bildbeschreibung)– Regionen- oder kantenbasiert




Bildgestützte Messverfahren

• Menschliches und maschinelles Sehen, Grundlagen der digitalen Bildverarbeitung

• Beleuchtung – “Illumination and Image Formation”– Farbe, Farbmodelle– Farbwahrnehmung, Farbkonstanz

• Bildaufnahme – “Solid-State Image Sensing”

• Kamera– Modell, projektive Geometrie, Kalibrierung– Pose, PnP

• Stereo Rekonstruktion• Punktkorrespondenzen (‘corners+descriptors’)• Tracking




Beleuchtung, Farbe, Farbwahrnehmung

Strahlungsphysikalische GrößenLichtquellen, SpektrenMenschliche FarbwahrnehmungFarbmodelle, Farbmetrik

– CIE XYZ– RGB– HSV– CIE u‘ v‘ , CIE Lab

Farbe im Bild Farbe einer Oberfläche




Strahlungsphysikalisches (“physical”) u. lichttechn. (“photometric”) Maßsystem (1)

Strahlungsphysikalische Größen (“physical”)– Index e – energetisch– Strahlungsfluss (-leistung) e [W]– Bestrahlungsstärke (Irradiance) Ee [W m-2]– Strahlstärke Ie [W sr-1]– Strahldichte (Radiance) Le [W m-2 sr-1]– Spezifische Ausstrahlung (Radiosity) Be [W m-2]– Strahlungsmenge Qe [W s]

Farbe: Alle Größen je Wellenlänge, z.B. L




Strahlungsphysikalisches u. lichttechn. Maßsystem (2)

Lichttechnische Größen (“photometric”)– Index vis – visible ( = 380-780nm)– Bezogen auf den spektralen Hellempfindlichkeitsgrad

für Tagsehen V()– Lichtstrom vis [lm]– Beleuchtungsstärke Evis [lx]– Lichtstärke Ivis [cd]– Leuchtdichte Lvis [cd m-2]– Spezifische Lichtausstrahlung Bvis [lm m-2]– Lichtmenge Qvis [lm s]




Strahlungsphysikalisches u. lichttechn. Maßsystem (3)

``Relative sensitivity´´= spektraler Hellempfindlichkeitsgrad für Tagsehen V()

Commission International de l‘Eclairage (CIE)

max. bei 555nm




Lichtquellen, Spektren

Schwarzkörper (ausgehöhlt, kleines Loch), schwarzer Strahler

„Farbtemperatur“, spektrale Energieverteilung

E 15

1exp hc kT 1

h ... Planck‘sches Wirkungsquantk ... BoltzmannkonstanteT ... Absolute Temperatur [K]




Licht – elektromagn. StrahlungW

elle

nlän

ge

[m

]

10-10

1014

Schall

Funkwellen

Millimeterwellen

Röntgenstrahlung

Gammastrahlung

Kosmische Strahlung

Licht

Wel

lenl

änge

[

nm]

10

106

390

770

Ultraviolett

Infrarot

SichtbaresLicht

rotorangegelbgrünblauviolett




Tageslicht

RelativeSpektraleEnergie

Wellenlänge λ

Tageslicht-Spektrum zu verschiedenenTages- undJahreszeiten




Lichtquellen (1)

A ... 100W Glühbirne

D65 Modelliert Tageslicht




Lichtquellen (2)




Farbe von Oberflächen

Reflexion – Absorption

Spektraler Reflexionsgrad – “spectral reflectance”, “spectral albedo”

Albedo 0 perfekt schwarzer Körper

“BRDF” – bidirectional reflectance distribution function




Spektrale Albedos

• verschieden

• glatt

• gleiche Wahr- nehmung bei verschiedenen Albedos möglich !!

[Forsyth, Ponce]




Menschliche Farbwahrnehmung (1)

Kontext!– Beleuchtung, Erinnerung– Objekt-Identität, Emotion

Welche spektrale Strahldichte erzeugt die selbe Farbwahrnehmung bei verschiedenen Versuchspersonen ?

Lineare Theorie !

Testlicht T, Primärfarben Pi

T = w1P1 + w2P2 + ...





„Norm-Beobachter“– 2 Grad = Fovea– 10 Grad > Fovea (Zapfen + Stäbchen)

„Trichromatizität“– 3 Primärfarben reichen aus für Korrespondenz zu

Testlicht / Testfarbe




Additiv - Subtrakitv

Matching von FarbenPrimärfarben A, B, C, Match MAdditiv (a,b,c)

M = aA + bB + cCSubtraktiv (-a,b,c)

M + aA = bB + cCWie baut man einen Monitor, wählt man

A,B,C, sodass möglichst viele Farben dargestellt werden können?




Grassmann-Gesetze: Linearität

1. Ta = wa1P1 + wa2P2 + wa3P3

Tb = wb1P1 + wb2P2 + wb3P3

Ta+ Tb = (wa1+wb1)P1 + (wa2+wb2) P2 + (wa3+wb3) P3

2. Ta = w1P1 + w2P2 + w3P3

Ta = Tb

Tb = w1P1 + w2P2 + w3P3

3. Ta = w1P1 + w2P2 + w3P3

kTa = kw1P1 + kw2P2 + kw3P3





Bei geg. Testfarbe, und 3 Primärfarben:– Die meisten Menschen wählen die selben

Gewichte– Trichromatizität und Grassman gilt– Farben können über diese Gewichte benannt

werden

Ausnahmen:– Tw. oder vollst. Farbenblindheit– Alte Menschen mit Pigmentveränderungen– Sehr helle oder sehr dunkle Lichter





Zapfen (3 oder ?mehr? Arten)Univarianz

– Nur eine Aktivität eines Rezeptors– Stark / schwach– Keine Codierung der Wellenlänge !

Zwei Farben werden als identisch wahr-genommen, wenn sie die selbe Antwort bei den Rezeptoren erzeugen, unabhängig von der spektralen Verteilung !




Empfindlichkeit der Zapfen

B,G,R Besser S,M,L




Relative spektrale Empfindlichkeit d. menschl. AugesL-cones, M-cones, S-cones – Empf.d. Zapfen (R,G,B)Empfindlichkeit der StäbchenDowling, John E. (1987); The Retina : An Approachable Part of the BrainBelknap Pr; ISBN: 0674766806




Repräsentation von Farbe

Lineare Farbräume– RGB, CMY– CIE XYZ

Nichtlineare Farbräume– HSV, HLS– CIE u’v’, CIE LAB




Lineares Farb - Matching

Primärfarben Pi

– RGB – XYZ

“Color matching functions” CMF– f1(), f2(), f3()

“Source” S(), “Primaries” Pi

dfPPwS ii

iii

i )()()(3

1

3

1




RGB – XYZ (1)

CIE 1931 (2º field of view)

RGB:– R = 700.0 nm, G = 546.1 nm, B = 435.8nm– “chromaticity coordinates” r,g,b = (1,0,0), (0,1,0), (0,0,1)– “color matching functions” r(λ), g(λ), b(λ)

XYZ:

– “color matching functions” x(λ), y(λ), z(λ)

zybgr

bgrx , ,

20063.113240.166697.0

20000.031000.049000.0

stimulus theof luminance , , , VVy

zZVYV

y

xX




RGB – XYZ (2)

RGB:– Reale Primär-Lichtquellen– Subtraktives Matching nötig !

XYZ:– Additives Matching immer möglich– „imaginäre“ Primär-Lichtquellen mit negativer

Strahldichte in manchen Wellenlängenbereichen




RGB Color Matching Functions




XYZ Color Matching Functions




RGB-XYZ [Foley et al.]




CIE XYZ Farbraum

X

Y

Z

X+Y+Z=1

y

x

ZYX

Xx

ZYX

Yy

“chromaticity

diagram”




CIE XYZ Farbraum

X

Y

Z

X+Y+Z=1

y

x

Sichtbare Farbeninnerhalb des„Hufeisens“.

(x,y)-Werteaußerhalb stellenkeine gültigenFarben dar.




X

Y

Z

X+Y+Z=1

y

x

CIE XYZ Lichtquellen

MonochromesLicht (R, G, B).

Schwarzkörperbei verschiedenenTemperaturen.




“Gamut” – darstellbarer Bereich




Gamut




Komplementärfarben




Mischen von Primärfarben




RGB / CMY Farbraum

X

Y

Z

X+Y+Z=1

y

x

RGB – additiv CMY – subtraktiv (+ black)




HSV Farbraum

X

Y X+Y+Z=1

y

H – Hue, S – Saturation, V – Value“HSV hexcone”




HSV Farbraum

Alternativen:

• Kegel• Zylinder• Doppelkegel• Pyramiden




HLS Farbraum

H – HueL – LuminanceS – Saturation




Uniform color spaces

McAdam ellipses (next slide) demonstrate that differences in x,y are a poor guide to differences in color

Construct color spaces so that differences in coordinates are a good guide to differences in color.

[Forsyth, Ponce]




Variations in color matches on a CIE x, y space. At the center of the ellipse is the color of a test light; the size of the ellipse represents the scatter of lights that the human observers tested would match to the test color; the boundary shows where the just noticeable difference is. The ellipses on the left have been magnified 10x for clarity; on the right they are plotted to scale. The ellipses are known as MacAdam ellipses after their inventor. The ellipses at the top are larger than those at the bottom of the figure, and that they rotate as they move up. This means that the magnitude of the difference in x, y coordinates is a poor guide to the difference in color.




CIE u’v’ which is a projective transformof x, y. We transform x,y so that ellipses are most like one another. Figure shows the transformed ellipses.




CIE LAB Farbraum• Der am häufigsten verwendete

“uniform color space”• Distanzen entsprechen Unterschieden in der

menschlichen Farbwahrnehmung – 1 jnd … “just noticable difference”

• Xn , Yn , Zn ... weiße Referenzfläche

16)(116 3/1* nY

YL

])()[(500 3/13/1*

nn Y

Y

X

Xa ])()[(200 3/13/1*

nn Z

Z

Y

Yb




CIE LAB Farbraum




efg’s computer lab

Earl F. Glynn II

http://www.efg2.com/Lab/




Farbe im Bild Oberflächenfarbe

[Maureen Stone]




Wahrnehmung - Farbkonstanz

Farbkonstanz:– Bild mit färbigen Regionen Farbe einer Oberfläche unabhängig von der Beleuchtung

Menschen können angeben– Farbe die eine Oberfläche bei weißem Licht hätte– Farbe des Lichtes, das im Auge ankommt– Farbe des Lichtes das die Oberfläche beleuchtet





[Land, 1971]




Grauwert Helligkeit (1)

Helligkeits-Konstanz beim Menschen– Relativ: Unterschiedliche Grauwerte von Flächen– Absolut: Referenzwert

Einfaches Modell– Oberfläche senkrecht auf Blickrichtung– Lambert– Lineare Kamera– Bild p(x) eines Punktes X

p(x) = I(x)(x) I ... Beleuchtung ... Albedo

log p(x) = log I(x) + log (x)





Annahmen:– Albedos ändern sich nur plötzlich– Beleuchtung ändert sich nur langsam

• Achtung: Schatten-Grenzen !

Algorithmus [Horn, 1974]– Differenzieren– Kleine Gradienten eliminieren– Integrieren





Erweiterung auf 2D– Problem der Integrierbarkeit in 2 Richtungen

Minimierungs-Problem– Wähle log so, dass grad(log ) möglichst ähnlich

dem “thresholded gradient”

Annahmen– Hellster Fleck ist weiß– Durchschnittliche Helligkeit konstant




Farbwert spektrale Albedo (1)

When one views a colored surface, the spectral radiance of the light reaching the eye depends on both the spectral radiance of the illuminant, and on the spectral albedo of the surface. We’reassuming that camera receptors are linear, like the receptors in the eye. This is usually the case.

pk





dEp kk )()()(

geg. pk, ges. ()

• inverses Problem• unterbestimmt (“ill-posed”)• Annahme v. Randbedingungen (“constraints”)

typische Situation in der Computer Vision!





Randbedingungen:– Hellster Fleck ist weiß– Bekannte durchschnittliche Farbe– Bekannte durchschnittliche Helligkeit– Bekannter “gamut”– Reflexionen

Algorithmen [Forsyth]





Farbtarget (“ground truth”)Bilder verschiedener Kameras / BeleuchtungenMessungen„Radiometrische Kalibrierung“




Farbwahrnehmung (1)




Farbwahrnehmung (2)




Farbwahrnehmung (3)




Farbwahrnehmung (4)




Farbwahrnehmung (5)




Farbwahr-nehmung (6)




Farbwahrnehmung (6)

Dünne blaue Streifen wirken grünlich.(weniger blaue Rezeptoren in der Retina)




Credits

Kapitel 6 „Color“ aus D. Forsyth, J. Ponce. Computer Vision. Prentice Hall 2003

Folien, Abb. teilweise von Forsyth:http://www.cs.berkeley.edu/~daf/bookpages/slides.html

Folien, Abb. teilweise von Maureen Stone:Siggraph Course 4, 2001.

image-based measurement bildgestützte messverfahren

Documents