von anne schmidt, cathleen scharfe, denny kuckei und tino mager
TRANSCRIPT
![Page 1: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/1.jpg)
Generierung vonOmni-Bildern
Teil 1 – EntzerrungTeil 2 – Weißabgleich
Teil 3 – Aneinanderfügen
von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager
![Page 2: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/2.jpg)
1. Ergebnisse Entzerrung 2. Probleme nach Entzerrung
◦ Welche? Wodurch? Was tun? 3. Weißabgleich
◦ Wozu? Womit? Wie? Wann? 4. Aneinanderfügen
◦ 4.1 Ausrichten◦ 4.2 Überblenden
5. Beispielserie 6. Quellen
Agenda
![Page 3: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/3.jpg)
1. Ergebnisse Entzerrung
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Durch Fischaugen-Linse verzerrte Aufnahme Aufnahme nach Entzerrung
3/35
![Page 4: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/4.jpg)
2. Probleme nach Entzerrung –Welche?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Fisheye-Algorithmus entzerrt horizontal und vertikal Ergebnis:
perspektivische Information geht verloren
4/35
![Page 5: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/5.jpg)
2. Probleme nach Entzerrung – Was tun?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Neuer Entzerrungsalgorithmus [1] nur horizontale Verzerrung korrigieren:
Perspektive bleibt erhalten Vertikale Verzerrungen leider auch
5/35
![Page 6: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/6.jpg)
2. Probleme nach Entzerrung –Welche?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Probleme, entzerrte Bilder aneinanderzufügen
Überlappungen, da Field-of-View der Linse nicht genau 90°, sondern größer (97,4°)
Durch Verzerrungen Probleme mit Kanten an Bildrändern
6/35
![Page 7: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/7.jpg)
2. Probleme nach Entzerrung –Welche?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Probleme mit Kanten und Krümmungen an Bildrändern
Phänomen in aufgenommenen Bildern
7/35
![Page 8: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/8.jpg)
2. Probleme nach Entzerrung –Wodurch?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Entzerrungsalgorithmus = Mathematik! Verlangt absolute Genauigkeit Jedoch Fehler durch
◦ Ungenauigkeit Position/Ausrichtung der Linse◦ Ungenauigkeit Position/Ausrichtung CCD Chip◦ Ausrichtung des Roboter (unebener Untergrund)
Angewandte Formeln können daher keine perfekten Ergebnisse liefern
8/35
![Page 9: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/9.jpg)
2. Probleme nach Entzerrung – Was tun?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Fehlerquellen ermitteln und Roboter „lernen“ lassen, diese automatisch zu korrigieren über polynomiale Gleichungssysteme möglich, aber sehr aufwendig
Ausrichtung der Bilder vor Aneinanderfügen notwendig
Einzelbilder ineinander Überblenden, um Überlappungen zu beheben
9/35
![Page 10: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/10.jpg)
Durch unterschiedliche Beleuchtungssituationen
unterschiedliche Farbtemperatur der Bilder
3. Weißabgleich – Wozu?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Linkes Teilbild kühlere Farbtemperatur als rechtes Teilbild
10/35
![Page 11: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/11.jpg)
Abgleich der Farbtemperaturen notwendig:◦ besserer visueller Eindruck◦ kräftigere Kontraste bessere Detektion von
Kanten o.Ä.◦ einheitlicher Bildeindruck nach Aneinanderfügen
3. Weißabgleich – Wozu?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Gleiche Farbtemperaturen in beiden Teilbildern
11/35
![Page 12: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/12.jpg)
Weißabgleich in Roboterbildern einfach, da weißer Rand als Fläche mit Referenzweiß vorhanden in allen Bildern
3. Weißabgleich – Womit?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Cyan markierte Fläche für Referenzweiß
12/35
![Page 13: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/13.jpg)
Ermitteln der Maximalwerte je Farbkanal im Referenzbereich liefert Rmax, Gmax, Bmax
Werte für volles Weiß gegeben: Wr = Wg = Wb = 255 Berechnen der Korrekturfaktoren pro
Farbkanal: Cr = Wr / Rmax Cg = Wg / Gmax Cb = Wb / Bmax
3. Weißabgleich – Wie?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 13/35
![Page 14: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/14.jpg)
Farbkorrektur im Eingangsbild E mit Korrekturfaktor C zu Ausgabebild A:
Ar = Cr * Er Ag = Cg * Eg Ab = Cb * Eb Alle Pixel des Eingangsbildes durchlaufen
und Korrektur anwenden
3. Weißabgleich – Wie?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 14/35
![Page 15: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/15.jpg)
Vor der Entzerrung sicher, dass dann im Referenzbereich auch wirklich weiße Fläche vorhanden ist
Durch Entzerrung möglich dass Referenzweiß-Fläche aus Referenzbereich „gezerrt“ wird
3. Weißabgleich – Wann?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Referenzfläche links im verzerrten und rechts im entzerrten Bild
15/35
![Page 16: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/16.jpg)
Durch Überbelichtung viele Bildbereiche bereits weiß Korrektur bringt nichts
Licht/Schatten in Teilbildern liefern kein einheitliches Ergebnis im Gesamtbild Überblenden der Teilbilder nötig
3. Weißabgleich – Probleme?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Überbelichtung irreversibel
16/35
![Page 17: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/17.jpg)
Ziele:
◦ Selektion und Zusammensetzung der Pixel, welche zum Ergebnisbild gehören
◦ Überblenden der Pixel mit Minimum an
sichtbaren Übergängen, Unschärfe und Artefakten/Aliasing (Ghosting)
4. Aneinanderfügen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 17/35
![Page 18: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/18.jpg)
Nur einige Bilder sind zusammenzufügen
◦ Ein Bild ist Referenzbild & alle Anderen auf das Referenzkoordinatensystem abbilden
Wenn größeres Sichtfeld (>90 Grad)
◦ jedes Pixel vom Ergebnisbild in 3D-Punkt konvertieren
◦ auf Grundlage der Projektionsmatrix zurück auf Ausgangsbild mappen
4. Wie soll Ergebnisbild aussehen?
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 18/35
![Page 19: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/19.jpg)
4.1 Ausrichten
Ziel:
◦ Erstellen eines großen Bildes aus mehreren kleineren Einzelaufnahmen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 19/35
![Page 20: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/20.jpg)
Ermitteln des Überlappungsbereiches zweier Bilder per Hand, z.B. durch:◦ Ausrechnen◦ Abmessen◦ Definieren
Bereich im Programm statisch festlegen
4.1 Ausrichten – Trivialer Ansatz
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 20/35
![Page 21: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/21.jpg)
Pixelbasierte Methoden◦ Bilder relativ zueinander verschieben◦ Größtmögliche Übereinstimmung der Pixel suchen◦ Direkter Vergleich von Pixeln oder Pixelblöcken
◦ Methoden Error Metrics Hierarchical Motion Estimation Fourier-Based Alignment Incremental Refinement
4.1 Ausrichten – Intelligente Algorithmen
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 21/35
![Page 22: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/22.jpg)
Durch Verschieben Platzierung der Bilder ermitteln
Jede Pixelkombination miteinander vergleichen
Bei Farbbildern Vergleich der einzelnen Farbwerte oder der Bildhelligkeit
4.1 Ausrichten – Error Metrics
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 22/35
![Page 23: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/23.jpg)
Beispiele:
◦ Robust Error Metrics
◦ Spatially Varying Weights
◦ Bias and Gain
◦ Korrelation
4.1 Ausrichten – Error Metrics
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 23/35
![Page 24: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/24.jpg)
Erstellen einer „Image Pyramide“ -> hierarchischer Vergleich von groben bis
hin zu feinen Mustern/Blöcken Innerhalb eines Levels: Full Search Block mit geringster Abweichung:
Initialwert für nächstdarunterliegendes Level
4.1 Ausrichten – Hierarchical Motion Estimation
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 24/35
![Page 25: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/25.jpg)
Vorteil:◦ Viel schneller
Nachteil◦ Ineffektiv◦ Signifikante Bilddetails können verloren gehen
4.1 Ausrichten – Hierarchical Motion Estimation
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 25/35
![Page 26: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/26.jpg)
4.1 Ausrichten – Intelligente Algorithmen
Eigenschaftenbasierte Methoden◦ Beiden Bildern markante Eigenschaften
entnehmen◦ Vergleichen◦ Übereinstimmungen ermitteln◦ -> geometrische Transformation der Bilder
abschätzbar
◦ Methoden Keypoint Detectors Feature Matching Geometric Registration
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 26/35
![Page 27: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/27.jpg)
4.1 Ausrichten – Intelligente Algorithmen
Keypoint Detectors
Feature Matching
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 27/35
![Page 28: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/28.jpg)
Aufgabe◦ Belichtungsunterschiede und
Ausrichtungsunstimmigkeiten kompensieren ohne zu sehr an Schärfe zu verlieren
◦ Übergang soll nahezu unsichtbar werden
4.2 Überblenden
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 28/35
![Page 29: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/29.jpg)
Laplace-Pyramiden-Überblendung
◦ sich anpassende Breite anhand Frequenz (verschiedene Level)
◦ Band-Pass Pyramide (Laplace) aus jedem Eingangsbild
◦ Interpolation und Zusammensetzen aller „Level“ der Pyramide ergibt Ergebnisbild
4.2 Überblenden - Lösungsansätze
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 29/35
![Page 30: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/30.jpg)
4.2 Überblenden – Vergleich Lösungsansätze
Mittelwert Region of Difference
Pyramiden-ÜberblendungGewichtung
(Feathering)
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 30/35
![Page 31: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/31.jpg)
Entzerrte Einzelbilder
5. Beispielserie
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 31/35
![Page 32: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/32.jpg)
Weißabgleich Einzelbilder
5. Beispielserie
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 32/35
![Page 33: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/33.jpg)
Ausrichten und Aneinanderfügen
5. Beispielserie
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen 33/35
![Page 34: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/34.jpg)
Blenden
5. Beispielserie
Generierung von Omni-Bildern – Weißabgleich & Aneinanderfügen
Guter Übergang Problem durch Aliasing
34/35
![Page 35: Von Anne Schmidt, Cathleen Scharfe, Denny Kuckei und Tino Mager](https://reader036.vdocuments.mx/reader036/viewer/2022062404/55204d7049795902118c1947/html5/thumbnails/35.jpg)
Weißabgleich:http://de.wikipedia.org/wiki/Wei%C3%9Fabgleich
http://de.wikibooks.org/wiki/Digitale_bildgebende_Verfahren:_Digitale_Bilder#Wei.C3.9Fabgleich
Aneinanderfügenhttp://research.microsoft.com/pubs/70092/tr-2004-
92.pdf
Quellen verfügbar unter:[1] http://www.altera.com/literature/wp/wp-01107-stitch- fisheye-images.pdf
6. Quellen
35/35Generierung von Omni-Bildern – Weißabgleich &
Aneinanderfügen