1

Irena Kpogbezan & Moritz Brettschneider

Seminar Computational Photography

Super-Resolution

2

Vergrößerung der Auflösung von Bildern bei verbesserter Wahrnehmung von Informationen

für den menschlichen Beobachter

Super-Resolution – Was ist das?

3

Zwei Verschiedene Methoden

MultiframeMehrere Bilder

Rekonstruktion

Example basedEin Bild + DatenbankVerwendung von

Fremdinformationen

4

Example Based SR

5

Example Based SRK

ontra

stno

rmal

isie

rung

Interpolation

Algorithmus

Ausgangsbild

gewünschtes Resultat

6

Trainingset

7

Räumliche Informationen

8

Markov-Network

9

One Pass Algorithm

10

geeignete Training Sets

11

ungeeignete Training Sets

+ =

12

Anwendungsbeispiele

Handyfoto als WallpaperAusschnitt aus einem Bild als Bild

sparen von Speicher ohne übermäßigem QualitätsverlustFahndungsfotos

13

Multiframe Superresolution

14

Multiframe SuperresolutionIdee:

Eingabe von mehreren niedrig aufgelösten Bildern der selben Szene, welche um Subpixel verschoben sind

dadurch mehr Informationen, mit denen das Hochaufgelöste Ergebnis rekonstuiert werden soll

Besonderheit: kein Raten, Rekonstruktion

15

Vorteile

billigere Sensoren nutzbarmehrfache Aufnahme kostet nichtstrotzdem hohe Auflösung erreichbar

16

Anwendung von Multiframe SR

Texterkennung (z.B.Kennzeichen)

MedizinSatelliten FotosVideoüberwachungVideovergrößerungMikroskopie

17

Problemstellung

Realität

athmosphärische Unschärfe

Bewegung(Verschiebung, Drehung, Größenveränderung)

18

Problemstellung (2)

kamerainterne Unschärfe

Unterabtastung des Bildes (kleine Auflösung)

Rauschen

Niedrigaufgelöstes Bild

19

Mathematische Darstellung

X Realität

H_k^atm athmosphärische Unschärfe

F_k Transformation zwischen den hochaufgelöstes Bildern

H_k^cam kamerainterne Unschärfe

D_k Unterabtastung des Bildes

V_k Verrauschen der Daten durch das Sensorelement

Y_k Bildsequenz der niedrig aufgelösten Bilder

20

Mathematische Darstellung

X Realität

H_k Unschärfe

F_k Bildregistrierungsschritt, transformiert das hochaufgelöstes Bild

D_k Unterabtasstung des Bildes

V_k Verrauschen der Daten durch das Sensorelement

Y_k Bildsequenz der niedrig aufgelösten Bilder

21

Teilverfahren

Registrierung der Bilder der Sequenz auf ein Referenzbild(Bewegungsschätzung)

Schätzung der Einflüsse bei der Aufnahmeoptische UnschärfeVerrauschen der Daten durch das Sensorelement

Rekonstruktion des hochaufgelösten Bildes

22

Bildregistrierung

23

Bildregistrierung

Aufgabe: mehrere Bilder derselben Szene, in bestmögliche Übereinstimmung miteinander bringen

einer der wichtigsten Schritte für die Qualität des Verfahrens

kleine Fehler können Unschärfe des Resultates bewirken

Ziel: Bildsequenz ohne geometrische Veränderung

24

Bildregistrierung (2)

Schritte:1. Merkmalsdetektion2. Matching von Merkmalen3. Parameterbestimmung der Transformation4. Transformation und Resampling der Bilder

25

Rauschunterdrückung

Verschlechterung eines elektronisch aufgenommenen Bildes durch Störungen, ohne Bezug zum eigentlichen Bildinhalt

z.B: Teager-Filter

26

Kameraunschärfe

Punktverbreiterungsfunktion:beschreibt, wie ein punktförmig angenommenes

Objekt durch Einflüsse der Optik und des Empfängers in ein flächenhaftes Gebilde verbreitert wird

27

Unterabtastung des Bildes

bestimmt durch Auflösung des LR-Bildes

28

Rekonstruktion des hochaufgelösten Bildes

29

Rekonstruktion des hochaufgelösten Bildes

Abstandsfunktion

Summe der Abstände

möglichst klein

30

Rekonstruktion des hochaufgelösten Bildes

31

Beispiel 1

32

Beispiel DVD - Lola Rennt

33

„Unfortunately, there is no general theory for determining what is `good' image enhancement when it comes to human perception. If it looks good, it is good!“

Robyn Owens

34

QuellenWilliam T. Freeman, Thouis R. Jones, Egon C Pasztor, "Example-Based Super-

Resolution," IEEE Computer Graphics and Applications, vol. 22, no. 2, pp. 56-65, Mar./Apr. 2002, doi:10.1109/38.988747