visione stereo & geometria epipolare gian luca mariottini web: gmariottini e-mail:...
TRANSCRIPT
Visione Stereo & Geometria Epipolare
Gian Luca MariottiniWEB: http://www.dii.unisi.it/~gmariottiniE-mail: [email protected]
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
Stereo Vision (I)
E’ impossibile vedere come è impossibile estrapolare la struttura 3D della scena a partire da un’unica immagine.
Anche se la telecamera fosse calibrata, si può dedurre solamente il raggio sul quale giacciono le features nell’immagine (fig.basso a sx)
Stessa feature in 2 viste
Posizione 3D della feature
Stereo Vision
Stereo Vision (II)
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
Diversi aspetti importanti da curare:
1) Calibrazione della telecamera!
2) Come stabilire le corrispondenze tra le features nei piani immagine?
Geometria Epipolare:introduzione
Due immagini prospettiche derivanti dall’osservazione di una stessa scena tridimensionale sono relazionate dalla
cosiddetta geometria epipolare.
La geometria epipolare:
- è indipendente dalla struttura della scena;
- dipende dalle matrici K delle due telecamere e dalla loro posizione relativa.
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
La Matrice Fondamentale F descrive algebricamente tale geometria!
Geometria Epipolare:definizioni (I)
BASELINE=linea congiungente i centri ottici delle due telecamere;
La geometria epipolare riguarda l’intersezione dei piani immagine con la famiglia dei piani aventi la baseline come
asse.
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
Geometria Epipolare:definizioni (II)
EPIPOLO=punto di intersezione della baseline con il piano immagine;
L’epipolo è anche la proiezione su una vista del centro della camera nell’altra vista.
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
EPIPOLO->
PIANO EPIPOLARE=E’ il piano contenente la baseline.
Esiste una famiglia di piani epipolari (ad 1 d.o.f.)
Geometria Epipolare:definizioni (II)
LINEA EPIPOLARE=E’ l’intersezione di un piano epipolare con il piano immagine.
Tutte le linee epipolari si intersecano nell’ epipolo. Un piano epipolare interseca il piano immagine sinistro e destro nelle linee epipolari, definendo la corrisipondenza tra linee.
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
Geometria Epipolare:definizioni (III)
PUNTI CORRISPONDENTI=Due punti u e u’ ottenuti come proiezione di un medesimo punto 3D X.
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
La Matrice Fondamentale (I)
La matrice fondamentale F è la rappresentazione algebrica della geometria epipolare
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
Ad un punto x in un’immagine (proiezione del punto X ) esiste una linea corrispondente l’nell’altra immagine.
Ciascun punto x’ nella seconda immagine corrispondente a x,deve giacere sulla linea l’.E’ possibile quindi trovare una mappatura….
La Matrice Essenziale (I)
La matrice fondamentale F esprime tale mappatura!
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
La linea epipolare vincola la ricerca del punto corrispondente da una regionead una linea.
Se si sta osservando un punto xin una vista, allora x’ dovrà gia_cere sulla linea epipolare
Espressione Matem.x Linea Epip.
…continua...
La Matrice Essenziale (II)
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
E è una matrice 3x3 nota come matrice essenzialeÈ ancora valida per i raggi p:
VINCOLO EPIPOLARE :
Vincolo di coplanarità:matrice E
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
Si ottiene la stessa matrice essenziale!!
Matrice Essenziale ed epipoli
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
Tale relazione rappresenta il vincolo che la distanza tra il puntoX’c e la linea epipolare Exc è nulla.
…e facendo il prodotto vettoriale con t si ottiene:
Matrice Fondamentale:rays 2 pixels(I)
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
Fino ad ora è stato assunto che le telecamere fossero CALIBRATE! Cosa accade se non si conosce la calibrazione?
Relazione tra pixels e raggi:
Si definisce la matrice C come segue:
Così da scrivere:
Matrice Fondamentale:rays 2 pixels(II)
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
Il vincolo epipolare diventa:
F è una matrice 3x3 detta Matrice Fondamentale
F ha solo 7 gradi di libertà!!''
'
'
'
xFlx
PP
Fxlx
PP FF
T
T
Esempi di Geometria Epipolare
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
Punti nella prima immagine Linee nella seconda immagine
Esempi di Geometria Epipolare
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
Esempi di Geometria Epipolare
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
Stima della F dalle corrispondenze(I)
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
Ogni corrsipondenza genera un vincolo su F
Stima della F dalle corrispondenze(II)
“Visione Stereo & Geometria Epipolare” DII- A.A.02 -03
A meno di un fattore di scala, date 8 corrispondenze F puòessere stimata (METODI LINEARI E NoN LINEARI)
Non si è usato il vincolo che det(F)=0 !
Se le corrisipondenze “rumorose”
detF 0 -> le linee epipolari non si incontrano nel medesimo punto