forma a partir de la sombra shape from shading
DESCRIPTION
Forma a partir de la sombra Shape from shading. Capt 7 y 8 Klette,schluns,koschan. Introducción. Shape from shading es el problema de obtener una representación tridimensional a partir de una única imagen de irradiancia. - PowerPoint PPT PresentationTRANSCRIPT
1
Shape from shading
Forma a partir de la sombra Shape from shading
Capt 7 y 8
Klette,schluns,koschan
2
Shape from shading
Introducción
• Shape from shading es el problema de obtener una representación tridimensional a partir de una única imagen de irradiancia.
• Los métodos generalmente asumen conocido el mapa de reflectancia que modela la iluminación y la propiedades de reflexión del objeto.
• Factores que interaccionan: iluminación, reflexión, geometría del objeto y características del sensor
• El proceso es estrictamente el inverso del seguido en el caso de la síntesis de imagen mediante renderización realista.
3
Shape from shading
Restricciones
• Iluminación: se conoce la irradiancia y dirección de la iluminación y si la radiación es paralela, difusa o puntual. No hay interacción entre objetos.
• Reflexión: usualmente superficies lambertianas de albedo conocido o lineales
• Mapa de reflectancia: conocido, a veces se asume localmente lineal.
• Geometría: la superficie es continua. A veces se requiere conocimiento de puntos específicos
• Sensor: lineal
• Proyección: usualmente ortográfica.
4
Shape from shading
Tipos de métodos SFS
• Métodos de propagación: propagan el conocimiento de la altura de puntos concretos.
• Métodos globales: tratan la imagen como un todo e intentan minimizar un funcional adecuadamente definido
• Métodos locales: estiman la geometría del objeto a partir de un entorno reducido de un punto de la imagen.
5
Shape from shading
Asunciones
• Rayos paralelos de iluminación
• Iluminación constante en la superficie.
• Superficie continua y diferenciable.
• Proyección ortográfica
• Sensor lineal
6
Shape from shading
Interpretación directa
• Teorema: bajo la asunción de un mapa de reflectancia Lambertiano con qs=ps=0 la imagen de irradiancia de una esfera corresponde a su mapa de altura relativa, hasta un factor de escala conocido.
Asume el centro de la esfera en el punto Asume radio r.
Punto visible en la esfera
Normal a un punto de la esfera
Imagen generada por proyección ortográfica
Es el factor de escala
7
Shape from shading
El teorema se generaliza para otras geometrías, pero se aprecian buenos resultados en general para superficies que aproximan la hipótesis lambertiana.
8
Shape from shading
Métodos de propagación
A partir del conocimiento de la altura de algunos puntos se propaga al resto de la imagen siguiendo las características de la imagen.
Mapa de reflectancia lineal
La función h es monótona e invertible, y es conocida como resultado de los estudios de modelado de la superficie. Los parametros a y b son conocidos
Los gradientes de la superficie consistentes con E(x,y) corresponden a una línea.
9
Shape from shading
Método de Horn
Pendiente de la superficie en dirección respecto de la imagen.
Existe una dirección privilegiada
Para la que:
No depende de (p,q).
La pendiente en esta dirección puede calcularse a partir de la irradiancia E(x,y).
Pequeños pasos en esta dirección comenzando desde un punto (x0,y0) corresponden a pequeños incrementos en la profundidad proporcional a la pendiente
10
Shape from shading
Conocida la profundidad Z0 en un punto (x0,y0) se pueden determinar las profundidades a lo largo de la dirección
Si sólo se conoce un punto, sólo se puede determinar la profundidad en una línea (línea característica).
Si se conocen los valores de profundidad a lo largo de una línea Z0(t) no paralela a la dirección entonces se puede reconstruir toda la superficie.
11
Shape from shading
ejemplo
Describe círculos de radio paralelos al plano Z=0
Si para una curva se conoce
Se puede calcular toda la superficie de la esfera
12
Shape from shading
Mapas simétricos rotacionalmente
h monótona invertible y diferenciable
Se puede calcular la pendiente asumiendo la ecuación
Pero no se puede recuperar la dirección del gradiente.
produceUn paso en la dirección del gradiente
Caso general
Las variaciones de gradiente se aproximan linealmente en función de las derivadas parciales de la imagen.
13
Shape from shading
14
Shape from shading
Métodos de optimización globalSe utiliza toda la imagen en la estimacion que se realiza mediante la minimización de un funcional definido en base a la restricción de irradiación: la imagen de irradiancia debe ser igual a la reflectancia dada por los gradientes calculados.
Proyección ortográfica
En coordenadas estereográficas
En función de la normal
15
Shape from shading
Regularización o restricción de suavidad: exige la continuidad de los gradientes. Minimiza las segundas derivadas de la superficie para obtener la solución con mínimas variaciones bruscas o discontinuidades.
Relación de las derivadas parciales de los gradientes respecto de la superficie.
Alternativa simplificada que no incluye derivadas cruzadas
16
Shape from shading
Alternativamente la restricción de suavidad puede representarse en coordenadas estereográficas (apropiado en el caso de oclusiones) o en función de la normal.
En función de las variaciones de la normal
También se puede formular en el dominio transformado, minimizando la magnitud de los coeficientes transformados de las altas frecuencias.
17
Shape from shading
Restricción de integrabilidad: Continuidad de las primeras derivadas de la superficie. Evita que distintos caminos de integración conduzcan a soluciones distintas.
Restricción del gradiente de la irradiancia (intensidad de la imagen): compara los gradientes de la imagen y el mapa de reflectancia.
Restricción de normalización de la normal: para evitar variaciones debidas a variaciones del albedo y errores numéricos.
18
Shape from shading
Combinación de restricciones
19
Shape from shading
Minimización del funcional mediante discretización (cálculo variacional)
Aproximación discreta de
Se convierte en el error
La minimización se realiza buscando la raiz de la derivada del error respecto de los parámetros funcionales
Valores promedio en un vecindario
20
Shape from shading
Mascaras de promediado para calcular
El esquema iterativo de resolución tiene la forma:
Las condiciones iniciales para la iteración se benefician de conocer algunos valores (en la imagen los contornos de una esfera)
21
Shape from shading
Inicialización del algoritmo de Ikeuchi, Horn para el caso de la esfera
22
Shape from shading
Dirección de la fuente de iluminación
Cálculo del mapa de reflectancia
Iteración pixel (i,j)
Las condiciones iniciales determinan el mínimo local al que tiende la iteración
EL valor de condiciona el resultado forzando o no la suavidad de
23
Shape from shading
24
Shape from shading
Métodos locales (Lee, Rosenfeld)
Utilizan sólo las irradiancias locales (un vecindario en la imagen) para calcular la forma correspondiente a un punto de la imagen.
Aproxima el objeto en cada punto de la imagen como una esfera para resolver las ambigüedades sobre la geometría local conocida.
Se realiza un cambio de coordenadas de la cámara alineando el eje óptico con la dirección de la fuente de iluminación.
(XYZ) pasa a (X*Y*Z*) alineado Z* con so.
El mapa de reflectancia es rotacionalmente simétrico
El tilt de la orientación de la superficie no puede determinarse a partir de las derivadas parciales de la función de irradiancia E(x,y) si la geometría del objeto se aproxima localmente por una esfera.
Slant y tilt de la iluminación so: Slant y tilt de la orientación de
la superficie no:
25
Shape from shading
Cambio de coordenadas al sensor alineado con la fuente
Esfera centrada en el origen
Orientación en (X,Y) Dirección de iluminación
Imagen de irradiancia
Las derivadas parciales y su transformación al nuevo sistema de coordenadas
26
Shape from shading
Cálculo del slant: en el espacio transformado alineando el sensor y la fuente de luz se cumple
Conocido se puede determinar
Cuando están alineados sensor y fuente de iluminación
Transformación al espacio original
Recuperación de los ángulos a partir de la normal
27
Shape from shading
28
Shape from shading
29
Shape from shading
Iluminación estructurada
Iluminación estructurada consiste en la proyección de patrones lumínicos sobre la escena.
Los patrones se proyectan en los objetos que caen en el campo visual de la cámara.
La distancia a la cámara o la localización espacial puede determinarse analizando los patrones de iluminación observados en la imagen.
Un punto (x,y) en la imagen restringe los puntos 3D (X,Y,Z) correspondientes a un subespacio de la escena: una pirámide de cuatro lados infinita. Conocidos los parámetros intrínsecos se puede caracterizar este espacio, que idealmente se reduce a una línea .
La iluminación estructura trata de intersecar con otro rayo ‘ o plano de forma que se determine la posición del objeto sin necesidad de calcular correspondencias.
30
Shape from shading
La iluminación estructura puede considerarse como una variante del caso estereo, donde la segunda cámara se sustituye por la luz proyectada.
La complejidad del proceso se transfiere de la fundamentación matemática al diseño del sistema de iluminación y al control de las condiciones de captación.
La iluminación puede permanecer estática o no a lo largo del proceso de estimación de la profundidad. Existen distintos tipos de iluminación.
Proporciona resultados de gran precisión.
Se denominan escaners 3D o escaners de rango.
31
Shape from shading
Proyección de puntosLight spot projection
La intersección del rayo de proyección y el rayo de iluminacion determina la distancia a la cámara.
El ángulo está determinado por los parámetros de la transformación de visualización.
El ángulo está determinado por el control del laser
Iluminación producida por un laser controlado (situación 2D)
32
Shape from shading
Conocidos los ángulos y la distancia de base entre la cámara y el centro de rotación del laser se puede calcular la distancia.
En coordenadas de la cámara
33
Shape from shading
Teorema del rayo
Geometría de los triangulos
34
Shape from shading
Problemas:
Limitaciones de visibilidad
Velocidad de medida dependiente del control del laser y el tiempo de detección del spot.
Calibración precisa de la cámara y el laser.
Detección precisa del spot en la imagen.
35
Shape from shading
Análisis estereo de puntos de iluminación: se basa en la combinación de las técnicas de spot illumination con las de estéreo estático.
Simplifica el análisis de correspondencias del estéreo
No necesita la calibración y control preciso del laser.
36
Shape from shading
Proyección de líneas
Acelera los procesos de cálculo.
Pueden utilizarse laser o proyectores de luz con una máscara de línea.
37
Shape from shading
El plano de luz es perpenticular al plano de referencia.
El plano de referencia está definido por los ejes verticales de la cámara y el proyector del plano de luz.
Ángulo entre el plano de referencia y el eje óptico
Ángulo entre los ejes ópticos de la cámara y el proyector del plano de luz.
Ángulo entre el plano de referencia y el plano definido entre el centro óptico de la cámara y la columna izquierda
Imagen de M columnas
38
Shape from shading
Estimación de los ángulos:Se tiene un objeto de calibración planar orientado paralelo al plano de referencia.Se desplaza a lo largo del eje óptico del generador del plano de luz.Cuando la proyección del objeto de calibración está en el centro de la imagen, se calcula la distancia DZ relativa al plano de referencia.Cuando la proyección del objeto se encuentra en el extremo izquierdo de la imagen se mide la distancia D0 relativa al plano de referencia.
Anchura de la parte visible del sensor
39
Shape from shading
aplicando
obtenemos
La distancia entre la columna 0 y una columna k se puede calcular por:
Y el ángulo
Podemos recuperar los ángulos cuando el punto de luz cae en la columna k.
40
Shape from shading
Relación entre la distancia al plano de referencia y las columnas de la imagen para distintas configuraciones.
Se muestra también la resolución del cálculo de la profundidad.
Una configuración del sistema.
41
Shape from shading
Para obtener un objeto tridimensional se mantiene estático el plano de luz y se gira el objeto. La sucesión de perfiles se interpreta como un objeto 3D.
42
Shape from shading
Alternativamente pueden proyectarse varios planos de luz para recuperar de un solo golpe información sobre toda la escena.
Problema: identificar desde la cámara las lineas de luz correspondientes a cada plano de luz.
Aplicación interesante: probar la planaridad de objetos.
43
Shape from shading
Proyección de patrones codificados
Se proyectan sobre la escena patrones de iluminación que codifican los posibles planos de iluminación. Se consigue reducir el número de imágenes (proyecciones de planos de luz) necesarias para muestrear la escena completa.
Se capturan 8 imágenes, cada una con un patrón impuesto.
En la reconstrucción, la combinación de las imágenes permite acceder al plano de iluminación correspondiente a cada columna.
Es preciso un proceso de calibración específico.
44
Shape from shading
Ejemplo de aplicación sobre un cubo con planos horizontales de iluminación.
45
Shape from shading
Estéreo fotométrico
Estéreo fotométrico se refiere al conjunto de técnicas que utilizan varias imágenes para calcular la superfice del objeto en función del sombreado.
Las imágenes de estéreo fotométrico se adquieren bajos distintas condiciones de iluminación: el objeto se ilumina consecutivamente desde distintas fuentes. En cada imagen sólo una fuente está encendida. No se precisa resolver problemas de correspondencias entre las imágenes, ya que el mismo pixel corresponde siempre al mismo punto de la escena.
Los métodos pueden ser dependientes o independientes del albedo.
46
Shape from shading
Limitaciones de Shape from shading sobre una imagen.
•El término E0 es conocido y constante.
•Para un mapa de reflectancia Lambertiano reduce las soluciones a una sección cónica del espacio gradiente.
•La radiancia se estima constante y medible mediante un procedimiento de calibración. El albedo puede estimarse en orientaciones en las que la normal a la superficie es colineal con la iluminación.
•En el caso de que el albedo no sea constante se asume que es constante por trozos que corresponden a segmentaciones de la imagen.
•La superficie es al menos continua C(1). No es posible tratar objetos poliédricos.
•Se conocen las coordenadas 3D de puntos singulares y/o orientaciones singulares (conflicto cóncavo/convexo).
47
Shape from shading
Imagen obtenida de un la renderización de una esfera con un mapa de reflectancia Lambertiano.
No se puede discriminar la convexidad o concavidad a menos que se fijen los valores de puntos singulares de la superficie.
La intensidad en la imagen es máxima en los extremos de la curva, cuando la normal es colineal con la dirección de la iluminación.
La intensidad es mínima en los puntos de inflexión en los que la normal y la dirección de iluminación subtienden un ángulo de 45°.
Las normales que son consistentes con la irradiancia son dos.
48
Shape from shading
Análisis de pares de imágenes
Se asumen dos fuentes de iluminación no colineales con direcciones s1 y s2. Para cada punto en la imagen obtenemos valores de irradiancia E1 y E2 con cada iluminación.
Las imágenes se toman consecutivamente con cada iluminación por separado. El objeto y la cámara están en posición fija.
Ambas irradiancias son positivas.
Cada fuente de luz ilumina una hemiesfera gausiana.Todos los puntos visibles reciben iluminación de una fuente si la dirección del eje óptico y la iluminación coinciden. Si el objeto no es convexo pueden producirse sombras.
Sólo puede recuperarse aquella parte de la superficie iluminada por las dos fuentes. La porción del área iluminada depende del ángulo entre las fuentes (cuanto más pequeño mayor el área común).
49
Shape from shading
La dirección de la cámara deberá estar entre las direcciones de iluminación para que sea visible la zona iluminada por las dos fuentes.
La cardinalidad del área iluminada simultáneamente viene dada por una luna que depende de .
50
Shape from shading
Mapas de reflectancia lineales respecto del espacio gradiente.
La irradiancia medida en un pixel p en cada una de las imágenes produce una restricción que es una línea para cada dirección de iluminación.
La intersección en el espacio gradiente de estas lineas representa la orientación consistente del punto en la superficie correspondiente al pixel.
51
Shape from shading
Mapas de reflectancia Lambertianos: análisis dependiente del albedo.
Si las propiedades de reflectancia de una superficie pueden describirse con dos mapas de reflectancia Lambertianos se pueden restringir las soluciones: Como mucho se pueden asignar dos direcciones válidas a un punto si existen dos valores de irradiancia positivos para ese punto.
Mapas de reflectancia lambertianos
Los puntos de contacto (2) de los conos inducidos por las fuentes de iluminación son las orientaciones consistentes.
52
Shape from shading
Proyecta las direcciones de iluminación en el plano XZ (rota hasta que Y sea 0)
Representación de las fuentes de iluminación en espacio gradiente
La normal a la superficie también se rota
Las ecuaciones se simplifican a:
Despejando la longitud de la normal rotada se obtiene una única ecuación.
De donde puede calcularse p’. La componente q’ del gradiente puede obtenerse sustituyendo
Es una ecuación cuadrática, lo que nos da dos soluciones como mucho. Las soluciones pueden calcularse aplicando
53
Shape from shading
Si existe un par de soluciones, estas orientaciones son simétricas respecto del plano determinado por las dos direcciones de la iluminación, debido a la simetría de la solución de la ecuación cuadrática.
Si los tres vectores n, s1, s2 son coplanares entonces existe una única solución.
54
Shape from shading
Cálculo de las dos orientaciones solución. Expresión explícita de las normales consistentes con las imágenes:
Solución única si el radicando es nulo
Dos soluciones para radicando no imaginario:
55
Shape from shading
El plano determinado por las direcciones de las fuentes de luz determina una curva abierta C de soluciones únicas. En las regiones R1 y R2 las soluciones no son únicas.
Se demuestra que la orientación no cambia dentro de una región:
No cambia de signo en Ri
Las crossecciones que van de una región a la otra pueden mostrar las diferentes combinaciones concavo/convexo que son indistinguibles
56
Shape from shading
Unicidad via integrabilidad: resuelve la ambigüedad concavo/convexo aplicando una restricción de integrabilidad sobre las derivadas cruzadas
Resultado de resolver las direcciones basandose en dos imágenes obtenidas con las iluminaciones s1, s2 indicadas (las de 8.6 rotadas por en torno a la dirección de visión). Solución positiva y negativa. La linea C de soluciones únicas corresponde a la situación n=v.
57
Shape from shading
El mapa de gradiente representado en la figura es un campo vectorial que debe ser conservativo. Su integral debe ser independiente del camino recorrido.
La integral sobre la curva C es cero. La suma de integrales también debe serlo
La condición de integración no se cumple en las regiones R11 y R22, pero si en las regiones R12 y R21. La restricción de integrabilidad que fuerza la combinación de estas regiones en la solución se realiza minimizando para las dos imágenes:
El segundo término es cero por que es perpenticular a los gradientes. EL primero no es cero.
58
Shape from shading
Cálculo de las soluciones positivas y negativas
Inconsistencias que dan lugar a radicando negativo
Puntos en curvas de solución única
Regiones con ambigüedad cóncavo/convexo
59
Shape from shading
Regiones conectadas de pixeles con ambigüedad cóncavo/convexo.
Decisión sobre la región que minimiza el error de integrabilidad
60
Shape from shading
Resultados con una esfera sintética de 100 pixeles e iluminaciones:
Los errores de las regiones tienen un ratio 1:100 por lo que son distinguibles robustamente
Resultados con la imagen sintética del busto de Mozart, con iluminaciones
Pixels negros: alguna de las irradiancias es cero y no se puede calcular nada.
Gris claro: las orientaciones pertenecen al plano de simetría
Gris oscuro: es posible aplicar el criterio de integrabilidad.
Blanco: gradientes muy verticales, irradiancia muy baja o muy cercanas a la frontera.