Facultad de Informática de la Universidad de A Coruña

VISIÓN EN 3D

Autores: Adrián Carpente RecousoDavid Albela Perez

Fecha: 18 de mayo de 2012

Índice

1. Introducción 5

1.1. Visión . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.2. Visión 2D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3. Visión 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2. Visión estereoscópica 8

2.1. Definición . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.2. Tipos de sistemas estereoscópicos . . . . . . . . . . . . . . . . . . . . . . . 10

2.2.1. Visión estereoscopica con gafas . . . . . . . . . . . . . . . . . . . . 11

a) Anaglifos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

b) Gafas activas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

c) Gafas pasivas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.2.2. Visión estereoscopica sin gafas (Autoestereoscopia) . . . . . . . . . 15

a) Barreras de paralaje . . . . . . . . . . . . . . . . . . . . . . . . . 15

b) Hoja lenticular . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.3. Casos prácticos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3. Realidad aumentada 21

3.1. Definición . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.2. Tipos de Realidad Aumentada . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.2.1. Realidad Aumentada basada en marcadores o imágenes . . . . . . . 22

3.2.2. Realidad Aumentada basada en la posición . . . . . . . . . . . . . . 23

3.3. Técnicas de visualización . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.3.1. Display en la cabeza . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3.3.2. Display de mano . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.3.3. Display espacial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3.4. Casos prácticos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

VISIÓN EN 3D 2

3.5. Software Libre para Realidad Aumentada . . . . . . . . . . . . . . . . . . . 28

4. Reconstrucción 28

4.1. Escaners 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

4.1.1. Escaners con Contacto Físico . . . . . . . . . . . . . . . . . . . . . 29

4.1.2. Escaners sin Contacto Físico . . . . . . . . . . . . . . . . . . . . . . 30

a) Visión activa: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

b) Visión pasiva: . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

4.2. Reconstrucción espacial del sistema visual humano . . . . . . . . . . . . . . 31

4.3. La Visión Estereoscópica . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

4.4. Calibración . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

4.4.1. Según el método de resolución . . . . . . . . . . . . . . . . . . . . . 35

4.4.2. Según los resultados de la calibración . . . . . . . . . . . . . . . . . 35

4.4.3. Según las plantillas . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

4.4.4. Metodos de Calibración . . . . . . . . . . . . . . . . . . . . . . . . 36

4.5. Correspondencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

4.6. Reconstrucción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

4.7. Casos prácticos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

5. Segmentación 44

5.1. Segmentación en Movimiento . . . . . . . . . . . . . . . . . . . . . . . . . 45

6. Modelado de estructuras 46

6.1. Estructuras Predefinidas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

6.2. Box Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

6.3. Modelado de NURBS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

6.4. Modelado de Operaciones Booleanas . . . . . . . . . . . . . . . . . . . . . 48

6.5. Extrude y Lathe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

6.6. Loft . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

6.7. Sistema de Partículas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

6.8. Modelado por Texturas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

Bibliografía 50

Índice de Tablas

Índice de Figuras

1. Ojo humano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2. Efecto de la perspectiva en la estimación de las distancias . . . . . . . . . . 6

3. Efecto del movimiento de paralelaje . . . . . . . . . . . . . . . . . . . . . . 7

4. Visión estereoscópica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

5. Ejemplo detallado de visión estereoscópica . . . . . . . . . . . . . . . . . . 10

6. Funcionamiento de la visión 3D mediante anaglifos . . . . . . . . . . . . . 11

7. Anaglifo para ver con gafas de tipo rojo-azul . . . . . . . . . . . . . . . . . 12

8. Gafas para ver anaglifos de tipo rojo-azul . . . . . . . . . . . . . . . . . . . 12

9. Funcionamiento de las gafas activas . . . . . . . . . . . . . . . . . . . . . . 13

10. Gafas 3D activas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

11. Funcionamiento de las gafas pasivas . . . . . . . . . . . . . . . . . . . . . . 14

12. Gafas 3D pasivas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

13. Creacion de la imagen del estereograma de paralaje . . . . . . . . . . . . . 16

14. Funcionamiento de la barrera de paralelaje . . . . . . . . . . . . . . . . . . 16

15. Creacion de la imagen del estereograma de paralaje a partir de multiplesimágenes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

16. Funcionamiento de la barrera de paralelaje con un estereograma formadopor multiples imágenes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

17. Funcionamiento de la hoja lenticular . . . . . . . . . . . . . . . . . . . . . 18

VISIÓN EN 3D 4

18. Pantalla automultiescópica . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

19. Funcionamiento de la hoja lenticular adherida a una pantalla . . . . . . . . 19

20. Ejemplo de realidad aumentada . . . . . . . . . . . . . . . . . . . . . . . . 21

21. Ejemplo de un marcador . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

22. Gafas de realidad aumentada . . . . . . . . . . . . . . . . . . . . . . . . . 24

23. Lentillas para mostrar realidad aumentada . . . . . . . . . . . . . . . . . . 24

24. Smartphone con una aplicación de realidad aumentada . . . . . . . . . . . 25

25. Escáner hecho con robot Lego Midstorms NXT. . . . . . . . . . . . . . . . 29

26. Escáner por telemetría. El rayo láser es usado para medir la distancia alprimer objeto que encuentre en su trayectoria. . . . . . . . . . . . . . . . . 31

27. Principio de un sensor Láser de triangulación. Se muestra la posición dedos objetos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

28. Diplopía fisiológica. El sistema visual crea la sensación de que el objeto Aes mayor al B. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

29. Par de imágenes de una cara humana . . . . . . . . . . . . . . . . . . . . . 33

30. Resultado de la reconstrucción 3D . . . . . . . . . . . . . . . . . . . . . . . 33

31. Ejemplo de calibración mediante plantilla 2D en OpenCV. . . . . . . . . . 36

32. Modelo de cámara pin-hole. . . . . . . . . . . . . . . . . . . . . . . . . . . 36

33. Modelo de cámara de Gauss o lente delgada. . . . . . . . . . . . . . . . . . 39

34. Geometría de una sistema de visión estéreo. . . . . . . . . . . . . . . . . . 41

35. Demostración de reconstrucción en tiempo real con Kinect. . . . . . . . . . 44

36. Ejemplo de superficie tridimensional generada mediante NURBS . . . . . . 48

37. Modelado de figuras mediante operaciones booleanas . . . . . . . . . . . . 49

38. Cuenco creado a partir del giro de un spline. . . . . . . . . . . . . . . . . . 49

39. Ejemplo de textura sobre una puerta dando aspecto de profundidad. . . . . 50

VISIÓN EN 3D 5

1. Introducción

Este documento se trataran varios temas sobre la visión 3D. En el se explica quees la visión y en que consiste la visión 3D. Para ello se dedicará un apartado a laexplicación de la visión estereoscópica. A continuación se hablará sobre la realidadaumentada. Después se tratará el tema de la reconstrucción profundizando sobre laparte de segmentación. Por último, el documento finaliza con un apartado dedicado almodelado de estructuras.

1.1. Visión

Con origen en el término latino visïo, la palabra visión hace referencia al sentido quepermite detectar la luz e interpretarla (es decir, ver). La visión, en sí misma, es unacapacidad propia del hombre y de los animales, ya que cuentan con un sistema visual. Enel caso de ciertas máquinas, se habla de visión artificial.

Figura 1: Ojo humano

El sistema visual cumple con distintas funciones parapermitir la visión. En principio, se encarga de formar laimagen óptica del estímulo visual en la retina, a través dela córnea y del cristalino del ojo. Esta parte del procesovisual está a cargo del sistema óptico.

Por otra parte, las células de la retina forman el sis-tema sensorial del ojo. Aquí intervienen los fotorrecep-tores, que capturan la luz que incide sobre ellos. Existendos tipos de fotorreceptores: los conos y los bastones.

En esta parte del proceso participan también otrascélulas de la retina, encargadas de transformar la luzen impulsos electroquímicos y de transportarlos hastael nervio óptico. Desde allí se proyectan a distintas regiones, como el núcleo geniculadolateral y la corteza visual del cerebro.

El proceso de reconstrucción de las distancias, los colores, los movimientos y las formasde los objetos, finalmente, se produce en el cerebro.

1.2. Visión 2D

Al observar una escena o un objeto empleando para ello un solo ojo, o una sola cá-mara, se obtiene una imagen plana, es decir, bidimensional. Es lo que se denomina visiónmonocular. En dicha visión solo se dispone de una fuente de entrada de intensidades deluz lo que da lugar a que no se disponga de información sobre la profundidad de la escenaobservada causando una perdida de la sensación de relieve.

En una imagen 2D, al igual que cuando se observa un cuadro o una fotografía, existen

VISIÓN EN 3D 6

una serie de factores que, de una forma intuitiva, aportan información sobre aspectostridimensionales como distancia o profundidad.

Pueden diferenciarse tres tipos distintos de mecanismos que actúan a nivel de la visiónmonocular para proporcionar información tridimensional, estos son: mecanismos geométri-cos, el movimiento de paralaje y mecanismos relacionados con la musculatura ocular.

Mecanismos geométricos:

• Distribución de luces y sombras.Se trata de un factor de gran importancia, ya que la luz modela la forma de losobjetos aportando claves en cuanto al volumen de los mismos. Es una técnicamuy utilizada en fotografía, pintura y cine. Una iluminación rasante refuerzalas sombras acentuando el relieve y el aspecto tridimensional de los objetos. Esun mecanismo ligado a la visión de los contrastes.

• Superposición de imágenes.El hecho de que unos objetos cubran en parte a otros es rápidamente interpre-tado por el cerebro como que los que son parcialmente cubiertos se encuentranmás alejados que aquellos que los ocultan.

• Perspectiva.El efecto de perspectiva produce una clara sensación de profundidad. Las líneasparalelas horizontales parecen converger en el horizonte. Así, para dos objetosque se observan con el mismo tamaño, y que están situados en una mismalínea horizontal, parece que está más cercano aquel que se sitúa más alejadodel punto de convergencia de las líneas horizontales. En la Figura 2 se muestraun ejemplo de este efecto.

Figura 2: Efecto de la perspectiva en la esti-mación de las distancias. El árbol de la mi-tad superior se encuentra a menor distanciadel punto de convergencia que el de la parteinferior, por lo que se interpreta como másalejado del observador. Como el tamaño enel dibujo es el mismo, da la sensación de quedicho árbol es mayor.

• Tamaño aparente de los objetos.Consiste en recurrir a la memoria para comparar el tamaño real de los objetosconocidos con el tamaño con el que aparecen en la imagen. Cuanto menor seael tamaño con que el aparece un objeto, mayor es la distancia a la que seencuentra.

VISIÓN EN 3D 7

• Resolución del objeto.Por efecto de la calima1 y el polvo atmosférico, cuanto mayor es la distancia ala que se encuentra un objeto, este aparece con menor resolución y nitidez, ala vez que tiende a homogeneizarse el color.

El movimiento de paralaje:Al cambiar de posición los ojos desplazando la cabeza, la posición relativa en que seobservan los objetos se ve modificada. En una escena en la que hay varios objetossituados a distintas distancias, si se centra la atención en uno situado a una distanciaintermedia entre los objetos más lejanos y los más cercanos, los que se sitúan a mayordistancia parecen desplazarse en el mismo sentido que el del observador, y cuantomás alejados estén más rápido se desplazarán. Por el contrario, los objetos situadosa menor distancia del objeto sobre el que se haya fijado la vista parecen desplazarseen sentido contrario y a mayor velocidad cuanto más próximos se encuentren. En laFigura 3 se explica un ejemplo sobre este efecto.

Figura 3: El desplazamiento del observadorproduce la impresión de que se mueven losobjetos de la escena. La flecha hacia laderecha de la parte superior de la imagenrepresenta el movimiento del observador,y las otras dos reflejan el desplazamientoaparente de los objetos.

1.3. Visión 3D

En la base de cualquier tipo de percepción tridimensional se encuentran una serie decomplejos procesos fisiológicos y psicológicos relacionados con la visión. Dichos procesosdan lugar a la creación de una sensación de volumen y dotan a los objetos de un aspectosólido y los sitúa en un punto concreto del espacio.

En última instancia, la materia prima de estos procesos es la obtención de dos imágenesdistintas de una misma escena por parte de los dos ojos. Estas imágenes son procesadasy comparadas por el cerebro, el cual acaba creando una sensación espacial.

Estos mecanismos se utilizan de forma inconsciente en todo momento, por lo que, engeneral, no nos damos cuenta de que estamos viendo en tres dimensiones. Sin embargo,

1La calima consiste en la suspensión de partículas muy pequeñas de polvo, arena o arcilla en laatmósfera, oscureciéndola y reduciendo la visibilidad.

VISIÓN EN 3D 8

cuando se trata de observar representaciones que estamos acostumbrados a ver planas(tales como cuadros, dibujos o fotografías), el efecto es enormemente llamativo.

Esta visión en tres dimensiones, también llamada visión estereoscópica o visión enrelieve, resulta de la capacidad del sistema visual de dar aspecto tridimensional a losobjetos a partir de las imágenes en dos dimensiones obtenidas en cada una de las retinasde los ojos.

Se trata de un estado de la visión que se produce cuando ambos ojos fijan su atenciónsimultáneamente en un mismo objeto. La fusión automática de ambas imágenes creauna percepción única en la que es posible apreciar distancias, espesores, profundidades ydimensiones.

En la creación de estas sensaciones intervienen tanto aspectos de la visión monocularcomo de la binocular, las cuales se suman y complementan. Los mecanismos que inter-vienen son muy variados y se explicarán en detalle en la Sección 2: Visión estereoscópica.

2. Visión estereoscópica

2.1. Definición

La visión esteoroscópica (o visión tridimensional) es cualquier técnica capaz de recogerinformación visual tridimensional y/o crear la ilusión de profundidad en una imagen. Lavisión estereocopia se cosigue mediante la participación de los dos ojos (es decir, se tratade visión binocular2) y permite la fusión en una percepción única de las imágenes recogidaspor ambas retinas. A pesar de que cada ojo tiene su propio punto de vista de cualquierobjeto, mediante la fusión binocular se obtiene una sola imagen.

Figura 4: Visión estereoscópica

En la Figura 4 se muestra un ejemplo sencillo devisión estereoscópica. En ella se pueden ver las imá-genes que cada ojo obtiene de la escena observada.A partir de ellas el cerebro genera una única imagentridimensional de la escena.

De manera natural, el sistema de visión humanoes estéreo, es decir, tiene la capacidad de apreciar,a través de la visión binocular, las diferentes dis-tancias y volúmenes en el entorno que lo rodea. Losojos de las personas, debido a su separación, ob-tienen dos imágenes con pequeñas diferencias entreellas, a lo que se le denomina disparidad. El cere-bro procesa las diferencias entre ambas imágenes ylas interpreta de forma que se percibe la sensación

2La palabra binocular proviene de dos raíces latinas, “bini” doble, y “oculus” ojo. En óptica, optometríay oftalmología, la visión binocular es el tipo de visión en que los dos ojos se utilizan conjuntamente.

VISIÓN EN 3D 9

de profundidad, lejanía o cercanía de los objetos del entorno. Este proceso se denominaestereopsis.

En la estereopsis intervienen diversos mecanismos. La agudeza estereoscópica es lacapacidad de discernir, mediante la estereopsis, detalles situados en planos diferentes y auna distancia mínima. Hay una distancia límite a partir de la cual no somos capaces deapreciar la separación de planos, y que varía de unas persona a otras.

Los dos ojos, al estar situados en posiciones diferentes, recogen cada uno en sus retinasuna imagen ligeramente distinta de la realidad que tienen delante. Esas pequeñas diferen-cias se procesan en el cerebro para calcular la distancia a la que se encuentran los objetosmediante la técnica del paralelaje. El cálculo de las distancias sitúa los objetos que estamosviendo en el espacio tridimensional, obteniendo una sensación de profundidad o volumen.Por lo que si tomamos o creamos dos imágenes con un ángulo ligeramente distinto y selas mostramos a cada ojo por separado, el cerebro podrá reconstruir la distancia y por lotanto la sensación de tridimensionalidad.

Las variaciones verticales son indiferentes en lo que respecta a creación de sensaciónde volumen. Solo las variaciones horizontales, producidas por la diferente ubicación de losojos, resultan en sensación de profundidad. Debe añadirse que, si bien es la esteroscopiala principal fuente de información del cerebro para la composición tridimensional de losobjetos que estamos viendo, no es la única. Existen otras fuentes de información comoson el enfoque o la interpretación inteligente de las imágenes, que también son utilizadaspor el cerebro.

En la escena observada en la Figura 5 hay un ciervo, un pájaro y un árbol, siendoel ciervo el más cercano al observador y el árbol el más alejado. En la figura se puedever como la perspectiva ofrecida por cada ojo sobre el ciervo es ligeramente diferente. Encambio, la perspectiva del pájaro y del árbol es casi la misma debido a que los dos seencuentra muy alejados del observador. Cuando se observan objetos muy lejanos, los ejesópticos de los ojos son paralelos. Cuando se observa un objeto cercano, los ojos giran paraque los ejes ópticos estén alineados sobre él, es decir, convergen. A su vez se produce laacomodación o enfoque para ver nítidamente el objeto. Este proceso conjunto se llamafusión.

VISIÓN EN 3D 10

Figura 5: Ejemplo detallado de visión estereoscópica

2.2. Tipos de sistemas estereoscópicos

En la actualidad existen varios métodos para lograr la visión estereoscópica:

Con gafas

• Anaglifos• Gafas activas• Gafas pasivas

Sin gafas (Autoestereoscopia)

• Barreras de paralaje• Hoja lenticular

Se procede a continuación a explicar detalladamente cada uno de los métodos.

VISIÓN EN 3D 11

2.2.1. Visión estereoscopica con gafas

a) Anaglifos.

Es el primer sistema que fue desarrollado. Consisten en estereofotografías tomadas otratadas con filtros de distintos colores sobrepuestas en una sola imagen. Se observanpor medio de gafas llamada gafas anaglifo y que tiene un filtro de diferente color paracada ojo. La misión de estos filtros es hacer llegar a cada ojo únicamente la imagen que lecorresponde. Así se consigue “filtrar” las imágenes y conseguir el efecto deseado y necesariopara que el cerebro pueda interpretar tridimensionalidad ya que tendremos una imagendiferente en cada ojo. (Recordemos que el principio fundamental de la estereoscopía esque la sensación de volumen parte de que cada ojo vea una imagen diferente para asílograr crear dimensionalidad de profundidad).

Este sistema, por su bajo costo, se emplea sobre todo en publicaciones, así comotambién en monitores de ordenador y antiguamente en el cine. Presenta el problema dela alteración de los colores, pérdida de luminosidad y cansancio visual después de un usoprolongado. Normalmente se sitúa el filtro rojo en el ojo izquierdo, y el azul en el ojoderecho. En la Figura 6 se muestra un esquema del funcionamiento de las visión en 3Dmediante anaglifos.

Figura 6: Funcionamiento de la visión 3D mediante anaglifos

VISIÓN EN 3D 12

En la Figura 7 se muestra una imagen en 3D generada mediante esta técnica. Dichaimagen ha sido creada con anaglifos de tipo rojo-azul. Para poder visualizar la imagen en3D es necesario utilizar unas gafas como las que se muestran en la Figura 8.

Figura 7: Anaglifo para ver con gafas de tipo rojo-azul

Figura 8: Gafas para ver anaglifos de tipo rojo-azul

b) Gafas activas.

El proyector emite las imágenes sin ningún tipo de filtrado, siendo las gafas a travésdel sensor las que se obturan y desobturan a la misma frecuencia que la emisión defotogramas. Este tipo de gafas requiere un sensor infrarrojo que permita sincronizar lasimágenes alternativas de la pantalla con las lentes LCD de las gafas. Las gafas activasllevan una batería, un sensor infrarrojo, cristales LCD y circuitería, por lo que son bastantemás pesadas y más caras. Las desventajas de este sistema son un mayor peso y coste delas gafas, duración limitada de la batería y pueden producir mareos.

VISIÓN EN 3D 13

En la Figura 9 se muestra un esquema del funcionamiento de esta técnica de visión en3D. Para poder visualizar imágenes en 3D mediante esta tecnología es necesario utilizarunas gafas como las que se muestran en la Figura 10.

Figura 9: Funcionamiento de las gafas activas

Figura 10: Gafas 3D activas

c) Gafas pasivas.

Las gafas pasivas son una evolución de las gafas anaglíficas. Consisten en gafas polar-izadas que usan unas lentes que filtran las ondas de luz, proyectándolas a ciertos ángulos.

VISIÓN EN 3D 14

Este tipo de gafas permiten ver por cada ojo un determinado número de imágenes, con-siguiendo una sensación de profundidad o efecto 3D de mayor calidad y mejor visionado.Las dos imágenes se proyectarán mediante dos dispositivos equipados con filtros polariza-dos, girados 90o respectivamente. Esta tecnología presenta las ventajas de necesitar unasgafas con un menor coste, más ligeras y que no necesitan batería.

En la Figura 11 se muestra un esquema del funcionamiento de las visión en 3D medi-ante gafas polarizadas. Para poder visualizar imagenes en 3D mediante esta tecnología esnecesario utilizar unas gafas como las que se muestran en la Figura 12.

Figura 11: Funcionamiento de las gafas pasivas

VISIÓN EN 3D 15

Figura 12: Gafas 3D pasivas

2.2.2. Visión estereoscopica sin gafas (Autoestereoscopia)

La Autoestereoscopia (Autoestereoscopy en inglés) es el método para reproducir imá-genes tridimensionales que puedan ser visualizadas sin que el usuario tenga que utilizarningún dispositivo especial (como gafas o cascos especiales) ni necesite condiciones espe-ciales de luz. Gracias a este método, el observador puede apreciar profundidad aunquela imagen esté producida por un dispositivo plano. La visión estereoscópica consiste enla observación, por parte de ambos ojos de dos imágenes que difieren levemente y querepresentan una misma realidad. Esa pequeña diferencia, similar a la que perciben losojos humanos cuando miran el mundo que les rodea, es la que permite al cerebro calcularla profundidad. La aplicación de este principio consiste en poder dotar al soporte queemita las imágenes la capacidad de enviar cada una de estas imágenes a un ojo distinto.De esta manera el cerebro construirá la imagen 3D del objeto o de la escena que estamosrepresentando.

La tecnología de la exhibición autoesteroscópica incluye el papel, la película, el vídeo,y sistemas informáticos. Los dispositivos autoesteroscópicos son atractivos porque ofrecenla mayor aproximación al mundo real que nos rodea, sin necesidad de tener que utilizaraparatos externos.

a) Barreras de paralaje.

Los métodos de la barrera de paralaje ya se utilizaban desde principios del Siglo XX.El estereograma de paralaje consiste en una rejilla vertical fina puesta delante de unaimagen especialmente diseñada. La rejilla se hace normalmente de un material opacocon fracturas verticales transparentes y finas con un espaciamiento regular. Cada rajatransparente actúa como ventana a un trozo vertical de la imagen puesta detrás de ella.El trozo que vemos depende de la posición del ojo.

La imagen del estereograma de paralaje está hecha interpolando las columnas a partirde dos imágenes. En la Figura 13 se muestra un ejemplo de como se crea dicho estere-ograma de paralelaje. Esta imagen y la rejilla vertical están alineadas de modo que el ojoizquierdo pueda ver solamente las tiras de la imagen para el ojo izquierdo y el ojo derecho

VISIÓN EN 3D 16

pueda ver solamente las tiras de la imagen para el ojo derecho.

Figura 13: Creacion de la imagen del estereograma de paralaje

Figura 14: Funcionamiento de la barrera de paralelaje

VISIÓN EN 3D 17

Pero los estereogramas de paralaje suelen utilizar un número más grande de imá-genes, no solo un par. Éstas pueden ser imágenes arbitrarias o imágenes ordenadas enuna secuencia de tiempo (en este caso se inclina el estereograma para que de la impre-sión del movimiento). La imagen que está detrás de la barrera está formada por tiras decada subimagen, puestas una al lado de otra. En la Figura 15 se muestra como crear elestereograma de paralelaje a partir de múltiples imagenes.

Figura 15: Creacion de la imagen del estereograma de paralaje a partir de multiples imágenes

Figura 16: Funcionamiento de la barrera de paralelaje con un estereograma formado por multiples imágenes

El espectador puede mover su cabeza de lado a lado y ver diversos aspectos de laescena 3D, excepto en una cierta posición donde los ojos ven los pares incorrectos. Esto

VISIÓN EN 3D 18

ocurre en la transición de una tira de la imagen más a la izquierda a una tira de la imagenmás a la derecha.

Este efecto es reducido al mínimo usando una gran cantidad de subimágenes con unángulo muy pequeño entre ellas o manteniendo una profundidad pequeña de la visión.Desafortunadamente el número de imágenes está definido por la resolución de pantalla yde la barrera.

b) Hoja lenticular.

En vez de utilizar una barrera, puede utilizarse una hoja lenticular, la cual es unahoja de lentes finas y largas. Esta hoja lenticular contiene una serie de lentes cilíndricasmoldeadas en un substrato plástico (ver Figura 17). Se diseña la imagen trasera paraenfocar la línea de la vista de cada ojo sobre diversas tiras y se forma esencialmente de lamisma manera que para un estereograma de paralaje.

Figura 17: Funcionamiento de la hoja lenticular

La clave para la creación acertada de las imágenes autoestereoscópicas basadas sobreestas lentes es la calidad y la uniformidad de la lente. A diferencia que con el método debarrera, la superficie entera de la lente irradia luz, por lo que no hay zonas opacas.

Las hojas lenticulares se utilizan para crear pantallas automultiescópicas las cualespermiten visualizar los objetos desde ángulos distintos dependiendo de la posición dondese encuentre el espectador. Para ello se adhiere una hoja lenticular en la superficie de lapantalla para dirigir las vistas en direcciones particulares, la pantalla presenta imágenesque el cerebro interpreta como una imagen tridimensional. Por lo tanto a diferencia delas películas 3D, los espectadores tienen vistas múltiples de la escena moviendo la cabezadelante del monitor (ver Figura 18).

Este efecto se consigue gracias a la multiplexación espacial que implica un submuestreo

VISIÓN EN 3D 19

irregular de las vistas originales. Este proceso se utiliza para combinar dos o más perspec-tivas en una única imagen mostrada por el monitor automultiescópico.

Figura 18: Pantalla automultiescópica

La hoja lenticular permite la visualización de nueve vistas 3D. Está compuesta porlentes semicilíndricas que utilizan la difracción de la luz para dirigir las vistas en unacierta dirección.

La Figura 19 representa una sección transversal horizontal de la hoja lenticular y dela disposición de los píxels (RGB) del panel LCD. Cada subpixel del monitor es mapeadopara cada vista en particular, entre nueve posibles, dependiendo de su posición debajo dela lente.

Figura 19: Funcionamiento de la hoja lenticular adherida a una pantalla

Los dos ojos verán intensidades que corresponden a dos vistas diferentes, por esa razónel espectador percibe la escena con profundidad 3D y las vistas van cambiando conformeel usuario traslada su cabeza delante de la pantalla. Puesto que 9 vistas se combinan

VISIÓN EN 3D 20

para formar una imagen, por término medio solamente un subpíxel de nueve se mantieneen cada vista original. Esto provoca que el submuestreo que resulta sea muy irregular.Teniendo en cuenta la teoría de muestreo multidimensional, el submuestreo irregular puedeprovocar aliasing.

El aliasing produce efectos indeseable en la imagen como puntos aislados, deterioro detexturas y pérdidas de detalle en áreas de frecuencia alta de la imagen. Estas imperfec-ciones se pueden solucionar utilizando un filtro anti-aliasing 2D.

2.3. Casos prácticos

A continuación se citarán algunas de las aplicaciones prácticas de la visión estere-oscópica.

Televisión en 3D:Consiste en un televisor que permite visualizar imágenes en tres dimensiones, uti-lizando diversas técnicas para lograr la sensación de profundidad. Aporta un mayorrealismo de la escena debido a la percepción de la profundidad de los objetos obser-vados en la pantalla.

Telepresencia:El número de aplicaciones orientadas a facilitar el trabajo en entornos hostiles, peli-grosos o simplemente difíciles se incrementa continuamente. En general se empleanrobots teledirigidos, dotados de cámaras estereoscópicas. El operario, mediante gafasobturadoras o cascos de inmersión, recibe la imagen captada por esas cámaras. Lasaplicaciones son tan variadas como la desactivación de explosivos, la exploraciónespacial, la exploración submarina o las intervenciones quirúrgicas por medio deinstrumental robótico.

El Ojo de Halcón [31] (en inglés Hawk-Eye):Es una tecnología que se lleva usando varios años (desde Wimbledon 2007) en el lasgrandes competiciones de tenis. El objetivo de esta tecnología es calcular la posiciónexacta del bote de la pelota evitando así posibles errores de los jueces de línea y delpropio Juez de silla. Su funcionamiento consiste en utilizar varias cámaras situadasalrededor de la pista (normalmente a la altura de la primera fila de gradas) con elobjetivo de situar espacial y temporalmente la pelota y por tanto poder obtener elrecorrido que esta hace.

Astronomía:Aprovechando el desplazamiento de la Tierra en su órbita y la del Sol alrededor delcentro de la galaxia, se obtienen imágenes estereoscópicas del firmamento, siendoposible la medición de distancias que nos separan de los astros.La posibilidad de obtener la configuración tridimensional de la superficie de losplanetas y satélites del Sistema Solar por medio de simples fotografías, ha hecho deesta técnica una herramienta fundamental en la exploración espacial.

VISIÓN EN 3D 21

Física:La física nuclear también hace uso de una variante de la técnica que nos ocupapara el registro de las trayectorias de las partículas subatómicas. Tras las colisionesinducidas en los aceleradores de partículas, complejos dispositivos dotados de variascámaras registran la trayectoria de los haces de partículas sometidas a fuertes cam-pos magnéticos.

3. Realidad aumentada

3.1. Definición

La realidad aumentada (RA) es el término que se usa para definir una visión directa oindirecta de un entorno físico del mundo real, cuyos elementos se combinan con elementosvirtuales para la creación de una realidad mixta en tiempo real. Consiste en un conjuntode dispositivos que añaden información virtual a la información física ya existente, esdecir, añadir una parte sintética virtual a lo real. Esta es la principal diferencia con larealidad virtual, puesto que no sustituye la realidad física, sino que sobreimprime los datosinformáticos al mundo real.

Figura 20: Ejemplo de realidad aumentada

Con la ayuda de la tecnología (por ejemplo, aña-diendo la visión por computador y reconocimien-to de objetos) la información sobre el mundo realalrededor del usuario se convierte en interactiva ydigital. La información artificial sobre el medio am-biente y los objetos pueden ser almacenada y recu-perada como una capa de información en la partesuperior de la visión del mundo real.

En la Figura 20 se muestra un ejemplo de reali-dad aumentada. La visión real de la imagen consisteen un libro de dinosaurios. En la página del libro quese está mostrando existe un marcador que identificaal dinosaurio de esa página. La parte virtual de la imagen consiste en el dinosaurio en 3Dque se muestra sobre el libro. El sistema de realidad aumentada identifica el marcador yañade en esa posición el dinosaurio 3D creado virtualmente.

Para fusionar coherentemente las imágenes del mundo real y las imágenes virtualesen 3D, las imágenes virtuales deben atribuirse a lugares del mundo real. Ese mundo realdebe ser situado, a partir de imágenes de la cámara, en un sistema de coordenadas. Dichoproceso se denomina registro de imágenes. Este proceso usa diferentes métodos de visiónpor ordenador, en su mayoría relacionados con el seguimiento de vídeo. Muchos métodosde visión por ordenador de realidad aumentada se heredan de forma similar de los métodos

VISIÓN EN 3D 22

de odometría3 visual.

Por lo general los métodos constan de dos partes. En la primera etapa se puede utilizarla detección de esquinas, la detección de Blob, la detección de bordes, de umbral y losmétodos de procesado de imágenes. En la segunda etapa el sistema de coordenadas delmundo real es restaurado a partir de los datos obtenidos en la primera etapa. Algunosmétodos asumen los objetos conocidos con la geometría 3D (o marcadores fiduciarios)presentes en la escena y hacen uso de esos datos. En algunos de esos casos, toda laestructura de la escena 3D debe ser calculada de antemano. Si no hay ningún supuestoacerca de la geometría 3D se estructura a partir de los métodos de movimiento. Losmétodos utilizados en la segunda etapa incluyen geometría proyectiva (epipolar), paquetede ajuste, la representación de la rotación con el mapa exponencial, filtro de Kalman yfiltros de partículas.

3.2. Tipos de Realidad Aumentada

Existen dos tipos de Realidad Aumentada, la Realidad Aumentada que emplea mar-cadores o imágenes y la Realidad Aumentada basada en la posición.

A continuación se detallan las características más importantes de cada tipo.

3.2.1. Realidad Aumentada basada en marcadores o imágenes

Este tipo de Realidad Aumentada emplea marcadores (símbolos impresos en papel) oimágenes, en los que se superpone algún tipo de información (imágenes,objetos 3D, vídeo,...) cuando son reconocidos por un software de determinado. En la Figura 20 se muestraun ejemplo de marcador.

Figura 21: Ejemplo de un marcador

Para experimentar la Realidad Aumentada basada en marcadores el procedimientogeneral suele ser el siguiente:

1. Imprimir el marcador correspondiente.

2. Conectar la cámara.

3. Ejecutar la aplicación de realidad aumentada.

4. Situar el marcador delante de la cámara.

5. El software reconoce el marcador y superpone el contenido virtual sobre el mundoreal.

3La odometría es el estudio de la estimación de la posición de vehículos con ruedas durante la nave-gación. Para realizar esta estimación se usa información sobre la rotación de las ruedas para estimarcambios en la posición a lo largo del tiempo.

VISIÓN EN 3D 23

El software en ejecución es capaz de realizar un seguimiento del marcador de tal maneraque si el usuario lo mueve, el objeto 3D superpuesto también sigue ese movimiento, si segira el marcador se puede observar el objeto 3D desde diferentes ángulos y si se acerca o sealeja, el tamaño del objeto aumenta o se reduce respectivamente. El dinosaurio mostradoanteriormente en la Figura 20 se trata de un ejemplo de Realidad Aumentada basada enmarcadores.

Si se emplea una imagen como “marcador”, el proceso es muy similar. Hay que ejecutarla aplicación correspondiente y captar la imagen en cuestión con la cámara. Una vezreconocida la imagen se producirá la acción que corresponda.

Dentro de este grupo se puede añadir los códigos QR, códigos que contienen un mensajeque puede ser leído por un lector de códigos QR.

Los códigos QR no son como los marcadores de Realidad Aumentada que únicamentepueden ser identificados por la aplicación para la que han sido diseñados. La informaciónque se muestra en un marcador o una imagen, viene determinada por la aplicación que seejecuta, sin embargo en un código QR la información o acción a realizar está codificadaen el propio símbolo, pudiendo ser leído por cualquier lector de códigos QR.

3.2.2. Realidad Aumentada basada en la posición

A este tipo de realidad aumentada también se le conoce como Realidad Aumentada sinmarcadores (Markerless Augmented Reality). Este sistema permite encontrar y describirrecursos que la cámara (normalmente de un teléfono móvil o un tablet) capta al enfocarlos espacios exteriores o interiores, con el fin de facilitar al usuario información sobrelugares y eventos de interés. Permite disponer de una guía interactiva y actualizada entodo momento.

Las aplicaciones que ofrecen este tipo de realidad aumentada utilizan el hardware delos smartphones o teléfonos inteligentes (gps, brújula y acelerómetro) para localizar ysuperponer una capa de información sobre puntos de interés (POIs) de nuestro entorno.Esta tecnología se centra en la capacidad del software de utilizar simultáneamente lacámara y los datos del acelerómetro para generar una mejor conciencia del espacio. Graciasa que los sensores del teléfono se puede registrar la dirección de los giros, el programapuede traducir el movimiento y mantener los objetos 3D en sus posiciones.

Cuando el usuario mueve el smartphone captando los elementos de su entorno, elnavegador, a partir de un mapa de datos, muestra los POIs cercanos. En la Figura 24 dela Sección 3.3.2 se muestra un ejemplo de realidad aumentada basada en la posición.

3.3. Técnicas de visualización

Existen tres técnicas principales para mostrar la realidad aumentada:

VISIÓN EN 3D 24

3.3.1. Display en la cabeza

Una pantalla instalada en la cabeza (HMD Head-Mounted Display) muestra tanto lasimágenes de los lugares del mundo físico y social donde nos encontremos, como objetosvirtuales sobre la vista actual del usuario. Los HMD son dispositivos ópticos que permitenal usuario poder ver el mundo físico a través de la lente y superponer información gráficaque se refleja en los ojos del usuario. El HMD debe ser rastreado con un sensor. Esteseguimiento permite al sistema informático añadir la información virtual al mundo físico.La principal ventaja de la HMD de Realidad Aumentada es la integración de la informaciónvirtual dentro del mundo físico para el usuario. La información gráfica esta condicionadaa la vista del usuario. Los displays de este tipo más comunes son las gafas de realidadaumentada (ver Figura 22). También existen proyectos en los que se están intentandocrear lentillas de realidad aumentada (ver Figura 23). Consiste en colocar un monitorpegado a la retina que mostraría su imagen en el centro de la pupila mientras dejaríapasar la luz por el resto de la misma.

Figura 22: Gafas de realidad aumentada

Figura 23: Lentillas para mostrar realidad aumentada

VISIÓN EN 3D 25

3.3.2. Display de mano

Este tipo de displays de realidad aumentada consisten en un dispositivo informáti-co que incorpora una pantalla pequeña que cabe en la mano de un usuario. Todas lassoluciones utilizadas hasta la fecha por los diferentes dispositivos de mano han empleadotécnicas de superposición de información gráfica sobre el vídeo. Inicialmente los disposi-tivos de mano empleaban sensores de seguimiento tales como brújulas digitales y GPS queañadían marcadores al vídeo. Más tarde el uso de sistemas, como ARToolKit4, permitieronañadir información digital a las secuencias de vídeo en tiempo real. El display de manopromete ser el primer éxito comercial de las tecnologías de Realidad Aumentada. Sus dosprincipales ventajas son el carácter portátil de los dispositivos de mano y la posibilidadde ser aplicada en los teléfonos con cámara (ver Figura 24).

Figura 24: Smartphone con una aplicación de realidad aumentada

3.3.3. Display espacial

La Realidad Aumentada espacial (SAR) hace uso de proyectores digitales para mostrarinformación gráfica sobre los objetos físicos. La diferencia clave es que la pantalla estáseparada de los usuarios del sistema. Debido a que el display no está asociado a cadausuario, permite a los grupos de usuarios, utilizarlo a la vez y coordinar el trabajo entreellos.

SAR tiene varias ventajas sobre el tradicional display colocado en la cabeza y sobredispositivos de mano. El usuario no está obligado a llevar el equipo encima ni a someterseal desgaste de la pantalla sobre los ojos. Esto hace del display espacial un buen candidato

4Se hablará sobre él en la Sección 3.5.

VISIÓN EN 3D 26

para el trabajo colaborativo. El display espacial no está limitado por la resolución dela pantalla, que sí que afecta a los dispositivos anteriores. Un sistema de proyecciónpermite incorporar más proyectores para ampliar el área de visualización. Los dispositivosportátiles tienen una pequeña ventana al mundo para representar la información virtual,en cambio en un sistema SAR se puede mostrar un mayor número de superficies virtualesa la vez en un entorno interior. Es una herramienta útil para el diseño, ya que permitevisualizar una realidad que es tangible de forma pasiva.

3.4. Casos prácticos

La realidad aumentada ofrece infinidad de nuevas posibilidades de interacción, quehacen que esté presente en muchos y varios ámbitos, como son la arquitectura, el en-tretenimiento, la educación, el arte, la medicina o las comunidades virtuales.

Proyectos educativos:Actualmente la mayoría de aplicaciones de realidad aumentada para proyectos ed-ucativos se usan en museos, exhibiciones, parques de atracciones temáticos... puestoque su coste todavía no es suficientemente bajo para que puedan ser empleadas enel ámbito doméstico. Estos lugares aprovechan las conexiones wireless para mostrarinformación sobre objetos o lugares, así como imágenes virtuales como por ejemploruinas reconstruidas o paisajes tal y como eran en el pasado, Además de escenarioscompletos en realidad aumentada, donde se pueden apreciar e interactuar con losdiferentes elementos en 3D, como partes del cuerpo. Una de las primeras aplica-ciones en formación es un sistema de realidad aumentada para aprender a soldar sinriesgos.

Cirugía:La aplicación de realidad aumentada en operaciones permite al cirujano superponerdatos visuales como por ejemplo termografías o la delimitación de los bordes limpiosde un tumor, invisibles a simple vista, minimizando el impacto de la cirugía.

Entretenimiento:Teniendo en cuenta que el de los juegos es un mercado que mueve unos 30.000millones de dólares al año en los Estados Unidos, es comprensible que se esté apo-stando mucho por la realidad aumentada en este campo puesto que ésta puedeaportar muchas nuevas posibilidades a la manera de jugar.

Simulación:Se puede aplicar la realidad aumentada para simular vuelos y trayectos terrestres.

Servicios de emergencias y militares:En caso de emergencia la realidad aumentada puede servir para mostrar instruc-ciones de evacuación de un lugar. En el campo militar, puede mostrar informaciónde mapas, localización de los enemigos, etc.

VISIÓN EN 3D 27

Arquitectura:La realidad aumentada es muy útil a la hora de resucitar virtualmente edificioshistóricos destruidos, así como proyectos de construcción que todavía están bajoplano.

Apoyo con tareas complejas:Tareas complejas, como el montaje, mantenimiento, y la cirugía pueden simplifi-carse mediante la inserción de información adicional en el campo de visión. Porejemplo, para un mecánico que está realizando el mantenimiento de un sistema, lasetiquetas pueden mostrar las partes del mismo para aclarar su funcionamiento. Larealidad aumentada puede incluir imágenes de los objetos ocultos, que pueden serespecialmente eficaces para el diagnóstico médico o la cirugía. Como por ejemplouna radiografía de rayos vista virtualmente basada en la tomografía previa o en lasimágenes en tiempo real de los dispositivos de ultrasonido o resonancia magnéticanuclear abierta.

Dispositivos de navegación:La RA puede aumentar la eficacia de los dispositivos de navegación. Por ejemplo,la navegación dentro de un edificio puede ser mejorada con el fin de dar soporteal encargado del mantenimiento de instalaciones industriales. Las lunas delanterasde los automóviles pueden ser usadas como pantallas de visualización frontal paraproporcionar indicaciones de navegación y información de tráfico.

Aplicaciones Industriales:La realidad aumentada puede ser utilizada para comparar los datos digitales de lasmaquetas físicas con su referente real para encontrar de manera eficiente discrepan-cias entre las dos fuentes. Además, se pueden emplear para salvaguardar los datosdigitales en combinación con prototipos reales existentes, y así ahorrar o reducir almínimo la construcción de prototipos reales y mejorar la calidad del producto final.

Prospección:En los campos de la hidrología, la ecología y la geología, la AR puede ser utilizadapara mostrar un análisis interactivo de las características del terreno. El usuariopuede utilizar, modificar y analizar, tres mapas bidimensionales interactivos.

Colaboración:La realidad aumentada puede ayudar a facilitar la colaboración entre los miembrosde un equipo a través de conferencias con los participantes reales y virtuales.

Publicidad:Una de las últimas aplicaciones de la realidad aumentada es la publicidad. Haydiferentes campañas que utilizan este recurso para llamar la atención del usuario.

Turismo:Plataformas como Junaio o Layar5 permiten el desarrollo de aplicaciones a terceros,

5En el siguiente enlace se explica que es y para que sirve Layar: http://onsoftware.softonic.com/realidad-aumentada-en-10-capas-para-layar

VISIÓN EN 3D 28

prácticamente sin conocimientos técnicos, a través de sus servidores. Esto ha fomen-tado la publicación de miles de aplicaciones sobre turismo, gincanas, exposicionesvirtuales, etc.

Project Glass:Proyecto de gafas de realidad aumentada creado por Google que promete cambiarla interacción de las personas con el entorno [29].

3.5. Software Libre para Realidad Aumentada

ARToolKit Es una biblioteca GNU GPL que permite la creación de aplicaciones de real-idad aumentada, desarrollado originalmente por Hirokazu Kato en 19991 y fue pub-licado por el HIT Lab de la Universidad de Washington. Actualmente se mantienecomo un proyecto de código abierto alojado en SourceForge con licencias comercialesdisponibles en ARToolWorks..

ATOMIC Authoring Tool Es un software Multi-plataforma para la creación de aplica-ciones de realidad aumentada, el cual es un Front end para la biblioteca ARToolKit.Fue Desarrollado para no-programadores, y permite crear rápidamente, pequeñasy sencillas aplicaciones de Realidad Aumentada. Está licenciado bajo la LicenciaGNU GPL.

ATOMIC Web Authoring Tool Es un proyecto hijo de ATOMIC Authoring Toolque permite la creación de aplicaciones de realidad aumentada para exportarlasa cualquier sitio web. Es un Front end para la biblioteca Flartoolkit. Está licenciadobajo la Licencia GNU GPL.

4. Reconstrucción

La reconstrucción 3D es un proceso a través del cual objetos reales son reproducidosen un ordenador manteniendo sus características físicas (dimensiones, volumen y forma).Existen diversas técnicas de reconstrucción y métodos de modelado tridimensional, cuyoobjetivo principal es poder realizar la conexión del conjunto de puntos representativosdel objeto en forma de elementos de superficie, ya sean triángulos, cuadrados o cualquierotra forma geométrica.

Para poder realizar la reconstrucción de un objeto antes se deben obtener los diferentespuntos mediante el uso de un escáner con o sin contacto físico.

Cuando se utiliza un escáner mediante contacto se tiene en cuenta los factores como eltamaño y distancia del objeto a medir y la precisión necesaria. No es lo mismo realizar elescáner de una montaña que el de un objeto pequeño. También hay que tener en cuentacomo de agresivo puede ser el escaneo.

VISIÓN EN 3D 29

Para realizar una reconstrucción sin contacto se deben seleccionar adecuadamente losfactores del objeto a escanear tales como el tamaño, la forma, uniformidad de la texturaque cubre al objeto entre otros. Las imagenes se pueden obtener bien con dos cámarasdispuestas en paralelo o con una cámara y desplazándola a una nueva distancia.

4.1. Escaners 3D

Un escáner 3D es un dispositivo que analiza un objeto o una escena para reunir datosde su forma. El propósito de un escáner 3D es, generalmente, el de crear una nube depuntos a partir de muestras geométricas en la superficie del objeto.

Se pueden clasificar de dos tipos: Con contacto físico y sin contacto.

4.1.1. Escaners con Contacto Físico

Las escáners se usan en su mayoría en control dimensional en procesos de fabricacióny pueden conseguir precisiónes típicas de 0,01 mm. Entre los escáners que realizan elcontacto físico se utilizan palpadores sobre la superficie. Su mayor desventaja es querequiere el contacto físico con el objeto para ser escaneado, por lo que el acto de escanearel objeto quizás lo modifique o lo dañe. Además que requiere un coste hardware máscostoso.

Existen multitud de proyectos de escáners que funcionan por contacto físico utilizandoLego Mindstorms NXT 6. Constan de una parte para explorar objetos con una especiede sonda que va tanteando lo que hay en una determinada zona. El escaneo de una piezapequeña puede llevar desde varios minutos a unas pocas horas.

Figura 25: Escáner hecho con robot Lego Midstorms NXT.

En el siguiente enlace se puede ver un video de ejemplo de un escáner 3D con LegoMisdstorms http://www.youtube.com/watch?v=wbxZjDV1VlI.

6Lego Mindstorms NXT Robots http://mindstorms.lego.com/eng/default.aspx

VISIÓN EN 3D 30

4.1.2. Escaners sin Contacto Físico

Los escáneres activos emiten alguna clase de señal y analizan su retorno para capturarla geometría de un objeto o una escena. Según como se capture la informacón se puedenclasificar en dos categorías:

a) Visión activa: Utilizan una fuente de luz específica para determinar las coordenadastridimensionales de los puntos de medida. Los sistemas ópticos se fundamentan en elcálculo de la profundidad.

Existen tres tipos principales de escáners de visión activa:

Tiempo de Vuelo: Utilizan un láser para medir los puntos cronometrando el tiempodel viaje de ida y vuelta de un pulso de luz. Un diodo láser emite un pulso de luz yse cronometra el tiempo que pasa hasta que la luz reflejada es vista por un detector.Son útiles en el escaneo de objetos a distancia y grandes como edificios o paisajesrocosas. En la figura 26 se muestra un escáner por telemetría.

Diferencia de fase: Mide la diferencia de fase entre la luz emitida y la recibida, yutiliza dicha medida para estimar la distancia al objeto. El haz láser emitido por estetipo de escáner es continuo y de potencia modulada. Es un escárnes de precisiónintermedia entre el de tiempo de vuelo y por triangulación. Tiene un alcanze dehasta 200 metros en condiciones de baja iluminación.

Por triagulación: Utilizan un láser para medir el entorno y a mayores una cámarapara localizar la posición del punto del láser refeljado. Son escáners de alta preciónpara objetos pequeños. En la figura 27 se ve un ejemplo de este técnica. El láserincide sobre el objeto y la cámara obtiene la posición marcada. A través de latriangulación se obtiene la posición marcada.

Holografía Conoscópica: Utiliza un haz reflejado en una superficie que atraviesa uncristal que posee dos índices de refracción, uno ordinario y fijo y otro extraordinadioque es función del ángulo de incidencia del rayo en la superficie del cristal. Son dealta precisión, alcanzando precisiones mayores a una micra. No requieren luz láser,puede utilizarse cualquier otra con tal de que no sea monocromática.

Luz Estructurada: Proyecta un patrón sobre un objeto y miden la deformación conuna cámara de técnica similar a la de la triangulación. El cálculo de la profundidadconsiste en resolver la intersección plano recta de la proyección.

La luz Modulada:Generalmente la fuente de luz simplemente cicla su amplitud enun patrón sinodal. Una cámara detecta la luz reflejada y la cantidad que el patrónde luz cambia para determinar la distancia viajada por la luz.

VISIÓN EN 3D 31

Figura 26: Escáner por telemetría. El rayo láser es usado para medir la distancia al primer objeto que encuentre en sutrayectoria.

b) Visión pasiva: Son aquellos que no emiten ningún tipo de luz, por el contrario,detectan la radiación ambiental reflejada por el objeto. Estos escáneres suelen ser de bajocoste porque en la mayoría de los casos no necesitan de un hardware especial.

Silueta: Utilizan una sucesión de fotografías alrededor de un objeto tridimensionalcontra un fondo muy bien contrastado. Estas siluetas se estiran y son cruzadas paraformar la aproximación visual de casco del objeto. Con esta clase de técnicas algunaclase de concavidades de un objeto (como el interior de un tazón) no son detectadas.

Estereoscópicos: Se basan en el sistema visual humano. Utilizando dos cámaras enparalelo a una distancia entre ellas es capaz de obtener el volumenos de los objetos.

En este trabajo nos centraremos en los escáners esteoscópicos para realizar la recon-strucción tridimensional.

4.2. Reconstrucción espacial del sistema visual humano

Para que el cerebro pueda interpretar una imagen en tercera dimensión, ésta requierede datos sobre la distancia de los objetos. Dicha información se obtiene gracias a la sepa-ración de los ojos de manera que cada uno percibe los elementos desde ángulos distintos.Esto da como resultado una triangulación de la cual el cerebro obtiene la distancia a losobjetos. A este hecho se le denomina como diplopía fisiológica.

El cerebro interpreta ambas imágenes y es capaz de realizar una reconstrucción espacialde la situación de los objetos. La reconstrucción espacial se consigue interpretando los

VISIÓN EN 3D 32

Figura 27: Principio de un sensor Láser de triangulación. Se muestra la posición de dos objetos.

Figura 28: Diplopía fisiológica. El sistema visual crea la sensación de que el objeto A es mayor al B.

puntos de los objetos de las dos imágenes adquiridas, interpretando en función de éstaslas distancias a la que se encuentran los objetos. En la figura 28 el cerebro interpreta queel objeto A está más cercano que el B ya que es percibido con mayor tamaño.

4.3. La Visión Estereoscópica

Es la técnica pasiva mas importante. Puede utilizar desde dos a más cámaras paraobtener los puntos de relación tridimendional del mundo conocido respecto a los puntos2D de cada imagen obtenida.

Los fundamentos de la reconstrucción 3D estereoscópica se basan en el sistema visualhumano. A partir de dos cámaras dispuestas en parelalo a una distancia determinada seadquieren a un mismo tiempo imágenes de una misma escena. La separación de las dosimágenes se denomina disparidad. Esta disparidad es calculada por el cerebro y utilizadapara obtener la profundidad de los objetos de la escena por medio del método de la

VISIÓN EN 3D 33

triangulación. Mediante la triangulación se obtiene la correspondencia de cada uno de lospuntos (x,y,z) del objeto según el par de imágenes capturadas.

En las figuras 29 y 30 se muestra un ejemplo de la recontrucción tridimencional deuna cara humana a partir de un par de imágenes.

Figura 29: Par de imágenes de una cara humana

Figura 30: Resultado de la reconstrucción 3D

Un sistema convencional está caracterizado por un par de cámaras con sus ejes ópticosmutuamente paralelos y separados por una distancia horizontal que se denomina líneabase. Las cámaras tienen sus ejes ópticos perpendiculares a la línea base y sus líneas deexploración o epipolares paralelas a la línea base. Las líneas epipolares son líneas uniendolas imágenes izquierda y derecha de un mismo punto en la escena.

A partir de la aproximación de un punto 3D en base a dos imágenes de las cualesconocemos los parámetros intrínsecos y extrínsecos de las cámaras (la calibración de am-bas) podemos describir un punto del espacio de coordenadas homogéneas P=(X,Y,Z) talque en las dos imágenes se identifica como P1 = (U1, V1) y P2 = (U2, V2).

VISIÓN EN 3D 34

Mediante transformación de la perspectiva inversa, a partir de una proyección 2Dse puede obenter la relación de puntos 3D, véase la figura 30. Sin embargo, esto no essuficiente ya que solo tenemos 2 ecuaciones para 3 incógnitas. Añadiendo una segundacámara también calibrada desde la que P sea visible, aportamos dos ecuaciones más pararesolver el punto P=(X,Y,Z). Es decir, que obteniendo la correspondencias de los puntosP1 = (U1, V1) y P2 = (U2, V2) de ambas imágenes del par podemos calcular el punto 3DP(X, Y, Z).

Para realizar la reconstrucción, el proceso se divide en tres fases principales:

Calibración: Obtención de los parámetros intrínsecos y de distorsión de cada cámaraen particular.

Correspondencia: Identificación de la proyección correspondiente en la imagen con-traria.

Reconstrucción: Cálculo de la coordenada espacial a partir de la disparidad en lasproyecciones.

4.4. Calibración

Se denomina calibración de la cámara a la determinación de la correspondencia entrepuntos de la imagen y puntos en el mundo real.

Consiste en determinar los valores de los parámetros del modelo de cámara empleadopara una cámara particular, de manera que pueda modelarse su funcionamiento desde elpunto de vista geométrico.

El objetivo de la fase de calibración de cada una de las cámaras por separado esproporcionar, a partir de un cierto número de imágenes de un patrón de calibración 2Dsituado a diferentes distancias. Los valores de los parámetros de calibración obtenidos seagrupan en dos tipos:

Calibración interna de cada una de las cámaras (particularmente los parámetrosintrínsecos). Los parámetros intrínsecos caracterizan las propiedades inherentesal sistema óptico de la cámara como pueden ser longitud focal efectiva, el radiode distorsión de las lentes, etc. Por consiguiente, se permite relacionar los puntosde la escena expresados en el sistema de coordenadas tridimensional, relativos a lacámara, con los puntos correspondientes en la imagen expresados en un sistema decoordenadas del plano imagen.

Calibración externa transformación rígida (rotación y traslación) que relacionala posición y orientación entre las dos cámaras. Los parámetros extrínsecos car-acterizan la calibración externa e indican, por tanto, la posición y orientación de lacámara con respecto a un sistema de coordenadas global permitiendo relacionar lascoordenadas.

VISIÓN EN 3D 35

Los parámetros instrísecos modelan la geometría interna de la cámara (logitud focalde la cámara, apertura del angular, campo de visión, distorsión de la lente, etc.) y ladigitalización de la imagen (anchura y altura de los píxeles y punto central de la imagen).Mientra que los parámetros extrínsecos de una cámara modelan su orientación y posiciónen el espacio.

En la actualidad existen varios métodos para la calibración de una cámara. Estosmétodos pueden clasificarse según diferentes criterios:

4.4.1. Según el método de resolución

Pueden ser métodos lineales o no lineales. Los métodos lineales utilizan sistemas deecuaciones basados enmínimos cuadrados. Así se obtiene una matriz de transformaciónque relaciona los puntos tridimensionales con sus proyecciones 2D en la imagen.

Los métodos lineales no calculan los parámetros que modelan la distorsión de la cámarapor lo que los resultados de los puntos 3D son siempre aproximados. Sin embargo, si sedesea aproximar mejor y que se incluyan las distorsiones que produce la cámara se puederecurrir a iteraciones para minimizar índices no lineales. El índice a minimizar suele incluirla distancia entre los puntos medidos en la imagen y los puntos proyectados obtenidos conel modelo de la cámara. Con el aumento de estas iteraciones cualquier modelo podría sercalculado. Sin embargo, los cálculos se vuelven costosos y es necesario realizar una buenaaproximación de los parámetros de entrada.

4.4.2. Según los resultados de la calibración

Calibración implícita o explícita. Una calibración implícita obtiene los valores de lasmatrices de transformación del conjunto de parámetros, esto es los parámetros. Una cal-ibración explicita obtiene directamente los parámetros del modelo de la cámara.

4.4.3. Según las plantillas

Dada una plantilla con numerosos puntos distinguibles de la que se conozcan susposiciones 2D y 3D, estos se sustituyen en las ecuaciones del modelo, siendo las incógnitaslos parámetros de la cámara. Cuantos más puntos se usen más precisa será la calibración.

En el caso de usar plantillas 3D con una sola imagen de la misma es posible realizarla calibración y además se evitan errores de medidas de las coordenadas de puntos. Perorequiere de una costosa elaboración de la plantilla a emplearse.

Para utilizar plantillas 2D se requiere tomar varias imágenes de la misma desde variasposiciones y cambiando la orientación. No es necesario conocer las posiciones desde dondese toman las imágenes. Este método resulta más versátil ya que la elaboración de laplantilla se puede realizar fácilmente. En la figura 31 se puede ver un ejemplo de la

VISIÓN EN 3D 36

realiación de una calibración mediante una plantilla 2D utilizando funciones de OpenCV(Open Source Computer Vision Library) [17] como por ejemplo cvCalibrateCamera. Enla documentación de OpenCV [18] se explican el uso del calibrado de cámaras medianteel uso de plantillas 2D.

Figura 31: Ejemplo de calibración mediante plantilla 2D en OpenCV.

4.4.4. Metodos de Calibración

Existen varios métodos de calibración y modelos de cámara de calibración. Los prin-cipales modelos de cámara son:

Modelo de la cámara Pin-hole: Se trata de un modelo basado en las cámarasestenopeicas 7 de acuerdo al cual todos los rayos de luz que provienen de la escenapasan por un punto común, el pinhole o centro de proyección, antes de incidir en elplano de la imagen. Se tiene un sistema de coordenadas de referencia de la escenay otro de la cámara, cuyo origen es el pin-hole, ver figura 32.

Figura 32: Modelo de cámara pin-hole.

7Cámara estenopeica http://es.wikipedia.org/wiki/C%C3%A1mara_estenopeica

VISIÓN EN 3D 37

La gran mayoría de los procedimientos de calibración se basan en este modelo decámara. Es el modelo es el más simple y requiere de pocos de parámetros para poderser representado.Aplica una matriz de proyección para transformar las coordenadas 3D de los puntosdel objeto en coordenadas 2D de la imagen tal que:

m.= PxM

Donde M = [Xw, Yw, Zw, 1]t es el vector de las coordenadas del punto en el sistemade referencia exterior y P es una matriz 4x3 denominada matriz de proyección.m = [u, v, t]t es el vector de las coordenadas del punto en la imagen. El símbolo .=indica que los elementos de ambos lados son equivalentes excepto por un factor deproporcionalidad, es decir, λm = PxM , siendo λ el factor de escala.La transformación de las coordenadas 3D de un punto en el sistema de referenciasituada en el mundo situado en la cámara y su proyección al plano imagen de ésta(coordenadas 2D) se desarrolla en una secuencia de cuatro pasos:

1. Transformación del punto en coordenadas 3D del mundo a coordenadas 3D dela cámara. Primero se realiza una rotación alrededor de los tres ejes y luegouna traslación. Expresado en forma matricial:

Mc = RxM + T

Donde M es el vector que contiene las coordenadas del punto en sistema de co-ordenadas del mundo, T es el vector de traslación y R es la matriz de rotación.En todos los métodos, la matriz de rotación es el resultado de aplicar sucesi-vamente giros alrededor de cada uno de los ejes, por lo que R = RzRyRx.

2. Proyección sobre el plano imagen aplicando el modelo pin-hole.

up = f(Xc/Zc); vp = f(Yc/Zc)

Donde f es la distancia al punto focal.3. Distorsión de la lente. La distorsión varía en función de la distancia de cada

punto al centro del eje óptico.

r = u2p + v2

p

Existe la distorsión radial ur, vr y la distorsión tangencial ut, vt. Los resultadosde modelar cada tipo de distorsión se suman a las coordenadas sin distorsión,o sea, se obtiene:

ud = up + ur + ut

vd = vp + vr + vt

VISIÓN EN 3D 38

4. Conversión de unidades (paso de milímetros a pixels) y desplazamiento delorigen al centro del eje óptico.

u = dxsxud+ u0

v = dyvd+ v0

Donde donde dx y dy son los factores de conversión resultado del cociente entreel tamaño de la imagen en pixels y del CCD 8 en milímetros. sx es un factorde proporción del pixel. u0 y v0 son los puntos de coordenadas del centro deleje óptico.

En caso de no tener en cuenta la distorsión (cosa que ocurre frecuentemente yen especial en los métodos de autocalibración), la matriz de proyección se puededescomponer en matrices, una para los parámetros intrínsecos (A) y otra para losextrínsecos (D):

P = AD

Siendo A una matriz de relación de los parámetros intrínsecos (centro del eje óptico,distancia focal, factores de escalado de la imagen, conversion milímetros-pixels, yfactor de proporción). La matriz D es la matriz de rotación y el vector de traslación.

Modelo de cámara Gauss: El modelo de lente delgada o de Gauss intenta resolveraspectos que el modelo pin-hole no puede explicar. Pin-hole se limita a reproducirlos efectos del zoom a través de la variación de la distancia focal. El modelo de Gausspermite parametrizar el zoom, la distancia de enfoque, la profundidad de campo, yla apertura.La formación de la imagen en este modelo se basa en el hecho de que todos los rayosde luz paralelos al eje óptico convergen en el foco. La proyección de un punto enel plano imagen se obtiene como la intersección del rayo paralelo al eje óptico quepasa por dicho punto y del rayo que pasa a través del centro óptico de la lente.En la figura 33 Z es es la distancia del objeto M a la cámara. f es la distanciafocal nominal y foc la distancia de enfoque. La suma de ambas es la distancia focalefectiva.

Los principales métodos de calibración son:

Método de Tsai. Representa un proceso clásico de calibración basado en las me-didas de las coordenadas de los puntos de una plantilla 3D respecto a un punto dereferencia fijo.Se basa en el modelo de cámara pin-hole y para corregir la distorsión usa un únicocoeficiente que corrige la distorsión radial. El sistema que plantea tiene nueve incóg-

8Dispositivo de Carga Acoplada (CCD) http://es.wikipedia.org/wiki/Charge-coupled_device

VISIÓN EN 3D 39

Figura 33: Modelo de cámara de Gauss o lente delgada.

nitas, seis extrínsecas (dadas de la rotación y traslación del patrón) y tres intrínsecas(distancia focal, coeficiente de distorsión, factor de escala).Requiere de una plantilla bien realizada de un tablero de ajedrez en 3D con al menos100 puntos. Las coordenadas han de estar referidas a un origen de coordenadas fijo,es imprescindible un adecuado diseño de la plantilla de calibración y establecer unamedida exacta de los puntos.

Método Lineal: Es un método clásico basado en la computación lineal. Frecuente-mente se usa como aproximación inicial para obtener la matriz de transformación(P). Lo que se obtiene es una matriz de proyección a partir de la cual se extraentodos los parámetros, tanto los extrínsecos (traslación y rotación del patrón respec-to a la cámara) como los intrínsecos (centro del eje óptico, factores de conversión ygrado de no ortogonalidad del plano imagen o asimetría).

Método de Zhang. Utiliza las coordenadas de los puntos situados en una plan-tilla 2D plana, tipo tablero de ajedrez, desde varias posiciones, tomando diferentesimágenes de la misma desde diferentes posiciones y orientaciones. De esta forma secombinan las ventajas de los métodos de calibración basados en las medidas de lascoordenadas de la plantilla con las ventajas de la autocalibración en la cual no esnecesario utilizar plantilla.Este modo de calibración resulta muy flexible desde el punto de vista de que tantola cámara como la plantilla pueden ser movidas libremente y además se puedentomar tantas imágenes como se quieran sin tener que volver a realizar medidas enla plantilla.Mientras que en el método de Tsai requiere al menos cien puntos en la plantilla y laposibilidades de cometer errores en las medidas son altas, el método de calibraciónde Zhang no requiere tal especial diseño de la plantilla, ni tampoco una medicióntan exacta de los puntos de la misma.Existen muchos más métodos de calibración, todos basados métodos lineales/Nolineales y tipo de uso de plantilla incluso basado en el entrenamiento de redes neu-ronales como el método de Ahmed.

VISIÓN EN 3D 40

La biblioteca openSource OpenCV de visión artificial desarrollada por Intel ofreceFunciones de calibración de cámaras. Es utilizada en muchas aplicaciones, desde sistemasde seguridad con detección de movimiento, hasta aplicativos de control de procesos dondese requiere reconocimiento de objetos. La función cvCalibrateCamera permite calcula losparámetros de la cámara usando la información de puntos en el patrón de objetos y enlos objetos de las imágenes.

4.5. Correspondencia

Para identificar el objeto que se quieren reconstruir es necesario establecer una corre-spondencia de los puntos de ambas imágenes en el punto que corresponde la mundo real(3D).

La detección, medición e interpretación del movimiento son necesarias para analizarla información relativa al desplazamiento del objeto. En general, se considera que existeuna relación entre la escena 3D y la secuencia de imágenes 2D asociada, esta relación seencuentra en el flujo óptico de la imagen.

Para poder realizar la correspondencia de imágenes se requiere la identificación deobjetos bien mediante detección de bordes, por ejemplo usando los operadores Sobel,LoG o Canny. El operador Canny el más utilizado en diferentes implementaciones ya queel que más bordes reales obtiene de los objetos.

Tambiés es neceario realizar detección de esquinas para obtener punto de interés.Mediante análisis de la curvatura en el espacio de escala ó CSS se detectan un buennúmero esquinas en un objeto lo que lo hace idóneo para realizar la fase de correspondenciaya que para el proceso de reconstrucción se requiere de la detección de todas las esquinasposibles para determinar aquellos puntos sobre los que existen cambios de profundidad ycontornos.

Otro tipo de detectores de contornos utilizados son los que permiten la detecciónde líneas rectas, por ejemplo el basado en transformada de Hough, eficaz en objetos degeometrías rectas y también en objetos redondeados.

Durante la obtención de puntos de las imágenes, se presenta el problema de la repeti-tividad: un rasgo de una imagen se compone de varios píxeles, por lo que hay que decidiruno concreto entre ellos a la hora de seleccionarlo.

El proceso de segmentación en imágenes es un paso esencial en todo proceso de re-construcción. Existen algunas técnicas para conseguir separar un objeto del fondo de unescenario de manera óptima, como los contornos activos y k-means, se explicará en lasección de 5.

Existen varias técnicas para facilitar la tarea de obtener correspondencias en los sis-temas de visión estereoscópica:

Restricción epipolar de la geometría de los sistemas de visión estéreo que nos

VISIÓN EN 3D 41

ayuda a encontrar las correspondencias de puntos en el par estéreo, ver figura 34.

Figura 34: Geometría de una sistema de visión estéreo.

Configuración canónica de un sistema de visión estéreo. Es una disposiciónbinocular en la que La línea base se alinea al eje de coordenadas horizontal. Losejes ópticos de las dos cámaras son paralelos y perpendiculares a la línea base. Lalínea epipolar (paralela a la línea base y horizontal) une las dos imágenes del mismopunto de la escena. Las líneas epipolares son paralelas en los planos de las imágenes(es más fácil buscar una correspondencia en una línea horizontal, que en una queno lo es, tanto para un observador humano como para un algoritmo. Así un puntoen una imagen se difiere de otro en la componente horizontal.

Rectificación de las imágenes de un sistema de visión estéreo no canónico paratransformarlo en uno canónico. Es posible convertir un sistema estéreo general enuna disposición canónica de forma analítica, aunque si se desea alta precisión noconviene pues introduce errores de remuestreo.

El cálculo de la matriz fundamental para la obtención de correspondencias.Esta matriz sirve para estimar las correspondencias de puntos de una imagen en laotra.

La visión estéreo trinocular que utiliza tres imágenes, dado un punto P1 de laprimera imagen, se se dibuja su epipolar en las otras imágenes. Si solo obtenemosun candidado de correspondencia en la otra imagen, por ejemplo P2, entonces elpunto P3 será el cruzo de los dos puntos anteriores. El cálculo de P es más precisocon tres líneas de visión.

Para resolver el problema de la correspondencia existem varios algoritmos entre losque podemos destacar:

Algoritmo PMF: Modelo desarrollado por Pollard, Mayhew y Frisby en 1985. Esun algoritmo de correspondencia por vecindad cuya característica es la de establecerla relación de rasgos entre imágenes a partir de análisis de sus posiciones con respectoa los puntos de los rasgos que los rodean.

VISIÓN EN 3D 42

Modelo de Kim y Aggarwal: Similar al algoritmo PMF de Kim y Aggarwalen 1987. Es una mejora repecto al PMF. Ambos algoritmos realizan mismo pre-tatamiento de las imágenes: filtrado usando un filtro gaussiano bidimensional y laextracion de puntos de cambio de luz mediante el operador laplaciano. Utilizan lospuntos de cambios de luz como primitivas de las imágenes para estrablecer la corre-spondencia y realizan un proceso de relajación iterativo para determinar el objetohomólogo en ambas imágenes.

Algoritmo de Lucas-Kanade Piramidal: Calcula el flujo óptico de una secuenciade vídeo, es decir, para realizar seguimiento de objetos. Actualmente está consid-erada como una de las técnicas clásicas en el procesamiento de imágenes y ha sidoaplicado a muchos problemas. Con él se consiguen tiempos de ejecución relativa-mente pequeños.El algoritmo realiza el cálculo del flujo óptico 9 (los objetos estáticos tienen lumi-nosidad variable según la zona de captura) sobre una representación piramidal dela imagen que son una serie de imágenes resultado de su reducción de en múltiplosde dos. El seguimiento de los puntos se realiza a lo largo de los diferentes niveles deprofundidad de las pirámides.Se trata de un algoritmo iterativo de cálculo de flujo óptico entre imágenes inde-pendientes con alguna región en común.

Los algorimos de correspondecia son muy costosos computacionalmente y requierentiempos de respuesta elevados. Esto obviamente es un gran inconveniente ya que muchasveces se requiere el poder realizar las operaciones en tiempo real.

Es por ellos que normalmente los algorimos se implementan sobre arquitecturas par-alelas usando bibliotecas de programación en paralelo como PVM o CUDA. También esposible el uso de aparatos como láseres para facilitar el ahorro de cálculo computacionaldeforma que realicen el cálculo de distancias.

El problema de la correspondencia

Los puntos cuyas coordenadas 3D se desean calcular deben estar visibles en las dosimágenes del par estéreo. Los puntos de una imagen pueden no estar visibles lo quedificulta el establecimiento de correspondencias bien porque están ocultos o por estarfuera del campo de visión.

Es posible que el sistema encuentre falsas correspondencias, al tener que elegir entrevarios candidatos en una imagen a ser correspondencia de un punto en otra imagen. Esteinconveniente se reduce mediante el empleo de restricciones (p.e. la restricción epipolar).

9Flujo óptico http://es.wikipedia.org/wiki/Flujo_%C3%B3ptico

VISIÓN EN 3D 43

4.6. Reconstrucción

La reconstrucción tridimensional es un proceso que consiste en analizar un conjunto deimágenes para encontrar la posición relativa de los puntos correspondientes y, basándoseen un conjunto de parámetros de la configuración de las cámaras, determinar la posicióndel punto en el espacio tridimensional mediante un proceso denominado triangulación.

La distancia entre el centro de las dos lentes se llama línea base b, el objetivo deeste procedimiento es encontrar las coordenadas (X, Y, Z) del punto w sus respectivasproyecciones en las dos imágenes. Se supone que las dos cámaras son idénticas y que losejes de coordenadas de ambas están alineados, lo único que los diferencia es el punto deorigen, por lo que la coordenada Z del punto w será la misma para ambas cámaras.

Si tenemos las matrices de proyección P1 y P2 de la escena 3D obtenidas a partir delproceso de calibración y y un conjunto de puntos en correspondencia, entonces es posibleobtener los puntos 3D originales. Uno de los problemas con los que nos encontramos es quelos rayos que unen las correspondencias con los centros de las cámaras generalmente nointersectan en un punto, sino que determinan rectas convergentes que no se llegan a tocar.Esto es así debido a que la precisión de las imágenes es finita y a que las correspondenciasno son exactas.

El método de triangulación consiste en determinar las dos líneas que unen cada corre-spondencia con el foco de la cámara y después encontrar el punto cuya distancia a dichaslíneas sea la mínima.

4.7. Casos prácticos

La reconstrucción tridimensional tiene varias aplicaciones, como la navegación de unrobot permitiéndole conocer en qué parte de la escena se encuentra y poder planificar susmovimientos sin necesidad de ayuda humana.

También es útil para determinar magnitudes como distancias, superficies o volúmenes,lo cual puede ser aplicable para controles de calidad ya que se pueden verificar los procesosy superficies de los objetos que se estén fabricando. Otra aplicación es la digitalización demuseos o monumentos históricos.

Existen multitud de proyectos relacionadas con la recostrucción 3D, muchos de ellosllevados a cabo en varias universidades.

Actualmente se está utilizando sistemas de reconstrucción en vehículos para la detec-ción de peatones y otros vehículos desde ángulos de punto muerto. En la universidad dealcalá junto con un grupo de investigadores alemanes desarrolló recientemnete un sistemade detección de peatones 10.

El dispositivo Kinect desarrolado por Microsoft es capaz de realizar una reconstruc-10Uso de sistema estéreo denso para detectar peatones: http://www.muyinteresante.com.mx/

tecnologia/399041/detector-auto-peatones/

VISIÓN EN 3D 44

ción en tiempo real tridimensional gracias a los

En la conferencia de gráficos de ordenador SIGGRAPH 11 de 2011, el grupo Kinect-Fusion de Microsofoft [24] hicieron una demostración de reconstrucción. Haciendo uso deKinect realizaron la reconstrucción en movimiento y en tiempo real de una habitación.En el siguiente enlace se puede ver el video de la demostración http://www.youtube.com/watch?v=RSh8Voanp3c

Figura 35: Demostración de reconstrucción en tiempo real con Kinect.

Existen controladores de código abierto desarrollados inicialmente por el estudianteespañol Héctor Martín 12 además del SDK oficial de Microsoft 13. En las distribucionesde Ubuntu se pueden instalar desde el repositorio con el paquete freenect.

5. Segmentación

La correspondencia de imágnenes habitualmente consiste en segmentar ambas imá-genes y buscar pares de regiones correspondientes, pero tiene el problema de que lasregiones correspondientes pueden tener formas y tamaños diferentes (debido al ruido, lasoclusiones y las limitaciones de los métodos de segmentación), lo cual hace que la recon-strucción de la superficie representada por estas regiones sea difícil, o incluso imposible.

La segmentación es un paso esencial en todo proceso de reconstrucción, su finalidad espoder separar los objetos que queremos proyecto del entorno. Todo algoritmo de recon-strucción requiere de un proceso de segmentación para poder reducir tiempos de análisisde procesado y poder reducir el número de puntos que se quieren corresponder. De estamanera, se reduce la zona de trabajo.

El proceso de segmentación para poder obtener una correspondencia de imágenes es-tereoscópicas es comenzar por una sola imagen de referencia y se busca la correspondenciade las regiones obtenidas en la otra imagen. Para ello se minimiza el error de correlación

11Enlace a la SIGGRAPH de 2011 http://www.siggraph.org/s2011/12Controlador de código abierto http://git.marcansoft.com/?p=libfreenect.git13Enlace al SDK para Kinect de Microsoft http://www.microsoft.com/en-us/kinectforwindows/

develop/overview.aspx

VISIÓN EN 3D 45

entre ellas y se añaden ciertas restricciones sobre la variación de la profundidad a lo largoy ancho de una región para limitar así el espacio de soluciones.

Existen varias técnicas para poder conseguir separar un objeto de su entorno comoson los contornos activos y k-means que se vio en el tema de Segmentación basada endiscontinuidades.

Los primeros trabajos en el área de posicionamiento de objetos mediante marcas natu-rales requieren el uso de un modelo de los objetos a localizar. Están basadas en la detecciónde bordes que permiten definir la imagen mediante un conjunto de primitivas geométricas(normalmente segmentos de rectas) y que posteriormente se ajustan a un objeto o modelodado para la reconstrucción. Pero en la actualidad este tipo de técnicas apenas se usandebido a las restricciones geométricas que imponen al objeto a detectar.

Con objeto de reducir estas restricciones aparecen una serie de trabajos basados enel uso de puntos característicos sobre el plano imagen, en lugar de rectas o curvas. Eluso de puntos presenta diversas ventajas, tales como el incremento de la robustez de losalgoritmos frente a cambios de iluminación u oclusiones.

Otras alternativas son las basadas en modelos de movimiento.

5.1. Segmentación en Movimiento

Una de las tareas mas básicas y comunes en la mayoría de las aplicaciones de visiónartificial a la hora de segmentar los objetos de interés es una segmentación por movimiento.

La segmentación en general tratará de separar las componentes dinámicas de las es-táticas. Puede ser difícil en casos donde la cámara esté en movimiento puesto que extraercomponentes estáticas dependerá del conocimiento del movimiento del sistema de refer-encia.

Existen variedad de técnicas para la segmentación en movimiento. Los métodos basa-dos en la substracción de una imagen del fondo estático de una escena permiten simplificarel problema de segmentación. Sin embargo, presentan otras dificultades añadidas, comola necesidad de mantener actualizado el fondo de la escena frente a cambios de las carac-terísticas del propio fondo, o de las condiciones de iluminación.

Podemos clasificar las técnicas en:

Técnicas de segmentación de movimiento basadas en flujo óptico. Donde el flujoóptico se define como el campo vectorial bidimensional de las velocidades aparentesen una imagen, que se obtiene a partir de una secuencia de imágenes, mediante elanálisis de los cambios que sufre la luminancia en los puntos de las mismas.Hay que tener en cuenta que el flujo óptico no siempre se corresponde con el campode movimiento en la imagen.Estas técnicas realizan la división de la imagen en diferentes regiones atendiendo a

VISIÓN EN 3D 46

las discontinuidades en el flujo óptico, que se calcula a partir de la restricción debrillo.

Técnicas basadas en capas. Se basa en la detección de movimiento, donde cada caparepresenta un modelo de detección. A partir de estos modelos de movimiento seactualizan las regiones de apoyo.Los métodos de detección de movimiento utilizan detección de bordes ó de regionesen movimiento. La idea es la de combinar gradientes espaciales y temporales usandoun operador lógico AND. Aplicando un umbral al producto en lugar de cada uno delos factores detectaremos bordes en movimiento de manera más robusta. Respondenbien en caso de que los bordes sean de poco contraste pero de movimiento rápido yviceversa.

Técnicas basadas en factorización. Proponen una restricción de rango para estimarel número de movimientos independientes. La segmentación de los puntos de laimagen se obtiene a partir de los vectores singulares principales de la matriz de lospuntos característicos en múltiples imágenes.Una técnica similar utiliza un matriz de interacción Q a partir de un conjunto depuntos. La principal desventaja de esta técnica es el hecho de que su funcionamientose degrada rápidamente en presencia de ruido. Esta técnica no garantiza la obtenciónde la segmentación óptima global.

6. Modelado de estructuras

El modelado de estructuras 3D es una representación de coordenadas, que conformanestructuras envueltas por una extura. Se forman con mallas de manera simple para luegoaplicar sobre ellas texturas.

Por tanto, primero se deben construir un modelo, para ello hay técnicas de modelocomunes, las cuales definen a continuación.

6.1. Estructuras Predefinidas

Las estructuras predefinidas sirven para modelar objetos más complejos a partir deellas. El Box Modeling utiliza estas estructuras para poder crear figuras más complejas.

Existen tres tipos fundamentales:

Primitivas: Son primitivas las figuras de un caja, cono, esfera, geo esfera, cilindro,tubo, anillo, pirámide, tetera y plano.

Primitivas Extendidas: hedra, nudo toroide, caja redondeada", cilindro redondea-do, tanque de aceite, capsula, sprindle, forma L, gengon, forma c, anillo ondulado,prisma.

VISIÓN EN 3D 47

Librerías: Suelen ser estructuras predefinidas en programas propios de modelado3D.

6.2. Box Modeling

El modelado de caja se trata de una técnica de modelado 3D que crea figuras apartir de un conjunto determinado de estructuras predefinidas o primitivas que luego sonmodificadas. Esta técnica es la contraría a la creación de figuras mediante edge modelingdonde un modelo se construye pieza a pieza colocando lazos a lo largo de los contornosprominentes y luego llenando los vacíos.

La función primaria dle modelado de caja consiste en la extrusión y la ampliación delas superficies planas que forman un modelo, denominado caras, otra de las característicasmás prominentes de este estilo de arte que le da un segundo nombre, menos rudimentariade la subdivisión de modelado.

6.3. Modelado de NURBS

Es una técnica para construir mallas de alta complejidad de aspecto orgánico ó curvadoque emplea como punto de partida B-splines. NURBS es el acrónimo inglés de non-uniformrational B-spline y es un modelo matemático muy utilizado en la computación gráfica paragenerar y representar curvas y superficies.

Permite la modelización precisa de superficies de forma libre como las usadas en car-rocerías de automóviles, superfices de exteriores aeroespaciales y cascos de barcos, quepueden ser reproducidos de forma exacta y técnicamente en cualquier momento.

En la figura 36 se puede ver una imagen generada mediante NURBS. La geometríaNURBS tiene cualidades esenciales que la convierten en la opción ideal para el modelado3D:

Existen varias formas estándar industriales para intercambiar la geometría NURBS.Es decir, que la información de una figura realizada mediante NURBS es fácil deexportar a cualquier programa de modelado 3D.

Tienen definición precisa y muy conocida.

Pueden representar con precisión objetos geométricos estándar tales como líneas,círculos, elipses, esferas y toroides.

La representación de una figura geométrica no requiere de mucha cantidad de infor-mación.

La regla de cálculo de las NURBS se puede implementar en un ordenador de maneraeficaz y precisa.

VISIÓN EN 3D 48

Una curva NURBS se define mediante cuatro elementos:

Grados: Este número normalmente es 1, 2, 3 o 5, per puede ser cualquier númeroentero positivo. Las líneas y polilíneas son grado 1, los círculos de grado 2 y el restode las formas son grado de entre 3 y 5 grados.

Puntos de control: Son una lista de puntos de grado+1 como mínimo. Al moverlos puntos de controls se cambian las formas de las curvas

Nodos: Son una lista de números de grado + N -1, donde N es el número de puntosde control. Una curva B Spline lleva asociado además de un polígono de control,una serie de nodos, cuya posición marca la posición de los vértices del polígono decontrol.Un error frecuente se produce cuando cada nodo se empareja con un punto decontrol, y ocurre sólo en las NURBS de grado 1 (polilíneas). Para curvas NURBS degrados más altos, existen grupos de nodos de 2 x grado que corresponden a gruposde puntos de control de grado+1.

La regla de cálculo de un curva utiliza una fórmula matemática que coge unnúmero y asigna un punto.

Cada punto de control lleva asociado un valor numérico denominado peso. Por defectose trabaja con pesos igual a la unidad, pero matemáticamente puede cambiarse la formade una curva variando los pesos de los puntos de control. Non Uniform significa queestos pesos pueden variar de un punto de control a otro.

Figura 36: Ejemplo de superficie tridimensional generada mediante NURBS

6.4. Modelado de Operaciones Booleanas

Consiste, en tomar dos mallas y aplicarles una de tres operaciones booleanas disponibles:Resta, intersección y unión.

VISIÓN EN 3D 49

Figura 37: Modelado de figuras mediante operaciones booleanas

6.5. Extrude y Lathe

La técnia de extrude se basa en obtener figurar en 3D a partir de un contorno 2Dde la misma forma que se crean las formas al pasar por el contorno formando profundi-dad. A medida que se va extrayendo la figura 3D se puede remodelar el contorno 2D yseguir extrayendo una nueva forma. Véase en siguiente enlace www.youtube.com/watch?v=Uqxo6BqZFow donde se muestra el proceso de creación de una botella en 3d Max Studio.

La técnica de Lathe utiliza una curva creada mediante spline, que a partir de un eje sereproduce la figura en toda su rotación. Es muy últil para generar jarrones, copas, botellasy formas simétricas.

Figura 38: Cuenco creado a partir del giro de un spline.

6.6. Loft

Se deben emplear 2 ó más splines, para crear una malla 3d continua. El primer spline,funciona como path (camino) mientras que los demás, dan forma, extendiéndose, a travesdel path. Ideal para crear cables, botellas, etc.

6.7. Sistema de Partículas

Como su nombre indica es un sistema de partículas o proyección de formas geométri-cas mediante parámetros varios tales como choque, fricción y demás. Es combinable con

VISIÓN EN 3D 50

efectos de dinámica y deformadores. Ideal para crear formas de humo, agua, ó cualquiercosa que esté formado por muchos objetos pequeños y repetitivos.

6.8. Modelado por Texturas

Las texturas sirven para hacer creer que se trata de un objeto real, engañando a lavista mediante transparencias o relieves simulados.

El modelado de texturas se divide 2 partes:

Mapeado directo: son texturas con imágenes planas y sólo para superficies planas.No funcionan bien en curvas. Incluso en superficies planas es problemático: las su-perficies poligonales pueden ser distintas a la textura.

Mapeado en dos fases: Utilizada en objetos 3D. En primer lugar mapea la texturaen 2D como si fuera un objeto 3D sencillo y se aplica a una figura tridimensional.

Mapeado u,v: Se trata de una correspondencia de una imagen 2D sobre coordenadasde una imagen 3D. Este modo de textura se suele utilizar para pintar un rosto ouna forma tridimensional compleja.

Mip-mapping: Técnica del esfumado, un efecto vaporoso es un efecto vaporosoque se obtiene por la superposición de varias capas de pintura extremadamentedelicadas, proporcionando a la composición unos contornos imprecisos, así como unaspecto de vaguedad y lejanía.

Figura 39: Ejemplo de textura sobre una puerta dando aspecto de profundidad.

VISIÓN EN 3D 51

Referencias

[1] Autoestereoscopia. Wikipedia. Enlace del artículo http://es.wikipedia.org/wiki/Autoestereoscopia.

[2] Estereopsis. Wikipedia. Enlace del artículo http://es.wikipedia.org/wiki/Estereopsis.

[3] Estereoscopía. Wikipedia. Enlace del artículo http://es.wikipedia.org/wiki/Estereoscopia.

[4] Pantalla automultiescópica. Wikipedia. Enlace del artículo http://es.wikipedia.org/wiki/Pantalla_automultiescopica.

[5] Realidad aumentada. Wikipedia. Enlace del artículo http://es.wikipedia.org/wiki/Realidad_aumentada.

[6] Visión binocular. Wikipedia. Enlace del artículo http://es.wikipedia.org/wiki/Vision_binocular.

[7] Realidad Aumentada sin marcadores. 2010. En-lace del artículo http://wecolab.com/blog/2010/09/20/realidad-aumentada-sin-marcadores-la-ultima-innovacion-de-layar/.

[8] Tipos de Realidad Aumentada. Aumentame, 2011. Enlace del artículo http://aumenta.me/?q=node/36.

[9] ¿Qué es la Realidad Aumentada? Aumentame, 2011. Enlace del artículo http://www.goarplus.com/que-es-la-realidad-aumentada/.

[10] I. Fernández Pedrós, A. García Orozco, A. González Pérez, E. Sastre Ferrández, andD. Suso Sánchez. Visión Estereoscópica. 2012. Enlace del artículo http://sabia.tic.udc.es/gc/trabajos2011-12/VisionEstereoscopica/principal.html.

[11] A. García. Realidad Aumentada: mejora de la capacidad espacial. Ob-servatorio Tecnológico, 2011. Enlace del artículo http://recursostic.educacion.es/observatorio/web/es/cajon-de-sastre/38-cajon-de-sastre/1020-realidad-aumentada-mejora-de-la-capacidad-espacial.

[12] A. C. N. González. Escáner 3d de bajo costo empleando webcams. Master’s thesis,2010. http://ccg.ciens.ucv.ve/~esmitt/archives/narvaeza10.pdf.

[13] J. I. González. Estudio experimental de métodos de calibración y autocalibraciónde cámaras. PhD thesis, 2003. http://mozart.dis.ulpgc.es/Gias/josep/TesisJosep.pdf.

[14] C. L. Gutiérrez. Segmentación y posicionamientos 3D de robots móviles en es-pacios inteligentes mediante redes de cámaras fijas. PhD thesis, 2010. http://www.tesisenred.net/handle/10803/39070.

VISIÓN EN 3D 52

[15] F. B. Gómez. Reconstrucción tridimensional de escenas mediante un par estere-oscópico de cámaras. Master’s thesis, 2003. http://isa.umh.es/pfc/rmvision/.

[16] A. Hevia. Realidad aumentada para llevar, cuando Internet se fusiona con nuestraindumentaria. Xatakaon, 2012. Enlace del artículo http://www.xatakaon.com/tic/realidad-aumentada-para-llevar-cuando-internet-se-fusiona-con-nuestra-indumentaria.

[17] Intel. Biblioteca opencv. Website, 1999. http://sourceforge.net/projects/opencv/. Ha sido citado en la página 36.

[18] Intel. Documentación Calibración y Reconstrucción en OpenCV 2.1, 2010.http://opencv.willowgarage.com/documentation/cpp/camera_calibration_and_3d_reconstruction.html. Ha sido citado en la página 36.

[19] Julian Yanover. Definición de visión. Enlace del artículo http://definicion.de/vision/.

[20] D. R. C. y. E. F. B. Julián Dorado de la Calle. Gráficos de computación. 2011.http://sabia.tic.udc.es/gc/contenidos.htm.

[21] Luis Ángel Marqués Calvo. La visión en tres dimensiones. Visión estereoscópi-ca. 2008. Enlace del artículo http://usuarios.arsystel.com/luismarques/documentacion/txt/00001_contenidos.htm.

[22] C. V. Martín-Albo. Realidad Aumentada. Observatorio Tecnológico,2010. Enlace del artículo http://recursostic.educacion.es/observatorio/web/cajon-de-sastre/38-cajon-de-sastre/922-realidad-aumentada.

[23] M. M. Martínez. Técnicas de visión estereoscópica para determinar la estructuratridimensional de la escena. Master’s thesis, 2010. http://eprints.ucm.es/11350/.

[24] Microsoft. Microsoft’s kinectfusion. Website, 2011. http://research.microsoft.com/en-us/projects/surfacerecon/. Ha sido citado en la página 44.

[25] F. Ovalle. ¿Cómo funcionan los distintos tipos de 3D? 2010.Enlace del artículo http://www.ohmygeek.net/2010/06/18/%C2%BFcomo-funciona-los-distintos-tipos-de-3d/.

[26] J. Sánchez Pérez. Reconstrucción de la geometría 3d a partir de unasecuencia vídeo de pares estéreo. Technical report, 2003-2005. http://www.ctim.es/site/index.php?option=com_jresearch&view=project&task=show&id=4&Itemid=170&lang=es.

[27] J. Sánchez Pérez. Reconstrucción de la geometría 3d de una cara hu-mana a partir de un sistema de cámaras y aplicaciones. Technical report,2004-2006. http://www.ctim.es/site/index.php?option=com_jresearch&view=project&task=show&id=5&Itemid=170&lang=es.

VISIÓN EN 3D 53

[28] T. Valich. Star Trek Comes to Life: Meet Augmented World Con-tact Lenses. 2012. Enlace del artículo http://vr-zone.com/articles/star-trek-comes-to-life-meet-augmented-world-contact-lenses/15603.html.

[29] J. Velasco. Project Glass, la realidad aumentada vista porGoogle. Bitelia. Enlace del artículo http://bitelia.com/2012/04/project-glass-gafas-realidad-aumentada-google. Ha sido citado en lapágina 28.

[30] M. Villalba. Lentillas de Realidad Aumentada para una súper visión. Di-ario Abierto, 2012. Enlace del artículo http://www.diarioabierto.es/75531/lentillas-de-realidad-aumentada-para-una-super-vision.

[31] Wavens. El Ojo de Halcón. El universo de Wavens, 2010. Enlace del artículo http://eluniversodewavens.blogspot.com.es/2010/12/el-ojo-de-halcon.html. Hasido citado en la página 20.