maldicion de la dmensionalidad

Sistemas de Visión 2D/3D en los ProcesosIndustriales

Tema 6. Reconocimiento de Formas

Índice

1. Introducción 4

2. Aspectos básicos 5

3. El espacio primario de representación 63.1. Adquisición de la imagen . . . . . . . . . . . . . . . . . . . . . . . . . . . 63.2. Preproceso y segmentación . . . . . . . . . . . . . . . . . . . . . . . . . . 73.3. El espacio de representación primario . . . . . . . . . . . . . . . . . . . . 8

4. Dimensión Física vs. Número de medidas 9

5. El espacio de características 10

6. Propiedades de un buen conjunto de características 11

7. Tipos de características. Ejemplos I 12

8. Tipos de características. Ejemplos II 13

9. Tipos de características. Ejemplos III 14

Juan Carlos Pérez, SDV2D3DPI, DISCA,UPV, 2002. 1

http://plutarco.disca.upv.es/~jcperez

http://plutarco.disca.upv.es/~jcperez/doctorado/SV2D3DPI

http://www.disca.upv.es/

http://www.upv.es/

10.Tipos de características. Ejemplos IV a) 15

11.Tipos de características. Ejemplos IV b) 16

12.El espacio de características y sus propiedades 17

13.La maldición de la dimensionalidad I 18

14.La maldición de la dimensionalidad II 19

15.Métodos de selección y transformación de características 20

16.Criterios de estimación de la probabilidad de error 21

17.Búsqueda combinatoria 22

18.Métodos de transformación de características I 23

19.Métodos de transformación de características II 24

20.Clasificación 25

21.Clasificación II 26





http://www.upv.es/

22.Clasificación III 27

23.Clasificación IV 28

24.Entrenamiento de clasificadores 29

25.Tipos de clasificadores 30





http://www.upv.es/

1. Introducción

Como vimos en el tema de introducción, las aproximaciones al R.F son diversas yentre ellas pueden distinguirse las dicotomías:

• Aproximación Inductiva• Aproximación Deductiva

y

• Reconocimiento Geométrico o Estadístico• Reconocimiento Estructural

En este tema nos centraremos, por su mayor implantación en los sistemas de inspec-ción industrial, en el reconocimiento estadístico y fundamentalmente en la aproxima-ción inductiva.

Estudiaremos las fases de extracción de características y clasificación, así como lasmedidas de prestaciones más importantes.





http://www.upv.es/

2. Aspectos básicos

Bajo el modelo de reconocimiento estadístico o geométrico, un objeto se representamediante un conjunto de d características o atributos en forma de vector d-dimensionaly se establecen las siguientes asunciones:

Los objetos proceden de c fenómenos generativos diversos y pueden por tanto eti-quetarse como pertenecientes c clases distintas, c > 1.

Los objetos de una misma clase se agrupan en zonas del espacio determinadas porlas densidades condicionales de clase.

Para que estas asunciones se cumplan en la mayor medida posible, es necesario quela representación vectorial de los objetos responda a una serie de criterios básicos quedefinen un buen conjunto de características y que estudiaremos enseguida.





http://www.upv.es/

3. El espacio primario de representación

En nuestro caso, los objetos suelen ser imágenes o elementos similares. Repasaremoslos aspectos básicos de captura de esos objetos.

3.1. Adquisición de la imagen

Imágenes planas obtenidas de una cámara de superficie o lineal con barrido mecáni-co.

• Binarias.• En niveles de gris.• En color (RGB, CIE-(XYZ), UCS, L*u*v*, L*a*b*, IHS, YIQ, HSL, etc.).

Imágenes tridimensionales obtenidas de un sistema estereoscópico o de otro tipo.

• Binarias.• En niveles de gris.• En color.

Otro tipo de señales relacionadas con la imagen (instrumentos médicos, radar, sonar,interferometría, teledetección, etc.)





http://www.upv.es/

3.2. Preproceso y segmentación

La primera etapa tras la adquisición es el tratamiento básico de la imagen. El resultadosiempre es otra imagen con características más adecuadas para su uso posterior.

Entre los procesos más comunes, encontramos entre otros:

Escalados y cuantificaciones.

Filtrados (en el dominio espacial o en el de una transformada).

Realces y modificaciones de histograma.

Transformaciones geométricas (cambios de coordenadas, correcciones de perspecti-va, etc.).

Operaciones morfológicas.

Segmentación (global, local, adaptativa, etc.).





http://www.upv.es/

3.3. El espacio de representación primario

Los dos significados de “dimensión”.

Representación Dimensión

2

(5,8,10,3,0,0,8,3,0,10,0,0,2,7,10,3) 16





http://www.upv.es/

4. Dimensión Física vs. Número de medidas

La primera etapa tras la adquisición es el tratamiento básico de la imagen. El resultadosiempre es otra imagen con características más adecuadas para su uso posterior.

Dimensión Física: Dimensión del espacio de los objetos (Object Space Dimension)Ejemplos:

• 1D - Sonido, sismografía, etc.• 2D - Imágenes planas.• 3D - Imágenes tridimensionales.

Número de medidas: Dimensión del espacio de los patrones (Pattern Space Dimen-sion).Ejemplos:

• Imagen de grises de tamaño a × b : Vector de a · b dimensiones.• Representación 3D en color de tamaño a× b× c : Vector de 3 · a · b · c dimensiones.• Representación textural con 6 parámetros: Vector de 6 dimensiones.





http://www.upv.es/

5. El espacio de características

¿Qué son las características?

• “Funciones de las medidas tomadas de un conjunto de objetos que permiten (enlo posible) distinguir la clase a la que éstos pertenecen o construir una estructuraperteneciente a un lenguaje semántico de salida para cada uno de ellos.”◦ Dependen fuertemente de la tarea.◦ Representan a menudo la parte menos sistemática del proceso de reconocimien-

to de formas.

Tenemos dos alternativas para definir las características:

• Aproximación formal. Manipulación de las medidas según criterios de prestaciones.• Aproximación semántica. Elaboración de transformaciones que den lugar a carac-

terísticas intuitivamente útiles.Posibles fuentes de conocimiento en la aproximación semántica:◦ Experiencia e intuición.◦ Instrospección.◦ Inspiración biológica.





http://www.upv.es/

6. Propiedades de un buen conjunto de características

Indepependientemente del origen y forma de diseño del conjunto de características,éstas han de cumplir una serie de propiedades para facilitar el funcionamiento delclasificador:

• Precisión.• Unicidad.• Continuidad en el espacio de patrones.• Invarianza frente a deformaciones que no varíen la naturaleza del objeto.• Concisión.

Los objetivos fundamentales que se persiguen en el diseño de las características,cuando éstas van a constituir la información de entrada proporcionada a un clasifica-dor, son:

• Maximizar la disimilitud inter-clase y• Minimizar la disimilitud intra-clase.





http://www.upv.es/

7. Tipos de características. Ejemplos I

Mapa de bits

(5,8,10,3,0,0,8,3,0,10,0,0,2,7,10,3)





http://www.upv.es/

8. Tipos de características. Ejemplos II

Códigos de cadena (Chain codes)

Inicio exploración (p.ej. izq.-der. arriba-abajo).

Cadenas lineales/cíclicas.





http://www.upv.es/

9. Tipos de características. Ejemplos III

Códigos de forma (Shape codes)

Independiente del inicio de exploración.

Ordenación de los códigos de menor a mayor.





http://www.upv.es/

10. Tipos de características. Ejemplos IV a)

Local Line Fitting





http://www.upv.es/

11. Tipos de características. Ejemplos IV b)

Características extraídas en LLFPara cada celda:

• Densidad relativa de pixels en la celda.• Parámetros de la recta ajustada:

Ejemplo:





http://www.upv.es/

12. El espacio de características y sus propiedades

Conjuntos finitos o infinitos (de cadenas, árboles, grafos, etc.).

• Propiedades dependientes del caso concreto.

Espacios (pseudo)métricos.

• Muestra más centrada (centroide).• Dimensionalidad intrínseca.• Desigualdad triangular - holgura.

Espacios vectoriales.

• Subespacios lineales.• Distancias.• Maldición de la dimensionalidad. Para altas dimensionalidades:◦ Densidad de puntos dada – No de puntos crece exponencialmente.◦ Distancias entre los puntos grandes y similares.◦ Vecindades con pocos puntos – grandes radios.◦ . . .





http://www.upv.es/

13. La maldición de la dimensionalidad I

La mayoría de los puntos se encuentran cerca del convex hull





http://www.upv.es/

14. La maldición de la dimensionalidad II

La mayor parte de los puntos son outliers en su propia proyección.

Para una distribución N(O,I):

• Con dimensión 10, el punto está en promedio a 3.1 stdv de la media• Con dimensión 20, el punto está en promedio a 4.4 stdv de la media• . . .

Por lo que cada punto se ve a sí mismo como un outlier, con el resto de puntosamontonados alrededor del origen.





http://www.upv.es/

15. Métodos de selección y transformación de características

Necesidad de los métodos de selección:

• Medidas indirectas o de utilidad dudosa.• Desconocimiento de la estructura los objetos.• Gran número de componentes.• Tamaño de muestra finito.• Errores en la estimación de los parámetros.

Necesidad de los métodos de transformación:

• Medidas redundantes o correladas.• Representación demasiado precisa de los objetos.• Escalados arbitrarios de las medidas.• Gran número de componentes.• Tamaño de muestra finito.





http://www.upv.es/

16. Criterios de estimación de la probabilidad de error

La selección de características se realizará evaluando una cierta función criterio de bon-dad de una combinación de características (subconjunto del conjunto de característicasoriginal). Aquella combinación que maximice este criterio será elegida como conjunto decaracterísticas resultante.

Los criterios de estimación del error de clasificación más importantes, que nos puedenservir para elegir la mejor combinación son:

Distancia interclase: Media de distancias entre objetos de clases distintas. (método detipo filter)

Distancia probabilística: Media de solapamiento entre las funciones de densidad delas clases. (método de tipo filter)

Estimación mediante un clasificador: Error cometido por un determinado modelo declasificación. (método de tipo warpper )





http://www.upv.es/

17. Búsqueda combinatoria

Prueba exhaustiva: Mejor combinación de d características de entre D medidas. Com-binaciones posibles: D!

(D−d)!d!

Ejemplos:

10 caract. de 20 medidas = 184756 combinaciones10 caract. de 100 medidas 1013 combinaciones

Ramificación y poda: Examina implícitamente todas las combinaciones (sol. óptima.)

Mejores características individuales: No tiene en cuenta las correlaciones entre me-didas.

Selección secuencial hacia adelante (Sequential Forward Selection): No se puedeneliminar medidas del conjunto. Se puede generalizar para añadir más de una medidaen cada paso.

Selección secuencial hacia atrás (Sequential Backward Selection): No se pueden de-volver medidas al conjunto. Se puede generalizar para eliminar más de una medidapor paso.





http://www.upv.es/

18. Métodos de transformación de características I

No supervisados.

Por ejemplo, Extracción de componentes principales (Principal Component Analysis,PCA, o Expansión de Karhunen-Loeve:





http://www.upv.es/

19. Métodos de transformación de características II

Supervisados.

Por ejemplo, Análisis Discriminante Lineal (Linear Discriminant Analysis, LDA)





http://www.upv.es/

20. Clasificación

Como hemos dicho, nos centraremos en la aproximación estadística o geométrica alreconocimiento de formas.

En este caso, en función de si las densidades condicionales de clase se asumen cono-cidas o no, tenemos dos posibles aproximaciones a la clasificación:

Aproximación Paramétrica: Asumimos una forma funcional para las distribuciones con-dicionales de clase y consideramos como incógnitas ciertos parámetros de esas fun-ciones. Por ejemplo, asumimos distribuciones normales y consideramos como pará-metros el vector media y la matriz de covarianzas. Ejemplos: Clasificador Gaussiano,Mezcla de Gaussianas.

Aproximación No Paramétrica: En este caso nos declaramos ignorantes de las densi-dades de probabilidad y empleamos mecanismos capaces de estimarlas o bien direc-tamente estimamos las fronteras de decisión entre las clases, delimitándolas enton-ces en términos estrictamente geométricos. Ejemplos: Métodos basados en núcleos,clasificadores de vecindad, redes neuronales.





http://www.upv.es/

21. Clasificación II

El proceso de toma de decisión consiste en: dado un objeto x = x1, x2, ..., xd, asígne-sele una de les c clases w1, w2, ..., wc.

Se asume que los objetos se distribuyen de acuerdo a una distribución de probabilidaden forma de funciones condicionadas a las clases (“class conditional densities”).

Una regla de decisión da lugar a una partición del espacio de características en c regio-nes. Las fronteras que separan estas regiones son las fronteras de decisión.

Si asumiéramos que no disponemos de información que relacione la clase con las ca-racterísticas de los objetos, entonces la probabilidad de que un objeto cualquiera perte-nezca a la clase i es lo que conocemos como probabilidad a priori de esa clase P (wi).Suele estimarse por conteo. La regla de decisión más adecuada sería entonces asignarla clase j de máxima probabilidad a priori:

P (wj) > P (wi), 1 ≤ i, j ≤ c ; i 6= j

Pero la utilidad de esta regla es muy limitada. Nuestro interés es emplear la informaciónpresente en las características para estimar las probabilidades condicionales o proba-bilidades a posteriori P (wi|x) de que un objeto x pertenezca a la clase i.





http://www.upv.es/

22. Clasificación III

La forma de obtener las funciones de densidad de probabilidad condicionales a lasclases para poder calcular a partir de ellas las probabilidades a posteriori de un objetode “test” es precisamente lo que distingue unos métodos de clasificación de otros.

Suponiendo que sabemos estimar las probabilidades a posteriori, el criterio más exten-dido a la hora de llevar a cabo la decisión propiamente dicha es utilizar la Regla deDecisión de Bayes de mínimo error que consiste en elegir la clase con probabilidad aposteriori más alta:

P (wi|x) > P (wj|x), 1 ≤ i, j ≤ c, i 6= j ⇒ x ∈ wi (1)

La mayor parte de los métodos de clasificación permiten estimar la densidad condicionalp(x|wi). Para obtener a partir de ella la probabilidad a posteriori se emplea la Fórmulade Bayes

P (wi|x) =p(x|wi)P (wi)

p(x),





http://www.upv.es/

23. Clasificación IV

Dado que el denominador no depende de la clase, la Regla de Decisión de Bayes demínimo error queda así:

p(x|wi)P (wi) > p(x|wj)P (wj), 1 ≤ j ≤ c, i 6= j ⇒ x ∈ wi

En algunas aplicaciones, el coste o riesgo de clasificar erróneamente un objeto en laclase wi cuando en realidad pertenece a la clase wj no sea el mismo para todas lascombinaciones de i y j.

Este concepto se formaliza en términos de una función de coste, L(wi, wj), tambiéndenominada función de pèrdida, que cuantifica el coste de clasificar erróneamente unobjeto de la clase wi como pertenciente a la clase wj.

La regla de decisión que recoge esta información es la Regla de Decisión de Bayes demínimo riesgo que asigna la clase con menor riesgo utilizando la función R(wi|x) enlugar de P (wi|x) en la fórmula (1). Esta función se calcula como:

R(wi|x) =c∑

j=1

L(wi, wj)P (wj|x)





http://www.upv.es/

24. Entrenamiento de clasificadores

Cualquier regla de decisión debe ser entrenada con un conjunto de observaciones. Elnúmero y calidad de éstas determinará en gran medida el éxito del clasificador.

El objetivo no es clasificar bien los objetos utilizados en el entrenamiento, sino la mayorparte de los futuros objetos que se presenten (“test”) El éxito en este objetivo dependede la capacidad de generalización del modelo.

El fenómeno del sobreentrenamiento provoca un sobreajuste del modelo a los datosde entrenamiento y un pobre funcionamiento sobre los datos de prueba. Cuanto máscomplejo es un modelo (más parámetros libres), más probable es el sobreentrenamiento.Un modelo demasiado simple, por otro lado, puede manifestarse incapaz de representarlas fronteras de decisión en una tarea compleja.

Una medida de corte más bien teórico empleada a menudo para medir la complejidadde un modelo es la dimensión de Vapnik-Chervonenkis (“VC Dimension”). Al margen dela complejidad del modelo, una solución sencilla es emplear un subconjunto de datosde validación, independiente del de entrenamiento, para calcular el error y detener elproceso de entrenamiento cuando éste empieza a repuntar.





http://www.upv.es/

25. Tipos de clasificadores

Como hemos dicho, cada clasificador estima las funciones de densidad de probabilidadcondicionales de las clases de un modo diferente. Repasemos los clasificadores másconocidos:

Clasificadores Paramétricos

Gausiano Una gausiana por clase.Mezcla de gausianas Varias gausianas por clase.

Clasificadores No Paramétricos

Ventanas de Parzen Cuenta los objetos en la vecindad del punto de prueba. Es elcaso más sencillo de los clasificadores basados en núcleos.

K vecinos más cercanos Miden el tamaño de la vecindad del punto de prueba quecontiene K vecinos de cada clase (o el número de vecinos de cada clase entre losK más cercanos al punto de prueba)

Funciones Discriminantes Lineales Construyen directamente la frontera de deci-sión entre cada par de clases.

Redes Neuronales Ajustan los pesos de una red de unidades no lineales para maxi-mizar la salida correspondiente a la clase del objeto presentado a la entrada.





http://www.upv.es/

maldicion de la dmensionalidad

Documents