segmentación multi-clase en dos dimensiones · • segmentación en dos fases: segmentación...
TRANSCRIPT
![Page 1: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/1.jpg)
Trabajo fin de grado:Segmentación de imágenes basada en la textura. Aplicación de CRF densos como
técnica de mejora
Diego Rodríguez MulióGrado en Ingeniería Electrónica Industrial y
Automática
Grado en Ingeniería Electrónica y Automática Industrial
Escuela Técnica Superior de Ingeniería y Diseño IndustrialUniversidad Politécnica de Madrid
15 de Septiembre de 2015
![Page 2: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/2.jpg)
Objetivos• Segmentación multi-clase en dos dimensiones
Objetivo de análisis
![Page 3: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/3.jpg)
Objetivos• Segmentación binaria en tres dimensiones
Región de interés de una resonancia magnética
![Page 4: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/4.jpg)
Segmentación en dos dimensiones
![Page 5: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/5.jpg)
Métodos y referencias
• Segmentación en dos fases:
Segmentación basada en la textura
Modelos de apariencia y
reducción de ruido
Textonboost de Shotton et al.
(Cambridge‐Microsoft)
CRF densos deKrähenbühl y Koltun
(Stanford)
![Page 6: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/6.jpg)
Segmentacióntextonboost
Hierba Árbol Cielo
![Page 7: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/7.jpg)
Segmentación textonboost• Textonización
o Textura = irregularidades de la imageno Se crean regiones de textura uniforme: textones
Mapa de textonesImagen original
![Page 8: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/8.jpg)
Segmentación textonboost
ÁRBOL
CIELO
i
![Page 9: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/9.jpg)
Segmentación textonboost• Clasificación
o Evaluación de característicaso Se obtienen mapas de probabilidad: potenciales unitarios
![Page 10: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/10.jpg)
CRF
CRF definido sobre la imagen
Clasificación
![Page 11: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/11.jpg)
CRF
![Page 12: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/12.jpg)
CRF denso
![Page 13: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/13.jpg)
Implementaciones• Códigos fuente proporcionados en las referencias
o Textonboost en dos dimensiones implementado en C++ por Krähenbühl P. (Stanford University)
o CRF densos en dos dimensiones implementado en C++ por Krähenbühl P. (Stanford University)
• Programas desarrollados
o Generador de imágenes *.pgm para visualizar potenciales unitarios de textonboost
o Adaptación de CRF densos en dos dimensiones para incorporar los potenciales unitarios de textonboost
![Page 14: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/14.jpg)
Experimentos MSRC• Banco de imágenes MSRC (Microsoft) • Segmentación textonboost + CRF denso• Resultados precisos en el 81,11%
![Page 15: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/15.jpg)
Experimentos nidos de cigüeña
• Banco de imágenes para reconocimiento de : nido, cigüeña, cielo y edificio
![Page 16: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/16.jpg)
Experimentos nidos de cigüeña
• Textonboost detecta el 100% • Textonboost + CRF denso segmentan de forma
precisa el 67%
![Page 17: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/17.jpg)
Conclusiones• El sistema de segmentación textonboost + CRF
denso otorga precisión suficiente para la detecciónde zonas de nidificación de aves
• Los CRF densos mejoran notablemente la precisión en la segmentación multi-clase bidimensional
![Page 18: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/18.jpg)
Segmentación en tres dimensiones
![Page 19: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/19.jpg)
Métodos y referencias• Segmentación en dos fases:
Segmentación basada en fusión de etiquetas y registro
no rígido
Modelos de apariencia y
reducción de ruido
LabelFusion de Platero y Tobar (UPM)
Adaptación a 3D de los CRF densos de Krähenbühl y
Koltun (Standford)
![Page 20: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/20.jpg)
Implementaciones• Códigos fuente proporcionados en las referencias
o Segmentación LabelFusion basada en patches implementada en MATLAB por Platero C. (ETSIDI-UPM)
o CRF densos en dos dimensiones implementado en C++ por Krähenbühl P. (Stanford University)
• Programas desarrolladoso Conversores de imágenes MATLAB -> C++o CRF densos en tres dimensiones en C++o CRF densos en mexFunction para su ejecución en MATLAB
![Page 21: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/21.jpg)
CRF densos 3D en C++• Pruebas sobre IBSR (Internet Brain Segmentation
Repository)
![Page 22: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/22.jpg)
MexFunction• Implementa CRF denso y min-cut 3D• Biblioteca dinámica, con extensión *.mexw64• Desde MATLAB, se interpreta como un comando
![Page 23: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/23.jpg)
Resultados IBSR• Comparativa de valores DICE
(promedio de los 18 pacientes)
o Potenciales unitarios: 0,8301 0,8372
o Potenciales unitarios + potenciales de adyacencia de Song:0,8334 0,8414
o Potenciales unitarios + potenciales densos:0,8340 0,8420
![Page 24: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/24.jpg)
Conclusiones
![Page 25: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/25.jpg)
Software público• Los programas empleados en este Trabajo Fin de
Grado se encuentran disponibles en el siguiente enlace:http://www.ieef.upm.es/joomla/index.php/grupos-
inv/vision-artificial
![Page 26: Segmentación multi-clase en dos dimensiones · • Segmentación en dos fases: Segmentación basada en la textura Modelos de apariencia y reducción de ruido Textonboost de Shotton](https://reader033.vdocuments.mx/reader033/viewer/2022042601/5f64d321d6b25f5323526f4e/html5/thumbnails/26.jpg)
Gracias por su atención