imagenes que nos aportan diversidad de información. antonio. j. plaza. (hypercomp) uex

Imágenes hiperespectrales: Imágenes que nos

aportan diversidad de información

Antonio PlazaAntonio PlazaHyperspectral Computing Laboratory (HyperComp)Hyperspectral Computing Laboratory (HyperComp)

Departamento de Tecnología de los Computadores y de las ComunicacionesDepartamento de Tecnología de los Computadores y de las ComunicacionesEscuela Politécnica de Cáceres, Universidad de ExtremaduraEscuela Politécnica de Cáceres, Universidad de Extremadura

http://www.hypercomp.eshttp://www.hypercomp.es

Jornada sobre Tecnologia Hiperespectral Aplicada a la Industria Agroalimentaria y a la Agricultura. Centro

Tecnológico Agroalimentario (CTAEX), 9 Abril de 2015

• El grupo de investigación “Computación Hiperespectral” (HyperComp) se centra en el procesamiento eficiente de imágenes hiperespectrales.

• El grupo está actualmente formado por 13 investigadores (2 profesores de la Universidad de Extremadura, 3 investigadores postdoctorales, 5 doctorandos y 3 investigadores visitantes). El grupo integra un total de 7 investigadores extranjeros.

• Se trata de un grupo de investigación joven, con alta producción científica.

Grupo de investigación HyperComp

Jornada sobre Tecnologia Hiperespectral Aplicada a la Industria Agroalimentaria y a la Agricultura, CTAEX, Badajoz, 9 de Abril de 2015 2

Imágenes hiperespectrales: remote sensing


Otras aplicaciones: medicina, control calidad alimentos, etc.


Proyectos de investigación activos

• Financiado por Comisión Europea (IRSES).• Socios: University of Pavia, INPE-Brasil,

CNES-Francia, PUC Rio-Brasil, University of Hannover, Universidad de Extremadura (UEx).

• Financiado por Comisión Europea (REGPOT).• Socios: EPCC Edimburgo, Poznan University,

INRIA Francia, CINECA Italy, UEx.

• Financiado por el Ministerio de Economía y Competitividad.

• Proyecto coordinado, socios: Universidad de Extremadura (HyperComp) y Universidad de Valencia (Image Processing Laboratory)


Indicadores de calidad• El grupo ha publicado 141 artículos en revistas internacionales de impacto.

• Destacado en la memoria de investigación de la UEx de 2011 y 2012 como uno de los grupos con mayor producción científica en el campo Científico, Técnico y Biomédico.

• El coordinador del grupo es Editor Jefe de la revista JCR IEEE Transactions on Geoscience and Remote Sensing (Q1, #2 Remote Sensing, #13 Electrical Engineering).

• El grupo ha editado un total de 8 números especiales en revistas de impacto.

• Reconocimientos:

Premio al mejor artículo (2013) de la revista IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, paper más citado de Journal of Parallel and Distributed Computing (2005-2010), varios premios al mejor paper (congresos internacionales) y al mejor revisor (revistas de impacto).

10 tesis doctorales defendidas en 2011-2014 (tres premios extraordinarios de doctorado en la UEx y uno en la Universidad Complutense de Madrid).


Revista IEEE TGRS

• Revista fundada en el año 1963.

• Factor de impacto de 2.933 en el listado JCR de 2013 (Q1, #2 en la categoría Remote Sensing).

• Una de las revistas más importantes del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE), con sede en Nueva York.

• Más de 1350 nuevos manuscritos científicos recibidos en el año 2013 (más de 1000 nuevos manuscritos recibidos hasta la fecha en 2014).

• 45 Editores Asociados, 23 de ellos en Estados Unidos.

• Única revista de IEEE en la que en la actualidad el Editor Jefe es español.


Premio mejor paper IEEE JSTARS (2013)A. Ferran, S. Bernabe, P. G. Rodriguez, A. Plaza, “A web-based system for classification of remote sensing data,”

IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, vol. 6, no. 4, pp. 1934-1948, 2013.

IEEE JSTARS (índice de impacto 2.827)

Unos 500 usuarios registrados de más de 20 países


Citas recibidas• 3 artículos entre los 12 más citados de la Universidad de Extremadura (posiciones

4, 5 y 12) según Scopus (http://www.scopus.com) y 7 entre los 100 más citados.

• Más de 7200 citas a los trabajos del grupo por parte de otros investigadores según Google Scholar (http://scholar.google.com/citations?user=F1UAj8oAAAAJ).


http://www.scopus.com/

http://scholar.google.com/citations?user=F1UAj8oAAAAJ

• Varios papers identificados por Thomson Reuters como Essential Science Indicators (ESI), es decir, pertenecientes al 1% de los papers más citados en su campo.

Indicadores esenciales


Doctores en formación• El grupo HyperComp se caracteriza por su elevado número de tesis doctorales

defendidas y por la presencia de doctorandos internacionales.

Yi Liu•Procedente de China University of Mining Technology, Xuzhou, China•Financiado por Chinese Scholarship Council, defensa tesis prevista en el año 2016

Luis Ignacio Jiménez Gil•Obtuvo su título de Ingeniero en Informática en la Universidad de Extremadura•Becario FPI financiado por el Ministerio, defensa tesis prevista en el año 2016

Mahdi Khodadadzadeh•Procedente de la Universidad Tarbiat Modares, Teherán, Irán•Defensa de tesis doctoral prevista en julio de 2015


Jose Manuel Rodriguez Alves•Realizando cursos de doctorado en la Universidad de Lisboa, Portugal•Desarrollando su tesis doctoral sobre implementación eficiente de algoritmos.

• Hasta la fecha todos los doctores formados en el grupo han sido contratados por organismos de investigación, empresas y otras universidades:

Contratos conseguidos por doctores

Abel Francisco Paz Gallardo•Finalizó su tesis doctoral en el grupo en Abril de 2011•Jefe de la Unidad de Sistemas y Explotación del CETA-Ciemat, Trujillo, Cáceres

Daniel Iordache•Finalizó tesis en Enero de 2012, Premio Estudiante Rumano del año en Europa•Permanente en Centre for Remote Sensing and Earth Observation (TAP), Bélgica

Jun Li•Finalizó tesis en Junio de 2011, Premio Gobierno China por su Tesis Doctoral•Profesora Titular de Universidad en Universidad Sun Yat-Sen, Guanzhou, China

Carlos González Calvo•Finalizó tesis en Septiembre de 2011, Premio Extraordinario Complutense Madrid•Actualmente Profesor Contratado Doctor en la Universidad Complutense de Madrid


Sergio Sánchez Martínez•Finalizó tesis en Marzo de 2013, Premio Extraordinario Universidad de Extremadura•Permanente en Masdar Institute of Technology, Abu Dhabi, Emiratos Árabes Unidos

Gabriel Martín Hernández•Finalizó tesis en Junio de 2013, Premio Extraordinario Universidad de Extremadura•Investigador postdoctoral FCT en Instituto Superior Técnico, Universidad de Lisboa

Sergio Bernabé García•Finalizó tesis en el grupo en Enero de 2014 (co-tutela con Universidad de Islandia)•Seleccionado convocatoria Juan de la Cierva (Universidad Complutense de Madrid)

Inmaculada García Dópido•Finalizó su tesis en el grupo en Enero de 2014•Investigadora postdoctoral en la Universidad de Las Palmas de Gran Canaria

Jorge Sevilla Cedillo•Finalizó tesis en el grupo en Diciembre de 2015•Investigador postdoctoral en Instituto Superior Técnico, Universidad de Lisboa


Investigadores visitantes en 2014-2015Víctor Ayma Quirita•Original de Perú, procedente de PUC-Rio de Janeiro, financiado proyecto TOLOMEO

Paulo Roberto Silva•Procedente de INPE-Sao Paulo, Brasil, financiado por proyecto TOLOMEO

Zebin Wu•Procedente de Nanjing University of Science and Technology, financiado CSC

Lianru Gao•Procedente de Center for Earth Observation and Digital Earth (CEODE), Beijing, China

Mihail Gaianu•Procedente de West University of Timisoara, Rumanía, financiado por proyecto HOST

Alexander Agathos•Procedente de West University of Timisoara, Rumanía, financiado por proyecto HOST

José Renato García•Procedente de PUC-Rio de Janeiro, Brasil, financiado por proyecto TOLOMEO

Alp Erturk•Procedente de Kocaeli University, Turquía, financiado por fundación TUBITAK


“El desafío a la hora de interpretar imágenes hiperespectrales de la tierra o planetarias consiste

en caracterizar la composición a nivel sub-pixel de las firmas observadas”

Aplicaciones: a pesar de que las principales aplicaciones de la tecnología hiperespectral han

estado enfocadas a la observación remota de la Tierra, existen otras muchas aplicaciones en

sectores como la medicina, agicultura, sector agroalimentario, etc.

“Las imágenes hiperespectrales se obtienen a

partir de sensores remotos de observación de la

tierra capaces de proporcionar datos de

reflectancia en un número alto (>40) bandas

espectrales contíguas (<0.01 a 0.02 µm) y

adyacentes, lo cual permite obtener firmas

espectrales contínuas a partir de las cuales puede

derivarse información detallada correspondiente a

la composición de los materiales observados”


Algoritmos +

implementaciones


Pancromático

Hiperespectral

(cientos de bandas)

MultiespectralMultiespectral

(decenas de bandas)

Ultraespectral

(miles de bandas)

Niveles de información espectral en aplicaciones de remote sensing

Desmezclado: determina la abundancia de materiales (agricultura de precisión)

Caracterización: determina la variabilidad de materiales (detección de cambios)

Identificación: determina la identidad dentro de una serie de categorías genéricas de objetos (minerales, tipos de vegetación)

Discriminación: distingue entre categorías genéricas de objetos pertenecientes a diferentes clases

Clasificación: separa materiales en clases espectralmente similares (clasificación de zonas urbanas, otros tipos de clasificaciones)

Detección: determina la presencia de materiales, objetos, actividades o eventos


Concepto de imagen hiperespectral (imaging spectroscopy):

Pixel puro(agua)

Pixel mezcla(suelo + rocas)

Pixel mezcla(vegetación + suelo)

0

1000

2000

3000

4000

5000

300 600 900 1200 1500 1800 2100 2400Long. onda (nm)

Ref

lect

anci

a

0

1000

2000

3000

4000

300 600 900 1200 1500 1800 2100 2400Long. onda (nm)

Ref

lect

anci

a

0

1000

2000

3000

4000

300 600 900 1200 1500 1800 2100 2400Long. onda (nm)

Ref

lect

anci

a

• Las imágenes hiperespectrales se basan en la capacidad de un sensor aerotransportado o instalado en una plataforma de tipo satélite para medir radiación reflejada en varias longitudes de onda:


El problema de la mezcla:• Dependiendo de la resolución espacial del sensor, la mayor parte de los píxels (vectores) de una

imagen hiperespectral corresponden a una mezcla de componentes puros a nivel macroscópico.

• Dichos píxels pueden expresarse como una combinación de elementos espectralmente puros (denominados endmembers en la literatura).

Dispersión múltipleSombras

Absorción y dispersión

Radiancia adicional

Suelo

Árbol

Pasto

Mezcla macroscópica:

15% suelo, 25% árbol, 60% pasto

12 metros

12 m

etro

s


Técnicas de desmezclado espectral:• Una de las técnicas más robustas de análisis sub-píxel consiste en modelar los píxels mezcla

como combinaciones lineales de firmas espectrales puras (endmembers).

• Existe una clara necesidad de desarrollar técnicas capaces de modelar el fenómeno de la mezcla de forma no lineal.


Banda i

Ban

da j

1e

2e

3e

ε+⋅= ∑=

3

1ii

ic es

Proceso de extracción de endmembers:• Se basa en identificar los componentes extremos de la nube de puntos

• Pueden utilizarse para modelar píxels mezcla como combinaciones de endmembers

• La mayor parte de las técnicas existentes utilizan únicamente la información espectral en la escena


Requerimientos computacionales:• La capacidad de procesamiento es fundamental en varias aplicaciones de esta tecnología

emergente (detección y seguimiento de incendios, contaminantes, objetivos militares, etc.)

• Los algoritmos de procesamiento de imágenes hiperespectrales se caracterizan por su elevada complejidad computacional.


Imagen AVIRIS (NASA/JPL) sobre World Trade Center Localización fuegos (USGS)

Nuevas misiones hiperespectrales de observación remota de la Tierra


Metodología clásica de análisis hiperespectral:

Extracción de endmembers

endmembers


endmembers


endmembers

LSU,FCLSU

PCA, MNF, ICA

Imagen pre-procesada

Reducción dimensional

Imagen reducida dimensionalmente

Reducción dimensional

Imagen reducida dimensionalmente

Mapas de abundancia

Estimación de abundancias

Mapas de abundancia

Estimación de abundancias

• Basada en modelo lineal de mezcla complementado con técnicas de extracción de endmemebrs

• Asume modelo lineal de mezcla y no utiliza información espacial-espectral de forma combinada


Algoritmos clásicos de extracción de endmembers:• El método Pixel Purity Index (PPI) realiza proyecciones sobre vectores unitarios aleatorios

Skewer 1

Skewer 2

Skewer 3

Píxel extremo

Píxel extremo

Píxel extremo

Píxel extremo


Algoritmos clásicos de extracción de endmembers:• El método Pixel Purity Index (PPI) realiza proyecciones sobre vectores unitarios aleatorios

• El método N-FINDR crece un simplex en los datos hasta obtener el mayor volumen


Necesidad de integrar la información espacial y espectral :• En la literatura se ha dedicado mucho esfuerzo al procesamiento espectral de datos

• El análisis se lleva a cabo ignorando la correlación espacial de los píxels en la imagen

• Hay una clara necesidad de incorporar técnicas de tratamiento de imagen a este problema

• La situación ideal es considerar la información espacial y espectral de forma simultánea

Procesamiento espectral Procesamiento espectralMismo resultado final

Coordenadas espaciales

reordenadas


Ejemplos de procesamiento hiperespectral en una Dehesa Extremeña:


Embalse Guadiloba

Escuela Politécnica de Cáceres

• La imagen hiperespectral utilizada tiene un tamaño de 5 GB (píxels de 1.2 1.2 metros) y fue tomada por la agencia espacial alemana (DLR) incluyendo vuelos a diferentes alturas.



6 metros por píxel 3 metros por píxel

2.4 metros por píxel 1.2 metros por píxel


Imagen originalComposición falso color con bandas en 771, 619 y 543 nm

ErosiónElemento estructural con radio

igual a un píxel (1.2 m)

DilataciónElemento estructural con radio








igual a un píxel (1.2 m)Pixel mezcla con suelo y pasto








Zona mezcla rodeada de suelo puro




Patrones bordeBorde Mezcla Morfológico Maximin OSPPatrones mezcla Patrones morfológicos



Borde:

Mezcla:

Morfológico:

Otras aplicaciones: lucha contra incendios

Procesamientode datos a bordo

del sensor

Nuevos algoritmosde análisis con precisión

sub-píxel

Constelación de satélites en órbita (ESA, NASA, NOAA)

Ground segment para almacenamiento y procesamiento paralelo/distribuido

Imágenes hiperespectralesGeneración productos alto nivel:

Mapas de índice de riesgo y daños


• La tecnología hiperespectral es también susceptible de emplearse en la lucha

contra incendios.

• La disponibilidad de satélites, drones y cámaras de bajo coste/precio ofrecen

posibilidades muy interesantes.

Control de calidad en aguas


• Colaboración con Ambling centrada en la aplicación de tecnología

hiperespectral para el control de calidad en aguas.

• Utilización de una cámara hiperespectral ImSpector (SPECIM) proporcionada

por Infaimon.

• Creación de una librería de contaminantes para detección en tiempo real.

Resumen:

• El análisis hiperespectral es un área de interés creciente y múltiples aplicaciones

• Existen importantes aplicaciones en el sector agroalimentario.

• Hasta la fecha nuestro grupo ha trabajado fundamentalmente en

aplicaciones de teledetección (observación remota de la Tierra).

• Sin embargo, disponemos de metodologías y técnicas de análisis

susceptibles de ser utilizadas en otros campos y aplicaciones.

• También disponemos de experiencia en procesamiento eficiente de

imágenes hiperespectrales utilizando arquitecturas especializadas.

• Línea de investigación en desarrollo y activa, con múltiples avances esperados


Imágenes hiperespectrales: Imágenes que nos aportan

diversidad de información

Antonio PlazaAntonio PlazaHyperspectral Computing Laboratory (HyperComp)Hyperspectral Computing Laboratory (HyperComp)

Departamento de Tecnología de los Computadores y de las ComunicacionesDepartamento de Tecnología de los Computadores y de las ComunicacionesEscuela Politécnica de Cáceres, Universidad de ExtremaduraEscuela Politécnica de Cáceres, Universidad de Extremadura

http://www.hypercomp.eshttp://www.hypercomp.es

Jornada sobre Tecnologia Hiperespectral Aplicada a la Industria Agroalimentaria y a la Agricultura. Centro

Tecnológico Agroalimentario (CTAEX), 9 Abril de 2015