análise computaciona de imagem - feup - faculdade de...

Análise Computacional de Imagem

João Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares

Janeiro 16, 2015

Sumário

1.  Apresentação

2.  Análise Computacional de Imagem i.  Introdução

ii.  Segmentação

iii.  Análise e Simulação •  Seguimento •  Emparelhamento •  Alinhamento •  Simulação

iv.  Visão 3D

3.  Publicações & Eventos

2 Análise Computacional de Imagem 2015@João Manuel R. S. Tavares

Apresentação

Apresentação •  Prof. Associado no Dep. de Eng. Mecânica (DEMec) da

FEUP •  Investigador Sénior e Coordenador de Projecto no Lab. de

Óptica e Mecânica Experimental (LOME) do INEGI •  Doutorado e Mestre em Eng. Electrotécnica e de

Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem)

•  Licenciado em Eng. Mecânica (FEUP) •  Áreas de Investigação: Processamento e Análise de

Imagem (segmentação, seguimento, emparelhamento, alinhamento e visão 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (dispositivos biomédicos), Biomecânica, Movimento e Postura Humana

2015@João Manuel R. S. Tavares Análise Computacional de Imagem 4

Análise Computacional de Imagem: Introdução

Introdução •  Os investigadores da área do Processamento e Análise

de Imagem tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos


Imagens originais

Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369

Modelo computacional 3D voxalizado e poligonizado

Introdução •  Algoritmos de Processamento e Análise de Imagem

são de elevado interesse para a Sociedade, sendo frequentemente usados, por exemplo, em: –  Ciências naturais, Desporto –  Engenharia, Indústria –  Medicina, Biologia

•  Exemplos de tarefas comuns envolvendo algoritmos de Processamento e Análise de Imagem: –  Melhoramento de Imagem –  Segmentação, Reconhecimento (2D-4D) –  Seguimento e análise de movimento, incluindo

emparelhamento, alinhamento e simulação (2D-4D) –  Visão 3D


Introdução: Processamento e Análise de Imagem – Operações e Objectivos

Análise Computacional de Imagem 8

Melhoramento de imagem

Segmentação de imagem / extração de características

seguimento

emparelhamento

simulação

Imagem / imagens

Análise de movimento alinhamento

Processamento de Imagem

Análise de Imagem / Visão Computacional

2015@João Manuel R. S. Tavares

Visão 3D

Visão por Computador

Introdução •  (Pré-)Processamento de Imagem: suavização de ruído

usando um verme “inteligente”

9 2015@João Manuel R. S. Tavares Análise Computacional de Imagem

Imagens originais, corrompidas e melhoradas por diferentes métodos de suavização

Araujo et al. (2014) Expert Systems with Applications 41(13):5892–5906

Análise Computacional de Imagem: Segmentação

•  Segmentação de contornos em pedobarografia dinâmica: método de Otsu, operadores morfológicos, XOR

Imagens originais Após segmentação

Bastos & Tavares (2004) LNCS 3179:39-50

Segmentação

camada de contacto + vidro

câmara espelho

luz reflectida vidro

pressão camada opaca

lâmpada

lâmpada camada transparente


Region Growing, x=215; y=254

Segmentação •  Segmentação de estruturas do ouvido: método de

crescimento de regiões

Imagem original Segmentação obtida (labirinto ósseo)

Barroso et al. (2011) CNME 2011 Ferreira et al. (2014) Computer Methods in Biomechanics and Biomedical Engineering 17(8):888-904

X: 254 Y: 214Index: 116.7RGB: 0.459, 0.459, 0.459


Segmentação •  Análise do tracto vocal durante a fala partir de imagens

de ressonância magnética: modelos ativos de forma

Vasconcelos et al. (2011) Journal of Voice 25(6):732-742

Segmentação intermédia II

Imagem original +

modelo médio

Segmentação final

Segmentação intermédia I


Segmentação •  Segmentação de estruturas em imagens: contornos

ativos (i.e. snakes)

Imagem original e contorno inicial

Contorno final

Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 2015@João Manuel R. S. Tavares Análise Computacional de Imagem 14

Imagem original e contorno inicial Contorno final

Segmentação •  Segmentação de melanomas em imagens

dermoscópicas: contornos ativos (i.e. snakes)

Araujo et al. (2012) Avanços em Visão Computacional, ISBN: 978-85-64619-09-8, 27-46 2015@João Manuel R. S. Tavares Análise Computacional de Imagem 15

Imagens originais e contornos determinados

Segmentação •  Segmentação de bifurcação da carótida em imagens de

Doppler: métodos de contornos ativos e de level set

Segmentação usando um modelo de contornos ativos (Yessi)

Silva et al. (2011) VipIMAGE 2011, 117-122 Santos et al. (2013) Expert Systems with Applications 40(16):6570-6579

Segmentação usando um modelo de level set (Chan-Vese)


Segmentação •  Segmentação do pavimento pélvico feminino a partir

de imagens de ressonância magnética: método de level set, conhecimento prévio

Ma et al. (2010) Medical Engineering & Physics 32(7):766-774 Segmentação do pavimento pélvico


Análise Computacional de Imagem: Seguimento,

Emparelhamento, Alinhamento e Simulação

Seguimento •  Seguimento de marcas em análise da marcha: filtro de

Kalman, distância de Mahalanobis, otimização, modelo de gestão

Previsão Incerteza Medição Correspondência Resultado

Pinho et al. (2005) ICCB 2005, 915-926 Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75

(5 frames)


Pinho et al. (2005) LSCCS, Vol. 4A:463-466 Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92

(547 frames)

Seguimento •  Seguimento de ratos em sequências longas de imagem:

filtro de Kalman, distância de Mahalanobis, otimização, modelo de gestão


•  Emparelhamento de contornos em pedobarografia dinâmica: FEM, análise modal, otimização

Emparelhamento

Imagens originais Contornos emparelhados

Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368


câmara espelho

luz reflectida vidro

pressão camada opaca

lâmpada

lâmpada camada transparente


Alinhamento •  Alinhamento de imagens de pedobarografia: modelação

geométrica, otimização, programação dinâmica

Imagens originais e contornos extraídos

Contornos emparelhados e imagens antes e após alinhamento

Oliveira et al. (2009) Journal of Biomechanics 42(15):2620-2623 2015@João Manuel R. S. Tavares Análise Computacional de Imagem 22

Alinhamento •  Alinhamento de imagens de pedobarografia:

transformada de Fourier

Imagens originais Imagens antes e após alinhamento

Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740


Alinhamento •  Alinhamento intermodal (CT/RM): otimização pelo

Método de Powell (otimização) de medida de semelhança (MI)

24

Imagens Alinhadas

Imagem originais

CT RM CT+RM

CT+RM Diferença CT+RM

Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(3):313-323


•  Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D – cont.

Xadrez das imagens pré-alinhamento (CT, tórax – mesma pessoa, Δt: 8.5 meses)

(xadrez - construído substituindo algumas partes (voxels) da imagem modelo pelas partes da imagem a alinhar que têm as mesmas coordenadas das partes retiradas à imagem modelo)

25 2015@João Manuel R. S. Tavares

Alinhamento

25 Análise Computacional de Imagem

F F

F F F

F F F

M M M

M M M

M

M

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas)


Alinhamento •  Alinhamento de imagens 3D: otimização iterativa,

alinhamento 3D


Oliveira & Tavares (2014) Computer Methods in Biomechanics and Biomedical Engineering 17(2):73-93


Alinhamento


Slice médio de uma população usado como referência

Slice correspondente de um paciente

Diferença de intensidades

Mapeamento dos Z-scores no slice (a vermelho valores

mais elevados)

(Os retângulos azuis representam as ROIs 3D usadas para calculo dos potenciais de ligação)

Oliveira et al. (2014) The Quarterly Journal of Nuclear Medicine and Molecular Imaging 58(1):74-84

Aplicação no estudo de imagens DaTSCAN SPECT


Alinhamento


Oliveira et al. (2014) The Quarterly Journal of Nuclear Medicine and Molecular Imaging 58(1):74-84

Aplicação no estudo de imagens DaTSCAN SPECT

Ganglia basal “média” de uma

população normal

Ganglia basal de um paciente com parkinsonismo

idiopático

Ganglia basal de um paciente com parkinsonismo

vascular

Reconstrução 3D da ganglia basal e quantificação

Alinhamento •  Alinhamento de sequências de imagem 2D de

pedobarografia dinâmica: alinhamento espacial e temporal

29

Sequências originais antes do alinhamento

Sequências pré-processadas

Sequências de imagem originais

Sequências após alinhamento


câmara espelho


Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850


•  Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange

Emparelhamento obtido

Deformações simuladas

Simulação

Análise Computacional de Imagem 30

Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55

Imagens originais

2015@João Manuel R. S. Tavares

Análise Computacional de Imagem: Visão 3D

Visão 3D •  Reconstrução 3D de estruturas a partir de slices:

segmentação 2D, marching cubes

Perdigão et al. (2005) CMNI 2005 Pimenta et al. (2006) CompIMAGE 2006, 343-348 Alexandre et al. (2007) VipIMAGE 2007, 359-362

2015@João Manuel R. S. Tavares 32 Análise Computacional de Imagem

Visão 3D •  Reconstrução 3D de órgãos da cavidade pélvica feminina

partir de imagens axial e sagital de ressonância magnética: segmentação 2D, marching cubes, fusão


Ma et al. (2013) Medical Engineering & Physics 35(12):1819-1824

Slices axial e sagital da cavidade pélvica (1 - bexiga, 2 - vagina)

Bexiga reconstruida usando informação axial e sagital (2 vistas)

Visão 3D •  Reconstrução 3D de órgãos a partir de imagens de

diferentes modalidades: alinhamento, marching cubes, fusão


Oliveira & Tavares (2014) Computer Methods in Biomechanics and Biomedical Engineering 17(2):73-93

slices coronal, sagital e axial, e segmentação obtida Visualização 3D após fusão TAC/

SPECT

Visão 3D


Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369

•  Reconstrução 3D de estruturas a partir de sequências de imagem: escavação espacial

Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado

•  Reconstrução 3D da coluna a partir de duas radiografias 2D e usando um modelo deformável (atlas)

Visão 3D


Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933

Interface desenvolvida Modelo ajustado (duas vistas) e reconstrução obtida

Análise Computacional de Imagem: Sumário

Sumário

•  A área do Processamento e Análise de Imagem é complexa e exigente, mas de elevado interesse em muitos domínios, em particular em Medicina e em Engenharia

•  Vários desafios existem, como, por exemplo, condições de aquisição difíceis, oclusão, formas e topologias complexas, movimentos complicados

•  Trabalho considerável já foi desenvolvido, mas existem ainda muitos desafios importantes e difíceis a resolver

•  Métodos e metodologias de outras áreas do conhecimento, como da Matemática, Mecânica Computacional, Medicina e Biologia, podem contribuir para a resolução de tais desafios

•  Para tal, Colaborações são Necessárias e Bem-vindas 38 Análise Computacional de Imagem 2015@João Manuel R. S. Tavares

Publicações & Eventos


Taylor & Francis journal “Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization”

www.tandfonline.com/tciv


Lecture Notes in Computational Vision and Biomechanics (LNCV&B) Series Editors: João Manuel R. S. Tavares, Renato Natal Jorge ISSN: 2212-9391, Publisher: SPRINGER

www.springer.com/series/8910


Eventos:

Webpage (www.fe.up.pt/~tavares)


Agradecimentos

•  Os trabalhos apresentados têm vindo a ser realizados parcialmente com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em Portugal, nomeadamente, através dos projetos: –  PTDC/BBB-BMD/3088/2012 –  PTDC/SAU-BEB/102547/2008 –  PTDC/SAU-BEB/104992/2008 –  PTDC/EEA-CRO/103320/2008 –  UTAustin/CA/0047/2008 –  UTAustin/MAT/0009/2008 –  PDTC/EME-PME/81229/2006 –  PDTC/SAU-BEB/71459/2006 –  POSC/EEA-SRI/55386/2004

44 Análise Computacional de Imagem 2015@João Manuel R. S. Tavares


João Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares

análise computaciona de imagem - feup - faculdade de...

Documents