processamento de imagem em biomecânicatavares/downloads/publications/comunicacoes/... · dados e...

Processamento de Imagem

em Biomecânica

João Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares

Mestrado Integrado em Engenharia Biomédica

Porto, 9 Janeiro 2012

Sumário

1. Apresentação

2. Processamento de Imagem em Biomecânica

i. Introdução

ii. Segmentação

iii. Seguimento de Movimento

iv. Análise de Objetos: Emparelhamento, Alinhamento e Simulação

v. Reconstrução 3D

3. Equipa

4. Eventos & Publicações

2 Processamento de Imagem em Biomecânica 2012@João Manuel R. S. Tavares

Apresentação

Apresentação

• Prof. Associado no Dep. de Eng. Mecânica (DEMec) da

FEUP

• Investigador Sénior e Coordenador de Projecto no Lab. de

Óptica e Mecânica Experimental (LOME) do INEGI

• Doutorado e Mestre em Eng. Electrotécnica e de

Computadores (FEUP) (com Tese e Dissertação na área do

Processamento e Análise de Imagem)

• Licenciado em Eng. Mecânica (FEUP)

• Áreas de Investigação: Processamento e Análise de

Imagem (segmentação, seguimento, emparelhamento, alinhamento e

reconstrução 3D), Interfaces Homem/Máquina (visualização de

dados e percepção humana), Desenvolvimento de Produto

(dispositivos biomédicos), Movimento Humano (Marcha, Postura)

2012@João Manuel R. S. Tavares Processamento de Imagem em Biomecânica 4


em Biomecânica: Introdução

Introdução

• O sistema sensorial de visão tem elevada importância

para grande parte dos seres vivos

– Podendo disponibilizar informações de índole básica, como

verificar a existência ou não de obstáculos, ou complexa, como o

seguimento e a análise de movimento

– Operações comuns: identificação (segmentação), seguimento e

reconhecimento de movimento (seguimento e análise),

correspondência e alinhamento (emparelhamento e

alinhamento), interpolação de formas (simulação), obtenção da

forma/informação 3D (reconstrução 3D)


Introdução

• Os investigadores da área do Processamento e Análise

de Imagem tentam desenvolver algoritmos

computacionais para realizar de forma automática, ou

semi-automática, operações e tarefas desenvolvidas

pelos (complexos) sistemas de visão dos seres vivos


Imagens

originais

Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369

Modelo computacional 3D

voxalizado e poligonizado

Introdução

• Algoritmos de Processamento e Análise de Imagem

são de elevado interesse para a Sociedade, sendo

frequentemente usados, por exemplo, em:

– Medicina, Biologia

– Ciências naturais, Desporto

– Engenharia, Indústria

• Exemplos de tarefas comuns envolvendo algoritmos de

Processamento e Análise de Imagem:

– Remoção de ruído, Correcção geométrica

– Segmentação, Reconhecimento (2D-4D)

– Seguimento e análise de movimento, incluindo emparelhamento,

alinhamento e simulação (2D-4D)

– Reconstrução 3D


Introdução: Processamento e Análise de Imagem – Operações e Objectivos

Processamento de Imagem em Biomecânica 9

Melhoramento

de imagem Segmentação de imagem /

extração de características

seguimento

emparelhamento

simulação

Imagem /

imagens

Análise de

movimento alinhamento

Processamento

de Imagem

Análise de Imagem /

Visão Computacional

2012@João Manuel R. S. Tavares

Visão 3D

Visão por

Computador

Introdução

• (Pré-)Processamento de Imagem: suavização de ruído

por difusão anisotrópica

Processamento de Imagem em Biomecânica 10 2012@João Manuel R. S. Tavares

Processamento de Imagem em

Biomecânica: Segmentação

Segmentação

• Pretende-se identificar de forma automática, ou semi-

automática, os objetos (2D/3D) presentes em imagens

estáticas ou em sequências de imagem

• As técnicas mais comuns são baseadas em

emparelhamento de protótipos, modelações

geométricas, estatísticas e físicas, e redes neuronais

• É uma das operações mais usuais em Visão

Computacional, sendo frequentemente a primeira

“grande” tarefa considerada

• Problemas envolvidos: ruído, baixa resolução, reduzido

contraste, formas não conhecidas, oclusões parciais,

múltiplas estruturas presentes, etc.


• Segmentação de contornos em pedobarografia dinâmica:

método de Otsu, operadores morfológicos, XOR


Imagens originais Após segmentação

Bastos & Tavares (2004) LNCS 3179:39-50

Segmentação

camada de contacto

+ vidro

câmara espelho

luz reflectida vidro

pressão camada opaca

lâmpada

lâmpada camada

transparente

Region Growing, x=215; y=254

Segmentação

• Segmentação de estruturas do ouvido: método de

crescimento de regiões

Imagem original Segmentação obtida

(labirinto ósseo)

Barroso et al. (2011) CNME 2011

X: 254 Y: 214

Index: 116.7

RGB: 0.459, 0.459, 0.459


Segmentação

• Segmentação do lumen da carotida em imagens B-

mode: detetor de orlas, operadores morfologicos,

seguimento de orlas

Segmentação obtida em imagens de Doppler - B-mode (3 exemplos)

Pereira & Tavares (2011) RecPad 2011, 40-41


Segmentação

• Deteção de tumores na mama a partir de imagens de

mamografia: transformada de Hough


Chagas et al. (2007) VipIMAGE 2007, 363-368

Imagem original Após segmentação

Segmentação

• Reconhecimento de objetos em imagens:

emparelhamento de imagem protótipo


Carvalho & Tavares (2005) CMNI 2005

fft fft

ift

3ift D CC 2ift D CC

max CC

Imagem original

Imagem protótipo

Segmentação

• Segmentação de caraterísticas: protótipos deformáveis

geométricos


Carvalho & Tavares (2006) CompIMAGE 2006, 129-134

Carvalho & Tavares (2007) VipIMAGE 2007, 209-215

Exemplo de um

protótipo deformável

Segmentação

• Segmentação de caraterísticas faciais:

protótipos deformáveis geométricos


Carvalho & Tavares (2006) CompIMAGE 2006, 129-134

Carvalho & Tavares (2007) VipIMAGE 2007, 209-215

Imagem original e imagens

de campos de energia (força)

Segmentação da íris usando um

protótipo deformável (circulo)

Segmentação do

olho usando um

protótipo deformável

Segmentação

• Segmentação de regiões de pele em imagens: modelos

estatísticos


Amostras de pele usadas

para construir o modelo

Imagem original e

segmentação obtida

Carvalho & Tavares (2005) CMNI 2005

Carvalho & Tavares (2008) Tékhne VI(9):245-266

Função de probabilidade

usada


Segmentação

• Segmentação do fundo da cena/objeto em sequências

de imagens: modelos estatísticos

Subtracção do

fundo

Detecção do objecto

em movimento

Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008

Imagens

originais


Segmentação

• Segmentação do fundo da cena/objeto em sequências

de imagens: modelos estatísticos

Subtracção do

fundo

Detecção do objecto

em movimento

Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008

Vasconcelos & Tavares (2011) EUROMECH Colloquium 511

Imagens originais (www.nada.kth.se/cvap/actions)

Segmentação

• Segmentação de objetos em imagens: modelos de

distribuição pontual (i. e. modelos de forma)


Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241

Segmentação

• Segmentação de objetos em imagens: modelos ativos

de forma



Segmentação

• Segmentação de mãos e faces em imagens: modelos

ativos de forma


Segmentações obtidas (inicial, intermédias e final)


Segmentação

• Segmentação de objectos em imagens: modelos ativos

de aparência



Segmentação

• Segmentação de faces em imagens: modelos ativos de

aparência



Imagem original e segmentações obtidas (inicial, intermédia e final)

Segmentação

• Análise do tracto vocal durante a fala partir de imagens

de ressonância magnética: modelos ativos de forma


Vasconcelos et al. (2011) Journal of Voice 25(6):732-742

Segmentação

intermédia II

Imagem

original +

modelo médio

Segmentação

final

Segmentação

intermédia I

Segmentação

• Análise do tracto vocal durante a fala partir de imagens de

ressonância magnética: modelos ativos de aparência


Vasconcelos et al. (2011) Journal of Engineering in Medicine 225(1):68-76

Vasconcelos et al. (2011) Journal of Engineering in Medicine, DOI:10.1177/0954411911431664 (in press)

Segmentações

intermédias

Segmentação

inicial

Segmentação

final

Segmentações

intermédias

Segmentação

• Segmentação de objetos em imagens: contornos ativos

(i.e. snakes)


Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220

Segmentação

• Segmentação de objetos em imagens: contornos ativos

(i.e. snakes)


Imagem original e

contorno inicial

Contorno final

Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220

Segmentação

• Segmentação de objetos em imagens: contorno

deformável, FEM, equação de Lagrange


Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55

Segmentação

• Segmentação de objetos em imagens: contorno

deformável, FEM, equação de Lagrange


Imagens originais e contornos iniciais Contornos finais


borracha

k = 200N/m

14s

Segmentação

• Segmentação de objetos em imagens: métodos de level

set


Ma et al. (2010) Medical Engineering & Physics 32(7):766-774

Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246

Segmentação

• Segmentação de objetos em imagens médicas: método

de level set


Imagem original Segmentação inicial Segmentação final

Perdigão et al. (2005) Encontro_1_Biomecânica, 81-85

Segmentação

• Segmentação de bifurcação da carótida em imagens de

Doppler: métodos de contornos ativos e de level set


Segmentação usando um modelo de

contornos ativos (Yessi)

Silva et al. (2011) VipIMAGE 2011, 117-122

Segmentação usando um modelo de

level set (Chan-Vese)

Segmentação

• Segmentação de objetos em imagens: métodos de level

set, conhecimento prévio



Segmentação

• Segmentação do pavimento pélvico feminino a partir de

imagens de ressonância magnética: método de level set,

conhecimento prévio



Segmentação do pavimento pélvico

Segmentação

• Segmentação de órgãos da cavidade pélvica feminina a

partir de imagens de ressonância magnética: modelos de

level set, conhecimento prévio


Ma et al. (2011) Computers in Biology and Medicine (submitted)

Ma et al. (2011) The Int. Journal for Numerical Methods in Biomedical Engineering, DOI: 10.1002/cnm.2463

Segmentação de órgãos (bexiga, pavimento pélvico, ânus) da cavidade pélvica

(3 exemplos)

Segmentação

• Segmentação da bexiga a partir de imagens de

ressonância magnética: modelos de level set,

conhecimento prévio

Ma et al. (2011) Annals of Biomedical Engineering 39(8):2287-2297

Segmentação das paredes internas e externas da bexiga (3 exemplos)


Segmentação

• Nova plataforma para segmentação de imagens

médicas (VC++, OpenCV, ITK)


Interface da plataforma

Ma et al. (2008) CMBBE 2008


Segmentação

• Segmentação de órgãos da cavidade pélvica da mulher

a partir de imagens de ressonância magnética: nova

plataforma



Crescimento de regiões Watershed

Método de Malladi Contorno ativo geodésico Level-set framework


Biomecânica: Seguimento

Seguimento

• Pretende-se seguir o movimento e/ou a deformação de

estruturas em sequências de imagem (2D/3D)

• Nesta área, destacam-se as técnicas baseadas em fluxo

óptico, emparelhamento de blocos e em métodos

estocásticos

• Usualmente, envolve a estimativa do movimento

envolvido, a gestão das entidades seguidas, a análise

do movimento seguido bem como a sua quantificação

• Problemas envolvidos: movimento não rígido, distorção

geométrica, condições de iluminação variáveis,

oclusão, ruído, múltiplas estruturas, etc.


Seguimento

• Plataforma desenvolvida para

seguimento de entidades (pontos

/ rectas) em sequências de

imagem: filtro de Kalman ou

filtro Unscented Kalman,

otimização, distância de

Mahalanobis, modelo de

gestão


Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92

Pinho & Tavares (2009) VipIMAGE 2009, 299-304

Pinho & Tavares (2009) Computer Modeling in Engineering &

Sciences 46(1):51-75


Seguimento

• Seguimento de marcas em análise da marcha: filtro de

Kalman, distância de Mahalanobis, otimização, modelo

de gestão


Previsão Incerteza Medição Correspondência Resultado

Pinho et al. (2005) ICCB 2005, 915-926

Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75

(5 frames)



Sousa et al. (2007) ISHF2007, 331-340

Sousa et al. (2007) ICCB2007, 291-296

Seguimento

• Análise da marcha com deteção de

eventos: filtro de Kalman, distância

de Mahalanobis, otimização

48 Processamento de Imagem em Biomecânica

Pinho et al. (2005) LSCCS, Vol. 4A:463-466

Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92

(547 frames)

Seguimento

• Seguimento de ratos em sequências longas de imagem:

filtro de Kalman, distância de Mahalanobis, otimização,

modelo de gestão



Seguimento

• Seguimento de ratos numa sequência de imagem real:

filtro de Kalman (KF) e filtro Unscented Kalman (UKF)

#15 #16 #17

KF

UKF

(22 frames)


+ previsão

x medição

x correcção


Seguimento


filtro de Kalman (KF) e filtro Unscented Kalman (UKF) –

cont.

Resultados do filtro de

Kalman

Resultados do filtro Unscented

Kalman


(22 frames)


Seguimento


filtro de Kalman (KF) e filtro Unscented Kalman (UKF) –

cont.


(22 frames)

Erro de seguimento (previsão/estado real)


Biomecânica: Emparelhamento,

Alinhamento e Simulação –

Análise de Objetos

Análise de Objetos

• Emparelhamento

– É uma das tarefas mais usuais em Visão Computacional, por

exemplo, para alinhar estruturas, reconhecer estruturas, obter

informação 3D, analisar movimento, etc.

– Geralmente é conseguido através da consideração de

características invariantes, como a curvatura, ou de

deslocamentos (assinaturas) em espaços globais/próprios,

como no espaço modal ou de Fourier

– Problemas envolvidos: oclusão, deformações não rígidas,

variações elevadas de forma, etc.


Emparelhamento

• Emparelhamento de contornos em imagens: modelação

física/geométrica, análise modal, otimização


Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5):529-541

Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368


• Emparelhamento de contornos em pedobarografia

dinâmica: FEM, análise modal, otimização

Emparelhamento


Imagens originais Contornos

emparelhados


Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368


camada de contacto

+ vidro

câmara espelho

luz reflectida vidro

pressão camada opaca

lâmpada

lâmpada camada

transparente

Emparelhamento

• Emparelhamento de contornos e superfícies em

pedobarografia dinâmica: FEM, análise modal, otimização


Imagem de

pedobarografia

dinâmica

Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20

Emparelhamento de

dois contornos

Emparelhamento entre duas superfícies de intensidade (pressão) (2 vistas)

Emparelhamento entre iso-contornos (2 vistas)


• Emparelhamento de contornos e superfícies em

pedobarografia dinâmica: FEM, análise modal,

otimização


Emparelhamentos obtidos

entre iso-contornos

Emparelhamentos obtidos

entre superfícies


Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20

Emparelhamento

Análise de Objetos

• Alinhamento

– É uma tarefa habitualmente necessária para comparar objetos

representados em imagens adquiridas em instantes de tempo

distintos ou segundo diferentes condições/técnicas

– O alinhamento é geralmente essencial, por exemplo, em medicina

para analisar a evolução de patologias a partir de imagens

– Geralmente é conseguido através da consideração de

características invariantes, como pontos de curvatura máxima,

emparelhamento e estimativa da transformação envolvida

– Problemas envolvidos: características não determinadas

facilmente, deformações não rígidas, variações elevadas de

forma, etc.


Alinhamento

• Alinhamento de contornos em imagens: modelação

geométrica/física, otimização, programação dinâmica

Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11


Alinhamento

• Alinhamento de contornos em imagens: modelação

geométrica, otimização, programação dinâmica

Imagens originais e

contornos extraídos

Contornos

emparelhados antes

do alinhamento

Contornos após

alinhamento




Alinhamento

• Alinhamento de imagens de pedobarografia: modelação

geométrica, otimização, programação dinâmica

Imagens originais e contornos

extraídos Contornos emparelhados e imagens

antes e após alinhamento

Oliveira et al. (2009) Journal of Biomechanics 42(15):2620-2623


Alinhamento

• Alinhamento de imagens de pedobarografia:

transformada de Fourier

Imagens originais Imagens antes e após

alinhamento

Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740


Alinhamento

• Alinhamento de imagens de pedobarografia: método

híbrido: Alinhamento de Contornos ou Alinhamento

baseado na transformada de Fourier + Otimização de

semelhança (MSE/MI/XOR)

Imagens originais, antes e após

alinhamento Oliveira & Tavares 2011 Medical & Biological

Engineering & Computing 49(3):313-323


Alinhamento

• Alinhamento de imagens de pedobarografia para

identificação (esq. / direito), extração de medidas e

índices

Imagens originais, após normalização,

contornos e áreas identificadas

Oliveira et al. 2011 Computer Methods in

Biomechanics and Biomedical Engineering, DOI:

10.1080/10255842.2011.581239 (in press)


Alinhamento

• Alinhamento de imagens de uma mesma modalidade:

alinhamento de contornos

Suavização

Extracção do contorno

Extracção

do

contorno

Binarização


Alinhamento


alinhamento de contornos - cont.

Imagens

a alinhar

Contornos antes/após

emparelhamento




Alinhamento


alinhamento de contornos - cont.

67

Imagens

Alinhadas

Imagem

originais

Soma

Soma Diferença




Alinhamento


maximização direta da correlação cruzada (transformada

de Fourier)

68

Imagens

Alinhadas

Imagem originais

(RM - proton density)

Soma

Soma Diferença

Oliveira et al. (2010) Computer Methods in

Biomechanics and Biomedical

Engineering 13(6):731-740


Alinhamento


otimização pelo Método de Powell de medida de

semelhança (MSE)

69

Imagens

Alinhadas

Imagem

originais (RX)

Soma

Soma Diferença

Oliveira et al. (2011) Medical &

Biological Engineering &

Computing 49(3):313-323


ROI para cálculo

da MSE

Alinhamento

• Alinhamento intermodal (CT/RM): otimização pelo

Método de Powell de medida de semelhança (MI)

70

Imagens

Alinhadas

Imagem

originais

CT RM CT+RM

CT+RM Diferença CT+RM



Computing 49(3):313-323


Imagem modelo Imagem a alinhar

Imagem alinhada

Pré-alinhamento usando transformação rígida

Novo pré-alinhamento usando transformação afim

Alinhamento curvo “grosseiro” usando B-splines

Alinhamento “fino” usando B-splines

Metodologia implementada com recurso ao Insight Toolkit (ITK)


Alinhamento

• Otimização iterativa e alinhamento 3D curvo usando B-

splines

71

Princípio

– Após alinhamento global, é realizado um alinhamento local do

tipo free-form deformation

• Otimização iterativa e alinhamento 3D curvo usando B-

splines


Alinhamento

72

• Alinhamento de imagens 3D: otimização iterativa,

alinhamento 3D Xadrez das imagens pré-alinhamento (CT, tórax – mesma pessoa, Δt: 8.5 meses)

(xadrez - construído substituindo algumas partes (voxels) da imagem modelo pelas partes da

imagem a alinhar que têm as mesmas coordenadas das partes retiradas à imagem modelo)


Alinhamento

73

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida)


Alinhamento


alinhamento 3D

74

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas)


Alinhamento


alinhamento 3D

75



alinhamento 3D

Xadrez das imagens pré-alinhamento (CT, cérebro – duas pessoas)

Alinhamento

76



alinhamento 3D

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: afim)

Alinhamento

77



alinhamento 3D

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas)

Alinhamento

78

Oliveira & Tavares (2011) Computer Methods in Biomechanics and Biomedical Engineering (accepted)

Alinhamento

Alinhamento

Transformação

geométrica

Alinhamento

Transformação

geométrica

… … …

Transformação

geométrica


• Alinhamento de imagens: usando multi-resolução

Alinhamento

79

Xadrez das imagens pré-alinhamento (CT/MR-PD, cérebro, mesmo paciente)


• Alinhamento de imagens 3D: multi-resolução,

otimização iterativa, alinhamento 3D

Alinhamento

80

Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida)


• Alinhamento de imagens 3D: multi-resolução,

otimização iterativa, alinhamento 3D

Alinhamento

81

Alinhamento

• Alinhamento de sequências de imagem 2D: alinhamento

espacial e temporal



Computing 49(7):843-850


Alinhamento

• Alinhamento de sequências de imagem 2D de

pedobarografia dinâmica: alinhamento espacial e

temporal

83

Sequências originais

antes do alinhamento

Sequências pré-

processadas

Sequências de

imagem originais

Sequências após

alinhamento

camada de contacto

+ vidro

câmara espelho




Computing 49(7):843-850

Alinhamento

• Alinhamento de sequências de imagem 2D de

pedobarografia dinâmica: alinhamento espacial e

temporal

84

Sequências originais

antes do alinhamento

Sequências pré-

processadas

Sequências de

imagem originais

Sequências após

alinhamento




Computing 49(7):843-850

Análise de Objectos

• Simulação

– É uma tarefa muito usada em Computação Gráfica (morphing)

mas também muito útil em Visão Computacional, por exemplo,

para estimar a deformação existente entre duas estruturas

distintas ou entre dois instantes de uma mesma estrutura,

estimar as transições entre duas formas adquiridas com

espaçamento temporal elevado, etc.

– Geralmente é conseguida através da consideração de

transformações geométricas

– No entanto, quando se deve considerar o comportamento físico

das estruturas envolvidas, devem ser usadas metodologias e

modelações físicas (por exemplo, usando FEM)

• Dificuldades comuns são relativas à estimativas das forças

envolvidas e das propriedades adoptadas para os materiais

• Fase de emparelhamento das estruturas torna-se crucial


Simulação


• Simulação (morphing) física de contornos em imagens:

FEM, análise modal, otimização, eq. de Lagrange


• Simulação de contornos em imagens: FEM, análise

modal, otimização,

equação de Lagrange

Emparelhamento

obtido

Deformações

simuladas

Simulação


Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18


Imagens originais


• Simulação de contornos em imagens: FEM, análise

modal, otimização, equação de Lagrange


Emparelhamentos

obtidos

Deformações

simuladas

Emparelhamentos

obtidos Deformações

simuladas

Imagens originais

Simulação

Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18



Biomecânica: Reconstrução 3D

Reconstrução 3D

• Pretende-se obter a forma 3D de objectos ou a

informação 3D de cenas a partir de imagens 2D

• Nesta área, destacam-se: 1) formas exteriores: técnicas

ativas (com projecção de energia ou movimento relativo),

passivas (sem projecção de energia ou movimento relativo)

e de escavação espacial; 2) formas interiores:

segmentação 2D (i.e. contornos) e interpolação, e

segmentação 3D

• Usualmente, envolve tarefas de calibração,

segmentação, emparelhamento, triangulação e

interpolação

• Problemas envolvidos: distorção geométrica, iluminação

variável, oclusão, ruído, formas complexas, etc.


Reconstrução 3D

• Reconstrução 3D de objetos a partir de slices:

segmentação 2D, Delaunay, marching cubes

Perdigão et al. (2005) CMNI 2005

Pimenta et al. (2006) CompIMAGE 2006, 343-348

Alexandre et al. (2007) VipIMAGE 2007, 359-362


Reconstrução 3D

• Reconstrução 3D de órgãos a partir de imagens

médicas: segmentação 2D, Delaunay, marching cubes

Segmentação realizada num

slice e reconstrução 3D obtida

Órgãos do braço reconstruidos 3D Perdigão et al. (2005) CMNI 2005


Reconstrução 3D

• Reconstrução 3D de órgãos da cavidade pélvica

feminina partir de imagens de ressonância magnética:

segmentação 2D, loft, suavização


Segmentação 2D

realizada num slice Pavimento pélvico

reconstruído 3D

Órgãos da cavidade

pélvica reconstruídos 3D

Pimenta et al. (2006) CompIMAGE 2006, 343-348

Alexandre et al. (2007) VipIMAGE 2007, 359-362

slices

Reconstrução 3D

• Reconstrução 3D de cenas a partir de sequências de

imagem: visão estéreo densa


Azevedo et al. (2006) VISAPP 2006, 383-388

Reconstrução 3D

• Reconstrução 3D de uma cena a partir de par de

imagens: visão estéreo densa


Mapa de disparidade

obtido Par de imagens original

Azevedo et al. (2006) VISAPP 2006, 383-388

Reconstrução 3D

• Reconstrução 3D de objetos a partir de sequências de

imagem: escavação espacial


Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and

Applications, 117-136

Reconstrução 3D




Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and

Applications, 117-136


Imagens originais Modelo computacional 3D obtido


Reconstrução 3D





Imagens originais Modelo computacional 3D obtido


• Reconstrução 3D da coluna a partir de duas

radiografias 2D e usando um modelo deformável (atlas)

Reconstrução 3D


Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138

Moura et al. (2011) Medical Engineering & Physics 33(8):924-933

Interface desenvolvida Modelo ajustado (duas vistas) e

reconstrução obtida

• Reconstrução 3D a partir de radiografias 2D: calibração

Reconstrução 3D




Método

desenvolvido

Calibração de um sistema

de Raio-X

• Reconstrução 3D a partir de radiografias 2D: calibração

Reconstrução 3D




Estimativa da distância entre a

fonte de Raio-X e a mesa

Duas radiografias de uma coluna seca usada para

validar a calibração e reconstrução 3D obtida


Biomecânica: Sumário

Sumário

• A área da Visão Computacional é complexa e exigente,

mas de elevado interesse em muitos domínios, em

particular em Medicina

• Vários desafios existem, como, por exemplo, condições

de aquisição difíceis, oclusão, formas e topologias

complexas, movimentos complicados

• Trabalho considerável já foi desenvolvido, mas existem

ainda muitos desafios importantes e difíceis a resolver

• Métodos e metodologias de outras áreas do

conhecimento, como da Matemática, Mecânica

Computacional, Medicina e Biologia, podem contribuir para

a resolução de tais desafios

• Para tal, Colaborações são Necessárias e Bem-vindas 103 Processamento de Imagem em Biomecânica 2012@João Manuel R. S. Tavares

Equipa

Equipa (Visão Computacional)

• Estudantes de Doutoramento (13):

– Concluído: Daniel Moura, Teresa Azevedo, Sandra Rua

– Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos,

Ilda Reis, Zhen Ma, Elza Chagas, Francisco Oliveira, António

Gomes, João Nunes, Alex Araújo

• Estudantes de Mestrado (20):

– Concluídos: Elisa Barroso, Ana Jesus, Célia Cruz, Priscila Alves,

Frederico Jacob, Daniela Sousa, Francisco Oliveira, Teresa

Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida

Coelho, Jorge Gonçalves

– Em curso: Jorge Pereira, Carolina Tabuas, Gabriela Queiros, Diana

Cidre, Diogo Faria, Nuno Mafra, Luís Ferro

• Estudantes de pré-Graduação (2)

– Concluídos: Ricardo Ferreira, Soraia Pimenta 105 Processamento de Imagem em Biomecânica 2012@João Manuel R. S. Tavares

Agradecimentos

• Os trabalhos apresentados têm vindo a ser realizados

parcialmente com o apoio da Fundação para a Ciência e a

Tecnologia (FCT) em Portugal, nomeadamente, através

dos projetos:

– PTDC/SAU-BEB/102547/2008

– PTDC/SAU-BEB/104992/2008

– PTDC/EEA-CRO/103320/2008

– UTAustin/CA/0047/2008

– UTAustin/MAT/0009/2008

– PDTC/EME-PME/81229/2006

– PDTC/SAU-BEB/71459/2006

– POSC/EEA-SRI/55386/2004

106 Processamento de Imagem em Biomecânica 2012@João Manuel R. S. Tavares

Eventos & Publicações

Webpage (www.fe.up.pt/~tavares)


http://www.fe.up.pt/~tavares/


em Biomecânica

João Manuel R. S. Tavares

[email protected] www.fe.up.pt/~tavares

processamento de imagem em biomecânicatavares/downloads/publications/comunicacoes/... · dados e...

Documents