desenvolvimento de uma plataforma computacional para obtenÇÃo da forma 3d de objectos usando...
TRANSCRIPT
DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA
FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA
DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA
FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA
Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
FEUP – Faculdade de Engenharia da Universidade do PortoLOME – Laboratório de Óptica e Mecânica Experimental
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 2
Índice
I. Introdução: Visão Computacional; Exemplos; Técnicas de Visão 3D; Objectivos do projecto; Metodologia considerada.
II. Plataforma Computacional em Desenvolvimento;
III. Alguns resultados experimentais obtidos;
IV. Conclusões;
V. Trabalho futuro.
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 3
Visão Computacional
Interesse da Visão: ~50% do cérebro humano está dedicado à Visão; O sistema de Visão reflecte a percepção do mundo exterior.
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Porquê a Visão Computacional: Abundância de imagens digitais no dia-a-dia; Inúmeras aplicações possíveis; Obter informações úteis a partir de imagens de forma o mais semelhante possível à realizada pelo homem.
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 4
Aplicações: exemplos
Medicina: planeamento de cirurgiasIntrodução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Determinação da pose de órgãos ou de estruturas anatómicas
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 5
Aplicações : exemplos
Medicina: reconstrução 3DIntrodução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 6
Aplicações : exemplos
Arquitectura: reconstrução de estruturasIntrodução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Modelação 3D de edifícios
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 7
Aplicações : exemplos
Sistemas de navegaçãoIntrodução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Controlo de robots
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 8
Técnicas
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Em Visão Computacional, existem várias técnicas para recuperar a estrutura 3D de uma cena ou de um objecto:
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 9
Objectivos e Metodologia
Partindo de uma sequência de imagens não calibradas, pretende-se extrair o movimento e a calibração da(s) câmara(s) considerada(s), assim como obter a geometria 3D do objecto em causa.
Sequência de imagens
Extracção de pontos fortes
Emparelhamento de pontos fortes
Extracção da geometria epipolar
Auto-calibração / Estimativa da Pose
Emparelhamento denso
Reconstrução 3D
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Objectivo do projecto:
Obtenção de modelos 3D de cenas ou de objectos reais.
Metodologia utilizada: estrutura a partir do movimento reconstrução de cenas/objectos a partir de movimento relativo; pretende-se não impor qualquer tipo de restrição ao movimento.
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 10
Plataforma Computacional
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Integração de funções disponibilizadas em várias bibliotecas de domínio público:
OpenCV; Peter’s Matlab Functions for Computer Vision and Image Analysis (portada para C); Torr’s Matlab Toolkit (portada para C); KLT; Projective Rectification without Epipolar Geometry; Depth Discontinuities by Pixel-to-Pixel Stereo.
Desenvolvimento modular;
Interface gráfica adequada para o utilizador;
Linguagem: C++;
Sistema operativo: Microsoft Windows.
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 11
Funções incluídas
As funções incluídas abrangem várias técnicas de Visão Activa:Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
O utilizador pode escolher o algoritmo que pretende usar, assim como definir comodamente os seus parâmetros.
extracção de pontos fortes (pontos característicos); emparelhamento de pontos fortes entre imagens; cálculo da geometria epipolar; rectificação; emparelhamento denso.
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 12
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Extracção de pontos fortes
Funções disponíveis para a extracção de
pontos fortes
São pontos que reflectem discrepâncias relevantes entre os seus valores de intensidades e os dos seus vizinhos; A sua extracção permite posteriormente correlacioná-los sequencialmente noutras imagens (emparelhamento).
Utilizaram-se pares de imagens estéreo (540x612 píxeis), capturadas usando uma câmara digital convencional.
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 13
Exemplos obtidos pelas técnicas integradas:Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Pontos fortes - resultados
Peter
Torr
OpenCV
KLT
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 14
Emparelhamento de pontos fortes
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Coordenadas dos pontos fortes da
primeira imagem
Funções disponíveis para o
emparelhamento de pontos fortes
Identificação dos pontos nas várias imagens que resultem da projecção do mesmo ponto da cena (matching); Um reduzido número de pontos de correspondência, é suficiente para se poder determinar a relação geométrica entre as duas imagens (matriz fundamental).
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 15
Emparelhamento de pontos fortes
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Coordenadas dos pontos
emparelhados da segunda imagem
Matriz fundamental
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 16
Emparelhamento - resultados
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Exemplos obtidos pelas técnicas integradas:
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 17
Geometria epipolar
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Funções disponíveis para o
cálculo da geometria epipolar
Obtém-se informação da pose relativa entre vistas da mesma cena.
Exemplo obtido pelas técnicas integradas:
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 18
Rectificação
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Função disponível para a
rectificação
Traduz-se em alterar as imagens de forma a colocar as linhas epipolares paralelas ao eixo horizontal da imagem; Facilita o problema do emparelhamento de pontos entre imagens.
Exemplo obtido pelas técnicas integradas:
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 19
Mapa de disparidade
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Funções disponíveis para o emparelhamento
denso
Cálculo do mapa de disparidade, que codifica em níveis de cinzento a distância dos objectos em relação à(s) câmara(s), ou seja, pontos muitos distantes têm disparidade zero (preto) e pontos muito próximos terão a máxima disparidade (branco); Um mapa de disparidade dá a percepção das descontinuidades em termos de profundidade de uma cena;
Um dos algoritmos disponíveis também retorna um mapa de descontinuidades, definido pelos píxeis que fazem fronteira entre uma mudança de pelo menos dois níveis de disparidade.
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 20
Mapa de disparidade - resultados
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Imagens originais
Mapa de disparidade Mapa de descontinuidades
Exemplos obtidos pelas técnicas integradas:
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 21
Conclusões
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
As funções analisadas obtêm bons resultados experimentais quando aplicadas em objectos que apresentam características fortes;
Os resultados experimentais obtidos com menor qualidade, geralmente estão relacionados com a determinação dos pontos característicos nas imagens a considerar (pontos fortes);
Esta debilidade, das técnicas analisadas e integradas na plataforma computacional, é tanto maior, quanto menor as variações da forma dos objectos em causa.
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 22
Trabalho futuro
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Posteriormente, pretende-se utilizar a plataforma computacional apresentada na reconstrução e caracterização de formas 3D anatómicas exteriores.
consideração de técnicas de “escavação” do espaço tridimensional - space carving - para a reconstrução do objecto; os pontos característicos serão determinados utilizando um reduzido número de marcadores nos objectos, por forma a referenciar o objecto no espaço 3D; integração de uma técnica de calibração da(s) câmara(s), assim como de algoritmos de obtenção da pose e do movimento relativo.
As próximas etapas deste projecto irão concentrar-se no sentido de melhorar os resultados obtidos quando os objectos a reconstruir apresentam formas contínuas e suaves:
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 23
Trabalho futuro
Introdução
Plataforma
Conclusões
Trabalho Futuro
Resultados
Space carving:
determinar o volume inicial V, que englobe o objecto 3D;
para cada voxel de V:
• projectá-lo nas imagens capturadas;
• removê-lo se não for consistente. Exemplos de
Resultados:
DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA
FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA
DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA
FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA
Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
FEUP – Faculdade de Engenharia da Universidade do PortoLOME – Laboratório de Óptica e Mecânica Experimental