Alinhamento de Mapas 3DAlinhamento de Mapas 3D“ICP - Iterative Closest “ICP - Iterative Closest

Point Algorithm”Point Algorithm”

Baseado em Trabalhos de Baseado em Trabalhos de

P. Besl, N. Mckay, Szymon P. Besl, N. Mckay, Szymon Rusinkiewicz, Marc LevoyRusinkiewicz, Marc Levoy

Zhengyou Zhang, Y. Chen, Zhengyou Zhang, Y. Chen, MedioniMedioni

ISR-Coimbra 2001

Reconstrução de modelos 3D Reconstrução de modelos 3D ??

1

15

8

6

2

AplicaçõesAplicações

• ReengenhariaReengenharia

• Produção de conteudos multimédiaProdução de conteudos multimédia

• Preservação de arte e aquitecturaPreservação de arte e aquitectura

• Modelização da superfice terrestreModelização da superfice terrestre

• Modelos - para sistemas de visãoModelos - para sistemas de visão

conversãoem meshes

(scanning, triangulação)

alinhamento

(pair-wise registration)

Integração,fusão

alinhamento global

(multi-viewregistration)

modelofinal

Objecto Original

ISR-Coimbra 2001

RegistrationRegistration

• Alinhamento Alinhamento ((Registration)Registration) - - Transformar as várias Transformar as várias medições (3D, 2.5D) de medições (3D, 2.5D) de uma superfície num uníco uma superfície num uníco sistema de coordenadassistema de coordenadas

• Fusão GeométricaFusão Geométrica - Obter - Obter um uníco modelo 3D da um uníco modelo 3D da superficie com base nas superficie com base nas várias medições da várias medições da superfície (superfície (scansscans))

ISR-Coimbra 2001

ProblemaProblema

• Alinhar dois mapas Alinhar dois mapas 3D que parcialmente 3D que parcialmente referem-se à mesma referem-se à mesma zona do objecto.zona do objecto.

• Suposição de uma 1º Suposição de uma 1º transformação transformação relativarelativa

ISR-Coimbra 2001

Alinhamento de dados 3DAlinhamento de dados 3D

• Sabendo a correcta correspondência entre pontos de dois mapas 3D é possível estimar a transformação relativa (rotações/translações) entre eles

• (Besl, McKay, Zhang)

ISR-Coimbra 2001

Alinhamento de dados 3DAlinhamento de dados 3D

• Como encontrar os pares de Como encontrar os pares de pontos correspondentes?pontos correspondentes?

• Solução em Sistemas Inicias: Solução em Sistemas Inicias: • definição por parte do utilizador definição por parte do utilizador

(manual)(manual)• correspondência de primitivas (features),correspondência de primitivas (features),• assinaturas de superficies, etc.assinaturas de superficies, etc.

ISR-Coimbra 2001

Alinhamento de dados 3DAlinhamento de dados 3D

• Solução alternativa: assumir que o Solução alternativa: assumir que o ponto ponto mais próximomais próximo é o par é o par correspondente, determinar a correspondente, determinar a melhor transformação, .... melhor transformação, ....

ISR-Coimbra 2001

Alinhamento de dados 3DAlinhamento de dados 3D

• … … e iterativamente encontrar e e iterativamente encontrar e refinar o alinhamentorefinar o alinhamento– Iterated Closest Points (ICP) [Besl & Iterated Closest Points (ICP) [Besl &

McKay 92]McKay 92]• O sistema converge se a suposição para 1ª O sistema converge se a suposição para 1ª

transformação fôr suficientemente conhecida transformação fôr suficientemente conhecida “close enough“ ???“close enough“ ???

ISR-Coimbra 2001

Algoritmo ICP originalAlgoritmo ICP original

• Dado um conjunto de pontos P e uma superfície Q onde P é um subconjunto de Q:

Pesquisa do ponto mais próximo: para cada ponto p de P encontrar o ponto q mais próximo em Q

Calcular registration: calcular a transformação rígida T que minimiza as somas dos quadrados das distâncias entre os pares de pontos próximos (p,q)

Transformação: Aplicar a transformação rígida T a todos os pontos do conjunto P

Iterar: repetir os passos 1 a 3 até convergir.

ISR-Coimbra 2001

Algoritmo ICP originalAlgoritmo ICP original

Np

iii pTqE

2

Minimizar esta função objectivo:

qi são pontos do scan Q, pi são pontos do scan P e T é a transformação

ISR-Coimbra 2001

ICPICP

• 3D3D

• 2D2D

ISR-Coimbra 2001

ICP Registration of Free-ICP Registration of Free-Form Curves (Z. Zhang) Form Curves (Z. Zhang)

• Dados dois conjuntos de curvas 3D Dados dois conjuntos de curvas 3D de de scansscans consecutivos C consecutivos Cii(i=1,...,m) (i=1,...,m)

C’C’kk(k=1, ...,n) compostas por (k=1, ...,n) compostas por

pontos xpontos xi,j i,j (j=1,..N(j=1,..Nii) e x’) e x’k,lk,l (l=1,..N (l=1,..Nkk) )

minimizar critério simétrico:minimizar critério simétrico: ),'(),(),( ,2

1 1,

',

2

1 1, i

Tlk

Tn

k

Nk

llkkji

m

i

Ni

jji CtRxRdqCtRxdptRF

d(x,C) distância do ponto x à curva C

pi,j,qk,l - 0 ou 1 caso haja correspondência respectiva

ISR-Coimbra 2001

ICP Registration for Free-ICP Registration for Free-Form Curves (Z. Zhang)Form Curves (Z. Zhang)

),(1

),( ',

2

1 1,

1 1,

kji

m

i

Ni

jjim

i

Ni

jji

CtRxdpp

tRF

•Reduzir a carga computacional,

minimizar apenas um dos lado do critério

2

1

1),(

m

iii ytRx

NtRF

xi,yi : par de pontos 3D mais proximos,

pertencentes a superficies distintas

ISR-Coimbra 2001

Transformações?Transformações?

• Como calcular as translações e rotações Como calcular as translações e rotações envolvidas?envolvidas?

• Ferramentas: Ferramentas: – SVD: Singular Value DecompositionSVD: Singular Value Decomposition

– QuaterniõesQuaterniões

ISR-Coimbra 2001

TransformaçõesTransformações

xqQqWsqWtRx TT )()()( W(q),Q(q) - funções matriciais dos quaterniões

• Um quaternião q pode ser considerado um vector 4D [q1,q2,q3,q4]T ou um par (q^,q4)• Os quaterniões são extensões dos números complexo

•q =w+xi+yj+zk q’=w-xi-yj-zk•|q|=1

• Cálculo de matrizes iterativo• Sucessivas transformações => menos multiplicações

ISR-Coimbra 2001

Variantes do ICP Variantes do ICP

• Propostas de modificações nas Propostas de modificações nas seguintes “Etapas do ICP” :seguintes “Etapas do ICP” :

1.1. SelecçãoSelecção dos pontos fonte (de um ou de dos pontos fonte (de um ou de ambos meshes 3D)ambos meshes 3D)

2.2. CorrespondênciaCorrespondência a pontos noutras a pontos noutras nuvens de pontosnuvens de pontos

3.3. PesosPesos nas correspondências nas correspondências4.4. RejeiçãoRejeição de certos pontos (limites) de certos pontos (limites)5.5. Atribuição de Atribuição de erros métricos erros métricos nas nas

transformaçõestransformações6.6. MinimizaçãoMinimização do erro métrico do erro métrico

ISR-Coimbra 2001

Desempenho das variantesDesempenho das variantes

• Analíse:Analíse:– VelocidadeVelocidade

– EstabilidadeEstabilidade

– Tolerância ao erro e aos limitesTolerância ao erro e aos limites

– Convergênncia (desalinhamento maximo Convergênncia (desalinhamento maximo inicial permitido)inicial permitido)

ISR-Coimbra 2001

Selecção dos pontosSelecção dos pontos

• Usar todos os pontosUsar todos os pontos

• Subamostragem uniformeSubamostragem uniforme

• Amostragem aleatóriaAmostragem aleatória

• Normal-space samplingNormal-space sampling– garantir que as normais das amostras garantir que as normais das amostras

estejam distribuidas uniformementeestejam distribuidas uniformemente

ISR-Coimbra 2001

Normal-Space SamplingNormal-Space Sampling

Uniform SamplingUniform Sampling Normal-Space SamplingNormal-Space Sampling

ISR-Coimbra 2001

Selecção vs. PesoSelecção vs. Peso

• Definir estrutura de Definir estrutura de armazenamentoarmazenamento

• Preprocessamento / custo Preprocessamento / custo computacional e robustezcomputacional e robustez

ISR-Coimbra 2001

Erro métrico Ponto-a-PlanoErro métrico Ponto-a-Plano

• Utilização de distancias entre Utilização de distancias entre ponto a plano em vez de ponto a ponto a plano em vez de ponto a ponto [Chen & Medioni 91]ponto [Chen & Medioni 91]

ISR-Coimbra 2001

CorrespondênciaCorrespondência

• A estratégia de correspondência A estratégia de correspondência influencia a convergência e a influencia a convergência e a velocidadevelocidade

• Ponto PróximoPonto Próximo

• Normal shootingNormal shooting

• Ponto Próximo CompativelPonto Próximo Compativel

• ProjecçãoProjecção

ISR-Coimbra 2001

Correspondência do ponto Correspondência do ponto próximopróximo

• Encontrar o ponto mais próximo Encontrar o ponto mais próximo na outra nuvem de pontos (mesh)na outra nuvem de pontos (mesh)

• Estável, lento, requer Estável, lento, requer preprocessamentopreprocessamento

ISR-Coimbra 2001

Normal ShootingNormal Shooting

• Projecção segundo a normal até Projecção segundo a normal até encontrar a outra meshencontrar a outra mesh

• Melhor que o ponto mais próximo para Melhor que o ponto mais próximo para superficies suaves, comporta-se mal com superficies suaves, comporta-se mal com ruído e superfícies complexasruído e superfícies complexas

ISR-Coimbra 2001

Closest Compatible PointClosest Compatible Point

• Ponto Próximo CompativelPonto Próximo Compativel

• Compatibilidade baseada em Compatibilidade baseada em normais, tangente, cores,etc.normais, tangente, cores,etc.

• No limite trata-se de No limite trata-se de correspondência de primitivascorrespondência de primitivas

ISR-Coimbra 2001

Projecção para encontrar Projecção para encontrar correspondênciacorrespondência

• Descobrir o ponto mais próximo é a tarefa Descobrir o ponto mais próximo é a tarefa mais pesada do ICPmais pesada do ICP

• Ideia: utilizar um algoritmo simples para Ideia: utilizar um algoritmo simples para determinar a correspondência [Blais 95]determinar a correspondência [Blais 95]

ISR-Coimbra 2001

AplicaçõesAplicações

• INPUT:INPUT:– Um scanner que fornece dados 3D, Um scanner que fornece dados 3D,

2.5D 2.5D

– ICPICP

– Fusão e RenderingFusão e Rendering

• Resultado: Aquisição Modelo 3DResultado: Aquisição Modelo 3D

ISR-Coimbra 2001

ResultadosResultados

ISR-Coimbra 2001

Multi-view registrationMulti-view registration

• Alinhar simultâneamente duas ou mais superfícies• ICP multi vista

•Minimizar o quadrado da distância entre pontos correspondentes (Benjemaa & Schmitt)

•Necessita de uma 1ª estimação•Mesmos problemas do ICP

•Alternativa: Minimizar distâncias de pontos a planos, (Neugebauer)

ISR-Coimbra 2001

ConclusãoConclusão

• Metódo capaz de alinhar mapas 3D não Metódo capaz de alinhar mapas 3D não requerendo calibraçõesrequerendo calibrações

• Aquisição dos dados 3D segundo vários Aquisição dos dados 3D segundo vários pontos de vista sem o conhecimento das pontos de vista sem o conhecimento das respectivas transformaçõesrespectivas transformações

• Método iterativo de refinamentoMétodo iterativo de refinamento• Algum custo computacionalAlgum custo computacional

ISR-Coimbra 2001

ReferênciasReferências

• The representation, recognition, and locating of 3-D objects,by O.D. Faugeras and M. Hebert, in The International Journal of Robotics Research. 5(3):27-52, Fall, 1986.

• A method for registration of 3-d shapes [ICP],by P.J. Besl and N.D. McKay, in IEEE Pattern Analysis and Machine Intelligence, 14(2):239-256, February 1992.

• Iterative Point Matching for Registration of Free-Form Curves, by Zhengyou Zhang, Technical Report RR-1658, Mars 1992 <article>

• A solution for the registration of multiple 3D point sets using unit quaternions, by Raouf Benjemaa and Francis Schmitt, Fifth European Conference on Computer Vision (ECCV '98) University of Freiburg, Germany, 2-6 June 1998, pp. 34-50 <author homepage>

• Object modelling by registration of multiple range images, by Y. Chen and G. Medioni. Image and Vision Computing, 10(3):145–155, April 1992

• Simultaneous registration of multiple range views for use in reverse engineering, by D. W. Eggert, A. W. Fitzgibbon, and R. B. Fisher, Technical Report 804, Dept. of Artificial Intelligence, University of Edinburgh, 1996.

• K. Pulli. Surface reconstruction and display from range and color data, by Kari Pulli, PhD thesis, Dept. of Computer Science and Engineering, Univ. of Washington, December 1997.

ISR-Coimbra 2001

ReferênciasReferências

• Zippered Polygon Meshes from Range Images, by Greg Turk and Marc Levoy, SIGGRAPH 94, 311- 318.

• A Volumetric Method for Building Complex Models from Range Images, by Brian Curless and Marc Levoy SIGGRAPH 96.

• "Efficient Variants of the ICP Algorithm" (with Marc Levoy), presented at the Third International Conference on 3D Digital Imaging and Modeling (3DIM), 2001.

• Efficient Variants of the ICP Algorithm,

• Szymon Rusinkiewicz, Marc Levoy, Presented at the Third International Conference on 3D Digital Imaging and Modeling (3DIM 2001) <article>

•Tutorial by Marc Pollefayes, on 3D Modeling from Images at ECCV2000 and 3DIM2001.

3D Scanning Projects• The Digital Michelangelo Project

• Overview of the IBM Pieta Project

• 3D Fax machine

• Tele 3D

• 3D Vision Research

• Virtual archaeology

SoftwareSoftware• Stanford Software Package

• Mesh Toolbox

• EIKONA3D

• Amira