indroduction and vision computer
DESCRIPTION
indroduction and vision computerTRANSCRIPT
-
UNIVERSIDADE DE BRASLIA
FACULDADE DE TECNOLOGIA
DEPARTAMENTO DE ENGENHARIA MECNICA
SISTEMA DE VISO ROBTICA PARA
RECONHECIMENTO E LOCALIZAO DE OBJETOS
SOB MANIPULAO POR ROBS INDUSTRIAIS EM
CLULAS DE MANUFATURA
LAERCIO ARRAES JARDIM
ORIENTADOR: JOS MAURCIO SANTOS TORRES DA MOTTA
DISSERTAO DE MESTRADO EM SISTEMAS MECATRNICOS
PUBLICAO: ENM.DM
BRASLIA/DF: OUTUBRO 2006
-
ii
UNIVERSIDADE DE BRASLIA
FACULDADE DE TECNOLOGIA
DEPARTAMENTO DE ENGENHARIA MECNICA
SISTEMA DE VISO ROBTICA PARA IDENTIFICAO
E LOCALIZAO DE OBJETOS SOB MANIPULAO
POR ROBS INDUSTRIAIS EM CLULAS DE
MANUFATURA.
LAERCIO ARRAES JARDIM
DISSERTAO SUBMETIDA AO DEPARTAMENTO DE
ENGENHARIA MECNICA DA FACULDADE DE TECNOLOGIA
DA UNIVERSIDADE DE BRASLIA COMO PARTE DOS
REQUISTOS NECESSRIOS PARA A OBTENO DO GRAU
DE MESTRE EM SISTEMAS MECATRNICOS.
APROVADA POR:
_________________________________________________
Prof. Dr. JOS MAURCIO S. T. DA MOTTA - (ENM-UnB)
(Orientador)
_________________________________________________
Prof. Dra.CARLA MARIA C. C. KOIKE (CIC/UnB)
(Examinador Externo)
_________________________________________________
Prof. Dr. TEODIANO FREIRE BASTOS FILHO - (UFES)
(Examinador Externo)
BRASLIA/DF, 19 DE OUTUBRO DE 2006
-
iii
FICHA CATALOGRFICA
JARDIM, LAERCIO ARRAES
Sistema de Viso Robotica para Identificao e Localizao de Objetos sob Manipulao
por Robs Industriais em Clulas de Manufatura. [Distrito Federal] 2006.
xvii, 110p., 297 mm (ENM/FT/UnB, Mestre, Sistemas Mecatrnicos, 2006). Dissertao
de Mestrado Universidade de Braslia. Faculdade de Tecnologia.
Departamento de Engenharia Mecnica.
1.Viso computacional 2. Projetivas invariantes
3. Identificao e localizao de Objetos 4. Vrtices
I. ENM/FT/UnB II. Ttulo (srie)
REFERNCIA BIBLIOGRFICA
JARDIM, L. A. (2006). Sistema de Viso Robtica para Identificao e Localizao de
Objetos sob Manipulao por Robs Industriais em Clulas de Manufatura. Dissertao de
Mestrado em Sistemas Mecatrnicos, Publicao ENM.DM-04A/06, Departamento de
Engenharia Mecnica, Universidade de Braslia, Braslia, DF, 110p.
CESSO DE DIREITOS
AUTOR: Laercio Arraes Jardim.
TTULO: Sistema de Viso Robtica para Identificao e Localizao de Objetos sob
Manipulao por Robs Industriais em Clulas de Manufatura.
GRAU: Mestre ANO: 2006
concedida Universidade de Braslia permisso para reproduzir cpias desta Dissertao
de Mestrado e para emprestar ou vender tais cpias somente para propsitos acadmicos e
cientficos. O autor reserva outros direitos de publicao e nenhuma parte dessa dissertao
de mestrado pode ser reproduzida sem autorizao por escrito do autor.
____________________________
Laercio Arraes Jardim
-
iv
AGRADECIMENTOS
Vida,
Essa ddiva que o Criador nos deu.
Luz do Sol
Por brilhar todos os dias de minha vida.
Aos Mestres
Por transmitir seus conhecimentos. Em especial, o meu orientador, por seus conhecimentos
transmitidos com pacincia e dignidade.
Todas...
... as pessoas que me apoiaram.
-
v
RESUMO SISTEMA DE VISO ROBTICA PARA RECONHECIMENTO E
LOCALIZAO DE OBJETOS SOB MANIPULAO POR ROBS
INDUSTRIAIS EM CLULAS DE MANUFATURA
Autor: Laercio Arraes Jardim
Orientador: Prof. Dr. Jos Maurcio S. T. da Motta
Programa de Ps-graduao em Sistemas Mecatrnicos
Braslia, Outubro de 2006.
Existem vrias tcnicas de aplicao de viso robtica para o reconhecimento
(identificao e localizao) de objetos industriais tipicamente encontrados em uma clula
de manufatura, objetivando a pega e transporte de peas para agrupamento de forma
inteiramente automtica por manipuladores industriais.
Viso robtica automtica para objetos industriais complicados uma importante e ainda
difcil tarefa, especialmente no estgio de extrao de caractersticas desses objetos.
Prope-se um modelo de reconhecimento de objetos de formatos diversos, utilizando-se de
extrao de pontos caractersticos (vrtices) para formao de bancos de invariantes, para
posterior identificao e localizao.
A fase de identificao dos objetos desenvolvida em dois processamentos, off-line e on-
line. O processo off-line tem como objetivo gerar um banco de dados, onde seriam
armazenadas informaes necessrias identificao de objetos. Essas informaes so
constitudas de vetores de projetivas invariantes. Os vetores de projetivas invariantes so
gerados atravs de uma lista de vrtices extrados dos objetos chamados modelos. A
ordenao da lista dos vrtices deve ser de tal maneira que sua seqncia (horria)
apresente a geometria bsica do modelo. O processo on-line encarrega-se de identificar
objetos que tenham sido previamente armazenados no banco de dados.
A fase de localizao foi desenvolvida com o objetivo de determinar posies e
orientaes de objetos em um sistema de referncia conhecida. possvel relacionar, nesta
-
vi
fase, os diversos planos que o objeto, devidamente identificado, se encontra, podendo ser o
plano da imagem, da cmera ou da base do manipulador.
O reconhecimento de objetos, atravs de sua identificao por projetiva invariante e sua
localizao em coordenadas da cmera, permitir o posicionamento do manipulador para a
apreenso com controle de posio e orientao.
-
vii
ABSTRACT
There are several techniques for applying robotic vision for identification and localization
of industrial objects. These objects are typically found in manufacturing cells. The purpose
is to catch and transport the pieces for automatically grouping.
Robotic vision for industrial objects is an important and still difficult task, especially
feature extraction of the object image. For that, this work proposes a model for recognition
of objects different shapes, most of time symmetric, using the extraction of feature points
(corners) for creating a database of invariants, for identification and localization.
The step of object identification is developed in two different processes: on-line and off-
line. The off-line step has the objective of creating a database, where the information
needed to identify the objects is recorded by using vectors of invariant projective. These
vectors are defined from a list of corners extracted from an object image. The order of the
corners listed is sorted in some way that its sequence shows the basic geometry of the
model. The on-line process has the objective of identifying the objects previously recorded.
The localization step was developed to assign positions and orientations of the object in a
reference coordinate system. At this stage, it is possible to relate all the coordinate frames
previously assigned to the object, like the image, camera or base manipulator frames
The recognition of objects, through the identification of invariant projective and its
localization in camera coordinates, allows the positioning of a manipulator to catch and to
control it position and orientation.
-
viii
NDICE
1. INTRODUO...................................................................................................... 13
2. NOES DE TICA E PROCESSAMENTO DE IMAGENS........................ 16
2.1 IMAGENS DIGITAIS NOES DE TICA............................................. 17
2.1.1 Imagens de Intensidade............................................................................. 17
2.1.2 tica Bsica................................................................................................ 18
2.1.3 Radiometria Bsica ................................................................................... 20
2.1.4 Formao Geomtrica da Imagem........................................................... 21
2.2 PARMETROS DE CMERAS..................................................................... 23
2.2.1 Parmetros Extrnsecos ............................................................................ 23
2.2.2 Parmetros Intrnsecos ............................................................................. 25
2.3 FILTRAGEM DE RUDOS ............................................................................. 26
2.3.1 Filtro Linear............................................................................................... 27
2.4 CARACTERSTICAS DAS IMAGENS ......................................................... 30
2.4.1 Contorno..................................................................................................... 31
2.4.2 Vrtices ....................................................................................................... 34
2.4.3 Centro de Massa ........................................................................................ 36
2.4.4 Segmentao de Imagem........................................................................... 38
3. RECONHECIMENTO DE OBJETOS IDENTIFICAO........................... 40
3.1 Projetiva Invariante para Gerao de Modelos.............................................. 41
3.2 Configurao Geomtrica do modelo .............................................................. 42
3.3 Criao do Banco de Invariantes ..................................................................... 44
3.4 Identificao de Peas por Comparao ......................................................... 45
3.4.1 Processamento Off-Line............................................................................ 45
3.4.2 Processamento On-Line ............................................................................ 50
4. RECONHECIMENTO DE OBJETOS LOCALIZAO ............................. 52
4.1 Conceitos Bsicos............................................................................................... 52
4.2 Localizao de Objetos Imagem de Intensidade.......................................... 52
-
ix
4.2.1 Modelo de Cmera de Perspectiva Completa ......................................... 53
4.2.2 Modelo de Cmera de Perspectiva Fraca................................................ 55
4.2.3 Exemplo de Aplicao para Modelo de Cmera de Perspectiva Fraca 56
5. CONTROLE DO ESPAO OPERACIONAL UTILIZANDO VISO........... 59
5.1 Aspectos Gerais.................................................................................................. 59
5.2 Subsistema de Controle do Manipulador........................................................ 59
5.2.1 Espao Operacional e Espao Junta Cinemtica Direta e Inversa.... 59
5.2.2 Matriz Jacobiano do Manipulador .......................................................... 61
5.3 Subsistema de Viso .......................................................................................... 62
5.3.1 Formao da Imagem................................................................................ 63
5.3.2 Jacobiano da imagem ................................................................................ 64
5.3.3 Jacobiano Completo .................................................................................. 65
5.4 Sistema de Controle Por Viso......................................................................... 67
5.5 Cinemtica do Erro ........................................................................................... 69
6. EXPERIMENTOS................................................................................................. 71
6.1 Identificao dos Objetos.................................................................................. 71
6.1.1 Processamento Off-line Gerao do Banco de Invariantes ................ 71
6.1.2 Processamento On-Line Identificao de Objetos............................... 80
7. CONCLUSO E SUGESTES PARA TRABALHOS FUTUROS............... 107
REFERNCIAS BIBLIOGRFICAS .......................................................................... 109
-
x
LISTA DE TABELAS
TABELA 2.1 - MATRIZ 8X8 DE UMA IMAGEM SINTTICA................................................................................... 17 TABELA 3.1 LISTA DE PONTOS (VRTICES) DO MODELO 1.............................................................................. 47 TABELA 3.2 - LISTA DE PONTOS (VRTICES) DO MODELO 2. ............................................................................. 47 TABELA 3.3 VALORES DOS VETORES INVARIANTES DOS MODELOS 1 E 2. ...................................................... 49 TABELA 6.1 VRTICES DO MODELO 1. ........................................................................................................... 75 TABELA 6.2 VRTICES DO MODELO 2. ........................................................................................................... 76 TABELA 6.3 VRTICES DO MODELO 3. ........................................................................................................... 76 TABELA 6.4 VRTICES DO MODELO 1. ........................................................................................................... 76 TABELA 6.5 VRTICES DO MODELO 2. ........................................................................................................... 76 TABELA 6.6 VRTICES DO MODELO 3. ........................................................................................................... 77 TABELA 6.7 VRTICES DO MODELO 1. ........................................................................................................... 78 TABELA 6.8 VRTICES DO MODELO 2. ........................................................................................................... 78 TABELA 6.9 VRTICES DO MODELO 3. ........................................................................................................... 78 TABELA 6.10 RESULTADO DOS CLCULOS DE PROJETIVA INVARIANTE PARA OS MODELOS 1, 2 E 3.............. 80 TABELA 6.11 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 1. ........................... 82 TABELA 6.12 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 2 ............................ 82 TABELA 6.13 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 3 ............................ 82 TABELA 6.14 VRTICES DO OBJETO (PIXEL).................................................................................................. 85 TABELA 6.15 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 1 ............................ 86 TABELA 6.16 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 2 ............................ 86 TABELA 6.17 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 3. ........................... 87 TABELA 6.18 VRTICES DO OBJETO (PIXEL).................................................................................................. 91 TABELA 6.19 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 1. ........................... 91 TABELA 6.20 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 2. ........................... 92 TABELA 6.21 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 3. ............................ 92 TABELA 6.22 VRTICES DO OBJETO (PIXEL).................................................................................................. 96 TABELA 6.23 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 1. ........................... 96 TABELA 6.24 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 2. ........................... 96 TABELA 6.25 ERROS ENCONTRADOS EM K-COMBINAES DO OBJETO COM O MODELO 3. ........................... 97 TABELA 6.26 LISTA DOS VRTICES (PIXEL) SELECIONADOS DO OBJETO 1. ................................................... 101 TABELA 6.27 LISTA DOS VRTICES (PIXEL) SELECIONADOS DO OBJETO 2. ................................................... 102 TABELA 6.28 LISTA DOS VRTICES (PIXEL) SELECIONADOS DO OBJETO 3. ................................................... 103
-
xi
LISTA DE FIGURAS
FIGURA 2.1 (A) IMAGEM EM FORMA DE SUPERFCIE. (B) IMAGEM SINTTICA................................................. 17 FIGURA 2.2 GEOMETRIA TICA DAS LENTES FINAS........................................................................................ 19 FIGURA 2.3 FORMAO DE IMAGENS ATRAVS DAS LENTES FINAS. .............................................................. 20 FIGURA 2.4 MODELO CMERA PERSPECTIVA................................................................................................. 22 FIGURA 2.5 EXEMPLO DE TRANSFORMAO ENTRE DOIS SISTEMAS MUNDO (PW) E CMERA (PC).............. 25 FIGURA 2.6 (A) IMAGEM ORIGINAL, (B) IMAGEM ATENUADA COM MSCARA AMEDIA1, (C) IMAGEM ATENUADA
COM MSCARA AMEDIA2. ........................................................................................................................... 28 FIGURA 2.7 (A) IMAGEM ORIGINAL. (B) IMAGEM COM ATENUAO GAUSSIANA = 1.5. .............................. 30 FIGURA 2.8 (A) IMAGEM ORIGINAL. (B) CONTORNO EXTRADO POR CANNY EDGE DETECTOR. ....................... 32 FIGURA 2.9 (A) IMAGEM ORIGINAL. (B) EXTRAO DE CONTORNO POR ROBERT = 34.88. (C) EXTRAO
DE CONTORNO POR SOBEL = 78.4. ..................................................................................................... 33 FIGURA 2.10 (A) IMAGEM ORIGINAL. (B) IMAGEM BINARIZADA COM LIMIAR = 170. (C) VRTICES DE IMAGEM
BINARIZADA. .......................................................................................................................................... 36 FIGURA 2.11 (A) IMAGEM BINARIZADA COM CENTRO DE MASSA. (B) IMAGEM BINARIZADA ROTACIONADA
COM CENTRO DE MASSA......................................................................................................................... 38 FIGURA 2.12 (A) IMAGEM ORIGINAL (B) IMAGEM BINARIZADA. (C) IMAGEM SEGMENTADA SEM O PRIMEIRO
OBJETO. (D) IMAGEM SEGMENTADA SEM DOIS OBJETOS.......................................................................... 39 FIGURA 3.1 (A) IMAGEM DO MODELO 1 - APRESENTAO DA IMAGEM DO OBJETO MODELO 1 COM OS
VRTICES; ............................................................................................................................................... 43 FIGURA 3.2 (A) IMAGEM DO MODELO 2. (A) - APRESENTAO DA IMAGEM DO OBJETO MODELO 2 COM OS
VRTICES; (B) GEOMETRIA DO MODELO 2............................................................................................... 43 FIGURA 3.3 ESQUEMA DE ORDENAO DE VRTICES NO SENTIDO HORRIO.................................................. 44 FIGURA 3.4 FLUXOGRAMA DA TCNICA DE RECONHECIMENTO DE OBJETOS POR MEIO DO CLCULO DE
INVARIANTES. PROCESSAMENTO OFF-LINE. ........................................................................................... 46 FIGURA 3.5 (A) IMAGEM DO MODELO 1. (B) IMAGEM DO MODELO 2. ............................................................. 47 FIGURA 3.6 GEOMETRIA DO MODELO 1 E LISTA DOS PONTOS NO SENTIDO HORRIO...................................... 48 FIGURA 3.7 GEOMETRIA DO MODELO 2 E LISTA DOS PONTOS NO SENTIDO HORRIO...................................... 49 FIGURA 3.8 FLUXOGRAMA DA TCNICA DE RECONHECIMENTO DE OBJETOS. PROCESSAMENTO ON-LINE. .... 50 FIGURA 4.1 FASES PARA A LOCALIZAO DO OBJETO. (A) IMAGEM DO POSICIONAMENTO DO OBJETO SOBRE
UMA GRADE. (B) HISTOGRAMA DA IMAGEM DO OBJETO. (C) IMAGEM BINARIZADA. (D) POSIES DO
OBJETO E MARCAS - PIXELS..................................................................................................................... 57 FIGURA 5.1 SISTEMAS DE COORDENADAS. (B) BASE DO MANIPULADOR, (G) GARRA E (C) CMERA............. 61 FIGURA 5.2 SISTEMAS DE COORDENADAS. (B) BASE DO MANIPULADOR, (OBJ) OBJETO E (C) CMERA. ....... 63 FIGURA 5.3 RELAO ENTRE OS JACOBIANOS MANIPULADOR, IMAGEM E COMPLETO.................................. 65 FIGURA 5.4 SISTEMAS DE CONTROLE POR POSIO (ALMEIDA, 2004). .......................................................... 68 FIGURA 5.5 SISTEMAS DE CONTROLE POR IMAGEM (ALMEIDA, 2004). .......................................................... 68 FIGURA 6.1 MODELOS DE OBJETOS UTILIZADOS. (A) MODELO 1. (B) MODELO 2. (C) MODELO 3.................. 72
-
xii
FIGURA 6.2 HISTOGRAMAS. (A) HISTOGRAMA MODELO 1. (B) HISTOGRAMA MODELO 2. (C) HISTOGRAMA
MODELO 3. ............................................................................................................................................. 73 FIGURA 6.3 IMAGEM BINARIZADA. (A) IMAGEM BINARIZADA DO MODELO 1. (B) IMAGEM BINARIZADA DO
MODELO 2. (C) IMAGEM BINARIZADA DO MODELO 3. .............................................................................. 74 FIGURA 6.4 APS A EXTRAO DOS VRTICES. (A) MODELO 1 VRTICES TAU () = 1,0527E+5. (B) MODELO
2 VRTICES TAU () = 1,0921E+5. (C) MODELO 3 VRTICES TAU () = 6.2502E+4. ........................ 75 FIGURA 6.5 IMAGEM DOS OBJETOS COM OS VRTICES NECESSRIOS GERAO DA GEOMETRIA DO MODELO.
(A) MODELO 1. (B) MODELO 2. (C) MODELO 3........................................................................................ 77 FIGURA 6.6 GEOMETRIA DOS OBJETOS. (A) MODELO 1. (B) MODELO 2. (C) MODELO 3. ............................... 79 FIGURA 6.7 (A) IMAGEM ORIGINAL DO OBJETO. (B) IMAGEM BINARIZADA APS A EXTRAO DOS VRTICES.
............................................................................................................................................................... 81 FIGURA 6.8 GEOMETRIA DO OBJETO E TABELA DOS VRTICES EXTRADOS. ................................................... 81 FIGURA 6.9 RESULTADO DAS COMPARAES IDENTIFICAO DO OBJETO ................................................. 83 FIGURA 6.10 (A) IMAGEM ORIGINAL DO OBJETO. (B) IMAGEM BINARIZADA APS A EXTRAO DOS VRTICES.
............................................................................................................................................................... 84 FIGURA 6.11 GEOMETRIA DO OBJETO E TABELA DOS VRTICES EXTRADOS. ................................................. 85 FIGURA 6.12 RESULTADO DAS COMPARAES IDENTIFICAO DO OBJETO. .............................................. 89 FIGURA 6.13 (A) IMAGEM ORIGINAL DO OBJETO. (B) IMAGEM BINARIZADA APS A EXTRAO DOS VRTICES.
............................................................................................................................................................... 90 FIGURA 6.14 GEOMETRIA DO OBJETO E TABELA DOS VRTICES EXTRADOS. ................................................. 90 FIGURA 6.15 RESULTADO DAS COMPARAES IDENTIFICAO DO OBJETO. .............................................. 94 FIGURA 6.16 (A) IMAGEM ORIGINAL DO OBJETO TRANSLADADA E ROTACIONADA. (B) IMAGEM BINARIZADA
APS A EXTRAO DOS VRTICES. .......................................................................................................... 95 FIGURA 6.17 GEOMETRIA DO OBJETO E TABELA DOS VRTICES EXTRADOS. ................................................. 95 FIGURA 6.18 RESULTADO DAS COMPARAES IDENTIFICAO DO OBJETO. .............................................. 98 FIGURA 6.19 IMAGEM ORIGINAL.................................................................................................................... 99 FIGURA 6.20 HISTOGRAMA DA IMAGEM ORIGINAL. ....................................................................................... 99 FIGURA 6.21 IMAGEM BINARIZADA E VRTICES EXTRADOS........................................................................ 100 FIGURA 6.22 IMAGEM DOS VRTICES SELECIONADOS DO OBJETO 1. ........................................................... 100 FIGURA 6.23 GEOMETRIA DO OBJETO 1....................................................................................................... 101 FIGURA 6.24 IMAGEM DOS VRTICES SELECIONADOS DO OBJETO 2. ........................................................... 101 FIGURA 6.25 GEOMETRIA DO OBJETO 2. ...................................................................................................... 102 FIGURA 6.26 IMAGEM DOS VRTICES SELECIONADOS DO OBJETO 3. ........................................................... 102 FIGURA 6.27 GEOMETRIA DO OBJETO 3. ...................................................................................................... 103 FIGURA 6.28 RESULTADO DA COMPARAO DO OBJETO 1 COM OS MODELOS 1, 2 E 3................................. 104 FIGURA 6.29 RESULTADO DA COMPARAO DO OBJETO 2 COM OS MODELOS 1, 2 E 3................................. 105 FIGURA 6.30 RESULTADO DA COMPARAO DO OBJETO 3 COM OS MODELOS 1, 2 E 3................................. 106
-
13
1. INTRODUO
Com as palavras: ... Tomemos ua mquina autnoma que tenha energia e um motor para
manifest-la e ainda sutis dispositivos para dosar e dirigir suas manifestaes, mas que no
tenha um rgo que permita seu comando exterior. Ela pode variar e mesmo matizar sua
ao, mas incapaz de agir sem que mensagens exteriores lhe digam quando e como. Em
outras palavras, ela no tem nenhum programa ... (Latil, 1959), pode-se observar que
Pierre de Latil, na dcada de 50 do sculo XX, definia como seriam as mquinas inteligentes
nos tempos mais modernos, e que dependeriam essencialmente de suas programaes e de
comportamentos pr-determinados.
O autor completa seu pensamento quando compara a esttua de Condillac com a tartaruga de
Grey Walter (uma das primeiras mquinas descrita com inteligncia artificial). ... Dotemo-
la, porm, de um sentido eletrnico, depois de um outro e, depois, de muitos... Que
acontecer, ento?... Se um clrigo do XVIII sculo pde, por extraordinrio golpe de
audcia intelectual, demonstrar que sua esttua seria capaz de ter idias desde que fsse
dotada de sentidos, um cientista do XX sculo poder bem demonstrar isso com um rob
eletrnico....
Nota-se que no final do pargrafo anterior aparecem as seguintes palavras: desde que,
denotando a condio necessria e suficiente para a conclusiva capaz de ter idias, do
silogismo, cuja premissa : dotada de sentidos, ou seja, o pensamento artificial dever ser
dotado de conhecimentos prvios, necessrios para tomadas de decises.
Atualmente, a comunidade de viso computacional consciente de que, em diversas
pesquisas desenvolvidas, necessita-se de processamento de tarefas bastante complexas para
interpretao de imagens, elevando assim o custo e reduzindo a velocidade computacional,
comprometendo a preciso e a flexibilidade dos sistemas.
Reconhecimento de objetos parte essencial de quase todos os sistemas de robtica de alto
nvel. Reconhecer um objeto significa identific-lo e localiz-lo. Ainda no h uma tcnica
geral que identifique e localize qualquer tipo de objeto, independente de suas propriedades
intrnsecas como cor, forma, medidas e outras.
-
14
Tcnicas para reconhecimento de objetos podem ser classificadas em duas classes gerais:
uma que se utiliza de bases de dados dos modelos de objetos (nessa classe, encontra-se a
representao geomtrica dos mesmos que depende da imagem e de como so armazenados
seus dados), e outra, que usa as aparncias de objetos, utilizando-se das suas caractersticas
globais e locais (Bandlow, 1998).
Trs tcnicas sero apresentadas para identificao de objetos: a) rvores de interpretao
baseiam-se na identificao de todas as partes de um objeto em uma imagem que combine
com um dado modelo, previamente armazenado; b) Invariantes indexam geometrias de
modelos previamente armazenados para identificar objetos em uma imagem; e c) mtodos
que se baseiam em aparncias utilizam aparencia ao invs das caractersticas do objeto na
imagem.
Em geral, a Geometria Projetiva fornece uma excelente ferramenta para identificao de
objetos, atravs do emprego de geometria invariante de pontos caractersticos dos mesmos.
Esses pontos caractersticos podem ser vrtices, linhas ou curvas.
Essa pesquisa tem como foco principal o reconhecimento (identificao e localizao) de
objetos em imagens, atravs de comparao desses objetos com modelos previamente
armazenados. Os objetos modelos tm suas caractersticas geomtricas conhecidas e esto
armazenadas em um banco de invariantes.
O problema da localizao de um objeto consiste em conhecer a posio e a orientao desse
objeto em uma determinada imagem. Para tanto, necessrio conhecer o modelo do sensor
(cmera) e o modelo geomtrico do objeto. Existem dois mtodos de localizao de objetos
em imagens que se baseiam em apenas uma imagem. O primeiro a localizao de objetos
no espao 3-D atravs do mtodo iterativo de Newton, que resolve um sistema de equaes
no lineares, sendo necessrio o conhecimento prvio de alguns pontos caractersticos dessa
imagem e os parmetros intrnsecos e extrnsecos da cmera. O segundo o mtodo de
modelo de cmera de perspectiva fraca que se utiliza do conhecimento prvio do objeto
identificado na imagem, no sendo necessrio conhecer os parmetros intrnsecos e
extrnsecos da cmera (Trucco et al, 1998). O segundo mtodo tambm foco deste
trabalho.
-
15
Neste trabalho, no captulo 2, sero apresentados os principais conceitos de tica e
processamento de imagens. A extrao de caractersticas da imagem (vrtices) o foco
principal desse capitulo. No captulo 3, sero apresentados os modelos mais conhecidos para
o reconhecimento de objetos identificao, e tambm descrever os procedimentos
necessrios identificao de objetos por invariantes, abrangendo as fases off-line (gerao
do banco de invariantes dos modelos) e on-line (identificao de objetos por comparao). O
captulo 4 destinado s tcnicas de localizao de objetos por dois modelos: cmera
perspectiva completa e cmera perspectiva fraca. No captulo 5 ser apresentado o controle
de um manipulador face a um sistema de viso. Nesse captulo, dois subsistemas
caracterizam o sistema de controle do espao de trabalho: subsistema de controle do
manipulador e subsistema de viso. O captulo 6 apresenta os resultados de experimentos
sobre reconhecimento de objetos. No captulo 7 as concluses e sugestes de trabalhos
futuros.
Espera-se neste trabalho, mostrar a aplicao de sistemas de viso computacional, no sentido
de reconhecimento de objetos, com a finalidade da pega e classificao desses objetos, por
um manipulador industrial.
-
16
2. NOES DE TICA E PROCESSAMENTO DE IMAGENS
Os elementos bsicos de um sistema de viso computacional so: a) aquisio; b)
armazenamento; c) processamento; d) comunicao; e e) exibio de imagens. O
processamento de imagens o elemento em que a maioria de suas funes pode ser
desenvolvida em software, ou seja, envolvem procedimentos que so expressos em forma de
algoritmos. Essas funes consistem em avaliar as propriedades da imagem e suas
transformaes.
Com o processamento de imagens pode-se: a) melhorar a qualidade de apresentao dessas
imagens; b) compactar imagens para melhorar a transmisso; c) restaurar imagens para
eliminar efeitos de degradao; e d) extrair caractersticas (contorno, vrtices e outras) dessas
imagens, com diversas finalidades, por exemplo, o reconhecimento de objetos.
As rotinas utilizadas no processamento de imagens deste trabalho foram desenvolvidas em
MATLAB (Verso 6.0), um software matemtico cujo ncleo est no processamento de
matrizes e vetores. Alm de operaes algbricas comuns com matrizes, o MATLAB fornece
operaes com vetores que permitem a manipulao rpida de um conjunto de dados, de
muitas maneiras diferentes. Enfim, a combinao existente entre a estrutura de dados
vetoriais, os recursos de programao e uma interface grfica que permite a utilizao em
desenvolvimento de aplicativos, torna o MATLAB uma ferramenta poderosa para a
resoluo de problemas em diversas reas, principalmente em viso computacional,
considerando que uma imagem um vetor bidimensional (matriz).
Utilizando-se da ferramenta MATLAB, possvel visualizar, atravs da Figura 2.1, como
uma imagem pode ser apresentada. A Tabela 2.1 apresenta a matriz 8x8 de uma imagem
sinttica, a Figura 2.1a apresenta esta mesma matriz na forma de superfcie e a Figura 2.1b
mostra a imagem sinttica, representada como intensidade de brilho.
-
17
Tabela 2.1 - Matriz 8x8 de uma imagem sinttica.
1 2 3 4 1 1 2 1
2 2 3 2 1 2 2 1
3 1 38 39 37 36 3 1
4 1 45 44 41 42 2 1
1 2 43 44 41 42 2 1
2 1 39 41 42 40 2 1
1 2 1 2 2 3 1 1
1 2 1 3 1 1 4 2
(a) (b)
Figura 2.1 (a) Imagem em forma de superfcie. (b) Imagem sinttica.
2.1 IMAGENS DIGITAIS NOES DE TICA
O principal componente de viso computacional a imagem digital. Pode-se afirmar que
existem dois tipos bsicos de imagens digitais: a) imagem de intensidade avalia-se a
quantidade de luz capturada pelo dispositivo da cmera; e b) image de profundidade
estima-se diretamente a estrutura 3-D da cena (mundo real). As imagens digitais, tanto de
intensidade quanto de profundidade, so matrizes 2-D.
2.1.1 Imagens de Intensidade
Uma fotografia uma imagem de intensidade. Uma imagem de intensidade contm
parmetros fsicos que esto diretamente relacionados com a imagem vista. So parmetros
fsicos as caractersticas ticas das lentes, a fotometria e a geometria da imagem projetada. A
-
18
distncia focal, o campo de viso e a abertura angular so as principais caractersticas ticas
das lentes. Os parmetros fotomtricos esto relacionados intensidade e direo da
luminosidade; em outras palavras, referem-se s propriedades de reflexo da superfcie vista
em relao quantidade de luz que atinge o fotorreceptor. Tipo de projeo, posio da
cmera e distores introduzidas no processamento da imagem so alguns parmetros
geomtricos que interferem na posio da imagem no qual um ponto 3-D da cena
projetado.
2.1.2 tica Bsica
A formao de uma imagem depende da quantidade de raios de luz que penetram a cmera
pela abertura angular e chega ao plano de projeo da imagem. Um aparelho fotossensvel na
cmera registra essa intensidade de luz.
Foco da imagem
Um ponto de uma superfcie recebe raios de luz de vrias direes e consequentemente
reflete esses raios, tambm em vrias direes, e alguns desses raios podem entrar na
cmera. Uma imagem mais ntida quando esses raios convergem para um ponto no plano
de projeo da imagem na cmera.
Pode-se conseguir maior nitidez em uma imagem reduzindo o tamanho do diafragma da
cmera para um ponto, chamado de pinhole, ou introduzindo um sistema tico composto de
lentes e diafragmas que convirgam seus raios luminosos para um nico ponto.
O tempo de exposio tambm um fator importante na qualidade da imagem. Esse tempo
inversamente proporcional ao quadrado do dimetro do diafragma. Assim, quanto menor o
dimetro do diafragma maior o tempo necessrio para a exposio. Por outro lado, necessita-
se de um mnimo de luz para registrar uma imagem visvel, ento uma reduo do diafragma
nem sempre a alternativa mais eficaz para se obter melhor nitidez da imagem. Um sistema
tico permite uma abertura do diafragma maior num tempo menor de exposio, melhorando
a capacidade de captar luminosidade.
-
19
Equao fundamental das lentes finas
A Figura 2.2 mostra os principais elementos na construo das lentes finas. Onde FL e FR
so chamados de foco esquerdo e direito respectivamente, e esto situados no eixo focal.
Quando a lente tem curvaturas iguais nas duas superfcies, os focos tm distncias iguais e,
neste caso, chamado de comprimento focal f.
Figura 2.2 Geometria tica das lentes finas.
Duas propriedades bsicas das lentes finas definem uma equao fundamental. A primeira,
por construo das lentes, permite que qualquer raio de luz que entra na lente e paralelo ao
eixo tico de um lado, passe pelo ponto focal do outro lado. A segunda, tambm por sua
construo, permite que qualquer raio que entra na lente, passando pelo ponto focal de um
lado, emerge paralelo ao eixo tico do outro lado, como mostra a Figura 2.3.
Lente Fina
Eixo ptico FL FR
O
f f
-
20
Figura 2.3 Formao de imagens atravs das lentes finas.
Sejam os triangulos RRLL FOQFspFORFSP e,, . Pela teoria dos tringulos semelhantes
pode-se demonstrar uma forma da equao fundamental das lentes, equao (2.1).
2. fzZ = (2.1)
Substituindo fzzefZZ +=+= , obtm-se a equao fundamental das lentes, equao (2.2).
fzZ1
1
1 =+ (2.2)
2.1.3 Radiometria Bsica
Radiometria : designao comum s tcnicas de medidas de grandezas associadas
energia radiante ( Novo Dicionrio Aurlio 15 Edio), em outras palavras, o estudo das
Q
FL FR
O
f f
P
S
z Z
R
s
p
-
21
relaes entre as quantidades de energia luminosa emitida de fontes de luz, refletida de
superfcies e registrada por sensores.
Irradiana da imagem Energia luminosa incidente, por unidade de rea, e em cada
ponto p do plano da imagem, medida em watt.
Radiana de imagem Energia luminosa, por unidade de rea, idealmente emitida por
cada ponto P de uma superfcie no espao 3-D em uma dada direo d ao ponto p,
medida em lumens.
Superfcie lambertiana Uma superfcie dita lambertiana se seus pontos refletem
igualmente a luz incidente em todas as direes, ou seja, no absorve energia luminosa.
2.1.4 Formao Geomtrica da Imagem
Pare entender a formao geomtrica de imagens necessrio conhecer o que significa uma
transformao de perspectiva, tambm chamada de transformao de imagem. Essa
transformao projeta pontos no espao 3-D sobre um plano, e mostra uma aproximao de
como uma imagem formada ao se olhar para um mundo tridimensional.
Cmera Perspectiva
O mais comum modelo geomtrico para cmeras de intensidade a perspectiva, tambm
chamado de modelo pinhole. Esse modelo consiste de um plano (plano da imagem), e um ponto O em espao 3-D (centro ou projeo do foco). A distncia entre e O chamado de comprimento focal f. A linha que passa por O e perpendicular a chamado de eixo tico. O ponto o onde o eixo tico intercepta o plano da imagem o centro de projeo da imagem,
como mostra a Figura 2.4. O ponto p a imagem do ponto P determinado pela interseco
do segmento de linhaOP com o plano da imagem .
Considere o sistema de referncia de coordenadas 3-D no qual O a origem e o plano ortogonal ao eixo Z, e sendo P = [X, Y, Z]T e p = [x, y, z]T, possivel escrever as equaes
(2.3) da projeo perspectiva para as coordenadas da cmera.
-
22
ZYye
ZXx ff == (2.3)
Note que se z = f , ento o ponto p pode ser escrito por [x,y]T ao invz de [x,y,z]T.
Figura 2.4 Modelo cmera perspectiva.
Cmera Perspectiva Fraca
As Equaes 2.3 no so lineares devido ao fator 1/Z. Transform-las em equaes lineares
o que se chama de modelo cmera perspectiva fraca. Para tanto, suponha que se a distncia
relativa ao longo do eixo tico (z), de quaisquer dois pontos do objeto no espao 3-D (profundidade) seja muito menor que a distncia media Z desses pontos ao plano 2-D da
imagem (na cmera), ento possvel reescrev-las para obter as equaes (2.4) lineares.
YZ
yeXZ
x ff == (2.4)
Se a variao de z < Z /20 (Trucco et al, 1998), pode-se considerar uma aproximao linear das Equaes 2.3, tambm chamada de projeo ortogrfica. Neste caso, significa que
quaisquer pontos so projetados ao longo de raios paralelos ao eixo tico, tomando 1Z
f .
YX
Z
Plano da Imagem
Eixo tico
Sistema da cmera
p o
f
O P
-
23
2.2 PARMETROS DE CMERAS
Para conhecer a posio de objetos no espao, necessita-se de equaes que relacionem as
coordenadas dos pontos no sistema 3-D com as coordenadas dos pontos correspondentes na
imagem da cmera. As Equaes 2.3 definem bem essa situao e assumem que:
Pode-se relacionar o sistema de referncia da cmera com algum outro sistema conhecido, por exemplo, sistema de coordenadas externa.
As coordenadas dos pontos da imagem no sistema de referncia da cmera podem ser obtidas atravs das coordenadas em pixels.
Algumas caractersticas das cmeras so chamadas em viso computacional como
parmetros extrnsecos e intrnsecos.
Parmetros extrnsecos So parmetros que definem a localizao e orientao do sistema
de referncia da cmera em relao a um sistema de referncia conhecido.
Parmetros intrnsecos So parmetros que relacionam as coordenadas em pixels de uma
imagem com as coordenadas correspondentes no sistema de referncia da cmera.
2.2.1 Parmetros Extrnsecos
O sistema de referncia da cmera tem sido mencionado com o objetivo de escrever as
equaes fundamentais da projeo perspectiva, equaes (2.3), numa forma mais simples.
Normalmente o sistema de referncia da cmera desconhecido, ento o problema
conhecer a localizao e a orientao do sistema da cmera em relao a um sistema
conhecido, utilizando-se apenas dados da imagem.
Trucco et al (1989), define parmetros extrnsecos como sendo qualquer conjunto de
parmetros geomtricos que identifiquem univocamente as transformaes entre o sistema
de referncia da cmera desconhecido e um sistema conhecido, chamado de sistema de
coordenadas externo.
-
24
Para essas transformaes utilizam-se normalmente um vetor de translao, T, e uma matriz
de rotao, R. O vetor 3-D de translao descreve a posio relativa das origens dos dois
sistemas. A matriz de rotao uma matriz 3x3 ortogonal, ou seja, RT.R = R.RT = I, que
permite o alinhamento entre os eixos dos dois sistemas. A Figura 2.5 mostra a relao entre
as coordenadas de um ponto no sistema 3-D qualquer (PW = [25 35 19]T), e as coordenadas
desse ponto no sistema de referncia da cmera (PC = [15 -17 26]T), tambm determinado
pela equao (2.5).
)( WC T - P R.P = (2.5)
, onde
=
333231
232221
131211
rrrrrrrrr
R , o produto de trs matrizes de rotao ao longo dos eixos X,Y e Z.
Essas matrizes de rotao so definidas como:
=
=
cos0sin010sin0cos
)(,cossin0sincos0001
)( yx RR
=
1000cossin0sincos
)(e z
R
No exemplo apresentado na Figura 2.5, a rotao se d no eixo Y em 180, gerando a matriz
de rotao e o vetor de translao igual a [ ]455240e100010001
=
= TR ,
respectivamente.
-
25
Figura 2.5 Exemplo de transformao entre dois sistemas Mundo (Pw) e Cmera (Pc).
2.2.2 Parmetros Intrnsecos
So os parmetros que definem as caractersticas ticas, geomtricas e digitais da cmera.
Para o modelo pinhole, os parmetros intrnsecos so:
A projeo perspectiva da qual o nico parmetro a distncia focal f; A transformao entre os sistemas da cmera e o sistema da imagem (pixel); e As distores geomtricas introduzidas pelo sistema tico.
Para encontrar o conjunto de parmetros intrnsecos, devem-se relacionar as coordenadas
(Xim , Yim ) de um ponto da imagem em unidade de pixel com as coordenadas (X , Y) do
mesmo ponto no sistema de referncia da cmera, equao (2.6), considerando que a imagem
no tenha distoro geomtrica, e que o sensor CCD seja um grid retangular de elementos
fotossensveis.
( ) ( ) YYimXXim S.OYYeS.OXX == (2.6)
35
25
Y
Z
X
y
z
x
20
40
45
52
Pw = [ 25 35 19 ]T
-
26
, onde ( )YX O,O so as coordenadas do centro da imagem em pixel e ( )YX S,S o tamanho dos pixels.
So parmetros intrnsecos a distncia focal f, as coordenadas do centro da imagem em pixel
e o tamanho efetivo dos pixels nas direes horizontais e verticais. O coeficiente de distoro
radial, tambm um parmetro intrnseco.
Resumindo, a equao (2.6) a equao matricial da projeo perspectiva e pode ser
reescrita na forma da equao (2.7).
=
=
=
TRTRTR
ff
T3
T2
T1
.rrr
.rrr
.rrr
Me100OS/0O0S/
Monde
1ZYX
.M.Mxxx
333231
232221
131211
extyy
xx
intw
w
w
extint
3
2
1
(2.7)
, onde Ri (i = 1, 2, 3) o vetor 3-D formado pela i-sima linha da matriz R.
2.3 FILTRAGEM DE RUDOS
Rudo qualquer detalhe na imagem, dado ou resultado intermedirio, que no seja
interessante aos propsitos do clculo principal. Imagine duas imagens de uma mesma cena,
adquiridas por uma mesma cmera e com a mesma intensidade de luz, em que os valores de
pixels no sejam iguais. Esses valores diferentes podem introduzir erros nos resultados de
clculos. Neste caso muito importante dimensionar a magnitude desse erro, tambm
chamado de rudo.
Em algoritmos de processamento de imagens, como por exemplo, na deteco de linhas ou
contornos, considera-se rudo a flutuao de pixel esprios, normalmente introduzidos pelo
sistema de aquisio de imagem. possvel reduzir a magnitude do rudo, atravs de tcnicas
chamadas de filtragem, sem alterar significativamente a qualidade da imagem.
-
27
2.3.1 Filtro Linear
Filtragem linear uma tcnica que tem como finalidade atenuar ou eliminar o rudo de uma
imagem, e consiste, no domnio da freqncia, em efetuar uma convoluo entre os valores
dos pixels da imagem e uma matriz (A) chamada de mscara, conforme mostra a equao
(2.8), onde uma imagem I de dimenses NxM, tem sua verso filtrada IA atravs do uso da
convoluo discreta com a mscara A de dimenses m x m, sendo m um valor muito menor
que N e M (Cai, 1990).
( ) ( ) ( )==
== 2m
2m
k
2m
2m
h
kj,hiIk,hAA*Ij,iAI (2.8)
.divisodaeirointvaloro2meconvoluoindica*
Filtros lineares baseiam-se em que a funo de transferncia e o impulso so Transformadas
de Fourier inversas uma da outra. Os denominados filtros passa-baixas atenuam ou eliminam
os componentes de alta freqncia no domnio de Fourier enquanto deixam as baixas
freqncias inalteradas. Os componentes de alta freqncia caracterizam bordas ou outros
detalhes finos de uma imagem, de forma que o efeito resultante da filtragem passa-baixas o
borramento da imagem. Do mesmo modo, filtros passa-altas atenuam ou eliminam os
componentes de baixa freqncia, e como esses componentes so responsveis pelas
caractersticas que variam lentamente em uma imagem (contraste total e a intensidade
mdia), o resultado dessa filtragem a reduo destas caractersticas, ou seja, um afinamento
das bordas e outros detalhes finos. Por ltimo, os filtros passa-banda, cuja caracterstica
remover regies selecionadas entre freqncias altas e baixas, so mais utilizados em
restaurao de imagens, tendo pouca aplicao na eliminao ou atenuao de rudos para
realce das imagens (Gonzalez et al, 2000).
Atenuao pela mdia
Nos filtros passa-baixas todos os coeficientes de suas mscaras devem ser positivos. Uma
mscara para essa filtragem teria seus componentes iguais a 1 (um). Como a convoluo
resulta em valores diferentes do previsto em escala de cinza (0 a 255), faz-se necessrio que
se obtenha um valor mdio, e neste caso necessrio dividir o resultado pela quantidade de
elementos da mscara. Essas mscaras podem ser:
-
28
=
111111111
91
1mediaA ou
=
1111111111111111111111111
251
2mediaA
A Figura 2.6a apresenta uma imagem em sua forma original. A Figura 2.6b apresenta a
mesma imagem aps filtragem com uma mscara Amedia 1. A Figura 2.6c apresenta a mesma
imagem aps filtragem com mscara Amedia 2.
(a)
(b)
(c)
Figura 2.6 (a) Imagem original, (b) Imagem Atenuada com mscara Amedia1, (c) Imagem atenuada com
mscara Amedia2.
-
29
Atenuao gaussiana
Atenuao gaussiana um caso particular da atenuao pela mdia, onde a mscara um 2-
D gaussiano. Neste caso a convoluo da imagem com a mscara gaussiana 2-D igual
convoluo de todas as linhas da imagem com a mscara gaussiana 1-D somada
convoluo de todas as colunas da imagem com a mscara 1-D, desde que ambas tenham o
mesmo desvio padro. A equao (2.9) mostra a separabilidade das mscaras gaussianas.
( ) ( ) ( )
( )
( )
=
=
=
+
=
==
==
===
===
2m
2mk
2k2
m
2mh
2h
2m
2mk
2kh2
m
2mh
2m
2mk
2m
2mh
G
kj,hiIee
kj,hiIe
kj,hiIk,hGG*Ij,iI
2
2
2
2
2
22
(2.9)
Para a construo da mscara gaussiana deve-se conhecer o desvio padro para obter o tamanho da mscara. Segundo Trucco et al (1998), a relao usada em geral w=w/5, onde w define a largura da mscara. Para a amostragem ser gaussiana, no intervalo de [- , ], w deve ser um valor maior ou igual a 0.8, logo a menor largura da mascara deve ser 5.
A Figura 2.7a apresenta a imagem em sua forma original. A Figura 2.7b mostra a mesma
imagem com atenuao gaussiana, com desvio padro = 1,5.
-
30
(a)
(b)
Figura 2.7 (a) Imagem original. (b) Imagem com atenuao gaussiana = 1.5.
2.4 CARACTERSTICAS DAS IMAGENS
As caractersticas mais importantes para anlise de imagem de peas industriais so as
fronteiras e as medidas geomtricas derivadas dessas fronteiras. Essas caractersticas so
agrupadas em trs tipos: Global, Local e Caracterstica relacional (Chin et al, 1986). So
exemplos de caractersticas globais, o permetro, o centro de massa, distncias entre dois
pontos da fronteira e o centro de massa, curvatura, rea e momento de inrcia. exemplo de
caractersticas locais o segmento de linha, segmento de arco com curvatura constante e
vrtices que definem fronteiras dos objetos. Exemplos de caractersticas relacionais so as
medidas de distncia e a sua orientao relativa que interligam subestruturas e regio de um
objeto.
Antes de iniciar o processo de extrao de caractersticas deve-se obter uma imagem
binarizada de uma imagem original em escala de cinza, e para isso necessrio escolher um
limiar apropriado, ou um sensor que produza imagem binarizada. Uma imagem binarizada
reduz a complexidade dos dados que sero trabalhados.
Vrios algoritmos utilizados na extrao de caractersticas em imagens binarisadas so para
obteno de contornos ou fronteiras. O problema que esses algoritmos detectam fronteiras
de objetos planos e so normalmente falhos na obteno de fronteiras em superfcies. Apesar
-
31
dos sistemas serem bastante sofisticados na extrao de caractersticas, seus mtodos so
aplicados em modelos 2-D.
So caractersticas de imagens os contornos, vrtices, linhas, cnicas e outros. Neste trabalho
ser dada nfase aos vrtices.
2.4.1 Contorno
Vrias interpretaes de imagens so baseadas em contornos, ou melhor, onde a imagem
possui contraste. O contraste para viso humana significa a capacidade de perceber o
permetro de um objeto, desde que esse objeto tenha diferentes intensidades de luz sua
volta. Essencialmente, a fronteira de um objeto uma mudana de valor nos nveis da
imagem de intensidade. Um contorno detectado pela derivada de primeira ordem,
localizando assim regies onde ocorre uma diferena de intensidade ou um mximo local.
Em viso computacional, a deteco de uma fronteira um processo de trs passos:
Atenuar rudos Suprimir o mximo de rudos sem comprometimento do contorno;
Realar contorno Projetar um filtro que tenha maior sada nos pontos do contorno que em
outras regies. Assim o contorno o mximo local; e
Localizar o contorno Estabelecer, por um limiar, quais os mximos que significam
contorno. Os contornos devem estar bem afilados.
Canny Edge Detector
O operador Canny Edge Detector uma tcnica para deteco de fronteira em viso
computacional. Seus principais objetivos so:
Deteco tima Imagem de intensidade sem dados esprios ou rudos;
Boa localizao Detectar arestas o mais prximo possvel da fronteira real; e
Resposta nica O operador retorna apenas um ponto para cada ponto do contorno
verdadeiro.
-
32
Canny [1986], mostra em seu trabalho os passos e o desenvolvimento completo do algoritmo
do operador canny edge detector para a extrao de contornos.
A Figura 2.8a apresenta a figura original. A Figura 2.8b apresenta o contorno da imagem
utilizando-se do algoritmo de Canny Edge Detector.
(a)
(b)
Figura 2.8 (a) Imagem original. (b) Contorno extrado por Canny Edge detector.
Outros Operadores Robert e Sobel
Ambos os operadores Robert e Sobel so mais simples de executar que o operador canny
edge detector, pois suas formulaes matemticas so menos complexas. Em ambos os casos
seus algoritmos seguem 4 passos bem definidos, alterando apenas a mscara aplicada na
filtragem:
1- Aplicar um filtro adequado para atenuar o rudo;
2- Filtrar a imagem sem rudos com as mscaras AR1 e AR2 (Robert) ou AS1 e AS2
(Sobel), obtendo duas imagens I1 e I2, respectivamente;
=
=1111
1111
R2R1 AA e
=
=
101202101
121000121
S2S1 AA
3- Calcular a magnitude do gradiente, equao (2.10), para cada pixel (i,j);
-
33
( ) ( ) ( )j,iIj,iI 2221 +=ji,G (2.10) 4- Selecionar como contorno todos os pixels com valor de gradiente maior que um
limiar ().
A Figura 2.9a apresenta a imagem original. A Figura 2.9b apresenta o contorno da imagem
utilizando o operador Robert com limiar = 34.88. A Figura 2.9c apresenta o contorno da imagem utilizando o operador Sobel com limiar = 78.4.
(a)
(b)
(c)
Figura 2.9 (a) Imagem original. (b) Extrao de contorno por Robert = 34.88. (c) Extrao de
contorno por Sobel = 78.4.
-
34
2.4.2 Vrtices
Vrtice definido por Deriche (1993) como sendo pontos pertencentes ao contorno da
imagem onde ocorre um mximo local de curvatura, ou a interseo de 2 ou mais arestas do
contorno.
Existem vrias tcnicas para extrao de vrtices. Vicente et al. (2002) classificam em dois
grupos: o primeiro consiste na operao sobre a imagem do objeto com a extrao prvia do
contorno; e o segundo grupo consiste em operao diretamente nos valores dos pixels em
escala de cinza. As tcnicas mais clssicas so de Beaudt, Kitchen, Noble e Trucco.
Tcnica de extrao de vrtices por Beaudet
Em Beaudet (1978), foi proposto o operador invariante rotacional, chamado DET, equao
(2.11). Este operador obtido usando a segunda ordem da expanso de Taylor na imagem de
intensidade I (i, j).
2xyyyxx II.IDET += (2.11)
Os vrtices so detectados tomando um valor limite entre os valores extremos desse
operador. DET estimado como o determinante da matriz Henssiana H, que esta relacionado
com o produto das curvaturas principais kmin.kmax , equao (2.12), chamada de curvatura
gaussiana:
2y
2x
maxminyyyx
xyxx
II1DETk.ke
II
II H ++=
= (2.12)
Ento, para o pixel I(i,j) se kmin.kmax = 0, o pixel parablico; se kmin.kmax > 0, o pixel
elptico; e se kmin.kmax < 0, o pixel hiperblico. Como o denominador da equao (2.12)
sempre positivo, o sinal da curvatura gaussiana tem o mesmo sinal de DET. Localizam-se os
vrtices onde DET tem valor positivo ou negativo em ambos os lados do contorno.
-
35
Tcnica de extrao de vrtices por Kitchen
Em Kitchen (1982), foi proposto que para se determinarem os vrtices, basta localizar onde
ocorre a mudana de direo do gradiente ao longo do contorno, multiplicando esse ponto
pela magnitude do gradiente local. Os vrtices so identificados pelos valores mximos de K,
equao (2.13).
2y
2x
yxxy2xyy
2yxx
II
I.I.I.2I.II.IK +
+= (2.13)
Tcnica de extrao de vrtices por Noble
Noble (1982) utiliza-se da teoria de geometria diferencial para determinao de vrtices.
Tcnica de extrao de vrtices por Trucco
Em Trucco et al, (1998), faz-se uso da tcnica do gradiente espacial da imagem [ ]Tyx EE , . A extrao de vrtices feita utilizando-se do menor autovalor de uma matriz C, equao
(2.14), que considera um ponto genrico p na imagem e calculado na sua vizinhana Q
2N+1 x 2N+1 pxeis (por exemplo, 5x5), definida por Trucco et al, (1998):
yE
ExE
EEEE
EEEyx
2yyx
yx2x
eonde,C
==
= (2.14)
Pode-se adotar um valor de limiar , determinado como uma porcentagem dos maiores valores dentre os menores autovalores de C. Isso garante que em duas direes de um ponto
tm-se valores de gradiente suficientemente altos para caracterizar um vrtice.
A Figura 2.10a apresenta a imagem original. A Figura 2.10b apresenta a imagem binarizada
com limiar igual a 170. A Figura 2.10c apresenta os vrtices da imagem binarizada,
utilizando a tcnica apresentada por Trucco.
-
36
(a)
(b)
(c)
Figura 2.10 (a) Imagem original. (b) Imagem binarizada com limiar = 170. (c) Vrtices de imagem
binarizada.
2.4.3 Centro de Massa
Uma boa caracterstica de imagens aquela que pode ser localizada sem ambigidades em
diferentes vistas da mesma cena.
Considerando imagens binrias, a funo caracterstica f(i,j) assume valores 1 (um) para
pontos do objeto ou 0 (zero) para os demais (background).
Assim, a rea de um objeto pode ser obtida em sua forma discreta pela equao (2.15):
-
37
=I
)j,i(fA (2.15)
O centro de rea o centro geomtrico da figura com a mesma forma e com massa constante
por unidade de rea. O centro de massa o ponto onde toda a massa do objeto pode ser
concentrada, sem que com isso se altere o momento da primeira ordem relativamente a
qualquer um dos eixos.
Numa imagem de intensidade 2-D, o momento de primeira ordem em torno de i e j dado
pela equao (2.16).
=
=
II
II
)j,i(f.j)j,i(f.j
)j,i(f.i)j,i(f.i (2.16)
, onde ( )j,i a posio do centro de rea. As equaes 2.16 podem ser reescritas na forma das equaes (2.17).
A
)j,i(f.jj
A
)j,i(f.ii
I
I
=
= (2.17)
A Figura 2.10 apresenta a imagem de um objeto e seu centro de massa em duas posies
diferentes. A Figura 2.101a apresenta a imagem e seu centro de massa. A Figura 2.10b
apresenta a mesma imagem anterior, porm com uma rotao de 180, e seu centro de massa.
-
38
(a)
(b)
Figura 2.11 (a) Imagem binarizada com Centro de Massa. (b) Imagem Binarizada Rotacionada com Centro de
Massa.
2.4.4 Segmentao de Imagem
O processo de segmentao de imagens consiste em separar a imagem nos seus diversos
componentes, e assim separar os diversos objetos que nela existem. Esta separao consiste
em agrupar todos os pixels que pertencem a um dado objeto ou regio, atravs de um critrio
de semelhana, por exemplo, sua intensidade.
A Figura 2.10 apresenta uma imagem contendo vrios objetos. A Figura 2.10a apresenta a
imagem original. A Figura 2.10b apresenta a imagem original binarizada. A Figura 2.10c
apresenta a imagem original sem o primeiro objeto. A Figura 2.10d apresenta a imagem
original sem o primeiro e o segundo objetos.
-
39
(a)
(b)
(c)
(d)
Figura 2.12 (a) Imagem original (b) Imagem Binarizada. (c) Imagem Segmentada sem o primeiro objeto. (d)
Imagem segmentada sem dois objetos.
-
40
3. RECONHECIMENTO DE OBJETOS IDENTIFICAO
Reconhecimento de objetos significa que seus descritores ou simplesmente modelos estejam
disponveis, ou melhor, reconhecer objetos significa que se conhece previamente sua
geometria. No h como reconhecer aquilo que desconhecido, ou seja, que no tenha sido
previamente armazenado em um banco de dados. Em viso computacional esta classe de
reconhecimento chama-se reconhecimento baseado em modelos, onde a idia central est na
comparao entre uma imagem plana 2-D e uma base de dados armazenada de modelos.
Reconhecimento de objetos envolve duas operaes bsicas: Identificao e Localizao.
Este captulo destinado s tcnicas de Identificao de objetos. Identificao determina a
natureza e localizao determina a posio 3-D do objeto na imagem. As tcnicas mais
clssicas para identificao de objetos utilizando-se de modelos so: rvore de
interpretao, Identificao baseado em aparncias e Invariantes (Trucco et al, 1998).
rvores de interpretao
Essa tcnica engloba a classe de algortmos que se baseiam na identificao de
caractersticas. So algortmos que identificam partes de um objeto em uma imagem, ou seja,
identifica todos os subconjuntos da imagem que tenham forma de um modelo conhecido.
Enfim, rvore de interpretao consiste em identificar as formas de um objeto o mais
consistente possvel, sem ser necessrio efetuar todas as combinaes entre astas formas,
pois isso seria impraticvel no mbito computacional.
Identificao baseado em aparncias
Essa tcnica engloba a classe de algoritmos que para identificar objetos, utilizam-se de
imagens desses objetos e no de suas caractersticas. So algoritmos que identificam se em
partes de uma imagem encontram-se partes de um determinado objeto. A idia central dessa
tcnica consiste em simplesmente identificar um objeto por sua aparncia. Para tanto deve
armazenar um conjunto de imagens, em diversos ngulos, que representem as aparncias do
objeto modelo. Assim um objeto de uma determinada imagem poder ser identificado por
comparao.
-
41
Invariantes
Essa tcnica visa uma classe de algoritmos que identifica objetos, utilizando-se de
caractersticas geomtricas invariantes de modelos previamente armazenados em um banco
de dados. So algoritmos que identificam objetos ou partes deles, em uma imagem. A idia
central dessa classe de algoritmos consiste em armazenar as caractersticas geomtricas
invariantes dos objetos, para sua posterior identificao em uma determinada imagem.
O foco deste trabalho est na classe de algoritmos de identificao de objetos por invariantes,
e os pontos caractersticos utilizados na construo da geometria dos objetos sero seus
vrtices.
3.1 Projetiva Invariante para Gerao de Modelos
Invariantes so propriedades funcionais de configuraes geomtricas que no se alteram sob
certas classes de transformaes, por exemplo, o comprimento de um segmento de linha no
varia em funo de uma rotao ou translao. Nas transformaes usuais, existem
invariantes bem conhecidas como comprimentos e reas transformaes Euclidianas,
(Vicente et al, 2002) ou razo de comprimentos e ngulos transformaes por
similaridades (Hartley et al, 2000). Em transformaes projetivas ocorrem tambm
invariantes, onde a mais conhecida a razo das razes de comprimentos (cross-ratio).
Uma grande vantagem na utilizao de invariantes est na facilidade de aquisio de
modelos para gerao da base de dados, bastando para isso adquirir uma nica imagem do
objeto real e gerar um vetor de invariantes que ser armazenado como ndice do objeto.
Assumindo que todos os objetos so planares, afirma-se que a transformao de imagens
uma transformao entre planos. Assim, pode-se considerar diretamente o mapeamento entre
pontos correspondentes do plano do objeto e o plano da imagem. O mapeamento
construdo por uma transformao projetiva, da o nome: projetiva invariante.
Seja p = [x,y,1]T as coordenadas homogneas de um ponto na imagem e P = [X,Y,1]T as
coordenadas homogneas dos pontos correspondentes no plano real. A transformao
projetiva que mapeia P em p pode ser escrita pela equao (3.1).
-
42
k.p=T.P (3.1)
, onde T (matriz projetiva 3x3) e k so definidos como um fator de escala.
Nessa seo sero apresentadas invariantes projetivas construdas em funo de pontos
caractersticos da imagem (vrtices). Essas invariantes so calculadas utilizando 5 vrtices da
imagem (pi i= 1,2,3,4,5) em coordenadas homogneas (no colineares). Vrios trabalhos
(Trucco et al., 1998; Song et al., 2000 e Vicente et al., 2002) mostram duas projetivas
invariantes independentes I1 e I2 definidas pelas equaes (3.2):
SSSSISS
SSI521432
5324212
531421
5214311 .
... == (3.2)
, ondeSijk o determinante da matrix 3x3 composta pelos pontos | pi pj pk | .
3.2 Configurao Geomtrica do modelo
Para a construo dos modelos de objetos aplica-se o algoritmo para determinao de
vrtices, descrito no item 2.4.2 (Tcnica de extrao de vrtices por Trucco), sobre a imagem
do objeto, e seleciona-se um conjunto desses vrtices cujo determinante associado seja
diferente de zero, o que evita valores de I1 e I2 indesejveis (zero ou indefinido). Para tanto,
deve-se evitar que 3 de cada grupo de 5 pontos sejam colineares. O conjunto selecionado
deve ter a forma geomtrica do objeto modelo.
Por exemplo, dois modelos de objetos so apresentados nas Figura 3.1 e Figura 3.2. A
escolha se deu pela complexidade geomtrica da pea, mais prximos de objetos industriais
comuns.
-
43
(a) (b)
Figura 3.1 (a) Imagem do modelo 1 - Apresentao da imagem do objeto modelo 1 com os vrtices;
(b) Geometria do modelo 1.
(a)
(b)
Figura 3.2 (a) Imagem do modelo 2. (a) - Apresentao da imagem do objeto modelo 2 com os vrtices;
(b) Geometria do modelo 2.
A seqncia dos pontos extrados do conjunto de vrtices, obtidos na imagem original, deve
seguir uma ordenao de maneira que forme um polgono fechado e numa seqncia de
pontos no sentido horrio (Song, 2000), conforme esquema mostrado na Figura 3.3. Na
Figura 3.1b e Figura 3.2b os vrtices esto ordenados no sentido horrio.
O objetivo de se obter uma seqncia de pontos (vrtices) no sentido horrio reduzir o
nmero de combinaes possveis para a identificao do objeto. Para se obter a seqncia
de vrtices de um objeto em uma imagem, sugere-se usar uma imagem binarizada. Inicia-se
o algoritmo em um ponto p pertencente ao contorno da imagem, e desloca-se a janela de
-
44
busca no sentido horrio, ao longo de todo o contorno do objeto, criando uma lista de
vrtices, medida que os mesmos so encontrados.
Figura 3.3 Esquema de ordenao de vrtices no sentido horrio.
3.3 Criao do Banco de Invariantes
Assumindo que o modelo composto de M vrtices (Song, 2000), definem-se dois vetores
de invariantes g1 e g2, equao (3.3), que identificam o modelo:
( )( )( )
( )( )
2,1
4,3,2,1,
3,2,1,,1
7,6,5,4,3
6,5,4,3,2
5,4,3,2,1
=
= i
M
MM
II
III
g
i
i
i
i
i
i
(3.3)
, onde Ii so invariantes dos vrtices calculados utilizando a equao 3.2.
Utilizando-se do conjunto de pontos da Figura 3.3, onde M=8, os vetores gi so definidos
pela equao (3.4):
P1
P2 P1
P6
P5
P4
P3
P7 P8
-
45
( )( )( )( )( )( )( )( )
1,2i
P,P,P,P,P
P,P,P,P,P
P,P,P,P,P
P,P,P,P,P
P,P,P,P,P
P,P,P,P,P
P,P,P,P,P
P,P,P,P,P
43218i
32187i
21876i
18765i
87654i
76543i
65432i
54321i
i
IIIIIIII
g =
= (3.4)
3.4 Identificao de Peas por Comparao
A tcnica de identificao de objetos por invariantes desenvolvida neste Projeto considera
que um modelo constitudo de um conjunto de pontos caractersticos (vrtices), e atravs
desse conjunto pode-se calcular o vetor de invariantes (equao 3.3). Essa tcnica inicia com
um processamento off-line para a gerao de um banco de objetos modelos associados a
vetores invariantes. Na fase de identificao, onde o processamento on-line, o vetor de
invariantes do objeto a ser identificado tambm gerado por um conjunto de pontos
caractersticos. Esse vetor de invariantes ser utilizado na comparao com o banco de
modelos, a fim de identificar o objeto na imagem.
O objeto modelo ser chamado simplesmente de modelo e o objeto a ser identificado ser
chamado simplesmente de objeto
3.4.1 Processamento Off-Line
A Figura 3.4 mostra o diagrama de blocos da tcnica de identificao, na fase do
processamento off-line.
-
46
Figura 3.4 Fluxograma da tcnica de reconhecimento de objetos por meio do clculo de invariantes.
Processamento Off-Line.
O processo iniciado adquirindo uma imagem de cada objeto modelo (J). Em seguida
executa-se a extrao dos vrtices, citado no item 2.4.2, utilizando a tcinca de extrao por
Trucco. O resultado uma lista de pontos em ordem crescente do nmero das linhas. A
Figura 3.5 apresenta o resultado da extrao de vrtices, sendo (a) e (b) os modelos 1 e 2,
respectivamente. A Tabela 3.1 apresenta a lista dos pontos ordenados pelos nmeros das
linhas para modelos 1 e a Tabela 3.2 apresenta a lista dos pontos ordenados pelos nmeros
das linhas para modelos 2. Essa lista ser re-ordenada com o objetivo de se obter um
polgono fechado (sentido horrio).
Imagem do Modelo
J=1
Extrao dos vrtices
Ordena lista de vrtices
Exclui pontos colineares
Geometria do Modelo - M(j)
vertices
Calcula/armazena vetor Invariante gi(j)
J = J + 1
-
47
(a)
(b)
Figura 3.5 (a) Imagem do modelo 1. (b) Imagem do modelo 2.
Tabela 3.1 Lista de pontos (vrtices) do modelo 1.
i J
142 128
159 115
209 260
229 232
249 217
277 201
303 369
366 311
Tabela 3.2 - Lista de pontos (vrtices) do modelo 2.
i J
49 313
61 266
67 341
70 365
98 312
131 252
131 355
169 293
328 99
368 146
-
48
Em cada seqncia de 5 pontos, deve-se ter o cuidado de no conter 3 pontos colineares.
Conhecer a geometria do objeto modelo facilita a construo do polgono fechado que
represente sua melhor configurao, sendo que em algumas vezes importante eliminar
vrtices desnecessrios.
A Figura 3.6 e a Figura 3.7 mostram a geometria dos modelos 1 e 2, respectivamente, aps
a ordenao dos pontos no sentido horrio. A inverso da figura ocorre porque, para a
cmara (pixels), a ordem crescente do eixo y de cima para baixo.
Figura 3.6 Geometria do modelo 1 e lista dos pontos no sentido horrio.
Modelo 1
0
50
100
150
200
250
300
350
400
0 100 200 300 400
I j
142 128
229 232
209 260
303 369
366 311
277 201
249 217
159 115
Lista dos Pontos ordenados no sentido horrio
-
49
Figura 3.7 Geometria do modelo 2 e lista dos pontos no sentido horrio.
Finalmente, calcula-se o vetor de invariante (equao 3.3), para gerar a tabela dos vetores
que representam os modelos (Tabela 3.3).
Tabela 3.3 Valores dos vetores invariantes dos modelos 1 e 2.
Vetor Invariante
Modelo 1 (g)
Vetor Invariante
Modelo 2 (g)
I1 I2 I1 I2
-0.5151 -0.6445 -0.1882 3.3081
0.1948 7.8687 0.5867 2.7027
0.9390 1.6208 0.8121 1.0127
0.5579 0.6170 0.0381 0.2800
15.3477 0.6240 -1.2576 -0.5731
-0.0092 -49.0756 0.8507 0.8088
0.9727 0.4582 -0.8020 0.0590
9.1682 0.4706 -7.3112 -0.0935
1.2222 0.3616
1.0483 1.3560
Modelo 2
0
50
100
150
200
250
300
350
400
0 100 200 300 400
i J
49 313
98 312
67 341
70 365
131 355
169 293
368 146
328 99
131 252
61 266
Lista dos Pontos ordenados no sentido horrio
-
50
3.4.2 Processamento On-Line
A Figura 3.8 mostra o diagrama de blocos da tcnica de identificao, na fase do
processamento on-line.
Figura 3.8 Fluxograma da tcnica de reconhecimento de objetos. Processamento On-Line.
Imagem Objeto
Extrao dosvrtices
Ordena lista de vrtices
Excluir vrtices
indesejaveis
J = 1
Verifica N de pontos do modelo(M) e objeto(N)
Calcula n combinaes NCM = k
Calcula o vetor -gik e Erro-E de k-combinao
Cria a lista de erros (Emin) - modelo avaliado
J = J + 1
J < n de modelos
Menor erro da lista Emin
Identifica o Objeto
-
51
Inicia-se o processamento on-line com uma imagem em que se deseja identificar algum
objeto, e semelhante ao processamento off-line, inclusive o processo de excluso dos
pontos indesejveis. So pontos indesejveis os pontos colineares. Outra forma de excluir
pontos indesejveis atravs das distncias mxima e mnima entre os pontos que compem
a configurao geomtrica dos modelos.
Em seguida, deve-se verificar se o nmero de vrtices que gerou o polgono fechado do
objeto maior que o nmero de vrtices dos modelos. Conhecendo o nmero de vrtices do
modelo e do objeto que se deseja identificar, possvel calcular o nmero de combinaes
possveis (k). Para cada combinao calcula-se o vetor de invariantes, equao (3.3), e o erro
associado em relao ao modelo, equao (3.5).
=
+=
M
k k
kk
k
kk
ggg
gggE
1 2
22
1
11 (3.5)
, onde ikg o k-simo elemento do vetor invariante ig do modelo, e ikg o invariante
correspondente a ikg do objeto.
Gera-se, assim, um vetor de erros (tamanho k), constitudo de erros para cada combinao. O
menor valor a combinao que melhor identifica o objeto.
Para cada modelo possvel gerar uma configurao do objeto associado ao erro mnimo,
gerando uma lista de erros mnimos. O menor dos erros mnimos identifica finalmente o
objeto.
-
52
4. RECONHECIMENTO DE OBJETOS LOCALIZAO
4.1 Conceitos Bsicos
Como j explanado anteriomente, o reconhecimento de um objeto envolve duas operaes
bsicas: Identificao e localizao. Este captulo destinado s tcnicas de localizao de
objetos. O problema de localizao conhecido em viso computacional como localizao
de objetos baseados em modelos ou estimar sua de posio.
A localizao de objetos significa determinar a posio 3-D e a sua orientao. Para isso
necessrio que se tenha uma imagem, um sensor e a geometria do objeto que se deseja
localizar. No espao 3-D a posio est vinculada translao T, e a orientao rotao
R.
A localizao de objetos desenvolvida neste trabalho, baseia-se na utilizao de apenas uma
imagem, ou seja, no necessrio calibrar o sensor. Portanto, importante que seus
parmetros intrnsecos sejam conhecidos. Tambm necessrio que os modelos sejam
centrados em suas caractersticas geomtricas. A condio mais importante que o objeto j
tenha sido identificado. Como os objetos esto vinculados s suas caractersticas
geomtricas, neste caso devem-se excluir as tcnicas de identificao de objetos baseada em
aparncias e outras tcnicas que no faam uso das caractersticas geomtricas do objeto.
Podem-se utilizar imagens de intensidade ou imagens de profundidade. No caso de imagens
de intensidade, os modelos esto apresentados em espao 3-D e as imagens dos objetos em
2-D, necessitando, assim, de uma transformao adequada para a sua devida identificao e
localizao. Para as imagens de profundidade, tanto os modelos quanto os objetos sob
anlise esto definidos em espao 3-D, e nesse caso, podem ser comparados diretamente.
Neste trabalho, aplicam-se apenas os casos de utilizao de imagens de intensidade.
4.2 Localizao de Objetos Imagem de Intensidade
A localizao de objetos a partir de uma imagem de intensidade, dado um modelo, consiste
em que todos os pontos e vetores extrados da imagem esto definidos em funo do sistema
de referncia da cmera e que os parmetros intrnsecos so todos conhecidos.
-
53
O problema consiste em solucionar a equao (4.1).
[ ] TP.RZ,Y,X miTiii += (4.1)
, onde [ ]Tiiii Z,Y,XP = so n pontos (n 3), expressos no sistema de referncia da cmera, e [ ]Tmimimimi Z,Y,XP = so os n pontos correspondentes do objeto, expressos no sistema de referncia do objeto. Como [ ]Tiii y,xp = so as projees de Pi no sistema da cmera (pixels), ento, torna-se necessrio conhecer o vetor de translao T e a matriz de
rotao R , para efetuar as transformaes rgidas.
Enfim, solucionar a equao (4.1) consiste em determinar os parmetros extrnsecos da
cmera, que pode est conectada ao atuador de um robot.
Dois mtodos so conhecidos: modelo da cmera de perspectiva completa e modelo de
cmera de perspectiva fraca.
4.2.1 Modelo de Cmera de Perspectiva Completa
Este modelo aplica o mtodo iterativo de Newton (Trucco, et al 1998). O mtodo consiste
em relacionar pontos do modelo e do objeto, ambos em coordenadas da cmera 3-D,
tomadas atravs das projees perspectivas, conforme a equao (4.2)
[ ] Ti
i
i
iTiii Z
Y,ZXy,xp
== f.f. (4.2)
Aplicando a equao (4.1) na equao (4.2), obtm-se a equao (4.3)
3mi33
mi32
mi31
2mi23
mi22
mi21
i
3mi33
mi32
mi31
1mi13
mi12
mi11
i
TZ.rY.rX.rTZ.rY.rX.r
y
TZ.rY.rX.rTZ.rY.rX.r
x
++++++=++++++=
f.
f. (4.3)
-
54
Como R e T so desconhecidos, basta aplicar os pontos conhecidos (no mnimo 3) para
obter assim seis equaes com seis variveis. As variveis so Rx(), Ry() e Rz() Rotaes nos eixos x, y e z, respectivamente; e Tx ,Ty e Tz Translaes nos eixos x, y e z, respectivamente.
Para determinar as variveis que solucionam o sistema de equaes no lineares, aplica-se o
Mtodo Iterativo Newton (Trucco et al, 1998), que consiste em:
1. Dados n 3 pontos do modelo 3-D e seus correspondentes pontos no sistema de referencia da cmera 3-D Estima-se R0 e T0 Valores inicias para Rotao e
Translao, respectivamente;
2. Utilizando R0 = R e T0 = T calcule Pi, que deve ser a localizao prevista para miP ;
3. Projete Pi no plano da imagem () pixel, utilizando a equao (4.2); 4. Avalie o residual xi e yi atravs das equaes (4.4);
xi = xi(R0 , T0) - ix e yi = yi(R0 , T0) - iy (4.4)
5. Resolva o sistema linear equao (4.5);
i
3
1jj
j
ij
j
i
i
3
1jj
j
ij
j
i
yR.RyT.
Ty
xR.RxT.
Tx
=
+
=
+
=
= (4.5)
Para determinar 3,2,1j,ReT jj =
6. Altere os valores estimados para a rotao R e a translao T;
7. Se xi e yi so valores muito pequenos, os novos valores de R e T so a soluo, caso contrrio voltar ao passo 2 com os novos valores de R e T.
-
55
4.2.2 Modelo de Cmera de Perspectiva Fraca
O mtodo aplicado a modelos de cmera de perspectiva fraca matematicamente mais
simples que o mtodo de cmera de perspectiva completa, porm mais restritivo. Neste
caso no se utilizam os parmetros intrnsecos e extrnsecos da cmera. Como no possvel
definir quo longe est o ponto (objeto), este modelo no fornece informaes em distncia.
O problema de localizao de objetos, em viso monocular, torna-se mais complexo quando
os parmetros intrnsecos e extrnsecos so desconhecidos. Uma tcnica proposta de
localizao de objetos utiliza-se do conceito de transformaes perspectivas que preservam
razes cruzadas (cross-ratio) (Horaud et al, 1989 e Michel, 1852).
O mtodo tem referencia no trabalho do matemtico francs Michel Chasle (1852), que
estudou transformaes perspectivas que preservam razes cruzadas (cross-ratio) de quatro
(4) pontos colineares, e por extenso definiu uma relao entre coordenadas 2-D (x,y) de um
ponto no plano do objeto e sua projeo perspectiva (x,y) no plano da imagem. Horaud, et
al (1989) mostra que essa relao pode ser escrita pela equao (4.6).
1qypx1dycx
y'
1qypx1byax
x'
2
1
++++=++++=
(4.6)
, onde 21 eq,p,d,c,b,a, so constantes.
Sejam as equaes (4.7)
d.,wv'y,
wu'x 2211 d' ,.c c' ,.b b' ,.a a' ====== (4.7)
Aplicando as equaes (4.7) em (4.6), pode-se reescrev-las, gerando assim a equao (4.8).
=
1yx
. b' a'
wvu 1
1qp'd'c 2
(4.8)
-
56
Na prtica, deseja-se determinar (x, y) no plano do objeto, a partir das coordenadas da
cmera (pixel). Enfim, devem-se determinar os coeficientes a, b, c, d, p, q, 1 e 2 da matriz.
As equaes de Horaud et al, (1989), representam um sistema de 2 equaes com 8
incgnitas, ento, necessitam-se de no mnimo 4 pontos no colineares marcados no plano da
imagem (pixel (x, y)) e seus correspondentes no plano fsico do objeto (coordenadas
homogneas (x , y , 1)), para resolver o sistema. Esse sistema matricial resulta na
equao b A.x = e pode ser escrita pela equao (4.9).
=
'4
'4
'3
'3
'2
'2
'1
'1
2
'
'1
'
'
'44
'4444
'44
'4444
'33
'3333
'33
'3333
'22
'2222
'22
'2222
'11
'1111
'11
'1111
1000
0001
1000
00011000
00011000
0001
yxyxyxyx
qp
dc
ba
yyyxyxxyxxyx
yyyxyxxyxxyxyyyxyxxyxxyxyyyxyxxyxxyx
(4.9)
Pode-se melhorar a robustez do mtodo, admitindo-se mais alguns pontos, com o objetivo de
mensurar os erros encontrados entre os valores previstos e os valores reais.
O sistema de equaes (4.9) resolvido, utilizando-se do mtodo dos mnimos quadrados do
sistema .bA .A.xA TT = .
Finalmente, deseja-se localizar um ponto M de coordenadas desconhecidas ( xm , ym , 1), no
plano do objeto a partir de coordenadas da imagem (pixel).
4.2.3 Exemplo de Aplicao para Modelo de Cmera de Perspectiva Fraca
A Figura 4.1 apresenta as fases do resultado de localizao de objetos. Na Figura 4.1a o
objeto est sobre uma grade com marcas que definem suas posies no plano. A Figura 4.1b
mostra o histograma da imagem (Figura 4.1a), utilizado na identificao do limiar (220)
-
57
necessrio binarizao da imagem. A Figura 4.1c apresenta a imagem binarizada, utilizada
para extrao dos vrtices. Finalmente a Figura 4.1d identifica as posies da imagem no
sistema da cmera (pixel).
(a)
(b)
(c)
(d)
Figura 4.1 Fases para a localizao do objeto. (a) Imagem do posicionamento do objeto sobre uma grade. (b)
Histograma da imagem do objeto. (c) Imagem binarizada. (d) Posies do objeto e marcas - pixels.
Utilizando-se os pontos (1,1), (1,6), (6,1) e (6,6) no plano de referncia do objeto (Figura
4.1a) e seus respectivos pontos (260,51), (52,51), (260,259) e (52,259) no plano de referncia
da imagem em pixel (Figura 4.1c), na equao (4.9), possvel determinar os coeficientes
a, b, c, d, p, q, 1 e 2. Enfim, atravs desses coeficientes e da equao (4.8) possvel determinar um ponto do plano de referncia da imagem fazendo uso de um ponto no plano
de referncia d