UNIVERSIDADE FEDERAL DE PERNAMBUCOCENTRO DE INFORMTICAGRADUAO EM CINCIA DA COMPUTAO

REALIDADE DIMINUDA

Diego Correia AragoVitor Hugo Antero de Melo

RECIFE, MARO de 2013Abstract

This paper presents a survey on different Diminished Reality approaches. Arising as a branch of Augmented Reality, diminished reality intends to hide elements from the real world. Along this document will be shown based on multiple cameras or texture synthesis, clarifying when a technique must be chosen over another. At last, future works and areas where this technique may be applied will be discussed.

Resumo

Esta monografia apresenta um estudo sobre diferentes abordagens de Realidade Diminuda. Surgida como um brao da Realidade Aumentada, a Realidade Diminuda se prope a eliminar objetos de uma cena. Ao longo do documento sero mostradas tcnicas baseadas em mltiplas cmeras ou em sntese de textura, esclarecendo quando uma tcnica deve ser escolhida em detrimento da outra. Por fim, sero mostradas as perspectivas para o futuro da tcnica e onde ela pode ser aplicada.

Sumrio1 - Introduo12 - Conceitos Bsicos22.1 - Realidade Aumentada22.2 - Inpaint33 - Tcnicas64 - Aplicaes95 - Concluso11Referncias12

1 - Introduo

A rea de Realidade Aumentada estudada j h bastante tempo na literatura de Viso Computacional. As tcnicas provenientes destes estudos permitem que objetos virtuais sejam introduzidos de maneira coerente em cenas reais, trazendo para o usurio novas formas de interao com o ambiente.Uma vez que tcnicas de realidade aumentada permitem novas formas de interao, uma ampla gama de reas pode ser beneficiada dela. Solues so pensadas para diversas reas da atividade humana, desde o comrcio at o desenvolvimento de sistemas de auxlio a manuteno, passando ainda por jogos eletrnicos e softwares para monitoramento de pacientes.Indo em direo contrria realidade aumentada, que insere objetos virtuais em cenas reais, a Realide Diminuda uma rea proveniente daquela que vem sendo bem debatida na literatura, e que consiste basicamente na remoo de objetos reais em cenas reais. Aplicaes de realidade diminuda seguem as mesmas duas regras bsicas para aplicaes de realidade aumentada: o sistema deve rastrear o objeto de interesse na cena, de maneira que consiga recuperar a posio da cmera no ambiente, e deve modificar a cena corretamente em tempo real.Esta monografia apresenta os conceitos bsicos de realidade diminuda na seo 2. Neste ser explicado como funcionam as tcnicas de realidade aumentada e de inpaint, que formam a base para a realidade diminuda. Na terceira seo sero mostradas diferentes abordagens e tcnicas de realidade diminuda existentes na literatura. No captulo 4 so mostradas aplicaes que utilizam realidade diminuda, deixando claro onde ela pode ser aplicada e quais seus benefcios. Este trabalho se encerra na quinta seo, onde as concluses deste trabalho so apresentadas.

2 - Conceitos Bsicos

Este trabalho tem como objetivo analisar e apresentar o ramo da Cincia da Computao tido como realidade diminuda, mas no se pode falar deste sem antes tratar tambm da realidade aumentada, uma vez que aquela no teria surgido sem essa. Alm disso, necessrio tambm explicar as tcnicas de inpaint, uma vez que estas servem como base para a realidade diminuda.2.1 - Realidade Aumentada

Aplicaes mistas possuem elementos reais e virtuais coexistindo em um mesmo ambiente, no qual a depender da proporo de como os elementos esto distribudos, tais aplicaes podem ser classificadas como Realidade Virtual (RV) ou Realidade Aumentada (RA). Enquanto que em RV o mundo gerado por um computador e a maioria dos objetos virtual, em RA elementos virtuais so inseridos no mundo real como se fizessem parte dele [5].Para visualizar a informao virtual, diferentes equipamentos podem ser utilizados, tais como head-mounted displays (HMD, espcie de culos ou capacete com displays no lugar das lentes), tablets e celulares. Porm, para a informao virtual ser inserida apropriadamente no ambiente real, sensores como cmeras, ultrassom, e sensores de movimentos so utilizados pela aplicao, a fim de posicionar o objetivo relativo ao mundo real. Aplicaes de RA baseadas em cmeras utilizam tcnicas de viso computacional, e so mais comuns na comunidade cientfica por serem mais baratas. Na Figura 2.1 podemos ver uma aplicao de RA sendo utilizada.

Figura 2.1. Casal utiliza HMD para jogo de Realidade Aumentada.

As tcnicas de RA esto dividas em dois grupos principais: tcnicas com marcadores e tcnicas sem marcadores. As tcnicas com marcadores requerem que seja adicionado um objeto sinttico no ambiente, como mostrado na Figura 2.2, na qual os personagens da Nintendo so projetados em cima de cartes pr-definidos pela aplicao. J as tcnicas sem marcadores, posicionam os objetos virtuais em se baseando em padres naturais presentes no ambiente. A Figura 3 mostra exemplos dessas duas abordagens.

Figura 2.2. Aplicao de RA com marcadores (esquerda) e sem marcadores (direita)A Realidade Aumentada tem sido utilizada em diferentes reas, tais como publicidade, jogos, medicina e manuteno de equipamentos. Porm, independente da rea, o conceito de RA consiste em informaes virtuais serem adicionadas em um ambiente no-virtual em tempo real. Esta informao pode ser de qualquer tipo, como sons, modelos 3D, imagens, e vdeos, embora modelos 3D e imagens sejam geralmente mais utilizados, inseridos em um display.

2.2 - Inpaint

Segundo Bertalmo [1], o termo inpaint surgiu da rea de restaurao de obras de arte, onde era chamado de retocamento. Segundo ele, j na poca do Renascimento as obras de arte medievais comearam a ser restauradas, quer fosse por motivos de deteriorao, quanto por motivos estticos da poca. A necessidade de manipulao de imagens aumentou com o advento da fotografia. Em tempos mais recentes temos o simblico exemplo da remoo do russo Nikolai Yezhov em fotos oficiais da Unio Sovitica, como pode ser visto na Figura 2.3 onde aparece com seu antigo aliado e lder da URSS, Joseph Stalin [11].

Figura 2.3. Na imagem original (acima), Yezhov aparece ao lado esquerdo de Stalin. Ele foi removido (abaixo) por censores aps ser considerado traidor [11].Assim, podem-se entender as tcnicas de inpaint como processos de reconstruo de partes perdidas ou danificadas em imagens. Visando uma definio mais formal, tem-se que dadas uma imagem e uma regio A pertencente a ela, o problema de inpaint consiste em modificar os valores dos pixels de A, de modo que tal regio no mais se destaque em relao aos seus arredores. Na Figura 2.4 mostrado um exemplo de aplicao de uma tcnica de inpaint, onde uma foto antiga de um casal restaurada. Do mesmo modo que esta definio se aplica a imagens estticas, ela se estende tambm para vdeos, uma vez que estes so sequncias de imagens estticas.Um modo comum de se resolver problemas de inpaint mimetizar como os restauradores de imagem executam seu trabalho manualmente. Bertalmo [1] diz que eles estendem os padres das bordas da regio sendo restaurada, e vo preenchendo de fora para dentro. Dois algoritmos bastante comuns podem ser vistos em [2] e [10].Saindo da abordagem tradicional, existem muitas tcnicas de inpaint baseadas em sntese de textura, e grande parte disso se deve ao trabalho de Efros e Leung [4]. Nele, Efros e Leung modelam textura como um Campo Aleatrio de Markov (CAM). O algoritmo deles sintetiza a textura pixel-a-pixel, criando uma probabilidade de distribuio para cada pixel p da imagem a ser sintetizada. Baseado no modelo CAM, assume-se que o valor de p depende apenas de uma janela ao seu redor, e independe da imagem como um todo. Apesar de mostrar timos resultados, essa abordagem muito lenta, devido busca continuada do casamento de pixels, podendo ser executada mltiplas vezes para o preenchimento do mesmo ponto.

Figura 2.4. Foto restaurada utilizando tcnica de inpaintApesar de Efros e Leung terem popularizado algoritmos de sntese de textura como mtodos de inpaint, De Bonet lanou uma tcnica [3] alguns anos antes com o mesmo propsito. Em [3] De Bonet lana mo de pirmides de multi-resoluo tanto na parte de anlise quanto na de sntese. Sua ideia passar um fragmento de textura em escala mais fina atravs de seus pais em escalas mais grosseiras. Apesar de mostrar resultados aceitveis, ele falha em sintetizar imagens maiores que a amostra de textura, uma vez que o fragmento em nvel de anlise repetido em nvel de sntese.Alm de ser utilizada para restaurar partes danificadas de imagens, as tcnicas de inpaint tambm podem ser utilizadas para remoo de objetos indesejados de uma cena, onde a Figura 2.5 se encaixa como bom exemplo de inpaint por sntese de textura. Para uma tcnica ser de realidade diminuda, alm da remoo ser bem feita, tambm deve-se realizar alguns passos importantes, que so o rastreamento de objetos ou padres indesejados na cena e a remoo destes em tempo real, assim como na realidade aumentada.

3 - Tcnicas

Como discutido na seo anterior, a realidade diminuda uma rea originria da realidade aumentada. Dito isto, temos que os pipelines das tcnicas destas duas reas so bastante semelhantes. Em [13], Reis et al. mostram como o pipeline de uma aplicao de realidade aumentada com marcadores (Figura 3.1). Recentemente, a utilizao de marcadores em aplicaes de realidade aumentada vem sendo desencorajada, o que modifica um pouco este fluxo. Nesses casos, ao invs de marcadores, trabalha-se com templates, que so imagens dos objetos que devem ser rastreados na cena. Assim, os passos de deteco e extrao de features da imagem da cmera so adicionados antes da identificao do template.O fluxo das aplicaes de realidade diminuda diferem em dois passos do de realidade aumentada. Sabe-se que realidade diminuda trabalha com a excluso de elementos de uma cena, tornando-a contrria realidade aumentada, no sentido que esta adiciona informao realidade. Deste modo, temos que o clculo da posio e orientao de objetos, e a renderizao destes na tela desnecessrio. No lugar destes passos, entra a remoo dos templates identificados na cena. Esta remoo deve acontecer de modo sem costuras na imagem, i.e., imperceptvel ao observador. Como discutido na seo 2.2, tcnicas de inpaint podem ser utilizadas neste passo.

Figura 3.1. Pipeline para uma aplicao de realidade aumentada com marcadores.

Em [7], Leo et al. apresentam uma tcnica de realidade aumentada para fazer modificaes geomtricas em objetos reais. Em um passo anterior insero do objeto modificado na cena, o objeto real deve ser eliminado da imagem. Para este propsito, foi usada uma tcnica de inpaint simples, e que foi resumida em uma frase: Move-se uma mscara de tamanho 3x3 sobre a rea que o inpaint deve ser aplicado em um movimento espiral, calculando o valor do pixel como a mdia de seus vizinhos vlidos. Um exemplo do resultado obtido pode ser visto na Figura 3.2.

Figura 3.2. Remoo de cubo em aplicao de realidade diminuda mostrada em [7].

Devido natureza das imagens tratadas por tcnicas de inpaint, que considera reas texturizadas, estas nem sempre so suficientes para aplicaes de realidade diminuda. Em [9], por exemplo, Seo et al. introduzem um sistema de realidade diminuda baseado em projeo. Este sistema emprega uma tcnica de inpaint para sintetizar a rea onde o objeto est, e com o intuito de corrigir erros de projeo da cmera, lana mo de tcnicas de compensao radiomtrica para realizar uma projeo sem costuras no objeto. Pode-se observar na Figura 3.3 um pedao de papel sendo removido da cena. Esta figura compreende as fases inicial e final do algoritmo, pulando os passos intermerdirios onde ocorrem os erros de projeo e as devidas compensaes radiomtricas.

Figura 3.3. Execuo do algoritmo apresentado em [9], para a devida remoo (direita) de um pedao de papel na cena (esquerda).

Herling e Broll afirmaram que as tcnicas de realidade diminuda no eram aplicveis em tempo real, ou ento requeriam setups complexos para o usurio. Ento, apresentaram em [5] uma abordagem para remover objetos de um stream de vdeo que no necessitasse de qualquer informao sobre a estrutura ou localizao dos objetos a serem removidos, nem de nenhum pr-processamento, alm de um setup enxuto. Para a seleo e rastreamento do objeto, lanaram mo de um algoritmo de contorno ativo. Esta abordagem substitui a regio da imagem a ser excluda por patches (fragmentos) do resto da imagem. O mtodo de escolha dos novos valores da regio de interesse explicado no texto original. A Figura 3.4. mostra um resultado do algoritmo proposto em [5].

Figura 3.4. culos em cima da mesa (esquerda) so rastreados (meio) e removidos da cena (direita). 64% da cena (restante da mesa) foi utilizada como entrada para o algoritmo de inpaint.

Em [6], Jarusirisawad e Saito propem um mtodo para calibrar mltiplas cmeras de mo para serem utilizadas em uma aplicao de realidade diminuda, sem a necessidade de informaes dos parmetros da cmera. A calibrao dinmica das cmeras utiliza o espao projetivo 3D definido pela geometria epipolar de duas cmeras base. Com este espao definido, a relaes geomtricas entre as cmeras so obtidas de acordo com os casamentos entre pontos correspondentes de vistas diferentes. Os pontos a serem comparados so chamados de features, e so detectados e extrados utilizando o algoritmo SIFT [14], bastante comum em aplicaes de realidade aumentada. Nesta aplicao, os objetos so removidos da cena a partir de uma segmentao das imagens entre o background e o foreground. A partir de informao de todas as cmeras, o background renderizado sem os objetos indesejados.

4 - Aplicaes

A partir dos conceitos e tcnicas apresentados neste artigo nos captulos anteriores, podemos identificar diferentes aplicaes que utilizam a realidade diminuda (RD). Antes de partir para a RD, vamos falar um pouco de aplicaes baseadas em realidade aumentada (RA).Na ltima dcada, houveram avanos considerveis em RA, surgiram aplicaes mdicas e industriais com tal tecnologia. Alguns sistemas mostram como a realidade aumentada tem ajudado na montagem ou manuteno de equipamentos complexos em fbricas, bem como o treinamento de tcnicos envolvido em tais tarefas. Alm disso, a RA se mostra til no planejamento e desenvolvimento de usinas de fora [13].Agora podemos imaginar uma instalao complexa de uma usina, bastante complicada, com canos, bombas e vlvulas. Quando se quer ilustrar alguma modificao ou renovao em tal equipamento, faz-se necessrio remover objetos de cenas ou vdeos contendo a instalao. Nesses casos, precisaramos visualizar corretamente o plano de fundo atrs dos objetos removidos para termos um resultado razovel. Um exemplo de tal aplicao mostrado na Figura 4.1.

Figura 4.1. Retira-se o cano vertical na primeira imagem. A segunda imagem mostra o plano de fundo e a ltima imagem mostra uma possvel utilizao de RA.

Como outro exemplo de RD aplicada, citaremos a plataforma Miva, desenvolvida para a CHESF (empresa brasileira de distribuio de energia), a qual apresenta outra abordagem de RD para manuteno e suporte de equipamentos [8]. Ela consiste em um computador vestvel, unido a um head-mounted display (HMD) e uma luva de dados que utilizada como dispositivo de entrada, como mostrado na Figura 4.2. Neste dispositivo, um conjunto de informaes sobre as mudanas a serem feitas na cena devem estar previamente armazenadas, por exemplo, em um computador desktop. Ento, o computador vestido pelo tcnico carrega as informaes a partir de um arquivo, e aguarda que o usurio mire nos alvos a serem removidos de cena, utilizando a luva.

Figura 4.2. Verses do miva.Ao apontar com a luva para algum padro que se deseja excluir, o tcnico capaz de remover objetos indesejados da cena de trabalho, tornando a imagem vista por ele mais confortvel e apropriada para focar em outros objetos, como ilustrado na Figura 4.3.

Figura 4.3. Na primeira imagem o medidor central foi excludo da segunda imagem, a originalAlm dos exemplos mostrados acima, outras aplicaes consistem em apenas remover objetos, em tempo real, vistos atravs de uma cmera, como mostrado no vdeo The incredible world of Diminished Reality[footnoteRef:1]. Esses aplicativos no possuem nenhum fim especfico alm de entretenimento do usurio, mas servem como inspirao para softwares futuros mais elaborados e que podem servir para outros fins. [1: http://www.youtube.com/watch?v=FgTq-AgYlTE&feature=player_embedded]

5 - Concluso

Neste trabalho ns apresentamos o bsico sobre a realidade diminuda, mostrando algumas das tcnicas utilizadas atualmente e exemplos de sua utilizao. Muitas vezes fez-se necessrio tambm mencionar a realidade aumentada, pois como explicado anteriormente, a RD uma subrea da RA, com um pipeline muito parecido onde ao invs de elementos serem inseridos na imagem, eles so removidos. Apresentamos o conceito de inpaint, cujas tcnicas so muito utilizadas em realidade diminuda, onde seriam aplicados frame a frame em um stream de vdeo. Aps os conceitos bsicos, tivemos um enfoque especial nas tcnicas e como elas funcionam, sejam de mltiplas cmeras ou baseadas em inpaint. Finalmente, citamos algumas aplicaes que utilizam realidade diminuda.Percebemos que as aplicaes existentes no campo de RD ainda so muito rudimentares, podendo ser consideradas ainda muito bsicas no sentido de utilizao prtica. Porm, visvel que as ideias para novas aplicaes na rea esto aparecendo numa velocidade acelerada, dado o pouco tempo que existe esta rea de estudo. Assim como o inpaint bastante utilizado e at essencial em softwares de manipulao ou restaurao de imagens, as abordagens de realidade diminuda em breve podero estar presentes em softwares de manipulao de vdeos.

Referncias

BERTALMO, Marcelo; CASELLES, Vicent; MASNOU, Simon; SAPIRO Guillermo. Inpainting. No publicado. Acessado em 24 de dezembro de 2012, em: http://math.univ-lyon1.fr/~masnou/fichiers/publications/survey.pdf BERTALMO, Marcelo; BERTOZZI, Andrea; SAPIRO, Guillermo. Navier-Stokes, fluid dynamics, and image and video inpainting. In: Conference on Computer Vision and Pattern Recognition (CVPR), 2001. p.I-355-I-362.DE BONET, Jeremy. Multiresolution sampling procedure for analysis and synthesis of texture image. In: Proceedings of SIGGRAPH, 1997. p.361368. EFROS, Alexei; LEUNG, Thomas. Texture synthesis by nonparametric sampling. In: International Conference on Computer Vision, 1999. p.1033-1038.HERLING, Jan; BROLL, Wolfgang. Advanced self-contained object removal for realizing real-time diminished reality in unconstrained environments. In: International Symposium on Mixed and Augmented Reality (ISMAR), 2010. p.207-212.JARUSIRISAWAD, Songkran; SAITO, Hideo. Diminished reality via multiple hand-held cameras. In: International Conference on Distributed Smart Cameras (ICDSC), 2007. p.251-258.LEO, Crystian; LIMA, Joo Paulo; TEICHRIEB, Vernica; KELNER, Judith; ALBUQUERQUE, Eduardo. Geometric modifications applied to real elements in augmented reality. In: Symposium on Virtual Reality (SVR), 2011. p.96-101.LEO, Crystian.Inspection of electrical equipment assisted by augmented and diminished reality.2012. Tese (Mestrado em Cincia da Computao) - Universidade Federal de Pernambuco. Recife.SEO, Byung-Kuk; LEE, Moon-Hyun; PARK, Hanhoon; PARK, Jong-Il. Projection-based diminished reality system. In: International Symposium on Ubiquitous Virtual Reality (ISUVR), 2008. p.25-28.TELEA, Alexandru. An image inpainting technique based on the Fast Marching Method. In: Journal of Graphics Tools, 2003. p.25-36. Joseph Stalin e Nikola Yezhov [imagem online]. Acessado em 26 de fevereiro de 2013, em: http://en.wikipedia.org/wiki/Nikolai_Yezhov#ExecutionREIS, Bernardo; TEIXEIRA, Joo Marcelo; TEICHRIEB, Veronica; KELNER, Judith. Perspective correction implementation for embedded (marker-based) augmented reality. In: Workshop de Realidade Virtual e Aumentada, 2008.Zokai, Siavash; Esteve, Julien, Genc; Yakup; Navab, Nassir. Multiview paraperspective projection model for diminished reality. In:International Symposium on Mixed and Augmented Reality, 2003. p.217-226.LOWE, David. Object recogntion from local scale-invariant features. In: Proceedings of the International Conference on Computer Vision, 1999. p.1150-1157.

1