Calibrações em Realidade Espacialmente Aumentada Spatial Augmented Reality Calibration

Luciano Pereira Soares

Insper São Paulo, Brasil

lpsoares@insper.edu.br

Djalma Lúcio VISGRAF - IMPA

Rio de Janeiro, Brasil dlucio@impa.br

Resumo - Projetar sobre superfícies irregulares estáticas dados 3D sintetizados por computador de forma coerente já é uma realidade, contudo as técnicas tradicionais não são convenientes no caso da superfície se deslocar ou deformar, assim neste projeto de pesquisa o objetivo principal é o desenvolvimento de uma ferramenta de calibração para realidade espacialmente aumentada em superfícies dinâmicas. A detecção da geometria 3D da superfície de projeção será realizada por intermédio de um sistema de reconstrução 3D, que neste projeto em questão será usado o Kinect da Microsoft. Para a projeção são usados projetores lasers digitais que não apresentam problemas de focagem de imagem.

Palavras Chave- Realidade Espacialmente Aumentada

Abstract - Project on irregular static 3D surfaces by

coherently synthesized computer images is already a reality, but if the surface moves or deforms, the traditional techniques are not convenient, so the goal of this research project is the development of a tool to spatially augmented reality in dynamic surfaces. Detection of 3D geometry is performed by a 3D reconstruction system, which in is the Microsoft's Kinect system. Digital lasers projectors are used in this project since they do not have problems focusing image.

Keywords- Spatial Augmented Reality

I. INTRODUÇÃO Sistemas de realidade aumentada, normalmente são

usados com o intermédio de monitores ou óculos de realidade virtual (HMD – Head Mounted Displays), porém projetando a informação diretamente sobre a superfície real dispensaria o usuário de usar um aparato para perceber a realidade aumentada. Isso melhoraria a usabilidade eliminando a necessidade de se visualizar a cena por uma tela de algum dispositivo ou pesados óculos.

Um dos problemas deste tipo de solução seria reconhecer a geometria da superfície de projeção, e o problema é ainda maior caso a geometria mudasse sua posição e forma ao longo da operação. Contudo com os dispositivos de reconstrução 3D de baixo custo

disponíveis, a deformação pode ser reconhecida permitindo o correto casamento das informações. Outra vantagem desta proposta é a eliminação do uso de marcadores que interferem no ambiente, após uma primeira calibração o reconhecimento poderia dispensar o uso de marcadores, permitindo assim uma visualização sem interferências.

Este projeto de pesquisa apresenta técnicas de mapeamento de projeções sobre superfícies 3D, usando os sistemas de reconstrução 3D que antes eram somente disponíveis a grandes centros de pesquisas, porém atualmente são dispositivos acessíveis, devido a plataforma Kinect da Microsoft [8] que é orientada a um mercado doméstico.

Além disso os projetores estão cada vez menores, com maior brilho e com um tempo de vida maior, porém seu uso ainda é muito restrito para passar informações sobre telas 2D. Para o uso em superfícies 3D é necessário o conhecimento da geometria da superfície de projeção, o que pode ser extraído em tempo real pelo sistema Kinect da Microsoft. Desta forma, seria possível reconhecer instantaneamente a geometria da superfície de projeção.

A. Exemplo de Uso Uma das possibilidade de uso deste tipo de sistema é

na área da medicina. Atualmente os médicos usam informações como Raio-X, Tomografia Computadorizada, Ressonância Magnética para fazer analises do paciente. Estas informações são usadas para, por exemplo, um procedimento cirúrgico. Um dos problemas da forma atual é a necessidade do médico não poder verificar diretamente no paciente esta informação, tornando necessário ele manipular chapas de Raio-X ou acessar computadores, o que nem sempre é possível, pois além de ter de estar próximo ao paciente, o médico precisa ter suas mãos esterilizadas e manipular estes objetos poderia comprometer o procedimento.

A Figura 1 mostra o caso de um médico analisando um Raio-X de um paciente.

Figura 1 – Procedimento Médico Convencional.

No sistema proposto, o médico poderia olhar a informação desejada diretamente sobre o paciente conforme mostra a Figura 2. Isso poderia auxiliar a interpretação dos dados e levar a procedimentos cirúrgicos mais precisos no futuro. Alguns tratamentos guiados por imagens são fundamentas para certos casos, como cirurgias de câncer. Um outro ponto importante deste sistema é que o médico poderia configurar algum gestos pré-definidos para interagir com o sistema, assim com movimentos suaves da mão ele pode controlar qual camada de uma tomografia estaria vendo sobre o paciente, outro gesto poderia controlar o contraste das imagens.

Figura 2 – Projeção de Imagem de Estrutura Óssea Sobre Perna

O esquemático da Figura 3 mostra um tipo de configuração com o posicionamento do projetor e do Kinect para um ambiente hospitalar.

Figura 3 – Esquema de Sistema de Projeção e Captura de Geometria

II. TRABALHOS RELACIONADOS A proposta de visualizações integradas com

projeções não é algo completamente novo, porém até então os objetos a serem projetados tinham de ser previamente conhecidos ou passar por uma fase de reconstrução que além de comprometer a visualização em tempo real, também gerava artefatos durante o processo de escaneamento devido a técnica de luz estruturada visível.

Um dos trabalhos mais tradicionais em projetar imagens sobre superfícies irregulares é o iLamps[7], onde são apresentadas técnicas para projeções adaptativas em superfícies não planares usando algoritmos de projeção com texturas. Já o trabalho desenvolvido no Sunnybrook Health Sciences Center, usa dispositivos de rastreamento sem marcadores para poder ver e navegar em dados de tomografia e ressonância magnética sem o uso de teclados e mouses [3], usando gestos com as mãos para navegar nas camadas de dados a serem visualizados. A projeção de imagens sobre o corpo de uma pessoa com o apoio do Kinect é apresentado um trabalho de uma massagem futurista [4]. Nela o massagista projeta padrões de fluxos de linhas sobre o corpo da pessoa, contudo não existe um casamento preciso da imagem, tão pouco as imagens projetadas são para fins de alguma análise.

A. Aplicativos disponíveis Um dos principais sistemas disponíveis para o

processamento matemático do sistema de visão computacional existente é o software RGBDemo[2], um software livre que opera diretamente com os recursos do Kinect, embora seja muito útil para reconhecer os parâmetros da câmera e projetor, não permite uma forma fácil de uso os recursos disponíveis, o que limita seu uso. Da mesma forma existe o ProCamCalib [1] que usa uma técnica de marcadores fiduciais de Realidade Aumentada para fazer a calibração do sistema câmera e projetor, porém ambos não calibram o ambiente de uma forma simples, sendo necessárias diversas tentativas até se conseguir convergir um bom resultado.

Outros projetos avaliados durante o desenvolvimento do projeto foram o Camara Lucida[6], que também é um código aberto, que usa como base o Open Frameworks e permite projetar sobre superfícies irregulares, porém está de forma incompleta não funciona de forma adequada. O projmaptoolkit [5], que é um pacote de rotinas de software para realidade espacialmente aumentada orientado a artes digitais, porém também não possui uma interface simples de uso o que limita seu uso o estabilidade.

III. SISTEMA DE CALIBRAÇÃO O software está sendo desenvolvido usando

bibliotecas de baixo nível, como OpenCV e OpenGL que permitem um maior controle do das rotinas e seu funcionamento local. O que resultou em diversas discussões entre os participantes de formas de como resolver as questões de calibração do sistema câmera projetor que não se mostraram triviais. Para isso foi também desenvolvida uma aplicação para uma visualização global do sistema de captura e projeção de imagens calibradas.

Na Figura 4 é possível visualizar o que a câmera do Kinect está enxergando e como o padrão 3D está sendo mapeado em função do padrão de círculos conhecido. As imagens em verde são a nuvem de pontos que encaixam sobre as geometrias presentes na cena.

Figura 4 – Imagens de controle do sistema câmera-projetor

A figura 5 apresenta a imagem que é fornecida ao projetor para casar com o padrão de esferas conhecido. Esse sistema permite validar a precisão do processo por uma inspeção visual.

Figura 5 – Imagem enviada ao projetor para casar padrão de círculos

IV. RESULTADOS Embora existam algumas soluções apresentadas na

literatura, foi constatado que elas ainda apresentam muitas dificuldades de uso e seu completo funcionamento parece inviável. Levando assim ao desenvolvimento desse sistema de calibração.

O sistema de câmeras do Kinect apresenta peculiaridades que dificultam o casamento direto com o sistema de projeção. A calibração usada nos exemplo foi realizada com distâncias curtas do sistema de câmeras. Isto é devido a baixa resolução do sistema, o

que levou a um melhor funcionamento em rastreamentos até 2 metros de distância. Além disso o ângulo de abertura do Kinect e do Projetor são bem diferentes, dessa forma o Kinect e o Projetor precisam estar o mais próximo possíveis para uma maior área útil entre os dois e assim melhores resultados de calibrações.

Uma das dificuldades das calibrações é também o baixo contraste dos projetores, além do fato do projetor em uso não ser short thrown o que tem limitado o uso flexível do sistema. Pois para se ter uma projeção grande o suficiente pra câmera do Kinect reconhecer o padrão de calibração, este precisaria estar muito longe, recebendo assim uma projeção maior mas dificultando o reconhecimento do padrão físico. Finalmente o contraste dinâmico do Kinect compromete o uso das imagens visto que o reconhecimento de padrões acaba mudando conforme as condições de iluminação que mudam constantemente.

V. CONCLUSÕES A área de projeções e reconstrução 3D tem se

mostrado um campo profícuo para a pesquisa e desenvolvimento, abrindo várias possibilidades de trabalhos acadêmicos e projetos na área de Realidade Virtual e Aumentada, além da possível inserção na área médica. Este sistema poderia ser usado para projetar informações adicionais de tomógrafos ou ressonância magnética diretamente sobre o corpo de uma pessoa, com a possibilidade de ajustes na geometria serem automaticamente alinhados.

Embora existam algumas propostas apresentadas na Internet, como o RGBDemo, CameraLucida, ProCamCalib, não se acredita que esses seja um problema inteiramente resolvido pois os sites apresentam a ideias e algum código, porém não é encontrado publicações científicas em relação ao trabalho.

REFERÊNCIAS [1] Audet, S. ProCamCalib,

www.ok.ctrl.titech.ac.jp/~saudet/research/procamcalib/ [2] Burrus, N. Kinect RGB demo, Manctl Labs,

http://labs.manctl.com/rgbdemo/ [3] Chung-Sayers, N. “Team uses Xbox Kinect to see Patient

Images during surgery”, Sunnybrook report [4] http://intelligenthealingspaces.com/ [5] Jones, B., Sodhi, R. projmaptoolkit,

https://code.google.com/p/projmaptoolkit/ [6] Parsons, C., Tepper, M. Camara Lucida, http://www.camara-

lucida.com.ar/ [7] Raskar, R., Baar, J., Beardsley, P., Willwacher, T., Rao, S. and

Forlines, C. 2003. iLamps: geometrically aware and self-configuring projectors. ACM Trans. Graph. 22, 3 (July 2003)

[8] http://www.xbox.com/kinect