1
Colaboração Móvel com Realidade Aumentada
Denise Del Re FilippoComputação Móvel - 2004.1
Agenda
n Conceitosn Aplicaçõesn Tecnologiasn Projetosn Conclusão
Conceitosn Realidade Virtual
n “ambiente tridimensional, interativo e gerado porcomputador no qual a pessoa é imersa” [Aukstakalnis e Blatner, 1992]
n “é uma interface avançada para aplicaçõescomputacionais, onde o usuário pode navegar e interagir , em tempo real, em um ambientetridimensional gerado por computador, usando dispositivos multisensoriais” [Kirner, a publicar]
Conceitosn Realidade Aumentada
n é o enriquecimento do ambiente real com objetosvirtuais, usando algumdispositivo tecnológico, funcionando em tempo real [Kirner]
n é uma melhoria do mundo real com textos, imagens e objetosvirtuais, gerados porcomputador” [Insley]
Conceitos
n Realidade Aumentada [Azuma 2001]n “sistema que possui as seguintes características:
n combina objetos reais e virtuais num ambiente real;n opera interativamente, e em tempo real, en registra (alinha) objetos reais e virtuais uns com os
outros”
n metan ambiente deve parecer real o suficiente para que
não se perceba o que é real e o que é virtual
Conceitosn Realidade Aumentada
n não se restringe a tecnologias particulares, comoHMD (Head Mounted Display)
n não se limita ao sentido da visãon inclui remoção de objetos reais (chamada por
alguns de realidade mediada ou realidadediminuída)
2
Conceitosn Diferenças entre RA x RV
n nível de imersão no sisteman gerador de cenas
n em RA a renderização não é o maior problema , poissubstituição total da realidade não é necessária
n dispositivos de apresentaçãon também por não precisar substituir a realidade,
dispositivos de apresentação não têm que ter excelenteresolução e podem até ser P&B
n erros de registro (alinhamento)n rastreamento e sensoreamento
Conceitos
n Diferenças entre RA x RVn dados de entrada e de saída
n VR: poucos dados de entrada e muitos de saídan RA: muitos dados de entrada e poucos de saída
Conceitos
n “Continuum” de Milgran (1994):n ambiente real-ambiente imaginário
n Realidade Misturadan realidade aumentada, quando há
predominância do real sobre o virtualn virtualidade aumentada, quando há
predominância do virtual sobre o real
Conceitos
n Realidade Misturada [Milgram]n “é aquela na qual os objetos do mundo real e do
mundo virtual são apresentados juntos através de um único dispositivo de apresentação, ou seja, emqualquer lugar entre os extremos do virtualitycontinuum”.
Conceitosn Histórico da RA
n Sutherland – em 1960, usou um HWD see-through para apresentar gráficos 3D
n voltou a ser estudada a partir de 1990n 1997 - Survey de Ronald Azuma
n atualizado em 2001n final da década de 90
n trabalhos se aceleraramn primeiras conferênciasn primeiras organizações
n Toolkit “free” para desenvolvimento rápido de aplicações RA: ARToolkit
Aplicações
n Motivaçãon “pode ser útil em qualquer aplicação que
apresente informação não diretamentedisponível ou não percebida pelos sentidoshumanos” [Robinett]
3
Aplicações
n Medicina
Aplicações
n Militar
Aplicações
n Jogos
Aplicações
n Entretenimento
Aplicações
n Busca de informações
Aplicações
n Projetos de Engenharia
4
Aplicações
n Fabricação e manutenção
Aplicações
n Manuais
Aplicações
n Consumo e comércio
Aplicações
n Esportes
Tecnologiasn Sistemas de Realidade Aumentada
n capturar posicionamento do usuário,gerar os objetos virtuais pertinentes,misturar e apresentar
n aspectos de computação gráfica: okn duas áreas fortes nas pesquisas em RA
n dispositivos de apresentaçãon registro preciso
n interação
Tecnologias: apresentação
n Dispositivos de apresentaçãon tecnologia de vídeo
n video-through Head-Worn Display (HWD)n monitoresn PDAs
n tecnologia ótican see-through HWM
n tecnologia de projeção
5
Tecnologias: apresentação
n Vídeo: monitor e PDA
Tecnologias: apresentação
n Video-through HWD
Tecnologias: apresentação
n See-through HWD
Tecnologias: apresentação
n See-through HWD
Tecnologias: apresentaçãon HWD Video-through x See-through
n compensação de atrasosn opacidaden resoluçãon quantidade de luz, brilho, foco, campo de visãon acomodação do olhon paralaxen segurançan uso para registron custo
Tecnologias: apresentação
n Projeçãon imagens projetadas sobre
objetos reais diretamenten múltiplas projeção em objetos
não planos
6
Tecnologias: apresentação Tecnologias: apresentação
n Projeçãon HWProjectorsn projeção na linha de
visão + objetospreparados com cobertura de material retroreflexivo
n possibilidade de realidade mediada
n uso em grupo
Tecnologias: interaçãon Dispositivos de
interaçãon suportes sobre o
qual são projetadoscomandos
n canetasn tecladosn mouses 6DOFn luvas especiais para
rastreamento dos gestos
n PDA
Tecnologias: registron Registro : problema crucial
n figura “bóia” ou some atrás do objeto realn principal causa: atraso na geração da imagemn alinhamento deve ser acurado
n exemplo : agulha de biópsia!n olho percebe diferenças de um minuto de arcon a diferença de um pixel pode ser percebida
Tecnologia: registron Registro
n para misturar os objetos, devo posicioná-losn para posicioná-los, devo relacionar as coordenadasn para relacionar as coordenadas, devo saber qual é a
cena realn para saber qual é a cena real, devo saber a posição
e orientação do usuárion para saber a posição e orientação do usuário , uso
rastreadores
n observação: há dificuldade de rastreamento em ambientesexternos
Tecnologia: registron Registro
n “outside looking in” e “inside looking out”
n elementos rastreadosn cabeça/capacete,
mãos, objetos que se movem váriosusuários
n tipos de rastreadoresn mecânico, magnético,
ultrassônico, inercial, ótico, vídeo
n pode-se usar umacombinação destes
7
Tecnologia: registron Registro
n a imagem da cenacapturada pelo vídeopode ser usada parafins de registro
n utilização de marcadores: padrõesvisuais, uso de ledsnos objetos
n dificuldade dacolocação de marcadores emambientes externos
Tecnologia: registron Registro
n mais difícil de ser conseguido em ambientesexternos
n normalmente sem marcadoresn baixo alcance dos rastreadoresn percepção de profundidade é dificultadan necessidade de rastrear objetos que se movemn dificuldade para posicionar os objetos em
profundidade
Projetosn Aspectos de Mobilidade
n muito adequada como uma interface de usuário e particularmente poderosa para aplicaçõessensíveis à localização
n o mundo se torna a interface [Höllerer 1999]n ubiqüidade e realidade aumentada
Projetosn Aspectos de Colaboração
n pesquisas direcionadas para:n integração suave com ferramentas e práticas já
existentesn melhoria na colaboração entre usuários próximos e
remotos
Projetos: Columbia/MARSn MARS – Mobile Augmented Reality Systemsn Touring Machine
n primeiro sistema AR para ambiente externo (1996)n guia de localização e consulta sobre pontos de interesse
n Mobile’s Journalist Workstationn apresenta informação multimídia através de “documentários
localizados” que contam a história do campusn inclui apresentação de modelo simplificado de prédios
demolidos e passeio pelo sistema de túneis (fisicamenteinacessível)
Projetos: Columbia/MARSn UI’s for Indoor/Outdoor Collaboration
n usuário “outdoor” pode ser monitorado e guiado através de usuários experts “indoor”
n usuário “outdoor” relata suas impressões ao expertn usuário “indoor” tem acesso ao log de atividades dos usuários
“outdoor”n usuário “indoor” cria , edita e associa informações a objetos
reais
8
Projetos: Columbia/MARS
n Objetivosn testar necessidades do usuário em sistemas
sensíveis a contexton verificar como se dá a colaboração em ambientes
computacionais diferentesn explorar tipos de interface para interagir com um
hiperdocumento “espacializado”n trabalhar com interfaces híbridas de dispositivos de
apresentação
Projetos: Columbia/MARS
n Interfacesn wearable
n notebook com acelerador gráfico 3D e placa de rede wirelessn HWM see-through 800 x 600 e hear-throughn GPS e rastreamento inercial/magnético para orientação
n PDAn com caneta e com trackpad (posicionado atrás) n comunicação via rádio que possibilita controlar o que é
apresentado no HWMn desktop ou projeção indoorn AR imersivo indoor
n HWM see-through 800 x 600n rastreador ultrasônico e inercial 6DOF para cabeça e mãos
Projetos: Columbia/MARS Projetos: Columbia/MARSn Interface
n infos referenciadas no mundo x referenciadas na telan “bandeirinhas” representam nós com informaçõesn menu “ligado” à bandeiran seta indica objeto selecionadon texto brilha quando se aproxima do centron permanência num ponto faz com que ele seja
selecionado
Projetos: Columbia/MARS Projetos: Columbia/MARSn Interface
n dados adicionais são mostrados no PDA, quepossui referências cruzadas com o HWD
n através dos PDAs, usuário revê sua posição e objetos selecionados
n indoor: várias janelas mostram objetosdiferentemente
n indoor: através do menu principal do desktop, o usuário pode criar objetos, como bandeiras oucaminhos, deletá-los ou buscar informaçõessobre eles
9
Projetos: Columbia/MARS
n Reden outdoor/indoor falam-se através da rede wireless do
campus
n Ambiente de desenvolvimenton inclui um módulo que simula no interior um usuário
no exterior
Projetos: Columbia/MARS
n Softwaren aplicação no “backpack”
n recebe informação contínua do sistema GPS, do rastreador de orientação e do trackpad
n gera o gráfico 3D e a interface no HWDn PDA
n possui servidor HTTP próprion BD
n banco relacional que possui modelo do ambiente real e virtualn indoor
n usa plataforma de desenvolvimento com JAVA/JAVA3D para as interfaces desktop e imersiva e para interface com o BD
n outdoor e simulação indoorn plataforma de desenvolvimento : Coterie
Projetos: Columbia/MARS
n Softwares adicionaisn Coterie
n ambiente de prototipagem rápida para desenvolvimento de ambiente virtuais distribuídos
n múltiplos usuários podem operar simultaneamente e interagir com dispositivos de entrada e de apresentaçãoheterogêneos
n segue modelo de programação orientada a objeto, modular e multi-thread
n suporta comunicação distribuída
Projetos: Columbia/MARS
n Softwares adicionaisn MARS Authoring Tool
n ferramenta com interface gráfica 3D para auxiliar nãoprogramadores a criar e editar os “documentárioslocalizados”
Projetos: Columbia/MARS
n Video n OCAR: Outdoor Colaborative Augmented Realityn é um sistema de navegação no espaço urbanon turistas passeiam numa cidade, recebem
informações, fazem anotações e são guiados a destinos selecionados
n enfatizam o potencial da AR quando usada parainformação baseada na localização
n as funcionalidades se apóiam em colaboraçãon sistema necessita informação detalhada do ambiente
do usuário : representação geométrica, elementoscontextuais e de semântica
Projetos: TUWien/OCAR
10
Projetos: TUWien/OCAR
n Hardwaren backpack
n notebook 2Ghz, acelerador gráfico, WinXP
n placa de rede wireless
n DGPS ( posição)
n capaceten see-through HWD estereoscópico
n sensor de orientaçãon câmera para rastreamento
n touchpad vestido no cinto ouPDA
Projetos: TUWien/OCAR
n Softwaren StudierStube:
n plataforma de software usada para o desenvolvimentode aplicações AR
n provê ambiente multi-usuário e multi-taskn suporta uma grande variedade de dispositivos de
apresentaçãon suporta rastreamento 6DOF, com um middleware
chamado OpenTrackern extensões do OpenInventorn mudanças numa parte da cena são comunicadas a outras
instâncias da aplicação de maneira transparente para o programador
Projetos: TUWien/OCAR
n Softwaren OpenInventor
n toolkit 3D orientado a objeto que oferece soluções paraproblemas de programação gráfica interativa
n Interfacen usa objetos gráficos, texto, imagens e objetos 3D
para prover informação abstrata e representaçãoalternativa ou enfatizar aspectos do mundo real
n controle via touchpadn opção entre busca de informações, navegação e
anotação
Projetos: TUWien/OCAR
n Busca de informaçõesn ícones sinalizam existência informaçõesn seleção feita “olhando-se” para o íconen interseção do “raio virtual” com marcação na
representação geométrica do prédion grupo de ícones pode ser selecionadon colaboração:
n usuários podem compartilhar sua seleção de tópicosn guias podem controlar a seleção para um grupo de
turistasn usuário pode disparar informações detalhadas no
visor do outro usuário
Projetos: TUWien/OCAR
n Anotaçõesn usuários podem colocar ícones virtuais nas
estruturas e prédiosn ícones:
n podem ter cores e formas diferentesn recebem o nome de seu criador
n colaboração: n usuário podem compartilhar íconesn usuário pode apontar objetos para outros usuários
Projetos: TUWien/OCAR
11
n Navegaçãon menor caminho é computadon usuário escolhe destinon barras e setas indicam o caminhon reatividade: caminho é recomputado se usuário
não segue o caminho proposton informação adicional caso o usuário esteja
olhando na direção erradan modos de colaboração: follow, guide, meet
Projetos: TUWien/OCAR
n Gerenciamento dos dadosn há necessidade modelo dos dados
referenciados pela localizaçãon sistema utiliza um BD XML para um modelo
comum às várias aplicaçõesn dados de entrada são transformados para
serem armazenados no BD XMLn cada aplicação tratará as informações
necessárias e da forma desejada
Projetos: TUWien/OCAR
n Gerenciamento dos dadosn arquitetura em 3 camadas:
n camada 1: BD central que armazena todo o modelon camada 2: converte o modelo da BD em estruturas
próprias para a aplicação e vice-versan camada 3: a aplicação propriamente dita
Projetos: TUWien/OCAR Projetos: TUWien/OCAR
n Observações e conclusõesn elementos de colaboração enriqueceram o sisteman base de dados integrada entre aplicacões provê
escalabilidade de aplicações sensíveis à localizaçãon resultados do GPS não são acuradosn área deve ser aberta: prédios altos bloqueiam
acesso ao satéliten utilização do StudierStube facilitou
desenvolvimento
Projetos: TUWien/OCAR
n Vídeo
Projetos: TUWien/OCAR
12
n Outros vídeosn Projeto SignPostn The Invisible Train
(Video) Conclusão
n Questões a seremtrabalhadasn necessidade de melhoria das tecnologias básicas
n equipamentos de melhor qualidade e mais confortáveis, leves, baratos , com menor consumo de energia
n precisão do registron oclusãon profundidade de campo
n soluções para ambientes externos são desafion registro e rastreamenton ainda com restrições , muitos equipamentos e custo alton em poucos casos poderão ser colocados marcadoresn gps ainda impreciso e necessita de visada
Conclusão
n Questões a seremtrabalhadasn problemas de mais alto nível começam a ser
estudadosn tipos de interface adequadas para o usuárion maior diversidade de dispositivosn tratamento dos diversos tipos de conteúdon localização adequada dos dados n representação dos dadosn possibilidade de fazer consultas e obter respostasn filtragem de informaçõesn sobrecarga de informaçãon rendering foto- jornalísticon conforto do usuário
Conclusão
n Mobilidaden utilizada como infra-estruturan grande potencial com aplicações sensíveis à
localizaçãon “WorldBoard”: um hipertexto espacial, com
abrangência mundial, de informações ancoradas a locais e objetos físicos [Spohorer 1997]
Conclusão
n Colaboraçãon compartilhamento e conflito/colisãon privacidaden aspectos de interface para melhoria da colaboração
Conclusão
n Outras questõesn aceitação socialn dificuldade de acesso aos recursos de RA
n Novas oportunidadesn benefícios são claros
13
Referênciasn [Azuma 1997] Azuma, Ronald T. “A Survey of Augmented Reality. Presence:
Teleoperatorsand Virtual Environments” 6, 4 ( Agosto 1997), 355 - 385. Versão anterior foi apresentada em CourseNotes #9: Developing Advanced Virtual RealityApplications, ACM SIGGRAPH '95 ( Los Angeles, CA, 6-11 Agosto 1995), 20-1 a 20-38, disponível em http://www.cs.unc.edu/~azuma/ARpresence.pdf
n [Azuma 2001] Azuma, R. Baillot, Y, Behringer , R, Feiner, S, Julier, S. MacIntyre, B. “Recent Advances in Augmented Reality”. IEEE ComputerGraphics andApplications 21, 6 (Novembro/Dezembro 2001), disponível em www.cs.unc.edu/~azuma/cga2001.pdf
n [Milgram 1994] Milgram, P. and F. Kishino (1994). "A Taxonomy of Mixed Reality Visual Displays." IEICE Transactions on Information Systems, Vol E77-D, No.12 December 1994. Disponível em http://vered.rose.utoronto.ca/people/paul_dir/IEICE94/ieice.html
n [Robinett] Citado em Azuma 1997n [Spohrer] Spohrer, J. “What comes after the WWW?, ISITalk1997
http://www.worldboard.org/pub/spohrer/wbconcept/default.htmln Para outras referências, veja a bibliografia da monografia.