Agenda Colaboração Móvel com Conceitos Realidade Aumentada …€¦ · 5 Tecnologias: apresentação n Vídeo: monitor e PDA Tecnologias: apresentação n Video-through HWD Tecnologias:

1

Colaboração Móvel com Realidade Aumentada

Denise Del Re FilippoComputação Móvel - 2004.1

Agenda

n Conceitosn Aplicaçõesn Tecnologiasn Projetosn Conclusão

Conceitosn Realidade Virtual

n “ambiente tridimensional, interativo e gerado porcomputador no qual a pessoa é imersa” [Aukstakalnis e Blatner, 1992]

n “é uma interface avançada para aplicaçõescomputacionais, onde o usuário pode navegar e interagir , em tempo real, em um ambientetridimensional gerado por computador, usando dispositivos multisensoriais” [Kirner, a publicar]

Conceitosn Realidade Aumentada

n é o enriquecimento do ambiente real com objetosvirtuais, usando algumdispositivo tecnológico, funcionando em tempo real [Kirner]

n é uma melhoria do mundo real com textos, imagens e objetosvirtuais, gerados porcomputador” [Insley]

Conceitos

n Realidade Aumentada [Azuma 2001]n “sistema que possui as seguintes características:

n combina objetos reais e virtuais num ambiente real;n opera interativamente, e em tempo real, en registra (alinha) objetos reais e virtuais uns com os

outros”

n metan ambiente deve parecer real o suficiente para que

não se perceba o que é real e o que é virtual

Conceitosn Realidade Aumentada

n não se restringe a tecnologias particulares, comoHMD (Head Mounted Display)

n não se limita ao sentido da visãon inclui remoção de objetos reais (chamada por

alguns de realidade mediada ou realidadediminuída)

2

Conceitosn Diferenças entre RA x RV

n nível de imersão no sisteman gerador de cenas

n em RA a renderização não é o maior problema , poissubstituição total da realidade não é necessária

n dispositivos de apresentaçãon também por não precisar substituir a realidade,

dispositivos de apresentação não têm que ter excelenteresolução e podem até ser P&B

n erros de registro (alinhamento)n rastreamento e sensoreamento

Conceitos

n Diferenças entre RA x RVn dados de entrada e de saída

n VR: poucos dados de entrada e muitos de saídan RA: muitos dados de entrada e poucos de saída

Conceitos

n “Continuum” de Milgran (1994):n ambiente real-ambiente imaginário

n Realidade Misturadan realidade aumentada, quando há

predominância do real sobre o virtualn virtualidade aumentada, quando há

predominância do virtual sobre o real

Conceitos

n Realidade Misturada [Milgram]n “é aquela na qual os objetos do mundo real e do

mundo virtual são apresentados juntos através de um único dispositivo de apresentação, ou seja, emqualquer lugar entre os extremos do virtualitycontinuum”.

Conceitosn Histórico da RA

n Sutherland – em 1960, usou um HWD see-through para apresentar gráficos 3D

n voltou a ser estudada a partir de 1990n 1997 - Survey de Ronald Azuma

n atualizado em 2001n final da década de 90

n trabalhos se aceleraramn primeiras conferênciasn primeiras organizações

n Toolkit “free” para desenvolvimento rápido de aplicações RA: ARToolkit

Aplicações

n Motivaçãon “pode ser útil em qualquer aplicação que

apresente informação não diretamentedisponível ou não percebida pelos sentidoshumanos” [Robinett]

3

Aplicações

n Medicina

Aplicações

n Militar

Aplicações

n Jogos

Aplicações

n Entretenimento

Aplicações

n Busca de informações

Aplicações

n Projetos de Engenharia

4

Aplicações

n Fabricação e manutenção

Aplicações

n Manuais

Aplicações

n Consumo e comércio

Aplicações

n Esportes

Tecnologiasn Sistemas de Realidade Aumentada

n capturar posicionamento do usuário,gerar os objetos virtuais pertinentes,misturar e apresentar

n aspectos de computação gráfica: okn duas áreas fortes nas pesquisas em RA

n dispositivos de apresentaçãon registro preciso

n interação

Tecnologias: apresentação

n Dispositivos de apresentaçãon tecnologia de vídeo

n video-through Head-Worn Display (HWD)n monitoresn PDAs

n tecnologia ótican see-through HWM

n tecnologia de projeção

5


n Vídeo: monitor e PDA


n Video-through HWD


n See-through HWD


n See-through HWD

Tecnologias: apresentaçãon HWD Video-through x See-through

n compensação de atrasosn opacidaden resoluçãon quantidade de luz, brilho, foco, campo de visãon acomodação do olhon paralaxen segurançan uso para registron custo


n Projeçãon imagens projetadas sobre

objetos reais diretamenten múltiplas projeção em objetos

não planos

6

Tecnologias: apresentação Tecnologias: apresentação

n Projeçãon HWProjectorsn projeção na linha de

visão + objetospreparados com cobertura de material retroreflexivo

n possibilidade de realidade mediada

n uso em grupo

Tecnologias: interaçãon Dispositivos de

interaçãon suportes sobre o

qual são projetadoscomandos

n canetasn tecladosn mouses 6DOFn luvas especiais para

rastreamento dos gestos

n PDA

Tecnologias: registron Registro : problema crucial

n figura “bóia” ou some atrás do objeto realn principal causa: atraso na geração da imagemn alinhamento deve ser acurado

n exemplo : agulha de biópsia!n olho percebe diferenças de um minuto de arcon a diferença de um pixel pode ser percebida

Tecnologia: registron Registro

n para misturar os objetos, devo posicioná-losn para posicioná-los, devo relacionar as coordenadasn para relacionar as coordenadas, devo saber qual é a

cena realn para saber qual é a cena real, devo saber a posição

e orientação do usuárion para saber a posição e orientação do usuário , uso

rastreadores

n observação: há dificuldade de rastreamento em ambientesexternos


n “outside looking in” e “inside looking out”

n elementos rastreadosn cabeça/capacete,

mãos, objetos que se movem váriosusuários

n tipos de rastreadoresn mecânico, magnético,

ultrassônico, inercial, ótico, vídeo

n pode-se usar umacombinação destes

7


n a imagem da cenacapturada pelo vídeopode ser usada parafins de registro

n utilização de marcadores: padrõesvisuais, uso de ledsnos objetos

n dificuldade dacolocação de marcadores emambientes externos


n mais difícil de ser conseguido em ambientesexternos

n normalmente sem marcadoresn baixo alcance dos rastreadoresn percepção de profundidade é dificultadan necessidade de rastrear objetos que se movemn dificuldade para posicionar os objetos em

profundidade

Projetosn Aspectos de Mobilidade

n muito adequada como uma interface de usuário e particularmente poderosa para aplicaçõessensíveis à localização

n o mundo se torna a interface [Höllerer 1999]n ubiqüidade e realidade aumentada

Projetosn Aspectos de Colaboração

n pesquisas direcionadas para:n integração suave com ferramentas e práticas já

existentesn melhoria na colaboração entre usuários próximos e

remotos

Projetos: Columbia/MARSn MARS – Mobile Augmented Reality Systemsn Touring Machine

n primeiro sistema AR para ambiente externo (1996)n guia de localização e consulta sobre pontos de interesse

n Mobile’s Journalist Workstationn apresenta informação multimídia através de “documentários

localizados” que contam a história do campusn inclui apresentação de modelo simplificado de prédios

demolidos e passeio pelo sistema de túneis (fisicamenteinacessível)

Projetos: Columbia/MARSn UI’s for Indoor/Outdoor Collaboration

n usuário “outdoor” pode ser monitorado e guiado através de usuários experts “indoor”

n usuário “outdoor” relata suas impressões ao expertn usuário “indoor” tem acesso ao log de atividades dos usuários

“outdoor”n usuário “indoor” cria , edita e associa informações a objetos

reais

8

Projetos: Columbia/MARS

n Objetivosn testar necessidades do usuário em sistemas

sensíveis a contexton verificar como se dá a colaboração em ambientes

computacionais diferentesn explorar tipos de interface para interagir com um

hiperdocumento “espacializado”n trabalhar com interfaces híbridas de dispositivos de

apresentação


n Interfacesn wearable

n notebook com acelerador gráfico 3D e placa de rede wirelessn HWM see-through 800 x 600 e hear-throughn GPS e rastreamento inercial/magnético para orientação

n PDAn com caneta e com trackpad (posicionado atrás) n comunicação via rádio que possibilita controlar o que é

apresentado no HWMn desktop ou projeção indoorn AR imersivo indoor

n HWM see-through 800 x 600n rastreador ultrasônico e inercial 6DOF para cabeça e mãos

Projetos: Columbia/MARS Projetos: Columbia/MARSn Interface

n infos referenciadas no mundo x referenciadas na telan “bandeirinhas” representam nós com informaçõesn menu “ligado” à bandeiran seta indica objeto selecionadon texto brilha quando se aproxima do centron permanência num ponto faz com que ele seja

selecionado

Projetos: Columbia/MARS Projetos: Columbia/MARSn Interface

n dados adicionais são mostrados no PDA, quepossui referências cruzadas com o HWD

n através dos PDAs, usuário revê sua posição e objetos selecionados

n indoor: várias janelas mostram objetosdiferentemente

n indoor: através do menu principal do desktop, o usuário pode criar objetos, como bandeiras oucaminhos, deletá-los ou buscar informaçõessobre eles

9


n Reden outdoor/indoor falam-se através da rede wireless do

campus

n Ambiente de desenvolvimenton inclui um módulo que simula no interior um usuário

no exterior


n Softwaren aplicação no “backpack”

n recebe informação contínua do sistema GPS, do rastreador de orientação e do trackpad

n gera o gráfico 3D e a interface no HWDn PDA

n possui servidor HTTP próprion BD

n banco relacional que possui modelo do ambiente real e virtualn indoor

n usa plataforma de desenvolvimento com JAVA/JAVA3D para as interfaces desktop e imersiva e para interface com o BD

n outdoor e simulação indoorn plataforma de desenvolvimento : Coterie


n Softwares adicionaisn Coterie

n ambiente de prototipagem rápida para desenvolvimento de ambiente virtuais distribuídos

n múltiplos usuários podem operar simultaneamente e interagir com dispositivos de entrada e de apresentaçãoheterogêneos

n segue modelo de programação orientada a objeto, modular e multi-thread

n suporta comunicação distribuída


n Softwares adicionaisn MARS Authoring Tool

n ferramenta com interface gráfica 3D para auxiliar nãoprogramadores a criar e editar os “documentárioslocalizados”


n Video n OCAR: Outdoor Colaborative Augmented Realityn é um sistema de navegação no espaço urbanon turistas passeiam numa cidade, recebem

informações, fazem anotações e são guiados a destinos selecionados

n enfatizam o potencial da AR quando usada parainformação baseada na localização

n as funcionalidades se apóiam em colaboraçãon sistema necessita informação detalhada do ambiente

do usuário : representação geométrica, elementoscontextuais e de semântica

Projetos: TUWien/OCAR

10


n Hardwaren backpack

n notebook 2Ghz, acelerador gráfico, WinXP

n placa de rede wireless

n DGPS ( posição)

n capaceten see-through HWD estereoscópico

n sensor de orientaçãon câmera para rastreamento

n touchpad vestido no cinto ouPDA


n Softwaren StudierStube:

n plataforma de software usada para o desenvolvimentode aplicações AR

n provê ambiente multi-usuário e multi-taskn suporta uma grande variedade de dispositivos de

apresentaçãon suporta rastreamento 6DOF, com um middleware

chamado OpenTrackern extensões do OpenInventorn mudanças numa parte da cena são comunicadas a outras

instâncias da aplicação de maneira transparente para o programador


n Softwaren OpenInventor

n toolkit 3D orientado a objeto que oferece soluções paraproblemas de programação gráfica interativa

n Interfacen usa objetos gráficos, texto, imagens e objetos 3D

para prover informação abstrata e representaçãoalternativa ou enfatizar aspectos do mundo real

n controle via touchpadn opção entre busca de informações, navegação e

anotação


n Busca de informaçõesn ícones sinalizam existência informaçõesn seleção feita “olhando-se” para o íconen interseção do “raio virtual” com marcação na

representação geométrica do prédion grupo de ícones pode ser selecionadon colaboração:

n usuários podem compartilhar sua seleção de tópicosn guias podem controlar a seleção para um grupo de

turistasn usuário pode disparar informações detalhadas no

visor do outro usuário


n Anotaçõesn usuários podem colocar ícones virtuais nas

estruturas e prédiosn ícones:

n podem ter cores e formas diferentesn recebem o nome de seu criador

n colaboração: n usuário podem compartilhar íconesn usuário pode apontar objetos para outros usuários


11

n Navegaçãon menor caminho é computadon usuário escolhe destinon barras e setas indicam o caminhon reatividade: caminho é recomputado se usuário

não segue o caminho proposton informação adicional caso o usuário esteja

olhando na direção erradan modos de colaboração: follow, guide, meet


n Gerenciamento dos dadosn há necessidade modelo dos dados

referenciados pela localizaçãon sistema utiliza um BD XML para um modelo

comum às várias aplicaçõesn dados de entrada são transformados para

serem armazenados no BD XMLn cada aplicação tratará as informações

necessárias e da forma desejada


n Gerenciamento dos dadosn arquitetura em 3 camadas:

n camada 1: BD central que armazena todo o modelon camada 2: converte o modelo da BD em estruturas

próprias para a aplicação e vice-versan camada 3: a aplicação propriamente dita

Projetos: TUWien/OCAR Projetos: TUWien/OCAR

n Observações e conclusõesn elementos de colaboração enriqueceram o sisteman base de dados integrada entre aplicacões provê

escalabilidade de aplicações sensíveis à localizaçãon resultados do GPS não são acuradosn área deve ser aberta: prédios altos bloqueiam

acesso ao satéliten utilização do StudierStube facilitou

desenvolvimento


n Vídeo


12

n Outros vídeosn Projeto SignPostn The Invisible Train

(Video) Conclusão

n Questões a seremtrabalhadasn necessidade de melhoria das tecnologias básicas

n equipamentos de melhor qualidade e mais confortáveis, leves, baratos , com menor consumo de energia

n precisão do registron oclusãon profundidade de campo

n soluções para ambientes externos são desafion registro e rastreamenton ainda com restrições , muitos equipamentos e custo alton em poucos casos poderão ser colocados marcadoresn gps ainda impreciso e necessita de visada

Conclusão

n Questões a seremtrabalhadasn problemas de mais alto nível começam a ser

estudadosn tipos de interface adequadas para o usuárion maior diversidade de dispositivosn tratamento dos diversos tipos de conteúdon localização adequada dos dados n representação dos dadosn possibilidade de fazer consultas e obter respostasn filtragem de informaçõesn sobrecarga de informaçãon rendering foto- jornalísticon conforto do usuário

Conclusão

n Mobilidaden utilizada como infra-estruturan grande potencial com aplicações sensíveis à

localizaçãon “WorldBoard”: um hipertexto espacial, com

abrangência mundial, de informações ancoradas a locais e objetos físicos [Spohorer 1997]

Conclusão

n Colaboraçãon compartilhamento e conflito/colisãon privacidaden aspectos de interface para melhoria da colaboração

Conclusão

n Outras questõesn aceitação socialn dificuldade de acesso aos recursos de RA

n Novas oportunidadesn benefícios são claros

13

Referênciasn [Azuma 1997] Azuma, Ronald T. “A Survey of Augmented Reality. Presence:

Teleoperatorsand Virtual Environments” 6, 4 ( Agosto 1997), 355 - 385. Versão anterior foi apresentada em CourseNotes #9: Developing Advanced Virtual RealityApplications, ACM SIGGRAPH '95 ( Los Angeles, CA, 6-11 Agosto 1995), 20-1 a 20-38, disponível em http://www.cs.unc.edu/~azuma/ARpresence.pdf

n [Azuma 2001] Azuma, R. Baillot, Y, Behringer , R, Feiner, S, Julier, S. MacIntyre, B. “Recent Advances in Augmented Reality”. IEEE ComputerGraphics andApplications 21, 6 (Novembro/Dezembro 2001), disponível em www.cs.unc.edu/~azuma/cga2001.pdf

n [Milgram 1994] Milgram, P. and F. Kishino (1994). "A Taxonomy of Mixed Reality Visual Displays." IEICE Transactions on Information Systems, Vol E77-D, No.12 December 1994. Disponível em http://vered.rose.utoronto.ca/people/paul_dir/IEICE94/ieice.html

n [Robinett] Citado em Azuma 1997n [Spohrer] Spohrer, J. “What comes after the WWW?, ISITalk1997

http://www.worldboard.org/pub/spohrer/wbconcept/default.htmln Para outras referências, veja a bibliografia da monografia.

Documents

Agenda Colaboração Móvel com Conceitos Realidade Aumentada …€¦ · 5 Tecnologias: apresentação n Vídeo: monitor e PDA Tecnologias: apresentação n Video-through HWD Tecnologias: