View
214
Download
0
Category
Preview:
Citation preview
Realidade Aumentada 06/08/2013
Prof. Sementille 1
Realidade Aumentada
Prof. Dr. Antonio Carlos SementilleDepartamento de Computação/FCsemente@fc.unesp.br
Sumário da ApresentaçãoI – VISÃO GERAL DE REALIDADE VIRTUAL
E REALIDADE AUMENTADA
Introdução - Interfaces
Realidade Virtual: Definição e Caracterização
Realidade Combinada e Realidade Aumentada (RA)
Realidade Aumentada X Realidade Virtual
Componentes de um Sistema RA Típico
Principais Áreas de Aplicação da RA
1 –VISÃO GERAL DE REALIDADE VIRTUAL E REALIDADE AUMENTADA
Introdução
Antes do advento do computador eletrônico: uso de interfaces naturais (sentidos)
Computador eletrônico◦ Novo processo de interação◦ Abstração◦ Treinamento
Convergência de dois conceitos antagônicos: fusão do real com o virtual
Introdução
Interfaces:◦ Décadas de 40 e 50 Chaves e lâmpadas
Introdução Ex.: UNIVAC – década de 50
UNIVAC COMPUTER COMMERCIAL 1950s(360p_H.264-AAC).mp4 - Atalho.lnk
Realidade Aumentada 06/08/2013
Prof. Sementille 2
Introdução Interfaces:◦ Década de 60 Consoles sem vídeo – saída impressa
Introdução
Interfaces:◦ Década de 60 Terminais com vídeo – primeiras interfaces gráficas
rudimentares
Introdução
Interfaces:◦ Décadas de 70 e 80 Popularização do Microcomputador Inicialmente: interface baseada em texto
Interface gráfica e uso de recursos multimídia
Interface Gráfica do computador Xerox Alto
Interface texto –Sistema DOS
Introdução
Interfaces:◦ Décadas de 70 e 80 Interface gráfica e uso de recursos multimídia
Interface Gráfica do computador Macintosh de 1984
Interface – Windows 1.0
Realidade Virtual
Termo criado por Jaron Lanier – final década de 80
Convergência de dois conceitos antagônicos: fusão do real com o virtual
Definição de Realidade Virtual
É uma interface avançada para aplicações computacionais, onde o usuário pode navegar e interagir, em tempo real, em um ambiente tridimensional gerado por computador, usando dispositivos multisensoriais
Realidade Aumentada 06/08/2013
Prof. Sementille 3
Histórico
Histórico◦ Meados da década de 50
Sensorama
◦ Mort Heilig (cineasta) Visão tridimensional, som estéreo, vibração, vento,
aroma passeando por NY
Histórico - Sensorama
Histórico - Sensorama
Morton Heilig's Sensorama (Interview).mov(360p_H.264-AAC).mp4 - Atalho.lnk
Histórico - Cinemascope
Histórico◦ 1962 - Ivan Sutterland – Sketch Pad
Sketchpad, by Dr. Ivan Sutherland with comments by Alan Kay.avi - Atalho.lnk
Histórico◦ 1968 - Ivan Sutterland, Univ. de Harvard, capacete com
imagens geradas por computador
Realidade Aumentada 06/08/2013
Prof. Sementille 4
Histórico
◦ 1977 a 1982 - Primeiras luvas
CARACTERIZAÇÃO DE REALIDADE VIRTUAL (RV)Junção de três idéias básicas:◦ Imersão◦ Interação◦ Envolvimento
Estas três idéias deverão coexistir em um sistema de Realidade Virtual
Imersão◦ Sentimento proporcionado por estar dentro
do ambiente sintético◦ Depende do dispositivo externo empregado
Com capacete (imersivo) Limitações técnicas e problemas no uso do capacete
Sem capacete (não imersivo) Acompanha a evolução dos computadores
Interação◦ Capacidade do computador detectar as
entradas do usuário e modificar instantaneamente o mundo virtual e as ações sobre ele◦ Capacidade reativa
Envolvimento◦ Grau de motivação para o engajamento de
uma pessoa a uma atividade
O que é e o que não é RV
O que não é RV:◦ Filmes ◦ Desenhos animados◦ Efeitos especiais
Realidade Aumentada 06/08/2013
Prof. Sementille 5
O que é e o que não é RV
O que é RV:◦ Alguns Videogames tridimensionais◦ Sistemas de visualização 3D e Simuladores de
Vôo (desde que permitam interação em tempo real)
Alguns Dispositivos de Entrada de um Sistema de RV (não convencionais)
Mouse 3D
Luvas de Dados(DataGlove)
Vestimentas comrastreadores corporaisExoesqueleto
Alguns Dispositivos de Entrada de um Sistema de RV (não convencionais)
Motion Capture – expressõesfaciais
Alguns Dispositivos de Entrada de um Sistema de RV (não convencionais)
VirtuSphere
Virtusphere 3D Game Interface(medium_H.264-AAC).avi - Atalho.lnk
Dispositivos de Saída: Tecnologias de Display
O mais simples◦ Monitor comum (RV não imersiva)
Head Mounted Displays (HMD)◦ Imersivo
Para fazer estéreo, uma imagem diferente para cada olho◦ Trivial nos HMDs◦ Uso de “shutter glasses” left & right imagens entrelaçadas
◦ Óculos polarizados ou óculos red/blue left & right imagens superpostas
(ótica)
Dispositivos de Saída: Tecnologias de Display
Projection displays◦ CAVE-type ◦ ImmersaDesk (Univ. de Chicago)
ImmersaDeskCave VR
Realidade Aumentada 06/08/2013
Prof. Sementille 6
Dispositivos de Saída: Tecnologias de Display
◦ CAVE-type
CAVE® - A Virtual Reality Theater - 1993(240p_H.264-AAC).mp4 - Atalho.lnk
Dispositivos de Saída: Tecnologias de Display
Exemplo de CAVE - iCube
EON Reality - Virtual Reality Solutions(360p_H.264-AAC).mp4 - Atalho.lnk
REALIDADE COMBINADA (Mixed Reality)
Pode ser definida como a sobreposição de objetos virtuais tridimensionais, gerados por computador, com o ambiente físico, mostrada ao usuário com apoio de algum dispositivo tecnológico, em tempo real
REALIDADE COMBINADA
Realidade Aumentada é um sistema quesuplementa o mundo real com objetosvirtuais gerados por computador,parecendo coexistir no mesmo espaçoAZUMA et al (2001).
REALIDADE AUMENTADA (RA)Uma Definição
Uma “área de investigação” que pretende
Desenvolver mundos que combinem
◦ O mundo real observado pelo usuário◦ Com uma cena virtual gerada por
computador e que aumente o mundo real com informação adicional.
E com os quais o usuário possa
interagir em Tempo Real
de Realidade Aumentada
Realidade Aumentada 06/08/2013
Prof. Sementille 7
Objetivo Principal da RA
Criar um sistema tal que o usuário não consiga distinguir o mundo real do virtualmente aumentado
Ao usuário de tal “utopia” parecer-lhe-ia estar num mundo perfeitamente real
Realidade AumentadaUm exemplo
O Bule está
absolutamente
inserido
no Mundo Real
Virtualidade Aumentada (V.A.)
Sistemas onde imagens e
objetos reais são inseridos em um
mundo predominantemente gerado por computador.
ISMAR_TEATRO_INTERATIVO_MI2.avi - Atalho.lnk
RA versus RV
Realidade Virtual Imersiva: a imersão no mundo virtual é total.◦ Ao usuário é completamente negado o
acesso ao mundo real
Realidade Aumentada: a imersão no mundo real é total.◦ O usuário vê o mundo real que o
rodeia...mas com objetos virtuais embutidos nesse mundo real
RA versus “Hollywood Movies”
Muitos dos efeitos especiais recorrem à composição de imagens reais e virtuais
Mas:◦ Os efeitos especiais são aplicados quadro a
quadro sobre um “produto acabado”◦ O espectador não pode interagir com o filme
Não é Realidade Aumentada
Outro exemplo:RA com efeitos especiais
BULE_INDEPENDENCY_DAY.AVI - Atalho.lnk
Realidade Aumentada 06/08/2013
Prof. Sementille 8
Tecnologias
Interfaces com o Usuário
Visualização Rastreamento
Rastre
ame
nto
Interfaces com o Usuário
Visual
Acústica
Haptic/Tangível
Interfaces com o Usuário: Visual
Reconhecimento de Gestos
Exemplo:◦ MIT‘s KidsRoom (1996):
Integração Temporal
Interfaces com o Usuário: Visual
◦ Leap Motion
Leap Motion(720p_H.264-AAC).mp4 - Atalho.lnk
Interfaces com o Usuário: Acústica
2 Partes◦ Síntese de Voz◦ Reconhecimento de Voz
Interfaces acústicas são combinadas com outras modalidades
1st Augmented Reality Voice Recognition- Starring Hatsune Miku.mp4 - Atalho.lnk
Interfaces com o Usuário: Haptic/Tangível
Joystick, 3D-Mouse Objetos tangíveis◦ Exemplos:
CAR, SHEEP e o PIP do Studierstube
Luvas de toque
Realidade Aumentada 06/08/2013
Prof. Sementille 9
Visualização: Formas de Visualização
Dispositivos de visualização◦ HMDs◦ PDAs◦ Projeção◦ Monitores
Tridimensionalidade◦ Displays separados◦ Projeção polarizada◦ Projeção com anaglifo◦ Divisão de tempo
Tecnologias para Visualização
Baseadas em monitor (fish tank)
MundoReal
SistemaGráfico
Posição da Câmera
ImagemVideo
Misturadorde Video
RealidadeAumentada
(opcionalmente em Stereo)
Video Aumentado
ObjetosVirtuais
Capacete de RA
Video See Through
Mundo Real
SistemaGráfico
ImagemVideo
Misturadorde Video
ObjetosVirtuais
Posição da Cabeça
Video Aumentado
Monitores
Visão do
Usuário
Tecnologias para VisualizaçãoVideo See Through
Tecnologias para Visualização
Optical See Through
Mundo Real
SistemaGráfico
Capacete de RA
ObjetosVirtuais
Posição da Cabeça
Monitores
Visão do
UsuárioLente
(Mistura Óptica)
Tecnologias para Visualização Tecnologias de Apresentação
Optical See Through
Realidade Aumentada 06/08/2013
Prof. Sementille 10
Tecnologias de Apresentação
Optical See Through
Tecnologias de Apresentação
Optical See ThroughGoogle Glass – Demo
Google Glasses Project Glass demo(720p_H.264-AAC).mp4 - Atalho.lnk
Tecnologias de ApresentaçãoOptical See Through
Google Glass – teste Veja
Testamos o Google Glass(720p_H.264-AAC).mp4 - Atalho.lnk
Tecnologias de ApresentaçãoOptical See Through
Head-mounted display projects directly onto the retina
Head-mounted display projects directly onto the retina _ DigInfo(720p_H.264-AAC).mp4 - Atalho.lnk
Optical versus Video
prós◦ o mundo real é “realmente” observado em tempo
real e diretamente pelo olho humano
contras: ◦ é mais difícil controlar as defasagens porque só o
canal virtual é processado eletronicamente
conclusão:◦ aparentemente mais simples torna-se de utilização
mais limitada◦ Tem sido abandonado em favor do Video See
through
Optical See-Through
Optical versus Video
prós◦ Podemos compensar o alinhamento e a latência porque
tanto o mundo real (video) como o virtual são processados eletronicamente.
contras: ◦ O mundo real observado está sempre atrasado em
relação ao mundo real de fato (pelo menos um quadro ou 30 ms)
conclusões: ◦ Aparentemente mais complexo é mais controlável◦ Tem ganho preponderância sobre o Optical See
through
Video See-Through
Realidade Aumentada 06/08/2013
Prof. Sementille 11
Realidade Aumentada EspacialRealidade Aumentada Espacial
Exemplo 1 – Digital AirBrushing
Digitial Airbrushing with Spatial Augmented Reality(360p_H.264-AAC).mp4 - Atalho.lnk
Realidade Aumentada Espacial
Exemplo 2 – Opera com RA Espacial
A Spatially Augmented Reality Opera Performance(360p_H.264-AAC).mp4 - Atalho.lnk
Visualização: Combinando Real e Virtual
Optical see through Video see through◦ Chroma keying
Problema da Oclusão◦ Rastrear todos os objetos reais◦ Construção de Mapas de Profundidade a
partir de imagens estéreo◦ Técnicas especiais de projeção
Visualização: Desafios
Contraste Brilho Resolução Campo de Visão Segurança
Rastreamento: Métodos
Rastreamento Óptico
Marcadores◦ Esferas IR ◦ Cartões
(marcadores passivos)◦ Formas e/ou
texturas existentes no ambiente
Realidade Aumentada 06/08/2013
Prof. Sementille 12
Rastreamento: Desafios
Erros Estáticos◦ Distorções ópticas
◦ Configuração imprópria
◦ Desalinhamento mecânico
◦ Estratégias Cuidado Algoritmos para
Autocalibração
Erros Dinâmicos◦ Atrasos relacionados ao
Hardware
◦ Atrasos relacionados ao software
◦ Estratégias Aumentar a velocidade de
processamento Renderização avançada Predizer o futuro
Tecnologias de Rastreamento Tecnologias de Radiolocação
Fraca precisão… mas aplicáveis em grandes espaços
Tecnologias Magnéticas Objetos metálicos introduzem erros...(abandonada...)
Tecnologias Ópticas Diodos sensíveis à luz no teto - emissores luminosos no HMD -
algoritmo calcula deslocamentos.
Metodologias Gráficas (RA sem calibragem) Cálculos e transformações geométricas com base na imagem.
Só para Video See Through.
Tecnologias Híbridas Tecnologia Óptica (rude) - Métodos Gráficos (fino) Tecnologias de radiolocação - Ópticas e Gráficas (para grandes
espaços)
Vemos demasiado bem!
Um Sistema TípicoEnfrenta Um Grande Problema
Distinguimos o real do virtual
Melhor desempenho dos sistemas gráficos
leva a mundos virtuaismais realistas
DefasagemEspacial
entre o mundo real e o objeto virtual
(registration)DefasagemTemporal
entre o mundo real e o objeto virtual
(latency)
Principal Campo de Investigação na Realidade Aumentada
Realidade Aumentada
PrincipaisAplicações
Realidade AumentadaDomínios aplicacionais
Educação Entretenimento Manutenção e reparo Televisão Comércio Militar Projetos de Engenharia Robótica e Telerobótica Medicina
Aplicações de Realidade Aumentada
Educação
Interactive Media Systems Group,Vienna University of Technology)
Ambiente colaborativo do sistema Construct3D
Construct3D-2.avi
Realidade Aumentada 06/08/2013
Prof. Sementille 13
http://www.cs.columbia.edu/graphics/projects/karma
PS3 – EYE OF JUDGEMENT
Aplicações de Realidade AumentadaEntretenimento - Games
Jogo de Batalha baseado em Cards
Realidade Virtual Colaborativa
PS3 – EYE OF JUDGEMENT
Aplicações de Realidade AumentadaEntretenimento - Games
Eye of Judgement Overview (HD)(720p).avi - Atalho.lnk
Parrot AR.Drone
Aplicações de Realidade AumentadaEntretenimento - Games
Parrot AR.Drone (video 1) – visão geral
Aplicações de Realidade AumentadaEntretenimento - Games
Flight Recorder GPS Tutorial(720p_H.264-AAC).mp4 - Atalho.lnk
Parrot AR.Drone (video 2) – Realidade Aumentada
Aplicações de Realidade AumentadaEntretenimento - Games
NEW GAME_ AR.RESCUE 2 _Free App_(720p_H.264-AAC).mp4 - Atalho.lnk http://www.cs.columbia.edu/graphics/projects/karma
Grupo de Steve Feirner -Columbia University
KARMA- (Knowledge-based Augmented Reality for Maintenance Assistance)
Durante a manutenção de uma impressora Laser o usuário vê como remover tabuleiro de alimentação de papel através da imagem em “fio de arame” gerada por computador.
Aplicações de Realidade Aumentada
Sistemas de Manutenção
Realidade Aumentada 06/08/2013
Prof. Sementille 14
Aplicações de Realidade Aumentada
Sistemas de Manutenção/Treinamento
Augmented Reality Training Demonstration - by Scope AR using the Epson Moverio BT-100(720p_H.264-AAC).mp4 - Atalho.lnk
Aplicações de Realidade AumentadaOutdoor Systems/GPS Tour
Augmented Reality GPS Tour Beyond Tomorrow(Medium).avi - Atalho.lnk
Aplicações de Realidade AumentadaTelevisão: Chroma-Keying
GMD Digital Media Lab: The Virtual Studio
O estúdio Virtual, ao recorrer a técnicas de RA, permite ultrapassar os problemas do tradicional chroma-keying
Fundo eMáscara do fundo
Plano real eMáscara do plano real
Mistura eMáscara da mistura
Aplicações de Realidade AumentadaTelevisão: Chroma-Keying
Aplicações de Realidade AumentadaTelevisão: Chroma-Keying
No blue-room tradicional:
a câmera é estática
e o fundo também.
Como a câmera e o fundo não estão correlacionados se a câmera se
movimenta, notar-se-iam distorções de perspectiva
Aplicações de Realidade AumentadaTelevisão: Chroma-Keying
No blue-room virtual:
a câmera pode mover-se
e o fundo é um cenário virtual 3D gerado por computador.
A posição da câmera tem de ser seguidade maneira a manter as relações entre
esta e o fundo
Realidade Aumentada 06/08/2013
Prof. Sementille 15
Aplicações de Realidade AumentadaTelevisão: Chroma-Keying
Vantagens do blue-room virtual:
As pessoas frente às cameras podem mover-se livremente.
Os cenários virtuais são facilmente alteráveis tanto antes como durante a produção.
Os cenários são transportados… no disco do PC e não na carroceria de um caminhão..
Aplicações de Realidade AumentadaTelevisão: Chroma-Keying
Stargate Studios Virtual Backlot Reel 2009(360p_H.264-AAC).avi - Atalho.lnk
Aplicações de Realidade AumentadaCinema: Preview
SIMUL-CAM
Aplicações de Realidade AumentadaCinema: Preview – Avatar Simulcam
Avatar Simul Cam(360p_H.264-AAC).avi - Atalho.lnk
Aplicações de Realidade AumentadaSecond Life Aumentado
Aplicações de Realidade AumentadaComércio e Publicidade
Decoração de Interiores◦ Superimposição de peças
decorativas virtuais nos interiores reais
Vestuário◦ Experimentar vestidos virtuais e
executar as alterações nesses vestidos
Institutos de Beleza◦ Experimentar cortes de cabelo e
executá-los sobre o modelo virtual
Realidade Aumentada 06/08/2013
Prof. Sementille 16
Aplicações de Realidade AumentadaDesign de Produto
Augmented Reality applied to Industrial Design(360p_H.264-AAC).avi - Atalho.lnk
Aplicações de Realidade AumentadaDesign e Arquitetura
Augmented Reality for architects (English version)(720p_H.264-AAC).mp4 - Atalho.lnk
Aplicações de Realidade AumentadaDesign / Seleção de Materiais
photorealism.avi - Atalho.lnk
Aplicações de Realidade AumentadaComércio e Publicidade
Mensagem de texto para carregar a aplicação RA
Vê o conteúdo virtual aparecendo sobre o anúncio em papel
Aplicações de Realidade AumentadaMilitar
Projeção de informação no cockpit de um avião.
Sobreposição de imagens virtuais dos alvos no capacete do piloto.
Sobreposição de imagens virtuais (captadas por satélite) do “inimigo” localizado fora do raio de visão no capacete do soldado
Aplicações de Realidade AumentadaAnotação e visualização em Projetos de Engenharia
aronsite-kuusankoski.avi - Atalho.lnk
Realidade Aumentada 06/08/2013
Prof. Sementille 17
Aplicações de Realidade AumentadaAnotação e visualização em Projetos de Engenharia
Augmented Reality through Graphic Overlays on Stereovideo (ARGOS)-University of Toronto
Em sistemas de vigilância de instalações a imagem das camcorder é por vezes indistinta. O seu realce por wireframe ajuda o operador
Aplicações de Realidade AumentadaRobótica e Telerobótica
Um operador de telerobótica usa uma imagem visual do espaço de trabalho remoto para conduzir o robô.
O aumento da imagem real com o modelo virtual (wireframe) facilita a visualização da geometria 3d remota.
Aplicações de Realidade AumentadaMedicina
Projeto sobre Cirurgia Guiada por Imagem
Uma colaboração entre o Laboratório de IA do MIT e o Laboratório de Planejamento Cirúrgico Feminino de Brigham
Aplicações de Realidade AumentadaMedicina
Projeto sobre Cirurgia Guiada por ImagemConstrução de Modelos Tridimensionais
As estruturas anatomicas que aparecem na RM ou na TC são explicitamente extraídas ou segmentadas antesde serem aplicadasno alinhamento de superficie para visualização 3D
Aplicações de Realidade AumentadaMedicina
Tomografia cerebral com Realidade Aumentada
Augmented Reality Brain(Medium).avi - Atalho.lnk
Aplicações de Realidade AumentadaMedicina
Realidade Aumentada na Medicina –Visualização volumétrica de alta qualidade
MAR_ Volume Rendering in High Quality Visualization(Medium).avi - Atalho.lnk
Recommended