Realidade VirtualRemis Balaniuk

Disciplina

• Site da disciplina:– http://www.geocities.com/rv_ucb– email: remis_balaniuk@yahoo.com – Chai: http://www.chai3d.org

• Discussão do plano de ensino:– Objetivos– Metodologia– Avaliação

O que é Realidade Virtual

• O termo foi criado por Jaron Lanier, um dos pioneiros dessa área, no início dos anos 80

• Simulação tempo real interativa de fenômenos físicos

• Simula um mundo virtual, imitando as leis da física

• Requer alto desempenho computacional, algoritmos especializados e interfaces de entrada e saída para interação homem-máquina

O que é Realidade Virtual• A RV é a junção de diversas disciplinas:

– Computação Gráfica• Que agrega conceitos de geometria, matemática,

hardware e software especializados– Física– Mecânica (robótica)– Ergonomia– Simulação – Interação homem-máquina– Fisiologia– etc

O que é Realidade Virtual

• Avanços tecnológicos em hardware e software abriram as portas a novas gerações de sistemas em Realidade Virtual

• Software gráfico padronizado: OpenGL, VRML

• Potentes (e baratas) CPUs• Hardware especializado: placas gráficas,

visão estereo (3D), interfaces hápticas

Aplicações• Entretenimento - jogos• Navegação em modelos (arquitetura, projetos em geral)• Treinamento:

– “Hands on”– Com tutor (real ou virtual)– À distância– Orientação e navegação– tarefas arriscadas

• Ensaios e prática• Controle de robôs• Apoio a usuários com deficiências

– Estende as capacidades motoras e sensoriais

Elementos chave• Real time graphics

– 30 quadros/segundo– polígonos: 50K/quadro (quanto mais melhor)– resolução: quanto mais melhor

• Velocidade e sincronização– o atraso entre a percepção do movimento do usuário

(input) e a atualização da cena (output) deve ser mínimo (1ms=1mm erro)

– atrasos causam instabilidades

Elementos chave

• Interatividade:– definida pela interface (hardware e software) de

interação entre o usuário e o mundo virtual– quanto mais “imersiva” melhor

• Interação multi-sensorial – visão– audição– retorno de força

Sistemas de RV

• Podem ser divididos em 3 grupos:– não imersivos (estação de trabalho

convencional)– imersivos (CAVE, HMD, etc).– Híbridos (realidade aumentada)

Sistemas de RV

• Condições para “imersão” num mundo virtual:– campo de visão total (ao redor do usuário)– acompanhamento (tracking) da posição e

atitude do corpo do participante– atraso mínimo da atualização da cena com

relação ao movimento do participante

Blocos principais numa simulação em Realidade Virtual

• Aquisição de modelos:– Geometria

• Scanner 3D• Modelos existentes

– Propriedades físicas:• Experimental• Propriedades dos materiais

(bibliografia)– Definição do modelo:

• Meshing• Ajuste de parâmetros

Blocos principais numa simulação em RV• Simulação - Rendering gráfico

– Modelo da superfície dos objetos: vértices e triângulos.

– Transformações: câmeras virtuais, movimentos “rígidos” (translação e rotação), matriz de transformação, coordenadas homogêneas

– Efeitos:• Luzes (cálculo das normais)• Texturas: texture mapping • Sombras • Transparências • Cores

Blocos principais numa simulação em Realidade Virtual

• Simulação:– Rendering háptico:

• Cálculo da força:– Detecção de colisão– Modelo de força: penetração,

fricção, estabilidade, proxy.• Frequência de refresh alta:

– Problemas nas integração com simulação física lenta

– Uso de modelo local– Limites de força

• Dispositivo:– Drivers– Dispositivo virtual

Blocos principais numa simulação em Realidade Virtual

• Simulação:– Simulação física:

• Dinâmica:– Cálculo do estado do sistema: posição e

velocidade– Mètodos de integração: explicita, implicita– Problemas com os passos de tempo

» Pequenos passos = grande esforço de simulação

» Grandes passos = instabilidade • Deformação:

– Problema muito complexo– LEM

• Diminuir a complexidade é essencial, para fins de performance e estabilidade

Blocos principais numa simulação em Realidade Virtual

• Simulação:– Detecção de colisões:

• É um problema geometricamente complexo

• Que se torna muito pior com as deformações dos objetos

Software

• Virtual Reality Modeling Language (VRML)– Padrão ISO de formato de arquivo para

modelos gráficos em 3D– Permite a visualização de modelos em 3D na

internet (várias ferramentas)– Análogo do HTML para 3D– Integra 3D, 2D, texto e multimídia de forma

coerente

Software • OpenGL

– Biblioteca gráfica de baixo nível– Disponibiliza para o programador um pequeno

número de primitivas: pontos, linhas, polígonos, imagens e bitmaps.

– Provê um conjunto de comandos que permite a especificação de objetos geométricos em 2D e 3D

– E um conjunto de comandos que controlam como os objetos são mostrados

– Não depende da plataforma nem linguagem de programação usadas.

Hardware: dispositivos• Scanners 3D• Output devices

– visual displays– audio output

• Input devices– discrete event devices– continuous event devices– combination devices– speech input

• Input/output devices– tactile and haptic output

Scanners 3D

• Aquisição da geometria tridimensional de objetos.

• Normalmente usa laser.• Existe em vários tamanhos.• É muito caro.• Opção mais barata:

– Imodeller: software cuja entrada são fotos digitais comuns.

Head mounted display - HMD• O dispositivo tem duas telas de cristal líquido na

frente dos olhos do usuário• Usuário não enxerga o ambiente externo• Provê uma imagem estéreoscópica (3D) que se

move relativamente ao movimento do usuário • Permite uma experiência imersiva sem restringir

os movimentos do usuário• As imagens podem ter boa qualidade, mas na

média as imagens são de baixa resolução e o campo de visão é restrito.

• Devido ao isolamento do usuário cria apreensão quanto aos eventos do mundo externo (colisão com objetos e paredes).

• É pesado e desconfortável.

Arm Mounted Display (BOOM)

• Similar ao HMD mas montado num braço articulado.

• É mais leve e tem melhor qualidade e resolução da imagem.

• A sincronização entre movimento do usuário e da imagem é mais rápida.

• Restringe os movimentos do usuário.• Não tem visão periférica (binóculos)

Virtual Retinal Displays (VRD)

• Projeta a imagem diretamente na retina

• Ainda não é um produto comercial.

• Os protótipos ainda tem baixa resolução e qualidade embora possa ser ainda melhorado.

Stereo Monitor

• Estação de trabalho convencional + shutter glasses

• Mais barato• Boa resolução.• Usuário pode usar o teclado e

mouse.• Não é muito imersivo.• Não tem visão periférica.

Surround screens (CAVE)

• Boa resolução e largo campo de visão usando visão periférica.

• Visão estéreo pode ser obtida usando shutter glasses.

• MUITO caro ($1M)• Pode ser usado por + de um

usuário simultaneamente.• Pode ser combinado com

objetos reais.

ImmersaDesk

• Similar ao CAVE mas com uma única tela (ou duas)

• boa resolução e boa qualidade do estereo

• Caro• Limita os movimentos do

usuário

Interfaces Hápticas

• Essa nova interface promete mudar a forma como interagimos com mundos criados por computador, aumentando o grau de "imersão" do homem nesses mundos virtuais

• novas aplicações no ensino, treinamento, simulação, planejamento e entretendimento

• Uma nova e revolucionária interface entre o homem e a máquina que permite a interação com ambientes virtuais através do toque.

Manipulação

• Homunculus representando as proporções do cortex cerebral motor dedicado a controlar as partes do corpo

Haptic Interfaces• Terminology :

– Haptic display : mechanical device configured to convey kinesthetic cues to a human operator

– Haptic interface : includes everything that comes between the human operator and the virtual environment

– Virtual environment : computer generated model of some physically

motivated scene

Haptic Interfaces

• Terminology (cont.) –– Haptic simulation : synthesis of human

operator, haptic interface, and virtual environment which creates a kinesthetically immersive experience

Haptic Interfaces

• Force feedback :– simulating object hardness, weight and inertia

• Tactile feedback :– simulating surface contact geometry,

smoothness, slippage and temperature• Proprioceptive feedback :

– sensing of the user’s body position or posture

Haptic Interfaces• Force Feedback devices :

– robotic teleoperation (Argonne National Laboratories - 1954)

– Rutgers Master glove (Rutgers Univ. - 1988)

– PHANToM arm (SenseAble Co. - 1994)– Impulse Engine (Immersion Co. - 1995)– CyberGrasp glove (Virtual Tech. 1998)

Haptic Interfaces

• Tactile Feedback devices :– Dextrous Hand Master Exoskeleton (fingertip

tactile dysplay) (MIT - 1990)– “Sandpaper” Tactile Joystick (Minsky – 1990)– Touch Master (EXOS Co. – 1993)– CyberTouch glove (Virtual Tech. – 1995)– FEELit Mouse (Immersion Co. – 1997)

Haptic Interfaces

– precise collision detection– real-time force and tactile computation– surface deformation– surface texture or smoothness– force shading– high control-loop bandwidth : 300Hz for

soft contacts to 10KHz for rigid contact

• Involve realistic physical modeling

Input devices

• Teclado / mouse• Trackers

– seguem os movimentos do usuário

– podem ser magnéticos, acústicos, óticos (cameras) ou mecânicos

• Fala (reconhecimento de voz)