S i s t e m a d e J o g o s D i d á t i c o s - C I A S C / M a r i n h a d o B r a s i l3DUI – Aplicações, Dispositivos e Métodos

Alberto Raposo

Departamento de Informática,

Pontifícia Universidade Católica do Rio de Janeiro

http://www.inf.puc-rio.br/~abraposo

abraposo@inf.puc-rio.br

Sala 417 - RDC

S i s t e m a d e J o g o s D i d á t i c o s - C I A S C / M a r i n h a d o B r a s i l

IHC (métodos dedesign e

avaliação))

RV / RACG

SistemasColaborativos

Engenharia,Geociências=> Oil & Gas

3DUI

S i s t e m a d e J o g o s D i d á t i c o s - C I A S C / M a r i n h a d o B r a s i l

IHC (métodos dedesign e avaliação)

RV / RACG

SistemasColaborativos

Engenharia,Geociências=> Oil & Gas

3DUI

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sDissertação Gustavo Bastos (Ago/2011)

• Uso do novo pipeline gráfico (DirectX 11)• Renderização de modelos com mais desempenho e melhor qualidade• Exemplos:

• Terrenos

2010-07-14 Terrain LOD w Grad Map.wmv

•Tubos

VALDETARO, A., NUNES, G., RAPOSO, A., FEIJÓ, B., de TOLEDO, R. LOD terrain rendering by local parallel processing on GPU. SBGames 2010 IX Simpósio Brasileiro de Jogos e Entretenimento Digital, p. 169-176.

NVIDIA Academic Partner

Video_Streamline_paper.wmv

Desafio: modelos muito grandes – de 1

milhão a 1 bilhão de triângulos

“Naïve rendering” não é rápido o suficiente

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sENVIRON: Modelos Massivos de Engenharia

Principais Recursos do ENVIRON

• Visualização em Tempo Real de Modelos Massivos de Engenharia

– Otimizações

• Capacidade de visualização de modelos cada vez maiores

– Interoperabilidade

INF 2063 – Tópicos em CG II

– Interoperabilidade

• Facilidade para conversão CAD ↔ RV

• Visualização de informações dos BD do CAD/CAE

• Foto-realismo

• Efeitos de Ambiente 3D, sombras, shaders, etc

• Foto-realismo associado as informações de projeto agregam valor ao entendimento no processo de engenharia

• Visualização Imersiva

– Suporte a visualização estéreo

– Dispositivos de tracking

– Suporte a interação 3D – VRInput/VIRAL e VRPN

• Manipulação de objetos

RAPOSO, A., SANTOS, I., SOARES, L., WAGNER, G., CORSEUIL, E., GATTASS, M. Environ: Integrating VR and CAD in Engineering Projects. IEEE Computer Graphics & Applications, v.29, n.6, p.91-95, 2009.

S i s t e m a d e J o g o s D i d á t i c o s - C I A S C / M a r i n h a d o B r a s i l

IHC (métodos dedesign e avaliação)

RV / RACG

SistemasColaborativos

Engenharia,Geociências=> Oil & Gas

3DUI

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sSiviep: Modelos Multi-escala

SiVIEP – Sistema de Visualização Integrada em E & P

Ambientes Multiescalas: a informação

pode existir em vários níves de

detalhes – por exemplo, a cena pode

conter objetos que vão desde um

pequeno parafuso até campos de

Siviep_2010.mov

Plataformas

Risers

Completação submarina

Ancoragem

ReservatórioFalhas e HorizontesSísmicaPoços

exploração de petróleo.

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sDissertação Daniel Trindade (Mar/2010)

• Cubo de distâncias como estrutura fundamental• O cubo fornece dados para

• Ajuste automático de velocidade de navegação• Tratamento de colisão• Ajuste automático de centro de rotação• Ajuste automático dos planos de corte near e far

• Ajuste automático de parâmetros de estereoscopia

artigo_acm.wmv

TRINDADE, D., RAPOSO, A. Improving 3D Navigation in Multiscale Environments Using Cubemap-based Techniques26th ACM Symposium On Applied Computing – SAC 2011. Taichung, Taiwan.

CARVALHO, F. G., TRINDADE, D. R., DAM, P. F., RAPOSO, A. B., SANTOS, I. H. F. Dynamic Adjustment of Stereo Parametersfor Virtual Reality Tools. XIII Simposium on Virtual and Augmented Reality – SVR 2011, CD-ROM. Uberlândia, MG, 2011

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sDissertação Pablo Elias (2008)

dissertacaoPablo_reduzido

• Album 3D (localização e posicionamento automático da câmeraem um modelo 3D)

ELIAS, P. C., SÁ, A. M. , RAPOSO, A. B., CARVALHO, P. C., GATTASS, M. An Augmented 3D Album based on Photos and Building Models. 14th International Conference on Virtual Systems and MultiMedia - VSMM 2008 – Full Papers, p. 303-310. Limassol, Chipre.

P. C. ELIAS, A. SÁ, A. B. RAPOSO, M. GATTASS, P. C. CARVALHO. Navegação 3D a partir de Fotos de Edificações e Modelos CAD. XXIX CILAMCE - Iberian Latin American Congress on Computational Methods in Engineering – 2008

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sTese Manuel Loaiza (2009)

• Novo padrão de calibração de câmeras para rastreamento baseadoem projetivas invariantes

LOAIZA, M. E., RAPOSO, A. B., GATTASS, M. Multi-camera calibration based on an invariant pattern. Computers And Graphics, v.35, n.2, p.198-207, April 2011.

TEIXEIRA, L., LOAIZA, M., RAPOSO, A. B., GATTASS, M. Augmented Reality Using Projective Invariant Patterns. 4th International Symposium on Visual ComputingISVC 2008 (Advances in Visual Computing - Lecture Notes in Computer Science, vol. 5358), Las Vegas, Nevada, EUA., p.520-529. Springer-Verlag, 2008.

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sNVIDIA Academic Partnership

• Playback of 4K stereo movies

• Panoramic Tracker in High Definition Images

• Analyzing images in real time to support underwater inspection

• 3D Parallel Reconstruction on GPU

S i s t e m a d e J o g o s D i d á t i c o s - C I A S C / M a r i n h a d o B r a s i l

IHC (métodos dedesign e avaliação)

RV / RACG

SistemasColaborativos

Engenharia,Geociências=> Oil & Gas

3DUI

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sTese Felipe Carvalho (2009)

• Hybrid Desk• Novo dispositivo de interação (HUI – Hybrid User Interface)• 3 modos de interação

� VR-Nav - Navegação e Seleção

• Mini-CAVE

• Wand Rastreada

• Óculos Estéreo Rastreado

� VR-Manip - Manipulação

• LCD

• Wand Rastreada

� VR-Manip - Manipulação

• LCD

• Wand Rastreada

VRCAI2009_HybridDesk_Environments

TREVISAN, D., CARVALHO, F. , RAPOSO, A., FREITAS, C., NEDEL, L. Exploring the Design of Transitional Hybrid User Interfaces. JIS - Journal of 3D Interactive Systems, 2011.

CARVALHO, F. G.; RAPOSO, A.; GATTASS, M. Designing a Hybrid User Interface: A Case Study on an Oil and Gas Application. VRCAI 2009 –8th International Conference on Virtual-Reality Continuum and Its Applications in Industry, p. 191-196. Yokohama, Japan, 2009

� WIMP - Anotação

• LCD

• Teclado

• Mouse

� WIMP - Anotação

• LCD

• Teclado

• Mouse

• Wand Rastreada

• Óculos Estéreo Rastreado

• Wand Rastreada

• Óculos Estéreo Rastreado

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sDissertação Marcus Alencar (Ago/2009)

• Conjunção de metodologias de avaliação de IHC para avaliação daHybrid Desk

ALENCAR, M., RAPOSO, A., BARBOSA, S. D. J. Composition of HCI Evaluation Methods for Hybrid Virtual Environments 26th ACM Symposium On Applied Computing – SAC 2011. Taichung, Taiwan.

S i s t e m a d e J o g o s D i d á t i c o s - C I A S C / M a r i n h a d o B r a s i l3DUI – 3D User Interaction

IHC (métodos dedesign e avaliação)

RV / RACG

SistemasColaborativos

Engenharia,Geociências=> Oil & Gas

3DUI

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o s3DUI – 3D User Interaction

3DUI: Relaciona o uso de tecnologia

3D como uma interface entre o usuário

e o computador, como entrada, saída,

ou ambos.

INF 2792 – Tópicos em IHC III

FAAST_controleMouse.avi

reconstrucao3D.avi

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sDissertação Paulo Gallotti (Abr/2011)

• V-glove: luva com feedback tactil para interação em ambientes imersivos

Tela de projeção

Área de interação

Câmera X e Y

FilmeVGlove.mov

RODRIGUES, P. G., RAPOSO, A., SOARES, L. P. v-Glove: A 3D virtual touch interface XIII Simposium on Virtual and Augmented Reality – SVR 2011

Câmera Z

Estação de controle

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sDissertação Peter Dam (2011.2)

• A Study of Device Contact-Free Gesture-Based VR Interaction Techniques using Kinect

Peter_Selecao.avi

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sMesa Multi-toque

mesa_dez2010.wmv

PUC 70anos.avi

PUC 70anos RJTV.avi

S i s t e m a d e J o g o s D i d á t i c o s - C I A S C / M a r i n h a d o B r a s i l

IHC (métodos dedesign e avaliação)

RV / RACG

SistemasColaborativos

Engenharia,Geociências=> Oil & Gas

3DUI

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sTese Ismael Santos (2010)

CEE –CollaborativeEngineeringEnvironment

SANTOS, I. H. F., RAPOSO, A., RODRIGUES, P., SOUZA, R. P., AMARAL, W. G., A Collaborative Environment for Offshore Engineering Simulations. Collaboration and Technology, 17th International Conference, CRIWG 2011 (Lecture Notes in Computer Science, v. 6969)

SANTOS, I. H. F., RAPOSO, A. B., GATTASS, M. Integrating VR in an Engineering Collaborative Problem Solving Environment. ICEIS 2009 – 11th International Conference on Enterprise Information Systems, Volume HCI, p. 124-129. Milan, Italy, 2009.

colaboracao remota.wmv

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sPetri Nets e Colaboração

RIEDER, R. ; PINHO, M. S. ; RAPOSO, A. A Petri Nets based Approach to Specify Individual and Collaborative Interaction in 3D Virtual Environments. Journal of Universal Computer Science , v. 17, n. 2, p. 243-260, 2011.

RIEDER, R., RAPOSO, A. B., PINHO, M. S. A methodology to specify three-dimensional interaction using Petri Nets. Journal of Visual Languages and Computing, v.21, n. 3, p. 136-156, June 2010.

S i s t e m a d e J o g o s D i d á t i c o s - C I A S C / M a r i n h a d o B r a s i lOnde tudo isso nos leva ?

IHC (métodos dedesign e avaliação)

RV / RACG

SistemasColaborativos

Engenharia,Geociências=> Oil & Gas

3DUI

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sInteratividade Digital

COMPERJ_Expo_3D.avi

M o d e l o s 3 D - V í d e o s T é c n i c o - C i e n t í f i c o sCentros de Realidade Virtual

7º andar novo prédio PUC-Rio

NVC – Núcleo de Visualização e Colaboração – CENPES/Petrobras

edicao globo cenpes.avi EnvironHeadTrackingCAVE_NVC

S i s t e m a d e J o g o s D i d á t i c o s - C I A S C / M a r i n h a d o B r a s i lObrigado!

Alberto Raposo

Departamento de Informática,

Pontifícia Universidade Católica do Rio de Janeiro

http://www.inf.puc-rio.br/~abraposo

abraposo@inf.puc-rio.br

Sala 417 - RDC