Departamento de Artes Visuais

Escola de Comunicações e Artes

Universidade de São Paulo

Relatório Final CNPQ PIBITI

- Realidades Mistas –

Da realidade virtual à realidade aumentada

Aluna: Tatiana Abitante (n 5902415)

Prof. Responsável: Silvia Laurentiz (docente CAP/ECA)

Etapas do projeto:

Distribuídas em oito meses, em quatro fases, período para as etapas que

serão desenvolvidas em 2010/2011.

Fase 01 – Fazer um levantamento da bibliografia já existente sobre o assunto;

Fase 02 – Reunir as pesquisas sobre realidades mistas (mixed reality) que estão sendo

realizadas por professores e alunos do Departamento de Artes Plásticas e outros

Departamentos e Unidades da USP.

Fase 03 – Compilar um conjunto significativo de documentos e um acervo relativo ao tema

principal e seus correlatos

Fase 04 – Dar início ao site do Grupo Pesquisa Realidades, vinculado a este projeto, como

forma de viabilizar o acesso à comunidade acadêmica e público interessado pela produção

deste projeto e as pesquisas deste grupo.

Cronograma da etapa inicial

2010/2011 1º mês

agosto

2º mês

setembro

3º mês

outubro

4º mês

novembro

5º mês

dezembro

6º mês

janeiro

7º mês

fevereiro

8º

mês

março

Fase 01

Fase 02

Fase 03

Fase 04

Etapa final

Os 3 meses seguintes do primeiro ano do projeto servirá para o desenvolvimento

experimental pelo grupo “Realidades” e que será acompanhado pela aluna bolsista.

O último mês será reservado para relatórios e análises finais do projeto, inclusive com

projeções futuras e desdobramentos.

Resumo das atvidades do relatório já apresentado

No segundo semestre de 2010 as atividades se iniciaram com a pesquisa e listagem de

grupos de pesquisa em realidades virtual, realidade aumentada e audiovisual utilizando a

plataforma Lattes. Foi realizado o “I Encontro de realidades Mistas: realidade aumentada,

games e outras imagens” com participação do Prof. Dr. Paulo Bernardino, da universidade

de Aveiro, Portugal, pela manhã e um encontro entre os grupos CAT –

ciência/ARTE/tecnologia do IA - Unesp, coordenado pelo Prof. Dr. Milton Sogabe; GIIP –

Grupo Internacional e Interinstitucional de Pesquisa em Convergências Arte, Ciência e

Tecnologia também do IA - Unesp, coordenado pela Profa. Dra. Rosangella Leote e Grupo

Realidades, coordenado pela Profa. Dra. Silvia Laurentiz, pela tarde. A palestra

“Experimentações em Instalações e Vídeos” do Prof. Dr. Paulo Bernardino foi gravada e

editada. Também se iniciou a realização do site com as informações do grupo, suas

pesquisas, produção textual e outras informações destinadas à interessados em ter mais

informações sobre o grupo. Foram realizadas discussões teóricas com base no texto “O

Retorno do Real” de Hal Foster. E ao fim do semestre foram discutidos os novos rumos do

grupo para 2011. Os participantes do grupo de pesquisa Realidades individualmente

expuseram suas expectativas de trabalho prático com o grupo na tentativa de encontrar um

ponto central no projeto e relataram suas experiências com softwares, para que esses

pudessem ser apresentados pelos mesmos com intuito de instrumentalizar os membros do

grupo.

Atividades realizadas a partir do primeiro semestre de 2011

Apresentação de softwares

Inicialmente o grupo se concentrou na definição do projeto prático. Iniciamos o processo

com cada participante compartilhando suas expectativas e desejos individuais de pesquisa.

Com isso foi feita a tentativa de convergência dos temas, já que estes eram amplos. Dentre

os temas expostos constavam: a relação do corpo com ambientes virtuais ou de realidade

aumentada, com vídeo ou som, realidade aumentada voltada para games e autonomia em

sistemas mecânicos. Dada a diversidade, chegamos a um mote de interesse comum do

grupo. O foco do estudo prático está na fronteira, que resolvemos chamar de permeável ou

líquida, que separa o autônomo do autômato, e como as mídias tecnológicas, digitais, ou

até mesmo analógicas funcionam nesse meio. A partir disso membros do grupo

apresentariam seus conhecimentos em softwares para instrumentalizar o grupo.

VPT – Video Projection Tool

Apresentado ao grupo por mim o VPT é um software gratuito que permite a projeção

mapeada em tempo real. Criado por HC Gilje, artista norueguês, o software funciona

deformando a projeção para que esta possa se adequar a telas de superfície diferenciada,

como prédios, instalações, etc. Permite a criação de camadas e máscaras que são usadas

também para a adequação aos ambientes projetivos além da deformação com 16 pontos do

vídeo. A atual versão do software permite o uso de imagens ao vivo e interação com

sensores por meio do arduíno ou rastreamento por câmera.

Isadora

Apresentado ao grupo por Maruzia Dultra. É um software desenvolvido pela empresa

troikatronix, que possui uma versão gratuita demonstrativa de teste. Desenvolvido

primeiramente para uma companhia de dança o programa lida principalmente com a

interação em tempo real de áudio e vídeo digitais. Funciona a partir de uma programação

por blocos, ou chamados patches, é uma linguagem de programacão data flow, que

funciona por meio da montagem gráfica da programação, assim podendo mostrar o fluxo de

dados, é considerada uma linguagem de programação baixa, pois se aproxima mais da

forma como os computadores organizam a informação do que da linguagem humana (como

as linguagens Phyton ou C, que utilizam sintaxe). A programação é feita conectando os

patches que funcionam como algoritmos ou partes de softwares em blocos.

EyesWeb

Apresentado ao grupo pela Profa. Dra. Silvia Laurentiz. É um sofware livre desenvolvido

pela InfoMus Lab, Fundado em 1984 pela DIST – Universidade de Genova, um grupo

formado por professores da área de linguagem eletrônica. O software funciona também pela

programação por blocos. Trabalha com a interpretação da linguagem corporal para

montagem de sistemas interativos, também podendo ser utilizado para apresentação de

vídeo e áudio em tempo real. A captação dos movimentos e gestos no programa de dá por

meio de câmera, a partir da imagem obtida desta o sistema analisa e cria uma biblioteca de

gestos a partir da silhueta (utilizando o contraste da imagem do vídeo), do uso do espaço,

de cores ou das linhas criadas a partir do movimento.

Gravação de entrevistas e edição dos vídeos

No dia 07 de Julho de 2011 Eu e meu colega Juvenal Lopes fomos até o Instituto de Artes

da UNESP entrevistar a Profa. Dra. Rosangella Leote e o Prof. Dr. Milton Sogabe. As

questões apresentadas individualmente a eles apresentavam teor teórico e prático,

Transitando entre que tipo de tecnologia eles utilizaram em suas carreiras como artistas e

pesquisadores, como lidavam com a questão da realidade aumentada, o que consideravam

como realidade, etc. E no dia 21 de Julho de 2011 realizamos via internet uma entrevista

com o Prof. Dr. Romero Tori, utilizando a mesma base de perguntas, tendo em vista sua

formação na área das ciências exatas.

Esses vídeo foram editados utilizando o software Adobe Premiere e serão postados na

internet.

Realização do site do grupo de pesquisa Realidades

Durante o período relativo ao segundo semestre o site do grupo de pesquisa recebeu um

novo layout, e o acréscimo de novas páginas. Por meio dele visa-se a comunicação dos

trabalhos realizados pelo grupo para a comunidade interessada. Nele encontram-se textos

produzidos pelos integrantes do grupo de pesquisa, as linhas de pesquisa e onde cada

integrante se encaixa, constarão os vídeos das entrevistas realizadas nesse período.

Algumas imagens do site abaixo.

Projeto Experimental do grupo de pesquisa Realidades

Durante o período corrido do primeiro semestre até o meados de Agosto de 2011 ocorreram

experimentações com o software demo Isadora e com o software livre EyesWeb. Devido a

uma interface mais amigável e presença no grupo de participante com maior conhecimento

sobre o determinado software, nos focamos no uso do Isadora.

Iniciamos as experimentações básicas seguindo modelo trazido pelo membro que

apresentou o software a nós.

A partir de uma idéia de uma membro do grupo começamos a experimentar as imagens

projetadas em negativo com sobreposição de camadas, como em janela, o que gerava uma

relação entre positivo e negativo, como o centro da tela estava com a imagem negativa, o

rosto de quem observasse a imagem ficaria em negativo assim criando um estranhamento.

Depois partimos para duas camadas projetadas na mesma tela em negativo, com um delay,

caso o observador permanecesse imóvel sua imagem desaparecia, caso se movesse a

imagem apareceria momentaneamente no “fantasma” gerado pelo delay, dando assim uma

impressão de imagem imaterial e efêmera, Já que a duração desta estava condicionada a

duração em frames do delay.

Por uma feliz coincidência notamos um dia pelo reflexo de um óculos que a imagem do

reflexo era positiva quando a tela de projeção estava somente com o negativo, a partir disso

fomos aprofundando a pesquisa nessa relação com a mídia óptica e a mídia digital.

Realizamos testes utilizando óculos escuros, óculos de grau, espelhos convexos e por fim

um espelho plano. Inicialmente realizamos os testes com um espelho plano de tamanho

médio, com ele realizamos os testes de luz e posicionamento dos aparatos, inicialmente

utilizando a tela do computador.

No dia 28 de Julho realizamos um teste no Instituto de Artes da UNESP, numa sala

destinada à aulas de dança que possui uma parede com espelho, para fazer o teste em

uma escala instalativa. No decorrer do teste descobrimos os melhores posicionamentos dos

aparatos: Fazer a projeção por trás da tela (back projection), para isso utilizamos um tecido

semi transparente, com a tela e o espelho paralelos (um de frente para o outro) com a

câmera acima da projeção, para que ficasse mais escondida. O resultado foi uma sequência

infinita de repetição das imagens, porém a cada nova reflexão/projeção as imagens

formavam a relação negativo positivo, esta onde o interator costuma buscar o positivo da

imagem que vai se perdendo ao longo da escala de redução desta que surge com este

“truque” óptico.

Exemplo dos primeiros testes utilizando Isadora

Exemplo dos testes realizados durante as reuniões do grupo de pesquisa utilizando

Isadora

Testes realizados no dia 28 de Julho nas instalações da UNESP

Considerações finais

As entrevistas serviram como ampliação dos conhecimentos já discutidos em grupo e

principalmente como ampliação do conhecimento dos termos utilizados o meio teórico,

artístico e científico da realidade aumentada e sobre a tecnologia. As diferenças de

definição e uso dos termos é importante para ter melhor relação com textos a serem lidos

quando produzidos por essas diferentes áreas do conhecimento. Também se nota que a

questão da realidade ou realidades ainda não se pode definir sem uma maior reflexão. Se

alguns autores afirmam que o aumento da realidade, ou sua virtualização está relacionado

fortemente ao uso da tecnologia, outros afirmam que a percepção é a única forma de

captura da realidade, e que essa é única.

Durante nossos experimentos com o software notamos que a relação com a imagem pode

ser mais ou menos real, ou mais ou menos indicial. O grau de reconhecimento da imagem

como real se liga a camadas de indicialidade de forma subjetiva. Quando nos colocamos a

frente do espelho o grau de indicialidade é maior e, portanto a imagem nos parece mais fiel

ao real, se nos colocamos em frente a uma projeção de nós mesmos tendemos a achar a

imagem menos real, pois o aparelho pelo qual ela passa reduz a sua indicialidade. Aqui

depare-se com uma contradição, pois em ambos casos a imagem é virtual. Assim como

essa relação se repete com o uso do negativo ou positivo da imagem, o negativo sempre

será “menos real” que o positivo, mesmo que esses dependam intrinsecamente um do

outro.

Em nosso experimento nos deparamos com essas questões, que já estavam parcialmente

apresentadas no texto lido no semestre anterior. O anteparo da imagem influencia

diretamente na interpretação desta como mais ou menos real, como maior ou menor índice

do observador. Ao colocarmos no mesmo anteparo ainda a relação positivo e negativo isso

se torna mais explícito.

Durante esse período de experimentações práticas nos demos conta das necessidades do

grupo, da diferença entre partir dos conhecimentos prévios dos participantes, em vez de um

projeto que poderia não ser realizado devido à falta de conhecimentos técnicos.

Referências bibliográficas

http://www.troikatronix.com/isadora.html

http://www.infomus.org/EywMain.html

http://hcgilje.wordpress.com/vpt/

http://gprealidades.wordpress.com/

http://www.concinnitas.uerj.br/resumos8/foster.pdf