Interfaces de Jogos Digitais

Bruno Ribeiro, Fabiano Lucchese e Zady Castañeda

FEEC / Universidade Estadual de Campinas Cidade Universitária Zeferino Vaz, Campinas, SP, Brasil

Resumo. neste artigo apresentamos uma breve descrição dos principais

mecanismos de interface utilizados em jogos digitais. Esta descrição procura

enfatizar os aspectos referentes à computação gráfica, mas também incluirá

sistemas de áudio e de controle.

1. Introdução

Todo dispositivo ou maquinário operado ou monitorado por seres humanos possui mecanismos de interface para suportar essa interação. Isto se aplica a veículos, máquinas industriais, eletrodomésticos, brinquedos etc. Os mecanismos de interface podem ser rudimentares, como painéis com alavancas, botões e luzes, ou mais sofisticados, como sistemas de imersão e realidade virtual.

Neste documento apresentamos uma breve descrição dos principais mecanismos de interface utilizados em jogos digitais. Neste processo, procuramos enfatizar a descrição da computação gráfica, mas também incluímos seções sobre áudio e sistema de controle.

Este documento está organizado segundo os sentidos humanos. Na seção 2, abordamos o sentido da visão, discutindo os mecanismos para visualização, captura e processamento de imagens. Em seguida, falamos da audição e apresentamos os principais conceitos associados ao áudio computacional. Na seção seguinte, discutimos o tato através dos diversos sistemas de controle e percepção de movimento baseados no toque. Por fim, na última seção analisamos brevemente alguns dos sistemas de controle baseados nos outros sentidos.

2. Visão

Nesta seção tratamos dos sistemas de interface que implicam no uso da visão, seja na percepção da máquina pelo homem ou vice-versa.

2.1. Sistemas de Visualização Bi-dimensional

Sistemas de visualização bi-dimensional são aqueles em que a reprodução ou captação de imagens se dá por dispositivos planos retangulares formados por inúmeros elementos de cor e brilho que, em conjunto, definem a imagem. É o tipo de sistema mais comum em uso hoje em dia e compreende os TVs, monitores, displays de cristal líquido, projetores, câmeras etc.

Nesta seção discutimos os principais aspectos relacionados à reprodução e captação de imagens segundo este paradigma. Sempre que possível, serão feitas referências aos respectivos sistemas dentro do contexto de jogos digitais.

2.1.1. Geração de Imagens

O processo de geração de imagens em dispositivos eletrônicos segue o mesmo princípio desde os primeiros computadores e vídeo-games. Estes dispositivos rudimentares eram normalmente conectados a aparelhos de TVs convencionais, e por isso dispunham de mecanismos para gerar sinais de Vídeo Composto (Composite

Video), que é o padrão seguido por aparelhos de TV analógicos.

O princípio por trás deste padrão é relativamente simples. A imagem apresentada na tela da TV é o resultado da aplicação de um feixe de elétrons sobre uma superfície luminescente. Este feixe é direcionado de forma a varrer uniformemente a superfície, linha por linha, periodicamente e a uma velocidade capaz de cobrir toda a superfície cerca de 30 vezes por segundo. Desta forma, o sinal correspondente à imagem que será exibida pode ser representado pela modulação da intensidade do feixe: nos pontos da imagem de maior intensidade (ou mais claros), o feixe é reforçado, ao passo que nos pontos mais escuros o feixe é atenuado. Modulando-se um feixe que varre a tela, pode-se “desenhar” a imagem desejada a uma taxa relativamente alta.

Este princípio se aplica tanto para imagens em preto e branco quanto para imagens coloridas. No segundo caso, são aplicados 3 feixes, cada qual responsável por uma componente de cor dentre as três primárias utilizadas para a composição de todas as cores (vermelho, verde e azul, ou RGB). A figura 1 ilustra o aspecto de um sinal de vídeo composto.

Figura 1 – Sinal de Vídeo Composto

Pode-se perceber que, segundo este mecanismo, as imagens são modeladas como um conjunto de pontos de cores e intensidades distintas representados por um sinal linear que contém uma descrição seqüencial das características de cada ponto. Da mesma forma, a sensação de imagens em movimento se dá pela aplicação sucessiva de várias imagens com diferenças incrementais.

Os primeiros dispositivos eletrônicos comerciais a produzirem imagens – e colocamos nesta categoria os primeiros vídeo-games e computadores pessoais – já se baseavam neste mesmo princípio para a geração de suas imagens. Nestes casos, a

imagem é representada internamente em uma memória volátil especialmente alocada para este fim - e comumente chamada de memória de vídeo - onde cada ponto é representado por uma determinada quantidade de bits. A quantidade de bits usada para representar cada ponto definirá a quantidade de cores possivelmente representáveis e, portanto, a qualidade da imagem gerada. Para a geração do sinal de vídeo, introduz-se ainda um mecanismo que “varre” os bits desta memória gerando um sinal elétrico correspondente para exibição em TVs ou monitores.

A evolução dos sistemas computacionais introduziu outros padrões de codificação de vídeo, como o VGA e o SVGA. Apesar destes padrões utilizarem tecnologias digitais para representação dos dados de vídeo, o princípio continua sendo o mesmo: representação linear de uma sequência de pontos a serem “montados” numa superfície retangular.

Este paradigma de representação de imagens em memórias voláteis e sua representação em superfícies retangulares praticamente definiram o padrão visual dos gráficos gerados nos primeiros computadores e video-games, como será visto na seção a seguir.

2.1.2. Computação Gráfica 2D

A representação de imagens em matrizes bidimensionais – e que inicialmente só suportavam o conceito de “ponto claro” e “ponto escuro” – direcionou o padrão gráfico gerado pelos primeiros sistemas digitais para as imagens igualmente bidimensionais. Nestes casos, o conceito de profundidade não é representado nos bits e bytes que compõem a imagem. Dentre os clássicos jogos eletrônicos a adotarem esse modelo podemos citar Space Invaders, Pac Man e, mais recentemente, Mário Bross e Sonic. O mercado de jogos para celulares tem reavivado este padrão em razão das limitações de hardware que impedem a geração de imagens mais elaboradas.

O desenvolvimento de jogos bidimensionais, também conhecidos como 2D, introduziu conceitos e padrões bem particulares deste tipo de jogo. A seguir descrevemos os principais.

Superfícies

Para a composição de cenários em jogos, criou-se o conceito de superfícies. Através deste conceito, é possível separar o “plano de fundo” dos elementos que compõem a ação principal. Em geral, superfícies representam “camadas” que muitas vezes são utilizadas para proporcionar a ilusão de profundidade. Sob o ponto de vista computacional, superfícies são representadas em diferentes regiões de memória, o que facilita a manipulação das mesmas de maneira independente.

A figura 2 ilustra uma típica tela de jogo 2D, onde é possível identificar o plano de fundo, que se coloca “por trás” do plano onde a ação dos personagens principais se dá.

Figura 2 – Planos em Imagem 2D

O plano de frente, onde residem os personagens do jogo, é denominado superfície primária, enquanto o plano de fundo é comumente referenciado como superfície secundária. Há diversas técnicas para o gerenciamento de múltiplas superfícies, e vários consoles de vídeo-game e computadores pessoais, como o MSX, possuem soluções de hardware para lidar eficientemente com este mecanismo (veja a seção “sprites”, a seguir). Nestes casos, são usados bufferes de imagem distintos que devem ser carregados com os diferentes planos. A “mixagem” dos planos se dá por hardware e é realizada imediatamente antes da montagem do sinal de vídeo.

Este tipo de composição de cenário pode ser estendido para a utilização de várias camadas, cada qual pertencente a um plano diferente. Esta técnica, conhecida como layering, permite a criação de efeitos de profundidade em jogos 2D. A figura a seguir ilustra um exemplo de composição com múltiplas layers.

Figura 3 – A utilização de vários layers

Cada layer pode ser construído de várias formas. Existe a possibilidade de se utilizar uma única imagem que o compõe, mas também é comum o uso de “peças” menores que são agrupadas lado a lado para se formar o cenário completo. Esta técnica é conhecida como tiles-map, ou simplesmente tiles, e é bastante utilizado em jogos de labirinto e RPG.

Figura 3 – A composição através de tiles

A constante manipulação de dados em bufferes de imagem tem como objetivo criar a ilusão de movimento. Para que esta ilusão seja convincente, é necessário que os quadros criados nas superfícies sejam exibidos um após o outro, em uma velocidade suficientemente eficaz a ponto de enganar o olho humano, possibilitando a ilusão de animação.

Os primeiros desenhos animados criados utilizavam uma taxa de transferência de 15 FPS (frames por segundo), o que não possibilitava movimentos muito suaves. Quando os estúdios de Walt Disney lançaram o primeiro desenho em longa metragem, Branca de Neve e os Sete Anões, uma das preocupações foi a de manter a taxa de exibição em torno de 24 FPS, a mesma encontrada nos cinemas daquela época.

Sprites / Mapas de Bits

Uma das primeiras evoluções do conceito de superfícies foi a introdução dos sprites, em meados da década de 70. Sprites são entidades que definem objetos a serem inseridos numa cena e que possuem regras próprias de manipulação e comportamento. Um sprite consiste tipicamente numa sucessão de imagens bidimensionais que representam os diferentes estados gráficos que um objeto pode assumir durante um jogo. Objetos podem ser personagens, veículos, bolas ou qualquer outra coisa que se mova em um jogo.

O advento dos sprites se deu por conta das limitações de hardware dos computadores pessoais e vídeo-games à época de sua introdução. Nesta época, a manipulação de bancos de memória para a formação de dezenas de quadros por segundo era praticamente inviável nos hardwares de então. Assim, alguns fabricantes de processadores, como a Texas Instruments, criaram mecanismos que permitiam a codificação de objetos de maneira independente do plano de fundo. Estes objetos possuiriam estados e seguiriam regras com respeito ao comportamento esperado quando dois ou mais deles “colidissem”. O tratamento gráfico destes era então feito em hardware, que se encarregava de “pintá-los” sobre o plano de fundo e calcular eventuais colisões.

Um ponto importante que deve ser notado aqui é que os sprites não são nada mais do que mapas de bits copiados sobre um plano de fundo e que recebem um tratamento especial do hardware. Se por um lado esta técnica tornou possível o desenvolvimento de jogos mais interessantes, por outro possui notórias restrições que só foram superadas com o avanço da capacidade de processamento das CPUs. Uma delas diz respeito à possibilidade de se redimensionar um sprite na tela; se num dado momento do jogo fosse necessário ampliar o tamanho de um sprite – para, por exemplo, simular a aproximação do mesmo do expectador – uma de duas coisas aconteceria: 1) não seria possível; 2) o “zoom” se daria aumentando-se o tamanho de seus pontos, o que criaria o efeito de “granulação” da imagem.

Essas limitações são próprias de imagens compostas por mapas de bits (ou bitmaps) e serão discutidas mais a frente quando for introduzido o conceito de imagem vetorial.

Voltando à questão dos sprites, ou mais genericamente dos mapas de bits, há algumas considerações importantes com relação ás cores utilizadas na composição das imagens. Conforme citado anteriormente, uma imagem é representada dentro de um sistema digital na forma de uma matriz de bits em que cada conjunto de X bits representa um ponto na imagem. Podemos ter imagens em que cada ponto é representado por um byte, perfazendo um total de 256 cores possíveis por ponto, assim como podemos utilizar 1 bytes para cada nível de cor RGB, perfazendo um total de mais de 16 milhões de cores para cada ponto. Este caso é comumente referenciado como True

Color, pois é capaz de representar um número de cores compatível com a capacidade de percepção do olho humano.

Ao utilizar sprites ou qualquer tipo de imagem que seja utilizada para compor um cenário, é possível utilizar técnicas de mesclagem que simulam tons transparentes. Uma técnica comum de representação de cores utiliza 4 bytes, sendo 3 para as componentes de cor e um para o nível de transparência. O nível de transparência define o balanço que será dado entre a cor do ponto da figura e a cor do ponto do plano de fundo onde ele for posicionado. Se o nível de transparência for 0, então o ponto será totalmente opaco e será apresentado com a sua cor efetiva; se for máximo, será totalmente transparente e adquirirá a cor do ponto correspondente do que estiver “atrás” dele; se for algo entre o mínimo e o máximo, terá como cor resultante a média ponderada entre os valores das componentes de cor do ponto da figura e do ponto correspondente ao que está “atrás” dele. A figura 4 ilustra este processo.

Ainda com relação às cores, há várias formas de representá-las em uma figura. A forma mais simples é a representação direta de cada cor, utilizando todos os seus bits para cada ponto da figura; outra forma é pelo uso da paleta de cores. Através do uso de paleta de cores, um conjunto limitado de cores é selecionado e estes são referenciados na figura através de um índice. Apesar de restringir o número máximo de cores utilizáveis em um objeto e de exigir um maior esforço de processamento para a correta exibição da imagem, este procedimento permite a manipulação de objetos muito menores, visto que cada ponto não precisa mais carregar os 4 bytes de cor, mas sim um único índice para a tabela que descreve efetivamente os tons.

Figura 4 – Uso de tons transparentes

Compor imagens a partir de diversos sprites é um processo relativamente simples, mas, conforme citado anteriormente, pode exigir a detecção de colisões ao invés da simples combinação de cores de pixels. Por exemplo, quando uma bomba atinge seu

alvo, é preciso disparar alguma ação, como a exibição de um sprite de explosão no local. Para a detecção de colisões, são utilizadas duas técnicas básicas em jogos 2D:

• Bounding Box: também conhecida como “caixas de contorno”, essa técnica define uma área retangular em torno do sprite, que delimita suas fronteiras de interseção com outros sprites.

É um método simples e bastante eficaz, pois mantém um controle rígido de colisões não exigindo muito processamento local. A principal limitação está no fato de, dependendo da forma do sprite e da maneira como a caixa de contorno o circunda, haverá a sensação de “falsos positivos” na colisão.

• Sobreposição de Pixels: nesta técnica, após a intersecção das áreas retangulares, os pixels de cada sprite são analisados para verificar se ocorreu sobreposição de uma imagem à outra.

Embora esse método seja mais preciso, sua utilização envolve uma rotina que consumirá mais recursos computacionais.

Sempre que uma imagem for reproduzida em um sistema de visualização bidimensional como os descritos anteriormente, ela deverá ser antes representada em uma matriz bidimensional de pontos. Isso não significa, no entanto, que toda imagem exibida será composta a partir de um mapa de bits. Na seção seguinte analisamos estas alternativas, conhecidas como imagens vetoriais.

Imagens Vetoriais

Ao contrário de um mapa de bits, uma imagem vetorial não é constituída por uma descrição dos pontos que a contém. Ao invés disso, ela é constituída por um modelo matemático que descreve a posição geométrica, no espaço bidimensional, dos pontos que a constituem. Desta forma, uma imagem vetorial pode ser manipulada da mesma forma que qualquer modelo matemático e, para os casos lineares, permite composições, rotações, zooms e vários tipos de manipulação que, se feitos em mapas de bits, resultariam em distorções e/ou imagens mal definidas.

A grande virtude de uma imagem vetorial é sua econômica representação aliada ao fato de poder ser manipulada indefinidamente sem perder suas propriedades. Esta

flexibilidade tem um preço: como a representação vetorial depende de modelos matemáticos, nem tudo é possível de ser representado desta forma. De fato, imagens compostas por figuras geométricas, como linhas, círculos e polígonos, são ideais para este método. Já se quiséssemos representar, por exemplo, um rosto, teríamos grande dificuldade em montar o modelo devido a grande quantidade de detalhes a serem modelados.

Outra implicação dos modelos vetoriais é que a exibição dos mesmos exige uma etapa de renderização, que consiste na transformação do modelo matemático em pontos de um plano (no caso a matriz de pontos que representa a área de plotagem). Este processo é necessário por que a grande maioria dos dipositivos de exibição gráfica atua com imagens em mapas de bits, como apresentado na seção anterior. O processo pode não ser trivial e, a menos que exista algum suporte de hardware para estes cálculos, pode-se impor uma pesada carga computacional sobre o sistema.

Formatos

A seguir apresentamos uma breve descrição dos principais formatos de representação de imagens digitais. A maioria destes formatos é precedida por um cabeçalho que contém atributos (dimensões da imagem, tipo de codificação etc), seguido dos dados da imagem em si.

• JPEG - Joint Photographic Experts Group. É o formato mais utilizado e conhecido atualmente, suportando até 16.777.216 cores distintas e dispondo de um mecanismo de compactação de dados para a diminuição dos arquivos de imagens.

• TIFF - Tagged Image File Format. Arquivo padrão para impressão industrial (offset, rotogravura, flexogravura). O TIFF é capaz de armazenar imagens true color (24 ou 32 bits) sendo muito popular para transporte de imagens do desktop para bureaus, como saídas de scanners e para separação de cores.

• GIF - Graphics Interchange Format. Criado para ser usado na Internet. Suporta imagens animadas e 256 cores por frame. Tem se tornado obsoleto depois da introdução do formato PNG.

• BMP - Windows Bitmap. Mapa de dados, normalmente usado pelos programas do Microsoft Windows. Não utiliza nenhum algoritmo de compressão, mas utiliza representação em paleta de cores.

• SVG - Scalable Vector Graphics. É um formato vetorial, criado e desenvolvido pelo World Wide Web Consortium.

• PNG - Portable Network Graphics. É um formato aberto de dados utilizado para imagens proposto como alternativa ao formato GIF devido ao fato deste último incluir algoritmos patenteados. Suporta canal alfa, não tem limitação da profundidade de cores e alta compressão (regulável). Permite comprimir as imagens sem perda de qualidade, ao contrário de outros formatos, como o JPG.

• PCD - Kodak Photo CD. Este é um formato proprietário lançado pela Kodak, em 1992 como parte um sistema de digitalização e armazenamento de imagens para suprir a demanda no início da popularização das imagens digitais.

• DWG - AutoCAD drawing. Arquivos de texto no padrão ASCII utilizados para armazenar dados de programas CAD.

• RAW - Família de formatos de arquivo RAW, refere-se à família de formatos de imagem RAW que são originados pela maioria das câmeras digitais profissionais.

2.1.3. Computação Gráfica 3D

Em geral, o processo de geração de imagens 3D é efetuado numa arquitetura de pipeline [1], apresentada na figura 5. Esse pipeline é composto por quatro fases, cada qual responsável pela transformação de uma forma de representação em outra. Além disso, as fases são interligadas de forma que o resultado de uma fase é passado como a entrada de outra até que o pipeline seja completado.

Figura 5 - Visão geral do pipeline gráfico 3D

Transformações geométricas

Convencionalmente, a forma de representação de um objeto tridimensional acaba por definir implicitamente aspectos como dimensão e posicionamento. Entretanto, é muito comum que haja a necessidade de se efetuar alterações em tais aspectos, permitindo reutilizar os objetos várias vezes dentro de uma cena – cada cópia com definições diferentes – ou ainda para realizar animações, caso onde os atributos do objeto se alteram no decorrer do tempo [3]. Sendo assim, são adotadas transformações geométricas para que se possa efetuar as modificações nos objetos e tais transformações, no caso do pipeline gráfico 3D, compreendem a fase de transformação.

As transformações geométricas são operações matemáticas utilizadas para alterar pontos no espaço geométrico e, normalmente, são realizadas através de multiplicação de matrizes. A equação 1 apresenta a forma geral da aplicação de transformações, onde o novo ponto P’ é resultado da multiplicação do ponto P pela matriz quadrada M, que contém os valores que definem a transformação que será realizada. Ressalta-se que tanto o ponto P quanto o ponto P’ são descritos em forma de coordenadas homogêneas.

[ ]

⋅=⋅=

ponm

lkji

hgfe

dcba

zyxMPP 1'

Equação 1 – Equação geral para a aplicação de transformações geométricas sobre um ponto.

O uso de coordenadas homogêneas se deve ao fato de existirem dois tipos de transformações: as lineares e as afins. A diferença fundamental entre elas é que as transformações lineares não efetuam alterações quando aplicadas em pontos na origem enquanto que as afins a alteram [3]. Tal aspecto é refletido na forma como tais transformações são aplicadas, sendo através de multiplicação de matrizes no caso de transformações lineares e soma de matrizes nas transformações afins. Assim, com o uso de coordenadas homogêneas é possível uniformizar as transformações utilizando somente multiplicação de matrizes.

Uma outra característica relevante, decorrente do uso de coordenadas homogêneas, é possibilidade de se utilizar transformações compostas, caracterizadas pela união de duas ou mais transformações em uma única matriz [5]. Tal abordagem fornece significativa redução de custo computacional e conseqüente melhora de desempenho nas aplicações gráficas, já que são exigidas menos operações de multiplicação de matrizes do que se as operações fossem realizadas separadamente.

Recorte

A fase de recorte é responsável por eliminar as porções dos objetos, ou mesmo objetos inteiros, que não são visíveis sob ponto de vista definido. Essa eliminação reduz a complexidade dos objetos o que garante maior eficiência no processamento das etapas posteriores. É importante notar que a eliminação de partes de um objeto pode implicar na inserção de novos vértices, de forma a garantir sua consistência, porém o número de vértices removidos nessa etapa tende a ser muito superior ao de vértices inseridos.

Apolinário [3] evidencia que as tarefas executadas nessa fase, bem como as tarefas da fase de projeção, estão intimamente ligadas ao sistema de visualização adotado, que comumente utiliza-se de uma câmera virtual e pode ser definido em cinco etapas:

• Posicionamento da câmera, através da definição de um ponto no espaço, denominado ponto de visão.

• Definição da direção de observação da câmera, realizada através da especificação de um vetor que parte do ponto de visão até o ponto para onde a câmera deve estar direcionada, denominado de ponto de foco.

• Definição da orientação da câmera, que compreende a rotação da câmera em um ângulo arbitrário em relação ao vetor de direção.

• Definição dos aspectos óticos da câmera, correspondente a escolha de uma objetiva em uma câmera fotográfica real. Os principais parâmetros são o campo de visão e os planos de recorte frontal e dorsal. O campo de visão especifica o ângulo dentro do qual os objetos serão visualizados e permite especificar quais objetos comporão a cena, o que caracteriza a fase de recorte. Já o plano de recorte frontal e o plano de recorte dorsal definem, respectivamente, o início e o fim da região nítida da imagem final, introduzindo a noção de profundidade de campo.

• Conversão do sistema de coordenadas utilizado pelos objetos, o sistema de coordenadas global, para o sistema de coordenadas definido pela câmera,

onde o ponto de origem é o ponto de visão. Essa conversão de sistema de coordenadas torna muito mais simples os cálculos de recorte e projeção.

Projeção

Na etapa de projeção ocorre uma transformação no espaço geométrico, que até então era tridimensional. Essa fase é uma preliminar para a rasterização e nela os objetos tridimensionais são transformados em objetos bidimensionais através da aplicação de projeções geométricas, que consistem em projetar os vértices dos objetos tridimensionais sob um plano, denominado plano de projeção. A projeção é realizada através de quatro componentes: o objeto; os projetores, que são os raios de luz que incidem do objeto até a câmera; o plano de projeção, que é a região bidimensional onde a imagem será projetada; e o centro de projeção, que representa o ponto no espaço de onde a câmera se situa [4].

As projeções podem ser classificadas em dois tipos fundamentais de acordo com um aspecto relativo ao centro de projeção:

• Projeção perspectiva: é o caso normal, onde o centro de projeção, situado numa distância finita em relação ao plano de projeção e o objeto, representa efetivamente o ponto onde as projetoras convergem.

Figura 6 - Exemplo de projeção perspectiva com um ponto de fuga.

• Projeção paralela: é um caso especial que ocorre quando o centro de projeção encontra-se demasiado distante do objeto e do plano de projeção. Nesse caso, na medida em que o centro de projeção é afastado, as projetoras tendem a se distanciar entre si até se tornarem paralelas, o que ocorre quando o centro de projeção situa-se no infinito. Assim, não existe efetivamente um centro de projeção onde as projetoras convergem, mas sim uma direção de projeção.

Figura 7 - Exemplo de projeção paralela ortogonal.

Rasterização

Os dispositivos de exibição gráfica convencionais conseguem apenas renderizar imagens de duas dimensões, assim o resultado final do pipeline é uma imagem bidimensional que representa a imagem 3D original. Como a fase de projeção fornece como saída uma imagem vetorial bidimensional, fica a cargo da de rasterização realizar a conversão dessa imagem vetorial em uma imagem bitmap que será apresentada pelo dispositivo de saída gráfica.

Iluminação

Um dos principais aspectos responsáveis pela aparência realística da noção de profundidade e volume em imagens tridimensionais é a iluminação. É possível caracterizar a influência da luz sobre os objetos de duas formas. Na primeira, uma fonte de luz incide seus raios diretamente obre um objeto, caracterizando a iluminação direta. Na segunda forma, a luz refletida pela superfície de um objeto incide sobre outro, criando assim a iluminação indireta. É possível constatar de antemão que a simulação computadorizada de iluminação indireta é bem mais complexa do que a iluminação direta, pois envolve características dos objetos que estão presentes na cena e que eventualmente podem contribuir na iluminação indireta [3][4].

Ao modelar um sistema físico computadorizado que forneça uma simulação consideravelmente realista de iluminação é preciso considerar alguns fenômenos que podem ocorrer quando a luz entra em contato com a superfície de um objeto [3]. Os fenômenos físicos possíveis são:

• Reflexão: consiste na capacidade de um objeto em refletir a luz incidida sobre ele, podendo variar, entre outros fatores, de acordo com o tipo de material e cor.

• Transmissão: consiste na capacidade de alguns materiais de permitirem que a luz os atravesse, como o vidro ou água. Em geral, os raios de luz transmitidos podem sofrer algum tipo de refração, conseqüência da mudança do meio físico ao qual a luz percorre.

• Absorção: consiste na capacidade do material do qual o objeto é composto de reter determinados comprimentos de onda luminosa, que podem ser convertidas

em outro tipo de energia. A absorção é um dos responsáveis pela percepção de cor nos materiais, juntamente com a reflexão.

• Emissão: consiste na capacidade de alguns objetos de emitirem luz ao serem submetidos a condições específicas, como aquecimento ou processos químicos. Além disso, a luz emitida pode variar em vários aspectos, como temperatura da luz e intensidade luminosa.

Após uma análise superficial dos fenômenos envolvidos no processo de iluminação do mundo real, é possível constatar que criar um modelo físico computadorizado realista é uma atividade muito complexa. Essa complexidade se apresenta na dificuldade de se modelar matematicamente tais fenômenos, bem como realizar os devidos processamentos através dos recursos computacionais disponíveis.

Diante desse cenário, Apolinário [3] aponta algumas simplificações que podem ser realizadas a fim de tornar mais factível a adoção de um modelo físico computadorizado e permitir certo grau de realismo. Primeiramente, o autor aponta que quando um objeto é um emissor de luz, tal fenômeno tende a ser predominante. Assim seria possível considerar, num modelo físico computadorizado, que um objeto pode ser qualificado como um emissor ou não-emissor de luz. Um objeto emissor desprezaria os demais fenômenos e um não-emissor desprezaria o fenômeno de emissão. Outra simplificação apontada é assumir que a capacidade de absorção de um objeto é determinada pelo material do qual é composto, o que permitiria definir um valor constante de absorção para objetos compostos dos mesmos materiais.

Apolinário [3] ressalta que historicamente essas simplificações são coerentes, pois, há alguns anos, os recursos computacionais necessários para processar modelos de iluminação mais próximos do mundo real eram proibitivos. Adicionalmente, apesar da atual popularização de placas aceleradoras gráficas, evolução dos processadores e significativa redução do curso das memórias, tais simplificações ainda se justificam quando há a necessidade de visualização interativa em tempo real de modelos complexos e com efeitos de iluminação mais realísticos, como no caso dos jogos digitais.

O modelo proposto por Phong [6] é um dos principais modelos de iluminação utilizados na atualidade. Em seu modelo, foram consideradas as características da percepção visual humana e as leis fundamentais da óptica a fim de fornecer uma significativa melhora na qualidade e no realismo das imagens geradas. Além disso, o autor partiu de três premissas: que tal modelo deveria ser adequado à geração de imagens em tempo real, caso onde os jogos digitais se situam; que a representação dos objetos deveria ser realizada com superfícies curvas suavizadas; e que deveria ocorrer a eliminação ou atenuação dos efeitos das técnicas de amostragem. Levando em conta todos os aspectos anteriormente citados, Phong [6] especificou que a iluminação em seu modelo é composta por três componentes: luz difusa, luz especular e luz ambiente. Através da combinação dessas componentes obtém-se o aspecto final da iluminação em cada parte da cena.

A componente de luz difusa representa reflexões não direcionais, realizadas pela superfície dos objetos, sendo que todos os objetos apresentam tal característica codificada através de um coeficiente. Esse a direção dessa componente não é afetada

pela variação do ângulo de incidência da luz, em relação à fonte, pois a luz difusa é refletida em todas as direções. Entretanto, a intensidade da reflexão difusa varia de acordo com o cosseno do ângulo formado entre a normal da superfície e a fonte de luz, especificando a quantidade de luz que incide sobre o ponto em questão.

Já a componente de luz especular representa reflexos direcionais e sinalizam o quão brilhante é a superfície de um objeto. Através dessa componente é possível caracterizar superfícies brilhantes, como vidros ou metais polidos, o que fornece um alto grau de realismo. Os objetos possuem, assim como na componente difusa, um coeficiente que determina o quanto a luz especular é refletida pelo objeto. A intensidade da reflexão especular é proporcional ao cosseno do ângulo formado entre a direção de visada e a direção de reflexão da luz. Além disso, existe um expoente especular que determina o quão rápido o reflexo especular decai quando o ângulo de visada se afasta do ângulo de reflexão, o que permite definir com grande realismo os reflexos especulares extremamente pontuais. Outra característica da componente especular é que a cor da luz refletida não é influenciada pela cor do objeto.

Por fim, a componente de luz ambiente permite simular as interações realizadas entre os reflexos dos objetos, ou seja, representar o efeito causado pelo reflexo de luz de um objeto sobre os demais. No mundo real, até mesmo as superfícies não iluminadas dos objetos não permanecem na escuridão, pois os reflexos difusos e especulares de outras superfícies, bem como a luz difusa pela atmosfera, fornecem alguma iluminação a elas. Entretanto, simular tal aspecto do mundo real de modo realístico é muito complexo e pode ser demasiado custoso computacionalmente. Considerando ainda o escopo de aplicações em tempo real, como os jogos digitais, tal aproximação do mundo real torna-se impraticável. Assim, o modelo de Phong [6] permite adotar uma abordagem onde considera que a quantidade de luz que um objeto precisa receber do ambiente é emitida pelo próprio objeto. Para tanto, é adotada uma constante de iluminação ambiente que, quando multiplicada pelo coeficiente de reflexão do ambiente, fornece a componente de luz ambiente que se refere ao objeto.

2.2. Sistemas de Visualização Tri-dimensional Nesta seção analisamos os sistemas de visualização tridimensional, ou seja,

aqueles capazes de fornecerem imagens com profundidade, sejam elas projetadas no espaço físico ou montadas a partir de aparatos de visão estereoscópica.

2.2.1. Visão Estereoscópica

Os seres humanos são dotados de um sistema de visão composto por dois olhos que enxergam o ambiente de formas diferentes em virtude da distância que os separa e é devido a essa captura de duas imagens ligeiramente deslocada que somos capazes de ter a noção de profundidade ao observarmos uma cena. Levando em conta tal aspecto, surgiram técnicas de computação gráfica que tentam simular o comportamento esteroscópico da visão humana a fim de gerar imagens planas que forneçam a sensação de profundidade similar ao mundo real.

Em computação gráfica, normalmente são geradas imagens a partir de uma única câmera virtual e estas imagens são projetadas em um plano. Essas imagens,

principalmente nos casos de fotografias ou imagens geradas por um jogo digital 3D, tendem a apresentar alguns efeitos que fornecem características de tridimensionalidade, como perspectiva, sombra e iluminação. Tais efeitos são denominados efeitos passivos, pois estão presentes na imagem em si [7].

A estereoscopia visual, ao contrário, é considerada um efeito ativo, pois não está contida da imagem em si e é formada a partir da geração de duas imagens, cada qual oriunda de diferentes câmeras virtuais em posições distintas. Entretanto, as imagens de cada câmera virtual são exibidas no mesmo espaço, assim é necessário um filtro especial, comumente em forma de óculos, que permita que cada olho seja capaz de receber a imagem adequada.

Figura 8 – Esquema básico de visão estereoscópica.

A visão estereoscópica pode ainda ser classificada em duas categorias, em função do tipo de equipamento e de óculos utilizados [7]:

• Estéreo passivo: utiliza duas imagens de câmeras virtuais distintas para gerar a imagem estereoscópica e óculos agindo como filtros. A forma mais comum é o anáglifo, onde a filtragem é realizada por cores, sendo que para cada olho é utilizada uma cor diferente, tipicamente vermelho para o olho esquerdo e azul para o olho da direita, de forma que cada olho consegue apenas ver a cor correspondente ao seu filtro. Este sistema tem como vantagem o baixo custo, a necessidade de apenas um projetor ou monitor comum para a exibição da imagem estereoscópica, além da imagem poder ser impressa.

• Estéreo ativo: os óculos são compostos por duas lentes de cristais capazes de fechar a visão dos olhos. Quando uma visão é fechada, a outra é aberta, isto é, quando é projetada a imagem destinada ao olho direito, o projetor emite um sinal de sincronização para o emissor infravermelho, que é repassado para os óculos, fechando a visão do olho esquerdo. O inverso ocorre para o olho esquerdo. Considerando que a freqüência mínima para exibição em computador é 60 Hertz e que existem 2 imagens a serem projetadas, um sistema estéreo ativo considerado

razoável deve ter um projetor que deve trabalhe em uma freqüência mínima de 120 Hertz. Tal característica acaba elevando o preço desse tipo de equipamento.

2.2.2. Holografia

Holografia é uma técnica que permite que a luz seja dispersa de um objeto e gravada em algum meio de forma que, posteriormente, possa ser reconstruída como se o objeto estivesse na mesma posição de quando foi gravado. A imagem reconstruída muda de posição e orientação conforme é alterado o sistema de visualização e isso fornece a mesma sensação de tridimensionalidade do objeto real. A forma mais comum de holografia é a exibição de imagens tridimensionais estáticas sobre uma superfície plana, entretanto alguns avanços têm sido realizados na exibição de imagens em telas volumétricas.

Uma tecnologia de apresentação de imagens 3D de destaque é um sistema de renderização em 360º desenvolvido por pesquisadores do Graphical Lab da University of Southern California [8]. Tal mecanismo oferece um sistema de reprodução de imagens volumétricas de baixo custo e funciona através da projeção de imagens sobre uma superfície espelhada giratória. A imagem sendo projetada é sincronizada com a rotação do espelho, que gira 20 vezes por segundo, de forma a exibir sobre a superfície a imagem que corresponda à projeção no ângulo em questão. Assim, a persistência da visão cria a sensação de que o objeto tridimensional está flutuando e possibilita a visualização volumétrica do mesmo.

É importante destacar que apesar da estereoscopia, apresentada na seção anterior, permitir uma sensação tridimensional, tal efeito constitui apenas de um único ângulo de visão. Ao contrário, a holografia permite que a sensação tridimensional seja observada a partir de vários ângulos.

Ainda não existem aplicações práticas da holografia em jogos digitais.

2.3. Sistemas de Captura de Imagem

Computadores que “enxergam” ainda fazem parte apenas do imaginário popular, alimentado por filmes e literatura de ficção científica em que máquinas assumem formas semelhantes às humanas. Apesar da ampla disponibilidade de tecnologia para a captura e armazenamento de imagens em meios digitais, ainda existem grandes desafios tecnológicos relacionados à interpretação destas imagens e a conseqüente transformação destas em informações úteis.

Algumas tecnologias de modelagem matemática e processamento de sinais são empregadas na interpretação de imagens capturadas por câmeras, mas suas aplicações são restritas a sistemas industriais com objetivos extremamente específicos. Dentre estas tecnologias, citamos as técnicas de Morfologia Matemática [10] e Wavelets [11].

No campo dos jogos digitais, ainda não há nenhum produto comercial que faça uso da captura de imagens como forma alternativa de interação com o jogador, mas há inúmeros projetos sendo desenvolvidos nesta direção. Um destes projetos de maior destaque é o Natal, desenvolvido pela empresa Microsoft. Em um vídeo de demonstração divulgado recentemente, uma menina interage com um personagem

virtual que habita uma paisagem criada por um computador e exibida em um monitor. Há ainda uma câmera voltada para a menina que captura seus movimentos e procura interpretá-los, calculando os efeitos que estes movimentos podem ter sobre o ambiente.

Este e outros projetos de controle ainda são sistemas experimentais que utilizam técnicas de captura de movimento para criar uma nova dimensão de interação do jogo com o jogador. Na próxima seção analisamos alguns dos principais aspectos relacionados à captura de movimentos realizada por análise de imagens. Em seção futura, analisaremos outras formas de captura de movimento com o uso de sensores de posição e acelerômetros.

2.4. Sistemas de Captura de Movimentos

Os sistemas de captura de movimento são aqueles utilizados para detectar a movimentação de um agente (comumente chamado de “ator”) e interpretar os efeitos que esta movimentação terá sobre o contexto de um jogo ou aplicativo computacional. Conforme citado na seção anterior, ainda não há jogos digitais comercializados com este tipo de funcionalidade, mas a captura de movimento é largamente empregada durante o processo de desenvolvimento dos jogos eletrônicos quando se deseja imprimir em um personagem qualquer a naturalidade dos movimentos de um ser humano.

Há diversas formas de se realizar a captura de movimento. A forma que será tratada nesta seção é a captura ótica, por se inserir no contexto da captura de imagens, mas outras formas igualmente eficientes serão tratadas em seções futuras.

Os sistemas óticos de captura de movimento são os mais utilizados atualmente. Dentre suas vantagens está o fato de proporcionar ao ator uma maior liberdade de movimentos, já que dispensa o uso de cabos ou equipamentos ligados ao seu corpo. São utilizados marcadores circulares refletivos afixados em pontos próximos das articulações e membros. Associados a câmeras especiais posicionadas estrategicamente para fazer o tracking desses refletores durante a movimentação do ator.

Cada câmera gera as coordenadas bidimensionais para cada refletor (obtidas via processo de segmentação) e as coordenadas 2D capturadas por câmeras independentes são analisados por um software que, através de um processo de triangulação, fornece as coordenadas tridimensionais dos refletores.

Uma das vantagens da utilização de sistemas óticos e a alta taxa de amostragem, que permite a captura de movimentos rápidos como os utilizados em artes marciais e esportes olímpicos. A taxa de amostragem depende basicamente da capacidade de definição das câmeras e do computador utilizados no processo.

A grande desvantagem dos sistemas óticos e a oclusão de um ou mais refletores durante o processo de captura. Este tipo de problema e mais freqüente durante a captura de movimentos de objetos pequenos (dedos das mãos) ou de vários atores interagindo muito próximos uns dos outros. Este problema pode ser minimizado com a utilização de um numero maior de câmeras e de refletores. Por em existe um balanço entre esses fatores: um maior numero de câmeras acarreta um maior tempo de processamento para a CPU durante o tracking dos refletores. Já ao se aumentar o numero de refletores, surge o problema de “tracking confusion", ou seja, a dificuldade de identificar os refletores que estão muito próximos.

Os equipamentos óticos de captura são os mais caros existentes atualmente.

3. Audição

A audição é, depois da visão, o sentido mais explorado pelos mecanismos de interface homem-máquina. No caso específico dos jogos eletrônicos, os sons são partes importantes da experiência vivida, enriquecendo-a além das fronteiras que seriam atingíveis apenas com gráficos bem elaborados.

Nesta seção analisamos alguns dos principais aspectos relacionados à produção e captura de som em sistemas digitais.

3.1. Sistemas de Reprodução de Áudio

O processo para reprodução de som guarda algumas similaridades com o de reprodução de imagens [9]. Em essência, consiste na codificação de um sinal elétrico que, aplicado a um transdutor, imprime ondas mecânicas na atmosfera de maneira a reproduzir o som codificado. A forma como este som será reproduzido depende de uma série de fatores e pode variar desde um monótono som monofônico até sofisticados sistemas de som espaciais. Entretanto, o ponto de análise mais importante é aquele referente à codificação do sinal, realizado pelo dispositivo computacional ou console de vídeo-game.

Nas próximas seções analisamos os dois principais mecanismos de codificação sonora: síntese e reprodução.

3.1.1. Codificação Sonora: Síntese

A síntese sonora é aquela em que o sinal a ser transformado em som é gerado dentro do próprio sistema computacional através de circuitos osciladores especialmente projetados para este fim. Na verdade, esta abordagem não se restringe aos sistemas computacionais e tem sido amplamente explorada há décadas por músicos interessados na utilização de sintetizadores musicais.

Sintetizadores musicais podem ser entendidos no campo do áudio como as imagens vetoriais da computação gráfica. Sua construção se dá a partir de modelos matemáticos e, por isso, são de codificação simples, admitem transformações de sinal sem qualquer perda de qualidade, são extremamente econômicos sob o ponto de vista do espaço de armazenamento, mas demandam maior poder computacional para ser processados.

Ao contrário do caminho seguido no campo da computação gráfica, em que os mapas de bits tiveram maior prevalência nos sistemas iniciais em razão de sua pouca demanda de poder computacional, os sistemas de síntese sonora dominaram os sistemas iniciais em razão de sua pouca exigência de memória. Estes sistemas podiam ser codificados em alguns bytes e utilizar sistemas osciladores programáveis bem simples para sua implementação.

Dentre os principais elementos existentes na síntese sonora, destacamos os osciladores, que são os componentes responsáveis pela geração da onda elétrica que será convertida em onda sonora. Os osciladores consistem em programas ou circuitos responsáveis pela geração de uma onda elétrica oscilatória cuja freqüência, intensidade e

perfil podem ser programados. Os perfis de onda mais comuns são o senoidal, quadrado, triangular e dente de serra, conforme ilustrado na figura 9.

Através do uso de scripts de programação de osciladores, é possível a execução das mais variadas canções e efeitos sonoros. A alteração da freqüência de oscilação permite a reprodução de diferentes notas e o uso de perfis diferentes garante a possibilidade de criação de efeitos sonoros como chiados e explosões.

Figura 9 – Ondas geráveis por osciladores

Os primeiros consoles de vide-game utilizavam sistemas de síntese com apenas um oscilador senoidal ou quadrado. Apesar de estes sintetizadores rudimentares poderem ser programados para a execução de melodias simples e alguns efeitos sonoros, a “identidade musical” dos primeiros sistemas computacionais dotados de som foi fortemente definida por eles. As típicas melodias e efeitos sonoros construídos com sons “puros” marcou fortemente os jogos lançados nesta época. O console da Atari é um destes sistemas.

A segunda geração de sistemas sintetizadores de som, lançados a partir da metade da década de 80, como o processador sonoro PSG, comumente comercializado nos sistemas dotados de CPU Zilog Z80, apresentou duas grandes novidades: 1) a possibilidade de controlar um número maior de parâmetros, como volume e forma de onda; 2) a introdução de 3 osciladores independentes. Estas duas melhorias permitiram a composição de melodias bem melhor trabalhadas. Num arranjo típico dos jogos desta época, utilizava-se um oscilador para a execução da melodia (mais aguda), um para a execução do baixo (mais grave) e um para a percussão. Os computadores da linha MSX utilizavam o processador PSG para a geração de som.

Com o avanço tecnológico das plataformas digitais de jogos e o conseqüente barateamento de recursos computacionais antes escassos, os sintetizadores de som foram dando espaço aos sistemas pré-gravados em razão da dificuldade em se reproduzir sons mais rebuscados. A síntese de voz, por exemplo, consiste num processo extremamente complexo e até hoje em desenvolvimento.

Os atuais computadores da linha IBM PC dispõem de placas de som dedicadas à reprodução e síntese sonora. Além de osciladores, possuem ainda uma série de efeitos que podem ser adicionados ao som gerado. Alguns destes efeitos são discutidos mais a frente neste documento.

3.1.2. Codificação Sonora: Reprodução

A reprodução sonora digital consiste na execução de sinais sonoros captados e convertidos para formato digital. Este processo, que envolve a conversão analógico-digital-analógica do sinal elétrico produzido pelo som, começou a se popularizar nos sistemas computacionais e consoles de jogos a partir do momento que estes vieram equipados com sistemas reprodutores de CD e placas de som [12].

Descrito em maiores detalhes, este processo é constituído das seguintes etapas:

• Captação: é a fase em que os sons a serem reproduzidos são captados por sistemas transdutores, como microfones, e convertidos em sinais elétricos analógicos. Esta captação pode se dar em um estúdio, com equipamentos e infra-estrutura sofisticada, ou através do uso de pequenos microfones conectados diretamente à placas de som de computadores e vídeo-games.

• Conversão A/D: esta é a fase em que o sinal elétrico analógico produzido pelo transdutor e possivelmente pré-amplificado é injetado em um módulo conversor analógico-digital, sendo transformado em palavras binárias a partir de uma freqüência de amostragem. Maiores detalhes acerca deste processo são descritos mais a frente.

• Armazenagem: neste ponto as palavras binárias são armazenadas em memória e podem ser transferidas para dispositivos de armazenamento não-volátil, como HDs, disquetes e CDs.

• Conversão D/A: consiste na primeira etapa do processo de reprodução sonora. Nela, as palavras binárias são lidas uma a uma na mesma velocidade de amostragem com que foram geradas e, para cada valor, um sistema oscilador é excitado para reproduzir o som original.

• Reprodução: o som gerado pelos osciladores é amplificado e reproduzido em caixas de som, fones ou transmitidos por outros meios.

O processo de gravação e reprodução digital de sons, que tem como parte fundamental a conversão de formatos do sinal, é largamente empregado hoje tanto pela indústria de jogos como por todas aquelas envolvidas na utilização de som para entretenimento, como as indústrias fonográfica e cinematográfica. De fato, a conversão de um sinal analógico em um conjunto de palavras binárias traz uma série de vantagens à manipulação sonora: dentre eles, os principais são a manutenção da qualidade do som gravado e a possibilidade de replicá-lo rapidamente e indefinidamente sem qualquer perda de qualidade.

Um ponto que deve ser notado aqui é que esta qualidade é fortemente dependente da freqüência de amostragem e da quantidade de bits utilizados no processo de digitalização do sinal analógico. A quantidade de bits neste caso desempenha um papel semelhante à desempenhada no caso das imagens: ela define a resolução com que as

amostras serão representadas. Quando maior a quantidade de bits, mais “versátil” é a representação digital do som. Já a freqüência de amostragem define a largura de banda de freqüências possível de ser representada pelo processo de digitalização, influindo igualmente na qualidade do som armazenado.

O processo de gravação e reprodução de CDs utiliza sistemas de digitalização com palavras de 16 bits e amostragem a 44 Khz. Estes parâmetros são facilmente reproduzíveis pelos circuitos de som dos computadores e consoles de vídeo-game disponíveis atualmente, mas não eram fáceis de ser obtidos até meados da década de 90. Nos primeiros sistemas computacionais, como os consoles da Atari e os computadores pessoais de 8 bits, as freqüências de clock dos processadores era inferior a 8 Mhz, havendo uma grande concentração de sistemas de 3 Mhz. A baixa velocidade de processamento associada à falta de circuitos especializados no processamento de áudio tornava inviável a reprodução de áudio com qualidade aceitável.

Além da questão da capacidade de processamento, as limitações de armazenamento em memória também representaram importantes barreiras contra essa modalidade. Os primeiros sistemas de jogos digitais possuíam apenas alguns kilobytes de armazenamento em memória volátil, o que permitiria apenas alguns segundos de armazenamento de som de baixa qualidade.

Atualmente a reprodução de áudio é extensamente utilizada em jogos digitais para a reprodução de trilhas sonoras, falas, efeitos sonoros de explosões, naves espaciais e toda sorte de sons necessários a uma rica experiência sonora. Além do processo de reprodução descrito nesta seção, são também utilizados recursos de processamento de áudio para tornar ainda mais interessante e versátil a capacidade de geração de sons dos sistemas computacionais e consoles de vídeo-game, como será visto na próxima seção.

3.1.3. Processamento de Áudio

Independentemente da forma como o áudio é gerado, existe a possibilidade de que, antes de ser amplificado e transmitido às caixas de reprodução, ele seja processado com o fim de ganhar novas características e propriedades. O processamento de áudio corresponde a um maduro segmento do processamento digital de sinais e há anos é largamente utilizado em sistemas de som e nas etapas de produção sonora das indústrias fonográfica e cinematográfica.

Dentre os objetivos do processamento de áudio está a criação de efeitos sonoros que simulam ambientes, materiais e situações capazes de enriquecer a experiência sonora obtida. Abaixo listamos alguns dos principais efeitos utilizados em jogos digitais e na produção sonora em geral:

• Reverberação: o efeito de reverberação procura criar digitalmente a sensação causada pela reflexão do som quando emitido em ambientes fechados e pareces não absorventes, como metais ou pedras. Este efeito, obtido através da adição de ecos sucessivos de curta duração, permite simular digitalmente a sonoridade de câmaras fechadas, quartos, cavernas e outros ambientes exploráveis em jogos.

• Delay: também conhecido como eco, consiste num efeito semelhante à reverberação, mas que se dá em ambientes mais amplos, onde o retorno do som ocorre em intervalos de tempo claramente perceptíveis.

• Distorção: esta categoria inclui uma ampla gama de efeitos que procuram simular diferentes tipos de distorção harmônica como, por exemplo aqueles introduzidos por antigos equipamentos de som. São úteis para a criação de vozes ou melodias com um tom mais “agressivo”.

• Equalização: são os sistemas capazes de reforçar ou atenuar determinadas faixas de freqüência do som a ser reproduzido. Com isso, pode-se enfatizar determinados aspectos sonoros, como a parte mais grave das explosões, ou a parte mais aguda de um grito de socorro, por exemplo.

• Flanger: conhecido efeito constituído pela variação progressiva da equalização do som original, o que gera um efeito espacial interessante, muito utilizado para modular “vozes vindas do espaço” em jogos de ficção.

• Harmonizer: este efeito multiplica o som original criando réplicas deslocadas em determinados intervalos de freqüência. Com isso, é possível criar a sensação de que há múltiplas vozes entoando um canto, mesmo que só haja a gravação de uma única voz.

Há uma série de outros efeitos digitais possíveis de serem obtidos, alguns dos quais resultantes pela combinação dos efeitos listados aqui. Cada um destes efeitos pode ser visto como uma operação a ser realizada sobre o sinal original, sendo possível aplicar diversos efeitos sobre uma amostra de som. Um exemplo claro da aplicação destes efeitos se dá no jogo Half-Life 2: enquanto o protagonista circula pelos labirintos do jogo se comunicando com sua parceira Alyx, é possível ouvir sua voz através do rádio-comunicador. O som oriundo do rádio é obtido através da correta equalização da amostra de som original da voz de Alyx, que a transforma em um som tipicamente obtido por estes sistemas de comunicação (voz de telefone). Além disso, o som produzido pelo rádio é ainda processado dependendo do ambiente onde o protagonista se encontra, podendo receber diferentes tipos de reverberação.

Os atuais sistemas computacionais possuem ampla capacidade de processamento digital e podem lidar com a maior parte das demandas de processamento de áudio de jogos eletrônicos. Há, no entanto, placas de áudio especializadas nesta tarefa, que podem não só dar suporte à execução de jogos como servir de sistemas de apoio para a produção sonora profissional.

3.1.4. Áudio Multicanal

Os sistemas de áudio multicanal, como os sistemas Dolby e Surround, introduziram a capacidade de reprodução de áudio com características espaciais. Estes sistemas, que podem ser entendidos como uma extensão da estereofonia, permitem a configuração de ambientes onde seja possível a percepção espacial sonora já que dispõem de múltiplas fontes reprodutoras de áudio, cada qual posicionada em um determinado ponto do ambiente.

O mais comum sistema multicanal disponível atualmente em computadores e consoles é o Dolby 5.1. Segundo este padrão, há 5 canais de áudio direcionais e um dedicado à reprodução de sons sub-graves. A disposição usual dos canais direcionais no espaço é: um frontal, dois fronto-lateriais e dois traseiro-laterais.

Sistemas de áudio multicanais são particularmente interessantes em jogos de gráficos 3D pois complementam a percepção espacial com sons igualmente dotados de profundidade. Através deles, é possível, por exemplo, identificar a direção e a distância da fonte sonora com relação ao ponto de observação do jogador no mundo virtual.

A maioria dos engines de jogos digitais 3D já faz um tratamento adequado da localização espacial das fontes sonoras, traduzindo-as em uma codificação apropriada para sistemas multicanais. Um exemplo de engine dotado desta capacidade é o Source, produzido pela Valve Software e utilizado em jogos como Couter Strike e Half-Life 2.

3.2. Sistemas de Captação de Áudio

Da mesma forma que os jogos digitais podem se “expressar” através de sons, eles também podem receber sons como entradas de dados a serem processados. Jogos que “escutam” não são comuns e restringem-se a uma gama relativamente limitada de aplicações, sobretudo musicais.

Jogos que utilizam a captura de som como parte integrante de suas interfaces geralmente estão focados somente na captura da fala. Outras formas de identificação e processamento de áudio são raras e pouco relevantes no contexto deste documento. Nas seções a seguir destacamos algumas das principais aplicações associadas à captura e reconhecimento de fala utilizadas em jogos digitais.

3.2.1. Reconhecimento da Fala

O reconhecimento da fala é largamente utilizado para ilustrar comportamentos próximos dos humanos em filmes de ficção científica. Apesar de ser um antigo “sonho tecnológico”, sua aplicação ainda é bastante restrita e pouco tem sido feito para utilizá-la em jogos digitais.

Segundo [13], dentre as principais dificuldades associadas ao uso de reconhecimento de fala em jogos digitais, destacamos:

1) o uso da fala como interface de comando não é prático para a maioria dos jogos existentes; de fato, a experiência tem mostrado que utilizar teclados e mouses é não só mais rápido do que falar, mas também mais prático e conveniente;

2) os sistemas de reconhecimento de fala ainda não são tão robustos a ponto de identificarem palavras ditas por quaisquer pessoas em quaisquer circunstancias; o processo de captura deve-se dar em um ambiente silencioso e sempre com a mesma pessoa para a qual o sistema foi “treinado”;

3) mesmo que a captura de fala se dê de forma correta, ainda careceríamos de um sofisticado sistema de interpretação de mensagens que conseguisse lidar com todos os vícios e ambigüidades da linguagem falada.

4) o processo de reconhecimento de fala é bastante pesado sob o ponto de vista computacional, sendo inadequado para o uso em conjunto com jogos de ação que demandem processamento em tempo real.

Algumas plataformas de reconhecimento de fala com kits de desenvolvimento disponíveis para múltiplas plataformas podem ser encontradas no mercado. Estas plataformas são comumente empregadas no enriquecimento da interface de algumas categorias de jogos, sobretudo RGP, e na melhora da acessibilidade de aplicações em geral. Algumas delas são Nuance VoCon (http://www.nuance.com), Game Commander (http://www.gamecommander.com) e Microsoft Sidewinder Game-Voice (http://www.microsoft.com). A plataforma Shoot (http://clans.gameclubcentral.com/shoot/) também se propõe a fornecer este tipo de facilidade a desenvolvedores e usuários de jogos, mas apresenta-se como um produto gratuito para uso não comercial.

O projeto Natal, já citado neste documento, procura utilizar sofisticados mecanismos de reconhecimento de fala para simular uma interação realística com o personagem fictício retratado na tela do computador. Ainda não temos condições de avaliar o grau de sucesso que esta iniciativa terá.

3.2.2. Detecção de Ritmo e Tonalidade

Uma modalidade de captura de áudio também relacionada ao processamento da fala e que vem sendo empregado recentemente em jogos digitais é o de detecção de tonalidade e ritmo do canto [14]. Esta modalidade já é empregada em sistemas de Karaokê há anos, mas só ganhou os consoles de vídeo-game com o sucesso de jogos da franquia Rock Band.

Nestes jogos, o objetivo do jogador é cantar o mais perfeitamente possível uma determinada canção à medida que sua música é executada. A voz do jogador é captada por um microfone e analisada com respeito aos seguintes aspectos:

1) se o cantor está cantando no ritmo certo, utilizando pausas e sílabas tônicas nos momentos corretos,

2) se o cantor está cantando no tom certo, utilizando as notas corretas.

Estes sistemas não verificam se as palavras cantadas são efetivamente aquelas da letra da música, o que demonstra não haver qualquer mecanismo de reconhecimento de fala neles embutido. A pontuação do jogador é diretamente proporcional à sua capacidade de cantar conforme a programação de cada música, não havendo portanto muito espaço para interpretações pessoais.

3.2.3. Sistemas de Captura de Movimentos

Em seção anterior vimos a aplicação de sistemas de visão computacional para a captura de movimentos. Nesta seção apresentamos a modalidade acústica de captura [15].

Os sistemas acústicos empregam um conjunto de emissores sonoros colocados nas principais articulações do ator, enquanto três receptores são posicionados no local de captura. Os transmissores são então seqüencialmente acionados para produzir um ruído

característico, que são captados pelos transmissores, calculando-se assim suas posições no espaço. Este cálculo é feito através da triangulação das distâncias deles em relação aos três receptores.

Um dos problemas deste método e a dificuldade de obter uma descrição correta dos dados num instante desejado, devido ao caráter seqüencial do disparo dos transmissores no corpo do ator. Alem disso, os sistemas acústicos sofrem de um problema que não existe na captura ótica: os incômodos cabos, que prejudicam a movimentação do ator, reduzindo assim o escopo de movimentos que podem ser executados. O número de transmissores que podem ser utilizados simultaneamente também e limitado, o que pode não fornecer uma descrição suficientemente correta do movimento capturado.

Os sistemas acústicos estão sujeitos a interferências do ambiente: reflexões do som emitido pelos transmissores ou ruídos externos podem afetar o processo de captura e destruir os dados obtidos. Em compensação, este tipo de sistema não possui problemas de oclusão, típico de sistemas óticos.

4. Tato

Nesta seção apresentamos alguns dos sistemas de controle baseados na ação do jogador sobre dispositivos mecânicos.

4.1. Joysticks

Os joysticks são a forma mais antiga e tradicional de interface com jogos digitais que extrapolam o uso de teclados [16]. Popularizados nos anos 80 com o sucesso comercial do console da Atari, os joysticks se tornaram uma peça fundamental a ser adquirida com todo console de vídeo-game. Atualmente assumem formas e funções bem mais sofisticadas que suas versões iniciais.

Figura 10 – Joystick do console da Atari

O termo joystick está associado ao fato deste possuir uma alavanca – ou manche - cuja função é proporcionar ao jogador a possibilidade de entrada de comandos

direcionais. Os primeiros joysticks suportavam apenas as quatro direções fundamentais e estas possuíam acionamento binário, como uma chave de contato. Atualmente, os joysticks mais modernos suportam o comando em todas as direções do plano perpendicular ao manche e distinguem comandos mais fortes dos mais fracos.

Além do manche de comando, os joysticks são equipados com botões que podem assumir múltiplas funções, dependendo do jogo. O disparo de armas é um uso clássico destes botões.

O console de vídeo-game PlayStation introduziu um novo modelo de joysticks que praticamente o conceito vigente de controles de games. A versão inicial deste joystick e sua versão estendida, lançada para o console PlayStation 2, traziam como grande diferencial o fato do jogador poder operá-lo com as duas mãos, disponibilizando ao mesmo uma grande quantidade de botões e manches.

Figura 11 – Joystick do console PlayStation 2

Dotado de 12 botões sensíveis à pressão (além dos 3 para controle do jogo) e duas alavancas analógicas para serem operadas com os polegares, este joystick permitiu a criação de jogos com modos de controle bem mais sofisticados do que os permitidos pelos modelos anteriores. A maioria dos jogos de tiro em primeira pessoa utiliza o paradigma das duas alavancas analógicas para a movimentação do personagem (uma encarrega-se do deslocamento enquanto a outra se encarrega da direção). Jogos com controles complexos, como de futebol e lutas, também se beneficiaram desta flexibilidade.

Estes e outros joysticks que o sucederam também traziam como diferenciais a possibilidade de vibrarem em resposta às condições do jogo, como por exemplo a ocorrência de alguma explosão próxima de onde o personagem se encontrava. Estes e outros detalhes incorporados aos joysticks visavam tornar seu uso mais intiutivo e sua experiência de controle mais rica e natural.

Nas seções a seguir analisamos outras formas de controle que, de uma forma ou outra, herdaram muitas das características dos primeiros joysticks, implementando-as em formas alternativas e mais adequadas a certas aplicações.

4.2. Veículos

Os volantes são um tipo de controle essencialmente dedicados a jogos de simulação de corrida. Em geral, fornecem ao jogador, além do volante, outros elementos básicos para se dirigir um veículo automotivo: os pedais e, em alguns casos, a caixa de câmbio. Em relação à precisão de tais controles, existem volantes e pedais analógicos que fornecem maior precisão e granularidade no controle dos veículos. Um pedal de acelerador analógico, por exemplo, permite ao jogador escolher o quanto se deseja acelerar o veículo, assim como num carro real. Nesse sentido, os pedais e volante oferecem uma característica que não é possível simular através de um teclado, onde existe apenas a condição de estar ou não acelerando.

Figura 12 – Kit composto de volante e pedais.

Alguns modelos de volantes adotam, ainda, uma tecnologia denominada háptica, que consiste na capacidade do dispositivo em fornecer ao usuário uma realimentação física, coerente ao contexto do jogador. Como exemplo, um jogador que esteja pilotando um carro de corrida poderia, na ocasião de transitar sobre as zebras, receber uma resposta física do volante simulando a trepidação da caixa de direção. Tais controles utilizam-se, em geral, de motores de passo que fornecem as respostas mecânicas, possibilitando uma sensação imersiva superior aos jogos digitais.

4.3. Armas

Algumas plataformas de jogos digitais suportam um tipo de controle denominado light gun, que pode ser traduzido simplesmente como pistola, pois tipicamente se apresentam como armas de fogo. Trata-se de um dispositivo apontador, normalmente apontado contra a tela, utilizado essencialmente em jogos que envolvem o disparo de projeteis contra objetos ou entidades.

Existem dois tipos de pistolas, que variam um pouco no modo como realizam a identificação da posição apontada pelo jogador: sequential target e cathode ray timing. Em geral, a identificação do ponto onde o jogador está direcionando o controle nos dois tipos de pistola é realizada através de um método que detecta a luz oriunda da tela. Quando o jogador dispara o gatilho do controle, a tela fica preta e um diodo contido na

pistola passa receber luz. Toda ou parte da tela é, então, pintada de branco de forma que permita o computador ou console determinar a direção exata para onde a pistola está sendo apontada, baseado em quando o diodo detecta luz. Normalmente este processo é imperceptível ao jogador, já que seu tempo de duração é uma fração de segundo.

No método sequential target, cada alvo do jogo é desenhado seqüencialmente após a tela ser pintada de preto. A cada alvo desenhado é verificado se o diodo detectou luz. Quando a luz é detectada, o computador sabe que a pistola esta apontando para um alvo, além de saber identificar qual é o alvo, pois os mesmos são desenhados um após o outro. Já no método cathode ray timming, o computador calcula quanto tempo o canhão de elétrons da tela levou para excitar o fósforo situado na posição onde a pistola está apontada. A pistola então envia um sinal após detector uma pequena mudança de brilho nesse ponto, que ocorre quando o canhão de elétrons atualiza-o. Assim, o computador calcula a posição do ponto baseado na taxa de atualização horizontal da tela e, conhecendo esta posição, poderá realizar a identificação do alvo.

Figura 13 – Controlador do tipo Light Gun

Um aspecto importante a se ressaltar é que em ambos os métodos é necessário que a tela seja um tubo de raios catódicos (CRT). Sendo assim, tais técnicas não são aplicáveis aos novos dispositivos de exibição, como as telas LCD e as baseadas em LED. Para isso foi criado um novo tipo de pistola baseado em emissores e sensores infra-vermelho (IR). Nesse sistema, um ou mais emissores IR são colocados na tela e um sensor fica situado no controle. Quando o gatilho é pressionado, a pistola envia, ao computador, a intensidade dos sinais IR detectados por seu sensor. Uma vez que a intensidade depende da distância e do ângulo relativo à tela, sensores de ângulo são localizados na pistola. Assim, o computador pode utilizar um sistema de equações trigonométricas para identificar o ponto no espaço tridimensional, relativo à tela, onde a pistola se situa e determinar o ponto na tela para onde ela aponta.

4.4. Sensores de Pressão

Os sensores de pressão, também conhecidos como “tapetes”, constituem uma classe de controles destinados a jogos e aplicativos que envolvam a movimentação física do jogador sobre uma área delimitada. A mais popular versão deste tipo de controle, destinado ao uso com jogos da série “Dance Dance Revolution”, é constituído por um conjunto de setas dispostas sobre uma superfície plana horizontal e sensível ao toque. O jogo consiste na apresentação de uma sequência de setas que devem ser seguidas pelo jogador com os pés sobre o “tapete”.

Os jogos de dança que utilizam este tipo de tecnologia ganharam vida própria e passaram a contar com versões exclusivas instaladas em parques de vídeo-games. Muitas vezes as montagens são feitas com dois equipamentos para que duas pessoas possam jogá-la ao mesmo tempo na forma de uma competição.

Figura 14 – Sensor de pressão para os pés

Uma extensão deste controle foi introduzida pela Nintendo com seu sensor de pressão denominado Wii Fit. Este controle é constituído por um grande número de pequenos sensores de pressão que, ao detectar a distribuição de pressão sobre sua superfície, pode inferir a posição aproximada em que o jogador se encontra sobre ele.

Figura 15 – Controlador Wii Fit

Este sensor é utilizado numa classe de aplicações e jogos destinados à realização de exercícios físicos supervisionados pelo console de vídeo-game. Através da detecção da posição com que o jogador se encontra, a aplicação pode determinar se os exercícios estão sendo feitos de maneira correta e quantas calorias estão sendo queimadas.

4.5. Outros controles

Além dos controles anteriormente citados, existe uma grande variedade de dispositivos utilizados como interface de entrada para jogos digitais. Na maioria dos casos, o surgimento de novos tipos de controle intencionam, através de novas tecnologias ou formas de uso, superar limitações dos modelos mais tradicionais e fornecer novas experiências aos jogadores. Isso possibilita maior sensação de imersão no ambiente virtual através de controles mais adequados ao contexto, como o caso dos volantes utilizados em simuladores de corrida.

Uma nova classe de controles tem sido introduzida pela crescente popularização dos jogos musicais. Nestes jogos, os jogadores podem interpretar membros de uma banda musical e fazer apresentações ou participar de campeonatos. Alguns desses jogos permitem o uso de controles especialmente projetados para simular instrumentos musicais reais. No jogo Guitar Hero (http://hub.guitarhero.com/), por exemplo, o jogador utiliza como controle um dispositivo em forma de guitarra para tocar as canções. O desafio neste caso é semelhante ao apresentado nos jogos de dança: acionar os controles na ordem e no ritmo indicados na tela do jogo.

Figura 16 – Controladores para o jogo Guitar Hero

Outro tipo de tecnologia que tem ganhado espaço, principalmente nos dispositivos móveis de última geração, são as telas sensíveis ao toque, através das quais um usuário pode operar aplicativos por meio de toques, com a própria mão ou outros objetos, diretamente na tela. Nesse sentido, muitos jogos digitais tem aproveitado essa tecnologia para fornecerem maneiras inovadoras e mais intuitivas de interação. Alguns sistemas permitem também que múltiplos toques sejam realizados ao mesmo tempo, aumentando significativamente as possibilidades de interação. O jogo Advance Wars (http://www.advancewars.com/) para Nintendo DS, por exemplo, permite que o jogador utilize a tela sensível ao toque para interagir com a interface do jogo para selecionar itens ou opções na interface. Outro título de destaque é o jogo de tiro em primeira pessoa Eliminate (http://eliminate.ngmoco.com/), para iPhone, que permite controlar o protagonista através de sua tela.

4.6. Sistemas de Captura de Movimentos

Nesta seção apresentamos duas outras modalidades de sistemas de captura de movimento baseadas em sistemas que envolvem a interação física do ator com o aparato utilizado na captura. São eles os sistemas mecânicos e magnéticos.

Sistemas mecânicos são compostos por potenciômetros que, posicionados nas articulações desejadas, fornecem suas posições e orientações em altas taxas de amostragem (tempo real).

Uma das vantagens desse tipo de sistema e o fato de possuírem uma interface parecida com as utilizadas em equipamentos de stop-motion, amplamente empregados na produção de filmes e não afetados por campos magnéticos ou reflexões indesejadas. Com isso, uma grande quantidade de animadores que utilizavam stop-motion pôde migrar para essa nova tecnologia sem dificuldades, aumentando a popularidade desse

tipo de captura. Como exemplos dessa aplicação, podemos citar os dinossauros do filme Jurassic Park (1993) e os insetos invasores do filme Starship Troopers (1997), cujos movimentos foram gerados com o auxilio de sistemas mecânicos de captura de movimento.

Já os sistemas magnéticos se caracterizam pela velocidade em tempo real de processamento dos dados capturados. Neste tipo de sistema, emprega-se um conjunto de receptores que são posicionados nas articulações do ator. Tais receptores medem a posição e orientação das articulações no espaço, em relação a uma antena transmissora que emite um sinal de pulso. Cada receptor necessita de um cabo para se conectar a antena.

Algumas vantagens dos sistemas magnéticos são o baixo custo computacional para o processamento dos dados, a maior precisão (não existem problemas de oclusão de receptores) e o baixo custo do equipamento. O preço desse tipo de sistema depende basicamente do numero de receptores que conseguem ser processados simultaneamente.

A maior desvantagem desta modalidade de captura são os diversos cabos que conectam os receptores à antena. Tais cabos restringem o movimento do ator, não permitindo que movimentos complexos e rápidos possam ser representados com naturalidade. Felizmente, algumas empresas já estão desenvolvendo sistemas magnéticos sem-fio.

Outra desvantagem do processo magnético e a interferência causada por objetos de metal próximos ao local de captura. Campos magnéticos são extremamente sensíveis a objetos metálicos.

5. Outros Sentidos

Apesar de se encontrarem em estágio ainda experimental, existem algumas iniciativas de desenvolvimento de sistemas de interface que explorem os outros sentidos do corpo. Um interessante caso é o “capacete” criado pela empresa austro-americana Emotiv [8], que se baseia na interação com os neurônios no cérebro para enviar, via conexão wireless para o computador, impulsos elétricos que possam ser aproveitados no comando de jogos digitais.

A tecnologia utilizada neste capacete é conhecida como eletroencefalografia não-invasiva. Segundo Tan Le, presidente da Emotiv, “a tecnologia interpreta a interação dos neurônios no cérebro possibilitando ao usuário manipular um jogo ou um ambiente virtual naturalmente e intuitivamente”.

Figura 17 – Capacete da Emotiv

Embora essa tecnologia não seja exatamente uma novidade (o uso da eletroencefalografia é aplicada na prática medicinal há mais de cem anos), somente agora vem sendo desenvolvida com a finalidade de interação com sistemas computacionais.

Outra iniciativa ainda em fase experimental diz respeito à geração de aromas durante a execução de um jogo digital. Cientistas da Universidade de Birmingham, na Inglaterra, divulgaram estarem trabalhando em um novo dispositivo pelo qual seria possível produzir diferentes aromas disparados por cenas apresentadas em jogos. As pesquisas estão sendo conduzidas com os games "Half Life" e "Far Cry". Os aromas provêm de tubos de parafina encerada, que recebem uma variedade de essências, como fumaça, pólvora e até borracha queimada em uma pista de corrida. As essências seriam combinadas em tempo real e direcionadas ao jogador por meio de um pequeno ventilador.

Segundo Bob Stone, pesquisador que lidera o estudo, "o olfato é o mais subestimado de todos os sentidos, mas é o mais próximo da visão e um dos mais ricos em informações que nós possuímos". O projeto da pesquisa de Stone é financiado, em parte, pelo Ministério da Defesa inglês.

De fato, este não é o único projeto envolvendo o olfato. Criado pela NTT Communications, o sistema i-Aroma se baseia num gadget de 15 centímetros de altura que se liga ao computador pela entrada USB e funciona com Windows XP e Vista. Dentro do aparelho ficam seis frascos de óleos básicos, que são misturados segundo comandos recebidos pela Internet e espalhados no ambiente com ajuda de um pequeno ventilador interno.

A combinação para o serviço de aroma-terapia mistura odores de limão, lavanda, tangerina, Ylang Ylang (uma flor) e olíbano, produzindo 18 misturas. A cada quatro horas, segundo o ritmo de vida do cliente, o sistema i-Aroma espalha 3 misturas aromáticas no ambiente.

As receitas para essas misturas são baixadas nos servidores da NTT pela Internet e acionadas por um aplicativo na área de trabalho do computador.

6. Conclusões

Neste trabalho apresentamos um panorama geral das principais tecnologias utilizadas na interação entre jogadores e jogos digitais. Além da proposta de uma análise histórica da evolução destas tecnologias, também procuramos indicar algumas das principais iniciativas que devem mudar a forma como se dará esta interação no futuro.

Este campo de estudo é vasto e não nos propusermos a esgotá-lo neste documento. Maiores informações sobre cada um dos tópicos aqui tratados podem ser obtidas nas referências apresentadas e na literatura correspondente.

Referências

[1] Tomado do site Wikipedia

[2] Tomado de site DINX INFORMATICA DESCOMPLICADA. http://www.dinx.com.br/

[3] APOLINÁRIO Jr, A. L. Computação gráfica. 187 p.

[4] HETEN Jr., A. Computação gráfica. Rio de Janeiro: LTC, 2006. 156 p.

[5] HEARN, D.; BAKER, M. P. Computer graphics: C version. 2. ed. New Jersey: Prentice Hall, 1986. 652 p.

[6] PHONG, B. Illumination for Computer-Generated Pictures, Communications of the ACM, vol. 18, no. 3, pp. 311-317, 1975.

[7] RAPOSO, A. B.; et al. Visão Estereoscópica, Realidade Virtual, Realidade Aumentada e Colaboração. Rio de Janeiro, 2004, 41 p.

[8] JONES, A.; et al. Rendering for an interactive 360° light field display. In ACM SIGGRAPH 2007 Papers (San Diego, California, August 05 - 09, 2007). SIGGRAPH '07. ACM: New York. 2007. 5 p.

[9] MIRANDA, Eduardo; Computer Sound Synthesis for the Electronic Musician; Focal Press (October 5, 1998)

[10] DOUGUERTY, Edward, LOTUFO, Roberto; Hands-on Morphological Image Processing (SPIE Tutorial Texts in Optical Engineering Vol. TT59); SPIE Publications (July 24, 2003)

[11] WALNUT, David; An Introduction to Wavelet Analysis; Birkhäuser Boston; 1 edition (January 27, 2004)

[12] WATKINSON, John; Introduction to Digital Audio; Focal Press; 2 edition (November 27, 2002)

[13] JELINEK, Frederik; Statistical Methods for Speech Recognition (Language, Speech, and Communication); The MIT Press (January 16, 1998)

[14] TEH, C.H., CHIN, R.T.; On the Detection of Dominant Points on Digital Curves; IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 11, no. 8, pp. 859-872, Agosto 1989, doi:10.1109/34.31447

[15] MENACHE, Alberto; Understanding Motion Capture; Morgan Kaufmann; 1 edition (October 11, 1999)

[16] WOLF, M. J. P.; The Video Game Explosion: A History from PONG to PlayStation and Beyond; Greenwood (November 30, 2007)