Pós-Graduação em Ciência da Computação

Avaliando Interfaces Gestuais Para a Prática de

Instrumentos virtuais de Percussão

Por

Aluno: Jaziel Vitalino Souza e Silva

Orientador: Geber Ramalho

Dissertação de Mestrado

Universidade Federal de Pernambuco

posgraduacao@cin.ufpe.br

www.cin.ufpe.br/~posgraduacao

RECIFE, Agosto/2012

UNIVERSIDADE FEDERAL DE PERNAMBUCO

CENTRO DE INFORMÁTICA

PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO

JAZIEL VITALINO SOUZA E SILVA

Avaliando Interfaces Gestuais Para Prática de Instrumentos Virtuais de Percussão

DISSERTAÇÃO APRESENTADA COMO REQUISITO PARCIAL PARA A OBTENÇÃO DO TÍTULO DE MESTRE, PELO PROGRAMA DE PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO DO CENTRO DE INFORMÁTICA DA UNIVERSIDADE FEDERAL DE PERNAMBUCO.

ORIENTADOR: Geber Ramalho, PHD CO-ORIENTADOR: Giordano Cabral, PHD

RECIFE, Agosto/2012

Catalogação na fonte Bibliotecária Jane Souto Maior, CRB4-571

Souza e Silva, Jaziel Vitalino Avaliando interfaces gestuais para a prática de instrumentos virtuais de percussão. / Jaziel Vitalino Souza e Silva. - Recife: O Autor, 2012. xii, 76 f., il., fig., tab. Orientador: Geber Lisboa Ramalho.

Dissertação (mestrado) - Universidade Federal de Pernambuco. CIn, Ciência da Computação, 2012. Inclui referências. 1. Computação musical. 2. Interação Humano - Computador. I. Ramalho, Geber Lisboa (orientador). II. Título. 786.76 CDD (23. ed.) MEI2014 – 008

II

Dissertação de Mestrado apresentada por Jaziel Vitalino Souza e Silva à Pós-

Graduação em Ciência da Computação do Centro de Informática da Universidade

Federal de Pernambuco, sob o título “Avaliando Interfaces Gestuais Para Prática

de Instrumentos Virtuais de percussão”, orientada pelo Prof. Geber Lisboa

Ramalho e aprovada pela Banca Examinadora formada pelos professores:

_____________________________________________

Prof. André Luís de Medeiros Santos

Centro de Informática / UFPE

_____________________________________________

Prof. Nelson Cavalcanti de Almeida

Departamento de Música / UFPE

_____________________________________________

Prof. Geber Lisboa Ramalho

Centro de Informática / UFPE

Visto e permitida a impressão

Recife, 31 de Agosto de 2012.

_______________________________________________________

Prof. Nelson Souto Rosa Coordenador da Pós-Graduação em Ciência da Computação do

Centro de Informática da Universidade Federal de Pernambuco.

III

Dedico ao Meu Senhor O Deus da música!

IV

AGRADECIMENTOS

Primeiramente ao meu Deus, que pela sua misericórdia me permitiu chegar até onde

eu estou e nada me deixou faltar.

Aos meus pais que sempre me apoiaram em oração junto a meu irmão e demais

familiares.

Aos meus empresários, meu avô, minha tia e meu pai que me ajudaram na compra

de equipamentos.

A minha noiva por todo carinho. “Como foi importante!”

Aos amigos Paulo Henrique, Leonardo Cordeiro e Pedro Folha pela força no projeto.

Ao amigo Filipe Calegario, que foi uma mão na roda no meu experimento. Sou muito

grato.

Ao meu orientador prof. Geber Ramalho, um cara extraordinário! (foi um pai pra

mim).

Ao prof. Giordano Cabral, meu coorientador, homem de sabias palavras.

Ao pessoal do Departamento de música:

• Prof. Nelson Almeida, por toda força e conselhos.

• Prof. Manassés Bispo, por todas as orações e companheirismo.

• Prof. Rodrigo Luna e prof. Antônio Barreto, por todo apoio.

Ao grupo de percussionistas da UFPE e convidados que participaram do

experimento contido neste trabalho de pesquisa.

Aos grupos de pesquisa da UFPE:

• MUSTIC por todas as ideias e conversas.

• GPMAC pelas trocas de informações.

V

“A coragem cresce com a ocasião.”

William Shakespeare

VI

Resumo

Música e tecnologia possuem um relacionamento antigo, constante e

indissociável. Desde o início da história da humanidade a música vem nos

acompanhando e o seu crescimento foi paralelo ao desenvolvimento do homem. À

medida que a tecnologia modificava a cultura social, novas formas de modelar

instrumentos e de compor músicas eram criadas, modificando também a interação e

a performance musical. A evolução dos computadores e o aumento da capacidade

de processamento de dados proporcionou maior interesse em pesquisas e no

desenvolvimento de dispositivos eletrônicos, mais conhecidos como “Digital Musical

Instruments” (DMIs).

Baseados em interfaces gestuais, os DMIs pretendem oferecer novas formas

de interagir com o instrumento, aumentando possibilidades e preservando a

qualidade sonora; porém, não é com frequência que vemos músicos profissionais se

utilizando dessa tecnologia. Este trabalho analisa e avalia a interação de algumas

interfaces gestuais, oferecida aos músicos, especificamente os percussionistas, em

busca de identificar limitações técnicas existentes e de que forma, estas, explicam a

baixa adoção destas tecnologias na prática. Os resultados foram alcançados através

de duas etapas: a primeira foi, uma pesquisa bibliográfica sobre anatomia, buscando

entender gestos comuns humanos e limitações de algumas interfaces; e a segunda,

foi um experimento onde percussionistas de perfis distintos avaliaram a interação

oferecida por duas interfaces: o Sensor Microsoft Kinect e o Nintendo Wii remote.

Palavras-chave: música, tecnologia, Interfaces gestuais, Interação, percussão,

computação musical

VII

ABSTRACT

Music and technology have an old relationship, constant and inseparable.

Since the beginning of human history, has been in the music and watching their

growth was parallel to the development of man. As technology changed the social

culture, new ways of modeling instruments and compose songs were created by

modifying also the interaction and musical performance. The evolution of computers

and the increased capacity of data processing provided greater interest in research

and development of technological devices, better known as "Digital Musical

Instruments" (DMIs).

Based on gestural interfaces, the DMIs want to offer new ways to interact with

the instrument, increasing opportunities and preserving the sound quality, but it is not

often that we see professional musicians are using this technology. This paper

analyzes and evaluates the interaction of some gestural interfaces with the musician,

percussionist specifically, in order to identify the limitations of existing techniques and

how these explain the low adoption of these technologies in practice. The results

were achieved through two stages: the first was a literature on human gestures and

limitations of some interfaces and the second, an experiment where percussionist’s

distinct profiles evaluated the interaction interfaces offered by the Microsoft Kinect

Sensor and Nintendo Wii remote.

Keywords: music, technology, gestural interfaces, Interaction, percussion, music

computer

VIII

Lista de Figuras

Figura 1: Lev Theremin e sua criação que ganhou o seu próprio nome “Teremin”..5

Figura 2: Interface do Pure Data......................................................................................8

Figura 3: Controladores MIDI...........................................................................................8

Figura 4: Eigenharp Alpha................................................................................................9

Figura 5: Misa Kitara........................................................................................................10

Figura 6: Interface do Reactable....................................................................................11

Figura 7: Tenori-on...........................................................................................................12

Figura 8: O violão da esquerda é um Folk e o da direita é um tradicional..............15

Figura 9: iPad (Tablet da Apple) ....................................................................................23

Figura 10: iPhone (Smartphone da Apple). ..................................................................24

Figura 11: Reactable........................................................................................................25

Figura 12: NumChuck à esquerda e Wii remote à direita com Wii MotionPlus

conectado em baixo..................................................................................................26

Figura 13: Alguns gestos que podem ser captados pelo Wii remote.......................27

Figura 14: Move controller e camera Eye.................................................................27

Figura 15: Dispositivo Kinect. .........................................................................................29

Figura 16: Tipos de articulações.....................................................................................32

Figura 17: Geometria das articulações..........................................................................34

Figura 18: Articulação do antebraço..............................................................................36

Figura 19: Articulações do punho..................................................................................37

Figura 20: Junta esternoclavicular.................................................................................38

Figura 21: Usuários participando do experimento...................................................49

Figura 22: Percussionista popular usando a Zabumba no Wii Remote...................50

Figura 23: Equipamentos (Tripé com Kinect e alguns computadores)....................50

Figura 24: Perspectiva do usuário..................................................................................50

IX

Figura 25: Fluxograma do roteiro usado no experimento........................................54

Figura 26: Mapa-mental baseado no mundo do usuário.........................................65

Lista de Tabelas

Tabela 1: Tabela de articulações....................................................................................35

Tabela 2: Modelo articulado.............................................................................................39

Tabela 3: Limites e direção de propagação de cada DOFs.....................................39

Tabela 4: Tabela descritiva de instrumentos e gestos.............................................42

Tabela 5: Tabela de interfaces........................................................................................44

X

SUMÁRIO

AGRADECIMENTOS..........................................................................................................IV

RESUMO................................................................................................................................VI

ABSTRACT...........................................................................................................................VII

Lista de Figuras.................................................................................................................VIII

Lista de Tabelas..................................................................................................................IX

SUMÁRIO................................................................................................................................X

1. INTRODUÇÃO........................................................................................................................1

1.1. Objetivo...............................................................................................................,..............2

2. O PAPEL DA TECNOLOGIA NA MÚSICA.............................................................................3

2.1. Equipamentos Eletrônicos e Avanços no Cenário Musical................................................4

3. IMPORTÂNCIA DO GESTO MUSICAL DA LUTERIA CONVENCIONAL À DIGITAL........13

3.1. O gesto na luteria.............................................................................................................13

4. INTERFACES GESTUAIS EM COMPUTAÇÃO...................................................................18

4.1. Interfaces Multi-toque.......................................................................................................22

4.1.1. Tablet............................................................................................................................22

4.1.2. Smatphone....................................................................................................................23

4.1.3. Mesa Multi-toque...........................................................................................................24

4.2. Gamepad..........................................................................................................................25

4.2.1. Wii Remote....................................................................................................................26

4.2.2. PlayStation Move...........................................................................................................27

4.3.Cameras de Detecção de Profundidade............................................................................28

4.3.1. Microsoft Sensor Kinect.................................................................................................28

5. GESTOS PRIMITIVOS E LIMITAÇÕES TÉCNICAS.............................................................31

5.1. Anatomia Humana............................................................................................................31

5.1.1. Classificações das Articulações (Juntas) ......................................................................31

A. Articulações Sinartroses....................................................................................................32

B. Articulações Anfiartroses...................................................................................................32

C. Articulações Sinoviais ou Diartroses.................................................................................32

5.1.2. Cotovelo e antebraço.....................................................................................................35

XI

5.1.3. Punho e mão................................................................................................................36

5.1.4. Ombro..........................................................................................................................37

5.1.5. Mapeamento de Gestos...............................................................................................40

5.2. Gestos Instrumentais.......................................................................................................41

5.2.1. Instrumentos de percussão...........................................................................................41

5.3. Análise de captação.........................................................................................................44

6. MÉTODO...............................................................................................................................45

6.1. Coleta de dados...............................................................................................................46

6.2. Análise de dados..............................................................................................................46

6.2.1. Análise do discurso.......................................................................................................46

7. EXPERIMENTO....................................................................................................................48

7.1. Design do experimento....................................................................................................48

7.1.1. Etapas do Experimento ................................................................................................48

7.1.2. Repertório de gestos.....................................................................................................48

7.1.3. Usuários........................................................................................................................49

7.1.4. Instrumentos de coleta de dados..................................................................................51

7.2. Descrição do Experimento (Coleta de Dados) ...............................................................51

7.2.1 Performance com DMI ..................................................................................................51

7.2.2. Entrevista semi-estruturada..........................................................................................52

7.3. Protocolo de experimento...............................................................................................53

7.3.1. Tópicos abordados na entrevista..................................................................................53

7.3.2 Fluxograma....................................................................................................................54

7.4. Análise de dados do experimento (Analise do discurso) ................................................55

7.4.1. Transcrição...................................................................................................................55

7.4.2. Discriminação...............................................................................................................55

7.4.3. Reconstrução do mundo do usuário.............................................................................56

7.4.4. Examinando o contexto................................................................................................63

7.4.5. Mapa mental.................................................................................................................65

7.5. Análise dos resultados....................................................................................................67

7.5.1. Variação timbrística......................................................................................................67

7.5.2. Variação de dinâmica...................................................................................................68

7.5.3. Controle Temporal.......................................................................................................68

XII

8. DIAGNÓSTICOS E DIREÇÕES DE PESQUISAS.............................................................70

8.1. Diagnósticos.....................................................................................................................70

8.2. Direções de pesquisas......................................................................................................71

REFERÊNCIAS.......................................................................................................................73

1

1. Introdução

Com a chegada do século XX, a relação entre música e tecnologia

aumentou, por causa de fatores como: o acréscimo de conhecimento sobre

aspectos físicos e cognitivos do som; a fácil aquisição à energia elétrica barata

e aplicação das tecnologias eletrônica e digital na geração sonora artificial

(Iazzetta, 1997). Os meios tecnológicos tem nos proporcionado, novas

maneiras de interagir com os meios sonoros, tornando-se bastante importante

para o músico.

Boulez (1997, apud TRALDI, 2007) nos fala:

A possibilidade de interagir com meios sonoros e computacionais surge no final do século passado e, rapidamente, torna-se uma das principais linhas de composição e interpretação do início deste século. A interação de músicos com a tecnologia foi preconizada por Boulez (1977) que aponta que tais dispositivos não foram inventados para aplicações musicais, mas que sua utilização levaria a mutações que poderiam engendrar soluções inovadoras.

As pesquisas a cerca do desenvolvimento de interfaces digitais tem

crescido principalmente nas ultimas décadas. A luteria digital tem avançado e

pesquisas nesta área, têm surgido cada vez, com mais intensidade.

Instrumentos virtuais que possuem acelerômetros e câmeras com sensores de

profundidades, interagem com o usuário através de gestos e emitem som

através de síntese sonora.

Apesar de tanta tecnologia empregada na criação de novos

instrumentos, por que não é com frequência que vemos músicos profissionais

utilizando essas tecnologias em performances musicais? Porque a maioria dos

músicos não usam essas novas interfaces? Talvez os estudos e pesquisas

nessa área, não estejam desenvolvendo interfaces gestuais para música.

2

1.1. Objetivo

Cientes do crescente avanço em pesquisas, na área de Interfaces

gestuais, e do baixo índice de utilização de instrumentos virtuais por músicos

profissionais, este trabalho teve como objetivo analisar algumas interfaces

gestuais através de pesquisas e experimentos, em busca de reconhecer

limitações técnicas de captação de gestos, encontradas na interação das

interfaces, que proporcionem aos músicos uma experiência não agradável. As

interfaces utilizadas foram o Sensor Kinect da Microsoft e o Wii remote da

Nintendo, que simularam instrumentos virtuais de percussão.

3

2. O PAPEL DA TECNOLOGIA NA MÚSICA

Embora não haja documento comprobatório, acredita-se que os homens

pré-históricos tinham experiências musicais. As primeiras músicas foram os

gritos dos hominídeos do Paleolítico, como sugere Dearling (1996, apud

GOHN, 2001). Porém, Candé (2001) defende que os antropoides do terciário

utilizavam seus corpos ou construíam bastões para percutir os sons, e já

construíam objetos como instrumentos elementares de percussão. Segundo

este autor, somente por volta de 9.000 a.C. é que o homem do Neolítico cria

primeiros instrumentos de corda e alguns membranofones. Quatro mil anos

mais tarde, com o desenvolvimento da metalurgia, é que apareceriam os

primeiros instrumentos em bronze, para execuções musicais mais sofisticadas.

Mesmo sendo rudes em relação aos instrumentos que encontramos na

contemporaneidade, essas construções se imbuem de tecnologia. Para Sancho

(1998, p.17) tecnologia é o “conjunto de conhecimentos que permite a nossa

intervenção no mundo”. Como disposto na Wikipédia1,

“Tecnologia (do grego τεχνη — "técnica, arte, ofício" e λογια — "estudo") é um

termo que envolve o conhecimento técnico e científico e as ferramentas,

processos e materiais criados e/ou utilizados a partir de tal conhecimento”. Em

se tratando de música e tecnologia, ou melhor, do papel da tecnologia na

música, referimo-nos às novas possibilidades de produção musical

provenientes do saber adquirido após a compreensão de mecânica, acústica,

eletricidade, eletrônica, etc. Neste contexto é natural que o advento do

computador tenha permitido novas experiências não só para a educação

musical, mas também para a atividade performática da música, sobre a qual

está focado o nosso trabalho.

Segundo Zuben (2004),

Durante o século XX, novas estéticas musicais foram criadas como desenvolvimento das tecnologias de gravação sonora, primeiramente analógicas e depois digitais. A música eletroacústica, por exemplo, trabalha a composição diretamente no computador, não mais usando partitura como

________________

1 Disponível em: <http://pt.wikipedia.org/wiki/Tecnologia>. Acesso em: 10 jan. 2012.

4

meio de escrita ou de fixação da música. O desenvolvimento de novas tecnologias de gravação sonora também possibilitou novos meios de armazenamento da música, como as fitas, CDs e DVDs, que transformaram a maneira de se produzir, ouvir e consumir a música no século XX (p. 8).

As tecnologias computacionais estão presentes no cotidiano das

pessoas: “a televisão, o celular, os recursos tecnológicos aplicados à Medicina,

tudo está ao nosso dispor e nos remete a um mundo de possibilidades, um

mundo virtual” (SILVA, 2011, p. 13). Enquanto até o século XIX os registros de

músicos eram restritos à partitura, atualmente é possível reproduzir e

compartilhar músicas pela internet. O século passado nos trouxe grandes

avanços nas áreas de computação e eletrônica, fazendo surgir o rádio, o

computador, os aparelhos de som (como mesas, amplificadores, etc.).

Consequentemente, novos instrumentos musicais surgiram, reafirmando o

impacto das tecnologias computacionais no campo da música. Daí, Silva (2010,

p. 6) vem afirmar que:

[…] a música traz avanços concorrentes com a ciência, desde os séculos mais remotos, com a concepção pitagórica das frequências que desabrocharam no diatonicismo barroco, até a segunda metade do século XX, com os fenômenos sonoros de Stockhausen, gerados eletronicamente. A estrada que liga esses dois personagens se estende por pelo menos 25 séculos, justificando que a ciência e a música são parceiras antigas.

2.1. Equipamentos Eletrônicos e Avanços no Cenário Musical

A música sofreu grande impacto com o advento da eletricidade. No

começo do século XX, surgiram o Dinamofone “Telharmonium” de Thaddeus

Cahill em 1906, que produzia som a partir de dínamos, e do oscilador a válvula

de Lee De Forest em 1915, que representa a base para a geração do som a

partir de sinais elétricos. O versátil engenheiro músico e inventor soviético Lev

Sergeivitch Termen (Léon Theremin, em francês) criou por volta de 1919, o

primeiro instrumento completamente eletrônico, o teremin, o qual foi projetado

para dispensar o contato físico para produção de sons. Como visto na fig.1,

consiste em uma caixa com duas antenas, uma para controlar a altura, e outra,

5

para controlar a intensidade. Ao redor das antenas, o músico movimenta suas

mãos para produzir música.

Figura 1 – Lev Theremin e sua criação que ganhou o seu próprio nome “Teremin”. O primeiro instrumento eletrônico.

Araújo (2002) nos diz que naquela época já havia uma perspectiva de

que as fronteiras dos instrumentos seriam aumentadas pelo surgimento de

tecnologias com capacidade de manipular sons como atualmente é feito

através de computadores.

A chamada “música computacional” surgiu na década de 50 com os

trabalhos de Lejaren A. Hiller químico e compositor, que utilizava modelagem

estocástica no processo de composição. E para realizar seus trabalhos usava

um computador ILLIAC da Universidade de Illinois.

Pela primeira vez um computador foi utilizado como instrumento musical,

por Max Matheus, que desenvolveu o primeiro programa para sintetizar música

em 1957. Nos anos posteriores mais avanços foram alcançados com o

desenvolvimento de circuitos integrados, microprocessadores e sintetizadores.

Mais tarde na década de 80 o surgimento do MIDI (Musical Instrument Digital

Interface) padrão de interligação entre instrumentos eletrônicos tornou possível

a total integração entre computador e música (Araújo, 2002).

Apesar dessas invenções, Gohn (2001) considera que a invenção do

telefone, no final do século XIX, seria o marco revolucionário da tecnologia na

música:

6

Podemos considerar que a inovação tecnológica de maior destaque para a evolução da eletrônica na música foi o telefone, criado por Alexander Graham Bell, em 1876. Ela comprovou que o som poderia ser transformado em sinais elétricos e vice-versa, estreitando a relação entre tecnologia e arte e abrindo caminhos para a gravação do som e para os meios de comunicação de massa. (p. 3).

Ainda na mesma época, Gohn (2001) salienta que a invenção do

fonógrafo, por Thomas Edison, do grafofone, por Alexander Graham Bell, e

especialmente do gramofone, por Émile Berliner, teve um papel

importantíssimo para a gravação de sons. Mais tarde, Graham Bell apresentou

as gravações magnéticas, as quais foram utilizadas em grande escala até o

surgimento dos gravadores digitais (Jones, 1992). O fato é que as

revoluções tecnológicas se unem à criatividade musical para conceber estilos

inovadores de música ou para ressignificar uma obra antiga. Segundo Gohn

(2001), os avanços tecnológicos continuam a interferir no campo da música,

inclusive no que concerne à aprendizagem musical e à nossa percepção. Para

ele, “o surgimento de novas formas de produzir, preservar e transmitir a música

condiciona a nossa percepção, nos deixando distantes das realidades

passadas, quando a manipulação do som era restrita e limitada” (p. 11).

O desenvolvimento da eletrônica e da informática possibilitou a geração

de sons não convencionais, que fogem do que as pessoas estão acostumadas

a ouvir. Os novos timbres procurados pelos compositores podem ser gerados a

partir de qualquer gesto, os quais transformados em sinais elétricos podem

também controlar sons pré-existentes. O autor acima preconiza que há várias

opções de interação musical, como subconjunto da interação homem-máquina

(IHM), dentre elas a manipulação instrumental, interação em sistemas

multimídia e a interação em jogos eletrônicos, sendo que não necessariamente

nesses dois últimos tipos de interação a produção de sons seria objetivada.

Porém, um dos papeis do som nesse contexto de interação é a expressão

artística, haja vista que a performance de alguns instrumentos musicais digitais

assemelha-se à execução de instrumentos acústicos. Este é o caso dos

instrumentos digitais de percussão prototipados nesta pesquisa.

7

Para Traldi (2007), o desenvolvimento de novos dispositivos e meios

eletrônicos nas décadas entre 60 e 80 do século passado, criou possibilidades

novas de comunicação entre interpretes musicais e equipamentos eletrônicos

trazendo mudanças timbrísticas, visuais (físicas) e performáticas. O uso de

softwares e simuladores de instrumentos na produção de composição musical,

cresceu muito durante os últimos anos e trouxe contribuições relevantes para o

desenvolvimento da musica. Ficheman (2002, apud CORRÊA, 2004, p. 2) nos

fala que:

A produção musical aliada à tecnologia vem favorecendo, ao longo dos anos, uma abrangência musical cada vez maior. Isto se deve à utilização de novos instrumentos e às novas formas de geração e produção de sons. Na atividade composicional, o computador apresenta-se como uma ferramenta que apoia o compositor na viabilização e explicitação de suas ideias. Através dos aplicativos computacionais o compositor tem acesso a sistemas de representação diversificados, que fornecem feedbacks sonoros e gráficos (partituras, desenhos e diagramas). O uso do computador na atividade musical apresenta possibilidades de criações, capturas e transformações de eventos sonoros (Ficheman, 2002).

Uma das ferramentas computacionais desenvolvidas na década de 1990

para a criação de música foi o Pure Data (PD). Um ambiente de programação

gráfica para áudio e vídeo usado como ambiente de composição interativo e

como estação de síntese e processamento de áudio. Uma das inovações mais

importantes do Pure data, foi à introdução de estrutura de dados gráficos, que

pode ser usado de diversas maneiras: Na composição de partitura,

sequenciamento de eventos, criação de efeitos visuais, etc. O projeto em

código aberto foi desenvolvido primeiramente por Miller Puckette (IRCAM) e

conta com grande base de desenvolvedores que trabalham em extensões do

programa.

8

Figura 2 – Interface do Pure Data

Atualmente na atividade musical, temos visto o uso de controladores que

simulam instrumentos acústicos existentes, como por exemplo: um dispositivo

que simula saxofone, sem a geração de som, usando apenas síntese aditiva;

ou uma bateria eletrônica, geralmente formada por um conjunto de pads,

montados sobre um rack, na mesma disposição de uma bateria convencional,

ambos encontram-se na figura 3. Chamamos a esses dispositivos, de

instrumentos musicais digitais (IMDs), Interfaces (hardware) que enviam sinais

de controle a algoritmos de síntese sonora. Pesquisas sobre o

desenvolvimento de IMDs, tiveram um grande aumento nas ultimas décadas e

presente em diversos centros de pesquisa como: STEIM (Studio

for Electro Instrumental Music), (CCRMA) em Stanford University, Sonic Art

Research Centre, Ircam, (IDMIL) McGill University, Universidade Católica do

Porto, Tufts University, etc.

Figura 3 – Controladores MIDI. À esquerda o sax e a direita a bateria eletrônica.

9

Outros IMDs têm surgido como, o Eigenharp alpha2, inventado por John

Lambert e lançado em 2009, um dos instrumentos eletrônicos feito pela

Eigenlabs. A primeira vista a criação pode confundir com a mistura de

instrumentos como bateria, saxofone e teclado, porém sua versatilidade pode

simular perfeitamente os mais diversos efeitos sonoros. Trata-se de um

controlador bastante flexível e portátil.

Possui 133 teclas totais (120 no painel principal, 12 para efeitos de

percussão e 1 para acionar a função mudo), o Eigenharp funciona a partir de

samples pré-programados e permite a utilização de até 2000 samples por

minuto, de forma simultânea. Todas as teclas são sensíveis à pressão e

possibilitam três ajustes diferentes, para controles de intensidade e timbre

sonoro.

Figura 4 - Eigenharp Alpha

Este instrumento também possui a capacidade de alterar a afinação ou a

intensidade de um sample, incorporando tecnologia tátil. O seu bocal, permite

que através de um assopro possa adicionar diversos efeitos às notas

reproduzidas.

________________

2 Disponível em: <http://www.eigenlabs.com/product/alpha/>. Acesso em: 17

ago. 2012.

10

Semelhantemente, a Misa Kitara3 é um controlador midi digital. Ela foi o

primeiro instrumento a utilizar uma tela multi-toque de 8 polegadas e botões de

toque para simular cordas e trastes. O controlador possui forma de guitarra

elétrica e 24 trastes e seu visor permite que o músico reproduza uma grande

variedade de efeitos baseando-se nos movimentos dos dedos sobre a tela.

A Kitara possui um sintetizador interno wavetable com efeitos para

geração de sons. A tela multi-toque traz bastante facilidade e simplicidade à

troca de efeitos simultâneos.

Figura 5 - Misa Kitara

Sem a pretensão de tomar o lugar da guitarra convencional, a Misa

Kitara tem como objetivo ampliar as possibilidades de efeitos sonoros.

________________

3 Disponível em: <http://en.wikipedia.org/wiki/Misa_Kitara>. Acesso em: 26 Set. 2012.

11

________________

4 Disponível em: <http://mtg.upf.edu/project/reactable>. Acesso em: 17 ago. 2012.

(MIRANDA e WANDERLEY, 2006, p. 19) Dentre os IMDs, existem modelos de

“dispositivos de entrada alternativos”. Esses não são criados, baseando-se em

instrumentos acústicos existentes, e por tanto não possuem nenhuma

semelhança, nem seguem regras físicas ou sonoras.

Observamos como exemplo o Reactable4, criado e desenvolvido em

2003 pelo Grupo de Tecnologia Musical da Universidade Pompeu Fabra,

Espanha, o instrumento tem despertado interesse em músicos e leigos devido

ao seu poder de interação e criação. A interface também pode ser utilizado de

forma colaborativa. Possui formato de mesa redonda translúcida e sua

interface apresenta-se com uma superfície multi-toque, como demostrada na

figura 6. Uma câmera situada na parte de baixo da mesa, analisa

continuamente as posições dos objetos que controlam a síntese sonora.

Figura 6 – Interface do Reactable

O Reactable é considerado um tipo de interface tangível, ou seja, uma

interface em que a pessoa interage com a informação digital, através da física

ambiente. Os objetos são parte integrante da mesa e possuem diferentes

funções na sua execução musical.

Demostrado pela primeira vez em 2005, o Tenori-on5 é um instrumento

eletrônico que possui interface bastante diferente. Projetado e criado pelo

12

japonês Toshio Iwai, um artista da mídia japonesa, músico e inventor, que

colaborou com Yu Nishibori d a Yamaha Center for Advanced Sound

Technology no seu desenvolvimento. O instrumento trata-se de uma tela de

mão constituída de uma matriz 16x16 feita de LEDs sensores, mantidos dentro

de uma armação de magnésio de 8 polegadas. Os 256 botões luminosos, são

pontos de entrada de dados que determinam a altura e permitem de forma

intuitiva que o usuário crie batidas em loops, sincronizando-as segundo a sua

própria vontade.

Um ponto bastante positivo do Tenori-on, é que qualquer pessoa pode

conseguir um bom resultado sonoro no dispositivo, mesmo sem possuir

conhecimento musical teórico. O aparelho permite também a importação de

sons e batidas, oferecendo um enorme leque de combinação sonora e rítmica.

Figura 7 – Tenori-on

________________

5 Disponível em: <http://www.emusician.com/gear/0769/review-yamaha-tenori-

on/140649>. Acesso em: 15 Out. 2012.

13

3. Importância do gesto musical: da luteria convencional à

digital

O emprego de tecnologia na criação de instrumentos musicais (sejam

eles acústicos, elétricos ou digitais) sempre teve duas preocupações. A

primeira está relacionada a questões ergonômicas ou gestuais, percebendo a

facilidade ou dificuldade com que os músicos interagem com os instrumentos;

A segunda diz respeito à questão sonora, preocupando-se com a síntese do

som gerada, com a qualidade sonora obtida ao se tocar o instrumento. Nesta

seção, trataremos da primeira, para entendermos que a importância dada, a

captura dos gestos dos músicos sempre esteve no centro da tecnologia

musical.

3.1. O gesto na luteria

O gesto é um elemento essencial na execução musical, já que os

músicos “tocam” instrumentos por meio de gestos. Podem ser dinâmicos ou

estáticos, pois o gesto de segurar uma tecla de um piano com um dedo ou

pisar no seu pedal, mesmo parado, pode fazer soar uma nota por mais tempo.

De fato, são os dedos do violonista que excitam as cordas do violão,

provocando ondas sonoras que são amplificadas pelo corpo (caixa acústica) do

instrumento, para eventualmente serem depois captadas por microfones ou

outros sensores e amplificadas eletronicamente. O mesmo pode ser dito para o

piano, o violino, o trombone, o tambor, a flauta. É por meio de gestos de mãos,

dedos, braços, pernas, rostos, boca, que o músico interage com seu

instrumento.

Analisando algumas definições sobre gesto podemos dizer que é uma

maneira de comunicação não verbal, em que as ações corporais visíveis,

informam mensagens específicas. Podendo ser incluído o movimento das

mãos, rosto ou outras partes do corpo. Wanderley (2006) nos fala que, os

gestos podem ser executados não necessariamente com as mãos, como por

exemplo: o sopro de um flautista. Esse seria chamado de gesto corporal

instrumental; já Cadoz (1988) diz que ações físicas como a manipulação de

uma ferramenta com um objetivo de comunicação é um gesto instrumental; por

14

________________

6 Disponível em: < http://www.kerstenpianos.com/historia.php>. Acesso em: 23 nov.

2012.

ultimo, um gesto que acompanha os instrumentos enquanto são executados, é

chamado de gesto acompanhador (Delalande, 1988).

Na luteria tradicional há diversos nomes de luthiers, mas o mais notável

da história foi o italiano Antonio Stradivari, responsável pela fabricação do

violino mais caro do mundo o “Stradivarius”. Considerado o expoente máximo

dessa arte, a produção de Stradivari, resultou em mais de mil instrumentos,

entre eles estão: violinos, violas e violoncelos. A importância que é dada a ele,

está além da sua enorme habilidade manual e de escolha de madeiras, mas

nas modificações realizadas por ele no design dos instrumentos, Unicef (1976,

apud GOHN, 2001).

Desde tempos antigos a tecnologia já era empregada no design de

instrumentos musicais, com a intenção de obter melhores resultados na

interação musical. Um bom exemplo dessa afirmação é o piano, que foi

inventado por um italiano chamado Bartolomeo Cristofori, no início do século

18, mas só veio firmar-se no final do mesmo século. Teve como precursor o

cravo, que possuía uma serie de limitações sonoras, dentre elas, não oferecia

controle de dinâmica e em contrapartida, o piano que tinha uma tecnologia

mais avançada, produzia suas notas através de martelos que percutiam as

cordas, inovando a forma de interagir dos músicos daquela época, permitindo

que as notas pudessem ter maior ou menor intensidade. O seu nome Piano ou

Pianoforte6 como foi conhecido em 1709, enfatiza o potencial do piano em

produzir fortes ou leves sonoridades, dependendo somente de como as suas

teclas são tocadas.

Na prática de um instrumento musical, existem diversas variáveis que

cooperam para que o músico extraia uma melhor sonoridade e a técnica

instrumental, está entre elas. Sabemos que toda a técnica instrumental é

realizada através da utilização de gestos que se baseiam na configuração do

instrumento tocado.

Iazzeta (1997) nos diz que:

Por um lado há o universo concreto, visível e mecânico dos instrumentos tradicionais, onde os corpos (do instrumento e de quem o toca) envolvidos e seus movimentos estão

15

intrinsecamente relacionados ao resultado sonoro obtido: as cordas tensas e curtas de um violino vibram mais rápido, porém com menos energia que as cordas mais longas e flácidas de um contrabaixo, que exigem a aplicação de mais força do instrumentista.

Por tanto, dependendo do material envolvido na construção ou do design

do instrumento, os gestos usados na prática do mesmo, deverão exercer maior

desgaste físico, para se obter uma sonoridade mais agradável.

Também os luthiers de violão, pensando em proporcionar mais facilidade

aos gestos dos violonistas, mudaram o design do violão tradicional adicionando

um “cutaway”7 ao corpo do instrumento, com a pretensão de gerar maior

alcance a área inferior do braço mais próxima da boca. Essa área do braço no

violão tradicional, normalmente é fechada e fazer arranjos nela exige do músico

bastante técnica, pela dificuldade encontrada na localização das notas. O tipo

de violão que possui esse cutaway é chamado de “Folk” e normalmente possui

cordas de aço.

Figura 8 – O violão da esquerda é um Folk e o da direita é um tradicional.

O interesse por gestos na luteria está relacionado também a questões

ergonômicas, pois os mesmos são ações que controlam os instrumentos

musicais, com gestos naturais, trazendo mais facilidade e conforto para o

músico. Um instrumento que ofereça maior conforto vai proporcionar uma

experiência prática mais agradável, permitindo melhor interação e menor

cansaço físico.

Esta preocupação acontece não só na criação de instrumentos

acústicos, mas principalmente na luteria digital. Enquanto os instrumentos

acústicos tentam evoluir em qualidade física e timbrística, os instrumentos

digitais vêm ganhando espaço, evoluindo com a tecnologia e procurando

recriar instrumentos acústicos pré-existentes, aperfeiçoando a maneira de

________________

7 Cutaway – Abertura feita no corpo do instrumento, a partir do 12ª traste visando dar

maior acesso, às ultimas casas do braço. É geralmente encontrado em guitarras ou violões folk.

16

interagir com eles ou criando modelos alternativos que busquem novas formas

de controle de sínteses.

Em se tratando de simuladores de instrumentos, na luteria digital, eles

recebem um tratamento diferente com relação aos gestos, pois herdam

características sonoras dos instrumentos convencionais e automaticamente os

gestos usados na sua manipulação. Por tanto, é necessário obter um grande

repertório de gestos instrumentais, que sejam utilizados pelos músicos na

prática dos instrumentos acústicos, a fim de ajuda-los a se adaptarem ao novo

paradigma desses IMDs. Como comentado anteriormente, existem também os

IMDs que não simulam instrumentos, mas manipulam síntese sonora e trazem

em si um símbolo de inovação futurista. A maneira como o mapeamento de

gesto é realizado, não possui regras pré-estabelecidas, já que é um

instrumento novo, mas geralmente procuram-se estabelecer a partir de muitos

experimentos, comandos intuitivos que possibilitem a fácil memorização.

Os IMDs não possuem padrão de tamanho físico ou forma, podendo ser

desenvolvido para funcionar em iPads e Smartphones, softwares e

sintetizadores que simulam teclados virtuais, violões, guitarras, contrabaixos e

até mesmo bateria virtual. Eles utilizam sensores que interpretam comandos

dados, permitindo novos tipos de interações. Nos computadores as

possibilidades de criação de IMDs são inúmeras, visto a enorme capacidade de

desempenho hoje encontrada nas maquinas, que são mais potentes do que

muitos outros dispositivos. Com o uso dos computadores, os IMDs podem ser

mais flexivelmente modificados através de samples, filtros e controles que

geralmente possuem configurações ajustáveis. O seu uso no desenvolvimento

de IMDs tem sido cada vez maior, inclusive criando interfaces que dispensem o

uso do mouse ou teclado, visto não proporcionar uma interação tão agradável

em IMDs. Muitos desses softwares são configuráveis para usá-los em conexão

com sintetizadores ou controladores, tornando mais prático o acesso ao

conteúdo sonoro na performance musical.

A partir desta analise, pode-se concluir que há muita tecnologia sendo

empregada na criação de instrumentos digitais e essas tecnologias trazem

novidades e recursos diversos que propõe ultrapassar limites encontrados nos

17

instrumentos convencionais acústicos, criando novas possibilidades, tanto de

sonoridade, quanto de portabilidade do instrumento. Há instrumentos

convencionais que são complicados de se transportar, por serem delicados ou

de tamanho muito extenso, porém não necessariamente, um instrumento

virtual, tem que parecer com o modelo do corpo de um acústico. JORDÀ (2005,

apud WANDERLEY, 2010) nos fala que, com relação à interface de controle,

esta pode, mas não precisa ser semelhante a instrumentos acústicos

existentes.

18

4. Interfaces gestuais em computação

Baseando-se em interação humano-computador (IHC), Wanderley

(2006) preconiza que sistemas de geração sonora controlados por gestos

podem ser utilizados em vários contextos da interação musical; porém, o nosso

trabalho se contextualiza na “manipulação instrumental”, que usa uma interface

gestual para controlar parâmetros musicais em tempo real, similar ao que

acontece na prática do instrumento convencional acústico ou elétrico.

Desenvolvedores de sistemas computacionais tem dado cada vez mais

importância a estudos relacionados a gestos e movimentos do corpo (Corrêa et

al, 2005). A motivação para isto é poder “herdar” um grande repertório de

gestos que os seres humanos desenvolveram ao longo dos séculos fazendo

com que a interação deles com o computador seja mais natural.

Pensando em como utilizar geração sonora no computador e levando

em consideração que a performance de um músico é bastante relevante para a

execução musical, necessitou-se criar dispositivos a base de sensores, que

controlassem a geração sonora, conectados a computadores. Podemos

chama-lo de “gestural controlers” termo que traduzido chama-se interfaces ou

controladores gestuais. Zuffo (2001) nos diz que meios eletrônicos interativos

são “O acervo tecnológico orientado ao relacionamento sensitivo (audição,

visão e tato) entre o usuário e uma infraestrutura computacional”.

Conexões de interfaces gestuais, usadas em computadores viabilizando

controle de processos musicais tiveram seu desenvolvimento iniciado nos anos

60, porém o conceito de instrumentos musicais eletrônicos, baseados em

interfaces gestuais é bastante antigo (Wanderley, 2006). Tais conceitos

abrangem instrumentos virtuais, técnicas de captura gestual, estratégia de

mapeamento gestual, resposta sensitiva, etc.

Como já falado no capítulo 1, Leon Theremin criou um instrumento que

apenas com o mover das mãos em torno de uma antena controlava a emissão

sonora, exigindo muita técnica por parte do intérprete, no que se trata de

precisão gestual. Assim aproximou o instrumentista do conceito de gesto

sonoro e da nova relação com o instrumento.

19

A tecnologia que vem sendo empregada em interfaces gestuais tem nos

dado possibilidades de interagir de diversas formas, permitindo a criação de

cenários de uso cada vez mais sofisticados. Jordá (2005, apud PATRICIO,

2010) nos diz que:

Do ponto de vista da entrada, a cada vez mais ampla e crescente disponibilidade de tecnologias de detecção permite que virtualmente qualquer tipo de gesto físico ou parâmetro externo possa ser monitorado e digitalizado em um computador. [...] Nós ainda podemos golpear, atingir, pinçar, esfregar ou tocar com um arco, embora o performer não seja mais diretamente responsável pela transferência da energia necessária para o instrumento soar. Nós também podemos, obviamente, clicar, clicar duas vezes, digitar, apontar, arrastar, girar ou arrastar e soltar, mas podemos tentar fazer outras coisas também. (JORDÀ, 2005b, p. 25).

Os recursos disponíveis atualmente nos dão diversas possibilidades de

projetos de uso de interfaces gestuais, por tanto, em nossos planejamentos

devemos escolher objetivos funcionais e estéticos em cada projeto.

Em Wanderley (2010) vemos algumas interfaces manipuladas através

de gestos, que podem ser consideradas instrumentos musicais virtuais ou

podem servir para experimentos médicos. Como exemplo vemos a Hands,

desenvolvida por Michel Waisvisz, que assemelha-se a uma luva de madeira,

podendo manipular o som através de sintetizador ou modulador de frequência;

O Continuum, desenvolvido por Lippold Haken, é uma interface sensível ao

toque que controla processos musicais.

Além dessas interfaces, outros dispositivos foram desenvolvidos pelo

laboratório Input Devices and Music Interaction – IDMI da Universidade McGill

canadense: Gyrotyre baseado em uma roda de bicicleta é manipulado a partir

de um manete acoplado a ela; Rulers feito com varias réguas metálicas pode

ser tocado percutindo ou modulando as hastes para cima e para baixo; T-Stick

uma interface em forma de bastão sensível ao toque em toda sua superfície; T-

Box a interface utiliza sensores de ultrassom para medir a distância das mãos

do músico. Todas as interfaces citadas à cima utilizam sensores e mostram

algumas das muitas possibilidades em que interfaces gestuais podem ser

utilizadas.

20

Dentre os centros de pesquisas brasileiros, na criação de instrumentos

musicais digitais destacam-se o NICS (Núcleo Interdisciplinar de Comunicação

Sonora) da Unicamp, que através do LIGA (laboratório de interfaces gestuais)

estuda instrumentos eletrônicos e o desenvolvimento de interfaces que usam a

dinâmica do corpo no espaço para produzir eventos acústicos e visuais. Um

dos exemplos de interface gestual desenvolvida pelo LIGA é o tapete interativo,

que ao ser tocado com os pés gera uma sequência (Mialichi e Manzolli, 2002)

sonora; e o LSI (Laboratório de Sistemas Integráveis) da Escola Politécnica da

USP, estuda trabalhos colaborativos e educação apoiada por computador. Um

exemplo de interface desenvolvida por eles é o teclado virtual, que rastreia

movimentos que são feitos a partir das mãos em uma folha de papel sulfite

(Pansa, Augusto e Neto, 2004).

(Wanderley, 2010) Fatores ambientais podem afetar os instrumentos

acústicos, mas quando se trata de interfaces digitais a possibilidade de

interferências é maior, uma vez que a maioria dos sensores utilizados são

infravermelhos e dispositivos eletromagnéticos, além de câmeras para captura

de imagem.

De fato, um dos mais importantes passos na criação de um IMD [instrumento musical digital] é a passagem de um protótipo de laboratório a um instrumento que pode ser utilizado profissionalmente em vários ambientes externos ao laboratório onde este foi concebido. Esta questão é de vital importância em laboratórios têm-se normalmente ambientes controlados (luz, temperatura, ruído, etc.) O uso de um IMD fora do laboratório vai expô-lo a propriedades de ambientes que podem afetar seu funcionamento (WANDERLEY, 2010, p. 86).

A observação acima é fundamental para se evitar interferências nos

sensores. Luzes e flashes de câmeras podem prejudicar o trabalho que se

utilize de sensores de infravermelho, por exemplo; da mesma forma, interfaces

com sensores magnéticos podem ser prejudicadas pela presença imprevisível

de metais no ambiente. Entre esses detalhes, Wanderley (2010) conclui que os

desenvolvedores de interfaces gestuais devem atentar para a flexibilidade, a

ergonomia e as limitações de um instrumento virtual; ele ainda ressalta que:

[…] é necessário muito trabalho e dedicação para desenvolver novos instrumentos e técnicas de interpretação que

21

possibilitem a músicos explorar de forma satisfatória as infinitas possibilidades musicais oferecidas pela tecnologia digital (Wanderley, 2010, p. 93).

Algumas interfaces são desenvolvidas para entretenimento em games

tentando criar um ambiente que cause maior imersão no contexto do jogo.

Atualmente os controles joysticks estão perdendo espaço no mercado para

interfaces que são controladas por gestos do usuário. Essas mesmas

interfaces, apesar de terem sido criadas com a finalidade de controlar jogos,

tem chamado a atenção de desenvolvedores que procuram utilizar os recursos

oferecidos pelos hardwares, das maneiras mais criativas para a criação de

Instrumentos musicais digitais (IMDs).

...osciladores, amplificadores e computadores não foram inventados para criar música; entretanto, e particularmente no caso dos computadores, suas funções são tão facilmente generalizadas, tão eminentemente transformáveis, que tem havido uma intenção de direcionar diferentes objetivos dos preestabelecidos: uma conjunção acidental criará uma mutação (Boulez, 1977).

Com as possibilidades que tais interfaces têm oferecido, o limite que se

podem alcançar na produção musical é a imaginação, pois se o controle de

uma interface é baseado em gestos humanos, serão enumeras as alternativas

de controle.

Na área da computação, temos visto surgir uma certa tendência em

pesquisas sobre interfaces gestuais e essas interfaces vêm sendo utilizadas

para desenvolver projetos em diversas áreas. Apesar de terem sido criadas

com outra finalidade, desenvolvedores têm feito uso delas em projetos de

criação de IMDs, com tudo, temos percebido que os projetos desenvolvidos

são utilizados apenas como amostras em sites de compartilhamento de vídeos,

tais como o youtube8 e o Vimeo9. Dentre estás interfaces gestuais citaremos

algumas das quais possuem maior relevância na área de desenvolvimento de

aplicativos musicais.

________________

8 <http://www.youtube.com/watch?v=uhr_0dm6Rp4> Acesso em: 20 Nov. 2012.

9 <http://vimeo.com/42852185> Acesso em: 20 Nov. 2012.

22

4.1. Interfaces Multi-toque

A tela multi-toque10 é uma tecnologia de interação que reconhece

múltiplos contatos simultaneamente e possibilita a manipulação de sistemas

através do toque de algum objeto ou dos dedos. Essa tecnologia iniciou-se no

ano de 1982 quando um grupo de pesquisa da Universidade de Toronto

desenvolveu o primeiro sistema multi-toque. Mas o primeiro produto lançado

com tal tecnologia foi um controlador MIDI de nome Lemur da JazzMutant.

Ao contrário de um teclado ou de um dispositivo de entrada de um único

ponto como um mouse ou um touchpad tradicional, a tecnologia multi-toque

permite aos usuários movimentos de pinças para zoom, rotações e outras

ações que permitem uma interação mais rica, mais imediata com o conteúdo

digital e dependendo da aplicação, também pode ser usada de forma

colaborativa. Alguns dispositivos também reconhecem diferenças de pressão e

temperatura. A tecnologia anteriormente encontrada nos touchpads

proporciona hoje ao usuário a manipulação de ícones e outros conteúdos de

forma direta.

Marinho (2010) afirma que interfaces “multi-toque”, (do inglês multi-

touch) têm ganhado bastante popularidade no mercado. Devido ao grande

crescimento dessa tecnologia é comum encontra-la em dispositivos moveis.

Seu crescimento também é atribuído aos aparelhos da Apple: iPhones e tablets

iPads. Porém atualmente ha muitos outros tablets e smartphones que utilizam

essa tecnologia. A aceitação do multi-toque no mercado de forma tão

acelerada, apresenta-se como um desafio para indústria de software, que

necessita adaptar-se a uma nova maneira de interagir, porém preservando

características de usabilidade.

Abaixo seguem alguns dos mais relevantes modelos de interfaces multi-

toque utilizados no desenvolvimento de aplicações musicais:

4.1.1. Tablet

Dispositivo em formato de prancheta, que possibilita visualização de

imagens, textos, vídeos, áudios, web e entretenimentos com jogos. Incialmente

apareceram no mercado com sistemas semelhantes aos de computadores

________________

10 Disponível em:<http://pt.wikipedia.org/wiki/Ecrã_multitáctil>. Acesso em: 15 Nov.

2012.

23

pessoais (PCs), eram usados com o toque de uma caneta especial, mas só

foram popularizados com o lançamento do Ipad da Apple.

Normalmente tem como dispositivo de entrada principal a tela sensível

ao toque e é muitas vezes comparado a um computador, mas possui

configuração inferior e as tarefas executadas são mais simples, apesar de

ambos possuírem as mesmas funções. Os mais conhecidos tablets trazem em

sua configuração sensores acelerômetros, conexões bluetooth, Wi-fi, GPS e

memoria flash. Exemplo na figura 9:

Figura 9 – iPad (Tablet da Apple)

4.1.2. Smartphone

É um telemóvel com funções avançadas e tem como principais

características: conexão com redes de dados para acessar a web,

sincronização de dados com um computador pessoal e agenda de contatos

ilimitada. O aparelho de ultima geração pode ter um espaço superior a 64 gigas

e entre suas aplicações encontramos: filmadora, câmera digital, editores de

texto, planilhas eletrônicas, acesso a redes sociais e centenas de outros

aplicativos. Assim como os tablets alguns smartphones também trazem em sua

configuração de hardware, sensores acelerômetros, conexões bluetooth, Wi-fi e

GPS que são integrados a aplicativos instalados no dispositivo.

Assemelha-se muito a um tablete, pois além de sua grande capacidade,

também possui como dispositivo principal de entrada uma tela touch. Seu uso

no dia-a-dia é bastante conveniente, pois se integra com rapidez as atividades,

profissionais e recreativas, tornando-o um acessório indispensável. O

24

smartphone é portátil e sua bateria pode ultrapassar a de um notebook ou até

mesmo de um tablet.

As distribuições de sistemas operacionais mais utilizadas nos

smartphones são: Android (Google), iPhone (Apple) e Windows Phone

(Microsoft). Exemplo na figura 10:

Figura 10 – iPhone (Smartphone da Apple)

4.1.3 Mesa Multi-toque

A mesa multi-toque é um computador em forma de mesa, capaz de

interagir com dispositivos colocados em sua superfície e com tela sensível ao

toque. Utiliza um sistema de detecção de gestos e movimentos através de

câmeras infravermelho. Algumas câmeras captam os comandos, que são

interpretados e a imagem é mostrada na tela através de um sistema de

projeção.

As mesas mais conhecidas são: a mesa Surface da Microsoft, que

oferece uma tela de 30 polegadas sob uma tampa de plástico resistente.

Permite que as pessoas toquem e movam objetos na tela para as mais

diversas tarefas, de desenho digital a montar quebra-cabeças virtuais,

passando por pedidos de comida no cardápio online de um restaurante ou um

grupo de pessoas sentadas em torno da mesa poderá olhar as fotos

armazenadas em uma câmera digital; e a Reactable, que como já citada

anteriormente, é uma mesa redonda translucida com interface tangível. Utiliza

vários blocos que combinam diferentes elementos como sintetizadores, efeitos

25

e loops, a fim de criar composições flexíveis. Vemos o exemplo de mesa multi-

toque na figura 11:

Figura 11 - Reactable

A Reactable diferentemente das outras mesas multi-toque, foi feita

exclusivamente para uso em atividades musicais.

4.2. Gamepad

É um tipo de controlador de jogos para videogames que é segurado com

as mãos e utiliza os polegares para pressionar os botões de comando.

Tradicionalmente possui do lado esquerdo um direcional de quatro posições

(D-pad) ou um direcional analógico, usado nos gamepads11 mais modernos, e

do lado direito ficam os botões de comando. Com o passar dos tempos os

controles foram ganhando mais botões de comando, botões superiores

(shoulder buttons), gatilhos (triggers) e outros mais, visto o aumento na

complexidade dos jogos.

Percebemos que os jogos têm chegado ao mercado com gráficos cada

vez mais sofisticados, trazendo novas possibilidades de interação para o

usuário, na pretensão de tornar os jogos ainda mais realisticos, e para isso, os

gamepads também vão sendo modificados e as a interfaces gestuais vão

transformando o modo tradicional de jogar, inserindo gestos naturais no

repertório de comandos dos jogos.

Dentre os gamepads citamos alguns dos mais utilizados no

desenvolvimeto de aplicações músicais.

________________

11 Disponível em:<http://pt.wikipedia.org/wiki/Gamepad>. Acesso em: 15 Nov. 2012.

26

4.2.1. Wii Remote

Lançado pela Nintendo no fim de 2006, seu formato diferente lembra um

controle remoto comum, principalmente pela maneira que é manejado na

posição vertical. O controle possui 8 botões dentre eles um power e um Trigger

button, além do directional pad. Não há opção de Wii Remote com fio, sua

conexão é feita através de bluetooth e é alimentado por duas pilhas comuns.

Outros acessórios podem ser conectados ao Wii remote, um deles é o

NumChuck, desenhado para caber perfeitamente na mão do usuário e possui

dois botões sendo um deles Trigger button, além de um direcional analógico.

Os dois controles possuem sensores acelerômetros que medem aceleração e

inclinação em uma ou mais dimensão, reconhecendo movimentos em três

eixos X, Y e Z. Traz a possibilidade de uso com IR (Infravermelho), caso o

usuário adquira um sensor bar. Um outro acessório é o Wii MotionPlus, que

garante maior desempenho ao hardware tornando os comandos em tempo

real. O dispositivo aumenta a precisão dos movimentos e o jogador pode

utilizar um giroscópio, além dos acelerômetros já existentes, tornando a

reprodução dos movimentos mais fieis.

O Wii Remote é o coração do Wii e é nele que se encontra todo o

discurso da Nintendo que fala sobre o jeito revolucionário de jogar. Possui um

sistema de vibração e um pequeno autofalante que ajuda na interação com

alguns movimentos que provocam ruídos, como o choque entre espadas.

Figura 12 - NumChuck à esquerda e Wii remote à direita com Wii MotionPlus conectado em

baixo.

27

Figura 13 - Alguns gestos que podem ser captados pelo Wii remote.

4.2.2. PlayStation Move

Fabricado pela Sony Computer Entertainment e lançado em 2010, é um

controle para PlayStation 3 baseado em gestos. Quando comparado ao wii,

que possui muito mais tempo no mercado, ele é mais preciso nos movimentos

e na orientação.

A grande novidade deste acessório está na esfera luminosa e sua

função principal é fornecer a posição do acessório num espaço tridimensional.

O controle possui um sistema que é capaz de mudar a esfera em uma grande

variedade de cores, de acordo com o ambiente utilizado, criando contraste para

melhor distinção. Seu funcionamento se da em conjunto com uma câmera

“Playstation Eye” (evolução da EyeToy) mostrada na figura abaixo, que

reconhece a esfera e determina a distância em que ela se encontra da câmera

em função de seu tamanho relativo.

Fig.14 Move controller e camera Eye.

28

O dispositivo possui em seu interior sensores inerciais do tipo

acelerômetro e de velocidade que são utilizados para controlar movimento

rotação e movimento global. Possui ainda um magnetômetro que serve para

calibrar a orientação contra o campo magnético da terra, ajudando a corrigir

erros dos sensores inerciais. Os sensores de inércia são utilizados também

para cálculo de posição, quando a câmera não for suficiente.

Assim como o Wii Remote, o Move possui um controle suplementar

chamado de “PlayStation Move Controlador de Navegação” e é usado para

auxiliar em alguns tipos de jogos.

4.3. Câmeras de Detecção de profundidade

Entre as tecnologias que vem sendo utilizadas no desenvolvimento de

interfaces gestuais, as câmeras de detecção de profundidade têm sido

utilizadas na criação de diversas aplicações, desde instrumentos musicais, até

salas de cirurgia, criando novas maneiras de executar tarefas dispensando a

necessidade de contato físico com o instrumento de trabalho.

Para a detecção de profundidade podem ser utilizadas algumas

combinações de equipamentos diferentes, como: câmera e sensores de

profundidade, câmera e sistema de captura de imagens digitais ou ainda

câmeras 3d. Entre as câmeras de detecção de profundidade citamos a

interface que mais vem sendo utilizada em aplicações musicais.

4.3.1. Microsoft Sensor Kinect

A mais diferente das interfaces de controle para jogos, desenvolvida

para console de videogame de 7ª geração, não possui características de um

gamepad tradicional e trouxe mudanças de paradigmas na interação, que faz o

usuário imergir literalmente no cenário do jogo.

Desenvolvida pela empresa de tecnologia Microsoft, a interface é um

dispositivo de entrada usado primeiramente no Xbox 36012. Um sensor de

movimento que permite ao usuário manipular parâmetros sem precisar de

controles. Foi anunciado pela primeira vez no fim do primeiro semestre de 2009

sob o codinome "Project Natal". Possui por volta de 23 centímetros de

________________

12 Disponível em: <http://pt.wikipedia.org/wiki/Kinect> - Acesso em: 07 jul. 2012.

29

comprimento e vem equipado com: câmera RGB (Red, Green e Blue) que

permite o reconhecimento da face; sensor de profundidade, que permite o

escaneamento do ambiente em 3 dimensões; microfone embutido, que

consegue captar vozes e diferenciar ruídos externos; processador e software

próprio; e pode detectar 48 pontos de articulação do nosso corpo. Suporta

aplicativos criados com C + +, C # ou Visual Basic

No ano de 2011 foi lançado o SDK (software development kit) para

Windows 7, que incluía em seus recursos: fluxos de sensores raw,

rastreamento esquelético, recursos avançados de áudio e exemplos de código

e documentação13.

Figura 15 - Dispositivo Kinect

No segundo semestre de 2012 foi lançado um novo SDK14 do Kinect

para Windows que trouxe ferramentas e varias melhorias, dentre elas estão: o

fluxo de infravermelho está agora exposto na API (Application Programming

Interface), o que fornece aos desenvolvedores um espectro mais amplo de

cenários de testes; aumento da distância necessária para leitura de dados para

além de 4 metros; as configurações de cor da câmera agora podem ser

otimizadas para o seu ambiente; os dados do acelerômetro do sensor também

estão expostos na API, isto permite a detecção da orientação do sensor; novo

pacote de idioma para reconhecimento de voz; e novas APIs para converter

dados entre espaços de coordenadas: cor, profundidade, esqueleto.

________________

13 Disponível em: <http://en.wikipedia.org/wiki/Kinect> - Acesso em: 05 ago. 2012.

14 Disponível em:<http://www.microsoft.com/en-us/kinectforwindows/develop/new.aspx>

- Acesso em: 15 Nov. 2012.

30

Apesar de tanta tecnologia empregada no desenvolvimento de interfaces

gestuais e na criação de novos instrumentos musicais, por que não é com

frequência que vemos músicos profissionais utilizando essas tecnologias em

performances musicais? Por que a maioria dos músicos não usam essas novas

interfaces? Talvez a tecnologia de interfaces gestuais que vem sendo

desenvolvida, seja apenas supostamente ligada à música. Mas porque não é

ligada a música?

Há diversas questões que podem ser discutidas em relação às

limitações encontradas no uso de interfaces gestuais para IMDs, mas não

iremos tratar esse problema de forma muito ampla, pois esta pesquisa não é na

área de antropologia. Vamos analisar apenas os problemas técnicos. A análise

será feita identificando o que são limitações de hardwares e limitações de

algoritmos.

31

5. Gestos Primitivos e Limitações Técnicas

Para entendermos como e quais gestos são utilizados na prática dos

instrumentos musical, analisaremos cientificamente como se dá o processo de

articulação de movimentos baseando-se na anatomia humana.

5.1. Anatomia Humana

Podemos Definir o Corpo humano como uma composição de esqueletos,

músculos, gordura e pele. E o esqueleto possui cerca de 200 ossos conectados

por articulações, constituindo a base de toda forma da superfície do corpo

Korein (1982, apud MACIEL, 2001). Uma articulação é a união entre dois ou

mais ossos e permite sua movimentação, porém nem todas as articulações são

moveis. Nas que são moveis a movimentação acontece entre um ou mais eixos

ou ainda em um plano entre os ossos Sheepers (1996, apud MACIEL, 2001).

5.1.1. Classificações das Articulações (Juntas)

As articulações fazem conexões entre estruturas e os seus segmentos

movimentam-se conforme a articulação lhe permite. Silva (1998, apud JUNIOR,

2004) nos diz que:

Uma estrutura articulada consiste de um conjunto de segmentos conectados por articulações (juntas) que irão formar um vínculo geométrico entre segmentos consecutivos. Nestas estruturas, cada segmento pode girar em torno de sua respectiva articulação segundo uma direção de rotação ou translação permitida pela mesma, sendo que a estes movimentos denominamos graus de liberdade (DOFs – Degrees of Freedom).

Conforme Maciel (2001) As articulações humanas podem ser divididas

de acordo com sua mobilidade em:

32

Figura 16 – Tipos de articulações

A. Articulações Sinartroses

Apesar de serem consideradas imóveis, são muito importantes porque

elas têm a capacidade de responder a forças aplicadas, dessa forma podendo

absolver choques.

B. Articulações Anfiartroses

Tem movimento bastante limitado, mas são excelentes para absorção de

choques, pois sua camada cartilaginosa fornece um bom amortecimento

separando ou aproximando os ossos.

C. Articulações Sinoviais ou Diartroses

Dentre os tipos de articulações, as Diartroses são as que interessam a

essa pesquisa, pois representam o tipo de articulação mais comum encontrado

nos estudos de movimentos humanos.

33

Elas podem ser classificadas em:

Simples – Possui duas superfícies articulantes. Exp.: Quadril,

Tornozelo

Composta – Com três ou mais superfícies articulantes. Exp.:

Pulso

Complexa – Com mais de duas superfícies articulantes e disco

cartilaginoso (joelho) ou fibrocartilagem (clavícula).

Além destas, podemos também classifica-las de acordo com forma e tipo

de movimento:

Deslizante, Planar ou Artródia – Esses tipos de Juntas permitem o uso de

movimentos de translação e rotação moderados de osso contra osso. As

superfícies articulares são geralmente planas e pequenas e deslizam umas

sobre as outras. São permitidos seis graus de liberdade de movimento, porém,

todos com muito pouca amplitude. Exemplos de articulações planares estão

entre os ossos do carpo (na mão), do tarso e do metatarso (no pé).

Uniaxial – As juntas deste tipo são caracterizadas pela presença de apenas

um eixo de rotação no movimento (um grau de liberdade). Dois subtipos podem

ser considerados:

Pivô – Apresenta movimento angular em torno do eixo dado pelo

comprimento de um, permitindo que um osso gire em relação ao outro

osso onde o eixo é paralelo aos ossos (antebraço).

Dobradiça ou Ginglímo – uma junta deste tipo permite rotação em

torno de um eixo perpendicular ao comprimento dos ossos envolvidos. É

limitada à flexão e extensão (cotovelo).

Biaxial – Permite movimentação em torno de dois eixos, o que caracteriza a

presença de dois graus de liberdade no movimento.

Conforme sua geometria de encaixe pode ser dividida em três

subgrupos:

34

Selar – Permite os mesmos tipos de movimentos das juntas elipsoidais,

a diferença está na forma da articulação. Exp.: Carpo-metacarpiana do

polegar (Permite o movimento de oposição do polegar aos outros

dedos).

Elipsoide – Uma cabeça ovalada em um dos ossos se articula com um

encaixe também ovalado no outro osso. Exp.: rádio-cárpica (punho).

Condilartrose – Apresentam duas superfícies paralelas e arredondadas

que se articulam com superfícies planas. Exp.: fêmur-tibial (joelho).

Poliaxial – Este tipo de articulação permite movimento em torno de três eixos,

definindo três graus de liberdade. As articulações poliaxiais humanas, também

chamadas de Esferóides, consistem de uma cabeça esférica em um dos

ossos e um encaixe côncavo no outro. É o tipo de junta mais versátil, e permite

flexão/extensão, abdução/adução, rotação e circundação.

Na figura a baixo vemos alguns exemplos de articulações citados:

Figura 17 – Geometria das articulações

Na abordagem proposta por Maciel (2001) cada junta pode ter vários

DOFs e cada DOF corresponde a um eixo. Ele serve para designar e descrever

cada um dos movimentos individuais presentes em uma articulação. Podem ser

movimentos para frente ou para trás (eixo X), para cima ou para baixo (eixo Y),

para esquerda ou direita (eixo Z)15, além de translação e rotação.

________________

15 Disponível em: <http://reiag.vilabol.uol.com.br/graus.htm>. Acesso em: 10 Jul. 2012.

35

Listagem das articulações humanas (Arendi et al, 1996):

Tabela 1 – Tabela de articulações

5.1.2. Cotovelo e antebraço

O cotovelo é uma articulação uniaxial do tipo dobradiça, que permite a

flexão e a extensão pela combinação de deslizamento e rolamento,

configurando um grau de liberdade. Os resultados de pesquisas onde foi

retirada a medida do ângulo de transporte mostraram valores médios de 5 a 19

graus, com diferença media entre homem e mulher 0 a 6 graus em favor delas.

36

Figura 18 – Articulação do antebraço

Estão localizados no antebraço cotovelo e articulação radioulnar que é

uma junção do rádio com a ulna, o que permite o rádio rodar em relação à ulna.

5.1.3. Punho e mão

Há um grande número de articulações encontradas na mão, começando

pelo punho a + articulação radiocarpal é classificada como elipsoide, com dois

graus de liberdade de movimento. Os movimentos de abdução a adução

ocorrem na articulação radiocarpal ao redor de um, eixo que passa pelo

capitato, sendo que o desvio em direção à ulna (adução) é aproximadamente o

dobro do desvio em direção ao rádio.

37

Figura 19 – Articulações do punho

A maior parte do movimento de flexão acontece na articulação

radiocarpal (cerca de 50 graus) e o restante acontece na junta médio carpal

(cerca de 35 graus). Também estão na mão as articulações entre os ossos do

carpo e os metacarpianos. Os dedos indicador, médio, anular e mínimo

apresentam duas articulações interfalageanas, enquanto que o polegar apenas

uma. Estas articulações são do tipo dobradiça ou trocleartroses, permitindo

apenas flexão e extensão. As articulações metacarpofalangeanas (MCF) do

segundo ao quinto dedos são do tipo condiloide. Nestas articulações são

permitidos flexão/extensão e abdução/adução.

5.1.4. Ombro

Os ossos encontrados na região do ombro são mantidos juntos por três

articulações: A clavícula articula-se com o manúbrio esternal na articulação

esternoclavicular; a clavícula e a escápula juntam-se na articulação

acromioclavicular; por fim, o úmero se une a escápula na articulação

glenoumeral.

38

Esternoclavicular - Do tipo sela, os movimentos desta junta se dão em

três eixos: Um para elevação e depressão da cintura escapular, outro

para retração/protação da cintura escapular e o ultimo para rotação

transversa da clavícula.

Figura 20 – Junta esternoclavicular

Acromioclavicular – Apesar de possuir poucos graus de movimentos

são essenciais para o movimento e funções normais do ombro.

Permitem a rotação da escapula de modo que a cavidade glenoide

(onde se encaixa o úmero) possa voltar-se para cima e para frente ou

para baixo, enquanto sua superfície costal permanece próxima ao tórax.

Glenoumeral – é uma juntura esferoide, que possui três graus de

liberdade de movimento. A capsula articular é frouxa para permitir uma

ampla faixa de movimentos. Partindo da posição anatômica o

movimento de flexão ocorre no plano sagital, permitindo

aproximadamente 90 graus de movimento limitado pela tensão nos

ligamentos coracoumerais. Com o braço sendo colocado para trás, a

hiperextensão ocorre em amplitude de 40 a 60 graus.

39

Faloutsos (2001) Utilizou o modelo de um esqueleto 3D articulado para

desenvolver uma estrutura humanoide para a representação de um dublê

virtual. Estão representados por ossos dimensionados anatomicamente 16

segmentos, conectados por 15 juntas rotacionais, como ilustra a Tabela 2.

Tabela 2 – Modelo articulado

Tabela 3 – Limites e direção de propagação de cada DOFs.

Os DOFs de cada articulação estão sujeitos aos limites físicos impostos

pelo próprio corpo humano. Na Tabela 3 estão descritos os graus possíveis em

cada eixo contido nas articulações referente ao modelo da figura 16.

40

5.1.5. Mapeamento de Gestos

Depois da analise de alguns tipos de articulações encontradas em nosso

corpo humano, foi possível entender como se dá o processo mecânico de

movimentação de nossos membros e quais articulações são mais usadas.

Estando ciente que gestos musicais são feitos em sua maioria com a

utilização de mãos e braços com algumas exceções, foi realizada uma analise,

visando obter maior compreensão de quais articulações possibilitam tais

gestos. A partir das informações obtidas foi feito um pequeno mapeamento de

gestos baseando-se nas articulações dos membros superiores. Ombro, braço,

antebraço, pulso e mão.

a. Flexão e extensão do antebraço – Úmero-unar (uniaxial) – 1 DOF –

Articulação do cotovelo (flexão/extensão)

b. Movimentos de rotação com o antebraço – Rádio-unar proximal e

distal (uniaxial) – 1DOF – articulação do antebraço (rotação)

c. Movimentos com ombro e antebraço – Escápulo-umeral (poliaxial) – 3

DOFs – Articulação do ombro (adução/abdução, deslizamento, e

rotação)

d. Movimentos com o punho – Rádio-cárpica (biaxial) – 2 DOFs –

Articulação do punho (translação, abdução e adução)

e. Movimentos com o polegar – Carpo-metacarpiana (biaxial) – 2 DOFs –

Articulação da mão (abdução e adução)

f. Movimentos com os demais dedos – Carpo-metacarpiana (artródia) –

6 Plana DOFs – Articulação da mão (translação, flexão/extensão)

Existem ainda, outros gestos que poderão ser descritos e são derivados

dos mesmos a cima. Fazendo a junção de um ou mais destes, poderão resultar

em muitos outros.

41

5.2. Gestos Instrumentais

Visto que os sensores das interfaces digitais ainda não estão

suficientemente refinados e não conseguem captar movimentos curtos com

precisão, como por exemplo, os dedos, para tal estudo foram escolhidos

instrumentos musicais que utilizassem gestos mais largos, particularmente os

de percussão.

No intuito de relacionar gestos humanos, gestos possivelmente

reconhecíveis pelas interfaces e gestos usados na prática instrumental, será

feita uma descrição dos gestos usados na prática dos instrumentos de

percussão, como antes proposto, visto que utilizam gestos mais largos. Os

instrumentos de percussão são bastante numerosos, por esta razão, iremos

utilizar nesta descrição, apenas alguns instrumentos mais conhecidos.

5.2.1. Instrumentos de percussão

A família de percussão é bastante numerosa e em sua classificação,

segundo Brindle (1975), divide-se em Idiofonicos, Membranofonicos,

Cordofonicos e Aerofônicos.

Idiofones são instrumentos que seu próprio corpo vibra para

reproduzir o som, sem a necessidade de nenhuma tensão.

Exemplo:

Agogô, Cajón, carrilhão, chocalho, ganzá, maraca, marimba,

matraca, pratos, reco-reco, sinos, triângulo.

Membranofones são instrumentos que produzem som através de

membranas distendidas. Podem ser divididos ainda em: tambores

percutidos, pinçados, friccionados ou membranas cantantes.

Exemplo:

Alfaia, atabaque, caixa (instrumento), pandeiro, repinique, rebolo,

surdo, tambor, tamborim, tímpano, zabumba.

Cordofones são instrumentos percussivos em que uma corda é

tencionada para produzir o som. Exemplo:

Berimbal.

42

Aerofones são instrumentos cujo som é produzido por uma

massa de ar em movimento. Exemplo:

Apitos, buzina, efeitos em geral.

Foram escolhidos diversos instrumentos musicais pertencentes à

família da percussão, para serem analisados, com a finalidade de descrever

quais gestos são usados na prática dos mesmos, baseando-se no

mapeamento de gestos da seção 5.1.5. Como ilustra a Tabela 4.

Instrumento Musical Movimentos

com o polegar

Movimentos com

os demais dedos

Movimentos

com o punho

Flexão e extensão

do antebraço

Movimentos de

rotação com o

antebraço

Movimentos com

ombro e braço

Agogô X X

 Alfaia X X X X

 Berimbau X X X X

 Bongô X X X X

 Caixa X X X X X

 Caxixi  X X X

 Cajon  X X X X X

 Castanholas  X X

 Conga X X X

 Cuíca X X X

 Derbake  X X X

 Djembê X X X

 Ganzá  X X

 Maracá  X X

x

x x

x

43

Tabela 4 – Tabela descritiva de instrumentos e gestos

Esta tabela foi gerada a partir da análise de dados dos instrumentos e

gestos. Após ter sido feito essa relação entre instrumentos e gestos, é

analisada outra questão que diz respeito a gestos possíveis de serem

reconhecidos pelas interfaces. Os mesmos gestos são reapresentados, porem

em vez de instrumentos, utilizaremos duas interfaces gestuais.

 Moringa X X X

 Pandeiro X X X X X

 Pratos X X X

 Reco-reco  X X

 Repique X X X X X

 Sinos  X X

 Surdo X X X

 Tabla X X X X X

 Tamborim X X X

 Timpano  X X

Triângulo  X X X

Xilofone X X

 Zabumba X X X X

44

5.3. Análise de captação

Visualizamos que existem gestos que não são captados pelas

interfaces, principalmente pelo Kinect. O “X” encontrado na tabela, serve para

indicar os gestos possíveis a cada instrumento.

Tabela 5 – Tabela de interfaces

Depois de ter realizado toda a pesquisa, conseguimos perceber que há

uma demanda de gestos que não são captados pelas interfaces gestuais.

Esses gestos são usados na prática de diversos instrumentos de percussão e

sem eles os instrumentos virtuais perdem características importantes,

intrínsecas ao instrumento convencional. Essa falta de refinamento pode criar

dificuldades na Interação do músico com o instrumento virtual, fazendo-o

sentir-se inseguro diante da interface.

O primeiro resultado deste trabalho é uma confrontação do repertório de

gestos dos músicos e aquilo que os desenvolvedores podem criar hoje.

Concluímos então nessa primeira etapa, que há uma necessidade de melhorias

no desenvolvimento das interfaces gestuais, pois os recursos oferecidos por

elas devem primeiramente se basear em gestos utilizados pelos usuários na

prática musical.

Com os resultados descritos, de quais gestos mapeáveis são

tecnicamente úteis, captáveis pelas interfaces, iremos descrever um

experimento onde foi avaliado esse subconjunto de gestos possíveis, por duas

interfaces gestuais.

45

6. Método

Chagas (2000) nos diz que questionários são utilizados em muitos

projetos como coleta e avaliação de dados e são muito importante na pesquisa

cientifica, porém (Stowell et al, 2009) nos diz que simples questionários não

são suficientes para avaliar IMDs, devido à subjetividade de uma experiência

musical. Nosso objetivo em identificar limitações nas interfaces está

relacionado à prática musical, sendo assim o método utilizado nesse

experimento é baseado em (Barbosa et al, 2011) que propõe uma metodologia

de avaliação qualitativa estruturada, baseada na analise do discurso (DA).

Estudos sobre interfaces musicais muitas vezes usam comentários livres,

entrevistas e são produzidos em cenário relativamente informal e apenas citam

ou relatam resumos, em vez de uma análise estruturada, gerando pouca

confiabilidade analítica.

(Stowell et al, 2009) acrescenta que análise do discurso não é um

método único, mas uma tradição analítica baseada no construtivismo social.

Abordagens têm sido desenvolvidas com o objetivo de esclarecer as relações

sociais de poder ou detalhes do uso da linguagem. Por tanto o interesse está

em entender os recursos conceituais exercidos na construção social de um

novo artefato interativo. Usando a analise do discurso, como parte de um

método qualitativo e formal que podem analisar questões como expressividade

e affordances16 para usuários de sistemas interativos musicais. Segundo ele,

estudos longitudinais também são proveitosos, porém possuem elevados

custos de tempo e recursos. Por estes motivos, escolhemos adotar as técnicas

da análise do discurso.

Pretendendo avaliar a interação das interfaces do ponto de vista do

usuário, propomos, com base no método de Barbosa (et al, 2011), realizarmos

um experimento, onde vários participantes com perfis musicais distintos fossem

orientados a usar as interfaces pela primeira vez.

________________

16 Affordance – quanto potencial a forma de um objeto tem, pra que ele seja manipulado

da maneira como foi projetado para funcionar. <http://pt.wikipedia.org/wiki/Affordance>

46

6.1. Coleta de dados

O recolhimento dos dados foi concluído a partir de três fases:

Exploração livre: O usuário é orientado a usar a interface por algum

tempo sem restrições, à sua própria vontade.

Exploração guiada: O usuário escuta algumas amostras de áudio com

intuito de indicar possibilidades, inspirando-se na amostra.

Entrevista semi-estruturada: Nesta fase o usuário é incentivado a discutir

sobre a sua experiência realizada com as interfaces gestuais nos

momentos de exploração livre e exploração guiada.

6.2. Análise de dados

Na análise de dados, as informações obtidas no experimento foram

examinadas em três eixos: Controle temporal, variação timbrística e controle de

dinâmica. Nesta análise, utilizamos o método conhecido como análise do

discurso (AD).

6.2.1. Análise do discurso

A análise do discurso possui 5 etapas:

1. Transcrição – Neste passo todo material falado é transformado em texto.

2. Livre associação – etapa em que as impressões são anotadas para

posterior análise.

3. Discriminação – Etapa em que todo texto é quebrado em vários pedaços

e os elementos mais comuns são reconhecidos, fazendo menção das

terminologias usadas na entrevista.

4. Reconstrução do mundo do usuário – Etapa em que o analisador

constrói uma representação de cada experiência, na perspectiva do

usuário com base na lista de elementos mais comuns utilizados e suas

relações.

47

5. Exame do contexto – Por final a representação é comparada e

analisada.

Apesar da analise do discurso baseado em (Barbosa et al, 2011) possuir 5

etapas, concluímos a análise deste trabalho com êxito, sem o usar a

segunda etapa de “Livre associação”, sendo assim, as etapas foram

resumidas em 4.

48

7. Experimento

7.1. Design do experimento

Com o objetivo de identificar limitações na interação de duas interfaces

gestuais, o Sensor Kinect e o Wii remote, foi realizado um experimento, a fim

de coletar dados que nos possibilitasse criar um diagnostico, partindo do ponto

de vista do usuário. O experimento realizou-se no departamento de música da

Universidade Federal de Pernambuco.

7.1.1. Etapas do Experimento

O experimento foi dividido em duas etapas consecutivas:

I - Na primeira etapa:

As duas interfaces simulam diversos instrumentos de percussão e os

percussionistas interagem com elas enviando comandos através de gestos em

situações musicais diferentes como ilustrado na figura 20. Durante o

experimento foram avaliados critérios relacionados a controle temporal,

controle de dinâmica e variação timbrística.

II - Na segunda etapa:

Os usuários foram conduzidos a responder perguntas relacionadas à

experimentação das interfaces através de uma entrevista semi-estruturada

como mostrado na figura 20.

7.1.2. Repertório de gestos

O repertório de gestos, utilizado nas interfaces, foi mapeado baseando-

se em movimentos comuns usados na prática de instrumentos convencionais

acústicos. Os gestos escolhidos são comuns também a outros instrumentos de

percussão, visto que há instrumentos que pertencem à mesma família e

possuem características semelhantes. Por tanto usam as mesmas técnicas ou

um subconjunto delas. Alguns dos Instrumentos que usam baquetas, por

exemplo, tendem a utilizar técnicas que usam as mesmas articulações, assim

como os membranofones que são tocados com as mãos livres, só que com um

49

pouco mais de variações. Os gestos abaixo podem ser utilizados em diversos

instrumentos.

a. Flexão e extensão do antebraço – Úmero-unar (uniaxial) – 1 DOF –

Articulação do cotovelo (flexão/extensão)

b. Movimentos de rotação com o antebraço – Rádio-unar proximal e

distal (uniaxial) – 1DOF – articulação do antebraço (rotação)

c. Movimentos com ombro e antebraço – Escápulo-umeral (poliaxial) – 3

DOFs – Articulação do ombro (adução/abdução, deslizamento, e

rotação).

d. Movimentos com o punho – Rádio-cárpica (biaxial) – 2 DOFs –

Articulação do punho (translação, abdução e adução).

7.1.3. Usuários

Para avaliar a interação oferecida pelas interfaces foram convidados

músicos percussionistas profissionais que atuassem na área e possuíssem

diferentes perfis artísticos, visando obter um resultado mais satisfatório. Os

perfis eram três: universitários da área erudita, universitários da área popular e

percussionistas autodidatas. Passando pela mesma série de tarefas, cada

experimento levou cerca de quarenta e cinco minutos até sua conclusão.

Abaixo seguem algumas figuras mostrando alguns momentos do

experimento:

Figura 21 – à esquerda e a cima, o usuário testando o agogô no Wii remote, á direita o usuário testa a conga no Kinect e em baixo outro usuário na entrevista semi-estruturada.

50

Figura 22 – Percussionista popular usando a Zabumba no Wii Remote.

Figura 23 – Equipamentos (Tripé com Kinect e alguns computadores)

Figura 24 – Perspectiva do usuário

51

7.1.4. Instrumentos de coleta de dados

Os dados foram coletados através de análise etnográfica, gravados com

câmera digital, gravador digital de voz e software de gravação midi, utilizado

para análise de possíveis atrasos encontrados durante as execuções musicais

tocadas pelos percussionistas. O computador utilizado para manipular os

softwares no experimento, era um MacBook da Apple. Foi escolhido o sistema

da Apple, por possuir menor quantidade de delay, que os demais sistemas. Os

loops foram gravados por uma guitarra fazendo ritmos e acordes. A síntese

sonora utilizada na simulação dos instrumentos foi a do GarageBand uma

“Digital áudio workstation” (DAW) desenvolvida pela Apple.

7.2. Descrição do Experimento (Coleta de Dados)

Na primeira parte, o usuário ao entrar na sala é explicado sobre como

será realizado o experimento e como funcionam as interfaces. Sempre era

deixado claro para cada usuário, que ele em nenhum momento estava sendo

avaliado, mas dada a sua experiência musical, desejávamos conhecer sua

opinião a respeito da interação oferecida pelas interfaces.

7.2.1 Performance com DMI

É apresentada a primeira interface, o Kinect. Nele foram mapeados

gestos para dois instrumentos percussivos: Um da família dos Idiofones –

Ganzá (tipo de chocalho) e um membranofone – Congas (tipo de tambor). O

Percussionista recebeu a instrução de que teria um momento livre (Free

exploration) onde ele poderia testar ritmos e reconhecer que gestos poderiam

ser utilizados no instrumento virtual. O momento livre tinha duração media de

dois minutos.

Em seguida o percussionista testava o instrumento sendo acompanhado

por um metrônomo em três andamentos diferentes (bpm - batidas por minutos):

90 bpm, 120 bpm e 160 bpm. Cada andamento tinha duração de trinta

compassos por vez. Seguia-se o experimento novamente com

acompanhamento, porém não mais com o metrônomo e sim com uma

harmonia servindo de base. Para tal foram gravados loops com uma guitarra

elétrica fazendo ritmos de Baião em 80, 100 e 120 bpm; Frevo em 100, 140 e

52

160 bpm; Maracatu em 80, 100 e 120 bpm; Sambinha em 80 bpm e um ritmo

latino americano 120 e 140 bpm. Após as performances com cada instrumento

virtual, era feita uma sessão de comentários pelo usuário, falando sua opinião

sobre a interação do instrumento musical usando a interface. O mesmo ciclo se

repetiu com todos os instrumentos experimentados no Kinect.

Em seguida foi apresentada a segunda interface, os controles Wii. Nele

foram mapeados três instrumentos que utilizam baquetas, aproveitando a

formato de bastão e os sensores usados na interface. Os instrumentos

virtualizados pelo Wiimote foram dois membranofones: uma Caixa e uma

Zabumba (Tambores) e um idiofone: Agogô (Espécie de sino duplo oco).

O experimento com o Wiimote segue o mesmo ciclo de tarefas usadas

no Kinect. O usuário tem um momento livre (Free exploration), para testar a

caixa com os controles Wii, reconhecendo os gestos que podem ser utilizados

na interação. O tempo de duração teve em media dois minutos. Logo após ele

testa com acompanhamento do metrônomo nos mesmos andamentos usados

no teste do Kinect. Depois ele passa a experimentar a interface com

acompanhamento dos mesmos ritmos pré-gravados com a guitarra. Assim

como na primeira interface, o usuário após passar pelo ciclo de tarefas com

cada instrumento virtual, fez comentários sobre a experiência com aquele

instrumento, dando sua opinião com relação ao controle das interfaces.

Na web é possível visualizar a gravação de alguns trechos do

experimento, mostrando os usuários usando os instrumentos virtuais nas

interfaces gestuais17.

7.2.2. Entrevista semi-estruturada

Após terminar o experimento com as duas interfaces o usuário passava

a segunda fase do experimento, que de acordo com o método, era a entrevista

semi-estruturada. O tempo de cada entrevista custava em média de quinze

minutos e as questões eram baseadas na experiência do usuário com as

interfaces utilizadas.

________________

17 Disponível em: zabumba virtual <https://www.youtube.com/watch?v=7PfWE-V8lmk>,

conga virtual <https://www.youtube.com/watch?v=pVkJ_5_OyW0>, caixa virtual <https://www.youtube.com/watch?v=6IZRyFQ7q4M>, agogô virtual <https://www.youtube.com/watch?v=tfNcfcmkXPA> - Acesso em: 29 Dez. 2012.

53

7.3. Protocolos de experimento

Abaixo apresentamos as questões utilizadas na entrevista e o roteiro do

experimento em forma de fluxograma.

7.3.1. Tópicos abordados na entrevista

Qual sensação sentiu ao tocar essas interfaces?

Você sentiu algum tipo de delay?

Havia alguma diferença ao fazer gestos mais lentos ou mais rápidos e

contínuos em relação a atrasos?

Como você percebeu as diferenças de dinâmica e mudanças

timbrísticas?

Você teria interesse em possuir uma dessas novas interfaces musicais?

Você usaria em uma apresentação?

Você se sente confiante usando essas interfaces?

Que vantagens esses tipos de interfaces podem trazer a um músico?

O que poderia melhorar na interface?

O que você acha que essas interfaces acrescentam?

54

7.3.2 Fluxograma

Figura 25 – Fluxograma do roteiro usado no experimento

55

________________

17 Disponível em:

<http://www.4shared.com/rar/0WDAkDV4/Experimento_Percusso_interativ.html?> - Acesso em: 23 Ago. 2012.

7.4. Análise de dados do experimento (Analise do discurso)

7.4.1. Transcrição

O material de áudio capturado foi transcrito e encontra-se disponível na

web17.

7.4.2. Discriminação

Neste experimento podemos perceber que os participantes não se

sentiram a vontade diante das interfaces e mesmo tendo conhecimento

informatizado e experiência musical no seu instrumento, levaram um bom

tempo para se adaptar a ideia de tocar em um modelo virtual de percussão. Ao

experimentar pela primeira vez as interfaces, os movimentos comuns,

utilizados na prática do instrumento acústico eram lembrados e

automaticamente gesticulados, buscando atingir a mesma sonoridade no

instrumento virtual, porém quando não conseguiam o retorno esperado, era

notório, o modo como se sentiam perdidos. Ao passar por essa experiência o

usuário 2 comentou:

“Me senti como se nunca tivesse tocado na

minha vida, parece que nunca toquei e não sei nada

sobre música (...) É diferente do contato com o

instrumento material então, mas a sensação foi essa

assim, estou mais perdido do que tudo aqui num é?”.

Isso acontece também, pela importância que os músicos dão a presença

do corpo do instrumento, porque ao tocar um instrumento convencional, além

de ter um retorno auditivo, ele tem retorno táctil, o que provavelmente deixa o

usuário sem confiança diante de uma interface que se manipula apenas por

gestos no ar. O limite em que o gesto deve parar é o ponto de ataque onde o

músico espera atingir, com tudo, para ele este ponto precisa ser previsível, pois

enquanto o músico toca, ele calcula o tempo em que deve soar à próxima nota

e o gesto que será utilizado deve fazer um percurso que atinja no tempo

previsto, o ponto de ataque. O usuário 4 chama de instrumento imaginário e

ainda salienta:

56

“Por que é aquela questão, aqui tá a cadeira, eu

calculo, automaticamente minha vista calcula onde eu

vou atacar e no imaginário isso dificulta.”

Algo que é bastante relevante para o músico é a variação de

sonoridades. Em todos os experimentos os percussionistas procuraram

variações que segundo eles era importante para execução de algum ritmo,

como por exemplo: a caixa no frevo, que necessita de acentuações o tempo

inteiro e sem elas, o ritmo fica sem sentido ou a zabumba no baião, que precisa

da variação timbrística da pele superior para fazer o swing. A percepção que o

músico tem ao tocar o seu instrumento é a mesma que ele usa para tocar em

um instrumento digital, por tanto ele procura usar os mesmo gestos para obter

as variações sonoras de timbre, altura e intensidade.

“Precisa melhorar algumas coisas, tipo a

sensibilidade dos toques, tipo como tocar, a altura onde

tocar, entendeu? Os timbres também e também a

maneira de tocar.”

Apesar de nunca haver tido contato com interfaces gestuais todos

acharam a experiência prazerosa e tiveram vontade de adquirir o material,

desde que fossem corrigidas as falhas encontradas na interação. Dentre os

problemas citados pelos usuários, os mais relevantes foram: a falta de variação

de intensidade das notas, dada a imprecisão encontrada em alguns

movimentos; variação de timbres no mesmo instrumento e atrasos em

movimentos rápidos.

7.4.3. Reconstrução do mundo do usuário

Abaixo, encontra-se uma breve descrição da entrevista semi-

estruturada, onde cada usuário descreve a sua experiência com as interfaces

em sua própria perspectiva. Essa fase é uma representação do mundo do

usuário e pode nos ajudar a entender limitações na interação entre usuário e

interface.

57

A. Usuário 1

O usuário 1 foi um músico de perfil erudito. É estudante de percussão

erudita na universidade e participa de grupos de orquestra. É informatizado,

mas não teve contato com instrumentos virtuais.

O usuário encontrou problemas com atrasos e variação timbrística,

porém achou que as interfaces podem resolver problemas referentes a custo

beneficio e transporte. Comentou que não era como se ele estivesse tocando

um instrumento real, mas que a tecnologia tem crescido bastante. Falou que

havia a necessidade de melhorar a sensibilidade da interface de como tocar e

onde tocar e possibilitar maior quantidade de timbres. O sentimento em relação

ao atraso não foi bom. Tocar com gestos mais rápidos aumentavam os atrasos,

quando não, os gestos eram mal captados. O usuário 1 teve interesse em

possuir as interfaces, pois vê vantagens em relação à logística de

instrumentos, mas não acredita que equipamentos eletrônicos possam produzir

som com a mesma qualidade de instrumentos acústicos. De seu ponto de vista,

as interfaces também podem contribuir, adicionando uso de novas técnicas,

visto que um instrumento que interage através de uma nova interface, mesmo

que possua timbres semelhantes a um instrumento acústico, devera oferecer

novas formas de controle.

B. Usuário 2

O usuário 2 foi um músico de perfil autodidata. Não estudou percussão

nas escolas de música, mas aprendeu sozinho e toda sua experiência musical

se deu participando de grupos musicais que tocam na noite e percorrem o

Brasil. Não teve experiência com instrumentos virtuais, mas tem simpatia por

novidades, desde que traga contribuições ao seu trabalho.

Apesar de achar que não há condições de tocar com os atrasos

encontrados, gostou da experiência e viu nas interfaces pontos positivos

referentes à performance. O usuário achou a novidade muito interessante,

principalmente por causa do problema de logística (transporte) que sofre o

percussionista e acredita que no mercado, as interfaces iriam ajudar bastante.

58

Comentou que a música por se só já é uma diversão e usando essas

ferramentas, é mais ainda, pois parece que está em um vídeo game, deixando

o ambiente de trabalho e ensaio mais descontraídos. Pra ele os atrasos

atrapalharam a métrica da música e se não tiver métrica, não há organização.

Ele percebeu que havia diferença na captação entre gestos mais lentos e mais

rápidos na maioria dos instrumentos, menos na zabumba. Ele sentiu falta da

dinâmica, pois independente da força colocada nos gestos, o volume sonoro

era o mesmo. Teve bastante interesse em possuir as interfaces e falou que

iriam contribuir com a performance dele no palco, possibilitando melhoras na

questão visual e cênica.

No início teve dificuldades, mas salientou a necessidade de conhecer

primeiro o equipamento, pra assimilar os gestos e no dia a dia domina-lo. O

usuário falou que as interfaces podem trazer contribuições tornando mais

prática a vida do percussionista tanto na logística quanto na performance, pois

no palco são muitos instrumentos que ele toca a toda hora e o equipamento

possibilitaria mais recursos e possibilidades.

C. Usuário 3

O usuário 3 foi um músico de perfil erudito. Aprendeu em escola de

música e estuda percussão erudita na universidade. Possui muita experiência

na área de percussão e participa de orquestra. Ele foi o usuário que mais se

sentiu indiferente ao usar as interfaces, pois não acredita que instrumentos

virtuais possam ser comparados e ter as mesmas qualidades encontradas nos

instrumentos convencionais.

Apresentou bastantes queixas, mas achou interessante para o uso na

iniciação musical, como instrumento didático. Ele descreveu a sua experiência

como divertida, mas confessou que ficou muito preocupado se iria conseguir ou

não tocar, pois era sua primeira experiência com interfaces gestuais. Comentou

que quando acompanhou o frevo no agogô, tentou fazer semicolcheias em

140bpm, mas o Wii remote não conseguiu acompanhar a articulação. Segundo

ele, no instrumento acústico, quando é necessário fazer ritmos mais rápidos, os

gestos são mais curtos e na interface, gestos curtos não são bem captados,

sendo necessário usar movimentos mais longos, gerando atrasos no ritmo. O

59

Usuário não sentiu diferenças de dinâmica no ganzá dizendo, porque jogando o

instrumento mais forte ou mais fraco o som era o mesmo. Sentiu falta de som

legato, fazendo um movimento giratório no ganzá inclinando-o (assemelha-se

ao pau de chuva), quando fazia este gesto soava staccato. Falou também que

havia interesse em possuir as interfaces, mas depois que fossem corrigidos os

erros analisados no experimento. Achou que seriam interessantes para uso na

iniciação musical, visto a atração e o crescimento do uso de computadores e

novas tecnologias pelas crianças de hoje. Quando foi perguntado se utilizaria

em uma apresentação gaguejou um pouco, mas disse:

“utilizaria como instrumento didático, como

instrumento profissional pra minha área realmente não!

A não ser que o projeto tenha alguma coisa haver com

tecnologia”.

Comentou que em sua área, o corpo do instrumento é muito importante

e preferia usar as interfaces num contexto de iniciação musical, como forma de

brincadeira. Só poderia usar profissionalmente as interfaces se elas fizessem

todos os movimentos possíveis que um instrumento convencional faz, mas ele

ainda não se sente confiante diante das interfaces por causa de suas

limitações.

Afirmou que o uso dessas interfaces em orquestra sinfônica não seria

possível, apenas em grandes shows, boates e outros eventos modernos.

Depois falou que apesar de tudo, já ouviu falar que inseriram em alguma

apresentação com orquestra, um dj e não duvida que compositores já estejam

escrevendo pra usar interfaces na orquestra, o que faria ele ser obrigado a se

adaptar (sorrisos). Em seu ponto de vista, a vantagem em usar a interface é

impressionar o publico com a tecnologia, não tecnicamente, nem

musicalmente, mas visualmente. Para melhoria da interação ele indicou:

variação de sonoridades, captação de mais movimentos, dinâmica e correção

do gesto de preparação com as baquetas. O usuário afirmou firmemente que, o

que as interfaces acrescentam é apenas visual, mas em se tratando de

sonoridade do instrumento e técnicas, não acrescentam nada, pelo contrario,

deixam a desejar.

60

D. Usuário 4

O usuário 4 foi um músico de perfil popular. Estudou em conservatório

de música e estuda percussão erudita e popular. Trabalha profissionalmente

como professor de música e participa de grupos como: bigband, orquestra e

grupos instrumentais. Nunca teve experiência com instrumentos virtuais, mas

possui conhecimento informatizado e gosta de novidades.

O usuário nunca tinha experimentado um instrumento virtual e chamou-o

de instrumento imaginário. Teve dificuldade em aplicar algumas técnicas,

porque de acordo com sua descrição, no instrumento acústico ele percebe o

corpo e calcula o golpe, já no virtual é diferente. Segundo ele, tudo novo

provoca esse tipo de reação, por tanto se sentiu perdido no início do

experimento, mas depois se adaptou. Percebeu atrasos e apontou como um

dos motivos, a falta de visualização do corpo como feedback visual, pois

algumas vezes levou a mão para baixo e esperava o som do golpe na pele,

mas vinha um pouco depois e outras vezes o som vinha quando estava

voltando a mão. Isso o deixou confuso, porque achou que o problema do atraso

talvez não fosse da interface, mas dele que não via onde ia atacar. O usuário

falou que as interfaces apresentam dificuldades de precisão quando são

usadas subdivisões, por isso que funcionam melhor em andamentos lentos. Se

imaginarmos um compasso quatro por quatro e tocarmos em semicolcheias as

interfaces iram apresentar imprecisão.

Quanto à dinâmica ele disse que havia dinâmica, mas não a variação de

dinâmica, a parte mais acentuada ou menos acentuada. O instrumento que ele

mais sentiu falta de variação de dinâmica foi a caixa, por ser um instrumento

que usa muito esse tipo de técnica, para fazer rudimentos e nuances. Sentiu

falta também na zabumba, pois caracteriza o balanço nordestino. O usuário

sentiu o interesse em possuir apenas o Wii remote para simular instrumentos

mais individuais e falou que o agogô e a zabumba casaram muito bem e que

usaria em apresentações por ser uma novidade e pelo aspecto futurista, mas o

usuário ainda não se sente confiante diante das interfaces. Diz-se defensor dos

instrumentos acústicos, mas não é contra o digital, desde que seja interessante

e vá somar ao seu set.

61

A vantagem que encontra nas interfaces é a logística, pois a junção de

vários instrumentos em um, permite que o músico só precise dos controles e de

um computador. As melhorias sugeridas foram: a dinâmica e a precisão do

ataque, pois tanto os percussionistas, quanto os bateristas são responsáveis

pelo bit (andamento) da música. Ele acredita que as interfaces podem

acrescentar ao músico a questão do novo para a performance em publico e

diminui o trabalho na vida do percussionista.

E. Usuário 5

O usuário 5 foi um músico de perfil popular. Estudou no conservatório e

atualmente estuda Licenciatura em música na universidade. Participa de

grupos populares e apesar de ter conhecimento informatizado e simpatia por

tecnologia, não possui experiência em instrumentos virtuais.

O usuário reclamou os atrasos e a falta de controle da dinâmica, mas se

sentiu bem com a sensação de liberdade e a possibilidade da troca de timbres.

Gostou muito da ideia de colocar diversos timbres sem ter a presença física

dos instrumentos e vê como bastante importante para bateristas e

percussionistas. Dependendo do instrumento, sentiu que notas mais rápidas

eram mais fáceis de executar e em outros mais difíceis. Não percebeu

diferença de dinâmica ao tocar a caixa e nem ouviu variação timbrística. O

usuário sentiu interesse em possuir as interfaces e usaria em apresentações

em público, pois achou que a sensação de liberdade que a interface traz ao

músico é fantástica. Ele se sentiria mais confiante de usa-la, após o

aperfeiçoamento da interação da interface. Ele achou que pensando numa

questão mais performática as interfaces trazem vantagens na liberdade de

tocar, de explorar timbres e de possibilidades para o percussionista. As

melhorias indicadas por ele são: aumento da sensibilidade de dinâmica e

timbre.

62

F. Usuário 6

O usuário 6 foi um músico de perfil autodidata. Como percussionista

participa de grupos populares e atualmente estuda luteria em instrumentos de

percussão. Nunca teve experiência com instrumentos virtuais, mas possui

simpatia pela área de tecnologia.

O usuário achou as interfaces visivelmente estranhas e não se sentiu

confiante diante delas, mas vê vantagem em ter vários timbres em um só

instrumento. Falou que a ideia é boa e apesar de não ser tão perfeito quanto

um instrumento acústico, consegue-se extrair boa sonoridade de alguns

instrumentos. Percebeu atraso apenas em alguns instrumentos e disse que no

agogô e na zabumba não ocorreram atrasos. Não sentiu muita diferença na

sonoridade entre gestos mais lentos e mais rápidos, principalmente nas congas

o som gerado era diferente dos gestos usados, não foi percebida diferença de

dinâmica. O usuário teve interesse nas interfaces e falou que dá pra um

percussionista fazer muita coisa, juntar vários instrumentos. Como já falado

antes, apesar de ser visivelmente estranha, usaria em apresentações com

alguns instrumentos. Ele não confiou na interface, devido ao atraso e alguns

instrumentos não possuírem boa interação, mas ainda pode confiar em alguns

instrumentos virtuais. O usuário vê vantagens em usar as interfaces, por

oferecer a possibilidade de juntar vários timbres em uma ferramenta, não

havendo necessidade de andar com tantos instrumentos. As melhorias

indicadas pelo usuário foram: melhorar a sensibilidade e corrigir a questão do

atraso. O usuário acha que o que as interfaces acrescentam ao músico é a

possibilidade de ter vários instrumentos em um só equipamento, usando um

computador.

63

________________

18 Swing – Característica encontrada na música que faz com que ela tenha uma

dinâmica envolvente. Geralmente induz ao desejo da dança.

7.4.4. Examinando o contexto

Conforme o contexto visualizado, todos os usuários sentiram bastante

dificuldade com relação à latência, além da sensibilidade funcionar melhor

com gestos largos, era perceptível a dificuldade relacionada a controle de

fluxo, que acontece, quando certa quantidade de comandos é executada em

série e o fluxo de dados faz atrasar o programa. Para percussionistas essa

situação é intolerável, pois segundo eles, a métrica rítmica fica comprometida,

não havendo condições de compensar o atraso, e tanto a bateria quanto a

percussão são os principais responsáveis pelo andamento rítmico.

Nenhum dos usuários conseguiu sentir variação de dinâmica e a

variação timbrística foi muito resumida. Fazendo com que houvesse queixas

sobre acentuação na performance rítmica. Percebemos que a acentuação é

responsável pelos rudimentos e nuances nos instrumentos solistas do naipe

de percussão, como a Caixa, o Agogô e a Zabumba. Sem a acentuação a

música não tem o balanço (swing)18. A maioria dos usuário se sentiram como

alunos iniciantes em percussão. Um dos percussionistas que era professor de

percussão e possuía bastante experiência, ao estar diante da conga virtual,

ficou totalmente perdido, parecendo que nunca tinha estudado música antes.

Segundo ele a falta do corpo fez muita diferença, pois através dele o

instrumentista recebe feedback táctil, que dá a certeza de que a ação alcançou

o instrumento.

Mesmo com toda atratividade existente nas interfaces gestuais, as

limitações encontradas na interação, trazem para os músicos insegurança,

criando uma espécie de preconceito a dispositivos digitais. Se no

instrumento convencional, onde normalmente eles manipulam bem, já

encontram recursos suficientes para a extração do som desejado, porque

trocar por outro artefato que por si só já é problemático?

Os instrumentos convencionais possuem repertórios de gestos que com

o passar de tempo foram sendo adquiridos, baseando-se na forma física de

cada instrumento e os instrumentos virtuais que vem sendo criados para

interfaces gestuais reutilizam esses repertórios de gestos, simulando

instrumentos acústicos, porém esses novos instrumentos podem acrescentar

64

________________

19 Glissando – Forma suave de passagem de notas musicais de uma altura a outra,

feita normalmente deslizando. 20

Bend – Técnica usada em que se levanta uma corda do instrumento para chegar à outra nota.

novas formas de controle ao repertório já conhecido. Isto implica em novas

possibilidades sonoras, novos gestos, novas técnicas e novas performances.

Essa nova forma de controle vem com uma vantagem que não se encontra em

instrumentos acústicos, que é a escolha infinita de sons gerados, pois o

acústico depende das propriedades físicas de seu corpo, já um instrumento

virtual depende apenas da síntese e do algoritmo. Sendo assim a partir de um

gesto podemos dar possibilidade a um instrumento virtual fazer o que o

instrumento acústico não faria por causa das suas limitações físicas. Por

exemplo: fazer um glissando19 no piano ou um bend20 em um xilofone.

65

7.4.5. Mapa mental

Mapa-mental que representa de maneira estruturada elementos contidos

no discurso dos usuários.

Figura 26 – Mapa-mental baseado no mundo do usuário.

66

Neste mapa-mental a palavra chave utilizada foi “instrumento virtual”

porque no contexto em que se encontra a nossa pesquisa, as interfaces

gestuais têm sido utilizadas, para a criação e o desenvolvimento desses

instrumentos. Também porque quando os músicos interagiam com as

interfaces, eles não pensavam na interface em si, mas no instrumento virtual

que era utilizado no momento.

Os instrumentos geraram nos percussionistas diversas expectativas,

pois nenhum deles havia usado um instrumento virtual e por tanto não

imaginavam como seria a experiência. Ao experimentar cada instrumento

puderam perceber problemáticas que não eram comuns no instrumento

acústico, como: atrasos, gestos que eram mal captados, imprecisões nas

batidas, falta de feedback táctil, visual e as vezes auditivo, falta de timbres

ligados a técnicas habitualmente usadas no instrumento convencional e outras,

mas também perceberam que haviam vantagens em seu uso como novos

recursos oferecidos.

Percebemos que as interfaces gestuais podem trazer muitas

contribuições e vantagens para o cenário musical. Dentre elas o uso de

Instrumentos virtuais pode ajudar na educação musical proporcionando

mobilidade e custo-benefício. Através de seu uso estudantes podem

experimentar vários timbres em um só dispositivo e carregar mais facilmente o

equipamento dentro de uma mochila escolar. Ele também permite mudanças

de performance e maior liberdade de interpretação ao musico, tendo em vista

não possuir as mesmas características físicas de um instrumento comum.

67

7.5. Análise dos resultados

Na interação com a música é necessário que aquilo que se toca em um

instrumento tenha uma resposta imediata. Dillon (2003, apud CALEGARIO,

2010) afirma que:

(...) a resposta imediata do sistema ao gesto de entrada

aumenta bastante o significado que a música tem para o

usuário que está interagindo com o sistema, em outras

palavras, com a resposta em “tempo real” existe uma maior

atração natural e envolvimento com a música por parte do

usuário.

Como proposto anteriormente um dos resultados da analise do experimento foi

realizada a partir de três critérios de avaliação:

7.5.1. Variação timbrística

As interfaces Kinect e Wii remote ofereceram uma variação timbrística

mínima, onde cada instrumento possuía mais de uma amostra de som, menos

a caixa. Essas amostras eram vinculadas aos gestos usados no instrumento

virtual. Os usuários testaram, mas acharam limitados porque o instrumento

convencional, demostrava muito mais possibilidades timbrísticas.

Isso acontece também, porque o mapeamento de gestos, que é

necessário ser feito, vai de gestos musicais usados no instrumento, até as suas

localizações espaciais. Quer dizer, além de a interface nos dar condições de

tratarmos como uma variável, o gesto da batida de uma baqueta na pele da

caixa, deve também nos dar condições de mapearmos a posição em que o

gesto acontece, se no centro da pele da caixa ou na borda ou até mesmo no

aro da caixa, pois no instrumento convencional essa variação é comum de ser

utilizada na prática do instrumento.

Esse tipo de problema que encontramos, diz respeito às limitações de

algoritmo e de hardware. Primeiro porque os algoritmos criados não pretendem

68

tratar esse problema e segundo porque muitos dos gestos utilizados pelos

músicos na interpretação com o instrumento fazem movimentos curtos que a

própria interface não consegue captar.

O timbre de um instrumento é um elemento muito importante para o

ouvido de um músico, pois o ele é um dos fatores que demostra a qualidade de

um instrumento. Ao manipular um instrumento virtual, o músico espera que seja

oferecido no mínimo a mesma sonoridade e possibilidades de um instrumento

acústico ou que as ultrapassem com novos recursos.

7.5.2 Variação de dinâmica

Ela se refere à variação de intensidade de volumes dentro da música ou

de ostinatos21 rítmicos, de algum instrumento, arranjo ou fraseado. Também é

responsável pelas notas acentuadas e pela não linearidade em uma música.

De acordo com o experimento os usuários acharam à dinâmica, estática,

nenhuma das duas interfaces ofereceu variação de dinâmica. Sendo assim, os

algoritmos utilizados não resolveram problemas de mapeamento de gestos

fracos e fortes.

Para ter controle de dinâmica a interface tem que possuir uma boa

sensibilidade, e um mapeamento de gestos que contenha algoritmos que

tratem desse critério. Uma das razões pelo qual gostamos mais de músicas

interpretadas por seres humanos do que por programas de computador, está

nessas variações de dinâmica, que é natural da interpretação humana.

Usando a caixa no Wii remote a falta de dinâmica fazia com que os

ritmos feitos pelos usuários ficassem sem expressão.

7.5.3 Controle temporal

O tempo foi um dos requisitos que mais deixou a desejar e a sua

importância para este tipo de instrumento é essencial, porque a percussão é

um dos responsáveis pelo do andamento na música. Usando o Kinect o atraso

foi bem maior, pois os sensores usados por ele possuem dificuldade em captar

movimentos curtos. A pesar do instrumento de percussão ser um dos

________________

21 Ostinato – é um motivo ou frase musical que é persistentemente repetido num mesmo

padrão rítmico. <http://pt.wikipedia.org/wiki/Ostinato> Acesso em: 18 ago. 2012.

69

instrumentos que possuem gestos mais largos, existem detalhes como

rudimentos que são feitos com movimentos curtos e são muito importantes

para a expressão musical. Quando foi usado o ganzá também ocorriam sons

com atrasos, porém o tipo de atraso que apareceu no ganzá, é um problema

chamado de fluxo de dados, acontecia quando o usuário utilizava os gestos do

ganzá de maneira mais rápida, fazendo com que as informações ocorressem

com maior intensidade. O Wii remote teve melhor resposta aos atrasos, mas

ainda assim apresentou o mesmo problema, só que com menos intensidade.

70

8. Diagnósticos e Direções de pesquisas

8.1. Diagnósticos

Esta pesquisa foi satisfatória e deu-nos condições de visualizar pontos

relevantes que nos ajudaram a entender o porquê dos músicos usarem tão

pouco, essas novas tecnologias. Além dos problemas detectados, ainda

existem outros que não foram citados por não fazer parte do nosso escopo de

pesquisa, como: falta de informação, preconceito com tecnologia digital, falta

de recursos financeiros que possibilitem a aquisição de equipamentos,

problemas relacionados a cultura e outros.

Apesar das interfaces se proporem a uma determinada interação, muitos

dos gestos utilizados pelos instrumentos não são captados com facilidade em

tempo real. A princípio podemos dizer que a dois pontos chaves nessa

questão. O primeiro é que existem limitações nas interfaces, que comprometem

uma série de atividades na interação musical; e o segundo é que os

desenvolvedores precisam criar melhores algoritmos.

Um dos problemas que os algoritmos podem tratar é a questão de

variação timbrística. Podemos ter excelentes amostras de sons, e inúmeros

tipos de instrumentos, mas se o mapeamento não for feito, levando em

consideração a localização das sonoridades, nunca vamos ter uma variação

timbrística real. Além de mapearmos os gestos usados na técnica instrumental,

devemos mapear as áreas sonoras mais relevantes do instrumento. No caso

de uma caixa, podemos ter sons do centro da caixa, da posição entre o centro

e a borda, da borda da caixa e do aro da caixa. Um tipo de algoritmo como

esse, deve resolver os problemas de variação timbrística, levando em

consideração que a interface tenha condição de captar os gestos mapeados

pelo algoritmo. Isso não é tão provável, tendo em vista a pouca sensibilidade

encontrada nas interfaces.

Nas interfaces não foi possível trabalhar com variação de dinâmicas e a

sensibilidade das interfaces não ainda está refinada. A dinâmica e a

sensibilidade podem estar relacionadas, porém a dinâmica deve ser tratada

com algoritmos que percebam diferenças de velocidade, pois um movimento

71

mais rápido deve proporcionar uma dinâmica mais forte e vice versa, em

quanto a questão da sensibilidade deve ser tratada no hardware, porque é ele

quem capta os gestos, sejam eles longos ou curtos. No momento em que as

interfaces forem mais sensíveis a pequenos gestos e os algoritmos

melhorados, a dinâmica ira funcionar perfeitamente.

Em relação a atrasos, as duas interfaces demostraram a presença de

latência, mesmo sendo usadas em um computador Mac, que em experiências

anteriores, demostrou possuir menor latência que os outros. O Kinect

apresentou sinais muito fortes de atraso, principalmente de resolução temporal,

que é a capacidade de tratar o fluxo. Sempre que foi necessário fazer notas

rápidas, as notas falhavam ou quando não, soavam um pouco depois,

misturando com a nota seguinte. O Wii remote apresentou menores atrasos

que o Kinect, tornando a experiência com ele, mais prazerosa aos

percussionistas, mas ainda assim apresentou problema de resolução temporal.

Os problemas de atrasos podem ser gerados tanto pelas interfaces, quanto

pelos algoritmos. Não foi percebido jitter22 na interação de nenhuma das

interfaces.

Para o músico, independente dos recursos que o instrumento venha

oferecer ou forma física, gesto novos ou antigos, visual, expertise necessário,

maior liberdade, novas técnicas, múltiplos timbres, etc... a coisa mais

importante a ser oferecida ao músico é uma interação que promova a sensação

de total controle da interface através de gestos naturais.

8.2. Direções de pesquisas

Estudando IMDs percebemos que as interfaces gestuais têm exercido

grande influência sobre a luteria digital. Nas pesquisas sobre desenvolvimento

de instrumentos digitais a uma tendência muito forte ao uso de interface

gestuais de diversos tipos. A criação de novos instrumentos virtuais tem se

baseado em sensores que facilitam a interação dos músicos através de gestos,

podendo ser utilizado para performance e para o uso didático.

________________

22Jitter – é uma variação estatística do atraso na entrega de dados.

<http://pt.wikipedia.org/wiki/Jitter > Acesso em: 18 ago. 2012.

72

Nessa área é importante estudarmos:

Feedback táctil na ergonomia

Idiomatísmo dos instrumentos como referência para mapeamento

de gestos

Interface gestual como ferramenta didática

Mudança de técnicas instrumentais no uso de interfaces gestuais

(novas formas de controle)

Em nossas pesquisas futuras, não há intensão de trabalho em melhorias

de hardware, mas podemos ter interesse no futuro trabalhar ou não. O futuro

da nossa pesquisa é refazer o experimento com novos questionários, agora

incorporando novos gestos e comparando com outra interface. Por exemplo: O

PlayStation Movie.

73

REFERÊNCIAS

ARAÚJO, C. R. Uma Proposta de Ferramenta de Apoio à Educação Musical

Via Web Usando Java e XML. 2002. 118 p. Dissertação (Mestrado) –

Departamento de Comunicações, Faculdade de Engenharia Elétrica e

Computação, Campinas, 2002.

ARENDI, C. F.; DUARTE, T. P. Princípios de Anatomia Humana. São Paulo;

CI, 1996 pg.112.

BRINDLE, Reginald Smith. Contemporary Percussion. Oxford University Press:

London, ISBN 0-19-318802-3, 1975.

BARBOSA, J.; CALEGARIO, F.; MAGALHÃES, F.; CABRAL, G.; TEICHRIEB,

V.; RAMALHO, G. Towards an evaluation methodology for digital musical

instruments considering performer’s view: a case study. In PROCEEDINGS OF

THE 13TH BRAZILIAN SYMPOSIUM ON COMPUTER MUSIC (SBCM’11),

Vitória, ES. Brazil, 2011.

Bongers, B. “Physical Interfaces in the Electronic Arts. Interaction Theory and

Interfacing Techniques for Real-time Performance.” In M. Wanderley and M.

Battier, eds. Trends in Gestural Control of Music. IRCAM - Centre Pompidou,

pp. 41-70, 2000.

BOULEZ, Pierre (1977) “Technology and the Composer”, Language of

Electroacoustic Music. Ed. Simon Emmerson, London: Macmillan Press, 1986,

pg. 5-14.

BOULEZ, P. GERZSO. A. Computers in Music. Scientific American, v. 258,

n. 4. 1988.

BOULEZ, P. e GERZSO, A. Computers in music. Scientific American, Paris, v.

258, apr. 1988. Disponível em:

<http://articles.ircam.fr/textes/Boulez88c/index.html>. Acesso em: 23 jun. 2012.

Cadoz, C. “Instrumental Gesture and Musical Composition.” In Proceedings of

the 1988 International Computer Music Conference. San Francisco,

International Computer Music Association, pp. 1-12, 1988.

CANDÉ, Roland de. História universal da música v.1. 2 ed. São Paulo: Martins

Fontes, 2001. ISBN 8533615000

74

CORRÊA, A. G. D. A Criatividade através da expressão musical: uma interface

gestual para composição musical interativa. Novas Tecnologias na

Educação, CINTED-UFRGS, v.2, n. 2, Nov. 2004.

CORREA, A.G.D., NETO, O.B., e LOPES, R.D. MusandScene: uma Interface

Gestual de Expressão e Criação Musical no Auxílio ao Aprendizado de Música

em Educação Especial. In: XXV Congresso da Sociedade Brasileira de

Computação, 25, 2005, Rio Grande do Sul. Anais…Canelas e São Leopoldo,

2005.

DELALANDE, F. La gestique de Gould. I n Glenn Gould Pluriel. Louise

Courteau, editrice, pp. 8 5-111, 1988.

DEARLING, Robert (Ed.). The Encyclopedia of Musical Instruments. Nova York:

Smithmark Editors, 1996.

FALOUTSOS, Petros; PANNE, M.; TERZOPOULOS, D. “The Virtual Stuntman:

dynamic characters with a repertoire of autonomous motor skills”. Elsevier

Science Ltda, Computer & Graphics 25, pp. 933-953, 2001.

FICHEMAN, Irene K. Aprendizagem colaborativa a distância apoiada por meios

eletrônicos interativos: um estudo de caso em educação musical. Dissertação

(Mestrado em Sistemas Eletrônicos). São Paulo, Escola Politécnica da USP,

2002.

GOHN, Daniel. A tecnologia na música. In: XXIV CONGRESSO BRASILEIRO DA COMUNICAÇÃO, 24, 2001, Mato Grosso do Sul. Anais…Campo Grande, 2001.

HEWETT, B. et al. Curricula for Human-Computer Interaction. 1996. Disponível

em: http://old.sigchi.org/cdg/cdg2.html#2_1. Acesso em: JORDÀ, Sergi. “Digital

Lutherie: Crafting musical computers for new musics' performance and

improvisation.” Ph.D. Thesis, Universitat Pompeu Fabra, 2005.

HUMMELS et al. An intuitive two-handed gestural interface for computer supported product design. 1997. Disponível em: <http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.106.2815>. Acesso em: 02 dez. 2011.

IAZZETTA, F. A Música, o Corpo e as Máquinas. Opus: Revista da Associação

Nacional de Pesquisa e Pós-Graduação em Música, IV(4), 27-44, 1997.

JONES, Steve. Rock Formation: music, technology, and mass communication. Newbury Park: Sage Publications, 1992.

KOREIN, J. U.; BADLER, N. I. Techiniques for Generating the Goal-Directed

Motion of Articulated Estructured. IEEE Computer Graphics and Applications,

Los Alamitos, v.2, n.9, p.71-81, 1982.

75

MARINHO, L. P. GAL: Uma Linguagem de Domínio Específico Para Jogos

Multi-Toque. 2010. 51p. Trabalho de Conclusão de Curso (Bacharel em

Computação) – Programa de Graduação em Ciência da Computação,

Universidade federal de Pernambuco, Pernambuco, 2010.

MILETTO, E. M.; COSTALONGA, L. L.; FLORES, L. V.; FRITSCH, E. F.;

PIMENTA, M. S.; VICARI, R. M. (2004). Introdução à computação musical. IV

Congresso Brasileiro de Computação

Mialichi, J. R. e Manzolli, J. (2002) “Estudo e Desenvolvimento de Interface

Gestual para Composição Interativa”, Projeto de Iniciação Científica – NICS –

Unicamp.

MACIEL, A. “Modelagem de Articulações para Humanos Virtuais Baseada em

Anatomia”. Dissertação de Mestrado, PPGC da UFRGS, Porto Alegre, 2001.

MIRANDA, Eduardo Reck; WANDERLEY, Marcelo. New Digital Instruments:

control and interaction beyond keyboard. Middletown: A-R Editions, 2006.

PANSA, A. et al. Teclado Virtual. Monografia apresentada ao Programa de

Graduação em Engenharia Elétrica – EPUSP, 2004.

ROVAN, J., M; WANDERLEY, SDubnov; DEPALLE, P.. Instrumental Gestural

Mapping Strategies as Expressivity Determinants in Computer Music

Performance. In: Proceedings of the AIMI International Workshop Kansei, The

Technology of Emotion. Genoa: Associazione di Informatica Musicale Italiana,

pp. 68-73, 1997.

SANCHO, Juanna M. Introdução: sentido e organização do texto. In: SANCHO,

Juanna M. (Org.). Para uma tecnologia educacional. Trad. Beatriz A. Neves.

Porto Alegre: ArtMed, 1998. p. 17-22.

SCHLOSS, W. A. Recent Advances in the Coupling of the Language MAX with

the Mathews/Boie Radio Drum. In: PROCEEDINGS OF THE 1990

INTERNATIONAL COMPUTER MUSIC CONFERENCE. San Francisco,

International Computer Music Association, pp. 398-400, 1990.

SILVA, M.B. Novas tecnologias de informação e comunicação na educação

musical: um estudo preliminar. 2011. 53 f. Trabalho de conclusão de curso

(Especialização em Metodologia do Ensino da Música) – Pró-diretoria de Pós-

graduação Latu Sensu, Universidade Internacional de Curitiba, Paraná. 2011.

STOWELL, D.; ROBERTSON, A.; BRYAN-KINNS, N.; PLUMBLEY, M.D.

Evaluation of live human–computer music-making: Quantitative and qualitative

approaches. International Journal of Human-Computer Studies, v.. 67, p. 960-

975, nov. 2009.

76

TRALDI, César Adriano. Interpretação mediada & interfaces tecnológicas para

percussão. 2007. 128 f. Dissertação (Mestrado em Música) – Programa de

Pós-Graduação em Música, Universidade Estadual de Campinas, São Paulo,

2007.

WANDERLEY, M. M. (2006). Instrumentos Musicais Digitais: gestos, sensores

e interfaces. In: Beatriz Ilari (ed.) Em Busca da Mente Musical. Curitiba: Editora

da Universidade Federal do Paraná.

<http://idmil.org/_media/wiki/instrumentos_digitais_final.pdf>

WANDERLEY, M. M. Projeto e utilização de instrumentos musicais digitais. In:

KELLER, D. e BUDASZ, R. Criação musical e tecnologias: teoria e prática

interdisciplinar. Goiânia: ANPPOM, 2010. P. 70-96.

WELTER JUNIOR, Ademar; HOUNSELL, Marcelo da Silva. Representação de

Humanos Virtuais. Revista Eletrônica de Iniciação Científica. 4(1):1-20, 2004.

ZUBEN, Paulo. Música e Tecnologia: o som e seus novos instrumentos. São

Paulo: Irmãos Vitale, 2004.

ZUFFO, M. K. (2001). “A Convergência da Realidade Virtual e Internet

Avançada em Novos Paradigmas de TV Digital Interativa”, Tese de Livre

Docência apresentada à Escola Politécnica da Universidade de São Paulo.