109
UNIVERSIDADE ESTADUAL DE CAMPINAS Faculdade de Engenharia Elétrica e de Computação ERIVAN GONÇALVES DUARTE UMA FERRAMENTA PARA A EDUCAÇÃO MUSICAL DOS SURDOS CAMPINAS 2017

UNIVERSIDADE ESTADUAL DE CAMPINAS Faculdade de …repositorio.unicamp.br/jspui/...ErivanGoncalves_M.pdf · ERIVAN GONÇALVES DUARTE UMA FERRAMENTA PARA A EDUCAÇÃO MUSICAL DOS SURDOS

  • Upload
    others

  • View
    21

  • Download
    0

Embed Size (px)

Citation preview

  • UNIVERSIDADE ESTADUAL DE CAMPINAS

    Faculdade de Engenharia Elétrica e de Computação

    ERIVAN GONÇALVES DUARTE

    UMA FERRAMENTA PARA A EDUCAÇÃO MUSICAL DOS SURDOS

    CAMPINAS2017

  • ERIVAN GONÇALVES DUARTE

    UMA FERRAMENTA PARA A EDUCAÇÃO MUSICAL DOS SURDOS

    Dissertação apresentada à Faculdade de Engenharia Elétrica e de Computação da Universidade Estadual de Campinas como parte dos requisitos exigidos para a obtenção do título de Mestre em Engenharia Elétrica, na áreade Engenharia de Computação.

    Supervisor/Orientador: TIAGO FERNANDES TAVARESCo-supervisor/Co-orientador: ALFONSO MEAVE ÁVILA

    ESTE EXEMPLAR CORRESPONDE À VERSÃO FINAL DISSERTAÇÃO DEFENDIDA PELO ALUNO ERIVAN GONÇALVES DUARTE, E ORIENTADA PELO PROF. DR. TIAGO FERNANDES TAVARES

    CAMPINAS2017

  • COMISSÃO JULGADORA - DISSERTAÇÃO DE MESTRADO

    Candidato: Erivan Gonçalves Duarte RA: 070741 Data da Defesa: 22 de novembro de 2017Título da Tese: UMA FERRAMENTA PARA A EDUCAÇÃO MUSICAL DOS SURDOS

    Prof. Dr. Tiago Fernandes Tavares (Presidente, Faculdade de Engenharia Elétrica e

    Computação/UNICAMP)

    Profa. Dra. Lucia Helena Reily (Faculdade de Ciências Médicas/UNICAMP)

    Profa. Dra Paula Dornhofer Paro Costa (Faculdade de Engenharia Elétrica e

    Computação/UNICAMP)

    A ata de defesa, com as respectivas assinaturas dos membros da Comissão Julgadora,

    encontra-se no processo de vida acadêmica do aluno.

  • Dedico este trabalho aos meus pais e a todasas pessoas que participaram, ajudaram e acreditaram

    neste trabalho.

  • AGRADECIMENTOS

    Esta investigação me proporcionou conhecer um mundo novo. Um mundo repleto

    de novas ideias e também de pessoas que fizeram dessas descobertas algo especial.

    Agradeço imensamente meus pais por sempre me apoiarem e me incentivarem ao

    aprendizado. A Ediane, David e Davi, bem como toda minha família.

    Meus melhores amigos: Toso, Tatu, Diego e Robim. Uma alegria ter essa

    amizade. Aos amigos Gerson Abdala e Márcia Nepomuceno pela ajuda e experiências

    compartilhadas nesse processo.

    Meu amigo e professor de sempre Alexandre Santos, sempre me indicando por

    onde ir.

    Meus orientadores: Tiago Tavares, obrigado por essa disposição e alegria em

    fazer as coisas. Alfonso Meave Àvila, obrigado pela recepção, dedicação e por me mostrar

    novos rumos.

    Aos professores Felipe Orduña Bustamante, Jônatas Manzolli, Romis Ribeiro de

    Faissol Attux e Suzel Ana Reily por me apresentar novos caminhos.

    A todas as pessoas com quem convivi e trabalhei no Cepre (Centro de Estudos e

    Pesquisas em Reabilitação “Prof. Dr. Gabriel O. S. Porto” Unicamp). Agradeço todos os

    funcionários e professores do Cepre. Em especial a Prof.ª Lucia Reily, obrigado por todo esse

    aprendizado e por me receber tão bem. Agradeço às interpretes Andrea Rosa, Rosemeire

    Desidério e Sonia Cristina Bianchi que realizaram um trabalho fundamental para o

    desenvolvimento dessa pesquisa. Agradeço a todos os alunos que contribuíram para a

    realização desta pesquisa.

    A Prof.ª Paula Dornhofer Paro Costa, por aceitar participar da minha banca, pela

    dedicação em participar e opinar.

    Ao IEEE Women Engineering South Brazil Section (IEEE WIE Unicamp) por

    apoiar a pesquisa de campo realizada nesta pesquisa.

    A Rede de Macro Universidades da América Latina e do Caribe e a Universidade

    Nacional Autônoma do México por permitir ampliar os horizontes deste trabalho.

    Por fim, agradeço a todos os amigos e pessoas que estiveram comigo e muito

    contribuíram durante esse tempo de investigação.

  • RESUMO

    As pessoas surdas têm sido excluídas da educação musical. Isso acontece devido ao fato de as

    atividades musicais serem focadas no desenvolvimento do sentido da audição. Como

    consequência, eles não podem participar em atividades musicais, que promovem coordenação

    motora, desenvolvimento emocional e sociabilidade. No entanto, a participação nessas

    atividades pode se basear em sentidos diferentes da audição, como visão e toque. Neste

    trabalho, nós propomos e avaliamos o uso de elementos hápticos e visuais para educação

    musical. Esses elementos são gerados a partir de um mapeamento em tempo real de

    características de áudio extraídas de um microfone. O uso de mapeamento em tempo real

    permite interações musicais entre surdos e ouvintes. Esses mapeamentos foram incorporados

    em um aplicativo e usados em oficinas de música oferecidas a um grupo de crianças e

    adolescentes surdos. Como resultado, os participantes dessas oficinas desenvolveram

    habilidades de perceber e produzir ritmos, tocar instrumentos virtuais e participar em práticas

    musicais coletivas. Dessa forma nossa proposta é um potencial auxílio na promoção da

    educação musical para pessoas surdas.

  • ABSTRACT

    Deaf people are often neglected in music education. This happens because musical activities

    are often focused on the development of the sense of hearing. As consequence, they do not

    participate in musical activities which also foster motor coordination, emotional growth and

    sociability. However, the participation in such activities can rely on senses other than hearing,

    like sight and touch. In this study we propose and evaluate the use of visual and haptic cues

    for music education. These cues are generated from the real-time mapping of audio features

    extracted from a microphone stream. The real-time aspect of the mapping allows musical

    interactions between deaf and non deaf people. These mappings were incorporated into a

    mobile app and used in music lessons offered to a group of deaf children and adolescents. As

    a result of these lessons, participants developed perception of sound and produced rhythms,

    playing virtual instruments and participating in a collective musical practice. Therefore our

    proposal is a potential aid on the promotion of music education for hearing impaired people.

  • SUMÁRIO

    INTRODUÇÃO

    CAPÍTULO 1: CONSIDERAÇÕES A RESPEITO DE MÚSICA, EDUCAÇÃO MUSICAL ESURDEZ

    1.1 Música não é feita somente de sons …......……………...……..…………………. 1

    1.2 Música é uma capacitação humana ...……………….….……..………………….. 5

    1.3 Valores da educação musical ……………………...….………...………………... 8

    1.4 A relação entre as pessoas surdas e a música …….…….……………………..… 11

    CAPÍTULO 2: TECNOLOGIA COMO SUPORTE PARA ATIVIDADES MUSICAIS DE

    PESSOAS SURDAS

    2.1 Música como uma experiência multissensorial ……….....………………..….…. 15

    2.2 Representações multimodais para música ……..…………....……...……….…... 18

    2.3 Uso de tecnologia no desenvolvimento de sistemas dedicados às pessoas surdas .20

    CAPÍTULO 3: DESENVOLVIMENTO TECNOLÓGICO PROPOSTO

    3.1 Proposta de criação de dispositivo tecnológico direcionado às pessoas surdas …21

    3.2 Desenvolvimento do aplicativo ……………....…………………...…………….. 23

    3.2.1 Análise: definição de usuário, requisitos e necessidades …………..…. 23

    3.2.2 Desenho ………………………………………………………..……… 25

    3.2.3 Descrição da interface ……….……………...…………….…..………. 33

    3.3.4 Descrição do funcionamento do aplicativo ………...…………...…….. 42

    CAPÍTULO 4: USO E AVALIAÇÃO DO APLICATIVO

    4.1 Oficinas de música com o uso do aplicativo ……..…………….………..……... 44

  • 4.2 Avaliação do aplicativo …………………..……………………..……………… 47

    4.3 Avaliação do aplicativo em oficinas de música com participantes surdos ………47

    4.3.1 Aplicação e análise do questionário ……...…..…..………….………... 47

    4.3.2 Oficina 1 ………..……………………………….………………….…. 49

    4.3.3 Oficina 2 ……………..……………………...…..……………….……. 51

    4.3.4 Oficina 3 ……………………………..………….………………….…. 53

    4.3.5 Oficina 4 ………………………..……………….………………….…. 54

    4.3.6 Oficina 5 ……………………...………..………..…………………….. 54

    4.3.7 Conclusões a respeito do uso do aplicativo nas oficinas ……...…….… 55

    4.4 Avaliação do aplicativo por estudantes de música ….……..……………………. 56

    4.4.1 Questionário …………………………..……………......……..………. 56

    4.4.2 Análise dos questionários …………………..…………………………. 59

    CAPÍTULO 5.CONCLUSÃO ……….………………..……………...………….…………. 66

    REFERÊNCIAS BIBLIOGRÁFICAS ………………………………………….……...…… 70

    APÊNDICES

    Apêndice A - Questionário aplicado aos participantes das oficinas ……...……..………….. 73

    Apêndice B - Planejamento das oficinas ………………….………………………………….75

    Apêndice C - Descrição/roteiro da avaliação realizada com estudantes de música …….…... 83

    Apêndice E - Questionário aplicado aos estudantes de música ……………………….…..... 86

    ANEXO

    Perfil dos participantes das oficinas ……………………………..………………………..… 92

  • 11

    INTRODUÇÃO

    Hoje em dia, muitas pessoas acreditam que a musicalização de pessoas surdas

    é impossível. Essa impossibilidade é percebida porque há uma sobrevalorização do aspecto

    auditivo da música. Como consequência dessa percepção, pessoas surdas são usualmente

    excluídas de ambientes de educação musical, o que as leva à exclusão em atividades que

    proporcionam o desenvolvimento da coordenação motora, integração social e realização

    pessoal.

    Neste trabalho, desenvolvemos um dispositivo tecnológico visando a

    proposição de uma experiência musical às pessoas surdas. Esse dispositivo foi aprimorado em

    oficinas de música junto a crianças e adolescentes surdos. Nessas oficinas, trabalhamos

    elementos básicos dentro da educação musical, como o ritmo, a melodia e a prática musical

    em conjunto. Essa proposta se baseia em um estudo interdisciplinar envolvendo computação,

    neurociência, etnomusicologia, música e educação musical. A Figura 1 apresenta a divisão

    dos tópicos abordados no trabalho.

    Figura 1: Divisão dos tópicos abordados neste trabalho.

    A Seção 1.1 nos apresenta uma discussão interpretando música como um

    fenômeno que vai além do som. A argumentação mostra que características musicais básicas

    como ritmo e melodia não estão ligados a conceitos intrínsecos ao som, como tempo e

    frequência; em vez disso, estão ligados à interpretação de quem os recebe ou da intenção de

    quem os produz.

    A Seção 1.2 conduz uma reflexão etnomusicológica a respeito da importância

    da música na vida do homem, mostrando sua importância no desenvolvimento e integração

  • 12

    social. Essa reflexão permite concluir que implementar ferramentas que propiciem o contato

    das pessoas surdas com a música é de grande importância na inclusão, bem-estar e

    desenvolvimento dessas pessoas. Nessa seção, também apresentamos questionamentos a

    respeito da musicalidade do homem e como isso nos influenciou ao pensar a musicalidade das

    pessoas surdas.

    A Seção 1.3 apresenta os valores da educação musical que são referência para

    o desenvolvimento e avaliação das oficinas de música.

    A Seção 1.4 discute o papel da música na vida das pessoas surdas, mostrando

    que há pessoas surdas interessadas em música. Essas pessoas têm criado uma cultura musical

    surda que se caracteriza pelo uso da língua de sinais para comunicar suas experiências, além

    do uso de imagens e vibrações como elemento de interação com o som. Aponta também

    aspectos relacionados à educação musical de surdos, mostrando que atualmente a educação

    musical tem evoluído no sentido de inclusão do aluno surdo a partir de formas alternativas de

    percepção e o desenvolvimento de ferramentas tecnológicas que facilitem essa percepção.

    A Seção 2.1 mostra que não há impedimentos neurológicos para a experiência

    musical de pessoas surdas, já que ela está ligada também a outros modos de percepção. Desta

    forma, as pessoas surdas podem ter acesso à música a partir de outras características inerentes

    ao som, como a vibração e a imagem.

    A Seção 2.2 discute iniciativas artísticas envolvendo mapeamentos entre som,

    imagem e vibração, mostrando que é possível criar significados artísticos e culturais por meio

    de manifestações multimodais.

    A Seção 2.3 apresenta dispositivos tecnológicos direcionados especificamente

    a proporcionar experiências musicais aos surdos e as seções 3.1 e 3.2 apresentam nossa

    proposta de desenvolvimento de um dispositivo tecnológico portátil direcionado às pessoas

    surdas e sua forma de utilização. Nas seções do Capítulo 4 descrevemos o uso do aplicativo e

    as atividades trabalhadas nas oficinas de música com pessoas surdas, bem como os resultados

    e análises dos processos de avaliação do dispositivo. Por fim, o Capítulo 5 apresenta nossas

    conclusões delineando possíveis trabalhos futuros.

  • 13

    CAPÍTULO 1. CONSIDERAÇÕES A RESPEITO DE MÚSICA, EDUCAÇÃOMUSICAL E SURDEZ

    1.1 Música não é feita somente de sonsKania [1] afirma que comumente consideramos música aquilo que nos é familiar e

    expandimos nosso conceito a partir do contato com novas peças musicais ou peças de culturas

    ou tradições que não nos são familiares. Segundo o autor, não existe um consenso universal

    sobre o que é música. O autor afirma que sons são necessários, mas não são uma condição

    suficiente para música, uma vez que sons ocorrem ao redor do mundo o tempo todo e poucos

    deles são música.

    Kania [1] adota uma postura filosófica que pretende estabelecer condições

    necessárias e suficientes para chegar a uma definição de música. Essa definição não é

    necessariamente igual, por exemplo, às definições da teoria musical.

    O autor propõe reflexões a respeito de estratégias que poderiam ser uma base para

    se definir música. Uma estratégia possível seria recorrer às propriedades intrínsecas do som,

    no entanto, em música mesmo conceitos físicos como frequência e tempo estão ligados a

    notas e ritmos que são elementos variáveis e que podem apresentar uma ampla gama de

    definições e interpretações. Poderíamos também recorrer à subjetividade, indicando que

    qualquer som percebido por um ouvinte como música, o é independente de suas propriedades

    intrínsecas. Essa definição apresenta a exigência de um observador para que a música exista e

    com isso pode excluir certas manifestações culturais do universo musical devido a

    julgamentos de determinados ouvintes. Outra estratégia possível é recorrer à intencionalidade

    que sugere que o traço definidor da música está na intenção de quem a produz. Dessa forma,

    podemos considerar tanto uma gravação quanto uma apresentação musical ao vivo como

    elementos musicais igualmente válidos, no entanto pode trazer problemas no que se refere ao

    conceito de intencionalidade ao se considerar, por exemplo, a “música” feita por animais ou

    computadores.

  • 14

    A princípio cada uma das estratégias isoladas poderia ser usada para criar uma

    definição, no entanto, cada uma delas apresenta pontos desfavoráveis. Isso leva o autor a

    considerar os elementos em conjunto para chegar a uma definição mais ampla de música.

    Kania [1] aponta que em muitas definições o som é um elemento central, no

    entanto há muitos elementos extrassonoros em jogo, como, por exemplo, instrumentos

    musicais, partituras, performances e até mesmo o silêncio. Aponta a existência de um

    conceito central (um evento musical) a partir do qual podemos definir outros conceitos. Um

    instrumento musical, por exemplo, pode ser uma ferramenta cuja função é produzir eventos

    musicais. Também aponta que o tratamento mais promissor é adotar uma definição

    intencional em que a música está ligada a intenção da pessoa que é responsável pelo fazer

    musical. Assim o que distingue os sons musicais dos outros é que eles são musicais por

    intenção de alguém.

    Dessa forma, o autor passa por definições provisórias antes de chegar a uma

    definição final para música. Em sua primeira definição provisória aponta que: Música é (1)

    som (2) intencionalmente produzido ou organizado, (3) tendo no mínimo uma característica

    musical básica, tal como altura ou ritmo. No entanto, é possível encontrar músicas que não

    apresentam nenhuma dessas características básicas ou que podem ser contestadas com relação

    a intencionalidade de sua produção como, por exemplo, Williams Mix (1952) de John Cage

    ou Yoko Ono’s Toilet Piece/Unknown (1971). De outro lado temos sons com características

    musicais inegáveis, mas produzidos sem a intenção que essas características sejam atendidas,

    tais como “Muzak” ou “Don Juan wake-up call”.

    Dessa forma sua segunda definição provisória, considera que música é (1) som,

    (2) intencionalmente produzido ou organizado (3) quer (a) tenha alguma característica

    musical básica, como altura ou ritmo, ou (b) para ser escutado a partir de tais recursos. Assim

    se considera a escuta como uma forma de interpretação, ou seja, o ouvinte escuta

    características que não estão explícitas na peça.

    A partir da consideração do uso do silêncio em música o autor substitui “som” por

    alguma coisa intencionada a ser escutada. Dessa forma sua definição final aparece da seguinte

  • 15

    forma: música é (1) algum evento intencionalmente produzido ou organizado (2) para ser

    escutado (3) quer (a) tenha alguma característica musical básica, como altura ou ritmo, ou (b)

    para ser escutado a partir de tais recursos.

    A definição final de Kania [1] nos mostra a importância da intenção na produção

    musical e da escuta na percepção, além da flexibilidade com relação ao emprego das

    características musicais básicas. Como veremos nos tópicos posteriores a definição nos

    permite guiar nas questões de que elementos musicais devem ser incluídos na prática musical

    e consequentemente no desenvolvimento tecnológico que estamos considerando. Além disso

    nos faz pensar no papel da escuta e sua subjetividade, na importância da intencionalidade,

    além de mostrar que, além do som, música está permeada por muitos outros elementos,

    muitos deles com caráter extrassonoro.

    Neste trabalho, elementos como imagens e vibrações são usados para comunicar

    significados musicais. Eles permitem gerar elementos intencionalmente produzidos para ser

    escutados, como mencionado na definição final de Kania [1]. Consideramos que esses

    elementos podem representar características musicais básicas como ritmo e altura. Um ritmo,

    por exemplo, pode ser percebido a partir de uma sequência de imagens apresentadas em

    intervalos de tempo. Uma melodia, por sua vez, pode ser identificada a partir de um conjunto

    de vibrações que se organizam em intervalos de tempo variáveis. Portanto, esses elementos

    físicos permitem a comunicação de significados musicais e, assim, a possibilidade de

    interpretação musical e interação com outras pessoas.

    1.2 Música é uma capacitação humanaA música está presente na maioria das situações da vida, proporciona troca entre

    diferentes culturas, revoluciona costumes, permite a comunicação entre as pessoas e pode

    suscitar emoções e alterações de humor.

    De acordo com Turino [2], a música se refere a distintos tipos de atividades que

    satisfazem diferentes necessidades do ser humano. Ele argumenta que a participação e

    experiência musical são valiosos para o processo de integração pessoal e social que nos torna

    completos. Blacking [3] aponta que a música está em tantas partes do mundo que seria

  • 16

    razoável supor que, assim como linguagem e religião, é uma espécie de traço do homem,

    produto do comportamento de grupos humanos.

    Turino [2] argumenta que a participação e experiência musicais são valiosos para

    o processo de integração do sujeito à sociedade ou comunidade. Ele aponta que as artes são

    centrais à evolução e sobrevivência humana; práticas culturais públicas como música e dança

    são uma forma primária de as pessoas articularem identidades coletivas, elementos

    fundamentais na formação e sustentação de grupos sociais que são, por sua vez, básicos à

    sobrevivência. O autor afirma que as performances artísticas são frequentemente

    sustentáculos de identidade, permitindo às pessoas se sentirem parte da comunidade por meio

    da realização de um conhecimento cultural compartilhado e do ato de participarem juntos na

    performance. Turino recorre às ideias do cientista e antropólogo Gregory Bateson para

    apresentar o potencial evolutivo da arte. Para Bateson a arte é uma forma diferente de

    comunicação que tem uma função integrativa – integrando e unindo membros de grupos

    sociais, mas também integrando sujeitos individualmente e com o mundo. Ele sugere que

    artistas se comunicam por meio da apresentação de formas e padrões que servem como mapas

    integradores de sensações, imaginação e experiências e que é por meio destes padrões que nós

    estamos mais profundamente conectados ao mundo natural.

    Atualmente é muito comum as pessoas encararem a música como um objeto ou

    um produto que pode ser de propriedade de seus criadores por meio de direitos autorais e

    comprada por consumidores. Turino [2] argumenta que no processo de industrialização da

    música observamos uma mudança gradual de pensamento de música como um fazer social

    para a música como objeto. No entanto, ainda encontramos muitas atividades em que a

    música está ligada ao fazer e à interação social, como dançar, cantar na igreja ou tocar com os

    amigos apenas por diversão. Muitas dessas atividades podem ser definidas como

    performances musicais participativas, isto é, um tipo de performance com alto potencial para

    a interação entre as pessoas e no qual não há distinção entre audiência e artista. Na

    performance participativa, somente participantes e potenciais participantes desempenham

    papéis e o objetivo é envolver o maior número de pessoas em algum papel. A ideia de

    participação é pensada no restrito sentido de contribuição ativa a um evento musical através

    de palmas, dança, canto e tocar um instrumento musical, cada uma destas atividades é

    considerada integral à performance, ressaltando que sons e movimentos estilizados são

    conceitualmente importantes como intensificadores da interação social.

  • 17

    Esse conceito contrapõe a ideia de atividade musical em que uma pessoa se

    apresenta enquanto as outras observam. Na atividade musical participativa, todos têm um

    papel na produção da música. A ideia de que somente quem tem um dom musical pode

    produzir música ou tocar um instrumento é deixada de lado. Todos contribuem, cada um à sua

    maneira, para formar o todo. A atividade participativa permite a participação e integração de

    pessoas com diversos níveis de conhecimento, e, frequentemente, a união de várias

    participações simples leva a resultados sonoros bastante intrincados.

    No fazer musical participativo, a atenção principal recai sobre a atividade, sobre o

    fazer e sobre os outros participantes, opondo-se ao foco sobre o produto final que resulta da

    atividade que acontece na performance clássica. No entanto, a qualidade do som e movimento

    é muito importante para o sucesso da performance, por que inspira grande participação entre

    aqueles presentes. Qualidade é também aferida por como os participantes se sentem durante a

    atividade. O resultado é que música participativa leva à concentração das pessoas umas sobre

    as outras e na atividade em si.

    Turino [2] aponta elementos necessários para que uma atividade possa gerar o

    envolvimento dos participantes. Esses elementos foram considerados no processo de

    desenvolvimento e uso da ferramenta que estamos propondo:

    Como o nível de habilidade do sujeito aumenta, o desafio deve aumentar para que o

    balanço seja mantido.

    A atividade deve ter uma constante possibilidade de expansão dos seus desafios.

    A atividade precisa conter o potencial para imediato feedback sobre a forma como está

    sendo feita, que, novamente, mantém a mente focada sobre a atividade realizada.

    A atividade deveria claramente ser delimitada por tempo e lugar de modo que os

    participantes possam se concentrar inteiramente naquilo que estão fazendo

  • 18

    Objetivos bem estabelecidos são alcançados com espaço e tempo limitados e em

    relação ao balanço entre habilidades e desafio.

    Podemos pensar também nos elementos que são utilizados para fazer música e

    como se dá a avaliação de uma atividade musical ou o desempenho musical de uma pessoa.

    Blacking [3] considera música como o som humanamente organizado, numa relação entre

    padrões de organização humana e padrões de sons produzidos como resultado da interação

    humana. Esta ordem pode ser criada como resultado de processos extramusicais, tais como a

    seleção de buracos em uma flauta ou trastes em um instrumento de corda. Com relação à

    avaliação da musicalidade do homem, Blacking [3] aponta que devemos conhecer quais sons

    e que tipo de comportamento determinada sociedade escolhe chamar de musical. A música

    deve ser recebida por sujeitos que compartilhem, ou possam compartilhar de alguma forma

    das mesmas experiências culturais e individuais de seus criadores. Dessa forma podemos

    pensar, por exemplo, que testes de habilidade musical (tais como exames de canto lírico) são

    relevantes somente em culturas cujo sistema musical é representado pelo teste. Por

    consequência, um músico de sucesso formado dentro da cultura e paradigma da música

    ocidental erudita clássica pode não ter sucesso dentro da prática musical de tribos xamânicas.

    Essas questões nos levaram a propor um trabalho de desenvolvimento tecnológico que esteja

    em constante contato com o público-alvo para conhecer suas práticas culturais e formas de

    interação musical.

    Assim a prática musical é de grande importância ao homem. Ela se baseia na

    organização humana dos sons, ressaltando o papel das interações humanas e influência da

    estrutura psíquica de cada indivíduo. Diferentes sociedades apresentam práticas culturais

    características, que servem como elemento agregador da vida em sociedade, além de

    contribuir também para o desenvolvimento interno do sujeito. Mesmo dentro de um mesmo

    país, cidade ou bairro podemos encontrar diversas formas de prática musical. Isso nos leva a

    pensar se as pessoas surdas poderiam construir sua própria forma de prática musical, serem

    incluídos em práticas musicais já existentes ou aulas de educação musical. Nesse caso, quais

    seriam os elementos importantes na sua manifestação musical ou inclusão? Como eles

    articulariam estes elementos em atividades musicais? A exploração de processos

    extramusicais pode ser um caminho para sua prática musical? Quais seriam esses processos?

  • 19

    A adoção de uma performance participativa poderia ajudar no desenvolvimento da sua prática

    musical?

    Como vimos a música tem um papel importante na vida do homem; isso nos leva

    a pensar na importância em se incluir as pessoas surdas em atividades musicais e como a

    música pode se tornar um elemento de integração pessoal e de integração social para pessoas

    ou grupos de pessoas surdas. Poderiam utilizar a música para compartilhar suas experiências

    pessoais e sociais, além de permitir maior integração junto a cultura dos ouvintes que nos dias

    atuais está permeada por música.

    1.3 Valores da Educação MusicalNeste trabalho, procuramos pensar em atividades musicais direcionadas às

    pessoas surdas, bem como o papel do uso de um dispositivo tecnológico nessas atividades.

    Estamos pensando atividades educacionais que consideram música como uma atividade

    multifacetada, uma forma de comunicação com um discurso constituído de metáforas. Dessa

    forma adotamos como referencial teórico o livro “Teaching Music Musically” de Keith

    Swanwick [4]. O livro é destinado a educadores musicais. A partir da psicologia e sociologia

    ressalta valores e funções da música e sua importância para educadores musicais. A partir da

    análise de exemplos práticos dentro da educação musical mostra as camadas da experiência

    musical e aponta princípios fundamentais para educadores musicais seja qual for o contexto

    de ensino de música. Acreditamos que esse referencial nos permite pensar uma forma de

    educação que considera e respeita particularidades do indivíduo e permite encontrar

    caminhos em que educação musical pode se adaptar a contextos de ensino como o que

    abordamos na presente pesquisa.

    Swanwick [4] chama atenção para as características que a música compartilha

    com outras

    formas de discurso. Segundo o autorSwanwick [4] tons se tornam melodias por meio de um

    processo psicológico pelo qual nós tendemos a agrupar sons únicos em linhas e frases,

    ouvindo-os como gestos.

    Swanwick [4] aponta três maneiras a partir das quais a música funciona

    metaforicamente.

    1. Transformação de tons em ‘melodias’, gestos

  • 20

    2. Transformação dessas melodias, desses gestos em estruturas

    3. Transformação dessas estruturas simbólicas em experiência significante

    O autor indica que esse processo pode se dar a partir de elementos extramusicais

    uma vez, por exemplo, que da mesma forma tendemos a ver luzes alternadas de painéis

    publicitários ou expositores de vitrines como linhas contínuas em vez de lâmpadas. Dessa

    forma o autor expõe o caráter multimodal para o conceito de gesto. Conforme indica o

    trabalho de Gunther e O'Modhrain [5] também podemos adotar uma postura musical diante

    de sensações vibráteis. Os autores apresentam indicações de equivalências entre elementos

    musicais e táteis, isso permite uma linguagem de comunicação expressiva a partir do toque,

    ou seja, a pele pode compreender e apreciar uma linguagem expressiva para o toque, análoga

    à linguagem sonora da música.

    Como mostra a Seção 2.1, é possível encontrar, em elementos visuais e vibráteis,

    aspectos que se assemelham àqueles que são usualmente encontrados em elementos musicais

    como ritmo e melodia. Esses elementos podem ser apresentados de forma a representar as

    mesmas características que o autor aponta permitir ouvir tons como música: uma ilusão de

    movimento, uma sensação de peso, espaço e tempo; permitindo, assim, a identificação desses

    elementos como gestos. A seção 2.1 também descreve como se dá interpretação psíquica dos

    elementos visuais e hápticos, bem como os elementos relevantes para pensá-los como

    elementos musicais.

    Com relação à construção de um discurso metafórico, Swanwick [4] afirma que

    somente quando tons tornam-se gestos e estes gestos envolvem formas de interlocução, a

    música pode relatar e informar formas e padrões de nossas experiências de vida. Ele indica

    que uma educação em música pressupõe que os alunos tenham a possibilidade de acesso a

    todos as três transformações metafóricas. O surdo pode ter acesso a vibrações e imagens,

    elementos equivalentes aos tons. Dessa forma, seu processo de educação musical pode ser

    pensado a partir do acesso as três transformações a partir da percepção tátil e visual dos tons,

    seguido pelos processos de integração e interpretação dessas entradas.

    Swanwick [4] aponta que as três transformações metafóricas são observáveis

    através das camadas de elementos musicais observáveis a que dão origem. Essas camadas são

    chamadas Materiais, Expressão, Forma e Valor.

  • 21

    Materiais

    ◦ Nível 1: Reconhece (explora) sonoridades, por exemplo, níveis de sonoridade,

    diferenças de afinação ampla, mudanças bem definidas de cor de tom e textura.

    ◦ Nível 2: Identifica (controla) sons instrumentais e vocais específicos - como tipos

    de instrumento, conjunto ou tom de cor.

    Expressão

    ◦ Nível 3: Comunica caráter expressivo na música - atmosfera e gesto - ou pode

    interpretar em palavras, imagens visuais ou movimento.

    ◦ Nível 4: Analisa (produz) efeitos expressivos pela atenção ao timbre, altura,

    duração, ritmo, sonoridade, textura e silêncio.

    Forma

    ◦ Nível 5: Percebe (demonstra) relações estruturais - o que é incomum ou

    inesperado, se as mudanças são graduais ou súbitas.

    ◦ Nível 6: Faz ou pode colocar música dentro de um contexto estilístico particular e

    mostra a consciência de dispositivos idiomáticos e processos estilísticos.

    Valor

    ◦ Nível 7: Revela evidências de comprometimento pessoal por meio do engajamento

    contínuo com peças particulares, artistas ou compositores.

    ◦ Nível 8: Desenvolve sistematicamente (novas músicas) ideias críticas e analíticas

    sobre a música.

    Conforme Swanwick [4] uma educação comprometida com a qualidade da

    experiência musical é consciente de que os alunos se movem entre as quatro camadas de

    discurso musical. O autor aponta também que estes critérios gerais servem muito bem à

    avaliação, embora tenham de ser aplicados em contextos musicais específicos.

  • 22

    Swanwick [4] também aponta que a música surge em um contexto social, no

    entanto seu caráter metafórico permite que ela seja interpretada e produzida criativamente. A

    partir disso aponta três princípios para educadores musicais:

    1. O cuidado da música como discurso, como conversa significativa com diversas

    possibilidades interpretativas.

    2. O cuidado com o discurso musical dos alunos. Considera discurso como conversa

    musical que por definição não pode ser um monólogo.

    3. O cuidado com a fluência musical. Se a música é uma forma de discurso, então ela é,

    em alguns aspectos, análoga, embora não idêntica, à linguagem. O autor estabelece

    uma relação entre aquisição de fluência em linguagem e música apontando que a

    sequência processual mais eficaz é muitas vezes: escutar, articular, depois ler e

    escrever.

    Empregamos os conceitos apresentados por Swanwick [4] tendo em vista a

    educação musical de pessoas surdas a partir do uso de ferramentas tecnológicas. Conforme

    afirma o autor a pluralidade contemporânea de “músicas” exige uma redefinição da relação

    entre a produção de música na comunidade e a educação musical formal no estúdio e na sala

    de aula. No caso das pessoas surdas podemos pensar como essa pluralidade pode ser um fator

    de inclusão a partir da sua participação em determinada manifestação cultural musical ou sua

    produção e escuta musical a partir de instrumentos tecnológicos como o que está sendo

    proposto nesta pesquisa.

    1.4 A relação entre os surdos e a música

    A relação entre música e surdez é considerada paradoxal por muitas pessoas e

    acadêmicos. De acordo com Maler [6], músicos e compositores são geralmente presumidos

    possuir “audição normal”. A autora argumenta que essa suposição tem levado estudiosos a

  • 23

    imaginar a surdez como a mais profunda antítese para música. Dessa forma uma pessoa surda

    é considerada incapacitada para música, isso promove o distanciamento entre essas pessoas e

    a música e consequentemente dos benefícios que a música pode trazer. Esse tipo de

    concepção geralmente está embasada em uma visão muito limitada de música. Como vimos

    na Seção 1.1, música envolve muitos elementos além do som, além disso, como veremos na

    seção seguinte, a experiência musical não está limitada somente ao sentido da audição.

    Destacamos também que a principal questão que esse tipo de postura desconsidera é que há

    relatos de pessoas surdas interessadas em música, inclusive músicos amadores e profissionais.

    Como exemplo podemos citar o músico surdo Bob Hiltermann [7] que relata que ele, assim

    como muitas pessoas surdas, amam música. Essas pessoas estão ajudando a construir novos

    olhares a respeito de música e da relação entre música e surdez.

    Os relatos das experiências musicais de pessoas surdas interessadas em música,

    permite pensar a relação dessas pessoas com a música e conhecer as diferentes formas de

    experiência musical a partir das suas práticas musicais. Jones [7] nos desafia a pensar em uma

    experiência musical além dos ouvidos, pensar nos modos alternativos de escuta que a

    experiência musical surda oferece. Mostra que os músicos surdos interagem com o som a

    partir da sensação proporcionada pelas vibrações, além de fazerem uso de imagens. Jones [7],

    examinou biografias, repertórios, espaços de performances e audiência dos músicos Surdos1

    dentro de um contexto maior de História e Cultura Surdas2. Dessa forma argumenta que a

    forma de fazer e escutar música específica dos Surdos é uma forma de expressão que permite

    que as pessoas conheçam sua realidade como minoria cultural dentro um mundo ouvinte,

    permitindo que compartilhem suas histórias e diferenças linguísticas.

    1 Jones [7] aponta que é convencional o uso do termo “Deaf” (com a primeira letra em maiúsculo) emreferência a cultura, comunidade e identidade Surdos. Ao passo que o termo “deaf”(com a primeira letra emminúsculo) é usado para se referir à condição física de surdez ou o grupo de pessoas com perda auditiva quenão estão associados com a cultura Surda. No nosso trabalho empregamos os termos em português, ou seja,“Surdo” e “surdo”. A autora ressalta ainda que o uso do termo “deficiente auditivo” é visto comoproblemático pela comunidade Surda.

    2 Jones [7] faz alguns apontamentos a respeito de história e cultura Surdas, mostrando que a língua de sinais éa definitiva característica da cultura Surda. Essas pessoas compartilham histórias e experiências em comum,participam de escolas e clubes Surdos que ajudam a formar um forte sentido de identidade Surda.

  • 24

    Jones [7] mostra que a língua de sinais é um forte elemento de afirmação artística

    e política para músicos Surdos. Como exemplo a autora apresenta o trabalho da banda

    Beethoven's Nightmare3 e dos rappers Sean Forbes4 e SignMark5 que fazem da língua de

    sinais uma parte chave do seu repertório. Jones [7] argumenta que os músicos fazem música

    que é culturalmente Surda uma vez que suas canções falam de suas experiências únicas como

    Surdos e eles estão se comunicando por meio da língua de sinais.

    Darrow e Heller [8] descrevem o primeiro caso de educação musical que se tem

    registro. No artigo "Music Among the Deaf and Dumb" de 1848, William Wolcott Turner e

    David Ely Bartlett, relatam a experiência de ensino de música a Augusta Avery of Syracuse,

    uma jovem surda que desejava aprender piano. Turner afirma que música pode ser percebida

    pelas pessoas surdas e ensinada a eles, podem obter uma ideia de ritmo musical, relações

    tonais, qualidades expressivas e forma por meio do uso da visão e do toque. Para dar suporte

    aos seus argumentos ele cita o caso da jovem pianista que impressionava a audiência com seu

    domínio sobre o piano. Darrow and Heller [8] ressaltam o fato de que o interesse em aprender

    o instrumento partiu da própria jovem, mostrando, mais uma vez, um exemplo de interesse de

    pessoas surdas por música.

    Desde a publicação do trabalho de Tunner e Barlet, podemos encontrar alguns

    trabalhos a respeito da educação musical de surdos. Finck [9] relata que esses trabalhos

    aparecem basicamente de três maneiras: como um meio de reabilitação, de consciência

    cultural e como propósito de reabilitação da fala. Finck [9] ressalta que em muitos casos a

    música tem um papel funcional, como apoio a outras áreas do conhecimento, mas não com

    3 Beethoven's Nightmare é uma banda de rock formada por músicos Surdos. Sua experiência musical envolvea sensação de vibrações e comunicação expressiva por meio da língua de sinais. Trabalham em colaboraçãocom intérpretes que gesticulam a canção de acordo com o pulso da música. Os integrantes da banda têmmostrado à audiência Surda como “sentir” e “ver” música.

    4 Sean Forbes é um rapper Surdo. Vídeos são parte integral do seu trabalho. Cada faixa de áudio inclui umvídeo em que há músicas em inglês falado (Forbes fala inglês muito bem), performances em língua de sinaisou vídeos com imagens figurativas que contam a narrativa da história. Jones [7] indica que Sean é um artistaproeminente dos Estados Unidos. A autora indica que o artista proclama sua identidade Surda a partir damúsica. O artista tem se apresentado por todo país e sua popularidade tem crescido entre os jovens surdos eouvintes americanos.

    5 Segundo Jones [7] o trabalho do rapper Surdo SignMark alcançou dimensões globais, sendo o primeiroartista Surdo a conseguir um contrato com o selo internacional Warner Music. Ele produz músicas cantadase sinalizadas em vídeo. As músicas refletem questões da cultura e história Surdas.

  • 25

    fins diretamente musicais, poucos trazem a discussão a respeito do fazer musical das pessoas

    surdas ou a respeito da construção de uma cultura musical Surda. Destaca ainda que em

    algumas perspectivas, música e treinamento auditivo são confundidos em um mesmo objetivo,

    melhorar aspectos perceptuais auditivos.

    Finck [9] indica que a música pode deixar de ser uma fonte de prazer quando

    distanciada das emoções e prazer estético e colocada apenas como uma forma de tratamento,

    para melhorar a fala ou favorecer o aproveitamento de resíduos de audição. A autora indica

    que proporcionar experiências musicais de forma lúdica e prazerosa na infância pode ser de

    fundamental importância para a formação da pessoa surda como ser musical. Além disso um

    elemento importante para a sua formação e o desenvolvimento da sensibilidade.

    No Brasil, a obrigatoriedade do ensino de música nas escolas de educação básica a

    partir da Lei nº 11. 768 de 18 de Agosto de 2008 [10] trouxe um novo desafio aos educadores

    musicais: a inclusão de alunos com limitações, principalmente no que se refere aos surdos6.

    Segundo Reily [12], quando uma criança apresenta limitações que afetam a percepção de

    sensações ou a sua resposta motora a elas, é preciso valorizar outras vias de acesso sensorial.

    No momento atual a educação musical tem evoluído no sentido de inclusão do aluno surdo, a

    partir de experiências em que se valorizam, principalmente, “experiências” que envolvem

    sensações vibráteis, expressão corporal e a relação entre som e imagem. Tais experiências

    podem ser facilitadas a partir do uso de ferramentas tecnológicas. Como aponta Pereira [13],

    para os Surdos, os recursos tecnológicos podem se caracterizar como uma nova via de acesso

    à música, abrindo nova dimensão nas possibilidades de comunicação e contribuindo para que

    sejam mais participativos na sociedade.

    O uso de recurso tecnológicos acompanhado de considerações a respeito da

    cultura Surda pode proporcionar a inclusão dentro da educação musical, bem como permitir a

    6 Na legislação Federal o termo empregado para dirigir-se à pessoa surda é deficiência auditiva. O Decreto 3.298 de 20/12/99 [11] em seu Art.4, define deficiência auditiva como sendo a perda parcial ou total das possibilidades auditivas sonoras, variando de graus e níveis nas seguintes formas:

    a) de 25 a 40 decibéis (dB) - surdez leve;b) de 41 a 55 dB - surdez moderada;c) de 56 a 70 dB - surdez acentuada;d) de 71 a 90 dB - surdez severa;e) acima de 91 dB - surdez profunda.

  • 26

    participação em atividades culturais que por sua vez podem promover o desenvolvimento e

    integração social. Como afirma Finck [9] é comum encontrar relatos de como a música pode

    facilitar ao aluno aprender as coisas, tais como correr, alimentar-se, brincar, comunicar-se,

    entre outras. A autora indica que as experiências musicais são valiosas para a maturação

    emocional e desenvolvimento de qualquer criança, especialmente para a criança especial cujas

    experiências são, algumas vezes mais limitadas. A ideia é reforçada por Luiz [14] que afirma

    que o desenvolvimento rítmico por parte da criança surda tem ligação com o desenvolvimento

    das ações motoras e também implicações na fala. Assim levar música para vida deste

    indivíduo é habitá-lo a se comunicar e conectá-lo com o mundo.

    Como vimos, existem pessoas surdas interessadas em música. Atualmente existem

    músicos Surdos produzindo música e construindo uma cultura musical Surda. Esses

    movimentos são recentes se consideramos o primeiro artigo a respeito da educação musical de

    pessoas surdas. Como vimos desde a publicação do artigo até os dias atuais a educação

    musical ou relação do surdo com a música passou por muitas situações em que não se

    considerava a música como um fim principal, excluindo a possibilidade de prazer estético e

    afirmação cultural a partir da atividade musical. No entanto, acreditamos que o novo olhar

    que algumas pessoas Surdas e acadêmicos estão atribuindo à música e seu papel na vida

    dessas pessoas pode gerar uma ressignificação dessa atividade. Isso pode permitir a

    consolidação de uma cultura musical Surda. A atual disponibilidade e acesso a recursos

    tecnológicos pode acelerar esse processo. Um exemplo disso, os músicos Surdos Sean Forbes

    e SignMark que se utilizam de vídeos e internet para divulgar seu trabalho musical. Isso

    também nos leva a pensar a respeito da educação musical para pessoas surdas, suas

    ferramentas e os instrumentos dedicados à prática musical.

  • 27

    CAPÍTULO 2. TECNOLOGIA COMO SUPORTE PARA ATIVIDADES MUSICAIS

    DE PESSOAS SURDAS

    2.1 A música como uma experiência multissensorial

    O som age em todo corpo humano, não apenas nos ouvidos, num processo que

    desempenha um papel importante na percepção de eventos sonoros para todas as pessoas, em

    particular para os surdos. Jones [7] afirma que na experiência musical surda o corpo todo é

    um receptor para o som, pessoas surdas podem sentir as vibrações sonoras. Afirma também

    que essa percepção corporal pode ser mediada através de uma compreensão cultural do

    significado daquela experiência. Além disso, também podemos associar sons a imagens, ao

    notarmos os gestos faciais e movimentos de uma pessoa ou observarmos objetos se movendo

    ou vibrando.

    Glennie [15], musicista surda, afirma que o som é simplesmente o ar vibrando,

    cuja vibração o ouvido recebe e transforma em sinais elétricos. Segundo ela, a audição não é o

    único sentido que pode proporcionar a percepção disso: o toque também pode fazê-lo, ou seja,

    mesmo um surdo profundo pode interagir com o som a partir das vibrações. Glennie [15]

    também afirma que o cérebro pode criar sons correspondentes a partir de coisas que se

    movem, como ao ver as folhas de uma árvore se movendo ao vento ou objetos vibrando.

    Segundo ela a pessoa ouvinte usa três sentidos para escutar, a visão, o tato e a audição; o

    surdo, por sua vez, utiliza apenas dois desses sentidos: o tato e a visão. Para esse trabalho, é

    importante a distinção entre os verbos ouvir e escutar. O verbo '‘escutar’', em sua raiz

    semântica, engloba três ações: o ouvir o sentir e o ver. Já o verbo ouvir envolve apenas a ação

    orgânica específica do aparelho auditivo. Dessa forma caracterizamos a música como uma

    experiência multissensorial possibilitando caminhos para otimizar uma experiência musical

    para pessoas surdas.

    Para entender a integração de sentidos dentro da experiência musical devemos ter

    em mente que nosso cérebro combina informações de diferentes sentidos para formar uma

    percepção coerente do ambiente. A interação entre duas ou mais modalidades sensórias é

  • 28

    conhecida como interação intermodal. Os olhos e ouvidos, usados no primeiro estágio da

    percepção humana são organizados pelo cérebro em duas regiões diferentes (Figura 2). Como

    aponta Nanayakkara [16], comumente, considera-se a audição como sendo processada no lobo

    temporal, enquanto o lobo occipital é responsável pelo sentido da visão.

    Figura 2: Divisão do córtex cerebral em áreas denominadas lóbulos cerebrais (Figura extraída de: GOSS, C. M. Gray Anatomia. 39a ed. London. Elsevier, 2005).

    Apesar de Nanayakkara [16] apontar a existência de uma área cerebral destinada

    ao processamento acústico, as informações musicais são armazenadas de uma forma

    complexa agregando várias partes do córtex [17], uma vez que fazer música ou participar de

    atividades culturais musicais envolve diversos processos periféricos ao processamento de

    áudio.

    Becker [17] utiliza a Teoria de Seleção de Grupos Neuronais para ajudar a

    entender o funcionamento do processo de cognição musical. Sua tese central mantém que

    percepções/ações estimulam o cérebro por meio de atividade de agrupamentos de neurônios

    em uma unidade operacional. Os neurônios se juntam em agrupamentos neuronais, chamados

    “mapas”. Estes “mapas” se encontram em regiões específicas do cérebro e tornam-se ligados

    por meio do comportamento passado. Mapas separados são massivamente conectados por

    circuitos neuronais. A partir de comportamento repetido, certas ligações são habituadas até a

  • 29

    estimulação de um mapa. A percepção de uma peça de música particular quase sempre

    estimula outros mapas. O cérebro desenvolve uma “classificação acoplada”, isto é, diferentes

    grupos de neurônios tendem a ser ativados juntos dado o mesmo estímulo. A emoção da

    performance musical ativa múltiplos pacotes de neurônios que nos levam a um estado de

    excitação que nos faz sentir bem. A conexão entre esses pacotes não é permanente. O cérebro

    continuamente reconfigura suas conexões de acordo com suas interações com o mundo

    externo e suas interações dentro de sua própria estrutura interna. Se uma entrada ativa

    múltiplos pacotes do mapeamento global, o indivíduo pode associar a entrada, por exemplo

    um som, com um complexo conjunto de memórias, emoções e assim por diante. Assim a

    escuta de uma peça musical, não ativa somente áreas acusticamente especializadas no lobo

    temporal, mas áreas do tronco cerebral e sistema límbico, evocando pensamentos, memórias e

    sentimentos que são intrínsecos ao sinal musical.

    A integração de informação auditiva e visual pode ser observada quando estamos

    em uma conversa face a face, assistimos filmes, apresentações musicais ao vivo e em efeitos

    de ilusão sensorial como o efeito McGurk [18] e a sinestesia [19]. No primeiro efeito a

    percepção de uma sílaba pode ser alterada pela visualização dos lábios do emissor. O segundo

    efeito está relacionado a “ver” cores enquanto se escuta um som. Taylor [20] sugere que o

    “perirhinal cortex” ajuda a ligar os principais aspectos de características audiovisuais para

    fornecer representações multimodais capazes de transmitir significados. Shibata [21] expõe a

    relação entre som e imagem em estudos sobre adaptabilidade e flexibilidade do cérebro de

    pessoas surdas mostrando que porções do lobo temporal geralmente envolvidos no processo

    de audição são muito mais ativos durante certas respostas visuais na pessoa surda. Isso indica

    que a exploração do modo visual pode ser um dos caminhos para compensar a falta da

    informação auditiva. Esse processo de adaptação no desenvolvimento cerebral do indivíduo

    com surdez, ajuda a explicar como os surdos podem sentir a música, apreciar concertos e

    outros eventos musicais. Shibata [21] sugere que pode ser útil expor a criança surda a música

    no início da vida de modo a estimular os “centros musicais”.

    As sensações táteis também têm um papel importante na percepção musical.

    Segundo Kaiser et al. [22], sensações táteis estimulam porções do córtice auditório. Shibata

    [21] aponta que pessoas surdas sentem vibrações na mesma região do cérebro que pessoas

    sem essa deficiência utilizam para ouvir, indicando que a percepção das vibrações musicais

  • 30

    pelos surdos é tão real quanto seu equivalente sonoro por serem ambos processados na mesma

    região do cérebro.

    Os trabalhos apresentados nesta seção mostram que a escuta vai além da audição.

    Ocorrem interações entre as modalidades sensórias, permitindo a integração entre informação

    auditiva, visual e tátil. Dessa forma argumentamos que é possível estabelecer um significado

    musical para imagens e vibrações. Esses elementos servem como forma de acesso às

    atividades musicais para as pessoas surdas. Por meio dessas atividades são agregados

    pensamentos, memórias e sentimentos a esses elementos.

    2.2 Representações multimodais para músicaComo vimos a representação multimodal pode ser uma possibilidade para a

    representação musical. Neste tópico mostramos trabalhos que propõe representações para a

    música a partir de imagens e vibrações com a intenção de buscar propostas e ideias de

    mapeamentos que possam ser usados no desenvolvimento tecnológico da nossa pesquisa .

    A ideia de representação visual para música tem sido proposta por diversos

    pensadores e tem sido base para diversos trabalhos dentro da computação. Jewansk [23]

    aponta alguns autores e suas propostas de mapeamento entre som e cores. Indica que os

    Gregos foram os primeiros a construir escalas de cores divididas em sete, como analogia às

    sete notas musicais. Também, cita que em 1646 Athanasius Kircher desenvolveu um sistema

    com correspondência entre intervalos musicais e cores. A coletânea de Jewansk também

    indica que no trabalho “An Hypotesis Explaining the Properties of Light”, de 1675, Sir Issac

    Newton traçou um paralelo do espectro de cores e notas da música ocidental. Ainda, Jewansk

    [23] aponta que, após 1725, Louis Castel desenvolveu o “light-keyboard” que deveria

    simultaneamente produzir som e o que ele acreditava ser a cor correta associada àquela nota.

    Glasow [24] expõe as relações entre música e cor propostas por Alexander

    Scriabim, compositor do século XIX que desenvolveu o “Colour Piano” e “Colour Light

    Music”, proposta musical sinestésica em que cores são pensadas como elementos musicais em

    contraponto com o som. Scriabim propôs um mapeamento em que cores dispostas em ordem

    cromática estão relacionadas ao ciclo das quintas, uma relação tonal de atração entre notas

    musicais. Jones and Neville [25] sugeriram que mapear vozes musicais individuais de uma

    composição para elementos gráficos individuais resultaria em uma experiência visual com

    sentido musical. Smith [26] desenvolveu um sistema visual gerado por música produzida em

  • 31

    uma interface digital que mapeia dados musicais a figuras 3D. Volume, timbre e altura são

    representados pelo tamanho relativo das figuras, cor e posição vertical, respectivamente.

    Existem também trabalhos que propõem usar computadores para gerar

    automaticamente representações visuais para elementos musicais. Mitroo, Herman e Badler

    [27] propuseram utilizar elementos musicais simbólicos (notas, acordes e intensidade) para

    criar composições de cores e objetos em movimento. Nanayakarra [16] descreve o trabalho

    de Smith & Williams que desenvolveram um sistema visual que mapeia elementos musicais

    simbólicos a figuras tridimensionais. Nessa proposta, intensidade, timbre e altura são

    representados pelo tamanho relativo das figuras, cor e posição vertical, respectivamente.

    Trabalho similar foi feito por McLeod e Wyvill [27], porém usando sinais de áudio

    digitalizados (em vez de dados simbólicos) como entrada em tempo real.

    Também, alguns trabalhos exploram a relação entre música e sensações táteis.

    Nanayakarra [16] descreve o “EmotiChair”, um dispositivo que representa informação de

    áudio como estímulo tátil. Nele, o som é processado de acordo com transformações pré

    definidas de forma a produzir uma saída tátil.

    Russ Palmer [29] desenvolveu uma teoria que permite mapear frequências de

    vibração para a percepção humana em diferentes partes do corpo. O autor trabalha com uma

    ideia chamada “Feeling the music philosophy” em que as pessoas podem sentir a música a

    partir de vibrações e não por meio do ouvido.

    Gunther e O'Modhrain [5] desenvolveram trabalho em que exploram a resolução

    vibrotátil da pele, analisando parâmetros que incluem frequência de estímulo vibratório,

    localização dos estímulos no corpo e idade do observador. Introduzem o conceito de

    “composição tátil” baseado em um sistema composto de treze transdutores usados contra o

    corpo com o objetivo de criar música tátil.

    Gunther e O'Modhrain [5] apresentam dados com relação a alguns valores

    psicofísicos e indicações com relação ao uso de vibrações para representar música. Com

    relação à discriminação de frequências temos que a extensão de resposta vibrotátil da pele

    está entre 20 e 1000 Hz com máxima sensibilidade ocorrendo em torno 250 Hz. Apontam

    também que a pele é relativamente pobre na discriminação de frequências e que dependendo

    do paradigma experimental é possível encontrar diferentes valores para a habilidade de

    discriminação. Os valores dependem da faixa de frequência a ser representada. Os autores

    apresentam dois resultados. O primeiro indica que de 3 a 5 valores de vibrações podem ser

  • 32

    distinguidas entre 2 e 300 pulsos por segundo, já o segundo indica que é possível de 8 a 10

    distinções entre 70 e 800 Hz.

    Gunter e O'Modhrain [5] também apresentam valores com relação à percepção

    temporal de vibrações. A mínima separação temporal entre dois cliques táteis depende da

    intensidade dos cliques, assim a mínima separação apresentada é de 10 ms, mas pode chegar

    até 5 ms dependendo da intensidade dos cliques.

    Os trabalhos apresentados nos mostram propostas de correspondência entre

    elementos musicais e elementos visuais ou táteis. Além disso, apontam para concepções

    teóricas e elementos tecnológicos para se pensar o mapeamento entre som e imagem ou entre

    som e vibração. No desenvolvimento tecnológico desta pesquisa temos esses trabalhos como

    referência para estabelecer nossos mapeamentos envolvendo elementos musicais, vibrações e

    imagens.

    2.3 Uso de tecnologia no desenvolvimento de sistemas dedicados a pessoas surdasPodemos citar alguns trabalhos que utilizam mapeamento música-vibração e

    música-imagem para criar dispositivos que fornecem uma experiência musical aos surdos.

    Kerwins [30] desenvolveu um dispositivo chamado Vibrato que proporciona

    vibrações musicais nos dedos das mãos do usuário e permite identificar diferença entre

    ritmos, notas e combinações de instrumentos.

    Podemos citar o uso de software de resposta háptica e visual em trabalho sobre

    desenvolvimento rítmico dos Surdos [14]. O aplicativo BPM Counter emite resposta visual

    para velocidade em que uma música é executada. Enquanto o aplicativo VPM Counter

    captura o som repassado pelo usuário através do microfone e processa os dados para executar

    a vibração a partir de uma biblioteca genérica disponível na tecnologia para desenvolvimento

    móvel. Os dois aplicativos necessitam de uma pessoa ouvinte para realizar o ajuste manual da

    sincronia entre os instrumentos e a música ambiente.

    Nanayakkara [16] propõe a criação de uma cadeira háptica para fornecer uma

    experiência musical a pessoas com deficiência auditiva, o sistema recebe dados MIDI

    (“Musical Instrument Digital Interface”) e produz vibrações com frequências específicas

    direcionadas a diferentes partes do corpo como pés, braços e tronco. O sistema dispõe

    também de um display visual para representar a informação musical a partir de formas

    geométricas 3D e animações que remetem a movimentos corporais.

  • 33

    O projeto “Model Human Cochlea” (MHC) [31] apresenta um dispositivo que

    transforma informação auditiva em estímulo vibrotátil ao longo do corpo, utilizando-se de

    uma cadeira com canais vibrotáteis.

    O trabalho de Jack et al [32] apresenta pesquisa a respeito da criação de poltronas

    que proporcionam vibrações por todo corpo e podem ser usadas em situações de concerto. O

    dispositivo fornece representações vibráteis para algumas características musicais de sinais

    processados em tempo real.

    O aplicativo para sistema operacional IOS Ludwig [33], feito por desenvolvedores

    de Campinas, utiliza uma pulseira vibrátil e um display visual para representar músicas

    armazenadas. Os autores do projeto não comentam os detalhes técnicos da criação do

    dispositivo.

  • 34

    CAPÍTULO 3. DESENVOLVIMENTO TECNOLÓGICO PROPOSTO

    3.1 Proposta de Criação de dispositivo tecnológico portátil direcionado às pessoas surdasNossa proposta consiste da construção de um aplicativo para celular que se utiliza

    de tratamento digital da onda sonora para identificar elementos rítmicos e melódicos a partir

    de métodos automáticos de detecção de eventos musicais, mapeando esses elementos a

    manifestações ligadas à percepção tátil e visual.

    A escolha do celular deve-se, principalmente, ao fácil acesso a esse tipo de

    aparelho. Segundo Luiz [14] a maioria da população brasileira com algum grau de deficiência

    auditiva possui celular. O dispositivo pode proporcionar uma experiência musical aos surdos,

    possibilitando mobilidade e possibilidade de interações com o som como dançar ou participar

    de atividades musicais em grupo, trazendo potenciais ganhos para essas pessoas. Com essa

    escolha temos que trabalhar nosso desenvolvimento utilizando os recursos de processamento,

    imagem, som e vibração oferecidos por um dispositivo móvel

    Segundo Nanayakkara [16] ainda existem poucos trabalhos direcionados ao

    desenvolvimento de dispositivos que proporcionem uma experiência musical aos surdos. Ao

    analisarmos alguns desses dispositivos observamos que a maior parte dos sistemas reproduz

    apenas músicas contidas no sistema [16 e 33], reduzem a mobilidade do usuário [16, 31 e 32]

    ou necessitam de ajuda de um ouvinte para ajustes de funcionamento [14].

    Como adição aos trabalhos já realizados, enfatizamos a necessidade de construção

    de um dispositivo em que os surdos tenham o acesso à música da mesma forma que o ouvinte,

    ou seja, a partir de som mecânico; também é necessário que se permita a mobilidade para que

    o surdo possa se movimentar livremente, dançar ou interagir com outras pessoas por meio da

    informação musical fornecida pelo dispositivo, além de independência em relação aos

    ouvintes, no que se refere à ajustes ao se utilizar o dispositivo. Outro fator de grande

    importância não abordado em outras pesquisas refere-se ao contexto de uso do dispositivo.

    Ressaltamos que é de fundamental importância o acompanhamento e desenvolvimento de

    atividades para o uso do dispositivo, devemos ter em mente que a inclusão dos surdos na

    educação musical requer acompanhamento especializado para que seja possível o

    entendimento dos conceitos musicais, funcionamento do dispositivo, bem como indicações e

    condução das atividades em que o dispositivo é utilizado. Diferentemente de outras trabalhos,

    essa ferramenta foi desenvolvida em um processo de interação constante com pessoas surdas

  • 35

    considerando suas concepções a respeito de música e verificando o impacto da tecnologia

    junto a essas pessoas para promover melhorias e modificações à ferramenta, Além disso,

    outro ponto inovador desse projeto é o fato de se tratar de uma ferramenta direcionada à

    educação musical para pessoas surdas. Por isso a ferramenta foi criada e avaliada

    considerando seu uso em atividades de educação musical direcionada às pessoas surdas.

    Como os estudos etnomusicológicos nos mostram existem inúmeras práticas

    musicais dentre as diversas sociedades e inúmeros elementos de capacidade humana ao se

    considerar a questão da musicalidade do homem. Esta pesquisa pretende investigar, a partir de

    recursos da educação musical, possibilidades de práticas musicais que possam gerar o

    envolvimento das pessoas surdas. Assim nosso aplicativo foi desenvolvido em constante

    contato com pessoas surdas. Todas as funcionalidades do aplicativo e aperfeiçoamentos foram

    realizados de acordo com a observação do seu uso em oficinas de música por crianças e

    adolescentes surdos. O processo de desenvolvimento do aplicativo se deu em uma série de

    passos, primeiramente completamos uma versão simplificada do programa que representava

    o conjunto completo, mas não incluía detalhes. Para avaliar o uso do aplicativo por crianças

    surdas, realizamos filmagem de cada oficina, essas oficinas foram analisadas considerando as

    camadas musicais e princípios expostos na Seção 3.

    Após o término das oficinas e análise do uso do aplicativo nessas oficinas,

    partimos para o desenvolvimento da versão final do aplicativo. Essa versão do aplicativo foi

    avaliada por estudantes universitários de música. Para realizar a avaliação os estudantes

    realizaram atividades musicais valendo-se apenas das respostas visuais e hápticas do

    aplicativo. Nessas atividades trabalhamos a percepção e realização de ritmos e melodias e

    práticas musicais em conjunto. As atividades foram realizadas sem a utilização de recursos

    sonoros, os estudantes utilizaram apenas os recursos hápticos e visuais do aplicativo e a partir

    disso expressaram sua opinião com relação a efetividade e eficácia do uso dos recursos do

    aplicativo para desenvolver atividades musicais.

    3.2 Desenvolvimento do aplicativoEsta seção discute o desenvolvimento do aplicativo que foi usado durante as

    oficinas de educação musical. Está organizada da seguinte forma. A Seção 9.1 mostra uma

    análise de requisitos do aplicativo. A Seção 9.2 descreve as interações humano-computador

  • 36

    relacionadas a cada uma das funcionalidades. Por fim, a Seção 9.3 mostra as telas usadas para

    cada uma das interfaces.

    3.2.1 Análise: definição de usuário, requisitos e necessidades

    Definição do usuário – Programa desenhado para aulas de música para pessoassurdas. Seus usuários são pessoas com impedimentos auditivos, em aulas de música guiadas

    por um professor de música. O programa permite a interação musical entre pessoas surdas e

    entre pessoas surdas e ouvintes.

    Definição das necessidades – Atualmente professores de música requeremferramentas para aulas de música para pessoas surdas ou a inclusão de alunos surdos em aulas

    de música. A ferramenta tecnológica aqui proposta pode ajudar nessas aulas a partir da

    possibilidade de acesso a elementos musicais como ritmo e melodia a partir da

    correspondência entre esses elementos e elementos hápticos e visuais. A ferramenta também

    permite ao usuário tocar instrumentos virtuais que emitem respostas hápticas e visuais em

    relação à produção sonora, além de contar com um metrônomo háptico e visual.

    Definição dos requisitos – A aplicação deve ser capaz de fornecer imagens evibrações que permitam identificar ou produzir gestos musicais. Apresenta cinco

    funcionalidades:

    A. Metrônomo háptico/visual – O metrônomo emite resposta háptica, visual e sonorapara cada bit. Permite ao usuário tocar um instrumento e manter a uniformidade dos tempos

    musicais a partir da sua sincronização com a resposta háptica ou visual do metrônomo.

    Permite também a prática em conjunto uma vez que uma pessoa pode se guiar pela

    informação vibracional enquanto outra se guia pela informação visual ou sonora. A resposta

    sonora está ligada à possibilidade de realização de atividades que permitem a integração entre

    surdos e ouvintes.

  • 37

    B. Identificador de intensidades sonoras – Permite diferenciar as intensidadessonoras em diferentes níveis. A diferenciação ocorre por meio das respostas háptica e visual

    para a intensidade do som captado pelo identificador.

    C. Identificador de notas – Permite ao usuário identificar notas e padrões melódicos.A identificação ocorre a partir das respostas háptica e visual que o aplicativo fornece para

    cada nota. Cada nota da escala musical tem uma vibração e imagem característicos.

    D. Bateria háptica/visual – Cada peça da bateria fornece uma resposta háptica, visuale sonora como resposta a produção musical do usuário. Dessa forma o usuário pode

    diferenciar cada parte da bateria a partir de sua resposta tátil ou visual. Apresenta também um

    metrônomo visual que permite mediar a prática em conjunto e permitir estudo individual. A

    resposta sonora da bateria está ligada a possibilidade de realização de atividades em conjunto

    entre pessoas surdas e ouvintes.

    E. Teclado háptico/visual - Cada tecla do teclado fornece uma resposta háptica,visual e sonora como resposta a produção musical do usuário. Apresenta também um

    metrônomo visual que permite mediar a prática em conjunto e permitir estudo individual. A

    resposta sonora do teclado está ligada a possibilidade de realização de atividades em conjunto

    entre surdos e ouvintes.

    A Tabela 1 relaciona as funcionalidades do aplicativo e os aspectos que ele deve

    fornecer ao usuário:

  • 38

    Aspectos fornecidos ao usuárioFuncionalidades

    A B C D E

    1 Permitir sincronizar uma atividade musical. X X X

    2Classificar sons de intensidades sonoras

    diferentesX

    3 Perceber padrões rítmicos X X

    4 Perceber notas e melodias X X

    5 Executar padrões rítmicos X X X

    6 Executar melodias X X

    7 Desenvolver atividades musicais em grupo X X X X X

    8 Desenvolver a composição musical X X X X

    Tabela 1: Aspectos que o aplicativo deve fornecer ao usuário.

    Definição de métodos – Para desenvolver a aplicação partimos de uma versão simplesdo programa, para continuar com a implementação subsequente de funções avançadas. Essas

    versões simples foram desenvolvidas durante o processo de aplicação das oficinas de música

    com pessoas surdas. Após a avaliação do seu uso nestas oficinas, o processo de

    desenvolvimento do aplicativo continuou. Dessa forma, chegamos a uma versão final do

    aplicativo, como segue.

    3.2.2 Desenho

    A. Metrônomo Háptico/Visual

    Como mostrado na Figura 3, para o metrônomo temos como entrada o toque do

    usuário. Ele seleciona o andamento em batimentos por minuto (bpm) e a fórmula de compasso

    que deseja. A partir do mapeamento proposto o usuário tem como saída a emissão das

    respostas sonora, háptica e visual a partir do alto-falante, motor e tela do dispositivo.

  • 39

    B. Identificador de Intensidades Como mostrado na Figura 4, o Identificador de intensidades sonoras tem como

    entrada o toque do usuário para seleção de sensibilidade e um sinal de áudio que será

    analisado com relação à sua intensidade.

    Figura 3: Desenho metrônomo háptico/visual.

    Figura 4: Desenho identificador de intensidades.

  • 40

    A seleção da sensibilidade permite ao usuário escolher três níveis diferentes de

    sensibilidade. Ao escolher um nível dos níveis sensibilidade o usuário está definindo os três

    valores mínimos para os níveis de intensidade paras os quais o noise gate separa os sons, ou

    seja, para cada nível de sensibilidade temos três níveis de intensidade característicos,

    ordenados de forma decrescente.

    A relação entre a potência ou intensidade sonora (PdB) e a diferença entre dois

    níveis de intensidade sonora (I1 e I0) está relacionada pela seguinte equação:

    PdB = 10.log10(I1/I0) (1)

    Adotamos um valor de 6 dB para a separação mínima entre intensidades sonoras

    subjacentes. Dessa forma há uma relação de 4 para 1 para sons que estão em diferentes níveis.

    Essa relação foi adotada para permitir que uma pessoa, ao produzir um som para interagir

    com o instrumento possa perceber facilmente a diferença entre cada nível de intensidade, isso

    permite identificar com segurança cada nível.

    O som é outra entrada para o identificador de intensidades. Ele gera vibrações na

    membrana do microfone, essas vibrações são transformadas em flutuações da corrente elétrica

    que são convertidas em números. Isso caracteriza o processo de conversão analógico digital

    no bloco “Microfone + conversor A/D” da figura 4. O bloco identificação de “ataques” da

    figura 4 é destinado a encontrar “ataques” percussivos. Para realizar essa identificação

    utilizamos o algoritmo bonk descrito em Puckette et al. [33]. O algoritmo considera a

    sonoridade corrente para encontrar ataques que ocorrem em intervalos muitos curtos de

    tempo. Isso permite identificar ataques que acontecem repentinamente e evita problemas com

    mascaramentos ou identificação de falsos ataques.

    A partir do sinal digital os “ataques” são identificados utilizando um seguidor de

    envelope, como mostrado, na linha em vermelho da figura 5.

  • 41

    Como mostrado, a partir da linha tracejada na figura 5, um mascaramento (m) é

    mantido entre a detecção de ataques. O valor de m representa a potência do sinal e tem seus

    valores constantemente ajustados de acordo com a variação da potência (p). Isso ocorre a

    partir de uma análise temporal do espectro sonoro da seguinte forma: Ao fim de cada análise,

    se p > m, m recebe o valor de p. Uma nova análise acontece a cada 3 ms; Caso contrário, se m

    não foi atualizado por mais de 5 análises, o mascaramento decai por um fator de 0.8. Como o

    padrão de análise é de 3 ms, esse processo ocorre em 15 ms. Segundo Puckette et al. [34] esse

    tempo é muito curto para afetar a detecção de eventos musicais percussivos.

    Para caracterizar os ataques temos a seguinte relação para cada canal:

    g = max(0, p/m - 1) (2)

    Essa relação é somada para estimar o aumento para todos os onze canais. Se g

    exceder o limiar superior (12) e depois decrescer abaixo do limiar inferior (6) um ataque é

    reportado.

    Podemos observar que o algoritmo reporta somente eventos que ocorram em

    tempos muito curtos e ultrapassam limiares preestabelecidos de crescimento e decaimento.

    Dessa forma, bonk evita a detecção de instrumentos melódicos, uma vez que esses ocorrem

    em tempos comparativamente maiores e algumas vezes não apresentam limiares bem

    Figura 5: Identificação de ataques.

  • 42

    definidos. Isso permite identificar melhor os ataques uma vez que exclui problemas de

    detecção como mascaramento ou identificação de sons indesejados.

    Após, seleção do nível de intensidade e identificação dos ataques, o usuário tem

    acesso à classificação do som por meio de três diferentes níveis de intensidade (piano, mezzo

    e forte), conforme será apresentado na Tabela 3. O mapeamento atribui uma correspondência

    visual e háptica para cada um dos níveis de intensidade.

    C. Identificador de NotasComo mostrado na Figura 6, o Identificador de notas tem como entrada o toque

    do usuário para seleção de sensibilidade e um sinal de áudio que será analisado com relação à

    sua altura para lhe atribuir uma nota.

    A seleção da sensibilidade permite ao usuário escolher cinco níveis diferentes de

    sensibilidade. A diferença entre cada nível é de 3 dB. Considerando a equação (1) isso nos dá

    uma razão de 2 para 1 entre as intensidades sonoras para as notas em cada um dos níveis. Essa

    redução em relação ao caso anterior se deu pelo fato de que nesse caso estamos prevendo o

    Figura 6: Desenho identificador de notas.

  • 43

    uso da voz para explorar o aplicativo nesse caso temos um alcance menor em potência em

    comparação com instrumentos percussivos.

    O bloco identificação de “fundamental” da Figura 6 é destinado a encontrar a

    fundamental ou altura da nota do som de entrada. Para encontrar a fundamental utilizamos o

    algoritmo sigmund descrito em Puckette et al. [34]. O diagrama mostrado na Figura 7 mostra

    o funcionamento do algoritmo.

    Figura 7: Funcionamento do algoritmo sigmund.

  • 44

    Primeiramente há a identificação dos picos, encontrando suas respectivas

    frequências e amplitudes. Depois essas informações são usadas para estimar a frequência

    fundamental (f), esse processo ocorre a partir da comparação entre os múltiplos de f com os

    picos detectados. A frequência fundamental é atribuída aos picos quando há uma equivalência

    ou proximidade entre picos e múltiplos. A frequência e amplitude dos picos são obtidos por

    meio do phase vocoder, uma conhecida técnica que permite dividir um sinal de áudio em

    componentes sinusoidais variáveis no tempo e estimar suas frequências e amplitudes.

    Para se chegar à frequência fundamental, esses picos e amplitudes são ponderados

    em uma “função de verossimilhança” L(f) que estima quão próximos esses picos estão dos

    múltiplos de uma frequência f. O valor de f para o qual há maior correspondência entre picos e

    múltiplos é tido como o valor da fundamental. A função que estima a proximidade entre picos

    e fundamentais é dada por:

    ( 2)

    onde k é o número de picos no espectro, ai é um fator dependente da amplitude do i - ésimo

    pico, ti é um fator que depende de quão próximo o i – ésimo pico está de um múltiplo de f e nidepende da proximidade do i – ésimo pico a um alto ou baixo múltiplo de f. Para sons

    monofônicos a estimativa é feita a partir do valor de f para o qual L é máximo. Para sons

    polifônicos são tomados os valores de L que não são múltiplos ou submúltiplos entre si.

    Existe também um critério para evitar que o algoritmo reporte sons sem uma fundamental

    definida. Esse critério estabelece que devem existir pelo menos quatro picos ou a fundamental

    estar presente e a contribuição dos outros picos ser no mínimo um centésimo da potência total

    do sinal.

    D. Bateria Háptica/Visual

    Como mostrado na Figura 8, para a Bateria háptica/visual temos como entrada o

    toque do usuário. O usuário seleciona a parte da bateria que deseja tocar. A partir do

    mapeamento proposto o usuário tem como saída a emissão das respostas sonora, háptica e

    visual que permite diferenciar cada parte da bateria.

  • 45

    E. Teclado Háptico/Visual

    Como mostrado na Figura 9, para o teclado háptico/visual temos como entrada o

    toque do usuário. Ele seleciona nota do teclado que deseja tocar. A partir do mapeamento

    proposto o usuário tem como saída a emissão das respostas sonora, háptica e visual que

    permite diferenciar cada nota do teclado.

    Figura 8: Desenho bateria háptica/visual

    Figura 9: Desenho teclado háptico/visual.

  • 46

    9.3 Descrição da interface

    A. Metrônomo háptico/visual

    No metrônomo visual, mostrado na Figura 10 item a), temos botões em que o

    usuário fornece os dados de entrada. Esses botões permitem ligar ou desligar o metrônomo

    (On/Off), alterar a velocidade (na barra deslizante numerada) e fórmula de compasso (Time

    Signature).

    Figura 10: a)Interface metrônomo háptico/visual, b)ativação da primeira barra gráfica, b)segunda, c ) terceira e d) quarta com o metrônomo calibrado em 4/4.

    Na Figura 10b), podemos ver como o metrônomo apresenta a resposta visual para

    os tempos do compasso. Nesse caso, temos um compasso 4/4 em que os tempos do compasso

    são representados por barras gráficas nomeadas com os números 1, 2, 3 e 4. O número de

  • 47

    barras é dado pelo numerador da fração que indica a fórmula de compasso. Os tamanhos das

    barras está distribuído entre pequeno, médio e grande que indicam se o tempo é fraco,

    intermediário ou forte, respectivamente.

    Para cada fórmula de compasso temos uma configuração diferente para a imagem

    das barras, a Tabela 2 mostra as possíveis configurações visuais para as diferentes fórmulas de

    compasso.

    Compasso 1/4 2/4 3/4 4/4Tempo 1 grande grande grande grandeTempo 2 Ø pequeno pequeno pequenoTempo 3 Ø Ø pequeno médioTempo 4 Ø Ø Ø grande

    Tabela 2: Representação visual para fórmulas de compasso.

    Também é possível diferenciar as respostas hápticas a partir da duração do tempo

    de vibração. A Tabela 3, mostra a relação entre a intensidade de cada tempo do compasso e o

    tempo de vibração para sua representação háptica.

    Intensidade Fraco (piano) Intermediário (mezzo) Forte (forte)

    Tempo da vibração (ms) 20 40 80

    Tabela 3: Tempo de vibração para cada tipo de tempo do compasso.

    B. Identificador de intensidades

    No identificador de intensidades, mostrado na Figura 11 a), o usuário pode utilizar

    a barra deslizante para selecionar o nível de sensibilidade do aplicativo.

    As três barras gráficas são ativadas de acordo com a intensidade sonora. Na

    Figura 11 a), podemos observar que essas barras estão relacionadas a três níveis de

    intensidade que vão de piano a forte. Esses nomes estão relacionados à nomenclatura musical

    para intensidades sonoras.

  • 48

    Na Figura 11 a) percebemos a resposta para um som com baixa intensidade que

    ativa somente a primeira barra. Os itens c) e d) mostram as respostas para o aumento da

    intensidade sonora.

    Figura 11: a) In