Rastreamento e reconhecimento de movimentos de punho na

UNIVERSIDADE FEDERAL DE GOIÁS

INSTITUTO DE INFORMÁTICA

THYAGO PERES CARVALHO

Rastreamento e reconhecimento demovimentos de punho na execução de

excertos musicais ao pianoUma abordagem com MD-DTW (Multi-Dimensional

Dynamic Time Warping)

Goiânia2015

TERMO DE CIÊNCIA E DE AUTORIZAÇÃO PARA DISPONIBILIZAR AS TESES E

DISSERTAÇÕES ELETRÔNICAS (TEDE) NA BIBLIOTECA DIGITAL DA UFG

Na qualidade de titular dos direitos de autor, autorizo a Universidade Federal de Goiás

(UFG) a disponibilizar, gratuitamente, por meio da Biblioteca Digital de Teses e Dissertações

(BDTD/UFG), sem ressarcimento dos direitos autorais, de acordo com a Lei nº 9610/98, o do-

cumento conforme permissões assinaladas abaixo, para fins de leitura, impressão e/ou down-

load, a título de divulgação da produção científica brasileira, a partir desta data.

1. Identificação do material bibliográfico: [ x ] Dissertação [ ] Tese

2. Identificação da Tese ou Dissertação Autor (a): Thyago Peres Carvalho E-mail: [email protected] Seu e-mail pode ser disponibilizado na página? [ x ]Sim [ ] Não

Vínculo empregatício do autor: Estudante

Agência de fomento: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior

Sigla: CAPES

País: Brasil UF: GO CNPJ: 00889834/0001-08 Título: Rastreamento e reconhecimento de movimentos de punho na execução de

excertos musicais ao piano Subtítulo: Uma abordagem com MD-DTW (Multi-Dimensional Dynamic Time Warping) Palavras-chave: Interpretação musical, Movimentação do punho, Ensino de piano,

Tutor, Aprendiz, Rastreamento, DTW, MD-DTW Título em outra língua: Tracking and recognition of movements of fist in the execution

of excerpts musical at the piano Subtítulo em outra língua: An approach with MD-DTW (Multi-Dimensional Dynamic

Time Warping) Palavras-chave em outra língua: Musical performance, Fist movement, Piano teach-

ing, Tutor, Learner, Tracking, DTW, MD-DTW Área de concentração: Processamento de imagens, Interação Humano Computador e

Computação Aplicada Data defesa: (dd/mm/aaaa) 09/10/2015 Programa de Pós-Graduação: Ciência da computação do INF-UFG Orientador (a): Dr. Fabrizzio Alphonsus A. M. N. Soares E-mail: [email protected] Co-orientador (a):* Dr. Carlos H. C. R. Costa E-mail: [email protected]

*Necessita do CPF quando não constar no SisPG

3. Informações de acesso ao documento:

Concorda com a liberação total do documento [ x ] SIM [ ] NÃO1

Havendo concordância com a disponibilização eletrônica, torna-se imprescindível o en-

vio do(s) arquivo(s) em formato digital PDF ou DOC da tese ou dissertação.

O sistema da Biblioteca Digital de Teses e Dissertações garante aos autores, que os ar-

quivos contendo eletronicamente as teses e ou dissertações, antes de sua disponibilização, re-

ceberão procedimentos de segurança, criptografia (para não permitir cópia e extração de con-

teúdo, permitindo apenas impressão fraca) usando o padrão do Acrobat.

________________________________________ Data: 15 / 11 / 2015

Assinatura do (a) autor (a)

1 Neste caso o documento será embargado por até um ano a partir da data de defesa. A extensão deste prazo

suscita justificativa junto à coordenação do curso. Os dados do documento não serão disponibilizados durante o período

de embargo.





Dissertação apresentada ao Programa de Pós–Graduação doInstituto de Informática da Universidade Federal de Goiás,como requisito parcial para obtenção do título de Mestre emCiência da Computação no programa de Pós-Graduação doINF - UFG.Área de concentração: Processamento de imagens, Intera-ção Humano Computador e Computação Aplicada.Orientador: Prof. Fabrizzio Alphonsus A. M. N. Soares

Co-Orientador: Prof. Carlos H. C. R. Costa

Goiânia2015

Ficha catalográfica elaborada automaticamente com os dados fornecidos pelo(a) autor(a), sob orientação do Sibi/UFG.

Carvalho, Thyago Peres Rastreamento e reconhecimento de movimentos de punho naexecução de excertos musicais ao piano [manuscrito] : Uma abordagemcom MD-DTW (Multi-Dimensional Dynamic Time Warping) / ThyagoPeres Carvalho. - 2015. LXX, 70 f.: il.

Orientador: Prof. Dr. Dr. Fabrizzio Alphonsus A. M. N. Soares; coorientador Dr. Dr. Carlos H. C. R. Costa.Dissertação (Mestrado) - Universidade Federal de Goiás, Instituto deInformática (INF) , Programa de Pós-Graduação em Ciência daComputação, Goiânia, 2015. Bibliografia. Apêndice. Inclui siglas, abreviaturas, gráfico, tabelas, lista de figuras, lista detabelas.

1. Interpretação musical. 2. Movimentação do punho. 3. Ensino depiano. 4. MD-DTW. 5. Rastreamento. I. Soares, Dr. FabrizzioAlphonsus A. M. N., orient. II. Costa, Dr. Carlos H. C. R., co-orient. III.Título.





Dissertação defendida no Programa de Pós–Graduação do Instituto deInformática da Universidade Federal de Goiás como requisito parcialpara obtenção do título de Mestre em Ciência da Computação noprograma de Pós-Graduação do INF - UFG, aprovada em 09 de Outubrode 2015, pela Banca Examinadora constituída pelos professores:

Prof. Fabrizzio Alphonsus A. M. N. SoaresInstituto de Informática – UFG

Presidente da Banca

Prof. Carlos H. C. R. CostaEscola de Música e Artes Cênicas – UFG

Prof. Gustavo Teodoro LaureanoInstituto de Informática – UFG

Prof. Cláudio Afonso FleuryInstituto Federal de Educação, Ciência e Tecnologia de Goiás – IFG

Todos os direitos reservados. É proibida a reprodução total ou parcial dotrabalho sem autorização da universidade, do autor e do orientador(a).

Thyago Peres Carvalho

Graduou-se em Ciência da Computação na UFG - Universidade Federal deGoiás/Campus Jataí. Durante o Mestrado, na UFG - Universidade Federal deGoiás, foi bolsista da CAPES e teve como trabalho desenvolvido, um métodopara o auxílio do ensino-aprendizagem da compreensão dos movimentos depunho na execução de excertos musicais ao piano.

Dedico este trabalho à memória do meu avô, pessoa que contribuiu enormementena construção do homem que sou hoje e quem me deu a oportunidade de estar onde estou.Hoje, sinto muita saudade do senhor, meu amado avô, e dedico-lhe o trabalho que encerraa minha caminhada para me tornar mestre. Espero que, onde o senhor estiver, se orgulhede mim e de onde cheguei até agora.

Agradecimentos

A meu orientador e amigo, Fabrizzio Alphonsus A. M. N. Soares, que foi degrande valia na realização deste trabalho. Eu não seria capaz de vencer as problemáticasadvindas da pesquisa sem ele ter me oferecido o auxílio, os conselhos e as indicaçõesde atalhos e caminhos melhores a serem seguidos para chegar ao final. Pessoa que, alémde me orientar no trabalho realizado, também tem me orientado em muitas decisões daminha vida pessoal.

A minha esposa Bianca Fernandes e Silva Carvalho, quem sempre está aomeu lado sendo o alicerce da minha vida, dando-me suporte e força para enfrentar asdificuldades e continuar até o fim. Pessoa que sabe o que sinto mesmo antes de eu sentiralgo; sabe quem sou antes de eu mesmo descobrir, e me ama pelo que sou antes mesmoque eu me defina.

A meu co-orientador Carlos H. C. R. Costa pelo interesse e por toda ajuda,conhecimento e horas gastas para o desenvolvimento do trabalho.

A minha amada mãe, Maria Alice Peres Carvalho. Mãe, posso tentar fazer tudopara retribuir o que você fez por mim, mas sei que nunca conseguirei sequer chegar perto.Então, queria deixar registrado toda a minha gratidão.

A meus amigos Weder Cabral Mendes, Rafael Tomaz Parreira e Matheus Ru-dolfo Diedrich Ullmann que, durante esse período, trabalharam sendo companheiros econtribuíram comigo. É por entender que nenhuma história de vida é escrita sem mãosamigas estendidas em nossa direção, considero que a presença de tais pessoas é tão im-portante na minha vida.

Aos familiares da minha esposa e meu padrasto, que se tornaram também minhafamília e estão sempre presentes para auxiliar na superação dos contratempos.

Por último, agradeço a CAPES que financiou a bolsa e possibilitou a atividadeexclusiva e focada no trabalho.

“Algumas pessoas acham que foco significa dizer sim para a coisa em quevocê vai se focar. Mas não é nada disso. Significa dizer não às centenas deoutras boas ideias que existem. Você precisa selecionar cuidadosamente.”

Steve Jobs,Fortune.

Resumo

Carvalho, Thyago Peres. Rastreamento e reconhecimento de movimentosde punho na execução de excertos musicais ao piano. Goiânia, 2015. 68p.Dissertação de Mestrado. Instituto de Informática, Universidade Federal deGoiás.

Este trabalho propõe um método de apoio ao ensino-aprendizagem de gestos de punho naexecução musical ao piano, utilizando o rastreamento e reconhecimento de movimentosde punho na execução de excertos musicais ao piano. Para isso, um sistema foi construído,por meio de técnicas de visão computacional, visando apresentar ao aluno vídeos produ-zidos para verificar a execução do exercício pelo aprendiz, bem como visa fornecer da-dos relacionados ao desempenho. O sistema também utiliza as mesmas técnicas de visãocomputacional para a geração, pelo tutor, dos exercícios propostos para a aula, de modo aapoiar também na produção de material didático. Para reconhecer gestos, o sistema utilizauma câmera regular de baixo custo, webcam, e, a partir de um marcador colorido no dorsoda mão do músico, os movimentos de punho são detectados e rastreados. Para desenvol-ver essa ferramenta, foi utilizado o algoritmo Multidimensional Dynamic Time Warping

(MD-DTW), que é uma versão n-dimensional do Dynamic Time Warping (DTW). Nasequência do trabalho, foram realizadas três etapas de experimentos, sendo que a pri-meira foi para ajustar os parâmetros do sistema a partir de vídeos dos excertos realizadospor um instrutor especialista. A segunda e terceira etapa avaliam, respectivamente, o ga-nho de aprendizagem dos estudantes de piano com o método proposto e a usabilidade dosistema. Os experimentos foram realizados com voluntários com conhecimentos de lei-tura musical, porém, sem exigir limite mínimo de domínio de técnica ao tocar o piano. Osresultados desses testes mostraram que, além de o método ser capaz de detectar e reco-nhecer gestos com sucesso, os voluntários apresentaram ganho de aprendizagem na faixamédia, o que demonstra ser esse um método bastante promissor. Além disso, o teste deusabilidade revelou que a interface implementada, é adequada e obteve bons resultados desatisfação entre os voluntários. Em virtude disso, pode-se afirmar que o método e o protó-tipo propostos demonstram o potencial dessas ferramentas no repasse de técnicas, comoas de gestos de execução musical, em um ambiente de ensino-aprendizagem de piano.

Palavras–chave

Interpretação musical, Movimentação do punho, Ensino de piano, Tutor, Apren-diz, Rastreamento, DTW, MD-DTW.

Abstract

Carvalho, Thyago Peres. Tracking and recognition of fist movements in theperformance of musical features at the piano. Goiânia, 2015. 68p. MSc.Dissertation. Instituto de Informática, Universidade Federal de Goiás.

This paper proposes a method to support the teaching-learning fist gestures in the pianomusic performance, using tracking and recognition of fist movements in executionsof musical piano excerpts. For this, a system was built by means of computer visiontechniques, aiming to present to the student videos produced to verify the executionof the exercise by the learner and aims to provide data related to performance. Thesystem also uses the same computer vision techniques for the generation of the proposedexercises to class by the tutor in order to support the production of educational materialas well. To recognize gestures, the system uses a regular low cost webcam, and from acolored marker on the back of the musician’s hand, the wrist movements are detected andtracked. A multidimensional dynamic time warping algorithm (MD-DTW) was used inorder to develop this tool, which is an n-dimensional version of Dynamic Time Warping(DTW). In the work sequence, three rounds of experiments were performed, being thefirst of which to adjust the system parameters from video excerpts performed by anexpert trainer. The second and third step assessed, respectively, the learning gain of pianostudents to the proposed method and system usability. The experiments were performedon volunteers with musical reading skills, however, without requiring minimum technicaldomain while playing the piano. The results of these tests showed that in addition to themethod being able to detect and recognize successful gestures, the volunteers presentedlearning gain within middle range, which shows that this is a very promising method.In addition, usability testing revealed that the implemented interface, is well suited andhas reached good satisfaction results among the volunteers. As a result, it can be saidthat the method and the proposed prototype demonstrate the potential of these toolsin transferring techniques, such as musical performance gestures in a piano teaching-learning environment.

KeywordsMusical performance, fist movement, Piano teaching, Tutor, Learner, Tracking,

DTW, MD-DTW.

Sumário

Lista de Figuras 12

Lista de Tabelas 14

1 INTRODUÇÃO 151.1 Motivação do trabalho 161.2 Objetivo do trabalho 161.3 Estrutura deste trabalho 16

2 UTILIZAÇÃO DO PUNHO NA EXECUÇÃO DE EXCERTOS MUSICAISAO PIANO 182.1 Introdução 182.2 A Técnica pianística 182.3 Execução e interpretação musical 192.4 Teoria da utilização do punho ao piano 202.5 Considerações finais deste capítulo 22

3 SOFTWARES DE APOIO À EDUCAÇÃO MUSICAL 233.1 Introdução 233.2 A tecnologia no ensino de música 233.3 Os softwares para o ensino de música 243.4 Considerações finais deste capítulo 28

4 SISTEMA DE AUXÍLIO AO ENSINO-APRENDIZAGEM DE MOVIMEN-TOS DE PUNHO AO PIANO 294.1 Introdução 294.2 Design e implementação 294.3 Sistema para auxiliar o aprendizado de movimentos ao piano com fins interpre-

tativos (SAAMP) 314.3.1 Módulo Aprendiz 314.3.2 Módulo tutor 34

4.4 Considerações finais deste capítulo 36

5 MÉTODO PARA RASTREAMENTO E RECONHECIMENTO DE GESTOS 375.1 Introdução 375.2 Detecção e Rastreamento 375.3 Reconhecimento de gestos 40

5.3.1 Dynamic time warping (DTW) 405.3.2 Multidimensional Dynamic Time Warping (MD-DTW) 42

5.3.3 Quebra de blocos 435.3.4 Reconhecimento 43

5.4 Geração da referência para o treino 445.5 Método de Avaliação de Desempenho 44

5.5.1 Matriz de confusão 445.5.2 Ganho de aprendizagem 455.5.3 Teste de usabilidade 46


6 RESULTADOS OBTIDOS 486.1 Introdução 486.2 Experimentos 486.3 Parametrização e validação do método 49

6.3.1 Análise dos resultados 506.4 Teste de usabilidade 51

6.4.1 Análise dos resultados 536.5 Considerações finais deste capítulo 56

7 CONCLUSÕES E CONTRIBUIÇÕES DESTE TRABALHO, TRABALHOSFUTUROS E PUBLICAÇÕES ORIGINADAS NESTA DISSERTAÇÃO 577.1 Introdução 577.2 Conclusões e contribuições 577.3 Trabalhos futuros 587.4 Publicações originadas deste trabalho 59

Referências Bibliográficas 60

A Partituras dos excertos utilizadas para parametrização e validação do método 64

B Partituras dos excertos utilizados para o teste de usabilidade 66

C Termo de consentimento 67

D Tabela de resultados do experimento 68

Lista de Figuras

2.1 Movimentos de punho (CARDOSO, 2011). 21

3.1 Interface da aplicação MuseScore. 253.2 Interface da aplicação GNU Solfege. 26

(b) Extensão. 26(c) Posição intermediária. 26(d) Adução. 26(e) Abdução. 26(f) Circundação 26

3.3 Interface da aplicação Midi Sheet Music. 263.4 Interface da aplicação Synthesia (SYNTHESIA, 2015). 273.5 Protótipo P.I.A.N.O (WEING et al., 2013). 28

4.1 Design do sistema. 314.2 Interface do SAAMP módulo aprendiz. 324.3 Interface do SAAMP módulo aprendiz mostrando a trajetória a ser seguido. 334.4 Interface do SAAMP módulo aprendiz mostrando o desempenho, consi-

derando a medida de similaridade entre a execução do aprendiz e a refe-rência gerada pelo tutor. 34

4.5 Aba Excerto do módulo tutor do sistema SAAMP. 344.6 Aba Gravação da execução como tutor do sistema SAAMP. 354.7 Aba Edição da execução como tutor do sistema SAAMP. 36

5.1 Exemplo de uma possível movimentação dos dedos sem existir um realdeslocamento do centro de massa. 38

5.2 Exemplo da mão do pianista com marcador. 395.3 Exemplo de alinhamento de duas séries temporais (SALVADOR; CHAN,

2007) 41

6.1 Gráficos das respostas dadas após a realização do experimento. 546.2 Gráficos da respostas sobre o posicionamento dos componentes da interface. 556.3 Gráfico de escolhas da melhor forma de visualização do desempenho. 56

A.1 Excerto 1 - Sonatina em Dó maior Op. 55, N.1 Allegro de Fridrich Kuhlau(Compassos 1 ao 5) 64(b) Questão B. 64(c) Questão C. 64(d) Questão D. 64(e) Questão E. 64(f) Questão F. 64

(g) Questão G. 64(a) Partitura. 64(b) Imagem da câmera. 64(c) Metrônomo. 64(d) Vídeo do tutor. 64(e) Vídeo do aprendiz. 64

A.2 Excerto 2 - Minueto em sol maior Johann Sebastian Bach (Compasso 1ao 8) 64

A.3 Excerto 3 - Sonatina em Dó maior Op. 55, N. 1 Vivace de Fridrich Kuhlau(Compassos 1 ao 8) 64

A.4 Excerto 4 - Sonatina em Dó maior Op. 157, N. 4 Allegro Moderato deFritz Spindler (Compassos 1 ao 8) 65

A.5 Excerto 5 - Sonatina em Fá maior Ludwig van Beethoven (Compassos de1 ao 18) 65

B.1 Excerto 1 - Inversão N. 1 em Dó maior de Johann Sebastian Bach(Compasso 1) 66

B.2 Excerto 2 - Sonata Op 49, N. 2 em Sol maior de Ludwig van Beethoven(Compasso 1 e 2) 66

C.1 Termo de consentimento para participação no experimento 67

Lista de Tabelas

4.1 Recursos para o desenvolvimento do protótipo. 30

5.1 Matriz de confusão(CHAWLA et al., 2002). 455.2 Equações de métricas calculadas a partir da matriz de confusão. 455.3 Questionário para a realização do teste de usabilidade. 46

6.1 Recursos computacionais utilizados nesta etapa. 496.2 Excertos propostos para parametrização e validação do método. 496.3 Matriz de confusão. 506.4 Métricas calculadas a partir da Tabela 6.3. 516.5 Excertos propostos para o teste de usabilidade. 516.6 Dados dos seis voluntários do experimento. 526.7 Resultados do ganho médio por agrupamento da aprendizagem dos vo-

luntários. 53

D.1 Resultados da utilização da ferramenta pelos aprendizes. 68

CAPÍTULO 1INTRODUÇÃO

Para tocar piano, é necessário desenvolver habilidades, dentre elas, a memoriza-ção de escalas e de acordes, a coordenação motora, a leitura e a execução de partituras.Ou seja, é necessário o desenvolvimento de muitas habilidades e muita prática para setornar um bom pianista.

Além dessas aptidões, estudos recentes demonstraram que outro aspecto extre-mamente importante é a forma como o músico movimenta seu corpo, em especial ospunhos, durante a execução musical. Ainda nessa vertente e considerando o desenvolvi-mento das competências necessárias ao músico, autores como Chiantore (2001) e Gerig(2007) listam os diferentes aspectos da interpretação e da técnica de pianistas renomadose as diferentes teorias educacionais.

Entretanto, mesmo existindo documentação científica sobre os diferentes aspec-tos da interpretação musical, o processo de ensino do professor e/ou músico experienteconsiste em repassar o conhecimento predominantemente de maneira empírica para oaluno. O ensino é fundamentalmente baseado em observação humana, sem medições pre-cisas ou dados de trajetória.

A didática dos professores baseia-se em mostrar vídeos, segurar as mãos dosestudantes para guiá-los e observar cuidadosamente a repetição dos exercícios. Assimsendo, essa didática dificulta a transmissão do conhecimento do professor para um grandenúmero de aprendizes.

O desenvolvimento de alternativas para auxiliar o professor no ensino de música,dando-lhe apoio na instrução de músicos aprendizes, é de suma importância. Existemdiversas aplicações para muitas áreas do ensino da música. Cada vez mais, a computaçãotem utilizado problemas dessa área como estudo de caso, e tem apresentado soluções apartir da aplicação de técnicas de inteligência artificial (IA), reconhecimento de padrões,aprendizado de máquina, etc. (GRINDLAY; HELMBOLD, 2006).

1.1 Motivação do trabalho 16

1.1 Motivação do trabalho

A compreensão da necessidade da utilização dos movimentos de punho aotocar piano é um desafio para os aprendizes. Nesse sentido, o processo de ensinar essacompreensão apresenta-se ainda mais árduo para os professores. Além do mais, o quenão se pode esquecer é que o aprendiz, em algum momento, pode vir a ser o professor e,caso esse aluno não tenha aprendido corretamente a necessidade do uso dos movimentosde punho, o problema começa a ser cascateado para outros aprendizes.

Ademais, o problema da execução de obras musicais sem a correta movimenta-ção dos punhos não acarreta apenas na interpretação equivocada de uma música ou peça,mas também pode originar problemas de saúde, tais como as lesões por esforço repetitivo.

Tendo em vista essas questões, o presente trabalho surge a partir da ideia defacilitar o processo de ensino-aprendizagem e o aperfeiçoamento do desempenho depianistas, além de levar em conta a prevenção de doenças relacionadas à inadequadamovimentação dos punhos.

1.2 Objetivo do trabalho

O objetivo geral do trabalho é propor um método para auxiliar o ensino e aaprendizagem da utilização dos movimentos de punho na execução de excertos musicaisao piano. No contexto deste trabalho excerto é um trecho, fragmento ou passagem retiradode uma obra musical. Salienta-se também que um excerto é composto por diversos gestosmusicais.

Para alcançar esse objetivo geral, foram estabelecidos os seguintes objetivosespecíficos: a parametrização e a validação do método que foi proposto neste trabalho;o desenvolvimento de um protótipo de sistema para tornar possível a aplicação do métodointerativamente com aprendizes; a medição do ganho de aprendizagem adquirido pelosusuários voluntários do sistema; E a aplicação de questionários sobre a aceitação dainterface pelos usuários, para a continuidade do aperfeiçoamento do protótipo.

Com a realização de todas essas etapas, é possível prosseguir no desenvolvi-mento do sistema para que ele deixe de ser um protótipo e se torne um sistema a serutilizado por professores e alunos de piano.

1.3 Estrutura deste trabalho

Para dar forma a este trabalho, buscou-se estruturá-lo em sete capítulos, entreos quais, o presente capítulo é subdividido em: introdução, descrição geral do problema,motivação e objetivo do trabalho.

1.3 Estrutura deste trabalho 17

Na sequência, o Capítulo 2 expõe a técnica pianística, a teoria da utilização dopunho ao piano e da execução e interpretação musical.

O Capítulo 3 apresenta alguns dos softwares de apoio à educação musical, alémde discorrer sucintamente sobre o assunto e relatar os problemas contidos nessa área.

A descrição do protótipo do sistema desenvolvido será feita no Capítulo 4 destetrabalho, que mostrará detalhadamente a forma de instalação, design do sistema e módulosdo sistema.

Já o Capítulo 5 apresenta o método proposto neste trabalho, os algoritmosutilizados e a forma de treinamento.

O Capítulo 6 mostra os resultados dos experimentos com o método e com oprotótipo desenvolvido e analisado por meio deste trabalho.

No sétimo e último capítulo, são apresentadas as conclusões, as contribuições eas publicações originadas deste trabalho, bem como são relacionados os trabalhos futurosque poderão ser realizados a partir desta dissertação.

CAPÍTULO 2UTILIZAÇÃO DO PUNHO NA EXECUÇÃODE EXCERTOS MUSICAIS AO PIANO

2.1 Introdução

Este capítulo traz uma visão global sobre a técnica pianística, a execuçãoe a interpretação musical e a teoria da utilização do punho ao piano, tendo comoprincipal referência Richerme (1996). São demonstrados também visualmente alguns dosmovimentos de punho referidos pelo autor citado.

2.2 A Técnica pianística

No livro de Richerme (1996) é descrita a técnica pianística como uma ciênciaem função da arte de interpretar e que o resultado final do uso da técnica é individual. Oautor ainda frisa que o princípio da técnica é aplicável a todos, pois, fisiologicamente, asconstituições da musculatura e dos nervos são comuns a todos os seres humanos.

Ainda de acordo com Richerme (1996), existem duas abordagens da técnicapianística: a empírica e a analítica. Na primeira, o autor acredita que não deve existirqualquer tipo de preocupação com problemas técnicos e/ou mecânicos: a técnica deve serabsorvida naturalmente. Já na segunda abordagem, é necessário que se desenvolva umestudo sobre as questões musicais a serem compreendidas.

A técnica é a base para qualquer interpretação musical, pois com ela o intérpretetem o mínimo necessário para a compreensão e controle muscular. Nesse sentido, atécnica deve existir para dar suporte à conquista dos resultados esperados. É importanteressaltar, no entanto, que nenhuma dessas abordagens deve interferir excessivamente nanaturalidade da interpretação e, por consequência, na expressão musical do intérprete.

Na opinião de Ribeiro (2009), o método de ensino e de aprendizagem no estudoao piano, realizado pelos estudantes e intérpretes, é excessivamente livre em relação aosmétodos escolhidos. Esse fato é devido às diferenças tanto físicas quanto psicológicas dosque buscam esse aperfeiçoamento, além da disponibilização, na atualidade, de centenas

2.3 Execução e interpretação musical 19

de métodos e de exercícios de piano. Com isso, a variedade de abordagens em relaçãoà técnica da interpretação pianística, muitas vezes, pode levar, de acordo ainda comRibeiro (2009), a uma interpretação não satisfatória quanto ao resultado sonoro desejado.Nesse sentido, uma preocupação em conhecer e investigar a técnica pianística, em prol dainterpretação, faz-se necessária.

2.3 Execução e interpretação musical

A execução de uma obra musical exige do músico movimentos que auxiliam efacilitam a performance de cada trecho. É necessária a extrema dedicação do intérpretena descoberta dos movimentos adequados para a realização de passagens complexas, deescolhas de toques, de articulações, etc., para ser possível desempenhar o que está emuma partitura.

Richerme (1996) expõe ainda as dificuldades encontradas pelo instrumentistapara alcançar a execução adequada de uma obra musical. Entre elas, o domínio dos mo-vimentos necessários para passar à interpretação desejada é uma tarefa complexa. Nessesentido, esta complexidade é oriunda das particularidades de cada obra, cujos movimentosexigidos são específicos para atingir a sonoridade e a interpretação almejadas.

Segundo Tamura (1990), mesmo levando em consideração a facilidade de seproduzir som ao piano, este é um instrumento com a capacidade de oferecer uma enormegama de variações sonoras pela forma do posicionamento dos braços, pelos diferentesmodos de tocar uma tecla e pelas diferentes velocidades de ataque das teclas. Aindasegundo a autora, quando se executa um trecho em legato1, por exemplo, existem diversasinterpretações possíveis para esse trecho, seja pela sonoridade, articulação dos dedos oupela habilidade de utilização dos punhos.

Apesar disso, há alguns teóricos que não possuem a preocupação com os proces-sos e os problemas fisiológicos e mecânicos do estudo pianístico: afirmam que o indivíduotende a adquiri-los por meio do desenvolvimento musical e da experiência individual. Emcontrapartida, Richerme (1996) destaca que são exceções os indivíduos que alcançaminstintivamente as soluções para os problemas técnicos ou movimentos específicos. O pi-anista está frequentemente em busca da sonoridade desejada e, com isso, acaba sofrendoadequações corpóreas para esse fim, desenvolvendo a técnica como consequência.

Nesse sentido, seria necessário que o aluno de piano desenvolva uma técnicaconsciente, ou seja, entenda e desenvolva os músculos envolvidos na execução pianística,adquirindo agilidade e independência dos dedos, mãos e punhos. Desta forma, quando o

1Ligado, do Italiano, são notas executadas de forma ligada, ou seja, a segunda nota é emitida antes dafinalização do som da nota anterior.

2.4 Teoria da utilização do punho ao piano 20

intérprete já tem a técnica fixada, ter acesso às várias opções de realização interpretativase torna mais natural. Richerme (1996) ainda afirma que muitos são os que estudam piano,mas poucos os que conseguem atingir um nível satisfatório na execução.

Diante disso, reconhecer os aspectos que envolvem o desenvolvimento técnicopianístico e suas implicações interpretativas, ainda durante o processo de aprendizado doaspirante à profissão de músico pianista, potencializa esse objetivo. Nesse processo deautoconhecimento e de desenvolvimento técnico/interpretativo, os punhos têm um papelimportante que deve ser investigado.

2.4 Teoria da utilização do punho ao piano

Na obra de Richerme (1996), ressalta-se a existência de dois tipos de movimentosexecutados pelo punho: os passivos e os ativos. O primeiro refere-se aos movimentos doantebraço levantando e abaixando o punho, sem haver nenhum movimento ativo deste,pois serve apenas como um canal condutor da energia advinda do antebraço para os dedos.Já o movimento ativo é aquele executado pela energia advinda da própria musculatura dopunho.

Com o intuito de melhorar a compreensão dos movimentos de punho já citados,foram incluídas as seguintes figuras: a Figura 2.1(a) demonstra o movimento de flexão,que é abaixar a mão a partir do punho; Figura 2.1(b) demonstra o movimento de extensão,que é levantar a mão a partir do punho; a Figura 2.1(c) mostra a posição intermediária,que acontece entre o movimento de flexão e a extensão do punho; a Figura 2.1(d) refere-se ao movimento de adução, que é a inclinação lateral do punho no sentido do 5◦ dedo;a Figura 2.1(e) mostra o movimento de abdução, o qual é a inclinação lateral do punhono sentido do polegar; a Figura 2.1(f) apresenta o movimento executado pela combinaçãodos movimentos anteriores.

2.4 Teoria da utilização do punho ao piano 21

(a) Flexão. (b) Extensão.

(c) Posição intermediária. (d) Adução.

(e) Abdução. (f) Circundação

Figura 2.1: Movimentos de punho (CARDOSO, 2011).

O estudo e a análise da qualidade sonora advinda da movimentação do punhonão são recentes, e é possível encontrar vários autores que corroboram a influênciados movimentos de punho na produção sonora ao piano. Dentre esses autores, Cardoso(2011) afirma que as possibilidades de movimentos do punho não devem ser descartadas,destacando que eles trazem facilidade para uma performance expressiva e eficaz.

Cardoso (2011) relata ainda a existência de limitações físicas importantes ao se


fazer a escolha dos movimentos ideais para um determinado excerto. É extremamentenecessário considerar essas limitações do punho, evitando, assim, problemas como:Lesões por Esforços Repetitivos (LER), Distúrbios Osteomusculares (DORT), Síndromedo Canal Cárpico, dentre outros.

2.5 Considerações finais deste capítulo

Este capítulo apresentou a inter-relação entre técnica e interpretação musical.Desta forma, comentou sobre a importância da correta compreensão dos movimentos depunho, bem como a utilização do punho durante a interpretação musical.

O próximo capítulo apresenta brevemente a teoria das ferramentas de apoiomusical e os defeitos e as qualidades dos softwares dessa área, relacionando alguns dosmais conhecidos.

CAPÍTULO 3SOFTWARES DE APOIO À EDUCAÇÃOMUSICAL

3.1 Introdução

Bidarra e Rolo (2013) entendem que a superação dos limites está intrínsecaao processo pedagógico. Nesse sentido, a utilização de aplicações que favoreçam aautoavaliação do aluno, juntamente com a vontade de melhorar o próprio desempenho,torna-o mais competente e capaz de obter melhores resultados.

Este capítulo traz uma breve introdução dos problemas enfrentados pelas aplica-ções de apoio à educação musical, alguns aspectos importantes da utilização delas e, porfim, apresenta algumas aplicações conhecidas por estudantes de música.

3.2 A tecnologia no ensino de música

Sabe-se que o uso de tecnologias na educação musical, como, por exemplo, o decomputadores, ainda gera algumas controvérsias entre os profissionais dessa modalidadede ensino (MILETTO et al., 2004). Muitos educadores são contra a adoção de tecnologiana área, mesmo tendo consciência clara da não substituição do professor por qualqueruma das utilizações possíveis do computador na educação musical.

Miletto et al. (2004) acreditam que um maior acesso à informação e pontospositivos da utilização de sistemas informatizados para o ensino poderia colaborar comeventuais resistências à adoção de tecnologias no ambiente de ensino musical, que muitasvezes provém do desconhecimento das ferramentas computacionais disponíveis.

Ressalte-se, ainda, que os estudantes atuais não são iguais aos estudantes para osquais o sistema de ensino foi primeiramente pensado. Os novos alunos crescem em umnovo ambiente tecnológico, com uma cultura própria, e em um ambiente que tende a sermais exigente, competitivo e difícil (BIDARRA; ROLO, 2013). Esse fato deve ser levadoem consideração pelos educadores.

3.3 Os softwares para o ensino de música 24

Trabalhos como o de Pereira (2007) fazem a reflexão sobre a vital importân-cia do educador musical aproveitar os equipamentos e softwares musicais disponíveis nomercado e utilize-os nos laboratórios escolares, já que, segundo o autor, esses subsídiostecnológicos atendem às prerrogativas da musicalização preservadas pela pedagogia mu-sical contemporânea. Quando de posse de uma aplicação de auxílio musical que estejabem contextualizada, o educador torna-se capaz de prever as ações de seus aprendizese também de propor utilizações dessas ferramentas para a resolução de problemas (PE-REIRA, 2007).

Atualmente, existem pesquisas sendo realizadas na aplicação de recursos tecno-lógicos à área musical e, mais especificadamente, no auxílio a alunos de piano (TAKE-GAWA; TERADA; TSUKAMOTO, 2011). O grande inconveniente é que apenas umapequena quantidade dessas pesquisas tem aplicabilidade na educação, apesar de ter sidoconstado por Miletto et al. (2004) que existe, de fato, um aumento significativo no apren-dizado musical por meio dos auxílios tecnológicos.

3.3 Os softwares para o ensino de música

As ferramentas computacionais vêm se tornando cada vez mais presentes enecessárias em diversas áreas, como, por exemplo, nas Ciências Humanas e nas Artes.Porém, a maioria dos softwares comerciais, com enfoque na educação musical, baseia-se nas abordagens pedagógicas tradicionais, sem levar em consideração os aspectoscognitivos relacionados à aquisição do conhecimento musical (JÚNIOR; CASTRO-FILHO, 2005).

Quando se volta ao estudo das Artes e, de forma mais específica ainda, ao ensinode música para alunos de piano, grande parte desse complexo processo de ensino baseia-se no “manual recomendado”, ou seja, numa forma de ensinar baseada em métodosconsagrados pela tradição educativa musical. O que significa serem, ainda, extremamentedependentes da habilidade do professor (BIDARRA; ROLO, 2013).

Com o intuito de aliviar tamanha dependência em relação ao professor, há fer-ramentas bem conhecidas que auxiliam nas muitas etapas do processo pedagógico mu-sical. O MuseScore é uma delas, sendo um editor de partituras livre e multi-plataforma.É um editor WYSIWYG1 completo com suporte para reprodução de partitura e importa-ção/exportação de arquivos de diferentes formatos (inclusive MIDI), notação para percus-são e impressão direta. O software tem uma interface limpa (como pode ser observado na

1É o acrônimo da expressão em inglês “What You See Is What You Get”, a qual pode ser traduzidacomo “O que você vê é o que você obtém”.


Figura 3.1), com a inserção de notas facilitada e bem semelhante aos editores de partiturascomerciais mais populares, como o Finale e o Sibelius (MUSESCORE, 2015).

Figura 3.1: Interface da aplicação MuseScore.

O GNU Solfege é outro software muito útil para músicos que querem treinar apercepção musical (a Figura 3.2 mostra a interface do aplicativo). Ele é uma aplicaçãoque cobre uma ampla gama de técnicas. Além disso, esse programa é livre como oanterior e possibilita que o usuário escolha o que deseja identificar, como, por exemplo,acordes, intervalos, ritmos. No programa, ainda é possível que o professor crie seusscripts de perguntas, fazendo com que o software se adapte ao seu modelo metodológico(SOLFEGE, 2015).

O Midi sheet Music é um aplicativo grátis para a plataforma Android, queconverte arquivos de música MIDI em partituras. A ferramenta processa simultaneamenteos arquivos MIDI, destacando as notas da partitura, como pode ser observado na Figura3.3, a qual mostra o processamento simultâneo da partitura e das notas correspondentesque devem ser tocadas. Além do que, o aplicativo vem, por padrão, com mais de 50músicas de compositores populares de piano clássico. Outro aspecto atrativo da aplicaçãoé o fato de ser possível encontrar os arquivos MIDI das músicas favoritas do usuáriodisponíveis gratuitamente na Internet (MIDI, 2015).


Figura 3.2: Interface da aplicação GNU Solfege.

Figura 3.3: Interface da aplicação Midi Sheet Music.

Já o Synthesia é uma aplicação que procura atrair o usuário de forma divertida.É um jogo que busca ensinar a tocar piano mostrando as teclas que devem ser tocadas(como pode ser observado na Figura 3.4, com a interface da aplicação em funcionamento)pelo usuário, o qual deve seguir tocando o que é indicado pelo software. Caso o usuário


tenha um piano conectado ao computador (por USB, cabos MIDI ou algum adaptador), oaplicativo consegue capturar as teclas tocadas e realizar o score a partir do instrumento, enão mais com base no teclado do computador (SYNTHESIA, 2015).

Figura 3.4: Interface da aplicação Synthesia (SYNTHESIA, 2015).

Seguindo a mesma linha do Synthesia referida anteriormente, o P.I.A.N.O éum protótipo construído para melhorar a curva de aprendizagem do aluno de piano. Oprotótipo foi projetado para o piano, tendo a representação das notas que devem sertocadas mostradas sobre ele, conforme se vê na Figura 3.5. Esse protótipo traz três modosdiferentes para apoiar o processo de aprendizagem natural: a incorporação de feedback aovivo, a avaliação de desempenho do usuário e a apresentação de aspectos de gamificação2

para alcançar os objetivos (WEING et al., 2013).As ferramentas descritas são apenas algumas das utilizadas, pois, é possível

encontrar ainda muitas outras ferramentas, como, por exemplo, Kontakt, Guitar, EarMaster, Perfect Ear, Music Rhythm Master, Chord, iReal, NotateMe, mPD e AmazingSlow Downer.

2É a aplicação de elementos e mecânicas de design de jogos em outros contextos, que não o de jogoseletrônicos.


(a) (b)

Figura 3.5: Protótipo P.I.A.N.O (WEING et al., 2013).

É possível perceber, portanto, o extenso empenho no desenvolvimento de apli-cações que auxiliem nas várias etapas do processo pedagógico musical, tendo em vista avasta gama de aplicações disponíveis.

A partir do conhecimento dessa variedade de aplicações computacionais dispo-níveis para a educação musical, é possível fazer a seguinte divisão dos usos das aplicações(MILETTO et al., 2004; PEREIRA, 2007):

1. Utilização de software musical em geral (editores de partituras, sequenciadores,etc.) como ferramenta educativa, mesmo que não tenha sido desenvolvida para esseobjetivo;

2. Utilização de software puramente educativo-musical (treinamento auditivo, tutoresteórico-musicais, etc.), criado especificamente para educação musical;

3. A utilização de um ou vários softwares configuráveis pelo próprio educador, de talforma que este pode montar um ambiente adaptado a uma estratégia de ensino emparticular ou a uma situação específica.


Neste capítulo, foram apresentadas ferramentas que podem ser utilizadas comoapoiadoras da edução musical. Ferramentas essas que podem ser utilizadas para aliviaro processo de ensino de piano. Já que grande parte deste processo ainda é baseado emobservação humana, passada de professor para aluno de maneira predominantementeempírica.

O capítulo seguinte discorre sobre o protótipo que foi desenvolvido para aaplicação do método proposto.

CAPÍTULO 4SISTEMA DE AUXÍLIO AOENSINO-APRENDIZAGEM DEMOVIMENTOS DE PUNHO AO PIANO

4.1 Introdução

Este capítulo descreve o protótipo do sistema desenvolvido, batizado de SAAMP,que é um sistema de auxílio à aprendizagem de movimentos ao piano, visando a melhoriado auto conhecimento do músico para com a interpretação musical. Ainda neste capítulo,descreve-se a maneira como o sistema fica instalado sobre um piano, além de explicare mostrar por meio de figuras a interface dos dois módulos de execução do sistema, omódulo tutor e o módulo aprendiz.

4.2 Design e implementação

O protótipo foi desenvolvido utilizando-se os recursos presentes na Tabela 4.1.A linguagem de programação Java foi escolhida para o desenvolvimento pois é umalinguagem robusta, segura, portável e tem um arquitetura neutra. Como Java também éuma linguagem simples baseada na linguagem C++, ela é mais compreensível, prática efácil de programar.

Para o desenvolvimento do protótipo foi utilizada a metodologia de desenvolvi-mento ágil. Essa abordagem foi escolhida não só porque o software funcionando é maisimportante do que uma documentação completa. Mas também, porque essa metodologiatornou mais efetiva a colaboração de um musico experiente como especialista do projetode desenvolvimento. Fazendo assim com que as alterações necessárias fossem aparecendoao longo do processo, e não ao final, inviabilizando todo o processo.

A interface da aplicação foi desenvolvida de maneira a acomodar o necessárioem uma resolução de 1366 x 768 (16:9), levando-se em conta o que fosse indispensávelpara o usuário durante a utilização. O componente da interface a qual foi dado a maior

4.2 Design e implementação 30

Tabela 4.1: Recursos para o desenvolvimento do protótipo.

Recurso Versão UtilizaçãoEclipse 4.4.2 (Luna) Ambiente de desenvolvimento integrado

Java 1.7 Linguagem de programação

HSQLDB Banco de dados (HSQLDB, 2015)

Java Swing 1.0Widget toolkit para renderizar/desenhar

os componentes de interface

Hibernate e JPA 4.3 e 2.1Utilizados para realizar o mapeamento

objeto-relacional escrito na linguagem Java

AVIDemo -Biblioteca para fazer leitura e gravação

dos vídeos .avi

ICEpdf -Biblioteca para fazer leitura das partituras

(arquivos .pdf) (ICEPDF, 2015)

Webcam Capture API 0.3.10Biblioteca para acessar a webcam,

fazendo as capturas de imagens(WEBCAM, 2015)

importância é a exibição da partitura, já que esta é uma das principais referências para omúsico.

Como foi implementado dentro da aplicação um metrônomo1, a saída de áudiodo notebook onde o sistema é executado pode ser conectada na entrada auxiliar dopiano, caso o piano em questão seja digital, fazendo com que o músico consiga ouviro metrônomo durante a gravação do excerto (Módulo Tutor) e/ou execução do excerto(Módulo Aprendiz).

Para a captura dos movimentos do músico, é utilizada uma Webcam posicionadacom o auxilio de um tripé. A Webcam fica a 60 centímetros acima do teclado do piano,oferecendo uma boa imagem da(s) mão(s) do pianista e, consequentemente, do marcadorfixado nas costas da(s) mão(s) do músico. A Figura 4.1 mostra a montagem do ambiente,montagem essa que foi realizada sobre um piano digital Clavinova CVP 401A.

Tanto no módulo aprendiz, quanto no módulo tutor, foram implementadas linhasde orientação para a realização do travamento da imagem de captura da Webcam. Essaslinhas de orientação podem fazer-se visíveis (ativadas) ou não (desativadas). O desenvol-

1É um relógio que mede o tempo do andamento musical. Produzindo pulsos de duração regular, ele podeser utilizado para fins de estudo ou interpretação musical.

4.3 Sistema para auxiliar o aprendizado de movimentos ao piano com fins interpretativos (SAAMP) 31

vimento das linhas foi realizado para viabilizar o travamento horizontal da imagem dacâmera na base do teclado e o vertical na oitava central do piano.

Figura 4.1: Design do sistema.

4.3 Sistema para auxiliar o aprendizado de movimentosao piano com fins interpretativos (SAAMP)

O sistema SAAMP é parcialmente dependente do tutor. É necessário que estefaça a gravação de, no mínimo, três execuções de um mesmo excerto e gere o treino paraque o módulo do aprendiz tenha sua funcionalidade ativada.

O sistema possui dois módulos de execução: o de tutor, mais complexo, é noqual os parâmetros de realização do excerto são definidos, bem como as gravações dainterpretação do tutor ou da interpretação musical para a prática do aprendiz são feitas. Jáo segundo módulo é o do aprendiz, em que este realiza o treinamento do excerto com osmovimentos interpretativos propostos pelo tutor.

4.3.1 Módulo Aprendiz

A execução do sistema SAAMP como aprendiz tem uma interface pouco confi-gurável, já que grande parte dos parâmetros são ajustados pelo tutor no momento em queele realiza as gravações. Além disso, os parâmetros são fixos para que o aprendiz compareseus movimentos com os sugeridos pelo tutor.


Figura 4.2: Interface do SAAMP módulo aprendiz.

A Figura 4.2 mostra a tela do sistema SAAMP executado em módulo aprendiz.A figura foi dividida em painéis (marca d’água) para facilitar a explicação.

• Painel A : Painel de visualização da partitura (.pdf) e alguns botões para edição dodocumento como zoom, dimensionamento da página, girar e etc.• Painel B : Botão de escolha da câmera que devem ser capturadas as imagens,

qual o excerto será executado, indicação da quantidade de compassos o aprendizdeve esperar para iniciar a execução do excerto, campo para a escolha da taxa detolerância para a execução do aprendiz e por ultimo botões de travamento do sistema(tanto para travamento do marcador como para o posicionamento da câmera).• Painel C : Visualização da execução real-time e botões para mostrar a gravação da

execução do professor, salvar ou não a execução, mostrar a trajetória da execuçãodo professor e o botão de iniciar e pausar a execução.• Painel D : Indicações das configurações do metrônomo feita pelo tutor como a

quantidade de batidas por minuto (BPM), o formato do compasso, as unidadespor compassos, a unidade de tempo da nota, se o aprendiz preferir pode escolheruma sub-divisão para cada nota e também é possível escolher quais batidas serãoacentuadas.

O aprendiz primeiramente escolhe qual o excerto ele desejá exercitar, então toda a telaé atualizada com as informações já pre-definidas pelo tutor que gerou a referência doexcerto escolhido pelo aprendiz. Campos como o de quantidade de compassos para oincio da execução, tempo (BPM), criar tempo, unidades por compasso , unidade de tempo


(nota) não podem ser alterados pelo aprendiz. Esses campos são determinados pelo tutorao realizar a geração da referência do excerto.

Com a intenção de proporcionar uma melhorar compreensão do usuário aprendizno momento da execução de um excerto, foram propostos dois modelos para apresentaras informações. O primeiro recurso é um “tutorial” (conforme a Figura 4.3), no qual émostrado uma trajetória, construída a partir de uma das gravações realizadas pelo tutor,que serve como guia para o aprendiz. O segundo recurso é um “feedback” (conforme omostrado na Figura 4.4), em que é exibida, ao final da execução do trecho musical, aproximidade obtida pelo aprendiz em relação às execuções gravadas pelo tutor.

Figura 4.3: Interface do SAAMP módulo aprendiz mostrando atrajetória a ser seguido.

A Figura 4.4 é bem similar a Figura 4.3 porem ela representa o momento finalda execução de um excerto por um aprendiz. O desempenho obtido pelo aprendiz éapresentado (marca d’água C), demonstrando a quantidade de blocos presentes no excertoexecutado, a quantidade de blocos executados similarmente a execução proposta pelotutor e a proporção de acertos. Proporção essa que é calculada realizando a divisão daquantidade total de blocos e a quantidade de blocos similares.


Figura 4.4: Interface do SAAMP módulo aprendiz mostrando odesempenho, considerando a medida de similaridadeentre a execução do aprendiz e a referência geradapelo tutor.

4.3.2 Módulo tutor

Figura 4.5: Aba Excerto do módulo tutor do sistema SAAMP.

O módulo tutor, apesar de ter uma maior quantidade de telas, foi criado comoinstrumento para o tutor realizar as atividades necessárias para geração do treinamento.


Esse módulo é composto por três abas: Excerto, Gravação e Edição. A primeira é aExcerto (demonstrada na Figura 4.5):

• Painel A: Botão para a criação de novos excertos, lista com todos os excertos jácriados e botão para a exclusão de excertos.• Painel B: Lista com todas as gravações de um excerto selecionado e um botão para

a exclusão de uma determinada gravação.• Painel C: Campos editáveis do nome de um excerto, nome de uma gravação, campo

para marcar a gravação selecionada como sendo a ”melhor", campo para marcar sea gravação selecionada pertence ou não a referência do treino e a taxa de quadrospor segundo da gravação.• Painel D: Campo para a anotação de observações do excerto selecionado.• Painel E: Campo para a anotação de observações da gravação selecionada.

Após ter realizado as gravações de um determinado excerto, é ainda na abaExcerto que o tutor faz a escolha de quais gravações disponíveis vão fazer parte dageração do treinamento e, efetivamente, realizar essa geração (Botão Gerar treino nofinal da aba). O treinamento gerado será, então, o praticado pelo aprendiz.

Figura 4.6: Aba Gravação da execução como tutor do sistemaSAAMP.

A segunda aba, Gravação (Figura 4.6), é onde o tutor escolhe a qual excerto agravação irá pertencer, como também pode escolher a quantidade de compassos para oinício da execução do excerto. Em seguida, realiza-se a gravação do trecho musical.

Na aba Gravação, também foi incluído um metrônomo (Painel com marcad’água D). O BPM, compasso e etc é configurável, não somente para dar a correta


orientação temporal para o aprendiz no momento da prática, mas também para orientar otutor sobre qual velocidade está sendo executado o excerto.

Com a última aba, Edição (Figura 4.7), o tutor consegue visualizar cada uma dasgravações de um excerto feitas por ele. Na aba Edição existem dois painéis:

• Painel A: É possível visualizar a execução feita, através dos botões de um player devídeo padrão.• Painel B: Lista de excertos e gravações para a escolha de qual vídeo pretende-se

visualizar.

Figura 4.7: Aba Edição da execução como tutor do sistema SA-AMP.


O capítulo descreveu os dois módulos (tutor e aprendiz) do protótipo do sistemaSAAMP. A conformação deste foi motivada pela aplicabilidade do método proposto, queserá explicado no próximo capítulo, e pela realização de um questionário de usabilidadecom os usuários da ferramenta, cujos resultados são demonstrados na Subseção 6.4.

CAPÍTULO 5MÉTODO PARA RASTREAMENTO ERECONHECIMENTO DE GESTOS

5.1 Introdução

Este capítulo visa descrever o método proposto, que consiste em rastrear ecomparar os gestos do tutor e do aprendiz ao tocarem um excerto.

Para isso, inicialmente seria preciso fazer o reconhecimento de um ponto centralda mão do pianista, repetindo esta ação quadro a quadro até o término da execuçãodo excerto. Dessa forma, constrói-se uma trajetória dos movimentos realizados pela(s)mão(s) observada(s). Por fim, os dados dessa trajetória são armazenados para uso nospróximos passos do método.

Após o armazenamento, tais dados de trajetória podem ser utilizados para gerara referência (explicada na Seção 5.4). Na sequência da geração da referência, é possívelinserir uma nova execução e calcular o quão próximo ela está das outras que foramutilizadas para o treino.

5.2 Detecção e Rastreamento

A princípio houve a iniciativa de realização da segmentação de pele utilizandoas características de espaços de cores (RGB, HSV, YCbCr, . . . ) sobre a textura de pele.Levando trabalhos como de Zhang e Li (2011) e Phung, Bouzerdoum e Chai (2005)em consideração. Porem não era de interesse deste trabalho, construir um ambientecontrolado. Sem o qual, se torna muito trabalhoso a utilização das características deespaços de cores para a segmentação. Problemas bem conhecido na utilização desse tipode técnica é a sensibilidade a iluminação e texturas de outros objetos, que podem serconfundidas com a textura da mão.

Todavia, foi encontrado um problema com alguns movimentos dos dedos, pois,quando se considera a mão como um todo para a segmentação, dependendo da movimen-

5.2 Detecção e Rastreamento 38

tação realizada pelos dedos, o centro de massa pode ser deslocado mesmo sem existir umdeslocamento real da mão (Figura 5.1).

(a) Imagem RGB (b) Imagem segmentada (c) Posicionamento do cen-tro de massa

(d) Imagem RGB (e) Imagem segmentada (f) Posicionamento do cen-tro de massa

Figura 5.1: Exemplo de uma possível movimentação dos dedossem existir um real deslocamento do centro de massa.

Em virtude disso, cogitou-se, inclusive, a hipótese de construção de uma luvacolorida para realizar a segmentação conforme o trabalho de Wang, Lin e Yang (2013).Entretanto, imediatamente constatou-se que a luva poderia prejudicar a movimentação domúsico. Pensando nisso e utilizando o trabalho de Theobalt et al. (2004) como ponto departida. Em vez de utilizar algoritmos de rastreamento e detecção, com a finalidade depreservar a constância do centro de massa da mão rastreada, foi utilizado um marcadorcom formato retangular fixado nas costas da mão do pianista. A Figura 5.2 mostra umexemplo da mão do pianista com o marcador, cuja cor é monocromática e intensa.

5.2 Detecção e Rastreamento 39

Figura 5.2: Exemplo da mão do pianista com marcador.

Para o reconhecimento do marcador, é necessário que o pianista mantenha suamão posicionada em uma área pré-definida da imagem para a coleta de alguns quadros1

e, então, identificar a cor média do marcador. Após esta etapa, todo objeto da mesma corserá identificado como marcador, portanto, foram utilizadas cores intensas e pouco usadasem peças de vestuário e no ambiente. O que tornou factível a identificação do marcadorna imagem após a realização do reconhecimento dos limites de cor RGB do marcador.

Após a identificação e o isolamento de apenas os pixels com a cor desejada,além da remoção dos ruídos indesejáveis e para cobrir eventuais falhas no marcador, deveser realizada uma operação de fechamento da imagem (dilatação seguida de erosão). Aotérmino dessa etapa, e como neste trabalho também é preciso não somente realizar adetecção, mas também conhecer centro de massa da mão, calcula-se o ponto central domarcador conforme a Equação (5-1).

M =Ptl +Pbr

2, (5-1)

onde PtlPbr, Ptl e Pbr são os vértice superior esquerdo e vértice inferior direito do marcadore M é o ponto médio do segmento.

Por fim, com a identificação do centro de massa M, constrói-se uma sérietemporal Equação (5-2) com as coordenadas de M a cada quadro, possibilitando, assim,descrever a trajetória de movimentação da(s) mão(s) do pianista.

H(t) = {M1,M2, . . . ,Mn}, (5-2)

onde H(t) é a série temporal, de M1 ha Mn são as coordenadas do centro do marcador e n

é a quantidade de quadros da série.

1São imagens que ao serem agrupadas formam um vídeo. A média de captura de quadros em um vídeoé de 30 quadros por segundo.

5.3 Reconhecimento de gestos 40

Ao término desse processo, cada série temporal é salva na base de dados paraque possa ser aplicado o próximo passo do método.

5.3 Reconhecimento de gestos

O reconhecimento de gestos de mão vem se tornando popular em várias aplica-ções computacionais. Em virtude disso, o problema da realização desse reconhecimentode gestos tornou-se tema de muitos trabalhos, dentre eles, os de: Peixoto, Gonçalves eAraujo (2002); Yang e Ahuja (2001); Ren, Yuan e Zhang (2011); Guo et al. (2012) eKasprzak, Wilkowski e Czapnik (2012).

Neste trabalho o MD-DTW, que é uma versão n-dimensional do DTW, é uti-lizado para realizar o calculo de similaridade entre os gestos. Para tornar a explicaçãomais intuitiva, primeiramente foi exposto o DTW na Subseção 5.3.1 e posteriormente oMD-DTW na subseção 5.3.2.

5.3.1 Dynamic time warping (DTW)

O Dynamic time warping (DTW) é um algoritmo bem conhecido que estápresente em muitos trabalhos como, por exemplo, em Ratanamahatana e Keogh (2004),Müller (2007),Salvador e Chan (2007), Senin (2008), Fujimoto et al. (2009) e Adwan eArof (2012).

Já no trabalho de Fujimoto et al. (2009), é utilizado o DTW para construir umsistema no qual o dançarino, ao dançar, pode criar a música de fundo. Durante o estudopiloto do trabalho, os autores verificaram a necessidade de sincronizar os movimentosperformáticos de dança com a música de fundo. Os resultados do trabalho mostraramque o método proposto pelos autores passa uma sensação de ligação perfeita entre omovimento e o som.

No caso do trabalho de Hussain e Rashid (2012), os autores fazem uma alteraçãona implementação do DTW, cuja finalidade é diferente do trabalho anteriormente citado.Os autores propõem um novo método para o tratamento dos dados advindos dos sensoresdo acelerômetro. Esse novo método é baseado no reconhecimento de gestos independen-tes de mão. Os resultados do trabalho encontraram uma precisão global de 96,4% noreconhecimento de gestos de usuários independentes.

Wenjun et al. (2010), em seu trabalho, abordam o problema de reconhecimentode gestos de mão dinâmicos a partir de sequências de vídeo. Os autores apresentaramuma nova abordagem, com base em trajetórias de movimento e em formas de mãosem quadros-chaves, de modo que o DTW é utilizado para o calculo de similaridade dastrajetórias desses movimentos de mão. Os resultados obtidos por meio dos experimentos


feitos no trabalho mostram que a abordagem proposta é capaz de efetivamente reconheceros movimentos dinâmicos de mão.

Como pode ser percebido, o DTW é um algoritmo que teve, e ainda tem, suaaplicação para a solução de diversos problemas. Apesar da complexidade algorítmica serde ordem quadrática

(O(n2)), ele é um bom recurso para a solução de problemas de

uma grande variedade de domínios como, por exemplo, a bioinformática, a medicina, aengenharia, o entretenimento, etc (RATANAMAHATANA; KEOGH, 2004).

Foi também esse o algoritmo escolhido para utilização neste trabalho, poisalinha duas sequências de dados semelhantes, mas que diferem em seu tamanho, e temcomo objetivo encontrar o melhor alinhamento entre duas sequências unidimensionaise descobrir a distância entre elas. A Figura 5.3 demonstra visualmente como é feito oalinhamento de séries temporais (A e B) através da aplicação do DTW.

Figura 5.3: Exemplo de alinhamento de duas séries temporais(SALVADOR; CHAN, 2007)

Quando se considera duas sequências unidimensionais R = r1,r2, ...,rN e T =

t1, t2, ..., tM de tamanhos N e M, respectivamente, onde N 6= M, porem ambas possuem amesma duração no eixo do tempo.

O primeiro passo do algoritmo DTW é calcular a distância entre cada um doselementos de cada uma das séries temporais, e o cálculo é feito de acordo com a Equação(5-3).

d(i, j) = (R(i)−T ( j))2 , (5-3)

onde R(i) é o elemento vetor temporal R na posição i, T ( j) é o elemento vetor temporalT na posição j, com o quadrado da diferença desses valores consegue-se calcular o valorde d(i, j) sendo d a matriz de distância na linha i e coluna j.

O segundo passo do algoritmo é construir a matriz de distância acumuladaconforme a Equação (5-4). A matriz é construída com base no paradigma da programação


dinâmica. Com essa expressão, é possível obter o custo de associação de R(i) e T ( j).

D(i, j) = d(i, j)+min

D(i−1, j)

D(i, j−1)D(i−1, j−1)

, (5-4)

onde D(i, j) é a matriz de distância acumulada na linha i e coluna j com o valor calculadoutilizando a de distância d(i, j), explicada na Equação (5-3), somada com o menor valordas três posições vizinhas anteriores à posição referida.

Porém, existem problemas que têm a necessidade de trabalhar com sequênciastemporais multidimensionais, que é o caso desta pesquisa, que trabalha com os dois eixoscartesianos (x e y) além do tempo. Quando existe a necessidade de se alinhar sequênciasmultidimensionais, a maneira mais simples é aplicar o DTW em cada uma das dimensõesdas séries temporais, fazendo com que a soma das distâncias de todas as dimensões possamostrar a semelhança entre duas sequências (SANGUANSAT, 2012).

Entretanto, ao utilizar o DTW como exposto acima, os pontos correlacionadospela sincronização não estarão corretos. Para gerar uma solução para essa brecha presenteno DTW e deixá-lo mais genérico, foi desenvolvido o Multidimensional Dynamic Time

Warping.

5.3.2 Multidimensional Dynamic Time Warping (MD-DTW)

Para implementação e utilização do algoritmo MD-DTW neste trabalho, foramtomados como orientação trabalhos como o de Holt, Reinders e Hendriks (2007) e o deSanguansat (2012).

Antes da utilização do algoritmo MD-DTW sobre as séries temporais pertencen-tes ao treino, é necessário passá-las pelo processo de normalização dos pontos Mi da sérietemporal H(t) (SANGUANSAT, 2012). Ainda que os gestos sejam idênticos, eles acabamtendo valores de xi e yi diferentes. Para a realização da normalização das séries temporaisfoi utilizada a função de normalização pelo desvio padrão Equação (5-5), também cha-mada de Z-Score (ABDI; WILLIAMS, 2010). Ao se aplicar a Equação (5-5), os valoresda sequência temporal são normalizados, com média zero e desvio padrão unitário.

zi =Mi−µ

σ, (5-5)

onde zi é o resultado do elemento Mi normalizado, da sequência temporal H(tb), sendo µ

e σ a média e o desvio padrão da sequência temporal H(t), t = 1, . . . ,n.O primeiro passo do algoritmo MD-DTW é executar o cálculo da matriz de

distância, conforme a Equação (5-6). Com essa expressão, é possível calcular o somatório


da distância entre cada um dos elementos das séries temporais multidimensionais.

d(i, j) =K

∑k=1

(Ha(i,k)−Hb( j,k)

)2, (5-6)

onde Ha(i,k) e Hb( j,k) são séries temporais na dimensão k e posições i e j respectivamente,d(i, j) representa o somatório do quadrado da diferença das séries temporais, sendo d amatriz de distância na linha i e na coluna j.

O segundo passo do algoritmo é construir a matriz de distância acumuladaEquação (5-4), que foi apresentada na Subseção 5.3.1.

5.3.3 Quebra de blocos

O MD-DTW, apesar de dar acesso à evolução temporal da trajetória, tem o incon-veniente de realizar a decisão de classificação apenas no final da entrada (CARAMIAUX;TANAKA, 2013). Para a utilização do MD-DTW neste trabalho e não ser necessário a fi-nalização da execução para o reconhecimento dos gestos, tornando assim o método maisinterativo, as sequências temporais H(t) foram divididas em blocos de tb de 1 segundo.Esta divisão em blocos fez com que, ao realizar o reconhecimento de gestos, o atraso dereconhecimento seja de 1 segundo.

Um aspecto que deve ser ressaltado é que apesar de utilizar a mesma frequênciade amostragem (o sinal é dividido em blocos de 1 segundo). A utilização da técnica temo intuito de fazer o alinhamento dos movimentos e não o alinhamento da distorção dotempo.

5.3.4 Reconhecimento

O reconhecimento dos gestos é a etapa final do método, e é nela que se tornapossível a identificação da proximidade entre os gestos escolhidos para o treinamento euma nova execução.

O aluno escolhe qual excerto deseja exercitar e o valor do fator multiplicante f ,que aumenta ou diminui a restrição do método, pois, quanto maior o f , mais permissivoé o método, aceitando movimentos mais distantes da referência. Por outro lado, quantomenor for o valor de f , mais restritivo é o método, restringindo o movimento para sermais parecido com os que foram realizados no treino.

Quando gera a referência, o tutor também escolhe qual execução feita por ele foia “melhor”, para que nessa etapa de reconhecimento de gestos ela seja comparada com aexecução real-time do aluno, conforme o cálculo da Equação (5-7).

MD−DTW (Hp(tb),Ha(tb))≤ Distb + f σb, (5-7)

5.4 Geração da referência para o treino 44

onde Hp(tb) e Ha(tb) são blocos da “melhor” série temporal escolhida pelo tutor e a sérietemporal referente a execução real-time do aluno, respectivamente, σb é o desvio padrãodo calculo de Distb que representa o bloco bi−simo resultado da Equação (5-8), e por fimf é um fator multiplicante do desvio padrão.

5.4 Geração da referência para o treino

Para a geração da referência, o tutor deve escolher uma quantidade m de sériestemporais H(t) para pertencer ao treino, tal que 3 ≤ m ≤ n, ou seja, m tem de ser maiorou igual a três e menor ou igual a n, onde n representa a quantidade de séries temporaisgravadas pelo tutor. Após o tutor realizar a escolha de quais H(t) salvas serão utilizadas,é executado o processamento conforme a Equação (5-8).

Distb =1(m2

) m−1

∑k=1

m

∑i=k+1

MD−DTW (Hk(tb),Hi(tb)), (5-8)

onde Distb é a distancia de cada bloco, distancia essa que é feita pelo cálculo da médiaaritmética simples do somatório do resultado do algoritmo MD−DTW , aplicado sobreas séries temporais Hk(tb) e Hi(tb); e tb é o i-ésimo bloco das séries temporais Hk(tb) eHi(tb).

5.5 Método de Avaliação de Desempenho

5.5.1 Matriz de confusão

A matriz de confusão é um método típico para a avaliação de classificadores(CHAWLA, 2005; CHAWLA et al., 2002). Foi essa matriz a utilizada para realizar avalidação de parametrização do método proposto.

A Figura 5.1 ilustra uma matriz de confusão. Nela, as colunas são as classesatribuídas pelo classificador e as linhas são as classes reais (gabarito). Em uma matriz deconfusão, TN (True Negative) é o número de exemplos falsos corretamente classificados,FP (False Positive) é o número de exemplos falsos incorretamente classificados comoverdadeiros, FN (False Negative) é o número de exemplos verdadeiros incorretamenteclassificados como falsos e TP (True Positive) é o número de exemplos verdadeiroscorretamente classificados.

5.5 Método de Avaliação de Desempenho 45

Tabela 5.1: Matriz de confusão(CHAWLA et al., 2002).

PredictedNegative

PredictedPositive

ActualNegative

TN FP

ActualPositive

FN TP

Além disso, em uma matriz de confusão, os números contidos na diagonalprincipal representam as decisões tomadas corretamente. Já os números contidos nadiagonal secundária representam os erros, a confusão entre as várias classes.

Essa matriz é a base para o cálculo para muitas métricas comuns (FAWCETT,2006). A Tabela 5.2 mostra as equações de várias métricas calculadas a partir da matrizde confusão (Figura 5.1).

Tabela 5.2: Equações de métricas calculadas a partir da matriz deconfusão.

Taxa de FP = FPN Taxa de TP = T P

P

Precisão = T PT P+FP recall = T P

P

Acurácia = T P+T NP+N

5.5.2 Ganho de aprendizagem

O cálculo destinado à avaliação do ganho de aprendizagem é utilizado emtrabalhos como: Hake (1998),Prather, Rudolph e Brissenden (2009) e Colt et al. (2011).Foi criado para realizar a avaliação do ganho de aprendizado do indivíduo em um curso,que é ensinado no mesmo dia da avaliação do conhecimento. A Equação (5-9) é a fórmulapara o cálculo do ganho de aprendizagem.

Ga =posteste− preteste

maxteste− preteste(5-9)

onde posteste é o desempenho obtido na avaliação posterior a passagem do conteúdo,preteste é desempenho obtido anteriormente a passagem do conteúdo. E o ganho deaprendizagem Ga é calculado a partir da diferença entre posteste e preteste divido peladiferença do desempenho máximo possível maxteste e preteste.

Segundo Prather, Rudolph e Brissenden (2009), o ganho de aprendizagem édivido em três faixas: até 30% é definido como um ganho baixo; de 30% até 70% é uma


faixa de um ganho médio e de 70% até 100% é um ganho alto. Ressalte-se, ainda, que ométodo define que, quando um indivíduo obtém um ganho de aprendizado negativo, essevalor deve ser descartado.

5.5.3 Teste de usabilidade

Para realizar o teste de usabilidade com os voluntários, foi planejado um questi-onário, cujas questões encontram-se na Tabela 5.3.

Tabela 5.3: Questionário para a realização do teste de usabili-dade.

Letras Questões

A O sistema é intuitivo (é fácil saber a funcionalidade de cada componente)?

B Foi fácil executar a(s) tarefa(s) proposta(s)?

C As informações recebidas foram suficientes para utilização do sistema?

D A trajetória indicada pelo sistema auxilia na execução?

EA medida de desempenho gerado ao final da execução auxilia na comparação de proximidade da

sua execução com a referência?

F O sistema auxilia na compreensão dos gestos?

G O sistema viabiliza uma forma mais simples para o aprendizado de gestos?

Um questionário também foi elaborado para saber a opinião dos usuários sobrea importância e o posicionamento dos elementos da interface, tais como:

1. Partitura2. Imagem da câmera3. Metrônomo4. Vídeo do tutor5. Vídeo do aprendiz


Este capítulo apresentou detalhadamente o método proposto neste trabalho. Paraisso, foi apresentado o MD-DTW, uma adaptação para tornar o DTW mais genérico. Aescolha pela explicação do DTW anteriormente à do MD-DTW deve-se à facilidade tantopara elucidação quanto à compreensão da técnica utilizada.

Ainda neste capítulo, também foram descritos os procedimentos utilizados paraa parametrização e a validação do método, o cálculo do ganho de aprendizagem proporci-onado pelo protótipo e o questionário planejado para a realização do teste de usabilidade.


O próximo capítulo é sobre os resultados obtidos com os experimentos. Fazendonão só uma explicação do ambiente de experimentação mas também realizando umaanalise dos resultados obtidos.

CAPÍTULO 6RESULTADOS OBTIDOS

6.1 Introdução

Conforme o exposto neste trabalho, os capítulos 4 e 5 apresentaram, respectiva-mente, o desenvolvimento do protótipo do sistema SAAMP e o método proposto utilizadopelo sistema.

Para dar sequência, este capítulo dissertará sobre a forma como foram realizadasa parametrização1 e validação do método e os resultados obtidos por meio dos experi-mentos. O presente capítulo também expõe a forma como foi feito o teste de usabilidadedo protótipo, assim como mostra os resultados obtidos nos questionários e nos dadosadquiridos pela utilização do sistema pelos usuários.

6.2 Experimentos

Foram feitos dois experimentos neste trabalho: primeiro, foi realizado o deparametrização e validação do método de reconhecimento de gestos. Posteriormente aodesenvolvimento do protótipo SAAMP, foram efetivados um experimento para medir oganho de aprendizagem e um teste de usabilidade com voluntários.

Todos os excertos propostos nos testes não foram criados para a realização destetrabalho, assim, são trechos de obras famosas e conhecidas. É importante ressaltar quecom a intenção de reduzir a complexidade do protótipo, foi decidido pela a utilizaçãode apenas uma das mãos dos músicos. Uma vez que este é um começo adequado aotreinamento de iniciantes (WEING et al., 2013).

A Tabela 6.1 mostra a configuração computacional que foi utilizada para arealização deste trabalho.

1É o processo de decisão e definição dos parâmetros necessários para uma especificação completa ourelevante de um modelo

6.3 Parametrização e validação do método 49

Tabela 6.1: Recursos computacionais utilizados nesta etapa.

Processador Intel Core i7 - 2o GeraçãoMemória RAM 8 GB

Câmera Webcam HD 720P C270 LogitechSistema Operacional Linux Mint Cinnamon 17.1 (Rebecca)

6.3 Parametrização e validação do método

Para a realização da parametrização e da validação do método, foram gravadosvídeos com execuções de excertos realizadas por um especialista.

Os vídeos foram gravados com uma taxa de trinta quadros por segundo eresolução de 640x480. O posicionamento da câmera é igual ao que foi explicado naSubseção 4.2.

Na realização do experimento, foram propostos cinco excertos (contidos naTabela 6.2), cujas partituras encontram-se no Apêndice A.

Tabela 6.2: Excertos propostos para parametrização e validaçãodo método.

Excerto Música

ASonatina em Dó maior Op. 55, N.1 Allegro de Fridrich Kuhlau

(Compassos 1 ao 5)

BMinueto em sol maior Johann Sebastian Bach

(Compasso 1 ao 8)

CSonatina em Dó maior Op. 55, N. 1 Vivace de Fridrich Kuhlau

(Compassos 1 ao 8)

DSonatina em Dó maior Op. 157, N. 4 Allegro Moderato de Fritz Spindler

(Compassos 1 ao 8)

ESonatina em Fá maior Ludwig van Beethoven

(Compassos de 1 ao 18)

Para cada um dos cinco excertos propostos foram gravados sete vídeos, os quaissão classificados da seguinte maneira:

• As três primeiras gravações são execuções desejáveis e tentou-se realizá-las damaneira mais parecida quanto possível.• As três gravações seguintes têm desvios2 aleatoriamente inseridos pelo especialista

ao longo da execução.

2Trechos sem movimentos de punho

6.3 Parametrização e validação do método 50

• Na última gravação, foi realizada a execução do excerto sem a movimentação dopunho do especialista.

Para todas as gravações nas quais foram inseridos desvios, foi realizada uma análiseempírica pelo especialista para detectar em quais momentos o(s) desvio(s) acontece(m)ao longo da execução. Tornando possível, assim, a identificação do quadro inicial do erroe o quadro final.

O experimento de parametrização foi realizado, utilizando as três primeirasgravações para compor a geração da referencia correta. Então foram realizados testesentre a referencia gerada e todos os 7 vídeos. Assim sabendo se a técnica é capaz determinar em que bloco acontece um erro e em que bloco não acontece.

Durante essa fase de análise, foram feitos experimentos com várias quantidadesde quadros por segundo e com vários tamanhos de blocos. Empiricamente, por meio dosresultados obtidos pelas análises e levando-se em consideração a meta do trabalho, foiescolhida a quantidade de cinco quadros por segundo para o processamento, o que diminuio tempo gasto no processamento dos dados das gravações. Como a finalidade de aplicaçãodo método era ser feita em tempo real, foi considerado o tamanho do bloco equivalenteà quantidade de quadros presentes em um segundo (5 quadros). Dessa forma, o atraso declassificação do método seria de um segundo.

6.3.1 Análise dos resultados

Como foi descrito na Subseção 5.5.1, o método escolhido para parametrização evalidação foi a matriz de confusão. De forma que esta Tabela 6.3 foi construída a partir dosresultados obtidos com aplicação do método sobre as gravações feitas pelo especialistatendo f = 0.

Tabela 6.3: Matriz de confusão.

ClassPredictedNegative

PredictedPositive

ActualNegative 152.00 13.00

ActualPositive 33.00 34.00

Total 185.00 47.00

Com a observação da diagonal principal da Tabela 6.3, é perceptível que ométodo consegue acertar na predição de próximo ou distanciado. Porém, não se podedeixar de lado a análise da diagonal secundária, que tem resultados interessantes a seremconsiderados. A análise da diagonal secundária da Tabela 6.3 mostra qual o tipo depredição errônea tem maior valor.

6.4 Teste de usabilidade 51

Nesse sentido, um valor importante que deve ser observado cuidadosamente naTabela 6.3 é FN igual a 33. Esse valor é muito maior que o valor de FP e isso indica queo método está sendo muito rigoroso em sua classificação.

Com os valores da Tabela 6.3 e as Equações contidas na Tabela 5.2, foramcalculadas algumas métricas que auxiliam e tornam ainda mais clara a compreensão dosresultados do experimento do método. As métricas calculadas são apresentadas na Tabela6.4.

Tabela 6.4: Métricas calculadas a partir da Tabela 6.3.

Métricas ValoresTaxa de FP 0.28Taxa de TP 0.82

Precisão 0.92Acurácia 0.80

Os valores apresentados na Tabela 6.4 mostram que o método consegue atingiraltos valores de precisão e acurácia. Após a análise dos dados da Tabela 6.3 e as métricasda Tabela 6.4, percebeu-se que o método proposto tem valores satisfatórios, com uma altataxa de acerto. Porém, o método mostrava-se, ainda, excessivamente rigoroso.

Para tentar tornar o método menos rígido, foi inserido o fator multiplicantef . Quando se utiliza o fator f multiplicado ao desvio padrão, isso torna o método tãotolerante quanto o usuário deseje.

6.4 Teste de usabilidade

O teste de usabilidade foi realizado para o protótipo SAAMP e teve a criaçãoinstigada para permitir o teste do método com usuários finais. Foram propostos doisexcertos (Tabela 6.5) para a realização do teste de usabilidade. As partituras dessesexcertos podem ser visualizadas no Apêndice B.

Tabela 6.5: Excertos propostos para o teste de usabilidade.

Excerto Música

AInversão N. 1 em Dó maior de Johann Sebastian Bach

(Compasso 1)

BSonata Op 49, N. 2 em Sol maior de Ludwig van Beethoven

(Compassos 1 e 2)

O experimento foi realizado com seis alunos de piano, convidados a participarvoluntariamente. Todos assinaram um termo de consentimento (presente no ApêndiceC), que informa aos voluntários a possibilidade de retirarem-se do estudo a qualquermomento, sem qualquer penalidade.


Na Tabela 6.6, na qual estão os dados dos voluntários, é possível observar que oexperimento foi feito com três indivíduos do sexo masculino e três do sexo feminino, comidade média de 21,5 anos. A maioria dos voluntários alega ter experiência intermediáriaao piano e também diz possuir conhecimento sobre a utilização dos movimentos depunho nas execuções interpretativas desse instrumento musical. Além do que, a maioriados voluntários se classificou com pouca experiência com softwares que auxiliam noaprendizado de música.

Tabela 6.6: Dados dos seis voluntários do experimento.

Questões DadosSexo 50% Feminino e 50% Masculino

Idade [ 19,25]

Experiência ao piano 83,33% Intermediário e 16,7% Iniciante

Possui treinamento sobre usode movimento de punho

66,66% Sim e 33,34% Não

Experiência com softwares de auxílio aoaprendizado musical

66,66 Iniciante, 16,67% Intermediárioe 16,67% Avançado

Anteriormente à realização do experimento com os voluntários, um especialistagravou três execuções de cada um dos dois excertos. Após as gravações, gerou-se otreino para cada um dos excertos. Com isso, o módulo aprendiz ficou funcional para osvoluntários realizarem o experimento.

Outro fato importante a ser ressaltado é que o fator de precisão do método(relatado na Equação 5-7 é f = 0.3) mostrou-se excessivamente preciso, conforme podeser verificado pelos resultados de validação e parametrização na Subseção 6.3.1. Então,decidiu-se por incluir um fator de abertura f σb para tornar o método menos rigoroso.

No experimento, os voluntários foram colocados em uma sequencia numéricade 1 a 6. Os aprendizes de número par realizaram o excerto A com a visualização datrajetória como guia, da mesma forma que os aprendizes de número ímpar realizaramsem o guia da trajetória da execução do tutor. Já para o excerto B, a ordem foi invertida:os aprendizes de número par não tiveram a trajetória como guia durante a execução, e sópuderam visualizar comparativamente a proximidade de sua execução com a do tutor aofinal.

A inversão proposta foi definida para evitar que a habilidade da pessoa fossemedida baseada em um único excerto. Assim, cada usuário tocou cada excerto cincovezes. Com isso, os dados obtidos foram: cinco execuções de cada excerto por usuárioe 30 execuções para cada excerto.


Conforme foi descrito na Subseção 5.5.2, o cálculo do ganho de aprendizagemé uma boa forma de saber quanto o sistema consegue contribuir para o aprendizado. Parautilizar o cálculo do ganho de aprendizagem nos dados de trajetória e o score que cadaindivíduo conquistou a cada realização de excerto, foi feita uma adequação da Equação(5-9) para Equação (6-1).

Ga =S f −Si

Qb−S f, (6-1)

onde S f é o score inicial referente a segunda execução do aprendiz (pois a primeiraexecução foi realizada como treino do sistema para o aprendiz), e Si é o score final obtidopelo aprendiz durante a ultima realização do excerto. A diferença do score inicial e finaldividido pela diferença da quantidade de blocos Qb e o score final é o resultado do ganhode aprendizagem Ga.

6.4.1 Análise dos resultados

A Tabela 6.7 apresenta o ganho médio sobre os dois recursos de feedback

propostos. Primeiramente a trajetória, mostrando para o usuário qual o gesto feito durantea execução do professor, e posteriormente o desempenho que é apresentado para oaprendiz ao final da execução do excerto. A tabela completa do ganho3 de aprendizagemde cada um dos indivíduos voluntários pode ser observada no Apêndice D.

Tabela 6.7: Resultados do ganho médio por agrupamento daaprendizagem dos voluntários.

Orientação utilizada Ganho MédioTrajetória 27,27%

Desempenho 39,17%

Realizando uma análise da Tabela 6.7, é perceptível que o ganho médio datrajetória está na faixa de ganho classificado como um ganho de aprendizagem baixo.Entretanto, observando a Tabela completa do experimento contida no Apêndice D um dosvoluntários obteve ganho na borda (entre o ganho baixo e o ganho médio) e outro obteveo ganho igual a 46,67%.

Já quando se analisa o ganho médio do desempenho, é fácil perceber o motivode o valor ser essencialmente maior e se encaixar em um ganho de aprendizagem médio,pois apenas um dos usuários teve o ganho médio inferior a 30%.

Os gráficos da Figura 6.1 são referentes às perguntas contidas na Tabela 5.3.Levando-se em conta a observação dos resultados, é possível perceber que a maior

3Entende-se como ganho de aprendizagem o quanto a pessoa evolui entre a primeiro e o ultimoexperimento


parte dos voluntários concorda que o sistema viabiliza uma forma mais simples para oaprendizado de gestos e que o sistema construído tem fácil execução e é intuitivo.

(a) Questão A. (b) Questão B.

(c) Questão C. (d) Questão D.

(e) Questão E. (f) Questão F.

(g) Questão G.

Figura 6.1: Gráficos das respostas dadas após a realização doexperimento.


Para saber se o posicionamento dos itens de interface era atrativo e útil parao aprendiz, foram realizadas indagações para os voluntários sobre a importância e oposicionamento dos componentes de tela. As respostas dos usuários estão contabilizadasnos gráficos contidos na Figura 6.2 e mostram que o posicionamento dos componentesde tela foi realizado de uma maneira satisfatória para um usuário, pois, de acordo aindacom as respostas, foi dado privilégio aos itens mais importantes, como partitura e imagemcapturada pela Webcam.

(a) Partitura. (b) Imagem da câmera.

(c) Metrônomo. (d) Vídeo do tutor.

(e) Vídeo do aprendiz.

Figura 6.2: Gráficos da respostas sobre o posicionamento doscomponentes da interface.

O último questionamento realizado com os voluntários foi sobre os dois recursospropostos para facilitar a compreensão do aprendiz (desempenho e trajetória) e, tomando-se como base essas respostas dos usuários, foi feito o gráfico presente na Figura 6.3.


As respostas mostram que a escolha dos usuários é pela utilização dos dois meios,e não apenas de um ou de outro separadamente. Em confronto com a escolha dosusuários, o resultado obtido com o ganho de aprendizagem agrupado por desempenhomostra que a utilização da trajetória como guia pode ter causado confusão ao aprendiz.Em consequência, não parece ser uma boa escolha continuar o desenvolvimento dessaferramenta sem que haja alterações para facilitar o manuseio pelo usuário.

Figura 6.3: Gráfico de escolhas da melhor forma de visualizaçãodo desempenho.


Este capítulo apresentou os resultados do método proposto e da experimentaçãodo protótipo do sistema SAAMP, com a descrição do experimento e das característicasgerais dos usuários voluntários do sistema.

Como o método apresentou-se bastante rigoroso com uma alta taxa de FN, foiproposto um pequeno ajuste utilizando um fator variável multiplicante do desvio padrão.

Apesar de até o momento o sistema SAAMP ser um protótipo, tem se mostradopromissor para o auxilio do ensino aprendizado da interpretação de excertos musicais aopiano. Levando em consideração os questionários aplicados aos voluntários, foram dei-xadas questões em aberto para possíveis sugestões. Como era de se esperar, surgiramsugestões que estão sendo avaliadas, sobretudo para detectar a melhor maneira de incor-porar a maioria das sugestões ao sistema SAAMP. Algumas das sugestões dos voluntáriosforam:

• "O vídeo do professor podia ficar de cabeça para baixo para a gente ver no mesmoângulo que a gente vê a nossa própria mão".• "Gravar os sons é importante. Os dados do caminho (imagens) são mais importan-

tes, e devem ser mostrados sobrepostos em cores diferentes".

CAPÍTULO 7CONCLUSÕES E CONTRIBUIÇÕES DESTETRABALHO, TRABALHOS FUTUROS EPUBLICAÇÕES ORIGINADAS NESTADISSERTAÇÃO

7.1 Introdução

Este capítulo apresenta as conclusões e as contribuições do presente trabalho nodesenvolvimento de uma aplicação facilitadora ao ensino-aprendizagem e à performancemusical, benéfica tanto a pianistas aprendizes quanto a experientes músicos que almejama melhora na execução de peças ao piano. Além disso, o trabalho também pode serconsiderado importante ferramenta no auxílio aos profissionais do ensino musical desseinstrumento. Por fim, o capítulo ainda se dedica a discutir os trabalhos que, futuramente,poderiam advir deste, assim como cita as publicações já originadas a partir do trabalhodesenvolvido.

7.2 Conclusões e contribuições

A dificuldade dos professores de piano, ao fazerem com que seus aprendizestenham a compreensão da utilização de punho, é notável, já que é um conhecimentosubjetivo e difícil de ser transmitido. Contudo, as corretas compreensão e utilizaçãodo punho não podem ser postergadas nem desprezadas, pois, sem elas, o músico nãoconsegue atingir execuções adequadas e/ou pode vir a ter problemas de saúde, os quaisprejudicam os principais instrumentos dos pianistas: mãos, dedos, braços e punhos.

Para tentar auxiliar músicos experientes e/ou professores a transferirem seusconhecimentos para os aprendizes de música, existem inúmeras ferramentas nas variadasetapas do processo de aprendizado. Aplicações essas que quase nunca são perfeitas e queprecisam passar por constantes melhorias. Todavia, cada vez mais, são adotadas pelos

7.3 Trabalhos futuros 58

professores e adaptadas nas metodologias de ensino deles. As ferramentas não somenteauxiliam na transferência de conhecimento pelos professores, mas também instigam partedos aprendizes à superação de problemas no desempenho e possibilitam a autoavaliação.

Ao ter em conta todas essas questões, o método proposto aqui torna possívela indicação de proximidade entre os excertos executados por aprendizes e a referênciagerada pelo tutor (professor ou músico experiente). O que visa, assim, diminuir a neces-sidade, a qual é apenas reduzida mas não extinta, de o professor ter de acompanhar cadaaluno durante várias execuções. Dessa forma, o método torna o aluno capaz de realizarautoavaliação para saber o quão próximo está da execução do professor.

Nesse sentido, e para possibilitar a aplicação real-time do método proposto comusuários aprendizes de piano, foi desenvolvido o protótipo de um sistema intitulado deSAAMP. Em seguida, houve a realização de um teste de usabilidade, cuja intenção ésaber qual a opinião dos alunos voluntários sobre o que foi proposto.

Da mesma forma, verificaram-se bons resultados nos experimentos de parametri-zação do método, o que pode demonstrar que a utilização do MDTW no modelo propostoé viável. Para poder tentar aumentar a taxa de tolerância do método, o qual se apresen-tou em um primeiro momento excessivamente rígido, foi inserido o fator f, que torna ousuário capaz de escolher o quanto ele deseja que o método seja tolerante.

Com os resultados obtidos no experimento de ganho de aprendizagem, foi per-ceptível o potencial de amadurecimento do protótipo SAAMP que, em algum momento,poderá estar presente na sala de aula como ferramenta de suporte aos professores de pianono ensino de interpretação musical.

O resultado do teste de usabilidade mostrou também que o sistema é promissor,pois quase todas as respostas dos usuários foram positivas na avaliação do protótipo. Noentanto, o sistema necessita de melhorias por se tratar de um protótipo construído, prin-cipalmente, para possibilitar a aplicação real-time do método a usuários. Acrescente-se,ainda, que tais melhorias podem contar também com as sugestões feitas pelos voluntáriosdo experimento.

7.3 Trabalhos futuros

Como o sistema ainda é um protótipo criado para a experimentação, não estápronto para ser utilizado por um usuário final. Portanto, pretende-se prosseguir com odesenvolvimento e o aperfeiçoamento do modelo para, assim, torná-lo apto e eficaz nointuito para o qual foi desenvolvido, que é o auxílio a alunos de piano na compreensão ena percepção dos movimentos de punho ao realizar determinado excerto musical.

Como foi relatado na Subseção 5.4, o método exige um segundo de realizaçãode gestos para iniciar o reconhecimento, consequentemente, está sempre um segundo

7.4 Publicações originadas deste trabalho 59

atrasado da realização real-time do usuário. Para tentar retirar o atraso de um segundodo reconhecimento, é possível aplicar o método matemático criado por Rudolf Kalman.Com a inserção do filtro de Kalman no método, torna-se possível a predição da trajetóriaa ser realizada, a partir do que já fora anteriormente executado.

Almeja-se também, com a continuidade do desenvolvimento deste trabalho, autilização de dispositivos capazes de capturar movimentos, como, por exemplo, o Leap

Motion. O emprego deste tipo de dispositivo contribui para eliminar a necessidade deutilização do marcador e, por conseguinte, torna desnecessária a utilização de métodosque trabalham com espaços de cores como o RGB, métodos esses cuja manipulação dossistemas de cores é muito sensível às variações de luminosidade.

7.4 Publicações originadas deste trabalho

• CARVALHO, Thyago P.,SOARES,Fabrizzio A. A. M. N., COSTA, Carlos H. C.R. et al.,OLIVEIRA, Leandro Luís G. de, SOARES, Anderson da, BERRETTA,Luciana de O.,COSTA, Ronaldo M. da, FERREIRA, Cristiane B. R.,“Tracking andRecognition of Fist Move on Musical Excerpts at the Piano”,WRVA,Marília-SP,pp.111–114, 2014.

Referências Bibliográficas

ABDI, H.; WILLIAMS, L. J. Normalizing data. Encyclopedia of research design, p.935–938, 2010.

ADWAN, S.; AROF, H. On improving dynamic time warping for pattern matching.Measurement, v. 45, n. 6, p. 1609–1620, julho 2012. ISSN 02632241.

BIDARRA, J.; ROLO, R. Aplicações multimédia e jogos para música: potencial elimitações em educação musical. 2013.

CARAMIAUX, B.; TANAKA, A. Machine learning of musical gestures. In: InternationalConference on New Interfaces for Musical Expression (NIME 2013), Seoul, South Korea.[S.l.: s.n.], 2013.

CARDOSO, L. O. F. Possibilidades de utilização do punho na obra variações sériasde Ronaldo Miranda. Dissertação (Mestrado) — EMAC - Escola de Música e ArtesCênicas, novembro 2011.

CHAWLA, N. V. Data mining for imbalanced datasets: An overview. In: Data miningand knowledge discovery handbook. [S.l.]: Springer, 2005. p. 853–867.

CHAWLA, N. V. et al. Smote: synthetic minority over-sampling technique. Journal ofartificial intelligence research, p. 321–357, 2002.

CHIANTORE, L. Historia de la técnica pianística: un estudio sobre los grandescompositores y el arte de la interpretación en busca de la Ur-Technik. [S.l.]: AlianzaEditorial, 2001. (Alianza Música). ISBN 9788420678955.

COLT, H. G. et al. Measuring learning gain during a one-day introductory bronchoscopycourse. Surgical Endoscopy, v. 25, n. 1, p. 207–216, janeiro 2011. ISSN 0930-2794,1432-2218.

FAWCETT, T. An introduction to roc analysis. Pattern Recognition Letters, v. 27, n. 8, p.861–874, junho 2006. ISSN 01678655.

FUJIMOTO, M. et al. A motion recognition method for a wearable dancing musicalinstrument. In: 9th International Symposium on Wearable Computers(ISWC). [S.l.]:IEEE, 2009. p. 11–18.

GERIG, R. Famous Pianists and Their Technique. [S.l.]: Indiana University Press, 2007.ISBN 9780253348555.


GRINDLAY, G.; HELMBOLD, D. Modeling, analyzing, and synthesizing expressivepiano performance with graphical models. Machine Learning, v. 65, n. 2-3, p. 361–387,dezembro 2006. ISSN 0885-6125, 1573-0565.

GUO, J.-M. et al. Improved hand tracking system. Transactions on Circuits and Systemsfor Video Technology, IEEE, v. 22, n. 5, p. 693–701, maio 2012. ISSN 1051-8215,1558-2205.

HAKE, R. R. Interactive-engagement versus traditional methods: A six-thousand-studentsurvey of mechanics test data for introductory physics courses. v. 66, n. 1, p. 64–74,janeiro 1998.

HOLT, G. A. ten; REINDERS, M. J.; HENDRIKS, E. A. Multi-dimensional dynamictime warping for gesture recognition. In: Thirteenth annual conference of the AdvancedSchool for Computing and Imaging. [S.l.: s.n.], 2007.

HSQLDB. HSQLDB. 2015. Disponível em:<http://hsqldb.org/>. Acesso em: 2 de marçode 2015.

HUSSAIN, S. M. A.; RASHID, A. User independent hand gesture recognition byaccelerated dtw. In: International Conference on Informatics, Electronics & Vision(ICIEV). [S.l.]: IEEE, 2012. p. 1033–1037.

ICEPDF. ICEpdf. 2015. Disponívelem:<http://www.icesoft.org/java/projects/ICEpdf/overview.jsf>. Acesso em: 8 demarço de 2015.

JÚNIOR, G. S. V.; CASTRO-FILHO, J. A. d. Avaliaçõo de software para o ensino demúsica: Reconhecendo a singularidade do discurso musical. In: Anais do Workshop deInformática na Escola. [S.l.: s.n.], 2005. v. 1.

KASPRZAK, W. L.; WILKOWSKI, A.; CZAPNIK, K. Hand gesture recognition basedon free-form contours and probabilistic inference. International Journal of AppliedMathematics and Computer Science, v. 22, n. 2, janeiro 2012. ISSN 1641-876X.

MIDI. Midi Sheet Music. 2015. Disponível em:<http://midisheetmusic.sourceforge.net/>.Acesso em: 20 de agosto 2015.

MILETTO, E. et al. Educação musical auxiliada por computador: algumas consideraçõese experiências. RENOTE, v. 2, n. 1, 2004.

MÜLLER, M. Dynamic time warping. Information retrieval for music and motion, p.69–84, 2007.

MUSESCORE. MuseScore. 2015. Disponível em:<https://musescore.org/pt-br>. Acessoem: 20 de agosto de 2015.

PEIXOTO, P.; GONÇALVES, J.; ARAUJO, H. Real-time gesture recognition systembased on contour signatures. In: 16th International Conference on Pattern Recognition.[S.l.]: IEEE, 2002. v. 1, p. 447–450.


PEREIRA, E. Criando setups de softwares para educação musical. v. 5, n. 8, outubro2007.

PHUNG, S. L.; BOUZERDOUM, A.; CHAI, D. Skin segmentation using color pixelclassification: analysis and comparison. Transactions on Pattern Analysis and MachineIntelligence, IEEE, v. 27, n. 1, p. 148–154, 2005.

PRATHER, E. E.; RUDOLPH, A. L.; BRISSENDEN, G. Teaching and learningastronomy in the 21st century. Teaching and learning astronomy in the 21st century,v. 62, p. 41–47, 2009.

RATANAMAHATANA, C. A.; KEOGH, E. Everything you know about dynamic timewarping is wrong. In: Third Workshop on Mining Temporal and Sequential Data. [S.l.]:Citeseer, 2004.

REN, Z.; YUAN, J.; ZHANG, Z. Robust hand gesture recognition based on finger-earthmover’s distance with a commodity depth camera. In: Proceedings of the 19th ACMinternational conference on Multimedia. [S.l.]: ACM, 2011. p. 1093–1096.

RIBEIRO, R. T. Um estudo sobre opções interpretativas para elementos folclóricos naperformance pianística atual. Dissertação (Mestrado) — EMAC - Escola de Música eArtes Cênicas, 2009.

RICHERME, C. A técnica pianística: uma abordagem científica. São João da Boa Vista- SP: AIR Musical, 1996.

SALVADOR, S.; CHAN, P. Toward accurate dynamic time warping in linear time andspace. v. 11, n. 5, p. 561–580, 2007.

SANGUANSAT, P. Multiple multidimensional sequence alignment using generalizeddynamic time warping. WSEAS Transaction on Mathematics, v. 11, n. 8, p. 684–694,2012.

SENIN, P. Dynamic time warping algorithm review. University of Hawaii, 2008.

SOLFEGE. Solfege. 2015. Disponível em:<http://www.gnu.org/software/solfege/>.Acesso em: 20 de agosto 2015.

SYNTHESIA. Synthesia. 2015. Disponível em:<http://synthesiagame.com/>. Acessoem: 20 de agosto 2015.

TAKEGAWA, Y.; TERADA, T.; TSUKAMOTO, M. T. Design and implementation ofa piano practice support system using a real-time fingering recognition technique. In: .University of Huddersfield: [s.n.], 2011.

TAMURA, A. A arte pianística de Magda Tagliaferro. 1. ed. SP: Fundação MagdaTagliaferro, 1990. Tradução de Dirce Kimyo Miyamura, 1997.

THEOBALT, C. et al. Pitching a baseball: tracking high-speed motion with multi-exposure images. In: ACM Transactions on Graphics (TOG). [S.l.]: ACM, 2004. v. 23, p.540–547.


WANG, Y.-R.; LIN, W.-H.; YANG, L. A novel real time hand detection based onskin-color. In: 17th International Symposium on Consumer VAIDYANATHANctronics(ISCE). [S.l.]: IEEE, 2013. p. 141–142.

WEBCAM. Webcam Capture API. 2015. Disponível em:<http://webcam-capture.sarxos.pl/>. Acesso em: 14 de março de 2015.

WEING, M. et al. P.I.A.N.O.: enhancing instrument learning via interactive projectedaugmentation. In: . [S.l.]: ACM Press, 2013. p. 75–78. ISBN 9781450322157.

WENJUN, T. et al. Dynamic hand gesture recognition using motion trajectories andkey frames. In: 2nd International Conference on Advanced Computer Control (ICACC).[S.l.]: IEEE, 2010. v. 3, p. 163–167.

YANG, M.-H.; AHUJA, N. Recognizing hand gestures using motion trajectories. In:Face Detection and Gesture Recognition for Human-Computer Interaction. [S.l.]:Springer, 2001. p. 53–81.

ZHANG, Y.; LI, X. A new object detection method in color image processing. In: 4thInternational Congress on Image and Signal Processing (CISP). [S.l.]: IEEE, 2011. v. 2,p. 974–978.

APÊNDICE APartituras dos excertos utilizadas paraparametrização e validação do método

Figura A.1: Excerto 1 - Sonatina em Dó maior Op. 55, N.1 Allegrode Fridrich Kuhlau (Compassos 1 ao 5)

Figura A.2: Excerto 2 - Minueto em sol maior Johann SebastianBach (Compasso 1 ao 8)

Figura A.3: Excerto 3 - Sonatina em Dó maior Op. 55, N. 1 Vivacede Fridrich Kuhlau (Compassos 1 ao 8)

Apêndice A 65

Figura A.4: Excerto 4 - Sonatina em Dó maior Op. 157, N. 4Allegro Moderato de Fritz Spindler (Compassos 1 ao8)

Figura A.5: Excerto 5 - Sonatina em Fá maior Ludwig van Beetho-ven(Compassos de 1 ao 18)

APÊNDICE BPartituras dos excertos utilizados para o teste deusabilidade

Figura B.1: Excerto 1 - Inversão N. 1 em Dó maior de JohannSebastian Bach (Compasso 1)

Figura B.2: Excerto 2 - Sonata Op 49, N. 2 em Sol maior deLudwig van Beethoven (Compasso 1 e 2)

APÊNDICE CTermo de consentimento

Figura C.1: Termo de consentimento para participação no experi-mento

APÊNDICE DTabela de resultados do experimento

Tabela D.1: Resultados da utilização da ferramenta pelos aprendi-zes.

Orientação utilizada Aprendiz Primeiro score Ultimo score Ganho ExcertoCaminho 3 0 7 %46,67 BCaminho 4 1 2 %11,11 ACaminho 1 5 7 %20,00 BCaminho 5 8 10 %28,57 BCaminho 2 0 3 %30,00 A

Nota 3 2 4 %25,00 ANota 2 0 5 %33,33 BNota 4 7 10 %37,50 BNota 5 0 4 %40,00 ANota 6 10 13 %60,00 B

Documents

Rastreamento e reconhecimento de movimentos de punho na