Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical

7/18/2019 Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical

http://slidepdf.com/reader/full/desenvolvimento-testagem-e-proposta-de-um-roteiro-para-avaliacao-de-software 1/10

Desenvolvimento, testagem e proposta de um

Roteiro para Avaliação de Software para Educação Musical

Susana Ester Krüger

RESUMONesta pesquisa foi desenvolvido, testado e proposto um Roteiro para Avaliação de Softwarepara Educação Musical. Este foi formado por três categorias de avaliação: A) ParâmetrosPedagógicos; B) Interações Sociais; e C) Informática & Educação Musical, fundamentadasnas áreas de Educação, Educação Musical, Informática Educacional, entre outras. Nas trêsfases da pesquisa, foi empregada a metodologia de Pesquisa de Desenvolvimento: Fase I :programadores de software para música/educação musical e educadores musicaisanalizaram as categorias e sugeriram questões; Fase II : elaboração do Roteiro Preliminar;Fase III : testagem do Roteiro Preliminar por uma amostra reduzida de indivíduos da Fase I. A partir destes resultados, foi proposto um novo Roteiro. Obteve-se alto grau de aprovação

dos parâmetros propostos, sugerindo-se a adoção do Roteiro por educadores musicais eprogramadores, em avaliações formativas e somativas de protótipos e produtos. Destaca-sea necessidade de testagem em pesquisas subseqüentes de avaliação de software paraeducação musical.

Introdução

A avaliação de software educacional é considerada contemporânea e relevante no

ensino básico, sendo necessário que venha a ter a mesma importância na

educação musical brasileira. Isto porque é premente que sejam criados programas

fundamentados em pesquisas e práticas correntes na educação musical,

contemplando necessidades pedagógico/sociais atuais. Igualmente, a avaliação

anterior ao uso dos programas possibilita a otimização das atividades

educativo-musicais.

No início desta pesquisa, efetuou-se uma análise comparativa de roteiros para

avaliação de software do ensino básico e dos roteiros propostos por educadores

musicais. Constatou-se que roteiros de ambas as áreas seriam insuficientes a um

processo avaliativo abrangente, contextualizado e atualizado: (a) os roteiros do

ensino básico são extensos e detalhados; normalmente focalizam a avaliação de

atributos computacionais; não possuem critérios específicos à área de música; e,

os atributos pedagógicos não são totalmente pertinentes às tendências atuais da

educação musical; (b) os roteiros da educação musical são concisos, focalizam

atributos técnicos e não contemplam todos os tópicos ou recursos considerados

atuais e pertinentes à avaliação de software deste domínio. Destacou-se assim a

necessidade de pesquisas mais abrangentes sobre a criação de um roteiro,



2

2

fundamentado em parâmetros de avaliação de software do ensino básico, em

educação musical, informática educativa e áreas afins.

Com o intuito de contribuir com os estudos sobre parâmetros para avaliação de

software para educação musical, esta pesquisa teve como objetivo desenvolver,

testar e propor um Roteiro para Avaliação de Software para Educação Musical. Os

objetivos específicos foram: (a) estabelecer parâmetros amplos para avaliação de

software de educação musical; (b) coletar e analisar as questões de avaliação que

educadores musicais e programadores de software para música/educação musical

consideram adequados ao processo de avaliação de software para educação

musical, a partir dos parâmetros estabelecidos; (c) elaborar um Roteiro Preliminar

para avaliação de software para educação musical; (d) testar o Roteiro Preliminar

por meio de análises críticas e da atribuição de graus de pertinência e importância a

cada questão; e (e) sugerir um Roteiro para testagem em pesquisas subseqüentes.

1. Parâmetros para Avaliação de Software para Educação Musical

Nesta pesquisa, são definidos como software para educação musical aqueles

especificamente projetados e desenvolvidos para uso em processos de

ensino/aprendizagem musical. A avaliação de software educacional caracteriza-se

como: formativa: de software em desenvolvimento (protótipo), focaliza

modificações; e somativa: de software finalizado (produto); avalia a qualidade e

variedade de experiências educacionais que o mesmo pode fomentar; visa

decisões sobre aquisição ou adoção (SQUIRES & McDOUGALL, 1994; HANNAFIN

& PECK, 1988).

Nestas avaliações, são usados Roteiros, definidos como um conjunto de

parâmetros (categorias e questões de avaliação) para avaliação dos software

educativos. Podem ser elaborados para professores, alunos e entidades de

pesquisa ou comerciais. Um formato comum, também adotado na criação deste

Roteiro, é o método baseado em categorias (BARKER & KING, 1993, p.309): o

agrupamento de questões em categorias que representam os parâmetros amplos

de avaliação. Pode ser sugerida a criação de sub-categorias e questões de

avaliação.

Para este Roteiro, foram criadas as categorias: A) Educação/Educação Musical, B)

Interações Sociais possíveis durante o uso do Software, e C) Informática &Educação Musical. A primeira avalia as demandas da educação musical quanto



3

3

aos software educacionais, e compreende as sub-categorias: a.1. Teorias de

Aprendizagem (behaviorismo e construtivismo); a.2. Concepções de Educação

Musical (tradicional e progressista); a.3. Parâmetros de Atividades Musicais

(Modelo (T)EC(L)A – Swanwick, 1979); a.4. Objetivos Pedagógicos (conteúdos e

processos pedagógicos; objetivos extrínsecos e intrínsecos); a.5. Avaliação do

Aprendizado (diagnóstica, formativa e somativa); e a.6. Adequação Sócio-cultural e

Musical (aspectos sócio-culturais e musicais em geral). A segunda subdivide-se

em: b.1. Entre Professor e Aluno (papéis do professor) e b.2. Entre Alunos (formas

de relacionamento entre os alunos). A terceira avalia a interface, usabilidade e

interatividade do software com relação à educação musical. Estas categorias foram

pesquisadas em diferentes áreas (Tabela 1).

2. Desenvolvimento do Roteiro Preliminar

Optou-se pela Pesquisa de Desenvolvimento, que visa aperfeiçoar processos de

projetos de software educacional, de desenvolvimento, e de avaliação destes

software, podendo ser conduzida em fases distintas (RICHEY & NELSON, 1996,

p.1213;1218). Neste campo, foi encontrada a pesquisa de BARKER & KING (1993),

a qual apresentou características pertinentes à esta pesquisa, como os

procedimentos de validação de uma versão preliminar de roteiro.

2.1. Metodologia das Fases I e II

Na Fase I, os indivíduos sugeriram questões e realizaram uma análise crítica das

categorias e sub-categorias. RICHEY & NELSON (1996) apontam a Survey

(Estudo de Levantamento) como um método freqüentemente empregado na

Pesquisa de Desenvolvimento (p.1229). Assim, foi empregada a Survey de Corte

Transversal - uma única coleta de dados dos indivíduos da amostra (CASEY, 1992,

p.116). Foi utilizado um Questionário Aberto solicitando a elaboração de, no

mínimo, três questões para cada sub-categoria, e a análise das categorias. O

questionário foi aplicado via e-mail (RICHEY & NELSON, 1996). Na Fase II foi

criado o Roteiro Preliminar.

2.1.1. Amostra



4

4

Foram buscados dados de programadores e professores que trabalhassem com

software para música/educação musical. Como no Brasil existe um número

reduzido destes indivíduos, a escolha foi realizada por amostragem não

probabilística, que permite a delimitação da população pesquisada. Foi adotada a

amostragem por objetivo, na procura de indivíduos com características pertinentes

à pesquisa (CASEY, 1992, p.117).

2.1.2. Procedimentos

Fase I: criação das categorias e sub-categorias; contatos com dez indivíduos via

e-mail, solicitando a participação na pesquisa; envio de e-mail a oito indivíduos,

contendo o Questionário Aberto e um arquivo com as categorias e sub-categorias;

correspondência pessoal com os indivíduos.

Fase II: análise comparativa qualitativa das questões para verificação de

recorrência temática; formação do Roteiro Preliminar com questões sugeridas

pelos indivíduos (selecionadas e adaptadas), e questões criadas a partir da

fundamentação teórica.

2.2. Resultados

Foram obtidas 185 sugestões de questões e 55 textos de análise. As

sub-categorias foram reavaliadas, visando sua inclusão, exclusão ou reformulação

teórica e de layout para o Roteiro Preliminar. Foram criadas 73 questões. O Roteiro

enfatizou questionamentos relacionados à educação musical; em segundo lugar,

as questões da informática aplicada à música/educação musical; e em terceiro

lugar, os questionamentos sobre as interações sociais. Como outros roteiros, as

questões apresentaram diferentes formatos de respostas: alternativas “cafeteira”

(opções de resposta) (MUCCHIELLI, 1975, p.37); respostas sim/não; e escala de

graduação unipolar de cinco graus (OSTROM & GANNON, 1996, p.304-5). Após

cada uma foi incluída a pergunta “Comentários Sobre o Software”, para descrição

de aspectos emergentes. Não foi sugerida a quantificação dos resultados.

3. Testagem do Roteiro Preliminar



5

5

O Roteiro Preliminar foi testado quanto à pertinência e importância dos seus

parâmetros e redação das questões. A metodologia também foi caracterizada como

uma Survey .

3.1. Metodologia da Fase III

Foram utilizados, simultaneamente, dois instrumentos de coleta de dados:

questionário fechado (avaliação quantitativa); e entrevista semi-estruturada

(Técnicas de Entrevista Cognitiva; avaliação qualitativa). O Questionário Fechado

foi formado por duas questões com opções de respostas, em forma de “ficha de

avaliação”, para atribuição de graus de pertinência e importância às questões do

Roteiro Preliminar (Figura 2). Estas opções foram compostas por escalas de

graduação unipolares de três graus (OSTROM & GANNON, 1996), sendo três o

mais elevado. Na entrevista semi-estruturada foram empregadas todas as Técnicas

de Entrevista Cognitiva: “pensar em voz alta”, questões de sondagem, paráfrases e

avaliação da segurança (DeMAIO & ROTHGEB (1996, p.179). As entrevistas foram

transcritas, categorizadas e analisadas. Os dados quantitativos obtidos por meio do

questionário fechado também foram comparados entre si e categorizados.

3.1.1. Amostras

Foram utilizados dois grupos de amostras, demandando em duas técnicas de

amostragem: amostragem por estágios (uso de uma porcentagem da amostra

inicial em fases posteriores) (COHEN & MANION, 1987; MUCCHIELLI, 1979) e

amostragem por objetivo (CASEY, 1992, p.117). Amostra 1: dos oito indivíduos que

participaram da Fase II, foram selecionados seis (amostragem por estágios).

Amostra 2: dois software para educação musical (amostragem por objetivo): STR

(Sistema de Treinamento Rítmico) e SETMUS (Sistema Especialista de Teoria

Musical) (Laboratório de Computação & Música da UFRGS). Os mesmos não

foram avaliados, servindo como simulação ou background para a testagem do

Roteiro Preliminar.

3.1.2. Procedimentos

Fase III: esclarecimento do objetivo da entrevista; explicação dos procedimentos

gerais; leitura da página de abertura do questionário fechado, visando a

compreensão do uso do questionário fechado e sua diferenciação do Roteiro

Preliminar; aplicação do questionário fechado durante a entrevista cognitiva. Todas



6

6

entrevistas foram gravadas em fita cassete e transcritas. Os dados obtidos foram

analisados qualitativa e quantitativamente.

3.2. Resultados

A análise das entrevistas e da atribuição dos graus de pertinência e importância

demonstra que os parâmetros do Roteiro Preliminar foram tidos como pertinentes e

importantes à avaliação de software para educação musical, apresentando alto

grau de aprovação (Gráfico 3). Foi comprovada a necessidade de elaboração de

uma nova proposta de Roteiro, pois foram sugeridas modificações como:

diminuição do número de questões, agrupamento de sub-categorias (a.1. e a.2.); e

fundamentação teórica adicional. Desta forma, foram inseridas uma teoria de

aprendizagem (cognitivismo), duas concepções de educação musical (social ou

multicultural e psicológica-social), e um texto para verificação do feedback

proporcionado pelo software. Foram mantidas as descrições das sub-categorias, e

inseridas uma nova folha de rosto para explicação de uso do Roteiro e referências

bibliográficas. A Tabela 4 apresenta as modificações estruturais deste Roteiro

(ressaltam-se as mudanças de nomenclatura, e agrupamento e exclusão de

sub-categorias).

As questões foram analisadas, reescritas e reordenadas a fim de absorver as

modificações. As formas de resposta foram mantidas com poucas alterações. A

questão “Comentários Sobre o Software” foi disposta após a última questão de

cada sub-categoria. Como no Roteiro Preliminar, a nova proposta não sugere

quantificação dos resultados, embora tenha sido acrescentado um quadro para

uma “Conclusão Geral Sobre o Software” (qualitativa). A proposta final de Roteiro é

mais concisa, pois as 73 questões do Roteiro Preliminar foram reduzidas para 50.

Foi obtido também um maior equilíbrio quanto ao número de questões entre as

sub-categorias.

4. Conclusão

A pesquisa revelou que os parâmetros do Roteiro foram tidos como

contemporâneos e amplamente utilizados na educação, educação musical e

informática educacional. Ao mesmo tempo, muitos ainda carecem de estudos e

podem ser considerados inovadores, sendo fontes de pesquisa para futurasinvestigações. O Roteiro pode ser utilizado na avaliação de software protótipo e



7

7

produto, em avaliações formativas e somativas. Tal possibilidade é relevante para a

educação musical, por serem poucas as pesquisas nesta área. Pode ser utilizado

por educadores musicais para conhecer as possibilidades e limites do software e

verificar sua adequação aos alunos e contexto em geral; e, como uma lista de

sugestões para programadores. Todos os parâmetros foram propostos como

referência para avaliação de possibilidades e limites do software, não sendo

critérios de valor. O Roteiro é uma proposta flexível de avaliação, sugerindo-se o

acréscimo ou exclusão de questões que não se aplicariam ao software avaliado ou

às suas necessidades educacionais. As questões também podem fomentar a

investigação mais aprofundada de determinado atributo do software.

Constata-se que o presente Roteiro é um dos poucos que são fundamentados em

necessidades e interesses dos profissionais da própria área, sendo criado em

conjunto com e direcionado à estes profissionais. Em educação musical, tal fator é

ainda mais relevante por não ter sido encontrado um instrumento para avaliação de

software com parâmetros ao mesmo tempo abrangentes (fundamentação teórica

diversificada e interdisciplinar) e específicos (direcionados à área).

Sugere-se que Roteiro seja testado em situações reais de uso e avaliação de

software, por uma amostra maior de educadores musicais e programadores de

software para educação musical, utilizando vários programas e em diferentes

contextos pedagógicos e sócio-culturais. Em termos gerais, cada parâmetro e

questão pode ser um ponto de partida para futuras investigações, uma vez que a

área ainda carece de muitos estudos.



8

8

Referências Bibliográficas

BARKER, Philip; KING, Terry. Evaluating interactive multimedia courseware – a methodology.

Computers & Education, Vol. 21, N. 4, pp. 307-319, 1993.

BEHAR, Patricia Alejandra. Avaliação de softwares educacionais no processo de ensino

aprendizagem computadorizado: estudo de caso. Porto Alegre, 1993. Dissertação. Curso

de Pós-Graduação em Ciência da Computação, UFRGS.

CASEY, Donald E. Descriptive research: techniques and procedures. In: COLWELL, Richard (ed.).

Handbook of Research on Music Teaching . New York, Schirmer Books, pp.115-123, 1992.

COHEN, Louis & MANION, Lawrence. Research methodos in education. 2ª. ed., London, Croom

Helm, 1985.

DeMAIO, Theresa J.; ROTHBEG, Jennifer M. Cognitive interviewing techniques: in the lab and in the

field. In: SCHWARZ, Norbert; SUDAN, Seymour (eds.). Answering Questions: Methodology

for Determining Cognitive and Communicative Processes in Survey Research. San

Francisco, Jossey-Bass Publishers, pp.177-196. 1996.

HANNAFIN, Michael J.; PECK, Kyle L. The design, development, and evaluation of instructional

software. New York, Macmillan, 1988.

MUCCHIELLI, Roger. O questionário na pesquisa psicossocial. Trad. RIVERA, Luiz Lorenzo e

MAGALDI, Silvia; rev. SILVA, Mônica S. M. São Paulo, Martins Fontes, 1979.

OSTROM, Thomas M.; GANNON, Katherine M. Exemplar generation: assessing how respondents

give meaning to rating scales. In: SCHWARZ, Norbert; SUDAN, Seymour (eds.). Answering

Questions: Methodology for Determining Cognitive and Communicative Processes in Survey

Research. San Francisco, Jossey-Bass Publishers, pp.293-318, 1996.RICHEY, Rita C.; NELSON, Wayne A. Developmental research. In: JONASSEN, David H. (ed.).

Handbook of Research for Educational Communications and Technology . New York,

Macmilan, pp.1213-1246, 1996.

SQUIRES, David; McDOUGALL, Anne. Choosing and using educational software: a teachers’ guide.

London, Falmer Press, 1994.

SWANWICK, Keith. A basis for music education. London, Routledge, 1979.



9

9

(Descrição das questões do Roteiro Preliminar )

(Questionário Fechado: Graus estabelecidos para a avaliação do Roteiro Preliminar)

Anexo: Tabelas, Gráficos e Figuras (numerados seqüencialmente)

Tabela 1: Fundamentação Teórica

CATEGORIAS DO ROTEIRO

ÁREASPESQUI-S

ADAS

Parâmetros Pedagógicos Interações Sociais Informática&EducaçãoMusical

Teorias de Aprendi-z

agem

Concep-ç ões de

EducaçãoMusical

Parâme-tr os da

Experiênci a Musical

ObjetivosPedagó-gi

cos

Avaliaçãodo

Apren-diz ado

Adequa-ç ão

Sócio-cult ural e

Musical

EntreProfessore Alunos

Entre Alunos

Educação

InformáticaEducacional

EducaçãoMusical

Informática(HCI)

Computação& Música

Figura 2: Questionário Fechado para Avaliação do Roteiro Preliminar

Grau dePertinência

Grau deImportância

1 2 3 1 2 3

( ) ( ) ( ) ( ) ( ) ( ) 2) Há algum tipo de limitação no design do software que dificulteseu uso de acordo com a teoria de aprendizagem do professor?

1 2 3 4 5( ) ( ) ( ) ( ) ( )

Comentários sobre o software: ____________________

Gráfico 3: Roteiro Preliminar - Classificações no Grau 3

Roteiro Preliminar - Classificações no Grau 3 (máximo)

79

73

56

63

70

58

8078

61

50

70

66

6359 59

75

61

58

0

20

40

60

80

100

a.1 a.2 a.3 a.4 a.5 a.6 b.1 b.2 c

Categorias e Sub-categorias

%Pertinência 3

Importância 3



10

10

Tabela 4: Estrutura do Roteiro: Modificações Durante a Pesquisa

Fase I: Categorias eSub-categorias

Fase II: Roteiro Preliminar Nova Propostade Roteiro

Categoria A – Educação / Educação Musical

a.1) Teorias de Aprendizagema.2) Concepções de Educação

Musicala.3) Atividades Musicais –

Modelo (T)EC(L)A

a.4) Adequação Social e Culturala.5) Significados da Músicaa.6) Objetivos Curriculares

a.6.1) Relação dos objetivos aoconteúdo e processo dosoftware

a.6.2) Forma de apresentaçãodos objetivos curriculares

a.6.3) Amplitude dos conteúdoscurriculares

a.7) Formas de Avaliação do Aprendizado

Categoria A – Educação / Educação Musical

a.1) Teorias de Aprendizagema.2) Concepções de Educação

Musicala.3) Parâmetros da Experiência

Musical – Modelo (T)EC(L)A

a.4) Objetivos Pedagógicosa.5) Formas de Avaliação do

Aprendizadoa.6) Adequação Sócio-cultural e

Musical ao contextoeducacional pretendido

Categoria A – Parâmetros Pedagógicos

a.1) Teorias de Aprendizagem &Concepções de EducaçãoMusical

a.2) Parâmetros da ExperiênciaMusical

a.3) Objetivos Pedagógicosa.4) Avaliação do Aprendizadoa.6) Adequação Sócio-cultural e

Musical

Categoria B – Interações Sociais Possíveis

Durante o Uso do Software

b.1) Entre Professor e Alunosb.2) Entre Alunos

Categoria B – Interações Sociais

b.1) Entre Professor e Alunosb.2) Entre Alunos

Categoria B – Interações Sociais

Categoria C – Informática & Educação Musical



Documents

Desenvolvimento, testagem e proposta de um Roteiro para Avaliação de Software para Educação Musical