Avaliação em ambientes virtuais de aprendizagem

Laguardia, J.; Portela, M.C.; Vasconcellos, M.M.

Fundação Osvaldo CruzEducação e Pesquisa, São Paulo, v.33. n.3, p.

513-530, set/dez 2007

Por que ?

Avaliação: Reflexão “espontânea” – desafios,

dificuldades na prática como docente. Reflexão “provocada” – forum.

Conservadorismo. Esse texto: ao acaso, proximidade. Mais

amplo do que procurava e mais útil em nosso contexto justamente por isso.

Objetivos

Apresentar aspectos conceituais e metodológicos que norteiam os protocolos de estudo de avaliação dos ambientes de aprendizagem virtual e da aprendizagem nesse meio.

Resumo

A crescente oferta de cursos de EaD e a crescente demanda governamental por cursos de EaD não tem se acompanhado por avaliações adequadas dessas iniciativas.

A estreita relação que se estabelece entre comunicação e educação dentro da EaD de terceira geração, utilizando as novas Tecnologias de Comunicação e Informação (TIC), requer o emprego de conceitos e métodos que transcendem a área de educação.

Resumo – cont...

O texto apresenta tópicos relativos à avaliação das TIC e à aprendizagem nos ambientes virtuais onde elas vem sendo utilizadas, nos cursos de EaD.

Introdução Avaliação da TIC Tipos de avaliação em ambientes virtuais Modelos de avaliação em ambientes virtuais

Introdução Mudanças de ordem econômica, técnicas, sociais e

culturais que servem de base para o aparecimento de e demanda para EaD.

Economia pós-industrial baseada no conhecimento. Processos de trabalho exigindo habilidades

metacognitivas, de aprendizado contínuo e cooperativo.

Novas Tecnologias de Informação e Comunicação – comunicação mediada pelo computador.

Características da EaD – flexibilidade, abertura. Autonomia individual, liberdade intelectual.

Ausência de estudos avaliativos – tempo e falta de conhecimento especializado.

Avaliação de TIC

Avaliação : “aplicação sistemática de procedimentos metodológicos para determinar, a partir dos objetivos propostos e com base em critérios internos e/ou externos, a relevância, a efetividade e o impacto de determinadas atividades com a finalidade de tomada de decisão.”

“Julgamento de valor a respeito de uma intervenção ou sobre qualquer um de seus componentes...”

Avaliação de TIC

Repercussões – natureza benéfica ou adversa de suas consequências.

Correlação potencial tecnológico e capacidade de preencher as necessidades e os desejos econômicos e sociais.

Não deve se restringir apenas à tecnologia em si, mas focar a interação entre a TIC e os usuários.

Avaliação de TIC

Investigações quantitativas x qualitativas. Tipos de abordagens: experimental (ensaio clínico),

pragmática (estudo de caso), econômica (custo-benefício, custo-efetividade), naturalista (interação dos indivíduos).

Desenhos de estudos: objetivistas e subjetivistas. (parte mais difícil do texto...)

Metodologias híbridas – quali e quantitativas.

Tipos de avaliação de ambientes virtuais de aprendizagem

Investigação das condições em que a aprendizagem acontece (estrutura), modos pelos quais os estudantes são capazes de interagir (processos) e alcance de objetivos e metas propostos (resultados).

Poucos indicadores específicos ou adequados de educação digital a distância. Indicadores de países desenvolvidos.

Níveis de interação aluno-tutor-conteúdo-interface – fator crítico para o sucesso da aprendizagem baseada na tecnologia.

Tipos de avaliação de ambientes virtuais de aprendizagem

Desenho do currículo, ambiente de aprendizagem e interface de aprendizagem devem ser avaliados – satisfação do usuário e usabilidade (avaliação ergonômica).

Carga de trabalho mental e prático exigida. Aspectos cognitivos, funcionalidade.

Avaliação externa com enfoque no ambiente sociocultural – custo-benefício, custo-efetividade.

Avaliação externa com enfoque nos coordenadores e promotores – conflitos de interesses, participação.

Avaliação do processo de avaliação do curso. Certificação ISO.

Tipos de avaliação de ambientes virtuais de aprendizagem

Kirkpatrick – 1975/1998 – avaliação de aprendizagem em programas de treinamento empresarial. 4 níveis:

1 – reação e ação planejada – relatórios de progresso, auto-avaliação, satisfação, como pretende usar conhecimento.

2 – aprendizagem – pré e pós testes, simulações, jogos, detectar mudanças de atitude.

3 – aplicação – após término do curso. “Knowledge x Know-how”. Verificar aplicação no ambiente de trabalho.

4 – resultado – repercussões na empresa, retorno do investimento, redução absenteísmo, melhora motivação etc.

Métodos de avaliação de ambientes virtuais de aprendizagem

Modelo sugerido – Benigno, V. & Trentin, G. – The evaluation of on line courses. J. Computer Assisted Learning, 2000; 16: 259-270.

Elemento central nos cursos online: interação. Indicadores: alguns do ensino presencial e outros

ligados à sociabilidade do processo (participação, interação com tutor, níveis de colaboração).

Modelo proposto – Benigno & Trentin Elementos chave (9):

1. Características individuais – competência inicial, experiências, motivação, logística de participação, habilidades de manuseio computador, expectativas. Questionário de entrada.

2. Análise quantitativa da participação – números entradas, mensagens, participações em discussões síncronas / asssíncronas. Análise automática (algoritmos de técnicas sociométricas) / estatística.

Modelo proposto

3. Análise qualitativa das mensagens - Conteúdo e contribuição colaborativa. Problema de “quantificar a qualidade”. Impressões pessoais do tutor - metodologia inadequada. Sugere-se usar 4 elementos básicos (grid qualitativo): número de mensagens, características de interatividade das mensagens, extensão na qual as mensagens cobrem os tópicos sugeridos, profundidade na qual os tópicos são explorados – de modo a avaliar qualidade da participação e conteúdo. Ter previamente um “check-list” de tópicos que deveriam ser abordados. Produção de trabalho de grupo. Relatórios de progresso ao tutor. Agentes de interface, tecnologia de mineração de dados.

4. Desenvolvimento de projeto final.

Modelo proposto

5. Análise da comunicação – dinâmica de interação, interação com tutor, estratégias de ensino e/ou operacionais.

6. Ambiente de aprendizagem – características que influenciam positiva ou negativamente o aprendizado. Acesso, clima etc.

7. Material utilizado – livros, artigos, softwares.8. Tecnologia de comunicação – facilidade de uso, efetividade. Questionário final – visão do participante: conteúdo,

aspectos educacionais, materiais, aspectos organizacionais, logística de participação, aspectos técnicos (TIC), atuação de tutores e “experts”, satisfação.

Ficha final de participação do aluno preenchida pelo tutor: compilando a participação.

Modelo proposto

9. Retorno do investimento – comparação com cursos presenciais. Avaliar uso do conhecimento no ambiente de trabalho.

Segundo a modalidade de avaliação:

Avaliação diagnóstica – questionário inicial, características do aluno.

Avaliação formativa – avaliação tradicional (testes), ferramentas síncronas (chat) e assíncronas (forum), mapeamento conceitual, portfólios.

Avaliação somativa – questionários de satisfação, testes pré e pós, análise de artigos, produções finais, auto-avaliação.

Conclusões do artigo

A escolha da metodologia para avaliar um curso em ambiente virtual depende da proposta educacional e dos interesses dos grupos envolvidos especificamente no curso em questão. Há inúmeras possibilidades e o processo deve ser individualizado.

É necessário que instituições promotoras de cursos de EaD discutam e implementem metodologias de avaliação que permitam reve-los, adequa-los, aprimora-los.

Conclusões pessoais sobre o artigo

Apresenta questões técnicas e metodológicas importantes para a “prática” da EaD de terceira geração / digital.

Avaliação dos ambientes virtuais é fundamental – estabelecimento de padrão de qualidade.

Avaliação do aprendizado faz parte da avaliação da qualidade do curso.

Avaliar o aluno é importante para avaliar a qualidade do curso e sua relevância (através do impacto).

Avaliação já faz parte do processo de ensino –aprendizagem – avaliações ruins estimulam aprendizagem ruim !

Conclusões pessoais após o artigo

Multidisciplinaridade da EaD ficou muito evidente. A leitura dos textos me exigiu procura de conceitos e definições de áreas as mais variadas: pedagogia (ou melhor andragogia?), psicologia, antropologia, filosofia, informática, etc.

Não é possível dominar todas as áreas em “uma só vida”....mas é imprescindível conhecer alguns conceitos de outras áreas. Professor é conteudista e tutor, mas para melhor desempenho nesse ambiente, deve ampliar seus conhecimentos.