Conepro Sul 2014 - Arquitetura para um Sistema de Gestão de Testes Adaptativos Computadorizados

Arquitetura para um Sistema de Gestão de Testes Adaptativos Computadorizados

Paulo Rogério Pires Manseira (UNISOCIESC) [email protected] Misaghi (UNISOCIESC) [email protected]

Introdução

Instituições de Ensino

Busca e exploração de dados

Personalização do ensino

Postura ativa, ritmo de

aprendizagem e ênfase na formação

Computer-Based Testing

Uso de TI em avaliação para classificação, seleção e aferição

JOHNSON et al., 2013; ALVES et al., 2011; SCHEUERMANN; BJORNSSON, 2009; MOREIRA JUNIOR, 2011.

Objetivo

Propor uma arquitetura para a construção de um sistema de gestão de testes adaptativos computadorizados,

que possa ser utilizado em diferentes momentos de um curso da modalidade EaD

Pesquisa bibliográfica

• TAC• TRI• Modelos de

uso• Algoritmos

Estudo de caso

• Escolha do modelo

• Modelagem e implementação do sistema

• Projeto piloto

Metodologia

Trabalho em andamento

O TAC é um – teste computadorizado flexível e adaptável – ao indivíduo que está sendo examinado, – em tempo real,– e que gera dados estatísticos tanto do indivíduo quanto do

grupo a que o indivíduo pertence, – em função do nível de proficiência inferido a partir das questões

apresentadas – que seguem certa metodologia psicométrica em sua formulação

Revisão Bibliográfica

PINTON-GONÇALVES, 2012.

Testes Adaptativos Computadorizados

Unidimensional

Multidimensional


• Existência de uma relação entre habilidade (traço latente) e probabilidade de resposta correta

• Estimadores de proficiência obtidos através de inferência estatística

RECKASE, 2009; DEMARS, 2010; MOREIRA JUNIOR, 2011; PINTON-GONÇALVES, 2013.

Início

Fim

Seleção e apresentação de um

item

Avaliação da resposta

Estimação da(s) habilidade(s)

Critério de parada foi atingido?

sim

não


Adaptado de FETZER et al., 2011.

Algoritmo básico de um TAC

Exemplo de um TAC


MOREIRA JUNIOR, 2011.

TAC


Arquitetura de um TAC

THOMPSON; WEISS, 2011.

Vantagens

• A correção automática.• Controle do tempo de exposição.• A personalização do teste.• Diminuição do tempo necessário.• Diminuição do número de questões.• Possibilidade de aplicação na EaD.• Testes em dias, horários e locais

diferentes.• Permite comparação entre indivíduos.• Feedback instantâneo.• Não necessita impressão.• Questões com uso de multimídia.• Acompanhamento evolutivo dos

indivíduos.


Desvantagens

• Banco de itens– Elaboração de questões com

qualidade psicométrica.– Metodologia de calibração inicial.– Potencial aumento de custos

(profissionais de estatística).– Sistema computacional rápido e

seguro.– Necessita de procedimentos

criteriosos na inclusão/exclusão de itens.

MOREIRA JUNIOR, 2011; PITON-GONÇALVES, 2012.

Resultados e Discussão

Servidor LMS

Servidor ERP

AlunoServidor TAC

Professor

AdministradorAuto-teste

LMS

Avaliação

Administração

Gestão do TAC

Diagrama Conceitual


Aluno

WebservicesTAC

Gestão

Administração

Diagrama de Componentes

Resultados e DiscussãoDiagrama de Casos de Uso do Módulo Aluno

Aluno

Módulo Aluno

Visualizarfeedback

Realizaravaliação

Realizarauto-teste

Escolherassunto

<<in

clud

e>>

<<extend>>

<<extend>>


<<actor>>

LMS

Módulo Webservices

Visualizarfeedback

Realizaravaliação

Realizarexercício

Informarassunto

<<extend>>

<<extend>>

Diagrama de Casos de Uso do Módulo Webservices


Módulo Gestão

Prepararavaliações

Manterassuntos

Manterquestões

<<include>> Manteralternativas

Visualizarresultados

Professor

Diagrama de Casos de Uso do Módulo Gestão


Módulo Administração

Manterdisciplinas

Manter alunos

Manter turmas

Importar ERP

Manterprofessores

Administrador<<extend>>

<<actor>>

TAC

Validar aluno

Diagrama de Casos de Uso do Módulo Administração

Res

ulta

dos

e D

iscu

ssão

Módulo TAC

Informarresposta

Obter questão

<<extend>>

<<actor>>

Webservices /Aluno

Iniciar seção

<<extend>>

Escolher teste

Encerrar seção<<extend>>

<<include>>

Estimarhabilidade

Registrar uso<<include>>

<<include>>

Verificarcritério de

parada

<<include>>

<<actor>>

Gestão

Obterresultados

Calibrarquestões

Diagrama de Casos de Uso do Módulo TAC

Resultados e DiscussãoProtótipo de Projeto Gráfico

Este é um trabalho em andamento e em estágio inicial


Resultados esperados

Uso de TAC de forma simples em diferentes momentos de estudo.

A propiciação de avaliações formativas e feedbacks constantes.

Oferecer indicativos de lacunas no aprendizado de alunos.

O diagnóstico e a personalização do processo de ensino-aprendizagem.

Estudo de caso

• Modelar detalhes técnicos

• Escolher algoritmos da TRI

• Implementar sistema

Estudo de caso

• Realizar teste piloto

Considerações Finais

Próximas etapas

ABREU, R. C. P.; SILVA, P. N. DIA - Ferramenta de teste adaptativo informatizado. Edu.Tec Revista Científica Digital da Faetec, Rio de Janeiro, ano 4, v. 1, n. 1, Fev. 2012. Disponível em <http://www.faetec.rj.gov.br/desup/index.php/1013-5-edicao-ano-iv-vol-01-n-01 >. Acesso em 01 jul. 2013.

ALVES, D. T. et al. Análise de metodologia baseada no sistema de ensino individualizado de Keller aplicada em um curso introdutório de eletromagnetismo. Revista Brasileira de Ensino de Física, São Paulo, v. 33, n. 1, Mar. 2011. Disponível em <http://repositorio.ufpa.br/jspui/handle/2011/3231>. Acesso em 07 jul. 2013.

BIRDSALL, M. Implementing Computer Adaptive Testing to Improve Achievement Opportunities. [S.l.]: Office of Qualifications and Examinations Regulation, 2011.

CARVALHO, R. M.; COELHO, E. G. Sistema de Testagem Adaptativa Computadorizada (CAT) da Universidade de Brasília com Pré-Testagem Automatizada. 2011, 121 f. Monografia (Licenciatura em Computação) Departamento de Ciência da Computação, Instituto de Ciências Exatas, Universidade de Brasília, Brasília.

CURA JUNIOR, C. et al. Uma Ferramenta Adaptativa de Avaliação da Aprendizagem Baseada no Perfil Cognitivo e Metacognitivo do Estudante. Revista de Informática Aplicada, São Caetano do Sul, v. 3, n. 2, p. 41-48, 2007.

DALPIAZ, M. G. G. SIA on-line: Sistema Integrado de Avaliação On-line baseado em Testes Adaptativos Informatizados (TAIs). 2007, 75 f. Monografia (Tecnólogo em Análise e Desenvolvimento de Sistemas). Faculdade de Tecnologia SENAC/RS, Porto Alegre.

DEMARS, C. Item response theory. Oxford: Oxford University Press, 2010.

FERNANDES, P. G. M. Sistema Computadorizado de Avaliação Adaptativa em Larga Escala (SCAALE). 2009, 152 f. Monografia (Ciência da Computação). Departamento de Ciência da Computação, Instituto de Ciências Exatas, Universidade de Brasília, Brasília.

FETZER, M. et al. Computer Adaptive Testing (CAT) in an Employment Context. White paper. Roswell, USA: PreVisor, 2011.

HUANG, Y.-.; LIN, Y.-.; CHENG, S.-C. An adaptive testing system for supporting versatile educational assessment. Computers & Education, v. 52, p. 53-67, 2009.

JOHNSON, L. et al. NMC Horizon Report: 2013 Higher Education Edition. Austin, Texas: The New Media Consortium, 2013.

JUSTINO, G; ANDRADE, D. F. Software para avaliação de aprendizagem utilizando a teoria da resposta ao item. In: WORKSHOP SOBRE INFORMÁTICA NA ESCOLA, 13. 2007, Rio de Janeiro. Anais... Rio de Janeiro: SBC, 2007.

LILLEY, M.; BARKER, T.; BRITTON, C. The development and evaluation of a software prototype for computer-adaptive testing. Computers & Education, v. 43(1), p. 109-123, 2004.

Referências

http://www.faetec.rj.gov.br/desup/index.php/1013-5-edicao-ano-iv-vol-01-n-01

http://repositorio.ufpa.br/jspui/handle/2011/3231

LUECHT, R. M.; SIRECI, S. G. A Review of Models for Computer-Based Testing. [S.l.]: CollegeBoard, 2011.

MANSEIRA, P. R. P.; MISAGHI, M. Proposta de ferramenta para uso abrangente de testes adaptativos computadorizados na educação a distância. In: CONGRESSO BRASILEIRO DE ENGENHARIA DE PRODUÇÃO, 3., 2013, Ponta Grossa. Disponível em <http://www.aprepro.org.br/conbrepro/2013/down.php ?id=178&q=1>. Acesso em 10 jan. 2014.

MOREIRA JUNIOR, F. J. Sistemática para a implantação de Testes Adaptativos Informatizados baseados na Teoria da Resposta ao Item. 2011, 334 f. Tese (Doutorado) – Centro Tecnológico, UFSC, Florianópolis.

OLIVEIRA, L. H. M. Testes Adaptativos Sensíveis ao Conteúdo do Banco de Itens: uma Aplicação em Exames de Proficiência em Inglês para Programas de Pós-Graduação. 2002, 200 f. Dissertação (Mestrado) – ICMC-USP, Instituto de Ciências Matemáticas e de Computação, ICMC/USP, São Carlos.

OLIVEIRA, L. H. M.; ALUÍSIO, S. M.; PITON-GONÇALVES, J. Criação e aplicação de Testes Adaptativos Informatizados: um estudo de caso. In: CONGRESSO DA SOCIEDADE BRASILEIRA DE COMPUTAÇÃO, 24., 2004, Salvador. Anais… São Paulo: Editora TecArt LTDA., 2004.

PIMENTEL, E. P.; OMAR, N. An Architecture of a Computer Learning Environment for Mapping the Student’s Knowledge Level. Journal of Issues in Informing Science & Information Technology, v. 4, p. 313-326, 2007.

PITON-GONÇALVES, J. A Integração de Testes Adaptativos Informatizados e Ambientes Computacionais de Tarefas para o Aprendizado do Inglês Instrumental. 2004, 116 f. Dissertação (Mestrado) – ICMC-USP, Instituto de Ciências Matemáticas e de Computação, ICMC/USP, São Carlos.

PITON-GONÇALVES, J. Desafios e perspectivas da implementação computacional de Testes Adaptativos Multidimensionais para avaliações educacionais. 2012, 153 f. Tese (Doutorado) – Instituto de Ciências Matemáticas e de Computação, ICMC/USP, São Carlos.

RECKASE, M. D. Multidimensional Item Response Theory. New York: Springer, 2009.

SANTOS, P. et al. Modeling the Computing Based Testing domain extending IMS QTI: Framework, models and exemplary implementations. Computers in Human Behavior, v. 28, p. 1648-1662, 2012.

SCHEUERMANN, F,; BJÖRNSSON, J. (Eds.). The Transition to Computer-Based Assessment: New Approaches to Skills Assessment and Implications for Large-scale Testing. Luxemburgo: European Communities, 2009.

TRIANTAFILLOU, E.; GEORDIADOU, E.; ECONOMIDES, A. A. The design and evaluation of a computerized adaptive test on mobile devices. Computers & Education, v. 50(4), p. 1319-1330, 2008.

THOMPSON, N. A.; WEISS, D. J. A Framework for the Development of Computerized Adaptive Tests. Practical Assessment, Research & Evaluation, 16(1), 2011. Disponível em: <http://pareonline.net/getvn.asp ?v=16&n=1>. Acesso em 10 jul. 2013.

Referências

http://www.aprepro.org.br/conbrepro/2013/down.php%20?id=178&q=1

http://pareonline.net/getvn.asp%20?v=16&n=1

Obrigado!

Paulo Rogério Pires Manseira

[email protected]