ANÁLISE ESTATÍSTICA DOS TESTES DE PROGRESSO .específica em detrimento de outras igualmente importantes

  • View
    212

  • Download
    0

Embed Size (px)

Text of ANÁLISE ESTATÍSTICA DOS TESTES DE PROGRESSO .específica em detrimento de outras igualmente...

  • ANLISE ESTATSTICA DOS TESTES DE PROGRESSO

    FOCANDO OS CURSOS DE ENGENHARIA Flvio Morgado flaviomorgado@gmail.com Centro Universitrio Serra dos rgos (UNIFESO). Endereo: Av Alberto Torres, 111 Alto CEP: 25964-004 Terespolis - RJ Nelson M Barbosa barbosaunifeso@gmail.com Centro Universitrio Serra dos rgos (UNIFESO). Endereo: Av Alberto Torres, 111 Alto CEP: 25964-004 Terespolis - RJ Lacerda N.N.N n3lacerda@yahoo.com.br Centro Universitrio Serra dos rgos (UNIFESO). Endereo: Av Alberto Torres, 111 Alto CEP: 25964-004 Terespolis - RJ Renan M.P. renanmarques89@gmail.com Centro Universitrio Serra dos rgos (UNIFESO). Endereo: Av Alberto Torres, 111 Alto CEP: 25964-004 Terespolis - RJ Resumo: O Teste de Progresso um instrumento de avaliao cognitiva aplicado longitudinalmente em um curso superior, com o objetivo da constante autoavaliao de seus alunos em relao ao seu grau de profissionalizao. Sua eficcia subentende o emprego de perguntas pertinentes ao exerccio profissional, devendo ser confeccionado de forma a fornecer questes que abordem as principais situaes de atuao profissional do curso em questo. Este artigo tem por objetivo sugerir como calcular e retornar diversas mtricas aps a aplicao do Teste de Progresso. No UNIFESO, o Teste de Progresso aplicado anualmente deste 2005, empregando questes de mltipla escolha e analisado pela qualidade do teste proposto, pelo comparecimento dos alunos, e pelos resultados obtidos, empregando tcnicas estatsticas para medir o comparecimento, adeso, mdia individual, dos perodos, e geral, e avaliao do nvel de dificuldade das questes. O emprego de estatsticas simples e confiveis aos resultados do Teste de Progresso facilita a aferio do crescimento cognitivo dos alunos em busca da mestria do exerccio profissional. Palavras-chave: Teste de progresso, Anlise estatstica, Curso de engenharia.

    1. INTRODUO

    A metodologia de avaliao utilizada nos Testes de Progresso foram primeiramente aplicadas na Kansas City School of Medicine, da Universidade de Missouri, e posteriormente pela Universidade de Limburg, em Maastricht (McHarg et al., 2005). So instrumentos de verificao da aprendizagem cujos resultados so utilizados tanto para a gesto da qualidade como autoavaliao de docentes e discentes de um curso universitrio, ou em projetos colaborativos integrados de avaliao entre diferentes instituies de ensino para comparar a

  • qualidade de seus cursos de graduao (Swanson, 2012; Schauber e Nouns, 2010) e ps-graduao (Dijksterhuis, 2009). As questes nele abordadas devem ser divididas em categorias distintas do conhecimento intrnseco associado profisso, sendo aplicado de forma longitudinal no curso, independente da srie/perodo em que os alunos se encontrem. normalmente embasado em questes de mltipla escolha, onde cada questo fornece um enunciado, cinco respostas possveis e uma nica resposta correta, apesar de algumas instituies usarem o sistema de perguntas e respostas do tipo Sim/No (Tasdemir, 2012, Tomic et al., 2005). O Teste de Progresso deve ser aplicado a todos os alunos do curso (Tomic et al., 2005), envolvendo grande esforo do corpo docente, tanto na confeco do teste em si, como em sua aplicao, anlise e retorno dos resultados individuais e coletivos. Devido grande massa de dados por ele gerada, recomenda-se que sua anlise seja efetuada de forma sistemtica, empregando estatsticas, simples, fornecidas por tabelas e grficos capazes de os resultados sob ticas diversificadas (Coombes, 2010). O UNIFESO Centro Universitrio Serra dos rgos, localizado em Terespolis, RJ, aplica regularmente o Teste de Progresso ao seu curso de Engenharia, desde 2008, efetuando as seguintes anlises bsicas: 1)Anlise da estrutura e qualidade das questes; 2)Anlise do comparecimento e adeso ao teste; 3)Anlise do resultado cognitivo.

    Este artigo tem por objetivo discutir como efetuar estas anlises e indicar mtodos parar se apresentar os resultados.

    2. ANLISE DA ESTRUTURA E QUALIDADE DAS QUESTES

    Esta anlise pode ser feita antes ou depois da aplicao do Teste de Progresso, avaliando-se a estrutura e qualidade das questes propostas para o teste.

    2.1. Distribuio das questes por categoria

    As categorias das questes a serem utilizadas no Teste de Progresso devem estar em consonncia com as principais reas de atuao profissional do curso, normalmente citadas nas Diretrizes Curriculares Nacionais (DCNs) estabelecidas pelo MEC Ministrio da Educao e Cultura do Brasil. Nos cursos de Engenharia Ambiental e de Produo, por exemplo, as questes propostas podem ser divididas em quatro reas: Conhecimentos gerais, Bsico (nessa rea abordado contedos bsicos dos perodos iniciais, tais como matemtica, fsica e qumica), Profissionalizante (rea comum nos cursos de engenharia) e Profissionalizante Especfico (sendo essa responsvel pelo o tratamento de problemas mais especficos direcionadas ao curso).

    A mtrica usada nesta avaliao constitui o clculo do percentual de questes contida em cada categoria definida para o teste, garantindo que este no esteja tendendo para uma rea especfica em detrimento de outras igualmente importantes para o exerccio profissional, e seu clculo muito simples: contam-se as o nmero de questes contidas em cada categoria e divide-se o resultado pelo nmero total de questes do teste:

    TestenoQuestesdeNCategorianaQuestesdeNCategoriaporQuestes o

    o

    %

  • A apresentao desta distribuio pode ser feita de forma tabular e/ou grfica (Coombes, 2010). Na forma tabular, deve-se fornecer uma tabela indicando o nome das categorias seguido do nmero e percentual de questes por categoria.

    A apresentao grfica pode ser fornecida de formas diversas, recomendando-se o emprego do grfico de pizza, onde o tamanho das fatias em relao ao todo fornece a melhor metfora grfica da distribuio das categorias no teste.

    A Figura 1 exibe o resultado destas anlises.

    Figura 1. Anlise tabular e grfica da distribuio das questes por categoria dos cursos de

    Engenharia. Quando esta anlise efetuada antes da aplicao do teste, pode-se reestrutur-lo at se

    obter o balanceamento ideal do nmero de questes inserida cada uma das categorias profissionais recomendadas.

    Esta anlise tambm deve fazer parte dos resultados apresentados ao corpo docente e discente aps a aplicao do teste, sendo especialmente til quando ocorrer anulao de uma ou mais das questes propostas. Neste caso, devem-se retirar as questes anuladas da distribuio e recalcular a nova distribuio estatstica das categorias.

    O emprego das mesmas categorias em diferentes aplicaes do Teste de Progresso permite o acompanhamento continuado do progresso individual e/ou coletivo do curso nas principais reas de atuao profissional.

    2.2 Distribuio das respostas corretas

    Ao criar questes de mltipla escolha, deve-se ter o cuidado de distribuir a resposta correta (respostas A, B, C, D e E) de cada questo equitativamente entre todas as categorias de questes utilizadas no teste.

    Esta distribuio importante por determinar qual a maior nota possvel, tanto no teste quanto em uma dada categoria, caso o aluno escolha por acaso, uma mesma letra para todas as repostas o que ocorre especialmente quando as perguntas de uma categoria aparecem sequencialmente no teste.

    A distribuio equitativa das respostas garante que, caso o aluno escolha uma mesma letra por acaso, sua nota ser a mnima possvel.

    Esta avaliao dividindo-se o total de respostas corretas de cada alternativa pelo nmero total de questes no teste e em cada categoria.

  • Novamente, o resultado deve ser fornecido em formato tabular e grfico. A Figura 2 exibe o resultado desta anlise quando aplicada a todas as questes de um

    teste que teve nenhuma questo anulada.

    Figura 2. Avaliao das respostas corretas (por opo) no Teste de Progresso, incluindo respostas anuladas.

    A Figura 3 indica como as respostas corretas foram agrupadas dentro de cada categoria

    usada no teste, em forma tabular.

    Figura 3. Avaliao tabular das respostas corretas (por opo) e categoria.

    3. Anlise do comparecimento e adeso ao teste

    Comparecimento e adeso so medidas distintas, relacionadas aos alunos que compareceram, faltaram e pelos que no aderiram ao teste.

    A no adeso pode ser percebida pelo total de ausncias ou anulaes - que pode ocorrer por motivos os mais diversos, sendo frequentemente associado a algum tipo de protesto entre os alunos de uma mesma srie/perodo, para demonstrar seu descontentamento coletivo para com o curso ou sua gesto.

    3.1. Percentual de Comparecimento e Ausncias

    O clculo do percentual de Comparecimento e Ausncias trivial: conta-se o nmero de alunos que compareceram avaliao e divide-se pelo total de alunos inscritos:

  • 3.2. Percentual de Adeso

    O percentual de Adeso dado pelo total de alunos que Compareceram e tentaram resolver o teste. Nesta situao, diminui-se do total de alunos presentes, o total de alunos anulados e ento se divide este valor pelo total de inscritos:

    O leitor pode estar se perguntando o porqu de se anular um gabarito. A resposta simples: espera-se que o resultado do Teste de Progresso mea a qualidade do curso, demonstrando a capacidade dos alunos em resolver as situaes propostas. Portanto, quando o gabarito de um aluno apresenta claramente a no inteno de resolv-lo, a utilizao de sua nota - que ser baixa - na composio da mdia do curso ou do perodo trar um indesejado desvio para baixo.

    A anulao de um gabarito exige a determinao de critrios indicativos de que este demonstra claramente a no inteno do aluno em resolver o teste. Entre as possveis situaes de anulao, incluem-se:

    1. Gabaritos em branco; 2. Gabaritos rasurados, ilegvei