View
215
Download
0
Category
Preview:
Citation preview
PACTO NACIONAL PELA ALFABETIZAÇÃO NA IDADE CERTA
SEMINÁRIO ESTADUAL PNAIC CEARÁ
A Avaliação Nacional da Alfabetização:
compreendendo os resultados
André Jalles
UNIVERSIDADE FEDERAL DO CEARÁ
Fortaleza - Fevereiro de 2015
Troca de experiênciasTexto introdutório de motivação
Avaliação: utilidade e limitações
Diálogo sobre medidas e parâmetros
Troca de informações sobre o a ANA
Proficiência
Medida, Modelo Estatístico e Acaso
Teoria clássica de medida; Análise básica de testes
Curva característica do item; Teoria da Resposta ao Item
Bibliografia
Resultados da ANA 2013 e comparações
MEC insiste em 450 pontos no Enem para o financiamentoA exigência e a redução do fluxo de pagamento às mantenedoras geraram fortes críticas
do setor. MEC argumenta melhor oferta de vagas. O secretário - executivo do Ministérioda Educação (MEC), Luiz Cláudio Costa, defendeu ontem um novo modelo para oferta decusteio pelo Fundo de Financiamento ao Estudante do Ensino Superior (Fies). Eledeclarou, em Brasília, que a pasta “não abre mão” de uma pontuação mínima no ExameNacional do Ensino Médio (Enem) para o acesso ao programa.
No final do ano passado, uma portaria do MEC passou a exigir nota de 450 pontos noEnem como uma das condições para o estudante obter o contrato. A exigência e aredução do fluxo de pagamento às mantenedoras geraram fortes críticas do setor.
“Catástrofe”O presidente da Abmes, Gabriel Rodrigues, apontou a “falta de recursos” das
instituições diante das mudanças: “O problema existe e precisamos encontrar umasolução, senão será uma catástrofe”, advertiu Rodrigues.
Argumentou que a alteração nas regras do Fies afeta a ”bandeira” defendida pelo ex-presidente Luiz Inácio Lula da Silva e pela presidente Dilma Rousseff de ampliar o acessoao ensino superior.
Avaliação: utilidadeVerificação do patamar de aprendizagem
Estímulo para superação de desafios
Mensuração da qualidade de uma
intervenção
Verificação do efeito de novas
intervenções
Avaliação: limitaçõesQualidade dos instrumentos da avaliação
Fidedignidade
Dimensionalidade
Consistência
O que é uma medida?
Valor numérico relacionado a um
atributo, propriedade ou característica
de um objeto, que gera informação
sobre tal objeto.
Medida: Exemplos
Temperatura
• Efeito: Dilatação de metais.
• Instrumento: Termômetro, aumento / redução no volume de mercúrio.
• Exemplo prático: qual é a temperatura desta sala?
Peso
• Efeito: diferença na força para retirar um objeto da inércia.
• Instrumento utilizado: balança.
• Exemplo prático: qual é o seu peso?
Parâmetro estimado por intermédio de um modelo estatístico
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6 7 8 9 10
Parâmetro estimado por intermédio de um modelo estatístico
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6 7 8 9 10
Medidas em instrumentos
de avaliação de conteúdos
Proporção de acerto em um item.
Somatório da proporção de acertos dos
itens de uma prova.
Atribuição de “peso” aos itens de uma
prova.
Medidas em instrumentos
de avaliação de conteúdos
Problemas de comparabilidade entre
avaliações distintas ou aplicadas em
momentos distintos.
Necessidade de acompanhamento do
progresso dos avaliados.
A Avaliação Nacional de
Alfabetização - ANA
A ANA é uma avaliação que objetiva
aferir os níveis de alfabetização e
letramento em Língua Portuguesa
(leitura e escrita) e Matemática dos
estudantes do 3º ano do ensino
fundamental das escolas públicas.
A Avaliação Nacional de
Alfabetização - ANA
Os resultados de desempenho nas áreas avaliadas são
expressos em escalas de proficiências. As escalas de Língua
Portuguesa (Leitura) e de Matemática da ANA 2013 são
compostas por quatro níveis progressivos e cumulativos. Isso
significa uma organização da menor para a maior proficiência.
Quando um percentual de alunos foi posicionado em
determinado nível da escala, pode-se pressupor que, além de
terem desenvolvido as habilidades referentes a este nível,
provavelmente também desenvolveram as habilidades
referentes aos níveis anteriores.
Proficiência
• Inteligência; habilidade / competência; aptidão; conhecimento; raciocínio; ...
Competência: É o conjunto de conhecimentos (saberes), habilidades (saber fazer) e atitudes (saber ser).
(Dicionário interativo da educação brasileira)
• Instrumento de medida: testes
Exemplo prático: considerando a Cidade de Fortaleza, em umdia ensolarado qualquer, independente da data do ano, emqual horário sua sombra terá o menor tamanho?
a) 11h b) 12h c) 11:30 d) 12:30
Teoria Clássica de Medida
• Instrumento: teste com vários itens (questões).
• Escores relacionados aos itens.
• Nota relacionada ao somatório de escores.
• Avaliação da nota individual comparada ao grupo
Estatísticas básicas de um teste
• Média, Mediana, separatrizes e Valor Modal.
• Amplitude, Variância, Desvio-Padrão.
• Simetria, Curtose.
• Curvas de referência, gráficos, etc
Teoria Clássica de Medida
Limitações
• Instrumento dependente do grupo medido.
• Os parâmetros do teste dependem do grupo aplicado.
• Comparabilidade entre testes.
Curva característica dos itens
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
Quantidade de itens corretos
Teoria da Resposta ao Item - TRI
• Variável Latente.
• Modelo Estatístico.
• Probabilidade de acerto de um item, condicionado à Proficiência do aluno.
• Dificuldade, Discriminação e Acerto casual.
• Problemas: Dimensionalidade, independência dos itens, modelo preestabelecido ...
Curva característica do item
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
-3 -2 -1 0 1 2 3
Quantidade de itens corretos
normalizados
Modelo logístico unidimensional de três parâmetros
• P[Acerto / q ]=
c + (1-c)/{1 + Exp[-a(q – b)]}
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
-3 -2 -1 0 1 2 3
Curvas características de itens Modelo Teórico
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6 7 8 9 10
Quantidade de itens corretos
Curvas características de itens Modelo Teórico
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6 7 8 9 10
Quantidade de itens corretos
Curvas características de itensEstimação das curvas
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6 7 8 9 10
Quantidade de itens corretos
Curvas características de itens Estimação da nota
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6 7 8 9 10
Quantidade de itens corretos
Parâmetros básicos da TRI
• Probabilidade de acerto casual.
• Dificuldade.
• Discriminação.
Proficiência
! ! ? ? ? ? ? ? ! ? ! !
! ? ! ? ! ? ! ! ! ? ! !
? ? ? ! ! ? ? ? ! ? ? ?
! ! ? ! ? ? ? ? ? ! ! !
? ! ! ? ! ! ! ? ! ! ! !
! ! ! ? ? ? ? ? ! ? ! ?
? ! ! ? ! ! ! ! ? ? ! !
! ! ! ? ! ? ! ? ? ! ! ?
? ! ! ! ! ! ! ? ! ? ! ?
! ! ? ? ! ? ! ! ? ! ! !
Teoria clássicae
Teoria da Resposta ao Item
Bibliografia
• PASQUALI, L. Psicometria: Teoria dos testes na psicologia e na educação. 1. ed. Petrópolis,RJ: Editora Vozes, 2003.
• ANDRADE, D.F.; TAVARES, H.R.; VALLE, R.C. Teoria da Resposta ao Item: Conceitos e Aplicações. SINAPE, 2000. www.custosemedidas.ufsc.br/livroTRI.pdf
Recommended