Embed Size (px)
Citation preview
Exames de Larga Escala: Análises Quantitativas e Qualitativas
em uma Prova de FísicaMaurício Kleinke
Dep. de Física Aplicada, Inst. de Física GlebWataghin, Unicamp
Programa Multiunidades de Ensino de Ciências e Matemática, Unicamp
Manaus, 1º de fevereiro de 2011
Sumário • Exames de acesso ao ensino superior
– Enem e vestibulares• Análise de uma prova
– Validade e confiabilidade• Análise das questões
– Razão de chance, análise diferencial– Análise qualitativa
• Políticas públicas– Contextualização, treinamento,
Exames de Acesso
Por que examinar os vestibulares e o Enem?
Alguns números
• Aprox. 90% dos estudantes do ensino médio estão na rede pública de ensino;
• Uma parcela significativa desses não irão prestar nenhuma processo seletivo para o terceiro grau;
• Se a formação no EM é final, por que discutir o acesso ao ensino superior?
Influências no ensino“Uma das influências preeminentes, com uma função normativa mais poderosa do que os programas oficiais, livros didáticos, propostas curriculares ou os atuais parâmetros, sempre foi o exame vestibular.
Assim, essas provas, mais do que cumprir a função classificatória para decidir quais os alunos que podem entrar nas escolas superiores, têm grande influência nos ensinos fundamental e médio.”
KRASILCHIK, M. Reformas e Realidade: o caso do ensino das ciências (2000).
Influência nos problemas apresentados
• Quase todos os materiais didáticos (cadernos da SEE‐SP, livros didáticos em geral, GREF, etc.) utilizam questões dos vestibulares e/ou Enem como exemplo de problemas.
Influência nos livros didáticos
“Numa entrevista dada a mim, o prof. Nicolau Ferraro, um dos autores do “Fundamentos de Física”, afirmou que o conteúdo do livro foi definido pelos vestibulares das escolas de engenharia de São Paulo, principalmente da Escola Politécnica da USP.”
M.J. Chiquetto, XII EPEF
Influência nos livros didáticos
Ricardo Gauche
CursinhosApostilas
ExamesQuestões
EditorasAutores
Livros Didáticos
Influência nos professores
“O professor deverá equilibrar‐se entre a necessidade de levar coletivamente os estudantes a desenvolverem a habilidade de pensar o mundo e transformá‐lo a partir dos conhecimentos de Física, e a contingência pragmática de ensinar os conteúdos que são exigidos pelos exames, entre formar o cidadão e treinar o estudante para ser aprovado em concursos.”
Ana M. M. Silva, R. F. Prestes XVIII SNEF
porque...
...exames e/ou questões elaborados para selecionar passa a ser tratados como uma diretriz formativa para a educação básica.
... o treinamento para desempenho nos exames é incorporado aos materiais e à estrutura didática da educação básica.
Validade de um exame
Avaliação qualitativa do exame
Validade de um exame
• Validade é uma medida do quanto a prova avalia o que se espera, do quanto uma prova cumpre com seus objetivos de medida.
• A validade apresenta distintos aspectos:– Análise do conteúdo por especialistas;– A amostragem do conteúdo analisado;– Análise do desempenho posterior dos selecionados com a prova.
Validade dos exames
• Acadêmica;– Poucas ou quase nenhuma crítica da sociedade.– “Os vestibulares são as instituições mais republicanas desse país” Fernando Prado, Vunesp.
– Existe uma confiança e/ou aceitação na avaliação das provas, superior às outras avaliações.
• Logística– Só aparece quando não funciona.– Enem: 50 a 100 vezes maior que os vestibulares tradicionais;
Qual a função do exame?
• O Enem é hoje um exame de acesso ao ensino superior:– Não é uma prova para avaliar a formação do cidadão;
– Não é uma prova para classificar escolas.
• Os vestibulares, bem como o Enem, servem como seleção para o acesso ao ensino superior.
Validade amostral do exame
• Ter uma ampla cobertura dos temas escolhidos para a prova.
• Pouco/nunca analisado nos vestibulares
• Matriz de referências do Enem.
Validade comparável ao seu objetivo
• Acompanhar o desempenho dos candidatos nos seus cursos, e comparar com a seleção, ver se a seleção realiza uma predição adequada do desempenho dos candidatos.
• Exemplo de acompanhamento• Unicamp/UFBA – Ação afirmativa• Acompanhamento do desempenho
Comparar diferentes notas em diferentes épocas e situações?
• Nota reduzida, nota padronizada
DP
XXZ
Utilizar variáveis padronizadaspermite comparar diferentes provas em diferentes momentos.
Confiabilidade de um exame
Avaliação quantitativa do exame
Confiabilidade de um exame
• Se eu repetir o mesmo exame, no mesmo grupo de alunos, nas mesmas condições de aplicação, vou selecionar os mesmos candidatos?
• O meu exame é confiável?
A correlação de Pearson
• Um dos conceitos básicos em ciência comportamental ou em avaliação educacional é compreender a relação entre diferentes variáveis. Essa indicação pode ser dada pelo coeficiente de correlação
yx
n
i ii
XY SS
YYXXN
1
1
n
i i XXn
Sx 1
22 1
Coeficientes de correlação
• Três provas:– 13334 analisados, 2ª fase vestibular 2010 Unicamp.
– Redação, Matemática e Física
• Coeficientes de correlaçãoRedação Física Matemática
Redação 1,000
Física 0,357 1,000Matemática 0,338 0,871 1,000
0 10 20 30 40 500
10
20
30
40
50
Red
ação
Física
357,0FR
Correlação entre Física e Redação
0 10 20 30 40 500
10
20
30
40
50
Mat
emát
ica
Física
Correlação entre Física e Matemática
871,0FM
Chance do candidato repetir a nota em uma prova similar?
Chance do candidato repetir a nota em uma prova similar?
Uma prova
Prova par
Prova ímpar
Confiabilidade da prova total
• Prova inteira: par + ímpar • X=Y+Y’
• Fórmula de Spearman‐Brown
'
'
'12
YY
YYXX
Confiabilidade da provaÍmpar Par Física
Ímpar 1,000Par 0,882 1,000Física 0,971 0,969 1,000
937,012
'
'
'
YY
YYXX
Valores acima de 0,8 indicam uma prova com alto grau de confiabilidade
Qual a probabilidade de uma questão favorecer um grupo?
Razão de chanceAnálise diferencial de questões
Chance de um grupo realizar “algo”
Grupo Realizou “algo”
Não realizou “algo”
Total de membrosdos grupos
Focal A B A+B
Controle C D C+D
• Grupo focal : quem estamos observando, quem estamos interessados.
• Grupo controle : nossa referência para comparação.
Probabilidades• Grupo focal
– Realizar algo : PA =A/(A+B)– Não realizar algo : PB = B/(A+B)
• Grupo referência– Realizar algo : PC = C/(C+D)– Não realizar algo : PD = D/(C+D)
Grupo Realizou “algo”
Não realizou “algo”
Total de membrosdos grupos
Focal A B A+B
Controle C D C+D
Razão de chance ‐ probabilidades
• É a chance do grupo focal realizar algo com a mesma probabilidade do grupo de referência/controle.
• Um número igual a um indica a mesma chance;• Um número maior que um indica um desempenho do focal superior ao do controle.
BCAD
DC
BA
PP
PP
RC
D
C
B
A
Razão de chanceEnsino médio público e não público
EM N Média DP
Não Público 10652 24,4 12,9
Público 2682 16,0 13,1
Ao comparar todo o conjunto ao mesmo tempo, a diferença de desempenho é tamanha que não é possível saber se existe algum viés na estrutura das questões.
Razão de chance todos os candidatos
NRazão de chance
Q01 0,40Q02 0,45Q03 0,41Q04 0,38Q05 0,48Q06 0,33Q07 0,36Q08 0,37Q09 0,44Q10 0,44Q11 0,37Q12 0,35
• Grupo focal – EM público;• Grupo referência – EM não público.
Análise diferencial• Analisar se uma questão apresenta tendência a favorecer um grupo em relação aos demais.
• Assume que o total da prova pode apresentar favorecimento a um grupo por outros fatores, que não dependem exatamente da prova.
• Propicia uma medida direta do efeito da questão sobre algum grupo focal específico.
Análise diferencialEnsino médio público e privado
EM N Média DP
Não Público 10652 24,4 12,9
Público 2682 16,0 13,1
Em vez de analisar o todo, separar a análise por grupos de notas, de forma que não estejam sendo comparados candidatos com um desempenho muito distinto um do outro.
Análise diferencialEnsino médio público e privado
EM N Média DP
Não Público 10652 24,4 12,9
Público 2682 16,0 13,1
EM Grupo N Média DPNão Público 1 2987 7,6 4,2Público 1 1457 5,6 4,3
EM Grupo N Média DPNão Público 2 3698 23,4 4,7Público 2 747 22,5 4,8
EM Grupo N Média DPNão Público 3 3967 38,1 4,0Público 3 478 37,3 4,0
Análise diferencial de questõesÍndice de Mantel Haeszman
grupos
i i
ii
grupos
i i
ii
NCB
NDA
1
1 )ln(25,3 MH
Mantel‐Haesman Influência da questão ES*
|MH|<1 Nenhuma Não
1<|MH|<1,5 Algum viés favorável a um grupo Sim
|MH|>1,5 Viés ou desvio muito grande, deve ser substituída Sim
* Estatisticamente significativo
Análise diferencial
N α MH
Q01 0,75 ‐0,92Q02 0,98 ‐0,06Q03 0,91 ‐0,31Q04 0,69 ‐1,21Q05 0,96 ‐0,13Q06 0,50 ‐2,23Q07 0,67 ‐1,33Q08 0,67 ‐1,29Q09 0,88 ‐0,42Q10 0,89 ‐0,36Q11 0,72 ‐1,09Q12 0,60 ‐1,66
• Grupo focal – EM público;• Grupo referência – Outro EM.
Lateral
Atacante
Zagueiro
Goleiro
Razão de chance
NRazão de chance
Q01 0,51Q02 0,36Q03 0,60Q04 0,66Q05 0,67Q06 0,69Q07 0,59Q08 0,48Q09 0,42Q10 0,58Q11 0,70Q12 0,62
• Grupo focal –Mulheres;• Grupo referência – Homens.
Análise diferencial
N α MH
Q01 0,80 -0,73Q02 0,43 -2,73Q03 1,20 0,58Q04 1,24 0,70Q05 1,17 0,51Q06 1,21 0,61Q07 1,07 0,23Q08 0,72 -1,07Q09 0,58 -1,76Q10 1,02 0,06Q11 1,73 1,77Q12 1,12 0,38
• Grupo focal –Mulheres;• Grupo referência – Homens.
Contextualização ...no contexto de quem?
• As contextualizações são, em geral, no universo dos elaboradores de questões, autores de livro texto, professores em sala de aula.
• Alto capital cultural.
• Qual é o contexto do candidato, do leitor, do aluno?
• Como todas as questões das minorias ou de grupos mais oprimidos são tratadas nessas questões?
Qual é o contexto do jovem hoje?
• Em que impacta toda essa parafernália eletrônica de comunicação?
• Como as experiências sensoriais estão diminuindo, e as virtuais aumentando, o que isso implica em nossas analogias e apresentações em Física?
• Experimentos “virtuais” e “reais”
Olhando as provas
Análise qualitativa
Leitura das provasA. Resposta correta com raciocínio completo;B. Resposta correta sem raciocínio demonstrado: resposta “seca”
correta;C. Transposição do enunciado para a formulação física correta,
interpretação do enunciado correta, erro aritmético/matemático;
D. Transposição do enunciado para a formulação física correta, interpretação do enunciado incorreto;
E. Transposição do enunciado para a formulação física incorreta: equação proposta errada, modelamento confuso ou inadequado da proposta; resposta completamente desorganizada e/ou muito incompleta
F. Raciocínio não demonstrado: ausência de resposta, em branco, resposta “seca” incorreta;
Análise quali/quantiItem A Item B
SEXO Análise N % Análise N %Feminino
A 19 37% A 9 18%B 1 2% B 1 2%C 3 6% C 3 6%D 7 14% D 14 27%E 9 18% E 8 16%F 12 24% F 16 31%
Masculino
A 92 53% A 63 36%B 16 9% B 3 2%C 1 1% C 2 1%D 18 10% D 38 22%E 20 11% E 28 16%F 27 16% F 40 23%
Análise quali/quantiItem A Item B
SEXO Anl. N % Anl. N %
Feminino
A 19 37% A 9 18%B 1 2% B 1 2%C 3 6% C 3 6%D 7 14% D 14 27%E 9 18% E 8 16%F 12 24% F 16 31%
Masculino
A 92 53% A 63 36%B 16 9% B 3 2%C 1 1% C 2 1%D 18 10% D 38 22%E 20 11% E 28 16%F 27 16% F 40 23%
BCADRC
Razão de ChanceItem A Ítem B0,46 0,36
Políticas públicas
O que as provas medem?
Anos de escolaridade dos pais vs. Prova de Física
0 5 10 15 20 25 30-1,0
-0,8
-0,6
-0,4
-0,2
0,0
0,2
0,4 Pública Não Pública
Z
Anos de Escolaridade dos Pais
Modelos estatísticos
• Como o resultado depende de variáveis socioeconômicas:
• Mulheres• Cursinho Pré Vestibular• Rede Pública de Ensino• Um dos pais com curso superior
Regressão Variáveis dicotomizadas
• Nota em Física = 21,3 ‐ 5,74 Mulher + 5,06 CPV ‐ 7,56 Rede Pública + 4,16 Algum dos pais com ensino superior.
Regressão LogísiticaVariáveis dicotomizadas
• Razão de chance associada a cada variável• Sucesso: atingir metade da nota possível.
Grupo Prob. Razão de chance
Mulher 0,000 0,42CPV 0,000 2,08Rede Pública 0,000 0,36Esc. Pais 0,000 1,73
Provocações finais
• As provas servem a que?• A confiabilidade desses exames é, em geral, elevada.• A validade dos exames é bem aceita• A influência positiva que os exames podem ter na educação básica
• Os riscos de uma contextualização em contexto errado• Necessidade de políticas públicas compensatórias para a rede pública de ensino, visto que não são preditoresexatos do desempenho posterior.
