Upload
internet
View
107
Download
1
Embed Size (px)
Citation preview
Propostas e Programas de Avaliação da Educação
Básica
Luiza Massae Uema
Inep/MEC
Fórum Permanente de Desafios do Magistério
Campinas, setembro de 2006
Objetivo
O que tem sido feito no campo da avaliação da educação básica
Avaliação em larga escala – uma perspectiva
Reflexão sobre o uso de resultados – alcance e limitações
Perspectiva da Avaliação nas Escola
Em sala de aula
Os estudantes são avaliados com base em exames preparados por seus professores
Os professores utilizam tais exames para determinar aqueles que possuem condições de avançar no sistema
O baixo desempenho do estudante é, freqüentemente, considerado de responsabilidade do estudante e de suas famílias
Outra perspectiva - avaliações em larga escala
Externas, com foco nos alunos, nas escolas, nas redes ou nos sistemas
Metodologia e testes padronizados
População de grande porte (em larga escala), representada por amostra, sub-populações
Proporciona estudos que produzem macro informações
Coleman (1966)
As Avaliações em Larga Escala
Brasil: especialmente nas décadas de 90 e atual – proliferação de avaliações em larga escala.
Vários tipos de avaliação e objetivos:
Auto avaliação
Credenciamento
Certificação
Diagnóstico
• Accountability
Auto Avaliação
Conhecer a situação da própria aprendizagem, possibilitando também, o posicionamento com relação a outros participantes do exame
As Avaliações em Larga Escala
Exemplo: Exame Nacional do Ensino Médio - ENEM
Em 2005
Dos 2.199.637 participantes, 1,1 milhão são concluintes (52% dos concluintes do ensino médio)
Das 22.918 escolas de ensino médio que constam do Censo Escolar, 22.014 tiveram ao menos um aluno concluinte que participou do exame (96,05%)
Escolas
27%
73%
Privada Públicas
Avaliações em larga escala
Participantes do Enem 2005
52%43%
5%
concluintes egressos outra condição
Concluintes
17%
83%
Privada Públicas
Avaliações em larga escala
Exemplo: ENEM
- 490 instituições de ensino superior usam o resultado do Enem no critério de seleção de candidatos a seus cursos de graduação
- ProUni
CredenciamentoAvaliação de resultados com vistas à classificação para seleção visando ao ingresso no mercado de trabalho ou em instituições ensino superior
Certificação
Instrumento que visa a formalizar, conforme a legislação educacional vigente, as competências e habilidades individuais desenvolvidas
Avaliações em larga escala
Exemplo: Exame Nacional de Certificação de Competências da Educação de Jovens e Adultos – ENCCEJA
Objetivo: aferir conhecimentos e habilidades referentes à conclusão do ensino fundamental e médio
Diagnóstico
Levantamento da situação em determinado momento com vistas à formulação, implementação e avaliação de processos ou políticas educacionais
Exemplo:
Sistema Nacional de Avaliação da Educação Básica – SAEB
Avaliação Nacional do Rendimento Escolar - Prova Brasil
Avaliações em larga escala
Diagnóstico
Brasil: Surgimento entre meados das décadas de 80.
O MEC inicia as discussões sobre uma política de suporte à melhoria da qualidade do ensino.
Promove algumas experiências piloto de avaliação dando ensejo para a implantação, pela então Secretaria de Educação Básica, do Sistema de Avaliação do Ensino Público de 1º Grau - SAEP, que passou a denominar-se Sistema Nacional de Avaliação da Educação Básica, em 1992.
Avaliações em larga escala
Dois pressupostos básicos:
• O rendimento dos alunos reflete a qualidade do ensino ministrado;
• Diferentes fatores “explicam” a qualidade do ensino.
Avaliação do SAEB mais do que um teste sobre os alunos é a conjugação de testes de rendimento com questionários sobre fatores associados
SAEB
Instrumentos padronizados e de caráter amostral.
Serve para acompanhar a evolução do desempenho dos estudantes ao longo tempo.
Possibilita a comparação do desempenho médio dos estudantes entre diferentes estratos
Proporciona estudos que buscam identificar os determinantes do desempenho dos estudantes.
Relatório Coleman (1966)
SAEB
A Institucionalização do SAEB
Com redemocratização – reflexos na educação
(i) Forte ampliação do acesso à escola,
porém ao longo do processo:
(i) a impressão de que os resultados que estavam sendo gerados não pareciam ser exatamente o que se desejava.
O País faz um grande esforço mas ainda é necessário investir em qualidade. Mas o que isto significa exatamente ?
sistema nacional de avaliação poderia trazer informações úteis sobre o que estaria sendo gerado no sistema educacional e o que seria responsável pelos resultados obtidos
A Institucionalização do SAEB
No governo federal, ao final da década de 80, o MEC
inicia as discussões sobre uma política de avaliação do ensino fundamental,
promove algumas experiências pilotos,
motivando a implantação, pela então Secretaria de Educação Básica, do Sistema de Avaliação do Ensino Público de 1º Grau - SAEP, que passou a denominar-se Sistema Nacional de Avaliação da Educação Básica, em 1992.
Apesar de algumas dificuldades:
• Os preconceitos em relação a métodos e técnicas de avaliação de aprendizagem, especialmente os em larga escala.
O escasso domínio de competência e raras oportunidades de formação acadêmica neste campo.
Após mais de uma década
Foram realizados sete ciclos de avaliação
Avanços metodológicos importantes, como a introdução da TRI
• Teoria que permite comparabilidade
Desenvolveram-se planos amostrais que conferem maior validade aos resultados
O SAEB consolida-se como um instrumento que garante qualidade e a confiabilidade das avaliações realizadas.
Evolução
Forma dos Resultados
Público alvo: governantes e pesquisadores
Publicações com caráter muito técnico, o que inviabilizava a apropriação dos resultados no contexto do quotidiano das escolas
Na ausência de uma proposta curricular completa e objetiva: utilização das matrizes de referência do SAEB como grade curricular
Demanda por resultados das escolas e dos alunos individualmente
Proficiência Média por Série e Disciplina – SAEB/INEP
Língua Portuguesa
150
170
190
210
230
250
270
290
4a série EF 8a série EF 3a série EM
1995
1997
1999
2001
2003
Avaliações em larga escala - SAEB
Proficiência Média por Série e Disciplina – SAEB/INEP
Matemática
150
170
190
210
230
250
270
290
4a série EF 8a série EF 3a série EM
1995
1997
1999
2001
2003
Avaliações em larga escala - SAEB
Alcance
Para além dos números
Desempenho – variável dependente
Fatores associados
Efeito escola
Instrumento de gestão
Avaliação evoluiu favoravelmente nos últimos anos
Percebe-se a consolidação de uma importante cultura depois das resistências ocorridas nos momentos iniciais
Dissemina-se a compreensão dos alcances, limites e complementaridade entre os diferentes tipos de avaliação em larga escala
debate iniciado nos últimos anos é dar um salto, agregando à perspectiva da avaliação em larga escala o estabelecimento de padrões mínimos de desempenho a fim de que a informação se torne mais útil e atinja mais a fundo os aspectos pedagógicos do desempenho.
Contribuição
Não perfeito, vários aperfeiçoamentos possíveis e muitas limitações analíticas (o que é avaliado)
Não poderia responder a todas as necessidades de informação, porque não foi construído para
apreender toda a diversidade e singularidade das escolas e sistemas de ensino
todos os requisitos informacionais necessários para apurar a qualidade, ou a evolução da qualidade do(s) sistema(s) educacional(is)
Limites
Perspectivas
Com esse pano de fundo, dentro do INEP:
i) Aprimoramento metodológico
ii) Comparações Internacionais :
PISA, SERCE
iii) estimulo a difusão do SAEB e avaliação: Oficinas
iv) criação e fortalecimento de sistemas próprios de avaliação – parcerias (metodologia, itens, aplicações etc.) e rede nacional de avaliação
v) aprimoramento de pesquisas sobre fatores associados:
Condições de oferta
Gestão e processos pedagógicos,
Condições de alfabetização etc.
Avaliações em larga escala
Accountability
Avaliação universal com divulgação dos resultados por escolas (accountability)
O objetivo é tornar escolas, professores, dirigentes do sistema e estudantes responsáveis pelo desempenho dos alunos.
E, assim, mobilizar dirigentes educacionais, professores, estudantes, pais e a sociedade em geral na busca da melhoria da qualidade de ensino.
Avaliação universal com divulgação dos resultados por escolas (accountability)
Marco nos sistemas de accountability: Inglaterra (1988) Centralização de currículo,
maior liberdade para escolha da escola,
maior liberdade para a escola gerir os recursos,
definição de critérios de desempenho nacional,
divulgação dos resultados.
Accountability nas Escolas
Um sistema de accountability envolve:
Exames padronizados em caráter universal
Ampla divulgação dos resultados
Pode ter, ou não, recompensas e sanções atreladas aos resultados.
Diferentes sistemas diferem
no tipo de exame utilizado,
na forma de divulgação dos resultados e
nos esquemas de prêmios/sanções subjacentes.
Accountability nas Escolas
Polêmica
Defensores: avaliação da eficiência melhora efetiva e rapidamente a qualidade do ensino.
Críticos: pode ter “efeitos” indesejáveis pela pressão demasiada sobre todos os segmentos envolvidos no processo de ensino.
Argumentos favoráveis
1. Ao tornar os resultados das escolas mais transparentes, accountability gera um sistema de incentivos para a melhoria da qualidade de ensino.
Melhorar a qualidade de ensino pode exigir mudanças de práticas e hábitos enraizados no processo escolar e, portanto, de difícil mudança.
Maior transparência aumenta a pressão social pelas mudanças.
Argumentos favoráveis
2. A divulgação dos resultados pode desfazer certas percepções equivocadas sobre o desempenho da escola e mobilizar o corpo de professores e dirigentes na busca de melhorias.
3. Um sistema de prêmios/sanções pode aumentar os incentivos para a melhoria.
Argumentos contrários
1. Os indicadores de desempenho são medidas imperfeitas da qualidade da escola: efeito aluno X efeito escola.
Responsabilizar a escola por algo que ela não tem “culpa” pode gerar desânimo e piorar o desempenho.
No caso de simples divulgação de resultados, tal argumento supõe uma incapacidade, por parte do público interessado, em resolver de forma adequada o problema de “extração de sinal”.
No caso de sistemas com prêmios/sansões, o resultado depende muito do desenho.
Argumentos contrários
1. Os indicadores de desempenho são medidas imperfeitas da qualidade da escola: efeito aluno X efeito escola.
Responsabilizar a escola por algo que ela não tem “culpa” pode gerar desânimo e piorar o desempenho.
No caso de simples divulgação de resultados, tal argumento supõe uma incapacidade, por parte do público interessado, em resolver de forma adequada o problema de “extração de sinal”.
No caso de sistemas com prêmios/sansões, o resultado depende muito do desenho.
Argumentos contrários
2. Uma vez que as escolas são cobradas pelo desempenho dos alunos, elas podem buscar meios não desejados de aumentar a proficiência nos exames:
Estreitamento do currículo
Exclusão dos alunos de baixo rendimento
Avaliação e Rendição de Contas Estudos mostram que:
Sistemas de rendição de contas em si levam a aumentos na proficiência de alunos
Sistemas de incentivo – dependem dos desenhos
Não evidencias conclusivas sobre exclusão
Por outro lado
Responsabilização
Envolvimento da sociedade no debate/definição políticas públicas
Transparência – A Informação é um direito do cidadão
diminuição de posicionamento paternalista
A Prova Brasil
Experiência Nova em termos de amplitude nacional: Prova Brasil (ANRESC) (existem experiências similares nos sistemas)
amplia o escopo da avaliação, deixa de ser o sistema e passa a ser unidade de ensino,
Possibilidade de mudar o foco: apesar de diagnóstico ainda ser ponto chave, a ele pode ser agregada uma nova e importante dimensão – rendição de contas (accountability)
Prova Brasil aplicada em 2005
Universal (não amostral) – todas as escolas publicas, urbanas com mais de 30 alunos na serie
Metodologia igual a SAEB – comparabilidade.
Cada unidade recebe seu resultado de modo a ser possível se comparar com outras escolas
Questionário simplificado (só alunos)
Divulgação dos resultados
As escolas participantes recebem:
seus próprios resultados, com a média geral de proficiência de seus alunos e a distribuição dos alunos ao longo da escala
médias do próprio município, estado e do país, referente às escolas que participaram da Prova Brasil
livreto com informações técnicas sobre a Prova Brasil
Material de Divulgação
cartaz com informações gerais sobre o exame e a escala para avaliação dos resultados em conjunto com a comunidade escolar
informativo, com indicadores específicos da escola extraídos do Censo Escolar, e médias das demais escolas que participaram do Prova Brasil
Cada gestor municipal e estadual também recebe os mesmos dados