Pesquisa sobre Avaliações Externas - Resultados

Nigel BrookeGAME/FAE/UFMG

A Fundação Victor Civita, que tem por missão contribuir para a melhoria da

qualidade da Educação Básica no Brasil, produzindo publicações, sites,

material pedagógico, pesquisas e projetos que auxiliem na capacitação dos professores, gestores e demais

responsáveis pelo processo educacional, implantou uma área de

estudos com objetivo de levantar dados e informações que auxiliem as

discussões sobre práticas, metodologias e políticas públicas de Educação. Para acompanhar outros

trabalhos, visite o nosso site www.fvc.org.br/estudos.

EQUIPE DA FUNDAÇÃO VICTOR CIVITA

DIRETORIA EXECUTIVAAngela Cristina Dannemann

COORDENAÇÃO PEDAGÓGICARegina Scarpa

REVISTA NOVA ESCOLA/REVISTA GESTÃO ESCOLARGabriel GrossiPaola Gentile

ESTUDOS, PESQUISAS E PROJETOSMauro MorellatoAdriana Deróbio

© 2011 Fundação Victor Civita. Todos os direitos reservados

Avaliação externa – Avaliação padronizada; avaliação de sistemas; avaliação em larga escala

Gestão educacional – As políticas das Secretarias Estaduais de Educação (SEE) que usam como critério os resultados dos sistemas próprios de avaliação (sistemas estaduais e os das grandes capitais)

Para quais políticas os gestores estão usando os resultados dos sistemas de avaliação?

Pesquisa FVC

DEFINIÇÕES


Sistema classificatório para os usos da avaliação

Achados principais da pesquisa

Política de bonificação ou incentivo salarial

Especulações sobre consequências

RESUMO

Alcance

Características técnicas

Seus impactos

Pesquisa no Brasil

Pesquisa nos Estados Unidos e outros países


NÚMERO DE ESTADOS COM SISTEMASPRÓPRIOS DE AVALIAÇÃO EDUCACIONAL1992-2011


Tendência – Aumento gradual mesmo inconsistente

Hiatos

Transição para TRI

Momentos de mudança política

Recuos

Dados imperfeitos

Nenhum órgão para coletar esse tipo de informação

De que consiste um sistema estadual? Abrangência

SISTEMAS ESTADUAIS DE AVALIAÇÃO


Crescimento no uso dos resultados pelas SEE

Reformas da Educação década 1990 calcadas na avaliação da qualidade (Brasil só um exemplo: 13 países da América Latina adotam sistemas de avaliação entre 1990 e 1998)

Reforma da gestão pública: ênfase na produtividade e eficiência do aparato governamental; melhoria na qualidade dos serviços públicos; metas e controle a posteriori dos resultados. Educação na linha de frente

Incorporação de modelos de accountability –responsabilização dos atores públicos via consequências

Para dar conta da expansão e diversificação dos usos, um novo sistema classificatório bidimensional

EXPANSÃO E DIVERSIFICAÇÃO


USO DOS RESULTADOSSISTEMA CLASSIFICATÓRIO



Vou me concentrar no uso da avaliação para políticas de incentivo/bonificação salarial

Política veio para ficar

Sete estados já têm experiência: Amazonas, Ceará, Pernambuco, Rio de Janeiro, Minas Gerais, Espírito Santo e São Paulo

Distrito Federal já estabeleceu os procedimentos

Duas capitais – uma conseguiu (São Paulo) e outra não (Belo Horizonte)

FOCO


Em Trairão, pequena cidade no sudoeste do Pará, a secretária de Educação fala do projeto que dá mais dinheiro aos professores e às escolas que apresentam desempenho melhor. “Com o projeto Professor por Excelência, a gente espera que dê uma alavancada no município. Para quem mais se destacar, o professor vai ganhar um valor de R$ 1 mil cada um e a escola, R$ 500. Mesmo não sendo um

valor alto, a gente espera motivar os envolvidos”, explica Maria Regina

No município de Careiro (AM), o secretário Paulo de Andrade conta

que estipulou uma meta mais “ousada” para estimular seus profissionais a trabalhar com mais afinco. Na escola, que tira nota 5,1 no Ideb, os professores recebem 14º e 15º salários

Até os municípios menores estãoembarcando (usando o Ideb) segundoreportagem UOL Educação 02/09/2011


QUE POLÍTICA É ESSA?

Não é nova. Uso de avaliações externas para responsabilizar professores, escolas e sistemas pela aprendizagem dos alunos tem longa história:

Em 1863, Parlamento britânico criou sistema de financiamento de escolas de acordo com os resultados dos alunos

Nova fase dessa política começa com o movimento de padrões mínimos na década de 1970 nos EUA. A lei Nenhuma Criança Deixada para Trás (2001) é um exemplo recente


CARACTERÍSTICAS

(por exemplo, Ceará 2001 – Prêmio Educacional Escola do Novo Milênio; Rio de Janeiro 2000 – Programa Nova Escola):

Prêmio para a média de desempenho mais alto (ou % alunos com desempenho satisfatório)Ou evolução maior na média de desempenhoOutros critérios (gestão)

geração

Distribuição por faixa de desempenhoMedida do nível socioeconômico e/ou esforço da escolaUso de metasValorização da permanência Avaliações múltiplas (matérias, anos)

Critérios múltiplosValor agregado

geração

geração(?)


QUAIS SÃO OS IMPACTOS?

Do ponto de visto do gestor:

Que há ganhos na aprendizagem pelos efeitos sobre o professor – Motivação e competência

Que há custos também – Custo/benefício

Do ponto de vista dos críticos, os efeitos colaterais dos testes high stakes (alto impacto) são severos:

Reduzem o ensino à preparação para os testes/estreitam o currículoFalseiam os dados das avaliações (inflação)Induzem à desonestidadeDesestruturam métodos colaborativos (quando individualizada)


COMO AVALIAR?

A pesquisa no Brasil é escassa

Pesquisa descritiva (terminologia: bônus, bonificação, prêmio, gratificação, incentivo por mérito, por desempenho, por resultado)

Pesquisas de impacto

Sobre a política Nova Escola – Rio de Janeiro (Rodrigues, 2007; ganhos em Língua Portuguesa, perdas em Matemática) Uma em andamento – C. Ferraz, Pernambuco

Nem pesquisas mais qualitativas sobre os efeitos colaterais negativos. (?) Uma sobre os efeitos do Acordo de Resultados em MG (Soares, 2011) (resultados no Simave/Proeb; bônus até 100% vencimento mensal); “pressão” sobre professores de Português e Matemática para ensinar de acordo com a matriz de referência


PESQUISA NOS EUA

Precisa fazer distinções: incentivos salariais versus outros tipos de incentivo/accountability (por exemplo: Nenhuma Criança Deixada para Trás (NCLB); exames de saída Ensino Médio)

Professor versus aluno (Nova York, Ohio)

Programas não são comparáveis – Diferentes no formato/cálculo dos bônus, na forma de medir desempenho dos professores (testes, VA, critérios múltiplos)

Mesmo assim, volume enorme de estudos e nem todos com a mesma qualidade. Problema para as meta-avaliações (por exemplo: Teresa Cozetti Pontual, Remuneração por Mérito, Fundação Lemann, 2008)


FONTE CONFIÁVEL

National Research Council. Committee on Incentives and Test-Based Accountability in Public Education. 2011.

Estudos precisam ter grupo de controle

Precisa de testes low-stakes como medida de ganho real (controlar por distorção/inflação)

Excluir estudos transversais que comparam resultados com e sem programas de incentivos mas sem controlar pelos critérios de inclusão nos programas

Precisa olhar outros países


ESTADOS UNIDOS

Nashville (Springer et al. 2010): experimento de 3 anos; professor de matemática/ginasial; bônus individual de US$5 a US$15 mil; medida VA (valor agregado), teste estadual; critério 85% na distribuição distrital. Efeitos positivos para anos 5 (só um ano) e 6, negativos para 7 e 8

Chicago (Glazerman et al. 2009): 2 anos; ensino fundamental; VA de ganhos teste estadual + observações; até US$12 mil; das 10 combinações matéria/ano, 8 negativos, nenhum significativo; efeito positivo sobre retenção de professores

Texas (Jackson, 2010); desde 1996; professores e alunos ensino médio; US$500 a US$1000 para alunos com pontuação de 3 ou mais em testes de advancedplacement; aumento de 1 a 2%/ano na proporção de alunos; e de 5,3% em alunos indo para faculdade

Escolas do Teacher Advancement Program (Springer, 2008): 2 estados; 1,2 mil escolas; 4 anos; dados de painel; matemática anos 2 a 5 ganhos significativos de 0,2 d.p. (desvio padrão de 7 a 8 pontos) (; anos 7 a 10 sem ganho ou decréscimo. De 18 combinações, ganho médio 0,01 d.p.


OUTROS PAÍSES

Índia (Muralidharan and Sundararaman, 2009,2011): experimento 2 anos; ensino fundamental; incentivos individuais e coletivo; 100 escolas cada grupo; ganhos em Matemática e Língua; testes específicos; bônus de 3% salário; ganho médio de 0,19 d.p. (significativo); ganho maior em matemática. (Escolas com incentivos individuais 0,22 d.p., escolas coletivos 0,15 d.p.)

Israel (Lavy, 2002): incentivos coletivos; ensino médio; de US$250 a US$ 1000 (salário médio 30 mil); 1/3 melhores escolas; medidas diversas inc. % com diploma; aprox. 62- 1/3 das escolas de ensino médio do pais; proporção com diploma não mudou; efeito médio nos testes 0,12 d.p.; efeitos maiores entre alunos de desempenho mais baixo

Israel (Lavy 2009): incentivos individuais; bônus de US$ 1750 a US$ 7,5 mil para professores de inglês e matemática se turmas superaram expectativas; 49 escolas; número passando e a média nos testes melhoraram; efeitos significativos; principalmente para alunos de desempenho mais baixo


CONCLUSÕES NATIONAL RESEARCH COUNCIL

Estados Unidos; efeito médio -0,02 a 0,06 desvios padrão

Programas de incentivos não têm influenciado níveis de desempenho de forma significativa. Muitos programas próximo de zero quando usa testes low-stakes de controle

Outros países: os efeitos são maiores mas continuam relativamente baixos. Média 0,08 d.p. Efeitos mais pronunciados para Matemática, Ensino Fundamental.

Benefícios pequenos. Porém:

Muitos desenhos ainda não testados (tipos de incentivo, individual versus coletivo, medidas de desempenho, outros tipos de accountability, etc)

Custos altos. Não deve substituir investimento em outras políticas de melhoria


ALGUMAS ESPECULAÇÕES

O ambiente de responsabilização muito mais intenso nos Estados Unidos, por exemplo, Ensino Médio – expectativas dos pais e efeito NCLB.

Nesse contexto de preocupação com os resultados dos alunos, o impacto de incentivos salariais é próximo do zero.

Será que é por esse motivo que os impactos são sempre maiores nos outros países?

Qual o impacto no Brasil, onde os incentivos salariais são a opção escolhida para transmitir a importância associada aos resultados?


CONSIDERAÇÕES FINAIS

Ainda não temos a pesquisa necessária nem para falar dos efeitos negativos nem dos possíveis benefícios

Extrair conclusões da pesquisa norte-americana é extremamente difícil. Além da falta de comparabilidade dos programas, há a questão do contexto de responsabilização

Talvez a ausência de pesquisa e de comprovação dos efeitos colaterais, mesmo no Ceará, seja a indicação que os impactos não seriam tão negativos no Brasil

Os programas de bônus podem ser inócuos em relação à aprendizagem (EUA) ou podem render benefícios parecidos com os de outros países (Índia, Israel)
