Revisão Bibliográfica - ANPEC - Associação … · Web viewMais especificamente, será investigado se a política de bonificação paulista está levando a um aumento no diferencial

Proficiência e Gaming no Sistema de Pagamento de Bônus aos Professores da Rede Estadual Paulista

Karen Granzotto OlianiFaculdade de Economia, Administração e Contabilidade de Ribeirão Preto da Universidade de São Paulo

(FEA-RP/USP)

Luiz Guilherme ScorzafaveFaculdade de Economia, Administração e Contabilidade de Ribeirão Preto da Universidade de São Paulo

(FEA-RP/USP)

ResumoNo presente trabalho, procurou-se avaliar a credibilidade de um sistema de accountability forte implantado no estado de São Paulo, o Programa Qualidade na Escola, que distribui bônus aos agentes escolares de acordo com o desempenho escolar em termos de proficiência e aprovação. Uma vez que somente as proficiências de matemática e língua portuguesa são consideradas para cálculo do bônus, se comparou as diferenças entre as notas de português/matemática com as de história/geografia. A hipótese é que se as escolas que receberam o bônus tivessem praticado gaming, haveria uma maior distância entre as notas das disciplinas consideradas para pagamento do bônus e as demais. Admitindo que as escolas que ganharam o bônus tenham tido melhor resultado de uma eventual prática de gaming do que as demais, os resultados permitem concluir que não há indícios de que esteja ocorrendo prática de gaming nas três séries analisadas: 7º e 9º anos do ensino fundamental e 3º ano do ensino médio.

AbstractThe present work seeks to evaluate the credibility of a strong accountability system established in the state of São Paulo, Brazil, called “Programa Qualidade na Escola”. A financial bonus is distributed to the schools according to their performance in an external test and approval rates. As just the Mathematics and Portuguese grades are considered in bonus calculation, we compared the differences between Mathematics/Portuguese grades and History/Geography grades. The hypothesis is that if schools that received bonus had done gaming, so there will be a higher gap between the grades considered to pay bonus and the others. Assuming that the schools that get the bonus demonstrate better outcomes from an eventual gaming than the ones which don’t, it was not possible to find evidence of gaming when analyzing the hiatus among these grades in the educational levels analyzed: 7 th and 9th

levels of elementary school and 3rd level of high school.

Palavras-Chave: Gaming, Proficiência, Responsabilização, EducaçãoKey Words: Gaming, Proficiency, Accountability, Education

Área ANPEC: 11 - Economia Social e Demografia EconômicaClassificação JEL: I25, I28

Proficiência e Gaming no Sistema de Pagamento de Bônus aos Professores da Rede Estadual Paulista

Karen Granzotto OlianiLuiz Guilherme Scorzafave

1. INTRODUÇÃO

A qualidade da educação de um país é muito importante, pois há uma relação direta da mesma com o desempenho econômico e social. Nesse sentido, enquanto outras nações já investiam substancialmente em educação desde o início do século XX, o Brasil só nos últimos anos começou a dar maior atenção a esse tema. Após a constatação da péssima qualidade do ensino público no país, tanto através de resultados de avaliações de proficiência internacionais como o PISA, quanto de nacionais, como o SAEB, se iniciou um esforço para tentar reverter e superar esse quadro.

Há um grande debate sobre como melhorar a qualidade do ensino e, particularmente, qual o papel das políticas e ações governamentais nesse processo. Uma dessas ações seria a adoção de sistemas de accountability forte, os quais consistem em, por exemplo, atrelar ao desempenho dos alunos em testes padronizados a remunerações dos professores. Essa seria uma forma de incentivar os docentes a melhorar a qualidade de suas aulas e, por meio disso, levar a uma melhoria do aprendizado dos alunos. Esse tipo de política de pagamento através de bonificação vem sendo cada vez mais utilizado no país. As redes estaduais de Pernambuco, Ceará, Espírito Santo e São Paulo adotam atualmente algum mecanismo dessa natureza.

Entretanto, tais políticas podem gerar resultados divergentes daqueles inicialmente esperados. Se o desenho da política de bonificação for inadequado, ao invés de o incentivo levar a uma melhoria da qualidade do ensino, pode haver, por exemplo, um estreitamento de currículo. Ou seja, uma situação na qual os esforços da escola se concentrariam nas disciplinas levadas em consideração para o pagamento do bônus. Portanto, a investigação desses possíveis “efeitos colaterais” é de fundamental importância na avaliação do efeito desse gênero de política.

No presente trabalho, procurou-se avaliar a credibilidade de um sistema de accountability forte implantado no estado de São Paulo, o Programa Qualidade na Escola. Esse programa visa à distribuição de bônus financeiros aos professores e diretores das escolas que atingem as metas estipuladas pela secretaria da educação. Mais especificamente, será investigado se a política de bonificação paulista está levando a um aumento no diferencial de proficiência entre as disciplinas de Língua Portuguesa e Matemática, alvos da política, e as demais matérias.

O artigo está estruturado em mais quatro seções. Além da introdução, é feita uma breve revisão da literatura acerca do gaming nas políticas de accountability. Em seguida, são apresentados os dados e a metodologia utilizados para investigar a presença desse tipo de efeito no programa de bonificação paulista. A seguir, a seção quatro trata dos resultados obtidos na análise descritiva e na estimação dos modelos econométricos. Por fim, a última seção traz as considerações finais.

2. POLÍTICAS DE RESPONSABILIZAÇÃO E GAMING: UMA BREVE REVISÃO BIBLIOGRÁFICA

Um dos principais problemas socioeconômicos que o Brasil enfrenta hoje diz respeito à qualidade da educação básica oferecida pelas instituições de ensino público. Esse assunto vem sendo bastante discutido, uma vez que a questão do acesso ao sistema de ensino básico já foi, de modo geral, equacionada. Assim, grande esforço tem sido feito na identificação de ações que contribuam para melhorar o desempenho dos alunos e aumentar o nível de capital humano da população brasileira. Em geral, a literatura discute os determinantes da qualidade educacional com o objetivo de se compreender quais políticas deveriam ser adotadas para se melhorar o nível de ensino.

Um dos fatores importantes nessa discussão diz respeito ao ambiente institucional no qual a escola se insere. A literatura tem encontrado que algumas características desse ambiente favorecem o desenvolvimento do aluno. Por exemplo, Woessmann (2003) aponta que mudanças no ambiente institucional em que a entidade educacional se encontra inserida podem ter impactos positivos na aprendizagem dos alunos. Segundo ele, alguns dos fatores institucionais que contribuem amplamente para a melhoria das escolas são sua maior autonomia no que tange à contratação e demissão de professores, participação de professores na escolha de material didático e método de ensino e avaliação externa.

No Brasil, esses tipos de mudanças demandam muito tempo e grandes esforços para serem realizados. Assim, devem-se buscar soluções que não dependam da desburocratização do sistema para que o processo de melhora na qualidade da educação seja iniciado o quanto antes e para que seus resultados auxiliem na evolução das políticas educacionais.

Uma das alternativas encontradas para se obter ganhos no desempenho dos alunos sem que sejam necessárias reformas institucionais foi a adoção de sistemas de responsabilização nas escolas públicas. Tais políticas visam analisar os resultados dos alunos obtidos em provas padronizadas a fim de que se possa formar um quadro geral sobre qualidade da educação. A partir de então, são propostas metas diferentes para cada uma das escolas participantes.1 Muitas vezes, são atrelados bônus financeiros aos bons resultados, os quais servem como incentivos para que professores e funcionários despendam mais energia na melhoria do ensino de suas escolas.

A origem da accountability data dos anos 80 nos Estados Unidos e Inglaterra. Naquela época, uma melhora na qualidade da educação era fortemente associada a uma melhoria da competitividade econômica desses países. Isso os levou a adotarem sistemas de responsabilização em suas escolas visando alcançar o nível desejado de desenvolvimento educacional, e, conseqüentemente, um maior grau de competitividade no comércio internacional (BROOKE, 2006).

Apesar de essa experiência ter trazido resultados positivos, os sistemas de accountability devem ser muito bem desenvolvidos para que as distorções causadas por sua adoção não superem os ganhos almejados pela mesma. Uma grande dificuldade enfrentada pelos formuladores de políticas de responsabilização é o desafio de se criar incentivos que levem aos resultados desejados. Isso, pois, muitas vezes os incentivos causam reações indesejadas que não são esperadas dos agentes e nem podem ser previstas no momento de formulação da política.

Segundo Frey e Oberholzer-Gee (1997), em algumas situações, os incentivos financeiros, como bônus ou indenizações, podem até mesmo ter um efeito contrário ao esperado sobre a ação das pessoas, algo que eles chamaram de “evasão de motivação”. Assim, um professor que dá suas aulas corretamente e se esforça no trabalho por acreditar na importância de lecionar poderia se sentir desmotivado caso lhe oferecessem dinheiro para que ele melhorasse seu desempenho. Afinal, ele já estaria fazendo o melhor

1Pelo fato de também servir como uma espécie de prestação de contas das escolas frente à sociedade, o termo utilizado em inglês para esse tipo de política é accountability.

que podia por ser seu emprego, e não unicamente por mais dinheiro. Os autores também ressaltam que os incentivos adequados podem variar entre as diferentes culturas, o que levaria à conclusão de que uma política de responsabilização formulada nos Estados Unidos talvez não devesse ser aplicada no Brasil exatamente da mesma forma, exigindo adaptações ou até mesmo uma reformulação completa.

No âmbito da responsabilização educacional, muitos estudos analisam as distorções causadas pelos incentivos os quais têm por finalidade aumentar o esforço dos professores e diretores de forma a melhorar o aprendizado dos alunos, mas que, muitas vezes, acabam causando efeitos adversos como “teaching-to-test” ou até mesmo trapaça por parte dos professores. Glewwe et al (2003) estudaram efeitos dos incentivos sobre as notas de alunos de escolas no Quênia analisando se havia “teaching-to-test”. Encontraram que os alunos das escolas cujos professores estavam recebendo bônus tiveram maior probabilidade de realizar as provas e melhores notas do que os alunos de escolas que não estavam recebendo os incentivos. Entretanto, o índice de desistência não caiu, a assiduidade dos professores (que se mostrava um grande problema nesse caso) não melhorou, o número de tarefas não aumentou e a prática pedagógica não mudou. Conclui-se que o esforço dos professores tinha aumentado somente no sentido de coagir mais alunos a realizarem as provas e de melhorar o seu desempenho no curto prazo. Todavia, o conhecimento dos alunos que estavam nas escolas participantes do programa não se demonstrou duradouro quando comparado ao desempenho dos alunos do grupo controle.

Já Jacob e Levitt (2003) desenvolveram um algoritmo para detectar trapaça de professores em testes padronizados dos Estados Unidos, o qual combina dois tipos de indicadores: flutuações inesperadas de resultados dos testes e padrões incomuns de respostas dos estudantes da classe. Assim, detectaram milhares de casos de trapaça, totalizando entre 4% e 5% da amostra. Outro estudo de Jacob (2009) comparou o desempenho dos alunos em um teste padronizado dos Estados Unidos, o NAEP, que não possui consequências atreladas aos resultados e, portanto é classificado como “low-stakes test”, com o desempenho dos alunos em testes padronizados dos estados, os quais se encontravam atrelados a algum tipo de incentivo direto. Assim, quando os ganhos em testes de sistemas de responsabilização com consequências atreladas fossem maiores do que os ganhos em testes que têm somente finalidade informativa, haveria indício de “inflação de nota”. Realmente, em um estudo de caso realizado no Texas, o desempenho na prova estadual foi superior ao desempenho no NAEP. Parte dessa diferença pôde ser explicada pela seleção de alunos para a realização de provas, ou seja, a exclusão de alunos que apresentariam um desempenho pior. São encontradas consideráveis evidências de “inflação de nota” também em outros estados.

Também há certa controvérsia a respeito dos verdadeiros retornos que podem ser trazidos para a educação através da adoção de tais sistemas de responsabilização. Enquanto alguns estudiosos dizem que os efeitos dessas políticas não são estatisticamente significantes (FRANCO, 2007), outros defendem que elas trazem resultados positivos. Por exemplo, Hanushek e Raymond (2004) chegaram à conclusão de que a introdução de programas de responsabilização tende a melhorar o desempenho dos alunos. Segundo os autores, estados que adotaram sistemas de accountability primeiro, obtiveram ganhos mais rapidamente no teste NAEP, mantendo outros fatores constantes, resultado confirmado em Hanushek e Raymond (2003).

Mais evidências a favor da efetividade desse tipo de sistema são encontradas em um estudo de caso realizado em escolas públicas de Chicago nos anos de 1996 e 1997. É mostrado que há um aumento considerável das notas de matemática e leitura depois da introdução da política de responsabilização (JACOB, 2002). Outro estudo de caso analisa os efeitos da introdução de um programa semelhante na Carolina do Norte, analisando sua estrutura e os incentivos utilizados (LADD, 2004). Os resultados indicam que o programa modificou o comportamento dos diretores, tornando-os mais ativos. Os estudantes de baixo rendimento tiveram mais atenção. Entretanto, mais dinheiro foi direcionado às áreas de matemática e leitura e os professores foram orientados a passar mais tempo ensinando habilidades de testes. Além disso, devido às intervenções praticadas nas escolas que falhavam em atingir metas, mostrou-se mais difícil para as escolas de baixo desempenho manter seus professores.

O Brasil também possui algumas experiências de responsabilização. Tomando tais experiências internacionais como exemplo e concordando com seus efeitos positivos, muitos estados brasileiros, como Rio de Janeiro e Ceará também iniciaram políticas semelhantes. No primeiro, o programa era denominado Nova Escola e visava o acompanhamento do desempenho do aluno ao longo do tempo, separando os efeitos do nível socioeconômico e da aprendizagem anterior do efeito da escola. Mais tarde, o estudo longitudinal foi deixado de lado e foram criados cinco grupos de escolas segundo a renda familiar dos alunos. Posteriormente, tais grupos também foram abandonados e as escolas foram distribuídas ao longo de cinco níveis de qualidade. Apesar das diversas alterações sofridas pelo Nova Escola, esse foi um sistema de responsabilização pioneiro e possuía uma ampla gama de avaliações, considerando em suas medidas a avaliação da aprendizagem, o fluxo escolar e a avaliação da gestão (BROOKE, 2006). No caso do Ceará, eram realizadas provas anuais que, depois, passaram a ser aplicadas em um intervalo de dois anos. Em 2001, as provas foram atreladas a um sistema de bônus, tendo as médias das notas de 4ª e 8ª sendo consideradas como indicador de qualidade. A efetividade dos incentivos gerados é questionada pelo fato de o programa não levar em consideração as diferenças socioeconômicas dos alunos e a autonomia limitada das escolas (BROOKE, 2006). Ferraz (2009) analisa as experiências mais recentes de bonificação de Pernambuco e São Paulo e conclui que os detalhes do desenho e da implementação de um sistema de pagamento por desempenho determinam, em grande parte, seu sucesso, além da credibilidade das regras e transparência do sistema.

Dessa forma, podemos concluir que as políticas de responsabilização educacional são utilizadas em diversos países a fim de se obter melhoras na qualidade do ensino das escolas públicas, principalmente. Os efeitos encontrados em geral são positivos, mas às vezes há efeitos colaterais como trapaça, teaching-to-test ou seleção de alunos para a realização das provas. O Brasil já apresenta diversas experiências dessa natureza, mas não há poucas evidências acerca dos efeitos colaterais dessas políticas, lacuna que começa a ser preenchida com o presente artigo.

3. METODOLOGIA E DADOS

O estado de São Paulo criou em 2008 o Programa Qualidade na Escola, que consiste em um conjunto de metas a serem alcançadas pelas escolas com sistema de remuneração por desempenho atrelado. As metas são estabelecidas em termos do IDESP, um indicador composto pelo desempenho (em Língua Portuguesa e Matemática) dos alunos de 5º ano e 9º ano do ensino fundamental e 3º ano do ensino médio na avaliação externa paulista, o SARESP, além de um indicador de fluxo escolar. Cabe destacar que para cada escola, foi estabelecida uma meta de IDESP ano após ano, de acordo com a situação inicial de cada escola. O bônus é pago a todos os docentes envolvido em cada etapa de ensino. Assim, por exemplo, se em uma escola apenas as metas do 5º ano foram alcançadas, mas não as do 9º ano, então todos os professores do 1º ao 5º ano receberão o bônus, enquanto os que lecionam do 6º ao 9º ano não receberão o benefício. O valor do bônus também varia com o percentual de cumprimento da meta. Assim, se as escolas cumprirem até 120% da meta, o valor do bônus pode chegar a 2,9 salários2.

A característica do sistema de bonificação paulista que será explorada no presente artigo é o fato de que apenas o desempenho em Língua Portuguesa e Matemática são considerados para pagamento do bônus, embora os alunos também realizem avaliações de outras disciplinas. Assim, em linhas gerais, a estratégia para se investigar a existência ou não de gaming neste trabalho consiste em se comparar as diferenças entre as notas de português (ou matemática) com as de história (ou geografia) tanto para as escolas que ganharam o bônus em 2009 quanto para aquelas que não ganharam. Como, de forma geral, as notas de português e matemática se mostraram menores que as de história e geografia, escolas com menor hiato entre as notas de português (ou matemática) e história (ou geografia) poderiam estar realizando gaming. Por exemplo, imagine duas escolas com a mesma nota de história. Se aquela escola com nota de

2 Para maiores informações, visitar http://idesp.edunet.sp.gov.br/Arquivos/Nota_tecnica_2010.pdf

http://idesp.edunet.sp.gov.br/Arquivos/Nota_tecnica_2010.pdf

português mais alta tivesse ganhado bônus, isso poderia indicar a prática de gaming por parte dessa escola. Afinal, porque seus alunos iriam melhor apenas em português e não em história?

Como não foram aplicadas provas de história e geografia no ano de 2007, não há dados sobre o desempenho dos alunos relativo a esse conteúdo no ano anterior à adoção do bônus. Isso impossibilita a adoção de uma metodologia de diferenças em diferenças para avaliação da presença de gaming e requer hipóteses de identificação mais fortes para estabelecimento das relações de causalidade investigadas. Nesse sentido, se optou pela utilização das proficiências referentes a 2009, ano seguinte ao da primeira distribuição do bônus.

Foram estimadas regressões por Mínimos Quadrados Ordinários (MQO) para analisar a significância estatística e a magnitude do coeficiente da variável bônus, controlando-se por outros fatores observáveis na seguinte equação:

ΔY i=β0+γ .bônus i+βX i+ui(1)

onde i indexa as escolas. Assim, Xi corresponde ao conjunto de médias das variáveis de controle calculadas em nível de escola. Tais variáveis correspondem tanto a características sócio-econômicas dos alunos quanto a fatores de infra-estrutura escolar (professores, diretores, espaço físico). A variável bônusi

é uma variável binária que indica se os professores daquela escola (em cada nível de ensino) receberam bônus ou não. ∆ Y i é a diferença entre a média escolar da proficiência de português (ou matemática) e a de história (ou geografia). Vale destacar que os modelos foram estimados separadamente para os alunos do sétimo e nono anos do ensino fundamental e para os do terceiro ano do ensino médio.

Em um segundo conjunto de resultados, foram estimadas as mesmas regressões da equação (1) separadamente para escolas que receberam ou não o bônus em 2008. Para realizar essa segunda análise, se partiu do pressuposto de que as escolas que já haviam ganhado bônus em 2008 não teriam um incentivo tão forte para realizar gaming durante o ano de 2009. Já as escolas que não receberam o bônus em 2008, poderiam estar mais propensas a adotarem práticas que melhorassem as notas de matemática e língua portuguesa, a fim de aumentar sua pontuação no IDESP e então receber o incentivo financeiro no início de 2010. Assim, espera-se que a variável indicadora do recebimento de bônus em 2009 seja mais importante para as escolas não contempladas em 2008 do que para as demais.

Foram excluídas da análise as observações relativas ao quinto ano do ensino fundamental, já que essas crianças não realizaram testes de geografia e história. As escolas que continham alunos do sétimo ano totalizaram 3.642. Por sua vez, 3.652 escolas continham nono ano do ensino fundamental e o mesmo número de escolas continham o terceiro ano do ensino médio.

4. RESULTADOS

Inicialmente, vamos apresentar algumas estatísticas referentes ao pagamento de bônus. No ano de 2008, primeiro ano do funcionamento do sistema, nas séries do ensino fundamental cerca de 43% das escolas foram contempladas com o bônus, percentagem que subiu para 74% em 2009. No ensino médio, a tendência foi contrária: a fração de escolas contempladas caiu de 88% para 47% entre 2008 e 2009.

Por sua vez, em todas as séries avaliadas, cerca de 38% das escolas foram contempladas com o bônus em ambos os anos e menos de 7% das escolas não forma contempladas em nenhuma das edições.

Tabela 1- Distribuição das escolas por recebimento de bônus – 2008 e 20097º ano do EF

Sem Bônus em 2009 Com Bônus em 2009 TotalSem Bônus em 2008 217 (6,0%) 1.317 (36,4%) 1.534 (42,4%)Com Bônus em 2008 710 (19,6%) 1.376 (38,0%) 2.086 (57,6%)Total 927 (25,6%) 2.693 (74,4%) 3.620 (100%)

9º ano do EFSem Bônus em 2009 Com Bônus em 2009 Total

Sem Bônus em 2008 223 (6,2%) 1.336 (37,2%) 1.559 (43,4%)Com Bônus em 2008 712 (19,8%) 1.323 (36,8%) 2.035 (56,6%)Total 935 (26,0%) 2.659 (74,0%) 3.594 (100%)

3º ano do EMSem Bônus em 2009 Com Bônus em 2009 Total

Sem Bônus em 2008 69 (2,0%) 312 (9,3%) 381 (11,4%)Com Bônus em 2008 1.699 (50,7%) 1.273 (38,0%) 2.972 (88,6%)Total 1.768 (52,7%) 1.585 (47,3%) 3.353 (100%)

Fonte: Elaboração própria com base no SARESP 2009

Abaixo se encontram as médias das proficiências utilizadas, assim como seus desvios-padrão, para cada uma das séries estudadas. Para o 7º ano do EF, as notas de história e geografia, em média são semelhantes entre si e bastante superiores as de Matemática e Língua Portuguesa, essas também bastante próximas entre si. Esse padrão se altera no nono ano, com as notas de Língua Portuguesa bastantes menores que as notas das demais disciplinas, que, novamente, estão próximas entre si. Por fim, no 3º ano do EM, o padrão é novamente alterado, pois a distância entre a maior e a menor nota diminui para cerca de 8 pontos na escala SAEB, sendo o melhor desempenho em geografia e o pior em matemática, com as outras disciplinas com notas próximas em posição intermediária.

Tabela 2- Média e Desvio Padrão das Proficiências de Língua Portuguesa, Matemática, História e Geografia – SARESP 2009

7º ano EF 9º ano EF 3º ano EMMédia D.P. Média D.P. Média D.P.

Língua Portuguesa 215,71 12,51 236,74 13,18 272,70 13,43Matemática 214,98 12,64 252,64 14,19 268,85 16,01História 232,75 13,72 251,50 14,56 272,69 15,44Geografia 232,71 13,43 251,25 15,40 276,34 15,99


A variável dependente da equação (1) pode ser formada a partir de uma série de combinações das diferenças de notas entre Língua Portuguesa/Matemática e História/Geografia. Como não há, a priori, uma escolha mais adequada, a tabela 2 apresenta a média e o desvio padrão de diferentes combinações da diferença entre as notas das disciplinas. Para o 7º ano do EF, há uma grande uniformidade em todas as sete médias. Para o 9º ano, os resultados das médias são distintos se considerarmos português (grande e positivo), matemática (pequeno e negativo) ou ambas (valor intermediário e positivo). Para o 3º ano do EM, observa-se uma maior diferença entre as sete médias, mas todas são positivas.

Tabela 3- Média e Desvio Padrão das Diferenças entre as Proficiências – SARESP 20097º ano EF 9º ano EF 3º ano EM

Média D.P. Média D.P. Média D.P.HIST Ó RIA−MATEM Á TICA 17,77 8,02 -1,14 8,56 3,84 11,84GEOGRAFIA−MATEM Á TICA 17,73 7,81 -1,39 8,60 7,49 11,38(HIST Ó RIA+GEOGRAFIA)

2−MAT

EMÁTICA 17,75 7,45 -1,26 8,09 5,66 11,06HIST Ó RIA−PORTUGU Ê S 17,05 7,25 14,77 7,86 -0,01 9,70GEOGRAFIA−PORTUGU Ê S 17,00 7,23 14,52 8,07 3,65 9,91(HIST Ó RIA+GEOGRAFIA)

2−PORTUGU Ê S

17,02 6,73 14,64 7,44 1,82 9,15(HIST Ó RIA+GEOGRAFIA)

2−

(MATEMÁTICA+PORTUGUÊS)217,39 6,07 6,67 6,62 3,74 8,51


Como o sistema de bonificação considera tanto as notas de Matemática quanto as de Língua Portuguesa, foi feita a opção de concentrar a análise no indicador da diferença das médias (última linha da tabela 2), visto que não há razão a priori para se espera que um eventual gaming ocorresse mais em Matemática do que em Português. Analogamente, não há alguma razão para privilegiar História ou Geografia na análise.

Entretanto, é importante que seja analisado o comportamento da diferença de notas separadamente para aquelas escolas e redes de ensino que ganharam o bônus, comparativamente àquelas que não ganharam. Assim, a Figura 1 apresenta a estimativa da densidade da diferença entre as notas de história/geografia e português/matemática para escolas premiadas e não premiadas com bônus em 2009.

Figura 1 – Densidade Estimada da Diferença entre a Média de História/Geografia e a Média de Matemática/Língua Portuguesa, por Recebimento de Bônus em 2009 – 7º EF, 9º EF e 3º EM

7º ano do Ensino Fundamental 9º ano do Ensino Fundamental

0.0

2.0

4.0

6.0

8D

ensi

ty

-20 0 20 40 60 80dif_hisgeomatlp

com bonussem bonus

kernel = epanechnikov, bandwidth = 1.2091

Kernel density estimate

0.0

2.0

4.0

6.0

8D

ensi

ty

-50 0 50 100dif_hisgeomatlp

com bonussem bonus



3º ano do Ensino Médio

0.0

2.0

4.0

6D

ensi

ty

-100 -50 0 50dif_hisgeomatlp

com bonussem bonus




De modo geral, não há grandes diferenças no formato das densidades estimadas, especialmente para o 9º ano do EF e para o 3º ano do EM. No caso do 7º ano do EF, as densidades são mais distintas, com um contingente maior de escolas com bônus apresentando menores diferenças entre as notas, pelo menos entre 0 e 10 pontos de diferença. A partir daí ( e até 20 pontos) há um acúmulo maior de escolas sem bônus. Esses resultados indicam que pode estar havendo um processo de gaming.

Apesar das distribuições dos gráficos das escolas que receberam o bônus serem semelhantes às daquelas que não o receberam, os testes de igualdade de médias mostraram que há diferenças significativas estatisticamente entre as escolas com e sem bônus, embora a magnitude da diferença seja pequena. No caso do 7º ano do EF, as escolas com bônus possuem diferença de notas a favor de história e geografia ligeiramente maior que as escolas sem bônus, mas o teste de médias não permite concluir que essa diferença é evidência contrária à prática de gaming. Para o 3º ano do EM, vale o mesmo argumento, mas na direção contrária. Para o 9º ano do EF não houve diferença significativa.

Tabela 4 – Teste de diferenças de médias da variável (HIST+GEO)2

−(MAT +PORT )2

– Escolas com

e sem bônus7º ano do EF 9º ano do EF 3º ano do EM

Escolas Sem Bônus 16,66 6,66 4,00Escolas Com Bônus 17,62 6,68 3,38Diferença 0,96*** 0,02 -0,62**


A tabela 5 traz as médias das variáveis utilizadas como controles nas regressões. As tabelas encontram-se segregadas por séries e pelo recebimento ou não de bônus em 2009. Observamos diferenças significativas entre as características dos alunos quando comparamos o 7º ano do EF e o 9º ano do EF com o 3º ano do EM. Quando consideramos o interesse dos estudantes, a parcela de alunos altamente interessados é superior para o ensino médio. Analisando a cor da pele dos pais, a parcela de pais brancos é ligeiramente maior para estudantes do ensino médio, enquanto a de pais mulatos é menor. A escolaridade dos pais é semelhante em todas as séries estudadas e os alunos do 7º ano do EF tendem a ser sobrerrepresentados na faixa de renda familiar mais baixa. Ou seja, de forma geral, o perfil sócio-econômico dos alunos do ensino médio é melhor que os dos demais alunos, visto que a evasão na transição do ensino fundamental para o médio é bastante importante e que, em geral, os alunos com piores condições sócio-econômicas são os que possuem maior probabilidade de evasão.

No entanto, um resultado bastante interessante dessa tabela é que em nenhuma das series parece haver diferenças expressivas entre escolas que receberam ou não o bônus. Assim, o perfil sócio econômico do aluno não é diferente nas escolas contempladas vis-à-vis aquelas não contempladas com bônus em 2009.

Tabela 5 – Média das variáveis explicativas - características socioeconômicas dos alunos – 7º e 9º anos do EF e 3º ano do EM – escolas com e sem bônus em 2009

7º ano do EF 9º ano do EF 3º ano do EM

Variável Sem Bônus

Com Bônus

Sem Bônus

Com Bônus

Sem Bônus

Com Bônus

Interesse baixo do aluno 0,05 0,05 0,06 0,05 0,02 0,02Interesse médio do aluno 0,21 0,20 0,23 0,22 0,19 0,18Interesse alto do aluno 0,48 0,47 0,49 0,50 0,59 0,59Pai branco 0,52 0,51 0,51 0,51 0,55 0,54Pai negro 0,11 0,10 0,11 0,11 0,11 0,11Pai mulato 0,30 0,31 0,30 0,30 0,27 0,28Pai indígena ou não sabe 0,28 0,28 0,03 0,03 0,03 0,03Mãe branca 0,56 0,54 0,56 0,55 0,61 0,59Mãe negra 0,07 0,07 0,07 0,07 0,07 0,07Mãe mulata 0,31 0,32 0,30 0,31 0,27 0,28Mãe indígena ou não sabe 0,02 0,02 0,02 0,02 0,02 0,02Pai estudou até 4ª série 0,31 0,32 0,32 0,32 0,33 0,34Pai estudou até 8ª série 0,26 0,26 0,26 0,26 0,23 0,24Pai com ensino médio 0,26 0,26 0,25 0,25 0,28 0,27Pai com ensino superior 0,07 0,06 0,07 0,06 0,07 0,06Pai não sabe escolaridade 0,04 0,04 0,05 0,05 0,05 0,05Mãe estudou até 4ª série 0,29 0,30 0,30 0,31 0,33 0,33Mãe estudou até 8ª série 0,28 0,28 0,27 0,28 0,25 0,25Mãe com ensino médio 0,29 0,28 0,27 0,27 0,28 0,27Mãe com ensino superior 0,07 0,06 0,07 0,07 0,07 0,07Mãe não sabe escolaridade 0,02 0,02 0,03 0,02 0,03 0,03Renda familiar até R$850 0,28 0,29 0,25 0,26 0,22 0,23Renda de R$851 a R$1275 0,23 0,23 0,23 0,23 0,28 0,28Renda de R$1276 a R$2125 0,16 0,15 0,17 0,17 0,20 0,19Renda de R$2126 a R$4250 0,06 0,06 0,07 0,07 0,09 0,08Renda acima de R$4250 0,02 0,02 0,02 0,02 0,02 0,02Não sabe a renda familiar 0,19 0,20 0,20 0,20 0,15 0,15Até 3 moradores na casa 0,20 0,19 0,21 0,21 0,25 0,25De 4 a 5 moradores 0,52 0,52 0,52 0,52 0,53 0,53Mais de 5 moradores 0,22 0,23 0,21 0,22 0,18 0,18

Fonte: Elaboração própria

De modo geral, resultados semelhantes para escolas contempladas ou não com o bônus são válidos também para as variáveis de controle relacionadas a características das escolas, expressas na tabela 6. A exceção fica por conta do 9º ano do EF, no qual o interesse dos professores das diversas disciplinas pelos alunos é maior nas escolas contempladas pelo bônus do que nas não contempladas, embora a diferença seja pequena. Ainda com relação a essa variável, vale destacar que a percepção do grau de interesse do professor é maior no 7º ano do EF e menor no 3º ano do EM e, mais interessante ainda, os professores de português e matemática tendem a se mostrar mais interessados do que os de história e geografia, independentemente da série analisada e do recebimento ou não de bônus. Paradoxalmente, as escolas contempladas com o bônus relatam mais problemas de infraestrutura que as demais, em todas as séries analisadas, especialmente no ensino médio.

Tabela 6 – Média das variáveis explicativas - características da escola – 7º e 9º anos do EF e 3º ano do EM – escolas com e sem bônus em 2009

7º ano EF 9º ano EF 3º ano do EMVariável Sem

BônusCom

BônusSem

BônusCom

BônusSem

BônusCom

BônusInteresse nos alunos sempre (LP) 0,71 0,71 0,64 0,66 0,58 0,58Interesse nos alunos às vezes (LP) 0,22 0,21 0,27 0,25 0,33 0,33Interesse nos alunos nunca (LP) 0,04 0,04 0,06 0,05 0,07 0,07Interesse nos alunos sempre (MAT) 0,69 0,69 0,62 0,65 0,55 0,55Interesse nos alunos às vezes (MAT) 0,23 0,23 0,27 0,26 0,34 0,34Interesse nos alunos nunca (MAT) 0,05 0,05 0,07 0,06 0,09 0,09Interesse nos alunos sempre (HIS) 0,63 0,64 0,56 0,59 0,48 0,47Interesse nos alunos às vezes (HIS) 0,27 0,26 0,31 0,30 0,38 0,38Interesse nos alunos nunca (HIS) 0,07 0,07 0,09 0,09 0,12 0,13Interesse nos alunos sempre (GEO) 0,63 0,64 0,56 0,58 0,48 0,47Interesse nos alunos às vezes (GEO) 0,27 0,26 0,32 0,30 0,39 0,40Interesse nos alunos nunca (GEO) 0,07 0,07 0,09 0,08 0,11 0,11Diretor no cargo por até 5 anos 0,33 0,31 0,34 0,31 0,29 0,34Diretor no cargo de 6 a 8 anos 0,26 0,27 0,25 0,27 0,26 0,26Diretor no cargo de 9 a 15 anos 0,21 0,22 0,21 0,22 0,22 0,21Diretor no cargo há mais de 16 anos 0,20 0,20 0,20 0,20 0,22 0,19Espaço físico para reuniões bom 0,75 0,72 0,75 0,72 0,75 0,73Espaço físico para reuniões ruim 0,25 0,28 0,25 0,28 0,25 0,27Muitos problemas com infraestrutura 0,36 0,37 0,37 0,38 0,34 0,38Poucos problemas com infraestrutura 0,39 0,40 0,39 0,40 0,41 0,38Não há problemas com infraestrutura 0,25 0,23 0,24 0,23 0,25 0,23Não sabe sobre problemas com infra. 0,00 0,00 0,00 0,00 0,00 0,00Diretor sem pós-graduação 0,36 0,36 0,37 0,35 0,36 0,36Diretor com especialização latu sensu 0,58 0,59 0,58 0,60 0,60 0,59Diretor com mestrado ou doutorado 0,06 0,05 0,05 0,05 0,05 0,06

Fonte: Elaboração própria

A partir de agora, são apresentados os resultados da estimação dos modelos econométricos. Foram estimados diversos modelos econométricos a fim de se captar a significância e magnitude da variável binária bônus em 2009, a qual diz respeito ao recebimento ou não do bônus financeiro distribuído a professores e funcionários da rede pública de acordo com o cumprimento das metas previstas no programa de bonificação.

Como já mencionado, a variável dependente corresponde à subtração da média de português e matemática da nota média de história e geografia. Procurou-se utilizar várias combinações de variáveis de controle para verificar se os coeficientes estimados da variável de interesse se alteram com a mudança dos regressores. Assim, foram estimadas quatro regressões para cada série. No modelo A, além da variável bônus, foram incluídas variáveis binárias relativas à escolaridade do pai. Na regressão B, foram acrescentadas ao primeiro modelo variáveis relativas ao interesse do aluno em relação aos estudos, cor de pelo dos pais, escolaridade da mãe, renda familiar, número de pessoas vivendo na casa e interesse dos professores de cada uma das matérias no aprendizado dos alunos. Na especificação C, foram acrescidos dados sobre o número de anos em que o diretor da escola se encontra no cargo. Finalmente, no modelo denominado D, acrescentou-se variáveis relativas ao espaço físico da escola, problemas de infra-estrutura e especialização profissional dos diretores.

Na tabela 7, é possível observar os valores estimados do coeficiente da variável bônus 2009 para o 7º ano do EF, em uma regressão que tem como variável dependente a diferença entre as médias das notas

de matemática e língua portuguesa e as médias das notas de história e geografia. Também estão explicitados os erros-padrão e o conjunto de variáveis de controle utilizados.

Tabela 7 - Impacto do recebimento do bônus em 2009 sobre a diferença entre média das proficiências de geografia e história e média das proficiências de matemática e português – 7º ano do EF

Bônus 2009 0,484** 0,559*** 0,557*** 0,553***(0.197) (0.191) (0.192) (0.192)

Grupo de variáveis de controle A B C D Obs: Os erros padrão entre parêntesis são robustos à heterocedasticidade; * significância a 10%; ** significância a 5%; *** significância a 1%. Fonte: Elaboração própria com base no SARESP/2009

O coeficiente da variável bônus foi significativo a 5% em todas as especificações, sendo significativo a 1% no modelo mais completo (D). Assim, nesse modelo, o hiato entre as notas de história/geografia e português/matemática, nas escolas que receberam o bônus em 2009 é cerca de 0,553 pontos maior do que nas escolas que não receberam. Como neste caso as notas médias de história/geografia são maiores que as de português/matemática, esse coeficiente estimado indica que não deve ter havido um estímulo por parte das escolas a favor de matemática e língua portuguesa, já que, ceteris paribus, essas notas não se aproximaram mais das de geografia e história. Esse poderia ser considerado um indício contra gaming. Além disso, a magnitude do coeficiente se mostra bastante pequena. Uma vez que o desvio-padrão da variável dependente é de cerca de 6 pontos na escala SAEB, o coeficiente representa menos de 10% desse desvio-padrão.

Tabela 8 - Impacto do recebimento do bônus em 2009 sobre a diferença entre média das proficiências de geografia e história e média das proficiências de matemática e português – 9º ano do EF

Bônus 2009 -0.207 -0.149 -0.148 -0.162 (0.210) (0.208) (0.208) (0.210)


A tabela 8 traz os resultados dos mesmos modelos estimados para os as escolas com 9º ano do EF. Nesse caso, os resultados são distintos daqueles observados para o 7º ano do EF, pois os coeficientes da variável bônus, apesar de negativos, não foram estatisticamente significativos a 10%. Assim, não há diferença significativa entre escolas que receberam e as que não receberam bônus em 2009, ceteris paribus. Novamente esse resultado é uma evidência contrária ao fenômeno de gaming.

Quanto à tabela 9 que fornece os resultados para o 3º ano do EM, os resultados se mostram distintos de ambos os anteriores. O fato de a média entre as notas de matemática e língua portuguesa estar mais próxima da média entre as notas de história e geografia para as escolas que receberam o bônus, seriam um indício a favor da prática de gaming no terceiro ano do ensino médio. Uma hipótese do que poderia ter ocorrido seria que professores e funcionários das escolas tivessem despendido esforços maiores nas disciplinas de matemática e língua portuguesa, fazendo com que o desempenho dos alunos no teste aumentasse somente para essas disciplinas e tornando-o mais próximo do desempenho em história e geografia. No entanto, a magnitude desse efeito é pequena (os efeitos correspondem a cerca de 7% do desvio-padrão da variável dependente). Além de a magnitude ser pequena, nas especificações mais completas a variável bônus é significativa apenas a 10%.

Tabela 9 - Impacto do recebimento do bônus em 2009 sobre a diferença entre média das proficiências de geografia e história e média das proficiências de matemática e português – 3º ano do EM

Bônus 2009 -0,651** -0,509* -0,522* -0,517*(0.290) (0.284) (0.285) (0.286)


Na segunda etapa da análise econométrica, foram estimados os mesmos modelos utilizados anteriormente, mas discriminados para dois grupos: escolas que receberam o bônus em 2008 e escolas que não o receberam. Retomando a intuição apresentada na metodologia, supusemos que escolas contempladas com o bônus em 2008 não estariam tão propensas a realizar gaming durante o ano de 2009 quanto as que ainda não haviam recebido o bônus. Assim, visando a conquista de tal incentivo financeiro, esse segundo grupo de escolas pode ter se engajado em atividades que melhorassem especialmente as notas de matemática e língua portuguesa em detrimento do desempenho das outras disciplinas. Se essa hipótese for válida, espera-se um coeficiente mais negativo para escolas não contempladas em 2008 do que para as escolas contempladas em 2008.

Abaixo se encontram as tabelas com os resultados discriminados pelos grupos de escolas descritos. A simbologia utilizada é a mesma das tabelas anteriores. Os grupos de variáveis de controle continuam os mesmos.

Tabela 10 - Impacto do recebimento do bônus em 2009 sobre a diferença entre a média das proficiências de geografia e história e a média das proficiências de matemática e português – 7º

ano do EF - discriminada pelo recebimento ou não de bônus em 2008

Não contempladas com bônus em 2008Bônus 2009 1.276*** 1.327*** 1.329*** 1.316***

(0.393) (0.396) (0.395) (0.396)Ganhou bônus em 2008 Não Não Não Não

Grupo de regressores A B C D

Contempladas com bônus em 2008Bônus 2009 0.748*** 0.638** 0.634** 0.623**

(0.259) (0.248) (0.248) (0.249)Ganhou bônus em 2008 Sim Sim Sim Sim

Var. controle A B C D Obs: Os erros padrão são robustos à heterocedasticidade; * significância a 10%; ** significância a 5%; *** significância a 1%. Fonte: Elaboração própria com base no SARESP/2008 e 2009

Na tabela 10, todos os coeficientes da variável bônus 2009 se mostraram significativos, assim como no caso geral apresentado na tabela 7. Entretanto, se mostram ligeiramente maiores em termos absolutos, tanto para escolas que receberam o bônus em 2008 quanto para aquelas que não o receberam. Os sinais continuam sendo positivos em todos os casos, indicando ausência de gaming. Além disso, como o coeficiente de bônus em 2009 das escolas que não receberam bônus em 2008 é positivo e maior que o das demais, esse resultado representa evidência adicional contra a prática de gaming no 7º ano do EF.

Analisando agora o grupo das escolas que ganharam o bônus contra o grupo das que não ganharam em 2008, observa-se um padrão comum: os coeficientes são maiores para as escolas que não ganharam o bônus em 2008. Isso vai contra a nossa hipótese inicial de que tais escolas estariam procurando formas de melhorar as notas de língua portuguesa e matemática em detrimento das notas de geografia e história, fazendo com que o hiato entre essas notas se tornasse ainda menor. Portanto, através da comparação entre esses dois grupos, também é possível encontrar vestígio contra gamimg.


ano do EF - discriminada pelo recebimento ou não de bônus em 2008

Não contempladas com bônus em 2008Bônus 2009 0.031 0.078 0.069 0.069



Contempladas com bônus em 2008Bônus 2009 -0.084 -0.260 -0.267 -0.264


Var. controle A B C D Fonte: Elaboração própria com base no SARESP/2008 e 2009 Obs: Erros padrão são robustos à heterocedasticidade; * significância a 10%; ** significância a 5%; *** significância a 1%.

Os resultados trazidos pela tabela 11 reforçam os resultados da tabela 8 pelo fato de nenhum dos coeficientes da variável bônus em 2009 ser significativo. Cabe salientar que, embora não significativos a 10%, as estimativas dos coeficientes foram negativas para escolas que ganharam o bônus em 2008 e positivos para aquelas que não ganharam. Portanto, a não significância da variável de bônus em ambos os casos indica, mais uma vez, evidência contrária a gaming.

Na tabela 12, o que podemos observar é uma grande maioria de resultados não significantes, diferentemente da tabela 9, na qual todos os coeficientes demonstraram algum grau de significância. A tendência observada na tabela 11 se repete na tabela 12: o coeficiente da variável bônus em 2009 é sempre negativo para o grupo de escolas que ganhou o bônus em 2008, enquanto que para o outro grupo, o sinal é sempre positivo, embora não significativo.


ano do EM - discriminada pelo recebimento ou não de bônus em 2008

Não contempladas com bônus em 2008Bônus 2009 0.299 0.459 0.313 0.316



Contempladas com bônus em 2008Bônus 2009 -0.621** -0.410 -0.423 -0.415


Var. controle A B C D Obs: Os erros padrão são robustos à heterocedasticidade; * significância a 10%; ** significância a 5%; *** significância a 1%. Fonte: Elaboração própria com base no SARESP/2008 e 2009

5. Considerações Finais

Esse trabalho visou investigar se há indícios da prática de gaming por parte das escolas participantes do programa de bonificação da Secretaria de Estado da Educação de São Paulo. A finalidade foi contribuir para a avaliação do programa e auxiliar no melhor desenho das políticas públicas que têm como objetivo elevar a qualidade do ensino público brasileiro.

Examinando os resultados das regressões estimadas a fim de se identificar o efeito de uma escola ter ou não recebido o bônus em 2009 sobre as diferenças entre as proficiências de matemática e língua portuguesa e as proficiências de geografia e história, pode-se dizer que de modo geral, parecem não haver fortes indícios da existência de gaming nas duas séries do ensino fundamental analisadas: 7º ano e 9º ano. Para o 3º ano do ensino médio, há uma evidência fraca a favor de gaming, visto que os resultados nessa direção não se sustentam quando a análise é realizada separadamente para escolas já contempladas anteriormente com o bônus e as demais. Nessa abordagem, não houve indício da prática de gaming. Assim, de uma maneira geral, não se pode concluir pela presença de distorções graves causadas pelo Programa de Qualidade na Escola de forma a invalidar a eficácia do sistema, pelo menos nas dimensões que podem ser avaliadas ao se comparar os desempenhos relativos nas disciplinas consideradas para o pagamento do bônus e as demais. Entretanto, as investigações devem prosseguir para garantir uma avaliação mais completa dessa política.

Como propostas de trabalhos futuros, poderia se partir do pressuposto de que outro indício de gaming seria se os alunos que têm desempenho ruim nas provas de ciências faltassem às provas de língua portuguesa e matemática, as quais são utilizadas para o cálculo do índice que fornece o desempenho das escolas. Se isso ocorrer, podemos dizer que há uma seleção dos alunos para a realização das provas atreladas aos sistemas de responsabilização, fazendo com que o resultado das avaliações seja viesado para cima. Outra vertente de estudo reside em analisar se as escolas que receberam o bônus em 2008 foram as que tiveram menor acréscimo de desempenho de 2005 para 2007, pois, provavelmente, as metas

estabelecidas para tais escolas seriam menores do que aquelas estabelecidas para escolas que tiveram grandes ganhos no mesmo período.

REFERÊNCIAS BIBLIOGRÁFICAS

ANGRIST, Joshua; LAVY, Victor. Using Maimonides’ Rules To Estimate the Effect Of Class Size On Scholastic Achievement. The Quarterly Journal of Economics, v. 114, p 533-575, 1999.

BROOKE, Nigel. O Futuro das Políticas de Responsabilização no Brasil. Cadernos de Pesquisa, v. 36, n. 128, p 377- 401, 2006.

FERRAZ, Claudio. Sistemas Educacionais Baseados em Desempenho, Metas de Qualidade e Remuneração de Professores: os Casos de Pernambuco e São Paulo. In: Org. VELOSO, Fernando; PESSÔA, Samuel; HENRIQUES, Ricardo; GIAMBIAGI, Fabio. Elsevier, p 239-260, 2009.

FRANCO, Creso; ALVES, Fátima; BONAMINO, Alicia. Qualidade do Ensino Fundamental: Políticas, Suas Possibilidades, Seus Limites. Educ. Soc., Campinas, vol. 28, n. 100 - Especial, p. 989-1014, 2007.

FREY, Bruno; OBERHOLZER-GEE, Felix. The Cost of Price Incentives: An Empirical Analysis of Motivation Crowding- Out. The American Economic Review, Vol. 87, n. 4, pp. 746-755, 1997.

GLEWWE, Paul; KREMER, Michael. Schools, Teachers, and Education Outcomes in the Developing Countries. In: Org. HANUSHEK, Eric; WELCH, Finis. Handbook of the Economics of Education, v. 2. North Holland, p 945-1017, 2006.

GLEWWE, Paul; ILIAS, Nauman; KREMER, Michael. Teaching Incentives. National Bureau of Economic Research Working Paper, n. 9671, 2003.

HANUSHEK, Eric. School Resources. In: Org. HANUSHEK, Eric; WELCH, Finis. Handbook of the Economics of Education, v. 2. North Holland, p 865-908, 2006.

HANUSHEK, Eric; RAYMOND, Margaret . Does School Accountability Lead to Improved Student Performance? National Bureau of Economic Research Working Paper, n. 10591, 2004.

HANUSHEK, Eric; RAYMOND, Margaret. The Effect of School Accountability Systems on the Level and Distribution of Student Achievement. Journal of the European Economic Association, v. 2, p 406-415, 2003.

JACOB, Brian. Test-Based Accountability and Student Achievement: an Investigation of Differential Performance on NAEP and State Assessments. National Bureau of Economic Research Working Paper, n. 12817, 2009.

JACOB, Brian; LEVITT, Steven. Rotten Apples: An Investigation of the Prevalence and Predictors of Teacher Cheating. The Quarterly Journal of Economics, v. 118, p 843-877, 2003.

JACOB, Brian. Accountability, Incentives and Behavior: The Impact of High-Stakes Testing in the Chicago Public Schools. National Bureau of Economic Research Working Paper, n. 8968, 2002.

KRUEGER, Alan. The Effect of Attending a Small Class in Early Grades on Collage-Test Taking and Middle School Test Results: Evidence from Project STAR, The Economic Journal, v. 111, p 1-28, 1999.

LADD, Helen. Lessons from North Carolina’s School Based Accountability System, mimeo, 2004

WOESSMANN, Ludger. Schooling Resources, Educational Institutions and Student Performance: the International Evidence. Oxford Bulletin of Economics and Statistics, v. 65, p 117-170, 2003.

Documents

Revisão Bibliográfica - ANPEC - Associação … · Web viewMais especificamente, será investigado se a política de bonificação paulista está levando a um aumento no diferencial