MECMinistério da Educação

INEPInstituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira

Índice de Desenvolvimento da Educação Básica (Ideb)

Reynaldo Fernandes*

* Presidente do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) e professortitular da Universidade de São Paulo.

Brasília-DF2007

© Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira(Inep)É permitida a reprodução total ou parcial desta publicação, desde que citada a fonte.

COORDENADORA-GERAL DE LINHA EDITORIAL E PUBLICAÇÕESLia Scholze

COORDENADORA DE PRODUÇÃO EDITORIALRosa dos Anjos Oliveira

COORDENADORA DE PROGRAMAÇÃO VISUALMárcia Terezinha dos Reis

EDITOR EXECUTIVOJair Santana Moraes

REVISÃOAntonio Bezerra FilhoMarluce Moreira Salgado

NORMALIZAÇÃO BIBLIOGRÁFICARegina Helena Azevedo de Mello

DIAGRAMAÇÃO E ARTE-FINALCeli Rosalia Soares de Melo

TIRAGEM1.000 exemplares

EDITORIAInep/MEC – Instituto Nacional de Estudos e Pesquisas Educacionais Anísio TeixeiraEsplanada dos Ministérios, Bloco L, Anexo I, 4º Andar, Sala 418CEP 70047-900 – Brasília-DF – BrasilFones: (61) 2104-8438, (61) 2104-8042Fax: (61) 2104-9812editoria@inep.gov.br

DISTRIBUIÇÃOInep/MEC – Instituto Nacional de Estudos e Pesquisas Educacionais Anísio TeixeiraEsplanada dos Ministérios, Bloco L, Anexo II, 4º Andar, Sala 414CEP 70047-900 – Brasília-DF – BrasilFone: (61) 2104-9509publicacoes@inep.gov.brhttp://www.inep.gov.br/pesquisa/publicacoes

ESTA PUBLICAÇÃO NÃO PODE SER VENDIDA. DISTRIBUIÇÃO GRATUITAA exatidão das informações e os conceitos e opiniões emitidos são de exclusiva

responsabilidade do autor.

Dados Internacionais de Catalogação na Publicação (CIP)Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira

Fernandes, Reynaldo.Índice de Desenvolvimento da Educação Básica (Ideb) / Reynaldo Fernandes. – Brasília : Instituto

Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2007.

26 p. (Série Documental. Textos para Discussão, ISSN 1414-0640 ; 26)

1. Indicador de desenvolvimento educacional 2. Educação Básica. I. Instituto Nacional de Estudose Pesquisas Educacionais Anísio Teixeira. II. Série. III. Título

CDU 37:311

Sumário

Índice de Desenvolvimento da Educação Básica (Ideb)

APRESENTAÇÃO ...................................................................................................................... 5

INTRODUÇÃO .......................................................................................................................... 7

ASPECTOS CONCEITUAIS .................................................................................................... 8

O INDICADOR PROPOSTO .................................................................................................... 13

UMA APLICAÇÃO PARA OS ESTADOS BRASILEIROS ....................................................... 16

CONSIDERAÇÕES FINAIS ..................................................................................................... 16

REFERÊNCIAS BIBLIOGRÁFICAS ......................................................................................... 21

APRESENTAÇÃO

Um número cada vez maior de educadores, formuladores de políticas, gestores e especialistasconverge para a necessidade de se estabelecer padrão e critérios para monitorar o sistema de ensinono Brasil. Experiências bem-sucedidas de melhoria no desempenho de redes e escolas começam aser registradas, apontando a importância do uso de indicadores para monitoramento permanente emedição do progresso dos programas em relação às metas e resultados fixados.

Tratando-se de iniciativas isoladas, cada experiência reflete a orientação dos responsáveis pelagestão do sistema ou mesmo de uma unidade escolar e atende às necessidades locais específicas. Aexistência de um índice que sirva para ser aplicado nacionalmente, levando em consideração aspeculiaridades de regiões distintas, é, assim, um desafio que precisa ser enfrentado quando se fala nanecessidade de se estabelecer um padrão de qualidade na educação do País.

Neste Texto para Discussão, seu autor, Reynaldo Fernandes, coloca em debate a proposta decriação do Índice de Desenvolvimento da Educação Básica (Ideb). Ele combina dois indicadoresusualmente utilizados para monitorar nosso sistema de ensino: a) indicadores de fluxo (promoção,repetência e evasão) e b) pontuações em exames padronizados obtidas por estudantes ao final dedeterminada etapa do sistema de ensino (4ª e 8ª séries do ensino fundamental e 3º ano do ensinomédio).

Seu pressuposto é a evidente complementaridade entre ambos, lembrando que, mesmo que osalunos atinjam elevadas pontuações nos exames padronizados, um sistema educacional que reprovasistematicamente seus estudantes, provocando o abandono de um número significativo deles, semque completem a educação básica, não é desejável; lembra, porém, que a conclusão no período corretoe com baixas taxas de abandono, mas que produzisse concluintes com deficiência de aprendizagem,tampouco o seria. “Em suma, um sistema ideal seria aquele no qual todas as crianças e adolescentestivessem acesso à escola, não desperdiçassem tempo com repetências, não abandonassem os estudosprecocemente e, ao final de tudo, aprendessem”, pondera o autor.

Por essa razão, sua proposta é de que o Índice de Desenvolvimento Educacional consideretanto informações de desempenho em exames padronizados como as de fluxo escolar, tendo comoresultado a combinação de dois outros indicadores – a) pontuação média dos estudantes em examespadronizados ao final de determinada etapa da educação básica (4ª e 8ª séries do ensino fundamentale 3º ano do ensino médio) e b) taxa média de aprovação dos estudantes da correspondente etapa deensino –, seja de fácil compreensão, simples de calcular, aplicável às escolas e explícito em relação à“taxa de troca” entre probabilidade de aprovação e proficiência dos estudantes.

Oroslinda Maria Taranto GoulartDiretora de Tratamento e Disseminação de Informações Educacionais

7

INTRODUÇÃO

Os indicadores de desempenhoeducacional utilizados para monitorar o sistemade ensino no País são, fundamentalmente, deduas ordens: a) indicadores de fluxo (promoção,repetência e evasão) e b) pontuações emexames padronizados obtidas por estudantes aofinal de determinada etapa do sistema de ensino(4ª e 8ª séries do ensino fundamental e 3º anodo ensino médio). É importante ressaltar que osestudos e análises sobre desempenho educa-cional raramente combinam as informaçõesproduzidas por esses dois tipos de indicadores,ainda que a complementaridade entre elas sejaevidente.1

Um sistema educacional que reprovasistematicamente seus estudantes, fazendo quegrande parte deles abandone a escola antes decompletar a educação básica, não é desejável,mesmo que aqueles que concluam essa etapaatinjam elevadas pontuações nos examespadronizados. Por seu lado, um sistema em queos alunos concluem o ensino médio no períodocorreto não é de interesse caso eles aprendammuito pouco. Em suma, um sistema ideal seriaaquele no qual todas as crianças e adolescentestivessem acesso à escola, não desperdiçassemtempo com repetências, não abandonassem osestudos precocemente e, ao final de tudo,aprendessem.

No Brasil, a questão do acesso estápraticamente resolvida, uma vez que quase a

Índice de Desenvolvimentoda Educação Básica (Ideb)

1 Uma das poucas exceções pode ser encontrada em Araújo, Conde e Luzio (2004). Nesse trabalho, os autores propõem um índiceque combina informações de fluxo e atendimento escolar com o desempenho dos estudantes no Saeb. Conquanto a preocupação dosautores seja similar à do presente artigo, a solução proposta é bastante distinta.

totalidade das crianças ingressa no sistemaeducacional. Nosso problema ainda reside nasaltas taxas de repetência, na elevada proporçãode adolescentes que abandonam a escola semconcluir a educação básica e na baixa profici-ência obtida por nossos estudantes em examespadronizados. Assim, um indicador de desenvol-vimento educacional deveria combinar tantoinformações de desempenho em examespadronizados como informações sobre fluxoescolar. O objetivo do presente texto é,exatamente, o de propor um indicador com talcaracterística.

Uma visão mais integrada de desenvol-vimento educacional, que considera tanto odesempenho dos estudantes em testespadronizados como informações de fluxo, é ade que os exames como o Saeb e a ProvaBrasil deveriam ser aplicados aos alunos dedeterminada geração, em vez de aos dedeterminada série. Nesse caso, o desempenhodos alunos atrasados, que se pressupõe menorque o dos que estão na série correta, estariacontemplado na medida de desenvolvimentoeducacional.

Independentemente das vantagens edesvantagens de se ter um exame cuja referênciaseja a geração, o fato é que os que são aplicadosno País para aferir a proficiência dos alunos(Saeb, Prova Brasil e Enem) têm como base asérie. A única exceção é o Pisa (Programme forInternational Student Assessment), que é aplicadoaos alunos de 15 anos de idade. Neste caso, no

Reynaldo Fernandes

8

2 Fernandes e Natenzon (2003) propõem uma forma de transformar as notas do Saeb de série para geração. Sem entrar emconsideração sobre a validade das hipóteses utilizadas, o método só pode ser aplicado em níveis bastante agregado (Estados,Regiões e Brasil).

3 As autoridades educacionais poderiam, por exemplo, financiar programas para promover o desenvolvimento educacional de redes deensino em que os alunos apresentam baixo desempenho. Assim, monitorar as redes financiadas, para verificar se elas apresentamuma melhora de desempenho, é fundamental. Aliás, o financiador poderia estipular previamente o avanço desejado no indicador comocontrapartida para a liberação de recursos.

4 Por padrão de aprovação entende-se os conhecimentos e habilidades mínimos que, idealmente, os alunos deveriam adquirir paraserem aprovados.

5 Ver, por exemplo, Brandão, Baeta e Rocha (1983), Ribeiro (1991), Silva e Davis (1993), Schiefelbein e Wolff (1993) e Paro (2000).

entanto, a amostra é representativa apenas parao País como um todo, impedindo que a medida dedesempenho seja aplicável às escolas e redesde ensino.2

Deste modo, para se obter uma medida queseja disponível em um nível mais desagregado(escolas e redes de ensino), é necessário buscaruma alternativa. O indicador aqui proposto é oresultado da combinação de dois outrosindicadores: a) pontuação média dos estudantesem exames padronizados ao final dedeterminada etapa da educação básica (4ª e 8ªséries do ensino fundamental e 3º ano do ensinomédio) e b) taxa média de aprovação dosestudantes da correspondente etapa de ensino.Ele possui a vantagem de ser de fácilcompreensão, simples de calcular, aplicável àsescolas e explícito em relação à “taxa de troca”entre probabilidade de aprovação e proficiênciados estudantes. Ou seja, o indicador torna claroo quanto se está disposto a perder na pontuaçãomédia do teste padronizado para se obterdeterminado aumento na taxa média deaprovação.

ASPECTOS CONCEITUAIS

Possuir um indicador sintético de desen-volvimento educacional seria desejável, entreoutros motivos, para: a) detectar escolas e/ouredes de ensino cujos alunos apresentem baixaperformance e b) monitorar a evolução temporaldo desempenho dos alunos dessas escolas e/ou redes de ensino.3 Para tanto, ter que optarentre um indicador de fluxo e um de desempenhoem testes padronizados pode não se mostraruma tarefa simples, isso em virtude dapossibilidade de existir trade-offs entre eles.

Note-se que medidas de proficiência emexames padronizados e índices de fluxo escolarnão são independentes entre si. Por exemplo, aadoção de uma medida que melhore oaprendizado dos alunos, fixado o padrão deaprovação, tende tanto a elevar a proficiência nostestes padronizados como a reduzir a taxa derepetência.4 Se a relação entre indicadores deproficiência em exames padronizados eindicadores de fluxo fosse sempre desse tipo,não haveria grandes problemas em escolherentre eles, uma vez que a melhora (piora) de umindicador implica melhora (piora) do outro. Adificuldade de escolha é maior ante apossibilidade de eles caminharem em sentidosopostos. Suponhamos que, ao invés de umamedida que melhore o aprendizado dos alunos,adote-se uma redução no padrão de aprovação.Nesse caso, as taxas de repetência seriamreduzidas, mas, muito provavelmente, teríamosuma redução na proficiência média dosestudantes.

Os motivos que levam o Brasil aapresentar elevadas taxas de retenção escolartêm sido bastante discutidos na literatura e dadomargem a uma grande polêmica.5 Independente-mente da verdadeira explicação, se é que existeuma única, o fato é que não se pode descartar apossibilidade de as escolas e/ou redes de ensinoadotarem medidas que melhorem o fluxo e pioremo desempenho nos exames padronizados e vice-versa. Nesse caso, se a cobrança for restringidaapenas aos indicadores de fluxo, ela podeincentivar os professores, diretores de escolase gestores de rede a adotarem medidas queimpliquem redução no desempenho médio dosestudantes nos testes padronizados, como, porexemplo, reduzir o padrão de aprovação. Por

9

6 É de se notar que mexer nos padrões de aprovação pode ser muito mais fácil do que adotar medidas que promovam um melhoraprendizado dos estudantes.

7 Admita-se que o exame padronizado é realizado sempre no final do ano letivo.

outro lado, se a cobrança for apenas sobre osscores dos alunos, o incentivo é o oposto, como,por exemplo, elevar o padrão de aprovação.6

Na possibilidade de existir tal trade-off, éimportante que o indicador de desenvolvimentoeducacional explicite a “taxa de troca” aceitávelentre probabilidade de aprovação e proficiênciados estudantes: o quanto se está disposto aperder na pontuação média do teste padronizadopara se obter determinado aumento na taxamédia de aprovação. Ainda que fixar essa taxanão seja algo isento de controvérsias, éimportante que a opção seja claramente reveladapelo indicador.

Para iniciar a discussão conceitual sobreo Índice de Desenvolvimento da EducaçãoBásica (Ideb), seria interessante retornarmos aocaso dos exames padronizados realizados combase nas gerações. Aqui, todos os alunos comidade adequada para cursar uma determinadasérie, ou uma amostra representativa deles, sãoavaliados.

Vamos admitir que a idade consideradaseja aquela adequada para cursar a última sérieda primeira etapa do ensino fundamental (quartasérie do ensino fundamental de oito anos), quetodos os alunos ingressem na escola com a idadecorreta e que não haja evasão até a conclusãodessa etapa. Assim, todas as crianças avaliadasteriam freqüentado a escola por um mesmoperíodo de tempo, embora se encontrando emséries distintas em virtude de repetências. Apergunta que tal medida visaria responder é: oque as crianças sabem após quatro anos deescola?

Note-se que se a troca de redes de ensinoe/ou escolas, por parte dos alunos, for pequenaou se ela seguir um padrão aproximadamentealeatório, tal medida poderá ser aplicada a essasredes de ensino e às escolas, entretanto suaadoção será mais difícil em etapas mais

avançadas do ciclo escolar. Por exemplo, osalunos de determinada escola de ensino médiocom idade adequada para cursar o 3º ano podemter diferentes tempos de permanência na escolaem virtude de repetências em etapas anteriores.Assim, o uso do score médio da geração seriamais adequado para monitorar o sistema deensino como um todo (Brasil, Estados eMunicípios) e menos adequado para monitorarredes de ensino e escolas, isto porque muitasescolas e redes de ensino são especializadasem determinadas etapas da educação básica.

Ainda que os alunos tendessem a cursartoda a educação básica nas escolas e/ou redesde ensino em que ingressaram, alguém poderiaconsiderar que o importante seria avaliar ashabilidades e conhecimentos adquiridos ao finalde determinada etapa de ensino, em vez dashabilidades e conhecimentos adquiridos após umdeterminado tempo de permanência na escola.O sucesso educacional dos alunos queingressam em determinada escola e/ou rede deensino seria mais bem avaliado ao final doprocesso ou, ao menos, ao final de determinadasetapas consideradas demarcadoras. Nessecaso, no entanto, seria necessário avaliar nãoapenas os conhecimentos e habilidadesadquiridas pelos estudantes ao final da etapaespecífica, mas também o tempo necessáriopara concluí-la.

Para nossos propósitos, o aspectoimportante a destacar é que diferentes medidaspodem gerar incentivos distintos às escolas e/ou redes de ensino, no que se refere ao padrãode aprovação. Tomemos novamente o exemploem que os alunos são avaliados na idadeadequada para cursar a última série da primeiraetapa do ensino fundamental. Suponhamos que,no ano anterior à avaliação, um determinadoestudante tenha chegado ao final do ano letivocom desempenho considerado crítico, e adecisão que a escola tem que tomar é se o aprovaou reprova.7 Caso a escola se guie apenas pelo

10

8 Admita-se que N + X supera o padrão de aprovação da série seguinte.

resultado da avaliação, ela necessita ponderarem que situação a aquisição de habilidades econhecimentos é maior. Se reprovar o estudante,ela impede que ele seja exposto a novosconteúdos que serão avaliados no exame do anoseguinte; se o aprova, ela não lhe possibilitasolidificar a aprendizagem referente aosconteúdos da série em que hoje se encontra.Suponhamos que a pontuação esperada casoesse aluno realize o exame hoje seja N e apontuação esperada para o ano seguinte sejaN + X e N + Y, em caso de aprovação ereprovação, respectivamente. Então, a regra deaprovação é clara: aprova-se o aluno caso X > Ye reprova-se o estudante caso Y > X.

É razoável admitir que os estudantes queconseguem obter um bom desempenho ao finaldo ano letivo tenham muito pouco a ganhar emconhecimentos e habilidades caso sejamreprovados, enquanto aqueles que obtêm umdesempenho fraco provavelmente tenhammaiores ganhos, de modo que X – Y seja umafunção crescente de N: , com

. Nesse caso, o padrão de aprovaçãoseria fixado de tal modo que aqueles queconsigam superá-lo possuam X > Y e aquelesque não o atinjam possuam Y > X. Caso X > Yocorra para todos os estudantes, a reprovaçãoserá eliminada.

Embora essa regra de aprovação seja ótimapara maximizar o resultado da avaliação, nãosignifica, necessariamente, que o seja para acarreira estudantil dos alunos. Admitamos que, noexemplo acima, o estudante que chegou ao finaldo ano letivo com desempenho consideradocrítico, obteve X > Y > 0 e, portanto, foi aprovado.Entretanto, caso tivesse sido reprovado, iniciariaa série seguinte com uma pontuação esperadade N + Y, ao invés de N, e, portanto, seria razoáveladmitir que, ao final da série subseqüente, obteriaum desempenho superior a N + X, digamos N + Zcom Z > X.8 Supondo que a série subseqüenteseja a do final da etapa educacional, teríamos umaperda esperada de desempenho ao final da

primeira etapa do ensino fundamental de Z – X,quando comparado com a situação de ele ter sidoreprovado, no entanto ele terminaria essa etapade ensino um ano mais cedo.

Este exemplo mostra que a avaliação dosestudantes com base na geração podeincentivar as escolas e redes de ensino aadotarem determinada “taxa de troca” entre aproficiência esperada dos estudantes ao finalde uma etapa de ensino e o tempo médio deduração para sua conclusão, a qual pode variarentre escolas e entre redes de ensino. Aliás, oincentivo para se adotar determinada “taxa detroca” estará presente em qualquer medida quepondere indicadores de desempenho emexames padronizados e de fluxo escolar. Adificuldade em estabelecer um indicador dedesenvolvimento educacional é a de justificarque a “taxa de troca” por ele sinalizada érazoável.

Consideremos que a forma geral do Índicede Desenvolvimento da Educação Básica (Ideb)seja dada por (1).

; (1)

onde,

IDEBj = Índice de Desenvolvimento da EducaçãoBásica da unidade j (escola, rede deensino, município, etc.);

= proficiência esperada, em determinadoexame padronizado, para estudantes daunidade j ao final da etapa de ensinoconsiderada;

= tempo esperado para conclusão da etapapara os estudantes da unidade j;

= derivada parcial de f( ) em relação a k.

Assim, o Ideb é crescente com aproficiência média dos estudantes e decrescentecom o tempo médio de conclusão. É importante

11

9 Por exemplo, como as escolas podem afetar o desempenho dos estudantes alterando padrões de aprovação?10 A argumentação de que a repetência não aumenta os conhecimentos e habilidades dos repetentes é bastante usual. A principal

evidência utilizada em favor dessa tese é que a pontuação média dos repetentes no Saeb é inferior à dos não-repetentes. Entretanto,tal inferência não é válida. Em primeiro lugar, o Saeb informa se o aluno teve alguma repetência e não especifica se ela ocorreu no anoanterior. Assim, muitos dos que apresentam alguma repetência não são repetentes da série atual. Mesmo para os repetentes da sérieatual, o fato de eles apresentarem um pior desempenho que os não-repetentes não implica que eles não estejam melhores do queestavam no ano anterior, quando foram reprovados.

ressaltar que, em teoria, tanto como devem

se referir aos alunos ingressantes e não apenasàqueles que, de fato, concluem a etapa. Ou seja,quais seriam o desempenho e o tempo deduração médio caso todos os estudantes nãodesistissem da escola. Sendo C um índice paraindicar que o aluno concluiu a etapa, é de sesupor que

e ,

isso porque os alunos que deixam a escola tendema ser os de pior desempenho. Extraindo o diferencialde (1) e igualando-o a zero (dIDEB = 0), temos:

(2)

ou,

(2’)

As expressões (2) e (2’) dão as “taxas detroca” entre a proficiência esperada dosestudantes e o tempo médio de duração da etapade ensino, em termos de variações absoluta epercentual, respectivamente. Note-se que, como

, então as “taxas de troca” são positivas,

significando que um aumento em tem que sercompensado por um aumento em .Considerando (2’), se a taxa for 1, significa queum aumento 10% em tem que sercompensado por um aumento de 10% em ,para que o Ideb se mantenha constante. Caso oaumento em seja menor (maior) que 10%, oIdeb diminuirá (aumentará). Vale ressaltar que a“taxa de troca” não necessita ser constante,podendo variar com e .

A dificuldade em se fixar a “taxa de troca”decorre da falta de clareza de como a relaçãoentre repetência e desempenho é determinadano âmbito das escolas9 e, principalmente, comodeterminar em que medida um aumento daproficiência esperada é melhor para o futuro dosestudantes quando esse aumento vemacompanhado de um aumento na probabilidadede repetência.

As elevadas taxas de repetência do Paísapontam para a existência de algo errado comnosso sistema educacional. Entretanto, isso nãosignifica que a reprovação de alunos em si nãopossua alguma funcionalidade e que o ideal seriater um sistema com taxa de reprovação igual azero. Três justificativas usuais para se promovera retenção de alunos são: i) permitir aos que nãoobtiveram desempenho adequado a oportunidadede se recuperarem e, assim, prosseguirem nosistema de forma mais apropriada; ii) incentivaros alunos a aumentar o empenho na obtenção dehabilidades e conhecimentos; e iii) impedir quealunos sem os conhecimentos mínimos avancemno sistema, o que viria a atrapalhar o desen-volvimento dos que estão aptos para a sérieseguinte.

As justificativas acima têm em comum ofato de que enquanto a reprovação depende dodesempenho obtido pelos alunos também elaafeta esse desempenho. A validade de cada umaé, evidentemente, questionável, mas elas nãopodem ser descartadas a priori. No restantedesta seção, vamos nos ater à primeira dessasjustificativas, deixando para a seção seguinte aconsideração das demais.10

Vamos admitir que, em determinada escolae em determinada série, seja a proficiência

obtida pelo aluno i ao final do ano letivo. Casoele seja reprovado, o desempenho no final doano seguinte será , onde é suposto o

12

11 Seria mais correto considerar o limite mínimo da distribuição de notas como sendo o minN da série imediatamente anterior. Entretan-to, fixar o limite mínimo como zero facilita a exposição sem impor qualquer perda de generalidade ao nosso argumento.

mesmo para todos os estudantes. Vamos admitirainda que, nessa escola e série, exista umnúmero infinito de alunos cujas proficiências são,ao final do ano letivo, uniformemente distribuídasno intervalo . Então, o desempenho

médio dos estudantes ao final do ano é . A regra

para aprovação da escola é aprovar todosaqueles com , de modo que, se p é a

proporção de aprovados, . Assim,

a proficiência média dos alunos aprovados é

. Ou seja, quanto maior for a taxa de

repetência, maior será o desempenho médio dosaprovados.11

Suponhamos agora que a distribuição deproficiências acima não se refira a todos osalunos que cursaram a série, mas apenasàqueles que a cursaram pela primeira vez, e ointeresse seja obter a proficiência esperadadesses alunos após a conclusão, bem como otempo médio necessário para concluí-la.

Seja a proficiência média dos con-cluintes que finalizaram a série após tê-lacursado k vezes, a proporção de aprovadosno k-ésimo ano e a razão entre a nota obtidapor uma aluno após cursar a série pela k-ésimavez e a nota obtida por esse aluno no anoimediatamente anterior. Então

e

(3)

Já a proficiência esperada após aconclusão da série é dada por (4).

(4)

Se o desempenho médio dos reprovadosque estão cursando a série pela k-ésima vez formenor do que o dos que se encontram na sériepela k–1-ésima vez, então M1 >M2 > M3 > ...... eP1 > P2 > P3 > ...... Nesse caso, M é uma somainfinita de termos decrescentes, e quanto maisrápido decrescer Pk, menor será M. No entanto,seria conveniente admitir que a proporção deaprovados é sempre a mesma, de modo que adistribuição de proficiência é sempre a mesma,independentemente de k. Assim, a proficiênciaesperada (M) e tempo médio de conclusão (T)são dados por (5) e (6).

(5)

(6)

Tanto M como T se reduzem com p. Note-se que, como a proporção de aprovação ésempre a mesma, ela poderia, em equilíbrioestacionário, ser obtida diretamente como aproporção de aprovados na série, que incluiriainfinitas gerações de ingressantes. De (5) e (6)é fácil calcular a “taxa de troca” entre M e T queestá disponível para a escola. No entanto, comoo tempo esperado para concluir a série éinversamente proporcional à taxa de aprovação,não há nenhum inconveniente de que a “taxa detroca” seja calculada entre M e p, a qual é dadapor:

(7)

Nesse caso, a “taxa de troca” é negativa,indicando que um aumento na taxa de aprovaçãoimplica redução na proficiência dos concluintes.Note que a “taxa de troca” é decrescente emrelação a p, de modo que, quando p é muitopequeno, um aumento na proporção deaprovados praticamente não reduz a proficiênciamédia dos estudantes. À medida que p vai

13

12 O fato de os exames geralmente serem aplicados entre o final de outubro e o começo de novembro ameniza um pouco esse problema.Nessa altura, muitos dos que serão reprovados já não mais estão freqüentando a escola e, assim, não são submetidos ao exame.

crescendo, o aumento na taxa de aprovação vairequerendo uma redução mais significativa naproficiência média dos concluintes. No limite,quando p = 1, a “taxa de troca” é –1, indicandoque um aumento de 1% na taxa de aprovaçãoimplica uma redução de 1% na proficiência médiados concluintes.

O Ideb, especificado em (1), refere-se àsmédias de proficiência e do tempo de duraçãodos concluintes de determinada etapaeducacional e não de uma série específica.Entretanto, se pr

(r = 1, 2,...,n) é a taxa deaprovação da r-ésima série da etapa educacionalconsiderada, então o tempo médio de duraçãoda etapa é:

(8)

Em (8), seria uma taxa média deaprovação da etapa educacional. Assim, o Idebpoderia ser reescrito como,

(9)

O exemplo acima, ainda que extremamentesimplificado, pode nos servir de guia na difíciltarefa de fixar a “taxa de troca” entre proficiênciaesperada e taxa média de aprovação do Ideb.

O INDICADOR PROPOSTO

A forma geral do Ideb proposto neste textoé dada por (10).

e 10)

onde,

Nj = proficiência média dos alunos da unidade jobtida em determinada edição do exame

padronizado realizado ao final da etapa deensino;

Pj = taxa média de aprovação na etapa de ensinodos alunos da unidade j;

= parâmetro que fornece o peso da proficiênciamédia no Ideb;

= parâmetro que fornece o peso de taxa médiade aprovação no Ideb.

Em (10), a média de proficiência dosestudantes da unidade j é obtida diretamente dosque foram submetidos a determinada edição doexame padronizado ao final da etapa educacionalconsiderada. Assim, mesmo admitindo equilíbrioestacionário, Nj pode ser um estimador enviesadode . Em primeiro lugar, a presença de evasãodurante a etapa de ensino pode levar Nj asuperestimar , uma vez que aqueles queevadem tendem a ter pior desempenho. Por outrolado, o exame padronizado é geralmente aplicadoantes de se determinar quem é, ou não, aprovadonaquele ano. Isso, por sua vez, tende Nj asubestimar .12 A hipótese aqui é de que essesdois tipos de viés mais ou menos se compenseme que Nj seja uma boa medida de . A proficiênciamédia é padronizada para estar entre zero e um,de modo que . A padronização édada por (11).

(11)

onde,

Sj = proficiência média, não padronizada, dosalunos da unidade j;

Sinf= limite inferior da média de proficiências;

Ssup= limite superior da média de proficiências.

Assim, para qualquer unidade escolar queobtenha , a proficiência média será fixada

14

13 Ver apêndice I.

em . Por sua vez, aquelas unidades que

obtenham terão o desempenho fixado

em .

Já a taxa média de aprovação, Pj, é obtidaconforme (8), onde a proporção de aprovadosem cada uma das séries da etapa considerada,pr, é calculada diretamente do Censo Escolar.Note-se que, na ausência de evasão durante a

etapa e em equilíbrio estacionário, dá o tempo

médio de duração da etapa para os estudantesda unidade j. Novamente, a existência de evasãodurante a etapa tende a superestimar Pj e, assim,subestimar o tempo médio de duração.

Por fim, a “taxa de troca” entre proficiênciamédia e taxa média de aprovação de (10) é dadapor:

(12)

É importante ressaltar que o Ideb definidoem (10) não é um índice propriamente dito, masuma família de índices. Existe um índiceespecifico para diferentes valores de e . Porexemplo, se = 0 e =1, temos que IDEBj = Pj,ou seja, apenas a taxa média de aprovação éconsiderada. Por outro lado, se = 1 e = 0,então IDEBj = Nj, e apenas a proficiência médiaé levada em conta.

Uma situação interessante de analisar équando = . Neste caso, a “taxa de troca” éigual a – 1, de modo que um aumento de 1% nataxa média de aprovação pode ser compensadopor uma redução de 1% na proficiência médiados concluintes. Vale notar que a ordenação dasunidades escolares é invariante com diferentesvalores de , e, assim, seria conveniente fixar

= , de forma que o Ideb seria dado por(13).

IDEBj = Nj Pj (13)

Caso o tempo necessário para conclusãoda etapa escolar (sem repetências) sejanormalizado em 1 (um), P é o inverso do tempomédio de duração para conclusão da etapa (T).

Deste modo, temos que , ou seja, o

indicador fica sendo a pontuação no examepadronizado ajustada pela razão entre o temponecessário para conclusão da etapa e o tempoefetivamente despendido para concluí-la.

No exemplo da seção anterior, onde adistribuição de notas é uniforme e a taxa deaprovação é a mesma para repetentes e não-repetentes, o Ideb acima incentivaria as unidadesescolares a eliminar a repetência. Como vimos,para taxas de aprovação menores que 1, a “taxade troca” das unidades escolares é sempre maiorque –1 e, deste modo, elas conseguem umaumento no Ideb, por elevar a taxa de aprovação.Assim, se as unidades escolares desejassemmaximizar o indicador e se a única forma que elaspossuíssem para aumentar a proficiência médiados concluintes fosse permitir aos alunosreprovados obter, no ano subseqüente àreprovação, um melhor desempenho, asrepetências seriam eliminadas.

O problema com esse resultado é que ele foiobtido com hipóteses muito particulares, em especiala de que a distribuição de notas é uniforme e ésempre a mesma, independentemente de os alunosestarem cursando a série pela primeira, segundaou terceira vez. No entanto, é possível mostrar quetal resultado seria ainda aproximadamente válido sea distribuição de notas fosse normal, desde que odesvio-padrão fosse suficientemente menor que amédia, como parece ser o caso para escala doSaeb.13 O maior problema reside na hipótese de quea distribuição de notas para alunos reprovados noano subseqüente à reprovação seja idêntica àdistribuição dos alunos que estão cursando a sériepela primeira vez.

No exemplo da seção anterior, o fato de adistribuição original de notas ser reconstituída no

15

ano seguinte para os reprovados é umadecorrência de ter sido considerada sempre amesma taxa de aprovação, p = p1 = p2 = p3 = .....A conseqüência disso é que o aprendizado dosalunos repetentes é uma função crescente da

taxa de aprovação, . Ao aumentar a

taxa de aprovação, a escola possibilita ummelhor aprendizado aos alunos repetentes,proporcionando, por exemplo, um melhoratendimento dos professores a esses alunos.

Evidentemente, tal hipótese é questionável,e alguém poderia considerar que manter os ’sfixos seria mais apropriado. Nesse caso, ao fixaro padrão de aprovação, a escola só determinariaa proporção de aprovados para os alunos queestão cursando a série pela primeira vez; asdemais taxas de aprovação (p2 , p3 , p4 ,.....)seriam predeterminadas. A conseqüência de talhipótese é que a taxa ótima de aprovação paraos alunos que cursam a série pela primeira vezvai depender dos fatores de aprendizado (y’s).

No apêndice II, apresentamos um exemploonde = 1 = 2 = 3 = ..... Em tal exemplo, ataxa ótima de aprovação para os alunos quecursam a série pela primeira vez é 1 (um), desdeque < 2. Caso > 2, p1 será zero. Assim, sereprovações são pouco eficientes para promovero aprendizado, o indicador proposto em (13)incentivaria as escolas a eliminar as repetências.

Por fim, cabe ressaltar que obter taxas deaprovação diferentes de 1 seria compatível com(13), caso as reprovações aumentassem oaprendizado daqueles que estão cursando a sériepela primeira vez. Isso poderia ocorrer porque apossibilidade de reprovação aumenta o esforçodos alunos para obterem melhores resultados ouporque alunos com fraco desempenho influenciamnegativamente a performance daqueles commelhor desempenho. No exemplo da seçãoanterior, isso poderia ser representado por fazero limite superior da distribuição de notas variarnegativamente com a proporção de aprovados.

Por exemplo, podemos admitir que asproficiências sejam, ao final do ano letivo,

uniformemente distribuídas no intervalo

, onde . Assim, quanto

maior , maior o impacto das repetências na

proficiência média dos estudantes que cursama série pela primeira vez. Nesse caso, aproficiência média dos estudantes ao final do ano

letivo é , a proficiência média dos alunos

aprovados é e a “taxa de troca”

é dada por .

É de se notar que a “taxa de troca” ésempre decrescente com p, de modo que se elafor maior que –1 e o Ideb for o dado por (13), ésempre vantajoso para as unidades escolaresirem aumentando a taxa de aprovação até que a“taxa de troca” se iguale a – 1. No caso de = 0temos o caso original, e é vantajoso, para asunidades escolares, eliminar a repetência. Nooutro caso extremo, onde = 1, a “taxa de troca”vai de –1 (quando p = 0) a –2 (quando p = 1), e évantajoso, para as unidades escolares, reprovartodos os alunos. De modo geral, a taxa deaprovação ótima, p*, é dada por (14).

(14)

Assim, para , teremos ,e p* cresce à medida que decresce. Portanto,se a repetência aumenta o aprendizado daquelesque estão cursando a série pela primeira vez,haverá uma taxa de reprovação ótima diferentede zero para o Ideb fixado em (13).

Em suma, a discussão acima sugere quea formulação do Ideb dada por (13) levaria asescolas a operarem com baixas taxas dereprovação, a não ser que repetências tenhamum forte impacto positivo no aprendizado dosalunos (repetentes ou não). A formulação dadapor (13) é a proposta pelo presente texto parafixação do Ideb.

16

UMA APLICAÇÃO PARA OS ESTADOSBRASILEIROS

As Tabelas 1 e 2 apresentam os resultadosdo Ideb dos Estados brasileiros para a primeirae segunda fases do ensino fundamental,respectivamente. Os dados de desempenhoforam extraídos da Prova Brasil referente ao anode 2005. Foram consideradas apenas escolaspúblicas urbanas (federais, estaduais emunicipais) com mais de 30 alunos nas classesde 4ª e 8ª séries do ensino fundamentalregistrados no Censo Escolar de 2005.

O limite inferior das notas foi o de 3 (três)desvios-padrão abaixo da média e o limitesuperior, o de três desvios acima. Para fixaçãodesses limites, utilizou-se a distribuição de notasde 1997, ano em que a escala do Saeb foidefinida. Os limites inferiores de Matemáticaforam 60 e 100 para 4a e 8a séries,respectivamente, enquanto os limites superioresforam 322 e 400. Para Língua Portuguesa, osresultados foram 49 e 100 para os limitesinferiores e 324 e 400 para os limites superiores.

A taxa de aprovação refere-se ao ano de2005 e foi obtida com base nos CensosEscolares de 2005 e 2006. Considerou-se a taxade aprovação média entre a série inicial e a 4a

série do ensino fundamental (primeira fase doEF) e entre a 5a e a 8a séries do ensinofundamental (segunda fase do EF). A medida deproficiência do Ideb foi a média das notaspadronizadas de Língua Portuguesa eMatemática.

Os resultados da Tabela 1 mostram queSão Paulo possui o melhor Ideb para a primeirafase do ensino fundamental, embora não possuao melhor desempenho na Prova Brasil. Oresultado de São Paulo se deve, em grandeparte, ao fato de ele possuir a maior taxa médiade aprovação entre todos os Estados. O DistritoFederal, por sua vez, possui o melhordesempenho na Prova Brasil, mas existem seisEstados com taxas médias de aprovaçãomaiores do que a sua.

A Tabela 2 mostra que os resultados paraa segunda fase do ensino fundamental nãodiferem muito em relação à primeira fase dessaetapa de ensino. Novamente, São Paulo possuio melhor Ideb e a maior taxa média de aprovação,mas não o melhor desempenho na Prova Brasil.

CONSIDERAÇÕES FINAIS

O presente texto teve por objetivoapresentar uma proposta para um índice dedesenvolvimento educacional que consideretanto informações de desempenho em examespadronizados como informações sobre fluxoescolar. O indicador proposto é o resultado dacombinação de dois outros indicadores: a)pontuação média dos estudantes em examespadronizados ao final de determinada etapa doensino fundamental (4ª e 8ª séries) e 3º ano doensino médio; e b) taxa média de aprovação dosestudantes da correspondente etapa de ensino.

Uma discussão conceitual acerca daspropriedades do indicador sugere que eleincentiva as unidades escolares (escolas eredes de ensino) a operarem com baixas taxasde reprovação, a não ser que repetências tenhamum forte impacto positivo no aprendizado dosalunos (repetentes ou não). Apresentou-se,também, uma aplicação para as unidades daFederação, mostrando que os resultados do Idebsão muito similares entre a primeira e a segundafase do ensino fundamental.

O indicador proposto possui a vantagemde ser de fácil compreensão, simples de calcular,aplicável às escolas e explícito em relação à“taxa de troca” entre probabilidade de aprovaçãoe proficiência dos estudantes. Ou seja, oindicador torna claro o quanto se está disposto aperder na pontuação média do teste padronizadopara se obter determinado aumento na taxamédia de aprovação.

Entretanto, vários aprimoramentos sãopossíveis, como, por exemplo, incluir a dispersãodas notas, ao invés de se considerar apenas odesempenho médio. Por outro lado, seria

17

necessário aprimorar nosso entendimento decomo as escolas podem afetar o desempenhomédio dos concluintes; isso nos permitiria adotaruma escolha mais criteriosa da forma funcionaldo Ideb. Por fim, e mais importante, serianecessário avançar nossos conhecimentossobre as conseqüências, para a vida futura dosestudantes, de se adotar diferentes padrões de

aprovação por parte das escolas, o que nospermitiria produzir um indicador cujo objetivofosse o de maximizar o “bem-estar” dos alunos.

De qualquer modo, acreditamos que oíndice aqui proposto é um avanço em relaçãoaos indicadores atualmente utilizados paramonitorar o sistema de ensino no País.

18

Tabe

la 1

– T

axa

de A

prov

ação

, Des

empe

nho

na P

rova

Bra

sil e

Índi

ce d

e D

esen

volv

imen

to d

a E

duca

ção

Bás

ica

(Ideb

): 1

ª fas

e do

Ens

ino

Fund

amen

tal –

Red

e P

úblic

a

19

Tabe

la 2

– T

axa

de A

prov

ação

, Des

empe

nho

na P

rova

Bra

sil e

Índi

ce d

e D

esen

volv

imen

to d

a E

duca

ção

Bás

ica

(Ideb

): 2

ª fas

e do

Ens

ino

Fund

amen

tal –

Red

e P

úblic

a

20

21

REFERÊNCIAS BIBLIOGRÁFICAS

ARAÚJO, C. H.; CONDE, F. N.; LUZIO, N. Índice de qualidade da educação fundamental (IQE):proposta para discussão. Revista Brasileira de Estudos Pedagógicos, Brasília, v. 85, n. 209/210/211,p. 126-136, 2004.

BRANDÃO, Z.; BAETA, A. M. B.; ROCHA, A. D. C. O Estado da arte da pesquisa sobre evasão erepetência no ensino de 1o grau no Brasil (1971-1981). Revista Brasileira de Estudos Pedagógicos,Brasília, v. 64, n.147, p. 39-69, maio/ago. 1983.

FERNANDES, R.; NATENZON, P. E. A evolução recente do rendimento escolar das criançasbrasileiras: uma reavaliação dos dados do Saeb. Estudos em Avaliação Educacional, São Paulo, n.28, p. 3-22, 2003.

PARO, V. H. Por que os professores reprovam: resultados preliminares de uma pesquisa. Ensaio:Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 8, n. 28, p. 273-282, 2000.

RIBEIRO, S. C. A pedagogia da repetência. Estudos Avançados, São Paulo, v. 5, n. 12, p. 7-21, 1991.

SCHIEEFELBEIN, E.; WOLFF, L. Repetition and inadequate achievement in Latin America’s primaryschools: a review of magnitudes, causes, relationships and strategies. Estudos em AvaliaçãoEducacional, São Paulo, n. 7, p. 45-87, 1993.

SILVA, R. N.; DAVIS, C. É proibido repetir. Estudos em Avaliação Educacional, São Paulo, n. 7, p. 5-44, 1993.

22

23

APÊNDICE I – TAXA ÓTIMA DE APROVAÇÃO COM DISTRIBUIÇÃO DE NOTAS NORMAL

Seja x uma variável aleatória, de modo que:

(AI-1)

Se , então:

(AI-2)

onde é a função distribuição da normal padronizada e é a função densidade da mesma

distribuição.

Considerando x a nota de um determinado estudante, a o padrão de aprovação e M a média dosestudantes aprovados, temos:

(AI-3)

Como , (AI-3) pode ser reescrita como,

(AI-3’)

A probabilidade de aprovação, p, é dada por , então:

(AI-4)

De (AI-3’) e (AI-4) obtemos,

(AI-5)

24

ou,

(AI-5’)

Fixando , (AI-5’) pode ser reescrita como:

(AI-6)

Note que é positivo para padrões de aprovação acima da média e negativo para padrões deaprovação abaixo da média. Assim, se as unidades escolares desejam maximizar a nota média dosaprovados, a taxa mínima de aprovação para o Ideb fixado em (13) é de 50%, independentemente dovalor de . Isso porque se > 0, a “taxa de troca” disponível para a unidade escolar é sempre maiorque –1, de modo que elas conseguirão aumentar o indicador aumentando a taxa de aprovação.

A taxa ótima de aprovação será dada por . No caso do Saeb, isso implicaria taxas de

aprovação extremamente elevadas. Por exemplo, o Saeb fixa, para a 8ª série em 1997, uma média de250 com desvio-padrão de 50. Portanto, Nesse caso, o padrão de aprovação seria fixadocinco desvios-padrão abaixo da média, o que implicaria aprovar, praticamente, todos os alunos.

25

APÊNDICE II – TAXA ÓTIMA DE APROVAÇÃO COM FIXO E DISTRIBUIÇÃO DENOTAS UNIFORMES

Suponha que = 1 = 2 = 3 = ....., de modo que p2 = p3 = p4 = ..... e M2 = M3 = M4 = ...... Então,

M = p1M1 = (1 – p1)M2 (AII-1)

De (AII-1) tem-se que,

(AII-2)

O tempo médio de duração da série e a derivada da taxa média de aprovação em relação a p1são dados por (AII-3) e (AII-4), respectivamente.

(AII-3)

(AII-4)

De (AII-2) e (AII-4) temos,

(AII-5)

O Ideb é dado por . Derivando o Ideb em relação a p1 e igualando o resultado a zero temos

os pontos candidatos a máximo.

(AII-6)

(AII-7)

26

O único ponto candidato a máximo é dado por (AII-7). Substituindo (AII-7) em (AII-5) temos

que . Extraindo a derivada da segunda do indicador obtemos,

(AII-8)

Substituindo (AII-7) em (AII-8), temos que o primeiro termo de (AII-8) é zero e, então, (AII-7) é umponto de mínimo. Assim, o Ideb assumirá seu máximo em um dos extremos de p1: p1 = 0 ou p1= 1.

Quando p1 = 1, . Já quando p1 = 0, . O Ideb será máximo com ,

caso . Ou seja, com < 2.

27

28