AVALIAÇÃO EXTERNA

Embed Size (px)

Citation preview

ESTUDOS

RBEP

Avaliao externa de escolas e sistemas: questes presentes no debate sobre o temaJoo Luiz Horta Neto

ResumoApresenta e discute alguns dos principais conceitos presentes no debate acadmico sobre a avaliao externa de escolas e sistemas, e sua relao com as polticas pblicas. Conceitua a avaliao da educao e analisa seus diversos usos, evidenciando o carter central que ela passa a ocupar. Expe a estrutura de um sistema de avaliao externa e, para situar o leitor na realidade brasileira, apresenta um breve histrico do desenvolvimento das avaliaes externas no Brasil, com nfase no Sistema de Avaliao da Educao Bsica (Saeb). Baseia-se em uma reviso da bibliografia sobre avaliao educacional externa e da legislao educacional brasileira. Palavras-chave: avaliao externa; educao; poltica pblica.

84

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

Avaliao externa de escolas e sistemas: questes presentes no debate sobre o tema

AbstractExternal assessment of schools and systems: issues on debate This article presents and discusses some key concepts in the academic debate on the external assessment of schools and educational systems, and their relationship to public policies. Conceptualizes education assessment and analyzes its varied uses, highlighting its crucial role. Exposes the structure of the Brazilian external assessment system and places the reader in the Brazilian reality, presenting a brief history of the development of external assessments in Brazil, with emphasis on the Sistema de Avaliao da Educao Bsica (Saeb). This article was based on a review of the educational evaluation literature and on the Brazilian educational legislation. Keywords: external assessment; education; public policy.

A avaliao externa da educao bsica que vem acontecendo no Brasil nos ltimos 15 anos, envolvendo as escolas e os sistemas de ensino, tem sido objeto de muito debate entre dirigentes educacionais, professores e pesquisadores. No bojo dessas discusses, esto presentes questes ligadas qualidade, s medidas em educao, responsabilizao por resultados e prestao de contas. Essas questes adquirem centralidade quando se discute a prpria relevncia da avaliao externa para alcanar melhorias no sistema educacional. Dias Sobrinho (2001) indica que a avaliao aparece como um mecanismo de seleo e distribuio de indivduos nos lugares sociais e nas hierarquias de poder e prestgio em diferentes localidades do mundo. Os gregos a utilizavam como mecanismo de seleo de indivduos para o servio pblico e os chineses para a seleo de indivduos para a guarda dos mandarins. A Revoluo Francesa amplia o acesso educao bsica e, com isso, a avaliao foi utilizada para distribuir os alunos conforme a sua capacidade individual. Com a Revoluo Industrial, a avaliao passou a se desenvolver tecnicamente e foi utilizada principalmente para selecionar os indivduos para o servio pblico e para outros postos de trabalho. As escolas passam a utilizar o teste escrito e o sistema de notao para dar maior credibilidade pblica, transparncia e rigor no julgamento dos resultados, com isso eles acabam interferindo nos currculos e nas propostas pedaggicas. A avaliao tem estado presente no dia a dia das escolas, dos professores e dos alunos h muito tempo. Os professores avaliam seus

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

85

Joo Luiz Horta Neto

alunos para saber sobre suas dificuldades e o que foi aprendido, de forma a auxili-los no seu processo de aprendizagem. O acmulo de informaes, obtidas pelo docente nas mais diferentes formas de avaliao ao longo do ano, ajudam-no a decidir sobre a progresso dos alunos. Os professores tambm passam por processos de avaliao. No caso brasileiro, por determinao constitucional, para ingressar na carreira de docente da rede pblica de ensino, os professores precisam se submeter a uma avaliao realizada a partir de um concurso de provas e ttulos. Em alguns pases, os professores tambm so avaliados pelos sistemas que emitem uma certificao profissional para que possam atuar na funo docente. Nos ltimos anos, muitos pases vm investindo significativos recursos na realizao de avaliaes externas constitudas, entre outros instrumentos, por provas aplicadas aos alunos com o objetivo de verificar se eles esto adquirindo os conhecimentos e as competncias necessrias para a concluso de um nvel ou ciclo do sistema educativo. Poderamos identificar dois pressupostos que orientariam a realizao dessas avaliaes. Primeiramente, os ministrios de educao desses pases estariam indicando de forma objetiva os referenciais de qualidade que deveriam ser seguidos pelas escolas. O outro seria uma preocupao com as provas aplicadas pelos professores, que no permitiriam avaliar com objetividade os conhecimentos e as competncias adquiridos pelos alunos. Qualquer que seja a premissa que oriente essas avaliaes, inevitvel identificar nessas concepes alguma inteno de desenvolver mecanismos de controle sobre os processos educacionais. Este prembulo importante para poder iluminar a compreenso sobre o termo avaliao, demonstrando a complexidade de algumas das relaes em que est envolvido. Este conceito em si mesmo polissmico. Para uns, a avaliao resume-se a medir resultados educacionais geralmente por meio de provas. Para outros, a simples medio reduz o significado da avaliao. Avaliar significaria ir alm das medies ou apresentao de resultados e envolveria a definio de polticas e estratgias governamentais que levariam ao aperfeioamento institucional e do prprio processo de ensinoaprendizagem em seus diferentes graus e modalidades. Neste ponto, necessrio diferenciar o que uma prova aplicada por um professor aos seus alunos do que um sistema de avaliao. Uma prova aplicada pelo professor um evento nico e independente, com nfase somente em um conjunto de objetivos cognitivos que incide sobre o futuro imediato do aluno e que interpretado independentemente do seu contexto socioeconmico ou educacional. Ele tambm pode lanar mo de diferentes instrumentos, os quais permitam identificar outras caractersticas que indiquem como est ocorrendo a aprendizagem do aluno. J um sistema de avaliao que tem como principais usurios, mas no nicos e exclusivos, os sistemas educacionais um processo que envolve um levantamento peridico de dados com o objetivo de captar a evoluo do quadro educacional (Tomassia, 2004). Para isso, utilizam-se tanto testes de rendimento, com o objetivo de verificar o desempenho

86

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

Avaliao externa de escolas e sistemas: questes presentes no debate sobre o tema

1

Entrevista concedida a Jeri Ridings Nowakowski, da Universidade de Michigan.

dos alunos, quanto questionrios que procuram levantar os fatores que influem no desempenho desses discentes. importante destacar que esses fatores levantados pelos questionrios no estabelecem uma relao de causalidade entre o fator levantado e o desempenho do aluno, mas podem indicar quais as reas que deveriam ser prioritrias para a interveno dos governos e quais as iniciativas polticas que deveriam ser tomadas, com o objetivo de promover melhorias no ensino. O aumento do interesse pela avaliao do desempenho dos alunos coincide com o momento em que houve um forte acrscimo da demanda por educao nos pases centrais, levando a questionamentos com relao a se o contedo aprendido na escola seria aquele necessrio para a vida em sociedade. Em uma entrevista,1 o americano Ralph Tyler (1981), considerado por muitos como o iniciador da avaliao educacional externa, destaca que com a crise de 1930 nos Estados Unidos houve um aumento muito grande de jovens que procuravam o ensino secundrio, motivados principalmente pela falta de emprego. Com essa forte demanda, no Estado americano de Ohio, surgiu a preocupao com o desempenho desses novos alunos que anteriormente crise no estavam cursando esse nvel de ensino. Foram ento selecionadas 30 escolas e dado para elas um perodo de oito anos para que desenvolvessem e aplicassem novos mtodos de ensino, com a contrapartida de que seriam avaliadas durante esse perodo. Este programa teve incio em 1934 e foi chamado de Eight Year Study. Os alunos dessas escolas foram avaliados a partir de uma variedade de instrumentos desenvolvidos por Tyler. Mesmo depois de concluda a escola secundria, os egressos ainda eram acompanhados com o objetivo de identificar de que forma os conhecimentos adquiridos na escola estavam sendo utilizados tanto no seu trabalho, se ele interrompia seus estudos, quanto na universidade, se ele continuava seus estudos. Na proposta de Tyler, a avaliao da aprendizagem estava integrada ao modelo de elaborao de currculo, e este currculo deveria assumir caractersticas de planejamento das atividades educacionais. Essa abordagem recebeu inmeras crticas, pois considerava-se que a avaliao se tornava sinnimo de simples medida. Nesse sentido, tinha uma caracterstica inflexvel e limitada, pois levava em considerao apenas alguns dos conhecimentos que eram escolhidos para serem avaliados nas provas. Alm disso, as avaliaes estariam condicionando os currculos e fazendo com que a escola e principalmente os professores perdessem sua autonomia para definir quais os contedos e as abordagens que seriam mais adequados aos seus alunos, dentro do contexto social em que viviam. Muitos autores referem-se a esse tipo de avaliao desenvolvida por Tyler como meritocrtica, somativa, tecnicista ou positivista. Barreto (2001, p. 55) identifica seus defensores como sendo pertencentes ao ncleo duro da avaliao da aprendizagem. Eles partiriam de um paradigma que a autora chama de positivista, pois teriam a inteno de analisar a complexa realidade social utilizando-se de ferramentas estatsticas. As avaliaes somativas estariam considerando apenas os resultados da aprendizagem e no os processos que estariam sendo construdos

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

87

Joo Luiz Horta Neto

durante ela, portanto, no teriam nenhum significado importante, j que a educao seria um fenmeno essencialmente qualitativo. Alm disso, no respeitariam a diversidade de aprendizagens que se apresenta em diferentes contextos, nem mesmo a diversidade dos alunos. Assim, elas sinalizariam que todos os discentes deveriam aprender o mesmo e que todos os professores deveriam ensinar o mesmo. Esse tipo de avaliao estaria, portanto, fortalecendo o poder nas mos do Estado e, com isso, limitando a atuao dos agentes locais. Como oposio a esse modelo, Barreto (2001) indica que comearam a ser construdas novas abordagens em que eram levadas em conta no apenas a dimenso cognitiva do aluno, mas as dimenses social e afetiva, seus valores, motivaes e at mesmo a sua prpria histria de vida. Nessas novas abordagens, conhecidas como avaliaes formativas ou diagnsticas, a avaliao deixaria de girar exclusivamente em torno do aluno e da preocupao de medir tecnicamente seu rendimento. Ela cita alguns autores que desenvolveram pesquisas dentro dessa abordagem, como: Luckesi, que centra seu trabalho no que a autora chama de pedagogia do exame; Franco, que estabelece como unidade de anlise o vnculo entre o indivduo e a sociedade numa dimenso histrica; e Saul, que desenvolve em seu trabalho as bases de uma avaliao chamada de emancipatria.2 Ldke (1995, apud Barreto, 2001) defende que a avaliao esteja fortemente integrada ao processo de ensino-aprendizagem, de forma a atender as necessidades dos alunos e as dos professores, com uma caracterstica de auxiliar no desenvolvimento desses atores. A autora admite que uma avaliao desse tipo necessitaria de um longo perodo para a sua execuo e destaca que, ainda assim, no seria eliminada a necessidade das avaliaes baseadas em testagens, que possibilitariam a identificao de novos problemas no detectados antes. Existem, portanto, diversos tipos de avaliaes que so realizadas dentro do sistema educacional: aquelas que acontecem em sala de aula, passando por outras que ocorrem na prpria escola, ou at as que perpassam todo o sistema educacional. Com relao s avaliaes externas, existem aquelas que tm consequncias diretas importantes sobre indivduos e instituies e que apresentam resultados numricos (somativas) e aquelas que tm como propsito aprender mais sobre o processo educacional com o objetivo de procurar melhorias, e que no tm o interesse em dar consequncia imediata ao seu resultado (formativas). Considero que todos os tipos de avaliao so importantes e que tratam de responder a diferentes necessidades dos sistemas educativos e da vida em sociedade; elas fazem parte do dia a dia do processo educativo. Com relao a avaliaes externas, no se pode desqualificar a avaliao somativa com o argumento de que elas levam em conta os resultados, mas no os processos, pois a elaborao de uma avaliao envolve um minucioso trabalho de anlise das condies em que a aprendizagem ocorre. Da mesma forma, tambm no se pode desqualificar a avaliao formativa sob o argumento de que ela, para ser aplicada em larga escala, demandaria

2

Para aprofundar esses assuntos, sugere-se a leitura de Luckesi (1991, 1992, 1996), Franco (1990) e Saul (1992).

88

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

Avaliao externa de escolas e sistemas: questes presentes no debate sobre o tema

mais tempo e recursos, envolveria um processo mais demorado e estaria voltada realidade das instituies avaliadas, e no ao conjunto delas. Cada processo avaliativo tem um objetivo a atingir e deve ser analisado luz desses objetivos. Alm disso, da mesma forma que acontece na sala de aula, so diversos os instrumentos que podem ser utilizados para avaliar um determinado processo educacional. Mas uma coisa certa: qualquer que seja a abordagem utilizada, no existe sentido dar s avaliaes um carter punitivo. A avaliao em qualquer de suas acepes deve ter um forte carter formativo, levando em considerao que seu objetivo compreender melhor a realidade e, dessa forma, atuar sobre ela, dentro dos limites impostos pelos instrumentos utilizados. importante destacar que o limite de uma avaliao definido previamente quando se determinam quais os instrumentos que sero usados no processo. Vianna (2003) chama a ateno para o fato de que a avaliao deva ter uma consequncia, que no se limite a apenas informar os resultados. Atitudes devem ser tomadas no sentido de buscar superar os problemas apontados pelos resultados obtidos. Outros autores reforam essa posio, destacando que insuficiente a avaliao que apenas localiza o aluno na escola. A avaliao tem de dizer o que fazer (Belloni, Belloni, 2003, p.16). Alm disso, preciso estar alerta para o fato de que a avaliao um processo complexo no somente pelas suas caractersticas tcnicas, mas, sobretudo, pelo impacto dos questionamentos que o processo avaliativo deve provocar (Dias Sobrinho, 2000). Assim, preciso ter em conta que outros atributos devem ser acrescentados avaliao, pois ela precisa ser um processo de construo, e no uma mera mediao de padres estabelecidos por iluminados (Ristoff, 1995, p. 47). Este mesmo autor salienta que a prtica educacional no Brasil coloca nfase na excluso e no na construo de aprendizagens. O fato de medir uma determinada realidade no significa que a estamos avaliando. A medida a etapa inicial que enceta uma avaliao. Assim, se o objetivo conhecer determinada realidade, ela deve ser identificada a partir da realizao de um conjunto de medidas que indicam, trazem informaes sobre a realidade que se procura conhecer. Essas medidas sozinhas, obtidas a partir de observao emprica, tm pouco significado. Para dar significado s medidas, preciso que elas sejam comparadas a uma situao anterior que j tenha sido objeto de medio ou ento que elas sejam comparadas com uma situao ideal, um padro definido por um determinado conjunto de atores, com base em critrios para atingir determinados objetivos. Da comparao entre o resultado obtido da medio e a situao ideal ou os resultados das medidas anteriores, possvel fazer um julgamento, emitir um juzo de valor, sobre a situao atual. Ao emitir o juzo de valor estaremos avaliando essa realidade. Avaliar como crtico um sistema educacional que tem um desempenho abaixo de um patamar julgado ideal, per se no far com que ele melhore seu desempenho. preciso identificar as causas desse baixo desempenho e atuar para super-las.

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

89

Joo Luiz Horta Neto

A instituio de um sistema de avaliao no pode ser fruto de uma improvisao. Vianna (2001) destaca que para a instituio de um sistema de avaliao em larga escala necessria uma grande capacidade de processamento de informao, alm de uma competente equipe multidisciplinar para gerenciar tanto a sua aplicao como seus resultados e, no menos importante, significativos recursos financeiros. Alguns autores, como o caso de Barreto (2001), alegam que, diante da escassez de recursos, o alto custo desses sistemas tem consumido os recursos que poderiam ser utilizados para a realizao de estudos e pesquisas menos custosos, que tambm teriam potencial para melhorar o sistema escolar. Alm disso, essa mesma escassez, que impede at mesmo as medidas educacionais mais bsicas de serem utilizadas, impossibilita que os sistemas invistam outros recursos financeiros para solucionar os problemas apontados pelos resultados da avaliao. Assim, os problemas s estariam sendo apontados e nada de efetivo estaria sendo feito. Portanto, a opo pelo desenvolvimento de um sistema de avaliao pressupe o efetivo enfrentamento dos problemas que vierem a ser apontados, mobilizando para tanto os instrumentos e os recursos necessrios. Num extenso e detalhado trabalho, Ravela (2005) fornece uma srie de reflexes sobre os aspectos envolvidos na construo de um sistema de avaliao. O autor indica que preciso definir os modelos conceituais que sero utilizados, quais as questes que se quer responder e quais os usos e os usurios da avaliao. Cumpridas essas etapas, preciso produzir a evidncia emprica do que se quer medir desenvolvendo instrumentos que auxiliem no levantamento dos dados, levando-se em considerao o tempo necessrio para produzi-los, os recursos que se dispe e as consequncias que ter a avaliao. Assim, muito pouca influncia ter uma avaliao realizada por um determinado governo que produza resultados trs anos aps ter sido iniciada e que tenha consumido uma parcela significativa dos recursos oramentrios disponveis. Continuando na anlise da construo de sistemas de avaliao, Ravela (2005) destaca que muitas vezes se constroem instrumentos que capturam informaes que no se adequam quelas definidas inicialmente, criando-se assim problemas que podem mascarar os dados obtidos, influenciando as anlises que se faro. Vianna (2001) tambm aponta a tendncia de querer que uma nica avaliao teste o mximo de atributos, utilizando-se para isso um nmero limitado de itens e de instrumentos. Este autor ainda destaca que qualquer que seja o instrumento que venha a ser utilizado, no deve ser relegada a segundo plano a necessidade de realizar uma pr-testagem dos instrumentos para adequ-los aos sujeitos integrantes do conjunto avaliado. Como o essencial em todo o processo no so os dados em si, Ravela (2005) aponta a importncia da valorao do que est sendo avaliado. Dessa forma, muito mais importante do que saber quantas perguntas determinado aluno respondeu em uma prova de determinada rea, indicar se nessa rea ele teve, ou no, um resultado considerado adequado, comparando-se o desempenho esperado baseado nos referenciais utilizados e o desempenho alcanado.

90

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

Avaliao externa de escolas e sistemas: questes presentes no debate sobre o tema

Os juzos de valor podem ser expressos basicamente de trs formas. Quando a comparao realizada a partir de referncias definidas previamente, diz-se que o juzo de valor referido a critrio. Assim, podem ser estabelecidos distintos nveis de desempenho, indicando nveis de aprendizagem que se espera para cada aluno, possibilitando construir uma escala que contenha diferentes nveis de aprendizagem de uma determinada rea, cada um deles apontando o que se espera do aluno em diferentes fases da sua vida escolar. Quando a comparao entre indivduos ou instituies que fazem parte de um mesmo grupo, o juzo de valor est baseado na comparao entre as unidades de anlise utilizadas (no caso indivduos ou instituies), e diz-se que o juzo de valor normativo ou que est referido norma, numa referncia curva normal da estatstica. Dessa forma, quando a referncia a norma, o juzo de valor produzido com relao classificao do indivduo em relao aos demais. A terceira forma de expressar um juzo de valor conhecida como a do crescimento da aprendizagem, em que se procura analisar qual a variao do indivduo em relao a um ponto de partida ou linha de base anterior. Essa forma pode ser caracterizada como uma avaliao criterial, se antecipadamente forem definidas as referncias que sero utilizadas, ou pode ter caractersticas normativas, se a preocupao com a posio relativa entre os indivduos. De qualquer forma, o objetivo aqui comparar o desempenho do prprio indivduo em diversas fases, produzindo juzos de valor que evidenciem as variaes sofridas entre os diversos perodos da avaliao. No caso brasileiro, cada uma das avaliaes de desempenho dos alunos desenvolvida satisfaz a uma forma de expressar o juzo de valor. O Sistema de Avaliao da Educao Bsica (Saeb) um misto de avaliao normativa, j que primeiro compara os indivduos entre si, e avaliao criterial, j que procura descrever para cada ponto da escala de proficincia as habilidades demonstradas pelos alunos a partir de suas respostas aos itens da prova. Em estudo anterior, Horta Neto (2005) aborda os desafios da avaliao institucional no contexto do Sistema Nacional de Avaliao da Educao Superior (Sinaes), indicando como as modalidades de provas utilizadas no Brasil, a partir de 1996, fazem parte de avaliaes que ora so referenciadas norma, ora procuram medir o crescimento da aprendizagem. O Exame Nacional de Desempenho de Estudantes (Enade), uma das avaliaes que fazem parte do Sinaes, um exemplo de avaliao de crescimento da aprendizagem, visto que so avaliados os alunos do primeiro e do ltimo ano da graduao. J o Exame Nacional de Cursos (ENC), conhecido tambm como Provo, utilizado como um dos instrumentos que faziam parte do antigo sistema usado para avaliar a educao superior antes da instituio do Sinaes, pode ser classificado como uma avaliao referenciada norma. Isso porque os conceitos atribudos a cada curso tinham como referncia a nota mdia obtida, que recebia um conceito equivalente a C. Com isso, aqueles cursos que obtivessem notas inferiores a um

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

91

Joo Luiz Horta Neto

ou a meio desvio padro com relao mdia eram classificados com os conceitos E ou D, respectivamente, e aqueles que obtivessem notas superiores a um ou a meio desvio padro com relao mdia seriam classificados com os conceitos A ou B, respectivamente. A definio de qual a forma mais adequada para expressar um juzo de valor ir depender dos objetivos que se quer alcanar com a avaliao. Por isso, no possvel dizer que uma forma seja superior outra, e sim que uma seja mais adequada aos objetivos propostos que a outra. As consideraes sobre a forma de expressar o juzo de valor reforam a necessidade de se estar atento s consequncias dadas aos resultados da avaliao, para que ela no seja usada para objetivos que desvirtuem completamente o seu sentido. Vianna (2001) chama a ateno para exemplos como o que ocorreu na Inglaterra durante a era Thatcher, quando os resultados obtidos nas avaliaes eram utilizados como justificativas para fechar instituies, atribuir prmios ou bnus e fazer ranking das instituies, ao invs de serem usados como uma forma de conhecer a realidade e atuar sobre ela. Outro ponto que importante destacar refere-se forma como devem ser divulgados os resultados das avaliaes. Os responsveis pela avaliao devem cuidar para que os resultados sejam apresentados para as autoridades/decisores com clareza, para que permitam oferecer uma viso ampla dos problemas levantados. importante salientar que os resultados apurados no so suficientes, per se, para a tomada de decises e que necessrio aprofundar os aspectos mais problemticos apontados pela avaliao. Deve se destacar, tambm, a referncia que feita suposta imparcialidade do processo avaliativo, pelo fato de ele utilizar tcnicas objetivas. Uma avaliao sofre influncia dos valores, das vises de mundo e da percepo que os avaliadores possuem da realidade e das interferncias dos governos. Alm disso, importante levar em conta que os dados e as percepes sobre a realidade no conseguem capt-la em sua totalidade. Eles so aproximaes dessa realidade. Tendo em conta os aspectos levantados at aqui, importante salientar que, mesmo tendo seus limites, a avaliao capaz de fornecer informaes para a tomada de decises para a implantao de polticas pblicas e, nesse sentido, muito melhor do que um voo cego, no qual no existem dados em que os formuladores de polticas possam se embasar.

Avaliao externa e qualidade educacional: problematizando o tema Um dos propsitos da avaliao que ela possa contribuir para a melhoria da qualidade da educao. Para isso importante discorrer sobre o significado desse termo. Conceituar qualidade no uma tarefa simples nem existem consensos sobre o melhor caminho a seguir. Como um conceito

92

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

Avaliao externa de escolas e sistemas: questes presentes no debate sobre o tema

polissmico, primeiramente preciso identificar qual a definio de qualidade a que estamos nos referindo. O termo qualidade tem assumido diversos significados ao longo do tempo, e, segundo Reeves e Bednar (1994, apud Turchi, 1997, p. 9), eles remontam Grcia antiga, onde Aristteles, Scrates e Plato referiamse ao termo como sendo um padro de excelncia moral que deveria ser buscado pela sociedade grega. O critrio para definir esse padro de excelncia variava de acordo com as circunstncias em anlise e era baseado na percepo de quem avaliava. Portanto, apesar de ser referenciado a um padro, este era totalmente subjetivo, dependia exclusivamente do avaliador. Com a evoluo da sociedade estruturada dentro do modo de produo capitalista, naturalmente o conceito foi gradualmente sendo associado produo de bens. Por exemplo, no perodo anterior Revoluo Industrial, qualidade de um produto era definida pela reputao da habilidade e do talento do arteso que o produzia (Turchi, 1997, p. 9). Aos poucos, alm da excelncia, outras dimenses foram sendo incorporadas, buscando-se uma quantificao. Assim, na poca da Revoluo Industrial, um produto de qualidade estava associado ideia de menor preo. Nos anos 1930 do sculo 20, qualidade incorpora o significado de produo em conformidade com o projeto (p.10). Com isso, ganharam importncia as tcnicas de controle dos processos produtivos com base no uso intensivo de tcnicas estatsticas. A partir dos anos 1950, outra dimenso foi associada ao conceito: a de que um produto, alm de estar em conformidade com o projeto, deveria atender s necessidades dos usurios. Incorporou-se, assim, a ideia de que a qualidade deveria ser muito mais que a simples inspeo do produto, mas que deve ser construda ainda durante a fase de elaborao do projeto. Qualidade ento passa a ser entendida como aquela adequada ao uso. Essa teria sido a base dos conceitos que fundamentariam a proposta de qualidade total que se afirmaria no final do sculo 20. Tarso Genro (2005, p. 12), ministro da Educao, em uma entrevista concedida revista Nova Escola, referiu-se qualidade da seguinte forma: Nova Escola: O que um ensino de qualidade? Tarso Genro: uma educao com boa estrutura escolar e mtodos pedaggicos adequados nossa sociedade atual para todos os alunos da rede pblica. Envolve tambm professores bem remunerados. Para conseguir isso a educao precisa ser considerada uma rea estratgica, o que significa receber investimentos. (grifos do autor).

No excerto acima, o autor associou a qualidade do ensino a uma boa estrutura escolar e a mtodos pedaggicos adequados, direcionados a um determinado pblico (alunos da rede pblica). Estabeleceu tambm uma relao entre qualidade do ensino e os investimentos que a rea deve receber. Como se percebe, todas as questes levantadas pelo ex-ministro envolvem decises polticas relativas ao financiamento da educao, reviso curricular e metodolgica e gesto escolar.

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

93

Joo Luiz Horta Neto

Ainda assim, apesar de uma grande amplitude dada ao tema qualidade, ela envolve ainda outros aspectos at aqui no abordados. De forma mais ampla, autores, como Dias Sobrinho, definem qualidade como sendo uma construo social que varia segundo os interesses dos grupos de dentro e de fora da instituio educativa e que reflete as caractersticas da sociedade que se deseja para hoje e que se projeta para o futuro. No um conceito unvoco e fixo, devendo ser construdo por meio de consensos e negociaes entre os atores (Dias Sobrinho, 1995). Na mesma linha, Schwartzman (1990) indica que o termo qualidade depende dos pontos de vista dos atores envolvidos, sendo que a qualidade de uma instituio de educao superior, na viso dos alunos e de suas famlias, vincula-se ao prestgio da futura profisso ou garantia de trabalho bem remunerado; os professores universitrios relacionam a qualidade s possibilidades da investigao e s condies para a realizao das atividades cientficas; as empresas referem-se competncia esperada dos egressos da universidade. Radicalizando na definio de qualidade, Pirsig (1984) afirma que ela no deve ser definida e que devemos apenas compreend-la, j que fruto de uma experincia direta que independente e anterior a qualquer abstrao intelectual. Gentili (1995), por um lado, lembra que na sociedade capitalista a qualidade est associada excelncia e esta a privilgio, nunca a um direito. Por outro lado, Mendona (2005) destaca que qualidade da educao deve ser entendida como um direito, um bem pblico, e aponta alguns indicadores que poderiam nortear o que seria a qualidade social. Entendo que para a definio de polticas pblicas importante que a qualidade possa ter caractersticas tais que permitam que ela possa ser mensurada. Caso contrrio, haveria um total descompasso entre os formuladores, os executores e os beneficirios dessa poltica, j que no haveria uma referncia comum que permitisse tanto a sua execuo como a sua avaliao. Nessa perspectiva, entendo qualidade como sendo um conceito relativo que utiliza padres de referncia para medir algo, e a partir dos resultados obtidos, compar-los a esses padres. Uma vez definidos os padres, levando-se em conta a sua complexidade, o tempo gasto e os recursos necessrios para executar a medio, eles no devem sofrer mudanas significativas que impossibilitem a construo de uma srie histrica que avalie as variaes acontecidas ao longo do tempo. Dessa forma, qualidade em educao depende da existncia de um padro, uma referncia a partir da qual seja possvel comparar os processos educacionais que se quer medir a esses padres. Por meio dos dados obtidos pelas medidas, possvel adquirir indicaes objetivas que permitam orientar as polticas educacionais. Como no possvel medir diretamente a qualidade, utilizam-se alguns substitutos, como os indicadores. Segundo Carley (1985, p. 2), indicadores so medidas de uma caracterstica observvel de um fenmeno social e que estabelecem o valor de uma caracterstica diferente,

94

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

Avaliao externa de escolas e sistemas: questes presentes no debate sobre o tema

mas no observvel. Isto , o autor indica que quando no possvel medir diretamente um fenmeno social, deve-se utilizar, para realizar a medida, algumas de suas caractersticas que sejam observveis e, portanto, mensurveis. Apesar de no dar conta de explicitar completamente o fenmeno que pretende mensurar, o indicador fornece pistas, caractersticas observveis e que so importantes para compreender o fenmeno que se quer estudar. Medir a qualidade da educao a partir de indicadores um tema que levanta polmica. Paro (1998) considera que a educao um processo que se prolonga por toda a vida da pessoa e que, portanto, no pode ter sua qualidade avaliada em um dado momento a partir de ndices de reprovao e aprovao ou por avaliaes externas. Para o autor, o produto da escola o aluno educado, e esse produto deve ter especificaes bastante rigorosas quanto qualidade que dele se deve exigir. Concordando com essa afirmao de Paro, argumento sobre a necessidade de que todos aqueles que estejam envolvidos no processo educacional, como dirigentes, professores, pais e alunos, tenham a sua disposio dados a partir dos quais seja possvel estabelecer juzos de valor sobre a qualidade da educao. Sem a existncia desses dados, ficaria prejudicado um acordo mnimo sobre como atuar para aprimorar esse processo, dificultando assim a discusso que venha a contribuir para a formulao de polticas pblicas adequadas. Os indicadores usados mundialmente esto relacionados com a qualidade do processo educacional que medem caractersticas como acesso e fluxo escolar, entre outras e com a qualidade do que foi aprendido pelos alunos, obtidos a partir de uma avaliao externa que mea o desempenho dos alunos em um teste padro, conseguindo assim maiores informaes sobre os processos que ocorrem no interior da escola. No caso da educao bsica brasileira, esses indicadores so adquiridos por meio do Saeb. No Brasil, para obter outros indicadores relacionados qualidade do processo educacional, utiliza-se tambm do Censo da Educao Bsica, que levanta os dados de todas as escolas. A partir dos dados do Censo so construdos 39 indicadores educacionais divididos em: oferta, acesso e participao e eficincia e rendimento (Brasil, 2004). Para alcanar esses dados, primeiramente, o Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep) encaminha um questionrio a todas as escolas para que sejam preenchidos. Para se ter uma ideia da complexidade desse questionrio, o formulrio do Censo 2005 foi composto por 158 itens distribudos em 60 pginas. As escolas fornecem os dados na sua forma bruta, sem nenhum tratamento, fornecendo informaes obtidas a partir de seus registros administrativos. Em cada Estado e no Distrito Federal (DF), a entrega dos formulrios preenchidos pelas escolas centralizada na respectiva secretaria de educao do Estado ou do DF. De posse dos formulrios, as secretarias processam as informaes e encaminham os dados para o Inep, que faz a consolidao, o tratamento das informaes, a checagem e a publicao anual da

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

95

Joo Luiz Horta Neto

Sinopse Estatstica com os resultados obtidos. At a publicao final dos resultados, todo o processo dura cerca de um ano. Est em fase inicial de testes o Censo em tempo real, que pretende coletar as informaes da escola em tempo real. Como os dados do Censo so adquiridos a partir de informaes preenchidas no formulrio enviado s escolas, dando a ele um carter declaratrio, foram observadas que existem algumas discrepncias. Elas se manifestam principalmente quanto ao nmero de alunos matriculados, quando comparados com outros levantamentos feitos pelo Instituto Brasileiro de Geografia e Estatstica (IBGE). Isso foi notado quando, a partir dos anos 1980, foram feitas comparaes entre os dados do Censo e aqueles obtidos pela Pesquisa Nacional por Amostra de Domiclios (Pnad), desenvolvida pelo IBGE. A Pnad uma pesquisa amostral realizada a cada dois anos em todo o Brasil, excluindo-se a rea rural da regio Norte, e realizada por meio de pesquisadores que, munidos de um questionrio, entrevistam diretamente as famlias. O questionrio engloba uma srie de temas, entre eles a educao, sem que nesse caso tenha a profundidade que tem o Censo da Educao Bsica. Por serem coletados diretamente junto s famlias, os dados da Pnad so considerados mais fidedignos que os do Censo da Educao Bsica, principalmente quando se busca acompanhar, por exemplo, taxas de evaso escolar, ingresso por idade e aprovao (Golgher, Rios-Neto, 2005). Os nmeros finais do Censo da Educao Bsica podem ser usados, dentro dos limites que possuem, para definir algumas polticas educacionais. Por exemplo, dados referentes a elevadas taxas de reprovao podem fornecer indicaes de que alguma coisa grave est acontecendo no interior de uma escola, talvez ligado a processos educacionais inadequados. Portanto, indicam uma determinada situao, mas no so capazes de fornecer detalhes, pois no caso do exemplo citado, os dados so claramente insuficientes para se compreender o que est acontecendo naquela escola. Dessa forma, comeamos a perceber que os indicadores, apesar de serem importantes instrumentos para a definio e avaliao de polticas pblicas, apresentam limitaes: eles indicam um fato, mas so incapazes de explicar os porqus desse fato estar ocorrendo. Para entender os porqus, so necessrios estudos mais aprofundados que venham a determinar quais seriam os fatores que estariam sendo responsveis pelo fato indicado. Uma discusso importante, e tambm no consensual, envolvendo a avaliao a identificao das diversas instncias que so responsabilizadas pelos resultados obtidos nela. Segundo alguns, responsabilizar indicar os responsveis pelo sucesso ou fracasso com base nesses resultados; sem dvida, essa uma forma muito limitada de compreender a responsabilizao. Essa questo refletida de maneira diferente por alguns autores. Ristoff (1995, p. 63) acentua o carter tico da avaliao como um valor inerente ao prprio processo, colocando-a a servio de valores

96

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

Avaliao externa de escolas e sistemas: questes presentes no debate sobre o tema

pblicos e dos justos interesses da sociedade: avaliar uma forma de restabelecer compromissos com a sociedade; de repensar objetivos, modos de atuao e resultados; de estudar, propor e implementar mudanas nas instituies e em seus programas; deve-se avaliar para poder planejar, para evoluir. Uma outra forma de compreender a questo considerar a educao como um sistema que funciona com responsveis que prestam contas pela forma como utilizam seus recursos e pelos resultados que obtm. Para esta forma de encarar o resultado da avaliao a pergunta central : quem deve fazer-se responsvel e como? Para Ravela (2005), existe uma lgica que implica numa guerra de todos contra todos, na qual todos se desfazem da sua responsabilidade e a atribuem a outros. O professor responsabiliza o aluno porque ele no estuda, a famlia do aluno porque no o apia e o sistema ou as autoridades porque no do aos professores meios necessrios para desenvolver seu trabalho. A famlia responsabiliza o docente e a escola porque no ensinam ou porque no ensinam como anteriormente. As autoridades, por meio dos sistemas de prestao de contas/responsabilizao pelos resultados, buscam responsabilizar as escolas e os professores e exercer presso sobre eles. As autoridades centrais responsabilizam as autoridades locais e vice-versa. Os polticos, que dirigem o sistema durante um perodo limitado, responsabilizam os funcionrios de carreira, que formam parte do aparato tcnico e burocrtico permanente, e vice-versa. Por esse caminho, os sistemas no avanam nem melhoram. A alternativa seria, segundo o autor, estabelecer uma lgica de colaborao entre os atores. A aprendizagem, para Ravela (2005), no o resultado direto e automtico do que faz o docente. Seu trabalho essencial, mas para que o aluno aprenda necessrio uma acumulao cultural prvia. Depende da sua motivao para aprender, que deve ser construda com a ajuda do professor, mas que tambm est determinada por valores sociais (tem sentido estudar?), pela importncia que a famlia d educao e pelo apoio concreto que ela pode oferecer ao aluno durante seu processo de aprendizagem. Depende tambm do ambiente na sua escola, assim como do ambiente social e cultural em relao educao. Na linha da relao entre avaliao e sociedade, Paro (1998) salienta que todos aqueles envolvidos no processo educacional tm refletido muito pouco sobre a utilidade dos servios que oferecem sociedade, ao mesmo tempo que os prprios usurios e contribuintes no demonstram conscincia sobre o que deve ser exigido da escola. O autor chama ateno para o fato de que a escola pblica tem resistido a responsabilizar-se pelo seu produto, do qual ela deve prestar contas ao Estado e sociedade. Essa responsabilizao pode ser entendida como um dos desafios a ser perseguido, como aponta Souza (1998), na medida em que a avaliao pode ajudar oferecendo elementos para se analisar em que se pode aperfeioar o ensino.

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

97

Joo Luiz Horta Neto

Diante dessas consideraes, responsabilizao da escola no significa que ela deva assumir, sozinha, o nus do processo educacional e que o Estado deva se ausentar de seu papel constitucional de prover os recursos tanto materiais quanto tcnicos para que o processo educacional possa acontecer de forma a garantir o sucesso do aluno. Apesar de no responderem unicamente pelo sucesso dos alunos, o diretor, a equipe pedaggica e os professores que atuam na escola tm um papel importante em todo o processo educacional, e exatamente devido a este papel de destaque que devem prestar contas sociedade, em especial aos alunos e seus familiares, sobre seus atos, assumindo, ao mesmo tempo, responsabilidades sobre o resultado desses atos. Isso no significa que se deva imputar a esses agentes uma culpabilidade sobre os resultados negativos que o processo educacional vem alcanando; mas deve-se buscar formas de colaborao em que juntos agentes, poder pblico e sociedade tenham fruns adequados que lhes permitam discutir esses resultados e encontrar solues que possibilitem superar os problemas encontrados. Entendo como responsabilizao, um processo em que ao mesmo tempo que se identificam as causas e os resultados dos problemas existentes nos processos educacionais, buscam-se alternativas que levem a encontrar solues que possam modificar as situaes problemticas. Assim, prestar contas sociedade do trabalho que est sendo desenvolvido na escola uma das formas de aprimorar a qualidade da educao. A responsabilidade pelos resultados deve envolver o governo federal, os governos regionais, os profissionais que atuam na escola e a comunidade escolar. Os resultados educacionais dos estudantes so o produto de um complexo conjunto de fatores (que inclui o prprio esforo individual do estudante para aprender), e que cada ator tem a responsabilidade de encontrar as melhores formas de aperfeio-los dentro do mbito de suas competncias. Assim, a responsabilidade compartilhada por todos. Outro aspecto importante no processo de responsabilizao a possibilidade de a sociedade ter acesso a documentos que identifiquem os resultados alcanados, comparando-os com os resultados desejados. Ao mesmo tempo, esses documentos devem garantir a possibilidade de construir sries histricas consistentes que permitam a comparao desses resultados ao longo do tempo. Como a escola se encontra integrada a uma poltica educacional, Dalben (2003), reforando a importncia da responsabilizao, afirma que fundamental que os diferentes nveis do sistema educacional (governo, instituies, professores, comunidade escolar) sejam responsabilizados em relao aos resultados obtidos. Ao mesmo tempo, sugere que os professores se debrucem sobre os resultados das avaliaes para tambm exigir a implementao de novas polticas de gesto do sistema.

98

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

Avaliao externa de escolas e sistemas: questes presentes no debate sobre o tema

Uma breve referncia ao percurso da avaliao externa at o Saeb ganhar centralidade na poltica educacional No caso brasileiro, um rduo caminho foi percorrido at que fosse institudo um instrumento de avaliao externo voltado para a educao bsica, com a institucionalizao do Sistema de Avaliao da Educao Bsica (Saeb). Em Horta Neto (2007) so analisados documentos oficiais e legislao federal, traando o caminho que parte das primeiras medies educacionais no incio do sculo 20 at a avaliao educacional ganhar destaque na Lei de Diretrizes e Bases de Educao Nacional (LDB), de 1996, passando a ser parte integrante da Lei 10.172/01 que instituiu o Plano Nacional de Educao (PNE). Esse trabalho indica que apesar de o Saeb ter ganhado centralidade em uma determinada poca, ele no foi um instrumento desenvolvido por um nico governo. O primeiro esboo do que seria o Saeb foi um instrumento desenvolvido nos anos 1980, que tinha por objetivo avaliar os impactos do Programa de Expanso e Melhoria da Educao no Meio Rural do Nordeste (Edurural). Esse Programa desenvolvido pelo Ministrio da Educao (MEC) era voltado para os anos iniciais do ensino fundamental (educao primria, nos termos da poca) da regio rural nordestina, e 35% de seus recursos foram financiados pelo Banco Mundial. O instrumento utilizado foi uma prova para avaliar o desempenho dos alunos que residiam em municpios atendidos pelo Programa, tendo sido contratada pelo MEC a Fundao Carlos Chagas para desenvolver os estudos, elaborar os projetos e implementar essa avaliao. Os dados foram coletados nos anos de 1981, 1983 e 1985, em 60 municpios de trs Estados: Pernambuco, Cear e Piau, em uma amostra de 600 escolas e 6.000 alunos. Com base nessa experincia, o MEC decidiu expandir a avaliao a todo o territrio nacional. Em novembro de 1988, foi feito o teste piloto nos Estados do Paran e do Rio Grande do Norte, com o objetivo de testar os instrumentos e os procedimentos com vistas sua aplicao em nvel nacional no incio de 1989. Em virtude de problemas oramentrios do MEC, a avaliao, chamada de Sistema de Avaliao da Educao Primria (Saep), foi aplicada em agosto de 1990 (Brasil, 1992). Em 1991, ela assumiu seu nome atual, Sistema de Avaliao da Educao Bsica (Saeb). O ciclo seguinte do Saeb, previsto para acontecer em 1992, s foi aplicado no ano seguinte, novamente devido a problemas oramentrios do MEC. A partir de 1993, a avaliao vem ocorrendo a cada dois anos. Em termos mundiais, o desenvolvimento de sistemas nacionais de avaliao, que comeou nos Estados Unidos em fins dos anos 1960, expande-se para a Europa na dcada de 70 e nos anos 80 atinge a sia e a Oceania. Na dcada de 1990, em quase todos os pases da Amrica Latina foram criados sistemas nacionais de avaliao de aprendizagem, com destaque para Cuba, que realizou sua primeira avaliao em 1975. A Tabela 1 apresenta a evoluo da amostra utilizada pelo Saeb, das sries e disciplinas avaliadas no perodo compreendido entre 1990 e 2003.

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

99

Joo Luiz Horta Neto

Tabela 1 Evoluo da amostra utilizada pelo Sistema de Avaliao da Educao Bsica (Saeb) 1990-2003Participantes Escolas Diretores Professores Alunos Sries Ano 1990 (1) 1993 (1) 1995 1997 1999 2001 2003 4.790 2.806 2.839 1.933 6.890 6.935 6.270 3.546 2.294 2.214 2.302 (3) 6.890 6.820 6.000 17.814 7.814 4.971 13.267 53.815 21.754 17.000 108.982 133.114 90.499 167.196 279.764 287.719 275.081 1, 3, 5 e 7 1, 3, 5 e 7 4, 8, 2 e 3 4, 8 e 3 4, 8 e 3 4, 8 e 3 4, 8 e 3 Matemtica Matemtica Matemtica Matemtica Matemtica Matemtica Matemtica Lngua Lngua Lngua Lngua Lngua Lngua Lngua Portuguesa Portuguesa Portuguesa Portuguesa Portuguesa Portuguesa Portuguesa Cincias Cincias Cincias (4) Geografia (2) Redao Histria Cincias (4)

Disciplinas avaliadas

Notas: (1) As provas aplicadas s 1 e 3 sries foram de Lngua Portuguesa e Matemtica, de carter semiobjetivo. Nas 5 e 7 sries, alm delas, foram aplicadas tambm a de Cincias, todas de carter objetivo (Brasil. Inep, 1992, 1995).(2)

A prova de redao foi aplicada somente aos alunos das 5 e 7 sries. Apenas fizeram essa prova aqueles que realizaram tambm a de Lngua Portuguesa (Brasil. Inep, 1992). H dupla contagem de diretores, quando a escola possui duas ou mais sries avaliadas. Na 3 srie do ensino mdio, as disciplinas de Cincias so Biologia, Fsica e Qumica (Brasil. Inep, 2000).

(3) (4)

Para o ciclo de 2005, o Saeb foi modificado, transformando-se em um sistema composto por dois processos de avaliao: a Avaliao Nacional da Educao Bsica (Aneb), que mantm a mesma caracterstica e objetivos do Saeb aplicado at 2003, e a Avaliao Nacional do Rendimento Escolar (Anresc), tambm conhecida como Prova Brasil, destinada a avaliar apenas as escolas pblicas do ensino bsico. Paralelamente aos esforos do governo federal, outras instituies produziram diversas pesquisas na rea. Destacam-se os estudos produzidos pela Universidade Federal do Cear, entre os anos de 1970 e 1980; os estudos produzidos pela Fundao Carlos Chagas, que tambm realizou as pesquisas Avaliao da Jornada nica, em 1992, e a Avaliao do Processo de Inovaes no Ciclo Bsico e seu Impacto sobre a Situao de Ensino/Aprendizagem na Regio Metropolitana de So Paulo, no perodo entre 1992 e 1994 (Vianna, 2005). Instituram-se tambm sistemas de avaliao em diversos Estados, destacando-se: o Programa de Avaliao do Desempenho da Rede Pblica Escolar do Estado de Pernambuco, de 1991; o Programa de Avaliao das Escolas da Rede Estadual de Ensino de Minas Gerais, de 1992, que deu origem ao Sistema Mineiro de Avaliao da Educao Pblica (Simave), existente desde 1999; o Sistema de Avaliao do Rendimento Escolar do Estado de So Paulo (Saresp), iniciado em 1996 e em pleno funcionamento; na Bahia, foi criada uma Agncia de Avaliao reunindo diversos rgos, entre eles a Secretaria Estadual de Educao e a Universidade Federal da Bahia, formando uma agncia externa com o objetivo de conduzir o processo de avaliao; no Cear, em 1992, foi criado um Programa de Avaliao do Rendimento Escolar dos Alunos de 4 e 8 sries, que em 2000 institucionalizou-se como Sistema Permanente de Avaliao Educacional do Cear (Spaece); o Estado do Paran

100

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

Avaliao externa de escolas e sistemas: questes presentes no debate sobre o tema

institui, em 1995, o Programa de Avaliao do Rendimento Escolar do Paran; em Pernambuco, os estudos sobre avaliao que se iniciaram ainda nos anos 1980 levaram a criao, em 2000, do Sistema de Avaliao Educacional de Pernambuco Saepe (Vianna, 2005; Bonamino, Bessa e Franco, 2004). Alm desses, diversos municpios tm procurado desenvolver sistemas de avaliao que seguem o modelo adotado pelo Saeb. Consideraes finais Foram discutidos neste trabalho trs temas que esto afetos avaliao educacional em larga escala, quais sejam: a qualidade educacional, os indicadores utilizados para medir a educao e finalmente a prestao de contas. Melhorar a qualidade do ensino vem sendo um dos maiores objetivos dos sistemas de ensino e dos esforos dos pesquisadores em educao. Contudo, como o termo qualidade tem diferentes significados muito difcil chegar a um consenso sobre qual o seu significado em determinado contexto educativo. Conceituar qualidade no uma tarefa simples nem existem consensos sobre o melhor caminho a seguir. Como um conceito polissmico, primeiramente preciso identificar qual o conceito de qualidade a que estamos nos referindo. No caso da definio e avaliao de polticas pblicas, defendo que a qualidade tenha caractersticas tais que permitam que ela possa ser mensurada, sem que se perca a noo de que essa medida no absoluta e que deve ser relativizada, pois ela depende do contexto em que foi analisada e est intimamente ligada ao objetivo para a qual foi desenvolvida. Nesse sentido, defendo que a avaliao educacional pode ser um instrumento importante para avaliar as polticas educacionais desenvolvidas pelos diversos nveis de governo e os seus resultados devem ser discutidos e utilizados para modificar os aspectos negativos identificados. No caso brasileiro, o Saeb deve ser cada vez mais aprimorado. Uma de suas fraquezas ainda a divulgao de seus resultados. importante desenvolver instrumentos e estratgias que possibilitem que tanto os profissionais da educao como a sociedade em geral possam se apropriar de seus resultados. Para tanto, importante que a linguagem utilizada na sua divulgao seja ntida e que aponte com clareza, inclusive com a apresentao de exemplos, qual o significado das escalas apresentadas e de como seus resultados podem ser utilizados para melhorar a qualidade da educao brasileira.

Referncias bibliogrficas BARRETO, Elba S. S.; A avaliao na educao bsica entre dois modelos. Educao e sociedade, Campinas, v. 22, n. 75, p. 48-66, ago. 2001. Disponvel em: .

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

101

Joo Luiz Horta Neto

BARRETO, Elba S. S. et al. Avaliao na educao bsica nos anos 90, segundo os peridicos acadmicos. Cadernos de Pesquisa, So Paulo, n. 114, p. 49-88, nov. 2001a. BELLONI, Isaura; BELLONI, Jos ngelo. Questes e propostas para uma avaliao institucional formativa. In: FREITAS, Luiz Carlos (Org.), BELLONI, Isaura; SOARES, Jos Francisco. Avaliao de escolas e universidades. Campinas: Komedi, 2003. BONAMINO, Alicia; BESSA, Ncia; FRANCO, Creso (Org.). Avaliao da educao bsica. Rio de Janeiro: Ed. PUC-Rio; So Paulo: Loyola, 2004. BRASIL Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep). Relatrio do Sistema Nacional de Avaliao da Educao Bsica: ciclo 1990. Braslia, 1992. _______. Relatrio do 2 ciclo do Sistema de Avaliao da Educao Bsica: Saeb 1993. Braslia, 1995. _______. Sistema Nacional de Avaliao da Educao Bsica: resultados 99. Braslia, 2000. _______. Dicionrio de indicadores educacionais: frmulas de clculo. Braslia, 2004. CARLEY, Michael. Indicadores sociais: teoria e prtica. Rio de Janeiro: Zahar, 1985. DALBEN, ngela: Das avaliaes exigidas s avaliaes necessrias. In: VILLAS BOAS, Benigna M. F. Avaliao: polticas e prticas. Campinas: Papirus, 2003. DIAS SOBRINHO, Jos. Campo e caminhos da avaliao: a avaliao da educao superior no Brasil. In: FREITAS, L. C. (Org.). Avaliao: construindo o campo e a crtica. Florianpolis: Insular, 2001. _______. Avaliao da educao superior. Petrpolis, Vozes, 2000. _______. Avaliao institucional: instrumento da qualidade educativa. In: BALZAN, Newton; DIAS SOBRINHO, Jos (Orgs.). Avaliao institucional: teoria e experincias. So Paulo: Cortez, 1995. FRANCO, M. L. B. Pressupostos epistemolgicos de avaliao educacional. Cadernos de Pesquisa, So Paulo, n. 74, p. 63-67, 1990. GENTILI, Pablo; SILVA, Tomaz Tadeu da. Neoliberalismo, qualidade total e educao: vises crticas. Petrpolis: Vozes, 1995.

102

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

Avaliao externa de escolas e sistemas: questes presentes no debate sobre o tema

GOLGHER, Andr B.; RIOS-NETO, Eduardo L. G. Uma comparao entre os modelos Profluxo e IPC quando aplicados aos dados do sistema educacional brasileiro. Braslia: Inep, 2005. (Srie Documental, v. 19). HORTA NETO, Joo Luiz. Os desafios do SINAES. Trabalho apresentado no XXII Simpsio Brasileiro de Poltica e Administrao da Educao. Rio de Janeiro, 2005. _______. Um olhar retrospectivo sobre a avaliao externa no Brasil: das primeiras medies em educao at o SAEB de 2005. Revista Iberoamericana de Educacin, Madri, v. 42, n. 5, p. 1-14, abr. 2007. Disponvel em: . LUCKESI, C. Avaliao da aprendizagem escolar: apontamento sobre a pedagogia do exame. Tecnologia Educacional, Rio de Janeiro, v. 20, n. 101, p. 82-86, jul./ago. 1991. _______. Avaliao educacional: pressupostos conceituais. Tecnologia Educacional, Rio de Janeiro, v. 25, n. 130/131, p. 26-29, maio/ago. 1996. _______. Planejamento e avaliao na escola: articulao e necessria determinao ideolgica. Srie Ideias, FDE, So Paulo, n. 15, p. 115-125, 1992. MENDONA, Erasto Fortes. Incluso e sucesso escolar: elementos para formulao de indicadores de qualidade social da educao. Braslia, 2005. [no publicado]. GENRO, Tarso [ministro da Educao]. 2005 ser o ano da educao. [entrevistadora: Paola Gentile]. Nova Escola, So Paulo, n. 180, Seo Fala, mestre!, mar. 2005. PARO, Vitor. A gesto da educao ante as exigncias de qualidade e produtividade da escola pblica. In: SILVA, Luiz (Org.). A escola cidad no contexto da globalizao. Petrpolis: Vozes, 1998. PIRSIG, Robert M. Zen e a arte da manuteno de motocicletas: uma investigao sobre valores. Rio de Janeiro: Paz e Terra, 1984. RAVELA, Pedro. Para comprender las evaluaciones educativas: fichas didacticas. Santiago do Chile: Preal, 2005. RISTOFF, Dilvo. Avaliao institucional: pensando princpios. In: BALZAN, Newton; DIAS SOBRINHO, Jos (Orgs.). Avaliao institucional: teoria e experincias. So Paulo: Cortez, 1995. p. 37-51.

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.

103

Joo Luiz Horta Neto

SAUL, A. M. Avaliao emancipatria: uma abordagem crticotransformadora. Tecnologia Educacional, Rio de Janeiro, v.21, n. 104, p. 24-31, jan./fev. 1992. SCHWARTZMAN, Simon. La calidad de la educacin superior en Amrica Latina. In: SEMINARIO PERMANENTE SOBRE LA CALIDAD, EFICIENCIA Y EQUIDAD DE LA EDUCACIN SUPERIOR COLOMBIANA. 1990, Bogot. Anais do...Bogot: ICFES, 1990. Tomo I, p. 27-60. SOUZA, Clarilza Prado. Descrio de uma trajetria na/da avaliao educacional. Srie Idias, FDE, So Paulo, n. 30, p. 161-174, 1998. TOMASSIA, Cludia V. Avaliao educacional: experincias e metodologias. Texto apresentado no evento Escola de Avaliao, promovido pela Unesco em Braslia, em 2004. [No publicado]. TYLER, Ralph. An interview with Ralph Tyler conducted by Jeri Ridings Nowakowski. Ann Arbor, MI: University of Michigan, 1981. (Occascional Paper Series, n. 13). Disponvel em . Acesso em 19 maio 2009. TURCHI, Maria Lenita. Qualidade total: afinal de que estamos falando? Braslia: IPEA, 1997. (Texto para discusso n. 459). VIANNA, Heraldo Marelim. Fundamentos de um programa de avaliao educacional. Braslia: Lber Livro, 2005. _______. Fundamentos de um programa de avaliao educacional. Estudos em Avaliao Educacional, So Paulo, n. 28, p. 23-37, jul./dez. 2003. ______. Programas de avaliao em larga escala: algumas observaes. Estudos em Avaliao Educacional, So Paulo, n. 23, p. 93-104, jan./ jun. 2001.

Joo Luiz Horta Neto, doutorando em Polticas Pblicas pela Universidade de Braslia (UnB), pesquisador-tecnologista em avaliao e informaes educacionais do Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (Inep), atuando na Coordenao de Instrumentos e Medidas da Diretoria de Avaliao da Educao Bsica. [email protected] Recebido em 2 de setembro de 2009. Aprovado em 15 de dezembro de 2009.

104

R. bras. Est. pedag., Braslia, v. 91, n. 227, p. 84-104, jan./abr. 2010.