Referências: BONAMINO, Alícia Catalano de. Tempos de Avaliação Educacional: O

SAEB seus agentes, referenciais e tendências; Rio de Janeiro, Quartet 2002.

Resumo: O livro Tempos de Avaliação Educacional: O SAEB seus agentes, referenciais e

tendências; analisa a fundo os processos e ferramentas constituintes do principal sistema de

avaliação educacional em larga escala, o Sistema de Avaliação da Educação Básica (SAEB).

O desenvolvimento da obra se dá por meio de pesquisas que demonstram as referências tanto

elas nacionais quanto internacionais para sua construção, destacando o papel de nações como

EUA, Inglaterra e França e de teóricos internacionais como Bourdieu e sua teoria do capital

cultural e de Passeron bem como referências nacionais como a importante presença de Anísio

Teixeira enquanto personagem de influência na produção do INEP e a sua relação com SAEB

e as colocações precisas de Darcy Ribeiro. Mais à frente é posta em cheque a atuação do

Sistema de Avaliação da Educação Básica em função dos seus quatro ciclos desde 1990 a

1997. Além disso são abordadas ainda as relações políticas e metodológicas constituintes do

SAEB e os órgãos terceirizados ou não que contribuíram na sua efetivação. A obra é dívida

em seis capítulos, contendo também uma apresentação e algumas considerações finais. O

conteúdo é distribuído quase sempre de maneira técnica e informativa, porém sem dificultar a

sua compreensão.

Capitulo I: Antecedentes internacionais do SAEB: as primeiras pesquisas de

levantamento e seus desdobramentos políticos e sociológicos

“Foi no contexto da democratização do acesso à escola e do prolongamento da escolaridade

obrigatória que se tornaram evidentes o problema das desigualdades de escolarização entre os

grupos sociais e a necessidade de acompanhar os resultados da expansão dos sistemas

escolares, levando os países industrializados a implementação de uma serie de surveys

educacionais.” (p.22)

“Na Grã-Bretanha, por exemplo, os surveys educacionais foram conduzidos num contexto em

que as abrangentes propostas de proteção social contidas no Beveridge Report, de 1942,

juntamente com a orientação keynesiana da economia, estabeleceram o núcleo duro da

política social.” (p.29)

“Na Franca, também se desenvolveram pesquisas de levantamento que tiveram

desdobramentos sociológicos similares aos da NSE. Do ponto de vista da pesquisa

educacional, o Instituto Nacional de Estudos Demográficos (INED) conduziu, a partir da

década de 60, um dos mais importantes surveys da época.” (32)

“Partindo deste pano de fundo, pode-se afirmar que as referencias mais remotas do SAEB-

foram gestadas no interior de idearios e temporal idades em que politicas e programas de

bem-estar social buscavam corrigir situacoes de desigualdade educacional mais diretamente

associadas a economia de mercado e onde se desenvolveram as referencias sociologicas de

base para o desafio de tentar equacionar, de maneira conjunta, o peso dos fatores sociais e

escolares nas desigualdades de desempenho escolar entre grupos ou classes sociais.” (p.37)

Essa proposta de analise pode ser formulada por meio da seguinte questão: será que o SAEB

pode ser considerado, em alguma medida, herdeiro do legado internacional deixado pelos

surveys produzidos no pós-guerra? Ou será que, pelo contrário, a extensão e revisitação de

algumas ideias centrais das teorias funcionalistas estaria levando esse sistema de avaliação a

se inscrever dentro de preocupações mais pragmáticas e liberais, num contexto como o atual,

onde se exacerba o dilema entre a tradição universalista e a tradição seletiva na orientação das

políticas sociais? (p.37)

Parecer: Num período pós-guerra, as nações desenvolvidas passavam por inúmeras

turbulências sociais, principalmente no que diz respeito a busca por uma educação de

qualidade, novas demandas surgem durante esse período e a desigualdade social passa a

marcar esse processo. No intuito de analisar formas de amenizar essa problemática

pesquisadores do campo sociológico como Bourdieu e Passeron apontam por análises feitas a

partir de surveys (ferramenta avaliativa, questionários) pontos relevantes em função da

temática. Tais fatos acabam por tornarem-se referência para a construção do SAEB.

2 Antecedentes do SAEB no Brasil

“No Brasil, o desenvolvimento de inquéritos, de diagnósticos e de pesquisas sociais e

educacionais ganharam forca, nos anos 50 e 60, no interior do Instituto Nacional de Estudos

Pedagógicos (INEP). Afora a relativa estabilidade com que se desenvolveram os projetos

dentro deste órgão, em geral, as poucas iniciativas desse tipo desencadeadas na década de 60

estiveram marcadas pela descontinuidade e não permitiram que se acumulassem experiências

e conhecimentos mais sistemáticos nesta área.” (p.39)

2.1 Pesquisas de levantamento no Brasil: a preocupação

Internacional e nacional com as desigualdades educacionais

“Embora muitas vezes os estudos tenham ficado restritos aos aspectos quantitativos e

distributivos das escolas de determinado estado e nível escolar e a diagnósticos relativos a

problemas de ensino, elaborados a partir de questionários respondidos por diretores,

professores e supervisores, as relações entre a escola e a realidade local tiveram espaço

considerável nas pesquisas conduzidas nos centros do INEP.” (p.48)

“Em síntese, do ponto de vista da dinâmica institucional, o CBPE caracterizou-se por ter

adotado uma estrutura descentralizada, por meio da criação de centros regionais que

mantinham uma certa autonomia na missão de propiciar um conhecimento o mais completo

possível das condições culturais do Brasil em suas diversas regi.es e a aproximação do

mestre de classe com os educadores e cientistas que trabalhavam nos centros de pesquisa

(Boletim do CBPE, 1956, p. 38, apud Mendonca, 1997).” (p.53)

2.2 Orientações de pesquisa e institucionalidade nos anos 70 e 80

“No início da década de 70 e no âmbito da recém-fundada pós-graduação, a crítica a situação

educacional do pais teve diversas origens e abrigou a influência da sociologia radical

americana (Bowles e Levin, 1968; Bowles e Gintis, 1976) e da sociologia francesa (Bourdieu

e Passeron, 1975), além de uma produção interna diretamente relacionada com os grandes

levantamentos da década de 60.” (p.56)

“No que diz respeito ao peso dos fatores intra-escolares nas desigualdades educacionais, deve-

se considerar a retenção de cerca de 60% dos alunos na primeira série do primeiro grau

observada durante três décadas e que acabou, nos anos 80, por desencadear pesquisas voltadas

para a tentativa de equacionar o modo pelo qual o fracasso era produzido na escola (Mello,

1981; Patto, 1990).” (p.59)

2.3 Os anos 90 no Brasil e o (re)surgimento da avaliação educacional em larga escala

“A partir dos anos 90, o panorama nacional e internacional revela a importância central

atribuída a avaliação educacional, especialmente com relação aos sistemas responsáveis pela

educação básica. Em âmbito nacional, essa importância e atestada pela nova LDB de 1996,

que fixa a obrigatoriedade da avaliação dos diferentes níveis do sistema educacional, e pela

participação do Brasil, a partir de 1998, em projetos de avaliação comparada, como o TIMSS

(IEA), a avaliação da Oficina Regional da UNESCO paia la Educacion en America Latina y

el Caribe (OREALC)e o PISA 2000 (OECD).” (p.61)

2.4 Antecedentes mais próximos da entrada em cena da avaliação de sistemas

educacionais

“No que diz respeito especificamente ao ensino fundamental, duas referências básicas

inspiraram a ideia original de implementar um sistema nacional de avaliação: a proposta para

a ação do governo elaborada pelo Instituto Herbert Levy (1992) e a experiência de avaliação

implementada, a época, pela Secretaria de Educação de Minas Gerais.” (p.64)

“Uma outra fonte de inspiração pode ser encontrada na experiência de avaliação do sistema

educacional mineiro desenvolvida durante a gestão de Walfrido Mares-Guia, Secretario de

Educação do Estado de Minas Gerais, também responsável pela reforma educacional estadual

que contou com a assessoria de técnicos da FCC, do BM e da OIT.” (p.65)

2.5 Sobre como a avaliação e a descentralização se tornaram os eixos estruturadores da

política educacional dos anos 90

“Em conjunto, esse tipo de medidas revela facetas interessantes da lógica da descentralização,

apontando para um novo estágio no movimento de transferência de responsabilidades

acionado verno central. Com efeito, na medida em que a implementação destas politicas

precisa ser mediada por associações de pais e mestres, elas podem ser vistas como parte da

transferência de responsabilidades do nível central para o nível local, num movimento em que

a União não só redefine suas funções e as repassa para os estados e esses para os municípios

mas também projeta essa dinâmica sobre a sociedade, que passa a ver-se envolvida no

acompanhamento, implementação e fiscalização de programas governamentais.” (p.79)

2.6 Sobre o conteúdo e a centralidade da noção de eqüidade na política educacional dos

anos 90

“Desta forma, entre outras justificativas oficiais para a implantação do SAEB, encontra-se a

necessidade de produzir informações para subsidiar analises sobre os impactos das políticas

adotadas, em termos de eficiência e equidade. Na visão da diretora do SAEB (Pestana, 1997,

p. 16), trata-se de “...determinar a equidade na oferta educacional”, por meio da aplicação de

instrumentos contextuais, que visam o levantamento das condições das escolas, em termos de

instalações, equipamentos e materiais disponíveis.” (p.80)

Parecer: Durante esse capítulo, são analisados os referenciais nacionais que constituíram

historicamente o SAEB enquanto sistema de avaliação em larga escala. Tais instrumentos são

analisados sob a ótica das investigações introduzidas e aplicados como surveys pelo INEP,

principalmente em função de sua produção, arquitetada por Anísio Teixeira.

3 O processo de institucionalização do SAEB

“A institucionalização do SAEB e entendida como um processo que, para garantir o

desenvolvimento de uma avaliação de longo alcance e de caráter sistemático, passa a dispor

de instituições, profissionais e recursos financeiros específicos, que lhe permitem contar com

a infraestrutura material e humana em condições de prover os fundamentos conceituais e as

capacidades operacionais necessárias a implementação de uma avaliação da educação básica

de abrangência nacional.” (p.91)

3.1 Participação, legitimação e terceirização: o arranjo institucional do SAEB ao longo

dos quatro primeiros ciclos (1990-1997)

“No arranjo institucional adotado nos dois primeiros ciclos de avaliação, prevaleceu a

perspectiva defendida pelos técnicos do MEC e consolidada pela Comissão Especial

encarregada de cuidar da criação do SAEB, por meio do documento “Políticas públicas de

qualidade educacional; sistema de monitoramento e avaliação” produzido no apagar das

luzes da gestão de Murilo de Avellar Hingel como ministro da Educação do governo Itamar

Franco. Nesse documento, foi proposta uma estrutura para o SAEB distinta da que era

defendida pelo BM e da que viria a ser implantada a partir da mudança de governo, em

janeiro de 1995. (p.97)

3.2 INEP dos tempos de Anísio Teixeira, INEP atual

De fato, a ênfase posta na educação básica, na produção institucional de informações

estatísticas e de avaliações e diagnósticos informados cientificamente, constituem dimensões

em comum entre o INEP de hoje e dos tempos de Anísio. Há, também, uma continuidade no

compromisso de divulgar informações e conhecimentos sobre temas educacionais, como

atesta a linha editorial constituída pela publicação dos periódicos Em Aberto e da Revista

Brasileira de Estudos Pedagógicos, existente desde 1944, além de outros estudos técnicos

voltados para a formulação de políticas educacionais.” (p.110)

Parecer: No capítulo 3 são discutidos o processo de institucionalização o qual o SAEB se

instaura. Durante seu desenvolvimento são apresentados a proposta e o nível de abrangência

que atinge esse sistema. Além disso são discutidos também os processos de legitimação e

terceirização (destacando o papel de empresas coligadas como a CESGRANRIO). Por fim são

analisados comparativamente o período de efetivação do INEP sob a regência de Anísio

Teixeira e durante a contemporaneidade.

4 Os instrumentos do SAEB (1988-1993)

“O método adotado busca interpretar o significado das avaliações do SAEB nos quatro

primeiros ciclos, por meio de sucessivas linhas de observação que envolvem um conjunto de

relações. Inicialmente, são focalizadas as relações que se estabeleceram no interior do arranjo

instrumental do sistema entre, de um lado, os referenciais curriculares e os instrumentos

cognitivos (provas e testes). E de outros instrumentos contextuais (questionários do professor,

diretor, escola e aluno)” (p.120)

4.1 Notas metodológicas sobre o trabalho de pesquisa

“Na escolha dos sujeitos que, na condição de representantes das diferentes categorias de

agentes, comporiam a população de base a ser entrevistada, levaram-se em conta as noções de

grupo e representação elaboradas por Bourdieu. Para Bourdieu, um determinado grupo social

existe porque seus membros partilham disposições semelhantes, produzidas na

homogeneidade (parcial) de condições sociais de vida familiar, escolar, profissional.” (p.121)

4.2 A natureza dos instrumentos cognitivos e contextuais nos dois primeiros ciclos de

avaliação

4.2.1 O 1º ciclo do Sistema de Avaliação do Ensino Básico (1990)

“Neste ciclo, buscou-se calcar as referências das provas dos alunos no currículo efetivamente

adotado pelo sistema e executado no dia-a-dia das atividades escolares. A importância

conferida aos saberes, pressupostos e valores subjacentes a cultura escolar, traduzida na

adoção de uma diretriz indutiva para a construção do referencial das provas revela o papel que

desempenhou o capital pedagógico, ou seja, esse “...conjunto de conhecimentos sobre

processos de ensinar e de aprender incorporado* no itinerário percorrido sob a forma de

habitus e de habilidades, de saber fazer e de saber ser” (Lelis, 1997, p. 153).” (p.128)

4.2.2 O 2º ciclo do Sistema Nacional de Avaliação da Educação Básica (SAEB-1993)

De acordo com o relatório consultado, vinte e quatro das vinte e sete unidades federadas

participaram do 2º ciclo de avaliação. Neste novo exercício, embora tenham sido avaliadas as

mesmas series e disciplinas e examinados os três aspectos abordado* em 1990: gestão

escolar, situação e competência do professor e rendimento do aluno, os questionários

utilizados foram reformulados com a mediação de novas categorias de agentes. (p.129)

4.2.2.7 As orientações do INEP e as referências utilizadas na elaboração das provas nas

áreas de Ciências e Português

“A introdução da noção de habitas e consistente com a intenção de traçar uma configuração

mais nítida para as referências que, de fato, foram utilizadas pelos acadêmicos durante a

elaboração das provas em suas áreas especificas. Essa noção permite dar conta do papel

desempenhado pela presença ativa de experiências passadas na constância e na conformidade

das práticas dos sujeitos entrevistados em espaços sociais tão diferenciados como a vida

acadêmica ou o campo da avaliação (Bourdieu, 1994).” (p.134)

4.2.2.2 As relações entre a equipe do SAEB no INEP e os acadêmicos

“Com relação a esse tema, as entrevistas deixaram claro que cada uma das categorias de

agentes que participaram da elaboração das provas para o SAEB-93, equipe do INEP,

consultores adhoc, acadêmicos, tinha um contexto de referência particular e se posicionava

desigualmente dentro do campo da avaliação, demarcando espaços de poder que estreitavam

as possibilidades de negociação das decisões com relação a definição das provas.” (p.136)

4.3 Um balanço do significado dos dois primeiros ciclos de avaliação

A literatura atual sobre descentralização lança mão, em geral, de duas teses recorrentes. Por

um lado, defende-se a inferioridade dos custos dos investimentos municipais em educação

com relação aos estaduais. Por outro, sustenta-se que a municipalização e capaz de propiciar a

expressão dos interesses populares em nível local, além de permitir a fiscalização, execução e

administração democrática dos empreendimentos educacionais. (p.140)

Parecer: No quarto capítulo são ponderadas algumas considerações acerca da aplicabilidade

do SAEB em função dos quatro ciclos de avaliação (1990 -1997). Durante esse capítulo são

abordadas com frequência a teoria social do capital cultural composta por Bourdieu.

5 Os instrumentos do SAEB nos ciclos de 1995 e 1997

5.1 O 3° ciclo do Sistema Nacional de Avaliação da Educação Básica (SAEB-1995)

“São três os aspectos que caracterizam as transformações Introduzidas nos instrumentos

cognitivos do SAEB a partir de 1995 (i) as series e disciplinas avaliadas, (ii) a utilização de

uma nova metodologia de testes baseada na Teoria da Resposta ao Item (TRE) e (iii) a ênfase

nos conhecimentos e nas habilidades cognitivas.” (p.147)

5.1.1 Sobre as referências utilizadas na elaboração das provas nas áreas de Matemática e

Português

“No que diz respeito a construção do que viria a ser a Matriz Referencial de Conteúdos e

Habilidades de Língua Portuguesa e Matemática utilizada no SAEB-95, a entrevista com a

professora Nilma Fontaine revelou que, originalmente, a fonte de inspiração esteve

constituída pelo modelo norte-americano de avaliação de progresso educacional (NAEP).”

(p.151)

5.1.1.1 Um balanço do significado do terceiro ciclo de avaliação

“Apesar do SAEB-95 ter realizado um avanço positivo ao voltar sua atenção para os fatores

externos que influenciam o desempenho escolar, esse ciclo de avaliação também manteve

continuidades consideráveis com relação aos exercícios anteriores. O SAEB-95 continuou a

valorizar os processos internos da escola sobre os resultados dos alunos, fazendo com que a

“matriz organizacional da escola”, definida nos documentos oficiais como os “modos, limites

e possibilidades de transformação dos recursos curriculares, materiais e humanos em

resultados pedagógicos concretos”, passasse a somar-se aos visados pelos instrumentos

cognitivos os ciclos anteriores e a ser considerada determinante nos resultados pedagógicos

obtidos (Guimaraes de Castro, 1999, p. 84 ).” (p.153)

5.2 O 4° ciclo do Sistema Nacional de Avaliação da Educação Básica (SAEB-1997)

“Desse modo, uma das inovações mais significativas do instrumental do SAEB-97 diz

respeito a introdução das noções de competências cognitivas e de habilidades instrumentais,

que passam a nortear a elaboração das provas e tendem a substituir outros conceitos e

referencias, como os de conhecimentos e conteúdos escolares, que prevaleceram nos ciclos

anteriores de avaliação.” (p.157 )

5.2.1 A construção das referências curriculares e dos instrumentos cognitivos do SAEB-97:

continuidades e rupturas

“Se com maior ênfase nos ciclos de 1990 e de 1993, mus Iam bem em 1995, as referências

curriculares foram elaboradas em função de conteúdos escolares que se acreditava que os

alunos dominavam em cada serie e disciplina avaliada, a partir de 97 percebe-se uma maior

preocupação dos agentes encarregados da elaboração das MCR com as competências

cognitivas e habilidades instrumentais dos alunos, que tem impacto significativo sobre o

sistema de avaliação.” (p.159)

5.2.2 Um balanço do significado do 4º ciclo de avaliação

“As razoes para a aceitação e o consenso que esse modelo vem encontrando no campo da

avaliação parecem estar mais próximas da explicação que Perrenoud elabora para justificar a

presença de uma abordagem por competências no sistema de ensino francês na perspectiva de

Perrenoud (1999), essa presença e tida como uma nova forma de a escola tentar enfrentar uma

velha tensão e uma antiga polemica: aquela que opõe os defensores de um ensino

desinteressado e baseado na cultura geral e os partidários de um ensino com finalidades

práticas e utilitárias.” (p.171)

Parecer: No último capítulo são abordados alguns desdobramentos e balanços relacionados a

importância dos dados captados por intermédio do SAEB. Além disso são considerados

alguns referências responsáveis por sua efetivação periódica avaliada através dos ciclos.

Considerações finais

“Do ponto de vista da política educacional, a centralização no INEP da política de avaliação

da educação básica e a terceirização Junto a fundações de natureza privada de atividades

técnicas e Operacionais do SAEB tem implicado um menor envolvimento das redes públicas

de educação básica no planejamento e produção do SAEB, que dificulta a possibilidade de

utilização local das informações levantadas pelo sistema.” (p.179)

“O significado das competências para avaliação e para os sistemas de ensino precisa ser

apurado não apenas porque ainda pouco se sabe sobre seus impactos na política educacional

mas porque a noção de competências e invocada de diversas formas, em políticas

diferenciadas e por agentes distintos, dificultando uma definição mais conclusiva. Estudos

sociológicos nacionais e internacionais vem mostrando que está e uma noção adscrita aos

mundos do trabalho, da formação profissional e da escola.” (p.181)

“Pelo que foi possível apurar durante a pesquisa, o desenho do SAEB não tem propiciado a

entrada em vigor do tipo de relação avaliação-escola apontada por Perrenoud ou da lei de

comportamento da aprendizagem dos alunos formulada por Laurillard, para os quais a forma

mais rápida de mudar a aprendizagem escolar e mudar a avaliação. O que sim pode ser

afirmado sobre essa questão e que a lei que há tempos vigora na escola brasileira de ensino

fundamental continua a estar pautada no livro didático, atualmente, sem dúvida, a maior

alavanca e o mais importante fiador dos PCN.” (p.185)

Considerações finais: Mesmo se tratando de um importante e sistemático programa de

avaliação em larga escala, é preciso levar em conta que a apuração de seus dados não traduz

significados 100% precisos, já que existem casos em diversas localidades que manipulam de

forma inescrupulosa os seus dados para maquiar uma má administração escolar ou até mesmo

algumas dificuldades naturais da região. No entanto isso não redimiria a importância dessa

ferramenta, já que para a solução de qualquer problema referente a esfera educacional, ou até

mesmo política e social, primeiramente é preciso realizar um levantamento acerca desse

determinado assunto. Por sua vez a dificuldade da efetivação desse levantamento está atrelada

a demanda que lhe é sugerida, o que faz do SAEB um sistema complexo e repleto de

implicações subjetivas. O livro apresenta uma linguagem técnica, porém não descarta a

possibilidade de salientar reflexões importantes acerca do cenário educacional, o que o torna

uma obra importante para todo e qualquer profissional da educação.