avaliação educacional

20 AVALIAÇÃO EDUCACIONAL

AVALIAÇÃO EDUCACIONAL

O tema da avaliação educacional não se apresenta como uma novidade propria-mente dita, sobretudo nos dias atuais. Entretanto, façamos um exercício inicial, na ten-

Uma rápida consulta ao dicionário é suficiente para conhecermos algumas de-

O conhecimento de significados, conceitos e terminologias pode ser um bom começo para explorar um determinado terreno. No entanto, o ponto aqui não é apenas preci-sar definições, mas também mobilizar os elementos que já conhecemos, com os quais lidamos boa parte do nosso tempo no trabalho em nossas escolas, e assim produzir

-

da natureza humana atos como os de julgar, mensurar e observar. Desde o surgimento da instituição escolar, a ideia de verificar a aprendizagem dos alunos sempre existiu. Na verdade, não existe processo educacional formal sem avaliação, ou seja, a avaliação sempre fez parte da atividade de ensino e aprendizagem, que não pode ser entendida

nosso mundo contemporâneo, ela adquire uma feição cada vez mais precisa, produzin-do informações também cada vez mais valiosas para as nossas práticas escolares.

Procuremos imaginar a escola de tempos atrás no Brasil. Sabemos que, quando -

cela restrita da população. Tratava-se, portanto, de uma educação voltada para a elite, e seus resultados, como era de se esperar, mostravam uma grande homogeneidade no

-grado tardiamente ao final do século passado no Brasil, o ingresso de diferentes seg-mentos sociais conferiu à escola um caráter bastante diversificado e complexo. Muitos

-

Seção II

21AVALIAÇÃO CONTINUADA

nho educacional e classe social, desempenho e origem (rural/urbana) dos estudantes, mesmo em circunstâncias de alto desenvolvimento social, como na Europa. Apesar dessas conclusões iniciais, as análises voltadas, especificamente, para a identificação dos processos de aprendizagem, do “como” e do “por que” uns aprendiam mais que outros, ainda eram incipientes e carregadas de julgamentos subjetivos.

A heterogeneidade do universo a ser escolarizado e a necessidade de propiciar a todos uma educação de qualidade geraram uma série de pesquisas e investigações destinadas a iluminar as condições de ensino nessas circunstâncias de democratização do acesso à escola. É dentro desse esforço de compreensão da educação para muitos – e não mais para uma pequena elite – que podemos entender o aparecimento e a dis-seminação, na segunda metade do século passado, de estudos mais rigorosos sobre a avaliação escolar. Ou seja, sobre o que, como e para que avaliar.

--

outra externa (avaliação do desempenho escolar em larga escala, de natureza sistêmi-ca, realizada por agente externo à escola).

A seguir, vejamos em que consiste a avaliação interna da aprendizagem.

1. AVALIAÇÃO DA APRENDIZAGEM

A avaliação interna, ou avaliação da aprendizagem, busca a obtenção de infor-mações fidedignas sobre o trabalho realizado com os alunos nas diferentes áreas do conhecimento. Nesse caso, tal como aponta Jacques Grégoire (2000), mais impor-tante que identificar o sucesso ou fracasso é entender o que subjaz aos desempenhos

-

pelo professor e pela escola, como uma aliada tanto da evolução de cada aluno, como da consecução das metas de eficácia e qualidade fixadas pela unidade escolar ou pelos sistemas educacionais de cada país.

Uma avaliação que emerja de uma prática e que desempenhe uma função que vai além da constatação de resultados não pode ser uma avaliação facilitadora, daque-


las que mascaram a realidade, e muito menos uma avaliação que apenas classifica e reprova. Ela deve ser o resultado de uma análise crítica, permanente, da prática peda-

o ponto de partida para a tomada de decisões voltadas para o aperfeiçoamento dessa prática (AZZI, 2001).

Ela é, portanto, um importante instrumento de significativas possibilidades prá--

rantir um retorno permanente ao professor do que e em que medida o aluno está apren-dendo. Esse feedback não serviria somente para avaliar o aluno, seu conhecimento, mas também toda uma proposta de escola, contribuindo, assim, para validar

-co, a cada momento em que isso

Diagnóstica, Formativa e Somativa.

A avaliação diagnóstica tem como função básica informar sobre o contexto em

possui determinadas habilidades básicas, tidas como pré-requisitos para a nova apren-dizagem (compreensão em leitura, habilidades de cálculo, etc.); determinar que obje-tivos de um curso já foram dominados pelo aluno; classificar e agrupar alunos confor-me suas características; encaminhar alunos a estratégias e programas alternativos de

repetidos fracassos de aprendizagem.

A avaliação formativa indica os avanços e as dificuldades que aparecem ao longo do processo. Podemos considerar como formativa toda prática de avaliação contínua que pretenda contribuir para melhorar as aprendizagens em curso, qualquer que seja o quadro e qualquer que seja a extensão concreta da diferenciação do ensino (PER-


importantes e retorna ao aluno o que foi ou não aprendido. Esse “feedback”, também oferecido ao professor, é fundamental para a identificação, tanto das falhas dos alunos

dos conteúdos, capacidade de envolvimento dos alunos, etc. A avaliação formativa tem como princípios o atendimento às diferenças individuais dos alunos e a prescri-ção de medidas alternativas de recuperação das falhas de aprendizagem. Quando bem utilizada e explorada, a avaliação pode ser transformada em fonte de motivação para os alunos, mostrando o que ele atingiu e o que pode atingir, em termos de domínio de conteúdos em cada etapa da instrução.

A avaliação somativa ocorre ao final da instrução, com a finalidade de verificar o que o aluno efetivamente aprendeu. Inclui, por isso, os conteúdos mais relevantes e os objetivos mais amplos do período de instrução. Além disso, visa à atribuição de notas e certificados para aqueles que concluíram determinado período escolar. Serve, com re-lação a cursos subsequentes, para determinar o ponto de partida do ensino e para esti-mar o desempenho do aluno. Fornece também “feedback” ao aluno (informa-o quanto ao nível de aprendizagem alcançado), ao mesmo tempo em que presta-se à compara-ção de resultados obtidos com diferentes alunos, métodos e materiais de ensino.

2. AVALIAÇÃO DO DESEMPENHO ESCOLAR

Todos esses tipos de avaliação mencionados anteriormente acompanham a es-cola desde a sua emergência no mundo moderno, com maior ou menor sofisticação e precisão. Também usuais são as avaliações feitas por sistemas de inspeção escolar. Nesse caso, averiguam-se as condições de funcionamento das escolas, se os professo-res cumprem suas obrigações funcionais, se os currículos ministrados são adequados, ou seja, avaliam-se insumos e processos.

A esses procedimentos tradicionais de avaliação educacional somam-se, no perí--

mente realizadas em larga escala. Nessas avaliações, utilizam-se instrumentos (em ge-ral, testes de proficiência, provas, questionários) produzidos e aplicados por pessoas de fora da escola ou das turmas submetidas a esses exames. Tais avaliações, normalmente, são aplicadas de forma padronizada em todos ou em um grande número de estudantes, abrangendo diferentes alunos, turmas e escolas.


2.1. Os Principais Objetivos das Avaliações Externas em Larga Escala

As avaliações externas em larga escala podem assumir diferentes formas, em

◆ Autoavaliação -soas, em uma situação homogênea, possam proceder à sua autoavaliação com vistas a escolhas futuras, tanto em relação ao mercado de trabalho, quanto em relação à continuidade dos estudos. Nesse caso, trata-se de um instrumento que permite a comparação de cada um com seus pares e iguais, ou seja, com aqueles que encontram-se na mesma situação. A autoavaliação não se dá pela referência

competências construído por uma população com alto grau de homogeneidade. O Exame Nacional do Ensino Médio – ENEM – constitui exemplo de avaliação com esses objetivos.

◆ Certificação -sempenho ter um reconhecimento formal das habilidades e competências que demonstraram possuir. Em alguns casos, o resultado dessa avaliação autoriza que uma pessoa venha a ser reconhecida como detentora de um determinado nível de estudos (conclusão do Ensino Fundamental, Médio ou Superior) ou da compe-tência para o exercício de alguma atividade profissional.

◆ Credenciamento -lecionar, tais como os exames praticados nos concursos públicos e nos vestibula-res. Tais avaliações ordenam os indivíduos pelo domínio de determinados conhe-cimentos, habilidades ou competências, habilitando os melhores à passagem para níveis superiores de ensino ou ao exercício de determinada atividade profissional. Trata-se, portanto, de uma avaliação que hierarquiza e ordena, para que os que estão no topo possam ocupar posições escassas ou reguladas, na universidade ou no mercado de trabalho.

◆ Diagnóstico

-


mações aos gestores, diretores e professores sobre o desempenho dos alunos, das escolas e dos sistemas de ensino, assim como avaliar políticas e práticas educacio-nais, de modo a se compararem os resultados com os objetivos estabelecidos ou

um conjunto variável de procedimentos, de modo que os objetivos possam ser de fato alcançados.

◆ Rendição de Contasoutro objetivo, que é a rendição de contas. Nesse caso, os resultados das avalia-ções são amplamente divulgados, para que a sociedade deles tome conhecimen-to e possa participar ativamente na melhoria dos processos em avaliação. Desse modo, os resultados deixam de ser tratados apenas por especialistas, fornecendo informações objetivas e claras para um produtivo debate dentro da sociedade, a respeito de seus programas e objetivos.

2.2. Formas de Avaliação Diagnóstica de Programas Educacionais e as Avaliações Externas em Larga Escala

Quando se procura averiguar como está funcionando determinado programa

com o foco em sistemas de ensino.

Avaliações Formativas

As avaliações formativas têm como objetivo inferir a probabilidade que deter-minado programa possui de atingir os objetivos propostos. Elas buscam a avaliação do

-prio programa. Normalmente, estão relacionadas à decisão de desenvolver o programa ou promover modificações e revisões ao longo de sua implementação. Essas avaliações têm origem nos tradicionais sistemas de inspeção anteriormente citados.

No caso da avaliação dos programas educacionais, o chamado “julgamento das condições de oferta” pode ser visto como exemplar de uma avaliação formativa. Nes-sa avaliação, levantam-se informações de várias maneiras (questionários, visitas in loco, entrevistas, grupos focais) sobre diferentes aspectos dos programas (ou dos sistemas de ensino ou das escolas), como, por exemplo, os planos institucionais, os projetos político-


as condições de trabalho dos professores e dos demais técnicos envolvidos, a situação da infraestrutura das instituições.

Geralmente, esse processo é conduzido por uma co-missão de especialistas, que busca prever os resultados futuros de tais sistemas por meio de algum mo-delo construído com base em experiências passadas e que levem em consideração os mesmos elementos de oferta acima descri-

nada mais é do que a previsão de quais devem ser os “resultados” esperados dos participantes daquele sistema, dadas as condições em que ele funciona frente a um modelo que seria considerado ideal.

Avaliações Somativas

As avaliações somativas têm como objetivo verificar se determinado programa

atingiu ou vem atingindo os objetivos propostos. São avaliações que buscam aferir di-

retamente os resultados dos programas. Podemos identificar alguns exemplos de ins-

◆ Análise de impacto de um programa – por exemplo, por meio de uma pesquisa

sobre as condições socioeconômicas de participantes e não-participantes de um

programa, é possível estabelecer alguns padrões de empregabilidade, renda, con-

dições de saúde etc.

◆ Análise de satisfação – questionários, entrevistas e grupos focais, aplicados e or-

ganizados ao fim de um programa, podem aferir diretamente a opinião dos egres-

sos a respeito da eficácia e da validade dos trabalhos a que foram submetidos.

◆ Análise de aprendizagem – por meio da aplicação de testes de conteúdos específi-

cos, verifica-se o desempenho de alunos em processos de ensino e aprendizagem.

É nesse último grupo que se encontram as principais avaliações externas em lar-

ga escala. Essa modalidade de avaliação prosperou em todo o mundo a partir dos anos


Avaliação da Educação Básica).

Nessas avaliações em larga escala, que se valem de testes padronizados, um dos pontos fundamentais é a definição das habilidades, competências ou tipo de conheci-mento que se deseja transmitir à população selecionada. A definição desses conteúdos constitui as chamadas matrizes de referência dos testes, ou seja, aquilo que cai na pro-va. Essas matrizes são elaboradas por especialistas, que levam em conta os conteúdos que os alunos deveriam aprender por série e por idade. Em outros termos, as matrizes devem ser o resultado do trabalho de um grupo multidisciplinar de especialistas, aten-tos tanto à idade dos alunos, quanto aos conteúdos a serem dominados por eles, ao longo do processo escolar.

Os resultados das avaliações em larga escala devem preencher os requisitos de va-

rígidos na elaboração dos testes e de monitoramento dos dados devem ser utilizados.

se propõe, em termos de habilidades dos alunos em determinadas áreas do conheci-mento? A resposta a essa questão se refere ao grau de validade do teste. Nesse caso, os itens do teste devem ser cuidadosamente pré-testados e analisados pedagogicamente por especialistas, para determinar se, de fato, cada item está referido ao conjunto de conceitos ou habilidades previsto na matriz de referência.

Um outro aspecto refere-se à confiabilidade ou à fidedignidade dos dados obti-dos. Como saber se um teste é confiável? Em que medida os resultados obtidos apre-sentam nível adequado de estabilidade? Isso pode ser verificado de duas formas. Po-demos, por um lado, relacionar o comportamento do aluno num determinado item com o resultado geral do teste. Ou seja, podemos relacionar o acerto em um item com

-so. Por outro lado, é necessário também verificar se testes parcialmente diferentes, e que tenham o mesmo objetivo, são capazes de produzir a mesma medida, garantindo a comparabilidade. Para isso, são realizados procedimentos estatísticos variados, que buscam relacionar cadernos de testes diferentes, ou mesmo avaliações realizadas em períodos diferentes, por meio da inclusão de itens comuns aos diversos processos. O importante, aqui, é compreender que as matrizes de referência, os itens e os testes


devem ser cuidadosamente construídos e analisados, sempre buscando o maior grau possível de coerência naquilo que é avaliado. Preenchidos os requisitos de validade e confiabilidade, pode-se concluir que o teste estará medindo as habilidades realmente desenvolvidas pelos alunos nas diferentes áreas de conhecimento avaliadas, permitin-do o cotejo com aquilo que é esperado pela matriz de referência.

Para que a avaliação possa transformar-se numa perspectiva produtiva para pro-fessores, diretores e gestores, ela deve conter tanto as informações relativas aos resul-tados obtidos pelos alunos nos testes padronizados, quanto os dados denominados de “fatores associados” a esses resultados. Sabemos que a escola é uma organização

-prias condições socioculturais dos alunos, o modo de organização administrativa e

e os equipamentos e, fundamentalmente, os professores e a equipe de direção. Por isso, as avaliações em larga escala se fazem acompanhar de outros instrumentos (em geral, questionários dirigidos a alunos, professores, diretores, pais, etc.), destinados a capturar a presença e a importância de fatores associados ao aprendizado. Assim, as avaliações podem ser utilizadas tanto para a comparação dos resultados dos alunos de uma escola ou turma com outras, como para a análise desses fatores associados ao ensino, aumentando nosso grau de compreensão dos diversos níveis de habilidade e competências demonstrados por alunos de diferentes turmas e escolas.

Os principais programas de avaliação em larga escala do Brasil aplicam o mesmo teste a um grande número de alunos das mesmas séries, em diferentes períodos. Ou seja, em cada ano de avaliação, um grupo diferente de alunos é submetido aos testes. Métodos estatísticos de equalização garantem a comparabilidade ao longo do tempo. Dessa forma, é possível aferir o progresso no rendimento dos alunos de determinada série em nível nacional, estadual e mesmo por unidade escolar. Essas avaliações são chamadas “fotográficas”, pois retratam uma realidade em determinados momentos, como, por exemplo, de dois em dois anos, como fazem o SAEB e a Prova Brasil. Os re-sultados dessas avaliações não podem, porém, ser utilizados como medidas de apren-

ao longo de um período de tempo. As avaliações que acompanham um mesmo grupo de alunos ao longo de vários anos são denominadas avaliações longitudinais.


No que se refere à abrangência, as avaliações podem ser amostrais ou censitá-rias. Muitos aspectos da avaliação de programas educacionais podem ser atingidos por meio de exercícios de avaliação de base amostral. Nesse tipo de avaliação, define-se, claramente, a população de interesse da avaliação, mas testa-se apenas uma amostra – uma parte – relativamente pequena dessa população. Essa parte menor deve ser re-presentativa do conjunto a ser investigado, gerando informações que podem ser gene-ralizadas para o conjunto maior. É mais ou menos como as pesquisas de opinião que apresentam a intenção de voto da população nos candidatos à presidente da Repúbli-ca, embora apenas uma parte dos brasileiros tenha sido entrevistada.

Existem, no entanto, aspectos que não podem ser tratados no âmbito de ava-liações de base amostral e limites que não podem ser superados, como os resultados para cada município e para cada unidade escolar. Em outros termos, uma avaliação de

não pode ser utilizada para determinar a posição de cada município e de cada escola. A amostra não autoriza essa particularização dos resultados.

Uma avaliação censitária significa a investigação de todas as escolas, e não apenas de uma parte delas, como na avaliação amostral. Façamos uma comparação para um

-

visitadas e investigadas, tratando-se, portanto, de uma pesquisa censitária. Isso significa que todos os brasileiros, de algum modo, foram objetos de investigação. Um programa de avaliação educacional censitária tem como objetivo avaliar todas as escolas e alunos de uma série escolar, ou mais de uma série, em uma ou em todas as redes existentes.

No tocante aos resultados, os testes podem ser referentes à norma ou a critérios. As avaliações em larga escala, comumente, resultam em medidas referentes à norma, uma vez que são empregadas para se comparar o desempenho de um indivíduo com o desempenho de outros na mesma escala. Um teste referente à norma, necessariamente, produz variabilidade de resultados e avalia um leque amplo de habilidades. Não são adequados, portanto, para medir o domínio de um determinado aluno em habilidades específicas. Para isso, são mais apropriados os testes referentes ao critério cujos resulta-dos medem a situação de um indivíduo em relação ao domínio de uma habilidade bem

-


rificar se o aluno domina ou não determinada habilidade, tal como resolver problemas envolvendo multiplicação. O professor, nesse caso, não está buscando variabilidade de resultados e nem comparar um aluno com outros. Afinal, seu objetivo é que todos do-minem a habilidade em tela. Nesse sentido, existe um critério para se dizer se o aluno domina ou não determinado conteúdo. São avaliações criteriais.

Os resultados das avaliações podem estar atrelados a sistemas de incentivos e/ou punições. Quando os resultados são apenas divulgados, incluem-se num sistema de prestação de contas leve, uma vez que a pressão sobre os atores responsáveis pela qualidade dos programas se dá unicamente pela divulgação dos resultados. Por outro lado, os sistemas de rendição de contas duros são aqueles que vinculam os resultados a modos complexos de premiação ou punição dos responsáveis pelo programa. Em outros termos, a avaliação é acompanhada de “decisões duras”.

2.3. As Avaliações em Larga Escala Promovidas pelo Governo Federal no Brasil

Nas últimas três décadas, o Governo Federal, os governos estaduais e munici-pais e mesmo entidades privadas promoveram um grande crescimento do número de avaliações externas. O Brasil também se vale de algumas avaliações internacionais, no

-ração com outros países. A participação do Brasil em avaliações educacionais interna-cionais, como o PISA (no âmbito da OCDE) e o PERCE (na UNESCO), reforçaram tecnicamente as equipes nacionais para a realização e entendimento dessas avaliações educacionais externas em larga escala. O Brasil foi o único país não membro da OCDE

Vamos, aqui, destacar algumas dessas avaliações feitas pelo Governo Federal, que envolvem a educação básica no Brasil.

O ENEM (Exame Nacional do Ensino Médio)

e voluntário, para avaliar os alunos em vias de concluir, ou que já tenham concluído, o Ensino Médio. Ou seja, é uma avaliação somativa e relativa a normas, ocorrendo ao final de uma etapa de aprendizado e permitindo a comparação de cada um que a ela se submete com os resultados dos demais participantes. O ENEM cumpre vários objeti-vos, lembrando aqueles que já mencionamos anteriormente.


Em primeiro lugar, é um teste que provê a cada participante a oportunidade de uma autoavaliação, tendo em vista a possibilidade da comparação com os escores ob-tidos pelos demais participantes. Dessa maneira, oferece a todos os participantes uma série de elementos para a tomada de decisões a respeito de sua vida, como a da con-tinuidade dos estudos, a procura de uma colocação no mercado de trabalho, e assim por diante.

valer dos resultados do ENEM como critério, parcial ou exclusivo, de seleção para in-gresso nos seus cursos. Nessas circunstâncias, o ENEM é empregado para os objetivos de certificação e credenciamento. Em seu segundo ano, o ENEM passou a ser utilizado como modalidade alternativa, de modo integral ou parcial, para o ingresso em 61 Insti-tuições de Ensino Superior, incluindo algumas universidades de elevado prestígio aca-

-

o MEC propôs ao conjunto das universidades federais que o ENEM substituísse, no todo ou em parte, os tradicionais vestibulares para a seleção de seus estudantes.

Na mesma direção, o MEC reforçou esses objetivos, ao vincular o ENEM ao Programa Universidade para Todos – ProUni. Criado pelo Governo Federal em 2004, o ProUni tem como finalidade a concessão de bolsas de estudos, integrais e parciais, a estudantes de cursos de graduação, ou sequenciais de formação específica, em ins-tituições privadas de educação superior. Em contrapartida, as instituições que aco-lhessem os bolsistas seriam contempladas com a redução de impostos. Em 2005, o MEC passou a se valer da pontuação obtida no ENEM para a concessão dessas bolsas integrais ou parciais a estudantes que desejavam a continuidade de seus estudos no terceiro grau. A atribuição crescente desses objetivos de certificação e credenciamen-to, para as universidades e o ProUni, fez com que o número de participantes crescesse

participar da avaliação com os objetivos de certificação e credenciamento, seja junto às universidades ou ao ProUni.

A adesão maciça dos concluintes do Ensino Médio ao ENEM fez com que ele

inovação foi introduzida, em 2005, no que diz respeito aos resultados do ENEM e para


matriz do exame – e o não enfrentamento de problemas de motivação do ENEM co-muns às outras avaliações em larga escala –, seus resultados, além das médias nacio-nais, passaram a ser divulgados por Estado, sistema de ensino e por escola, tomando-se apenas os resultados dos concluintes do Ensino Médio que realizam cada edição do

a situação de uma escola. Para corrigir esse possível problema, foram estabelecidos critérios de mínimos de participação para a divulgação por escola e criado um corretor de participação, que propicia a representação da nota média da escola, caso todos os alunos matriculados na série final do Ensino Médio tivessem realizado o exame.

Assim também, desde 2005, o ENEM passou a contribuir para o estabelecimen-

de rendição de contas, ao lado da Prova Brasil e do SAEB. As proposições de reforma do Ensino Médio, divulgadas recentemente pelo MEC, resultam da análise dos dados obtidos com a aplicação do ENEM. Resta observar que os indicadores decorrentes do ENEM, assim como quaisquer outros, têm um alcance determinado. O principal limite dos resultados do ENEM é a ausência de um caráter longitudinal, ou seja, a difi-culdade de seu uso para comparações em momentos diferentes no tempo.

O ENCCEJA (Exame Nacional para Certificação de Competências de Jovens e Adultos)

ao estudante ou a qualquer cidadão – que não tenha desfrutado do acesso ao ensino regular ou tenha sofrido problemas de continuidade no Ensino Fundamental e Médio – a possibilidade de prosseguir seus estudos em caráter regular. Esses exames são fei-tos com o objetivo de determinar o domínio de conteúdos previstos nessas etapas do ensino, por parte dos candidatos, e são organizados pelo INEP, que mantém o Exame Nacional para Certificação de Competências de Jovens e Adultos – ENCCEJA. Trata-se, portanto, de uma avaliação que confere aos candidatos um certificado de Ensino Fundamental ou Médio.

Inicialmente, os exames não tinham uma frequência regular, mas, a partir de 2006, são realizados anualmente, no mês de dezembro. Vale observar que a atribuição de certificação do Ensino Fundamental e Médio pertence aos Municípios e Estados,


que podem aderir ao ENCCEJA, adotando os resultados nele registrados. Na edição

candidatos, 60% para o Ensino Médio, e 40% para o Ensino Fundamental, e uma ade-são recorde das secretarias estaduais e municipais.

O participante do ENCCEJA poderá ser certificado, no Ensino Fundamental,

--

nologias; 2) Ciências Humanas e suas Tecnologias; 3) Matemática e suas Tecnologias; e 4) Ciências da Natureza e suas Tecnologias. Em 2006, depois de algumas modifica-ções técnicas – a incorporação da teoria da resposta ao item –, os resultados do ENC-CEJA passaram a ser comparáveis ao longo do tempo, de modo que um participante de uma determinada edição do exame pode ter seus resultados comparáveis com o de outros participantes de edições diferentes do exame. Isso conferiu ao ENCCEJA uma

Além do objetivo acima descrito, o ENCCEJA também busca construir uma referência nacional de autoavaliação para jovens e adultos, por meio de avaliação de competências e habilidades adquiridas no processo escolar e, sobretudo, nos proces-sos formativos que se desenvolvem na vida familiar, na convivência humana, no tra-balho, nos movimentos sociais e organizações da sociedade civil e nas manifestações culturais. Além de referência nacional de autoavaliação, o ENCCEJA é também um indicador qualitativo importante para a avaliação de políticas públicas de Educação de Jovens e Adultos.

Desde 2001, o ENCCEJA é também realizado para brasileiros que residem tem-

e em Zurique, Europa.

O SAEB (Sistema de Avaliação da Educação Básica) e a Prova Brasil

-dução de informações e resultados entendidos como “subsídios para a definição de ações voltadas para a correção das distorções identificadas e o aperfeiçoamento das práticas e dos


resultados apresentados pelas escolas e pelo sistema de ensino”. SAEB, 2005). Assim, a partir dos subsídios oferecidos pelo SAEB, o MEC e as secre-

buscando a “...correção das distorções e debilidades identificadas e dirigir seu apoio técnico e financeiro para o desenvolvimento e redução das desigualdades ainda existentes no sistema educacional brasileiro”. Além desse objetivo, a realização da avaliação e a divulgação de seus resultados constituem uma forma “...de o poder público prestar contas de sua atua-ção a alunos, professores, pais e à sociedade em geral, proporcionando uma visão clara do processo de ensino e das condições em que ele é desenvolvido”. SAEB 2005).

A iniciativa de criação de uma avaliação nacional da educação básica se inaugura no contexto marcado pela ampliação do acesso ao Ensino Fundamental – que levou para o interior da escola uma população pobre e tradicionalmente excluída do sistema escolar

de ensino nos municípios. Nesse ambiente de reforma, de descentralização e de extrema heterogeneidade dos alunos e professores, a Constituição e a LDB reservaram ao Gover-no Federal as funções de regulação e assistência técnica e financeira a Estados e Municí-pios que, por sua vez, foram contemplados com a responsabilidade direta, de natureza

Uma vez assegurada a base legal, pela previsão de avaliação pela LDB, os levan-tamentos de dados do SAEB passaram a ser realizados de dois em dois anos, através

e particulares, urbanas e rurais, dos 26 Estados da Federação e do Distrito Federal. A cada levantamento, são pesquisados, aproximadamente, 700 municípios, 3.000 esco-las públicas e privadas, 25 mil professores, 3.000 diretores e 300.000 alunos do Ensino

disciplinas Língua Portuguesa e Matemática.

Os Instrumentos do SAEB

os contextuais. Os instrumentos cognitivos são os testes de Língua Portuguesa e de

série do Ensino Médio, com a finalidade de medir habilidades em cada uma dessas


duas disciplinas. O foco desses testes encontra-se na leitura, quando se trata de Língua Portuguesa, e na resolução de problemas, no caso da Matemática. Em alguns anos,

contextuais são aplicados a alunos, professores e diretores e levantam informações so-bre o padrão de vida dos alunos, das suas famílias, dos professores, sobre as condições da escola, ou seja, sobre características e aspectos da vida escolar e social que podem interferir no desempenho acadêmico dos alunos. São os chamados fatores associados, aos quais já nos referimos. A vinculação das informações dos questionários contextuais com os dados de desempenho dos alunos permite detectar quais fatores intraescolares

Os resultados do SAEB são divulgados para o Brasil como um todo e desagre-gados por Região, Estado, localização (capital, interior) e dependência administrativa (estadual, municipal, federal e particular). As análises dos resultados do SAEB são ain-da realizadas levando-se em consideração o contexto do ensino. Esses estudos, realiza-dos pelo INEP e que buscam associar o contexto do aluno e da escola ao desempenho dos alunos, revelam que existe uma relação estreita entre desigualdades sociais e con-dições de oferta educacional. E tornam ainda patente que o contexto geográfico, num país de grandes desigualdades regionais como o nosso, possui um papel relevante na distribuição das oportunidades educacionais.

Como já assinalado, os objetivos do SAEB estão voltados para o monitoramento da qualidade da educação básica oferecida pelos sistemas de ensino, para a prestação de contas à sociedade e para o desenvolvimento de subsídios para a formulação de po-líticas educacionais. O modo como o SAEB foi imaginado, e é executado, permite que esses objetivos sejam alcançados. Em primeiro lugar, os resultados do desempenho dos alunos podem ser comparados ao longo do tempo. Os conteúdos e habilidades que devem ser medidos pelos testes são permanentes, mudando-se apenas os itens – as perguntas – que são submetidos aos alunos a cada dois anos. Além disso, alguns des-ses itens são mantidos em diferentes edições dessas avaliações, o que possibilita que as médias da proficiência dos alunos, ou seja, as medidas do desempenho nos testes tornem-se comparáveis no tempo. Assim, podemos saber como evolui a qualidade do nosso ensino num determinado período. Por outro lado, a aplicação do mesmo teste aos alunos das várias redes também permite que possamos comparar a eficácia ou a qualidade dessas mesmas redes.


Em segundo lugar, os dados dos questionários contextuais, que recolhem infor-mações relevantes sobre os alunos e a escola, constituem um rico material para aná-lise e formulação de políticas educacionais. Eles identificam, além das características sociais que afetam positiva ou negativamente o desempenho dos alunos, iniciativas sistêmicas – das várias redes – ou das escolas que aprofundam o aproveitamento dos estudantes e oferecem maior qualidade ao ensino. Nesse sentido, o SAEB oferece a todos um enorme painel da educação brasileira, proporcionando subsídios concretos para a adoção de políticas educacionais – locais, estaduais e nacionais – destinadas a aumentar a qualidade do ensino oferecido às nossas crianças.

-

mesmo que a população avaliada se modifique, possibilidade estabelecida a partir de

validade aos resultados. O SAEB consolidou-se como um instrumento que garante

meio dele, introduziu-se e consolidou-se uma cultura de avaliação no país. Com base nos seus resultados, detectou-se, de forma precisa, a questão da qualidade do ensino como o principal desafio da educação brasileira, depois do amplo esforço de incorpo-ração universal das crianças ao sistema escolar nacional. Contudo, o SAEB não conse-guia – e não podia – responder à crescente necessidade de informações, por parte dos gestores e educadores. Dado o seu caráter amostral, ele não apreendia toda a diversi-dade e a singularidade das escolas e dos sistemas de ensino, ampliadas e diversificadas com o amplo processo de descentralização e municipalização que caracteriza a educa-

específica por parte das autoridades educacionais do país.

A Criação da Prova Brasil

A partir de 2005, o Sistema Nacional de Avaliação da Educação Básica (SAEB) passou a ser composto por duas avaliações, desenvolvidas e conduzidas pelo Instituto


A Avaliação Nacional da Educação Básica (ANEB) deu continuidade à tradicio-nal avaliação amostral do SAEB, mantendo desenho, metodologia e objetivos idên-

públicas e privadas.

Assim, a ANEB continuará a avaliar, a cada dois anos, o desempenho dos alunos nas disciplinas Língua Portuguesa (com foco em leitura) e Matemática, e a produzir resultados para as Regiões, os Estados e as redes de ensino estaduais, municipais e pri-vadas do país. Pelo fato de manter as mesmas características do antigo SAEB, a ANEB recebe o nome de SAEB em suas divulgações.

A Avaliação Nacional do Rendimento Escolar (ANRESC) foi criada para ser mais extensa e detalhada do que a ANEB, com o foco em cada unidade escolar do país. Por seu caráter universal, recebe o nome de Prova Brasil em suas divulgações. A Prova Brasil foi idealizada para produzir informações sobre o ensino em cada mu-nicípio e em cada escola. Os seus resultados constituem um valioso instrumento de melhoria da qualidade do ensino nas mãos dos governantes, que podem assim tomar decisões mais adequadas sobre a aplicação de recursos financeiros e técnicos, e para cada comunidade escolar, especialmente no que se refere ao estabelecimento de metas

qualidade do ensino oferecido.

A entrada em cena, em 2005, da Prova Brasil teve como objetivo aumentar con--

cionais públicos brasileiros se “enxergassem” mutuamente na avaliação, o que é par-ticularmente importante em um país com a multiplicidade de sistemas educacionais como o Brasil. Além disso, um novo passo passou a ser possível com a Prova Brasil,

-parência e, especialmente, de rendição de contas.

Os resultados da Prova Brasil também franqueiam, aos diretores e professores das escolas, a identificação daquelas habilidades que seus alunos já dominam, daque-

serem alcançadas e estratégias de ensino a serem adotadas por cada escola. Por sua vez, os gestores das redes podem avaliar que medidas devem ser tomadas para a melhoria


do ensino, como, por exemplo, o processo de capacitação e qualificação dos docentes, considerando as necessidades apontadas pelos resultados. Pela sua abrangência, a Pro-va Brasil constitui uma referência importante para verificar a qualidade e a equidade da educação oferecida no Brasil, seja por Região ou por redes, estimulando uma ampla discussão sobre as políticas para a correção dos problemas existentes ou para a preser-vação dos ganhos registrados.

A primeira edição da Prova Brasil ocorreu em 2005, em cerca de 5.400 Muni-

urbanas com mais de 30 alunos matriculados na série avaliada. Nas escolas onde o Ensino Fundamental estava organizado em regime de nove anos, a prova foi aplicada

os alunos responderam a um questionário destinado a coletar informações sobre seus contextos econômico, social e cultural.

A metodologia de avaliação é a mesma utilizada na ANEB, o que permite a compa-ração dos resultados ao longo dos anos. A diferença, vale repetir, é que a Prova Brasil bus-

preciso das redes. Enquanto a Prova Brasil é censitária, o SAEB (ANEB) é amostral. O

do Ensino Fundamental. Desse modo, não estão incluídas, nesse universo, as escolas par--

tro do universo investigado pelo SAEB. Em 2005, a Prova Brasil avaliou apenas as escolas com mais de 30 alunos na série/ano do seu universo. Esse limite foi reduzido para 20 alunos em 2007. No entanto, as redes municipais com apenas uma escola são avaliadas independentemente do número de alunos na série/ano prevista na Prova Brasil.

A Fusão SAEB e Prova Brasil

Em 2005, as duas avaliações (o SAEB e a Prova Brasil) foram realizadas separada-mente, com instrumentos diferentes (testes e questionários) no final do ano. Em 2007, as duas avaliações se fundiram, e voltamos a ter uma única avaliação externa de caráter federal, em que os segmentos que compõem o universo da Prova Brasil (escolas públi-

-te, enquanto os outros segmentos – que compõem o SAEB, mas não a Prova Brasil –,


-bas foram utilizados os mesmos instrumentos (testes e questionários). Uma diferença importante, em 2005, era que, no SAEB, um aluno respondia ou ao teste de Português ou ao de Matemática e, na Prova Brasil, ele respondia aos dois testes. A partir de 2007, também os alunos examinados no SAEB passaram a responder aos testes de Português e Matemática.

Desde 2005, portanto, o Brasil conta como um sistema de avaliação do Ensino

Prova Brasil/SAEB, cada escola pública urbana e cada rede de ensino (municipal e es-tadual) que participam das avaliações têm seus resultados em Português e Matemática

-sino Médio, como a Prova Brasil não atinge censitariamente as escolas públicas, mas apenas amostralmente, não há resultados da Prova Brasil/SAEB por escola. Os exames nessa série são feitos por amostragem, de modo que se podem ter apenas resultados para o Brasil, Regiões e Estados. Assim, o sistema de rendição de contas para Ensino

as escolas de Ensino Médio, inclusive as da rede particular, a divulgação dos dados do ENEM cumpre o papel de rendição de contas.

2.4. Os Principais Desafios Colocados pela e para a Avaliação em Larga Escala no Brasil.

Ao longo de quase duas décadas, o Brasil desenvolveu importantes instrumentos de avaliação educacional. Não por acaso, esses programas surgiram simultaneamente ao esforço de universalização do Ensino Fundamental e do Ensino Médio, embora, no último caso, esse objetivo ainda não tenha sido alcançado. Mas o que mostram os resultados desses processos de avaliação em larga escala? Revelam que, se a universali-zação está a se tornar realidade, ainda enfrentamos o grande problema da qualidade da educação que é oferecida às crianças e aos jovens no Brasil. Esse desafio não é jogado

avaliar habilidades e depois jogassem toda a responsabilidade pela melhoria do ensino nas mãos de outros atores, como os professores e gestores educacionais.


Disso resulta um duplo desafio para os programas de avaliação. Em primeiro lu-gar, eles devem ainda aperfeiçoar-se, no sentido de revelar com maior clareza as po-líticas e práticas que fazem diferença na qualidade do ensino. Isso é fundamental, se entendermos que a avaliação é um instrumento de melhoria da educação, e não apenas um modo de medir conhecimentos. Em segundo lugar, a avaliação deve tornar-se um instrumento normal do processo educacional, incorporada pelas equipes de gestores, pela direção das escolas e pelos professores, sem excetuar atores sociais interessados na educação. Para isso, é crucial não apenas a divulgação dos resultados e das análises, mas o treinamento de todos na utilização do riquíssimo material produzido pelas ava-liações. Esse, inclusive, é o objetivo desta coleção de guias de estudo. Ao trazer para as suas práticas concretas as avaliações em larga escala e seus resultados, os professores e as equipes de direção estarão ampliando o horizonte com que trabalham o objetivo de melhorar o ensino que oferecem. O mesmo pode ser dito no caso dos gestores, que se habilitam, ao dominar todos os processos de avaliação, à formulação de políticas públicas mais eficazes e produtivas.

Documents

avaliação educacional