Terceiro Estudo Regional Comparativo e Explicativo

RELATÓRIO

NACIONAL

2

3

O Terceiro Estudo Regional Comparativo e Explicativo (TERCE) foi realizado pelo Laboratório Latino-americano de

Avaliação da Qualidade da Educação (LLECE), que aplicou testes padronizados em diferentes áreas da aprendizagem

a alunos do ensino fundamental.

O TERCE realiza um estudo sistemático de mapeamento de currículos dos países da América Latina e do Caribe nas

áreas de Matemática, Linguagem (Leitura e Escrita) e Ciências. Os testes consideram os elementos comuns dos

currículos dos países participantes e estão estruturados a partir do enfoque de habilidades para vida promovido pela

UNESCO, segundo o qual as escolas devem promover conhecimentos, habilidades, valores e atitudes que permitam

aos alunos participar ativamente na sociedade, como indivíduos e como cidadãos.

QUAL É SUA FINALIDADE?

• Avaliar o nível de aprendizado dos alunos da educação básica da América Latina e do Caribe.

• Obter informações sobre o contexto da aprendizagem dos alunos para identificar os fatores que influenciam

na aprendizagem.

• Fornecer informações válidas e confiáveis para contribuir com a tomada de decisões nas políticas educacionais

que ajudem a melhorar a qualidade da educação nos países da região.

QUEM É AVALIADO?

O TERCE avaliou em 2013 uma amostra representativa de alunos de 4º e 7º Ano do ensino fundamental de cada um

dos países participantes. Os testes de Leitura, Escrita e Matemática foram aplicados para os dois anos, exceto

Ciências Naturais, que foi apenas para o 7º Ano.

QUAIS OS INSTRUMENTOS UTILIZADOS?

O estudo utiliza instrumentos para medir cada uma das áreas do conhecimento em foco e instrumentos de coleta de

dados de contexto.

Área Instrumento cognitivo

Ciências Naturais Perguntas fechadas: múltipla escolha com apenas uma resposta correta.

Perguntas abertas: propõe a resolução de um problema com explicitação do procedimento realizado

para chegar à resposta.

Leitura

Matemática

Escrita Há dois instrumentos que exigem respostas escritas.

Nas questões abertas, os alunos devem desenvolver a sua própria resposta usando palavras, números e/ou

desenhos conforme o caso. Algumas perguntas abertas exigem que os alunos escrevam respostas curtas;

outras exigem explicações e justificativas que evidenciem o desenvolvimento realizado para a resolução

do problema.

4

PONTUAÇÕES MÉDIAS EM LEITURA, MATEMÁTICA E CIÊNCIAS NATURAIS

No TERCE, foi estabelecida uma escala para possibilitar o acompanhamento e a comparação do desempenho

dos participantes ao longo dos anos, definindo-se a média como 700 e desvio-padrão 100.

Nessa escala, o resultado médio dos alunos brasileiros foi significativamente mais alto que a média dos alunos dos

15 países participantes do Estudo em Matemática do 4º Ano e em Leitura do 7º Ano.

O teste mede os domínios da compreensão textual e o metalinguístico, os quais

compreendem os processos literal, inferencial e crítico intertextual..

Mede a compreensão de um texto e a capacidade de elaboração de texto final

seguindo as instruções dadas.

Conhecimento e uso de números e operações, espaço e forma, grandezas e medidas é avaliada informação e estudo da mudança. Além disso,

mede o conhecimento matemático por meio de resolução de problemas..

São cinco domínios distintos: saúde; seres vivos; ambiente; a Terra e o Sistema Solar; e matéria e

energia. Mede-se o reconhecimento de informação e conceitos, a compreensão e

aplicação de conceitos, e o pensamento científico e resolução de problemas..

Leitura

Escrita

Matemática

Ciências Naturais

5

Ano Área Curricular Média Brasil Comparação com a média

dos países

4º Ano Leitura 712 ●

Matemática 727 ▲

7º Ano

Leitura 721 ▲

Matemática 709 ●

Ciências 700 ●

▲ Média significativamente superior à média dos países.

● Média não difere significativamente da média dos países.

DISTRIBUIÇÃO DE ALUNOS POR NÍVEIS

Para cada área/ano foram definidos os pontos de corte por especialistas dessas áreas. Os níveis de desempenho

permitem conhecer o que sabem e são capazes de fazer os alunos que estão em cada um destes.

Em Matemática e Ciências do 7º Ano, o maior percentual de estudantes está no Nível II, seguido do grupo no Nível I.

Em Leitura do 4º Ano, o maior percentual é visto no Nível I, seguido pelos estudantes do Nível III. Interessante notar

que Leitura concentra as maiores proporções de estudantes no Nível IV em comparação com a Matemática e as

Ciências Naturais.

Área/Ano Nível I Nível II Nível III Nível IV

Leitura /4º 33,7 21,6 32,0 12,7

Leitura /7º 11,0 52,2 20,2 16,6

Matemática /4º 37,5 23,8 26,8 12,0

Matemática / 7º 39,8 43,5 12,6 4,0

Ciências /7º 37,2 42,9 15,3 4,6

OS RESULTADOS DE ESCRITA

Os alunos produziram um texto, que foi posteriormente analisado por pelo menos dois especialistas diferentes que

identificaram quatro níveis de desempenho em um conjunto de indicadores discursivos (adequação ao gênero e tipo

textual), textuais (coerência, concordância oracional e coesão), e de convenções de legibilidade (segmentação de

palavras, ortografia e pontuação).

A pontuação nos testes de Escrita é expressa numa escala de 1 a 4 pontos, atribuídos por indicadores em uma tabela

de correção.

A pontuação nos testes de Escrita é expressa numa escala de 1 a 4 pontos, atribuídos por indicadores em uma tabela

de correção.

6

Ano Domínio Média Brasil Comparação com a média

dos países

4º Ano

Discursivo 2,44 ▼

Textual 3,14 ●

Convenções de legibilidade 3,31 ▲

Total teste 2,90 ●

7º Ano

Discursivo 2,75 ▼

Textual 3,37 ●

Convenções de legibilidade 3,53 ▲

Total teste 3,15 ●

▲ Média significativamente superior à média dos países.

▼ Média significativamente inferior à média dos países.

● Média não difere significativamente à média dos países.

Nos dois anos avaliados e em quase todos os domínios avaliados (exceto o domínio discursivo no 4º ano) o maior percentual de estudantes se

encontra no Nível IV, seguido do Nível III. A exceção é o domínio discursivo no 7º ano, que mostra uma porcentagem quase igual de estudantes nos

níveis I, II e III.

QUESTIONÁRIOS SOCIOECONÔMICOS

Levantam variáveis associadas aos resultados de desempenhos dos estudantes por meio de questionários de

contexto aplicados aos alunos, pais, professores e diretores, a fim de entender as circunstâncias em que a

aprendizagem ocorre.

4º Ano Nível I Nível II Nível III Nível IV

Domínio discursivo

32,8 19,2 19,0 29,1

Domínio textual

6,1 19,4 29,0 45,6

Convenções de legibilidade

10,4 5,0 27,4 57,2

7º Ano Nível I Nível II Nível III Nível IV

Domínio discursivo

20,8 20,9 20,7 37,6

Domínio textual

4,0 13,0 25,2 57,8

Convenções de legibilidade

4,3 5,7 22,4 67,6

7

QUAL É A AMOSTRA BRASILEIRA?

O TERCE no Brasil foi aplicado em 25 das 27 UFs, tendo ficado de fora somente o Acre e o Amapá. Nenhuma escola

de 4º Ano foi sorteada no estado de Roraima. Também não houve escola de 7º Ano sorteada para Santa Catarina.

Rio de Janeiro com 26 escolas (11,8%) e São Paulo com 25 (11,4%) foram os estados com maior participação.

Área Ano Brasil Total dos Países

Leitura 4º 3.254 56.036

7º 2.900 56.779

Matemática 4º 3.343 57.561

7º 2.983 57.476

Ciências Naturais 7º 2.986 57.714

Escrita 4º 3.908 56.500

7º 3.583 57.478

IMPORTÂNCIA DO TERCE

A participação do Brasil em estudos internacionais sobre a qualidade da educação permite por um lado o

aperfeiçoamento técnico e, por outro, análise de resultados em uma perspectiva comparada, fornecendo

informações importantes para o desenvolvimento de políticas públicas voltadas para a melhoria da educação básica

no Brasil.

Alguns resultados para o Brasil são semelhantes aos de outros países da América Latina e Caribe, tais como o baixo desempenho em Matemática, em particular nas escolas rurais e multisseriadas.

OS FATORES ASSOCIADOS AO RENDIMENTO ESCOLAR

A seguir são apresentados os fatores que foram significativamente associados aos desempenhos de aprendizagem

no país de acordo com uma análise estatística que considera todas as variáveis juntas e a amaneira como elas se

relacionam com esses desempenhos. Para isso, foi aplicada a metodologia de modelos de regressão multinível,

aplicada na escola e por aluno, por série e disciplina avaliada. Os resultados são apresentados separando-se as

características dos alunos e suas famílias, professores e também da sala de aula ou da escola. A Tabela 2 mostra as

variáveis que estão relacionadas com o desempenho dos alunos de forma positiva (+) ou negativa (-).

A Figura 1 fornece informações mais específicas sobre a associação entre a aprendizagem e os fatores estudados,

mostra a magnitude da associação entre cada fator de desempenho e escolar (dado pelo comprimento da barra),

podendo ver se essa relação é negativa (quando a barra está localizada à esquerda do zero) ou positiva (quando a

barra está localizada à direita do zero). Os fatores que não têm uma barra são aqueles que não mantêm uma relação

significativa com a aprendizagem.

Quanto aos fatores relacionados aos alunos e suas famílias que influenciam a aprendizagem, o gênero é um

elemento importante a considerar. No 4º ano, as meninas chegam significativamente melhores do que os meninos

em Leitura, Matemática, enquanto ambos obtêm resultados semelhantes. No 7º ano, a vantagem das meninas em

8

Leitura desaparece e os meninos as superam na área de Matemática.

A história escolar dos estudantes tem um forte impacto sobre os resultados dos testes. Aqueles que tiveram

educação pré-escolar formal entre os quatro e seis anos de idade mostram desempenho maiores do que aqueles

que não tiveram essa oportunidade. Paralelamente, as crianças que tiveram pelo menos uma série repetida

mostram uma desvantagem significativa em comparação com seus pares em todas as séries e disciplinas avaliadas.

Crianças da 4º, que além de frequentar a escola também trabalham, alcançaram resultados substancialmente mais

baixos do que seus colegas em Leitura e Matemática.

Por outro lado, os estudantes que vêm de locais econômica e socialmente desfavorecidos obtêm, em média,

desempenho escolar significativamente menor. Independentemente das condições socioeconômicas da casa,

quando os pais do estudante têm grandes expectativas sobre o nível de aprendizagem que esse estudante será

capaz de alcançar no futuro, este obtém melhores resultados de aprendizagem.

O envolvimento dos pais no desenvolvimento escolar de seus filhos tem uma relação significativa com os resultados

em Matemática de 7º ano. Uma supervisão e ajuda frequente dos pais com trabalhos de casa é associada a baixos

resultados. Em contrapartida, a utilização, por parte dos pais, das informações dadas pela escola sobre o progresso

escolar do aluno, para apoiá-lo, ou chamando a atenção quando for o caso.

Os alunos que faltaram à escola algumas vezes por semana no último ano da escola, obtiveram um desempenho

significativamente inferior a seus colegas na área da Leitura no 4º ano. O Brasil está entre os países com maior

percentual de estudantes cujos responsáveis reconhecem faltas repetido à escola.

Paralelamente, a assiduidade e pontualidade do corpo docente têm uma importante influência positiva no

desempenho dos alunos em todas as áreas avaliadas. Na área de Leitura no 4º ano, os resultados dos alunos são

altos quando os alunos percebem um clima de ordem e respeito dentro da sala de aula1.

Recursos de aula também estão associados com a realização de aprendizagem. Os alunos que têm um caderno ou

bloco para tomar notas na classe mostram melhor desempenho nos testes de Ciências Naturais, no 7º ano. O acesso

a livros escolares está associado a realizações de ensino superiores em Leitura.

Os alunos da 7º ano2 que usam computadores na escola com frequência, muitas vezes tendem a obter

desempenhos significativamente inferiores no teste de Matemática. Por outro lado, a utilização habitual do

computador fora do contexto da escola está associada com melhores resultados em todos os testes aplicados.

Por último, é possível afirmar que características da escola, como local ou a composição dos alunos que a frequenta,

podem estar relacionadas com seus resultados.

No Brasil, as escolas de 4º ano inseridas em comunidades com altos níveis de violência recebem menos

aprendizagem. A composição socioeconômica das escolas também está relacionada com os resultados. À medida

que diminui o nível socioeconômico médio dos estudantes, se reduzem também os resultados de aprendizagem em

Matemática nos dois anos avaliados bem como em Leitura do 4º ano.

Não foi observadas diferenças de desempenho entre escolas urbanas públicas, urbanas privadas, nem em rurais,

depois de considerar todos os fatores de contexto social, das turmas e das escolas. O mesmo se aplica para a

infraestrutura que não apresenta associação significativa com o desempenho.

Tabela 2. Fatores associados ao desempenho acadêmico dos alunos no Brasil, para todas as disciplinas e anos avaliados no TERCE.

1 Variável medida somente no 4ª Ano.

2 Variáveis relacionadas com o uso do computador por parte dos estudantes foram medidas somente no 7º Ano.

9

BRASIL 4ª ANO

LEITURA MATEMÁTICA

Car

acte

ríst

icas

do

s Es

tud

ante

e F

amíli

as

Repetência de ano - -

Faltas dos alunos às aulas -

Frequência à educação infantil +

Expectativas dos pais + +

Envolvimento dos pais

Supervisão dos estudos em casa

Tempo de estudo em casa

Hábitos de leitura do estudante

Uso recreativo do computador

Nível socioeconômico da família + +

Subvenção condicionada

Trabalho infantil - -

meninas +

População indígena

População imigrante

BRASIL 4ª ANO

LEITURA MATEMÁTICA

Fato

res

do

Do

cen

te e

Prá

tica

s d

e A

ula

Frequência e puntualidade do docente + +

Disponibilidade de caderno escolar

Disponibilidade de livro +

Uso do computador na escola 1 dia por semana

Uso do computador na escola 2 dias por semana

Uso do computador fora da escola 3 dias ou mais por semana

Uso do computador fora da escola 1 dia por semana

Uso do computador fora da escola 2 dias por semana

Uso do computador fora da escola 3 dias ou mais por semana

Clima de aula segundo o docente

Clima de aula segundo os estudantes +

Práticas docentes para o desenvolvimento da aprendizagem

BRASIL 4ª ANO

LEITURA MATEMÁTICA

Fato

res

da

Esco

la

Nivel socioeconómico de la escuela + +

Escola rural

Escola privada

Violência no entorno da escola - -

Infraestrutura da escola

Variáveis significativas ao nível de 5% na relação bivariada com a aprendizagem, controlando pelo nível socioeconômico e cultural dos

alunos e da escola.

Variável não existe para o ano, não incluída no modelo.

Não existen casos válidos suficientes para calcular o modelo.

+ = Relação positiva com a aprendizagem

- = Relação negativa com a aprendizagem

10

BRASIL 7ª ANO

LEITURA MATEMÁTICA CIÊNCIAS NATURAIS

Car

acte

ríst

icas

do

s Es

tud

ante

e F

amíli

as

Repetência de ano - - -

Faltas dos alunos às aulas

Frequência à educação infantil + + +

Expectativas dos pais + +

Envolvimento dos pais +

Supervisão dos estudos em casa -

Tempo de estudo em casa

Hábitos de leitura do estudante

Uso recreativo do computador

Nível socioeconômico da família + + +

Subvenção condicionada

Trabalho infantil

meninas -

População indígena

População imigrante

BRASIL 7ª ANO

LEITURA MATEMÁTICA CIÊNCIAS NATURAIS

Fact

ore

s d

e D

oce

nte

y P

ráct

icas

de

Au

la

Frequência e puntualidade do docente + + +

Disponibilidade de caderno escolar +

Disponibilidade de livro +

Uso do computador na escola 1 dia por semana

Uso do computador na escola 2 dias por semana

Uso do computador fora da escola 3 dias ou mais por semana - - -

Uso do computador fora da escola 1 dia por semana

Uso do computador fora da escola 2 dias por semana

Uso do computador fora da escola 3 dias ou mais por semana +

Clima de aula segundo o docente

Clima de aula segundo os estudantes

Práticas docentes para o desenvolvimento da aprendizagem

BRASIL 7ª ANO

LEITURA MATEMÁTICA CIÊNCIAS NATURAIS

Fato

res

da

Esco

la

Nivel socioeconómico de la escuela +

Escola rural

Escola privada

Violência no entorno da escola

Infraestrutura da escola

Variáveis significativas ao nível de 5% na relação bivariada com a aprendizagem, controlando pelo nível socioeconômico e cultural dos alunos e da

escola. Variável não existe para o ano, não incluída no modelo.

Não existen casos válidos suficientes para calcular o modelo.

+ = Relação positiva com a aprendizagem

- = Relação negativa com a aprendizagem

11

Gráfico 1. Magnitude dos fatores associados ao desempenho acadêmico dos estudantes do Brasil, para todas as disciplinas e anos avaliados no TERCE3

3 Nota: As barras indicam a associação entre o desempenho académico e os fatores associados à aprendizagem nas diferentes disciplinas e anos no Brasil,

segundo o Modelo Multinível. A ausência de barras indica que a relação não foi estatisticamente significativa ao nível de 5%.

12

PERFIS DAS ESCOLAS

O estudo profundo da relação entre o nível socioeconômico da escola e o desempenho acadêmico fornece

informação valiosa para a tomada de decisões. Os perfis das escolas analisam a relação entre o nível socioeconômico

e o desempenho médio das escolas, e fornecer informações sobre a magnitude dessa relação e o porcentual da

variância no desempenho escolar que é explicada pelo índice social. A inclinação indica o quanto aumentaria o

desempenho médio da escola se seu nível socioeconômico aumentasse em uma unidade. A força do perfil indica que

porcentagem da variância no desempenho médio das escolas é explicada por diferenças nos níveis socioeconômicos

médios escolas dessas escolas. Explicando de forma intuitiva, o percentual de variância explicada indica a

probabilidade de que a informação dada pela inclinação é cumprida em todas as escolas4.

A associação da composição socioeconômica do corpo discente geralmente é maior na área de Leitura do que em

Matemática e Ciências Naturais, porque enquanto as características socioculturais da família têm um forte impacto

no desenvolvimento da linguagem das crianças, o conhecimento da Matemática e Ciências tende a vir

principalmente da escola.

Os perfis das escolas do Brasil, expressas nos gráficos de dispersão (Figura 2) mostram a relação entre o

desempenho escolar médio de cada área avaliada e os níveis socioeconômicos médios das escolas (cada escola é

representada por uma cruz) 5. Por sua vez, indicam a localização de escolas avaliadas com respeito aos níveis de

desempenho alcançados em cada teste do TERCE.

A maioria das escolas brasileiras avaliados tiveram resultados médios que as colocam primeiro no primeiro e no

segundo níveis de desempenho, exceto na Leitura do 7ª Ano onde estão localizadas principalmente no segundo e

terceiro níveis de desempenho. No 4º Ano aparecem mais escolas primeiro nível de desempenho, que se inverte no

7º Ano. Isso pode ser devido ao abandono escolar por parte dos alunos mais desfavorecidos, que não mais

conseguem atingem o 7ª Ano.

A maioria das escolas brasileiras avaliadas obtiveram resultados médios que as colocam nos primeiro e segundo

níveis de desempenho, exceto em Leitura do 7º Ano, na qual se localizam majoritariamente no segundo e terceiros

níveis de desempenho. Na terceira série mais escolas aparecem no primeiro nível de desempenho, que é revertida

no 7ª Ano. Isto pode ser devido ao abandono por parte dos alunos mais desfavorecidos que não alcançam o 7ª Ano.

Por sua vez, os perfis das escolas mostram uma alta desigualdade educacional no país. As inclinações são

marcadamente superiores às da região em todos os testes aplicados, indicando uma alta influência do nível

socioeconômico das escolas nos resultados dos estudantes brasileiros. Além disso, a força dos perfis também é

elevada, o que sugere uma aguda incidência do nível socioeconômico sobre o desempenho ocorre com uma alta

probabilidade. Como mostrado nos gráficos, as escolas que atingem níveis elevados de desempenho tendem a ser

aqueles cujos alunos possuem, em média, um nível socioeconômico mais elevado.

Esses resultados sugerem que a melhoria da educação básica no Brasil é possível à medida que sejam dirigidas mais

recursos e intervenções efetivas à população vulnerável e às escolas que recebem tal população.

4 WILLMS, D. 2006. Las brechas de aprendizaje: Diez preguntas de la política educativa a seguir en relación con el desempeño y la

equidad en las escuelas y los sistemas educativos. Instituto de Estadística de la UNESCO, Montreal. 5 Para maiores detalhes sobre o valor dos componentes dos perfis das escolas do Brasil e sua comparação com a média dos

países examinados ver Anexo X.

13

y = -9,04x2 + 90,48x + 687,41R² = 0,67

300

400

500

600

700

800

900

1000

-3 -1 1 3

Níve

is de

De

sem

pe

nh

o

De

sem

pe

nh

o L

eit

ura

4º

Índice socioeconômico y = -9,04x2 + 90,48x + 687,41R² = 0,67

300

400

500

600

700

800

900

1000

-3 -1 1 3

Níve

is de

De

sem

pe

nh

o

De

sem

pe

nh

o M

ate

mát

ica

4º

Índice socioeconômico

y = -9,04x2 + 90,48x + 687,41R² = 0,67

300

400

500

600

700

800

900

1000

-3 -1 1 3

Níve

is de

De

sem

pe

nh

o

De

sem

pe

nh

o M

ate

mát

ica

7º

Índice socioeconômicoy = -9,04x2 + 90,48x + 687,41R² = 0,67

300

400

500

600

700

800

900

1000

-3 -1 1 3

Níve

is de

De

sem

pe

nh

o

De

sem

pe

nh

o L

eit

ura

7º

Índice socioeconômico

y = -9,04x2 + 90,48x + 687,41R² = 0,67

300

400

500

600

700

800

900

1000

-3 -1 1 3

Níve

is de

De

sem

pe

nh

oD

ese

mp

en

ho

Ciê

nci

as 7

º

Índice socioeconômico

Gráfico 2. Perfis das escolas do Brasil que apresentam a relação entre o desempenho médio das escolas e seu nível socioeconômico médio6.

6 Nota: Os perfis das escolas mostram a relação entre o índice socioeconômico médio de cada escola avaliada no Brasil e o

desempenho médio obtida nos testes do TERCE.