Para que servem as avaliações externas de escolas de ... · Uma competência exige o domino e uso...

Para que servem as avaliações externas de escolas de ensino básico?

José Francisco Soares José Francisco Soares francisco-soares@ufmg.br

GAME – FAE – UFMG

Inhotim, 26 de outubro de 2011

S á iS á iSumárioSumário

Competências na Educação Básica

Competência Leitora

Comparação de Escolas

IDEB

R lt d d P iResultado da Pesquisa

Ed ã E lEd ã E lEducação EscolarEducação Escolar

Adquirir competências cognitivas

D l l iDesenvolver talentos pessoais

Desenvolver senso de responsabilidade social

Socialização das crianças e jovens

Instruir, mas também educar

C tê i C tê i Competência Competência

Todo aprendizado é o aprendizado de alguma competência.

As aprendizagens na educação básica são aquelas que

preparam os alunos para a execução das tarefas necessárias

para a participação ativa e produtiva na sociedadepara a participação ativa e produtiva na sociedade.

Competência é a capacidade de executar com sucesso tarefas

complexas.

“Complexas” porque as ações concretas do cotidianoComplexas porque as ações concretas do cotidiano

envolvem, várias dimensões e são, portanto, complexas.

H bilid dH bilid dHabilidadeHabilidade

Habilidade à capacidade de realização de ações simples de

contorno bem definido.contorno bem definido.

Uma competência exige o domino e uso harmônico e

concomitante de várias habilidades.

As ações que caracterizam cada habilidade podem serAs ações que caracterizam cada habilidade podem ser

classificadas em três dimensões: os processos cognitivos

exigidos para sua realização, pelos conhecimentos específicosg p ç , p p

que mobilizam e pelo contexto no qual são exigidas.

C tê i E i iC tê i E i iCompetências EssenciaisCompetências Essenciais

“Art 210 Serão fixados conteúdos mínimos para o ensinoArt. 210. Serão fixados conteúdos mínimos para o ensino

fundamental, de maneira a assegurar formação básica comum e

respeito aos valores culturais e artísticos, nacionais e regionais.”

(BRASIL, CF, 88)

U iã E iU iã E iUnião EuropeiaUnião Europeia

Comunicação na língua materna

Comunicação em línguas estrangeiras

Competência matemática e competências básicas em ciências e tecnologia.

Competência digital

Aprender a aprenderAprender a aprender

Competências sociais e cívicas

Sentido de iniciativa e empreendedorismo

Consciência Consciência culturalculturalConsciência Consciência culturalcultural

Competência que envolve a apreciação da importância da

expressão criativa de ideias, experiências e emoções num vasto

l d ídi ( ú i t ê i lit t t i i )leque de mídia (música, artes cênicas, literatura e artes visuais).

E ifi ã d tê iE ifi ã d tê iEspecificação das competênciasEspecificação das competências

Plano Nacional de Educação: Expectativas de aprendizagem, Padrões

de ensino, Currículo.

Definir até dezembro de 2012 expectativas de aprendizagem paraDefinir, até dezembro de 2012, expectativas de aprendizagem para

todos os anos do ensino fundamental de maneira a assegurar a

formação básica comum, reconhecendo a especificidade da infância e

da adolescência, os novos saberes e os tempos escolares.

C tê i l itC tê i l itCompetência leitoraCompetência leitora

Capacidade de extrair informações, construir significados e

de refletir sobre os textos escritos, necessários para que, p q

cada indivíduo atinja seus objetivos pessoais, adquira

novos conhecimentos, desenvolva seus potenciais e, p

participe criticamente de sua sociedade.

A análise da competência leitora exige a consideração deA análise da competência leitora exige a consideração de

três elementos: o texto, a finalidade da leitura e o leitor.

T t t iT t t iTexto e suas categoriasTexto e suas categorias

O texto oral ou escrito é a unidade básica para o ensino e a

ifi ã d di d d Líverificação do aprendizado da Língua.

Complexidade

GêGênero

Tipologia

Narração, descrição, orientação, exposição, argumentação.

Fi lid d d L itFi lid d d L itFinalidade da LeituraFinalidade da Leitura

Recuperação de Informações

Compreensão e Interpretação

Reflexão sobre a forma e o conteúdo

P fi iê i P fi iê i Proficiência Proficiência

Itens

Teste

Cálculo - Uso da Teoria de Resposta ao Item.

ItemItemO BICHO

Vi ontem um bichoNa imundice do pátioNa imundice do pátioCatando comida entre os detritos.

Quando achava alguma coisa,Não examinava nem cheirava:Não examinava nem cheirava:Engolia com voracidade.

O bicho não era um cão,Não era um gato.Não era um gato.Não era um rato.

O bicho, meu Deus, era um homem.

BANDEIRA, Manuel. Poesias reunidas. Rio de Janeiro: Ática, 1985.

O que motivou o bicho catar restos foi:

A) A própria fome.B) A imundice do pátio.C) O cheiro da comidaC) O cheiro da comida.D) A amizade pelo cão.

Organização do testeOrganização do testeOrganização do testeOrganização do teste

Cadernos Blocos

I 1 2 4I 1 2 4

II 2 3 5Blocos Balanceados

Incompletos – BIB

III 3 4 6

IV 4 5 7Incompletos – BIB IV 4 5 7

V 5 6 1

VI 6 7 2VI 6 7 2

VII 7 1 3

T i d R t ItT i d R t ItTeoria de Resposta ao ItemTeoria de Resposta ao Item

Forma de atribuição dos escores dos alunos

Permite manter comparabilidade entre os escores de anos e séries

distintos

Cada item é descrito por uma curva empírica

Ní i d D h Ní i d D h Níveis de Desempenho Níveis de Desempenho

Insuficiente Básico Proficiente Avançado

4ª Série- < 150 Entre 150 e Entre 200 e 250 Acima de 250Leitura < 150 200 Entre 200 e 250 Acima de 250

Prova Brasil 2007 Leitura Prova Brasil 2007 Leitura –– Quarta Quarta SérieSérie

UF IN BA PR AV

PR 19,40% 46,90% 28,30% 5,40%

SC 22,40% 46,50% 26,70% 4,50%

SP 26,10% 41,30% 26,40% 6,20%

MG 26,50% 41,90% 25,30% 6,30%

RS 23,10% 46,90% 25,80% 4,20%

ES 24,60% 47,10% 24,20% 4,00%

Importância dos NíveisImportância dos NíveisImportância dos NíveisImportância dos Níveis

ESCOLAPROFICIÊNCIA

MÉDIA

NÍVEL (%)

INSUFICIENTE BÁSICO PROFICIENTE AVANÇADO

1 199.90 9.1 45.5 45.5 0.0

2 199.28 18.8 30.4 39.1 11.6

3 199.26 16.7 32.3 35.4 15.6

4 200.04 4.3 48.6 37.1 10.0

5 200.39 2.9 44.1 47.1 5.9

6 200.64 13.3 30.0 38.9 17.8

7 199 62 9 4 34 4 40 6 15 67 199.62 9.4 34.4 40.6 15.6

Interpretação Pedagógica Leitura Interpretação Pedagógica Leitura p ç g gp ç g g4ª. Série4ª. Série

Níveis de Proficiência Habilidades

Identificar e/ou nomear características estruturais do gênero literário e não literário.

AVANÇADOAcima de 250

Identificar referências intertextuais (paráfrase, paródia, epígrafe, alusão, citação).

Inferir informações implícitas ( pressuposições/subentendidos) em diferentes linguagens.

Inferir o assunto do texto.

Distinguir a semelhança de assunto entre textos do mesmo gênero

PROFICIENTEEntre 200 e 250

Distinguir a semelhança de assunto entre textos do mesmo gênero.

Distinguir repetições/substituições de itens lexicais que dão continuidade ao texto.

Estabelecer relação de causa/consequência entre fatos do texto.

Identificar formas linguísticas que caracterizam locutor/interlocutor.

Identificar formas linguísticas que evidenciam opiniãoIdentificar formas linguísticas que evidenciam opinião.

BÁSICOEntre 150 e 200

Inferir o sentido de uma expressão.

Analisar o recurso linguístico que provoca humor.

Estabelecer a relação de sentido entre pronomes e seus antecedentes.

Identificar a finalidade/função social do texto.

Identificar formas linguísticas e visuais que caracterizam personagens em discurso direto/indireto.

INSUFICIENTE

Inferir o sentido de palavras.

Analisar o efeito de sentido do recurso gráfico/visual.

Analisar o efeito de sentido do recurso notacional.Até 150 Analisar sequência descritiva.

Identificar informação explícita em segmento do texto com auxílio de recursos visuais/verbais.

Modelo conceitual da Modelo conceitual da Interpretação PedagógicaInterpretação Pedagógica

BANCO DEBANCO DE

COMPETÊNCIACOMPETÊNCIAITENSITENS

CALIBRADOS =CALIBRADOS =ESCALAESCALA

TESTETESTE

ÊHABILIDADES HABILIDADES PROFICIÊNCIA

•• Processos cognitivosProcessos cognitivos•• Contexto de usoContexto de uso

HABILIDADES HABILIDADES

ENSINOENSINO •• Contexto de usoContexto de uso•• Conteúdo disciplinarConteúdo disciplinar

ENSINOENSINO

C ã d E lC ã d E lComparação de EscolasComparação de Escolas

O resultado dos alunos de uma escola depende de suas

t í ti ó i d áfi t bé d t í ti dcaracterísticas sócio demográficas e também de características dos

alunos da escola, fora de seu controle.

Diante disso a comparação entre os resultados da escola só é

informativa se cada escola é comparada com escolas semelhantes.

Uma forma muito efetiva de criar grupos de escolas semelhantes é

usar o NSE – nível socioeconômico da escola. Nesta abordagem cada

escola seria comparada apenas com escola de NSE similar.

Nível SocioeconômicoNível SocioeconômicoNível SocioeconômicoNível Socioeconômico

Construído a partir de respostas ao questionário contextual.Construído a partir de respostas ao questionário contextual.

Escolaridade dos pais

Ocupação dos Pais

Itens de Conforto Doméstico.

Resultados Resultados 8ª 8ª série em Leiturasérie em Leitura

NSE BAIXO NSE ALTO

ESTADUAIS MUNICIPAIS ESTADUAIS MUNICIPAIS

S F C

PROVA BRASIL 2005 32% 39%

SIMAVE 2006 24% 33%

PROVA BRASIL 2007 29% 39%INSUFICIENTE

SIMAVE 2007 24% 36%

SIMAVE 2008 15% 29%

SIMAVE 2009 13% 23%

PROFICIENTE e

PROVA BRASIL 2005 30% 21%

SIMAVE 2006 39% 29%

PROVA BRASIL 2007 37% 23%

AVANÇADO SIMAVE 2007 37% 26%

SIMAVE 2008 43% 27%

SIMAVE 2009 37% 21%

Resultados 8ª série em MatemáticaResultados 8ª série em MatemáticaResultados 8 série em MatemáticaResultados 8 série em Matemática

NSE BAIXO NSE ALTO

ESTADUAIS MUNICIPAIS ESTADUAIS MUNICIPAIS

SIMAVE 2003 47%

INSUFICIENTE

SIMAVE 2003 47% -

PROVA BRASIL 2005 41% 48%

SIMAVE 2006 45% 52%

PROVA BRASIL 2007 41% 48%

SIMAVE 2007 51% -

SIMAVE 2008 40% 54%

SIMAVE 2009 28% 35%

PROFICIENTE e

SIMAVE 2003 23% -

PROVA BRASIL 2005 23% 15%

SIMAVE 2006 21% 13%

PROVA BRASIL 2007 27% 15%AVANÇADO

PROVA BRASIL 2007 27% 15%

SIMAVE 2007 28% -

SIMAVE 2008 27% 14%

SIMAVE 2009 23% 11%

M d l C i lM d l C i lModelo ConceitualModelo Conceitual

Nível Esforço

Desempenhoda Escola Resultado da

EscolaIndicador de

Reconhecimento

Melhoria

Desempenho de Escolas Desempenho de Escolas Desempenho de Escolas Desempenho de Escolas

Níveis Excluídos Insuficiente Básico Adequado Avançado Indicador Gerencial

Escores 0 3 6 8 10

1 0% 23% 42% 24% 11% 6,2

2 5% 5% 20% 45% 25% 7,5

3 100% 0% 0% 0% 0% 0,0

4 0% 0% 0% 0% 100% 10,0

Í di d D l i t d Í di d D l i t d Índice do Desenvolvimento da Índice do Desenvolvimento da Educação Básica Educação Básica -- IDEBIDEBçç

Componentes do IDEBComponentes do IDEBpp

IDEB = desempenho*rendimento

h d l í l éd d f ê d l dDesempenho dos alunos: o nível médio da proficiência dos alunos da

escola, obtido na Prova Brasil.

Rendimento: valor médio das taxas de aprovação da escola, obtido do

Censo EscolarCenso Escolar.

Padronização das proficiências Padronização das proficiências Padronização das proficiências Padronização das proficiências

ias)Proficiênc dasInferior Limite– iasProficiênc dasSuperior (Limiteias)Proficiênc dasInferior Limite– Brasil Prova na Escola da cia(Proficiên

Limites usados para a padronização das Limites usados para a padronização das p p çp p çproficiênciasproficiências

Matemática Leitura

Inferior Superior Inferior Superior

4ª série 60 322 49 324

8ª série 100 400 100 400

Exemplo de cálculoExemplo de cálculopp

0,542 49)-(324

49)-(198 Leitura em escola da aPadronizad iaProficiênc ==

0 572 60)-(202MatemáticaemescoladaaPadronizadiaProficiênc ==

0,57260)-(322

MatemáticaemescoladaaPadronizad iaProficiênc ==

5,34 2

0,572)(0,542 x 10 Escola da aPadronizad iaProficiênc =+

=

Consequência das definiçõesConsequência das definiçõesConsequência das definiçõesConsequência das definições

Proficiência padronizada = Média das proficiências padronizadas dos

alunos

Médias variam menos do que as observações individuais

Gráfico das médias padronizadasGráfico das médias padronizadasGráfico das médias padronizadasGráfico das médias padronizadas

A questão da dominância da A questão da dominância da proficiência de Matemáticaproficiência de Matemática

O indicador de rendimentoO indicador de rendimento

Sé i A

Algoritmo de cálculo do indicador de rendimento de uma escola

Série – Ano

0 1 2 3 4

Taxa Aprovação 82,4 79,1 78,4 97,1 88,4

Taxa aprovação em decimais 0,824 0,791 0,784 0,971 0,884

Anos de estudo necessários 1,21 1,26 1,28 1,03 1,13

5,91 1,13)1,031,281,26(1,21 etapa acompletar para estudo de letivos Anos =++++=

0,8453 5,915 Rendimento deIndicador ==

InterpretaçãoInterpretaçãop çp ç

Níveis de desempenho para Leitura e MatemáticaNíveis de desempenho para Leitura e Matemática

Leitura Matemática

NÍVEL 4ª Série EF 8ª Série EF 4ª Série EF 8ª Série EF

Abaixo do Básico < 150 < 200 < 175 < 225

Básico Entre 150 e 200 Entre 200 e 275 Entre 175 e 225 Entre 225 e 300

Proficiente Entre 200 e 250 Entre 275 e 325 Entre 225 e 275 Entre 300 e 350

Avançado Acima de 250 Acima de 325 Acima de 275 Acima de 350

Proposta de faixas para o IDEBProposta de faixas para o IDEBProposta de faixas para o IDEBProposta de faixas para o IDEB

IDEB Leitura Matemática IDEB Categoria Final IDEB Leitura Matemática IDEB Categoria Final

Baixo < 3,5

Médio Baixo 150 175 3,86 [3,5 4,5)

Médi 175 200 4 76 [4 5 5 5)Médio 175 200 4,76 [4,5 5,5)

Médio Alto 200 225 5,65 [5,5 6,5)

Alto 225 250 6,55 > 6,5

Evolução do IDEB para escolas que Evolução do IDEB para escolas que oferecem Quarta Sérieoferecem Quarta Série

IDEB 2005 2007 2009

Baixo 44,4 30,8 25,7

Médio Baixo 36,8 38,1 30,5Médio Baixo 36,8 38,1 30,5

Médio 16,6 25,7 29,0

Médi Al 2 1 5 0 12 8Médio Alto 2,1 5,0 12,8

Alto 0,1 0,4 2,0

Evolução do IDEBEvolução do IDEBEvolução do IDEBEvolução do IDEB

Limitações do IDEBLimitações do IDEBLimitações do IDEBLimitações do IDEB

Só alunos presentes ao teste são considerados.

Não se pode usar a metáfora da nota escolar para analisar o IDEB.

dEscore em Matemática tem mais peso do que escore em Leitura.

Reproduz o nível socioeconômico da escola.

Legitima baixos desempenhos para muitos alunos.

Assume substituições questionáveis entre indicadores.

IDEB Ní l S i ô iIDEB Ní l S i ô iIDEB e Nível SocioeconômicoIDEB e Nível Socioeconômico

IDEB e Níveis dos IDEB e Níveis dos alunosalunos

IDEB I fi i Bá i Ad d A d

IDEB e Níveis dos IDEB e Níveis dos alunosalunos

IDEB Insuficiente Básico Adequado Avançado

Baixo 47,9% 41,7% 9,3% 1,1%

Médio Baixo 30,5% 47,6% 18,6% 3,3%

Médio 17,8% 44,4% 29,6% 8,2%

Médi Al 9 0% 35 3% 38 5% 17 2%Médio Alto 9,0% 35,3% 38,5% 17,2%

Alto 3,5% 21,5% 42,0% 33,0%

TotalTotal 27,8% 43,3% 22,4% 6,5%

E l P l E l C lE l P l E l C lEscolas Polo e Escolas ControleEscolas Polo e Escolas Controle

143 são escolas Polo 07 não possuíam NSE e não puderam

ser incluídas na análise

174 foram utilizadas como escolas controle.

E lh d l lE lh d l lEscolha das escolas controleEscolha das escolas controle

Mesmo sistema de ensino (Municipal, Estadual ou Federal).

Ser escola urbana, como são as escolas Polo.

Ter NSE semelhante ao da escola Polo.

Pertencer à mesma cidade que á escola PoloPertencer à mesma cidade que á escola Polo.

Encontradas 1 ou 2 controles para cada escola estudada em

32 dos 50 municípios onde há escolas Polo.

C l f d M i í iC l f d M i í iControle fora do MunicípioControle fora do Município

Escolas controles buscadas em municípios próximos,

escolhidos segundo os critérios:

P à i ( í l é àPertencer à mesma mesorregião (se possível, até à mesmamicrorregião).

Possuir população semelhante (foram utilizados dados de 2009).

P fi iê i L iP fi iê i L iProficiência em LeituraProficiência em Leitura

ESCOLASESCOLAS

POLO CONTROLE

Mínimo 104,54 100,62

Má i 376 24 376 57Máximo 376,24 376,57

Média 248,74 246,884 ,74 4 ,

Ní l S i ô i édiNí l S i ô i édiNível Socioeconômico médioNível Socioeconômico médio

ESCOLASESCOLAS

POLO CONTROLE

Mínimo 1,04 0,35

Má i 9 76 9 84Máximo 9,76 9,84

Média 6 55 6 36Média 6,55 6,36

Ef i E lEf i E lEfeito EscolaEfeito Escola

ESCOLASESCOLAS

POLO CONTROLE

Mínimo -30,47 -30,38

Máximo 26 59 37 65Máximo 26,59 37,65

Média 0,99 0,18

Ef i E lEf i E lEfeito EscolaEfeito Escola

ESCOLASESCOLAS

POLO CONTROLE

Mínimo -30,47 -30,38

Máximo 26 59 37 65Máximo 26,59 37,65

Média 0,99 0,18

M d l Hi á iM d l Hi á iModelo HierárquicoModelo Hierárquico

Parâmetros Estimação Erro Padrão Estatística T Significância

Intercepto 218,98 2,46 88,84 0,00

Sexo 11,52 0,58 19,83 0,00

Pardo -3,99 0,62 -6,49 0,00

Preto -8,81 1,19 -7,41 0,00

Atraso -20,60 0,79 -26,24 0,00

NSE 1,51 0,21 7,21 0,00

Média do NSE 3,24 0,35 9,18 0,00