Avaliação EducacionalExterna

Conceito e utilidade da

avaliação em larga escala.Palestrante:

Túlio Silva de Paula

Analista de Avaliação Educacional

O que é avaliar?

É refletir sobre uma determinada realidade a partir de dados e

informações, e emitir um julgamento que possibilite uma ação.

Tipos de Avaliação

Diagnóstica Formativa Somativa

InternaEscola

ExternaSistemas

InternaEscola

ExternaSistemas

InternaEscola

ExternaSistemas

Pequena escala Larga escala

Avaliação

Provas abertasProvas objetivas

Observação/RegistroPortfólio

TEORIA CLÁSSICATEORIA DA RESPOSTA

AO ITEM

Avaliação Interna/Escola

Processo da aprendizagem

AVALIAÇÃO EDUCACIONAL

Avaliação Externa/Sistemas

Testes de proficiência Questionários contextuais

Desempenho dos alunos

A diferença entre a avaliação interna e externa está

principalmente na metodologia e no que podemos fazer com os

resultados.

Como avaliar?

Especificação da ferramenta

O que fazer com a avaliação?

Uso da ferramenta

Contribuição da avaliação em larga

escala

Diagnóstico do desempenho e fatores que interferem nesse desempenho no universo avaliado.

Acompanhamento / monitoramento da qualidade da educação ao longo do tempo.

Definição de subsídios para a formulação de políticas educacionais - foco qualidade e equidade.

Promoção de melhorias na relação com orgãos centrais e escolas e no ensino ofertado pela rede como um todo.

1.

2.3.

4.

Por quê?

- Objetivo -

Melhorar a qualidade da educação com

promoção da equidade

Desenho próprio da avaliação com

vistas ao atendimento das

necessidades específicas

Rapidez no acesso às informações (menor tempo de processamento da base

de resultados)

Menor periodicidade entre os ciclos

avaliativos (ciclos anuais de avaliação)

Vantagens de um sistema próprio de avaliação

Como funciona a avaliação em larga escala?

O que é avaliado?

Matriz de Referência

@@@@@

INSERIR TABELA COM CORTES DE PADRÕES

@@@@@

O item e suas partes

SuporteEnunciado

Comando

Alternativas de reposta

Gabarito

Distratores

Como os testes são corrigidos? Parâmetros da Teoria de Resposta ao Item – TRI – utilizada para

correção dos testes aplicados pelo CAEd

Como os testes são montados?

Itens Organizados em blocosDistribuídos em vários

cadernos

Montagem dos Testes

• Blocos Incompletos Balanceados (BIB)– Itens organizados em blocos

– Cada bloco se combina com todos os outros, formando cadernos

– Conteúdo do caderno deve abranger toda a escala de dificuldade

Caderno Bloco 1 Bloco 2

001 1 2

002 2 3

003 3 4

004 4 5

005 5 6

Montagem dos Testes

Montagem dos Testes

200 400 600 800 1000

Montagem dos Testes

200 400 600 800 1000

Montagem dos Testes

200 400 600 800 1000

Montagem dos Testes

200 400 600 800 1000

Montagem dos Testes

200 400 600 800 1000

Como os valores de proficiência são gerados?

Exemplo hipotético:

Construindo uma escala para medir altura

Nossa altura afeta nossas ações e o que somos capazes de fazer.

Possíveis questões:

Você consegue guardar as malas no bagageiro interno de um ônibus?

Quando dorme à noite, seus pés ficam do lado de fora?

Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados?

Alcançar prateleira superior

Como os valores de proficiência são gerados?

1,60m 1,70m 1,80m 1,90m

Alcançar malas no bagageiro

Dormir com péspara fora da cama

Como todas essas questões estão associadas à altura da pessoa...

... podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

Escala: altura de uma pessoa

• Item 1

Você consegue guardar as malas no bagageiro interno de um ônibus?

• Item 2

Você consegue subir ou descer dois degraus de cada vez em uma escada?

• Item 3

Para conversar com as pessoas, você precisa olhar para baixo?

Nome Item 1 Item 2 Item 3

Carolina Sim Não Não

Priscila Sim Sim Não

Leonardo Sim Sim Sim

Escala: item x medida

1,5 1,6 1,7 1,8 1,9

Item 1 Item 2 Item 3

Nome Item 1 Item 2 Item 3

Carolina Sim Não Não

Priscila Sim Sim Não

Leonardo Sim Sim Sim

Carolina Priscila Leonardo

Questionário de altura

Posição dos itens na escala

Guardar a bagagem

Pés fora da cama

Atrás na fila

17169 4 15 7 20 18

12

11

10

14 5 13 6 3 2 19 8

1

1,5 1,6 1,7 1,8 1,9

Carolina Priscila Leonardo

14,6%

32%

43,6%

9,8%

Posição dos itens e pessoas na escala

17169 4 15 7 20 18

12

11

10

14 5 13 6 3 2 19 8

1

1,5 1,6 1,7 1,8 1,9

Uso da TRI na produção das medidas

A TRI nos permite:

Comparar resultados de diferentes avaliações, como o SAEB.

Avaliar com alto grau de precisão a proficiência de alunos em amplas áreas do conhecimento sem submetê-los a longos testes.

Comparar os resultados entre diferentes séries, como o início e fim do Ensino Médio.

@@@@@

INSERIR CÓPIA DA ESCALA

@@@@@

Escala de ProficiênciaA nossa “régua” para o desempenho

Como interpretar os resultados de proficiência?

Uma das formas mais simples e objetivas de se analisar os resultados da avaliação é através dos padrões de desempenho.

Estes padrões representam recortes na escala de proficiência, definidos a partir dos objetivos e metas de aprendizagem de cada etapa e disciplina avaliada.

Dimensões avaliadas

Relacione a imagem a seguir com as desigualdades sociais existentes na escola:

Quais relações de desigualdade essa figura pode representar no contexto escolar?

Reflexão

Outras dimensões avaliadas

Fatores socioeconômicos

Fatores familiares

Fatores individuais

Gestão e administração

Prática pedagógica

Condições de infraestrutura

Qualificação dos profissionais

Fatores Extraescolares Fatores Intraescolares

Ilustrando o nosso desafio

Avaliação Educacional

Externawww.caed.ufjf.br