OFICINA DE APROPRIAÇÃO DE RESULTADOS 2011 · AVALIAR. É refletir sobre uma determinada...

OFICINA DE APROPRIAÇÃO

DE RESULTADOS 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

AVALIARÉ refletir sobre uma determinada realidade, a partir de

dados e informações, e emitir um julgamento que possibilite uma ação.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

O CAEd – Centro de Políticas Públicas e Avaliação daEducação, da UFJF, é uma instituição que elabora edesenvolve programas de avaliação sobre orendimento escolar dos alunos de escola públicas,promovidos pelas Secretarias Estaduais de Educação.Também cria e promove cursos de formação,qualificação e aprimoramento aos profissionais daEducação de diversos Estados do Brasil, além dedesenvolver software para a gestão de escolaspúblicas (como por exemplo, os projetos SisLame eSIMADE) com o objetivo de modernizar a gestãoeducacional.O CAEd também presta serviços de apoio para odesenvolvimento de projetos educacionaispromovidos por iniciativas privadas, a exemplo dealgumas ações da Fundação Roberto Marinho, doInstituto Unibanco e da Fundação Oi Futuro.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Tipos de Avaliação

•Avaliação Interna• Processo de Aprendizagem• Diversos Instrumentos de Avaliação• Avaliação Formativa• Teoria Clássica dos Testes (Nota)

•Avaliação Externa• Produto (habilidades)• Teste de Múltipla Escolha• Teoria de Resposta ao Item (TRI)

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Por que avaliar um sistema educacional

Obter informações sobre o nível de desenvolvimento das habilidades dos estudantes com vistas à implementação de políticas públicas e à organização dos processos de ensino e de aprendizagem

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

•Quais são os objetivos do SAEPI?

• O que o SAEPI avaliou em sua edição de 2011?

•Você acha que os resultados dessa avaliação podem ser utilizados para a melhoria da educação em nossa escola? Se sim, como?

Algumas características do SAEPI

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Algumas características do SAEPI

• Programa que visa diagnosticar o desempenho

dos estudantes em diferentes áreas do

conhecimento e níveis de escolaridade, bem

como subsidiar a implementação, a

(re)formulação e o monitoramento de políticas

educacionais, contribuindo ativamente para a

melhoria da qualidade da educação no estado.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Alguns objetivos do SAEPI

•Desempenho escolar;• Análise dos resultados possibilita intervençãopedagógica;• Dados do SAEPI devem fazer parte daproposta de melhoria da qualidade daeducação ofertada pela escola

Seção 1

Matriz de Referência

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Aspectos a serem considerados em uma Matriz

• Constitui um parâmetro de orientação para avaliação;• Apresenta o objeto da avaliação;• Caráter de universalidade; • Orientação na elaboração de itens.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Ressaltamos que as matrizes de referêncianão englobam todo o currículo escolar.

Um recorte é feito com base no que épossível aferir por meio do tipo deinstrumento de medida utilizado na avaliaçãoe que, ao mesmo tempo, é representativo doque está contemplado nos currículos.

Vejamos um exemplo:

Simulação de Pesquisas

Elaboração e aplicação de

questionários

Interpretação dos resultados da

Pesquisa

Tabelas

Gráficos

Resolver problemas envolvendo informações

apresentadas em Gráficos e Tabelas

Ler, selecionar e interpretar

informações em Gráficos

Construção de Tabelas

Construção de Gráficos

Conteúdo: Probabilidade e EstatísticaExemplo:

A Matriz de Matemática está estruturada em TEMAS:

I − Espaço e Forma;II – Grandezas e Medidas;III – Números e Operações / Álgebra e Funções;IV – Tratamento da Informação.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Destes temas selecionados:Espaço e Forma, Grandezas e Medidas, Números e Operações e Tratamento da

Informação

temos cada um deles representandoconteúdos com base nos quais sãoelaborados descritores que expressamhabilidades em Matemática.

Matriz de Referência para Avaliação

Elemento base de origem dos testes utilizados no SAEPI.Garante legitimidade e transparência à avaliação.

É formada por um conjunto de descritores que, agrupadosem tópicos/temas, apresentam as habilidades consideradasbásicas e possíveis de serem aferidas por meio do instrumentoutilizado em avaliações em larga escala.

Não abarca todo currículo escolar. Por isso, não pode serconfundida com parâmetros curriculares, Base CurricularComum - BCC, procedimentos ou estratégias de ensino ouOrientações Teórico-Metodológicas - OTM, nem com o conteúdoa ser trabalhado pelo professor em sala de aula.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Como a Matriz de Referência dá origem aos testes?

• Constitui um parâmetro de orientação;

• Apresenta o objeto da avaliação;

• Caráter de universalidade;

• Orienta a elaboração de itens.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

MATRIZ DE REFERÊNCIA

Conjunto de descritores

Conteúdo programático na

área de conhecimento a

ser avaliada

Descritores originados do cruzamento entre conteúdos

programáticos e as habilidades e competências cognitivas

que lhes são próprias.

Nível de operação mental

necessário para a

aprendizagem

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Algumas interpretações teóricas

Competências e Habilidades

Competências referem-se às diferentes modalidadesestruturais da inteligência que compreendem determinadasoperações que o sujeito utiliza para estabelecer relações com eentre os objetos físicos, conceitos, situações, fenômenos epessoas.

As habilidades instrumentais referem-se especificamente aoplano do saber fazer e decorrem, diretamente, do nível estruturaldas competências já adquiridas e que se transformam emhabilidades.

PERRENOUD, P. Práticas pedagógicas, profissão docente e formação. Lisboa: Dom Quixote, 1993

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Aspectos a considerar sobre Descritores

• Os descritores têm origem na associação entre osconteúdos curriculares e as operações mentaisdesenvolvidas pelo estudante que se traduzem emcertas habilidades.

• Constituem uma sumária “descrição” dashabilidades esperadas ao final de cada períodoescolar avaliado.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

21

• A função dos descritores é, portanto, indicar as habilidades queserão objeto de avaliação, no conjunto de itens que compõe oteste em cada período de escolaridade.

• Os descritores:- pretendem indicar quais as habilidades que se espera

que os alunos tenham desenvolvido;- constituem a referência para a elaboração dos itens que

devem compor o teste de desempenho.

• É a matéria-prima para elaboração dos itens.

Aspectos a considerar sobre Descritores

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

O QUE É UM ITEM?

• É uma questão do teste de larga escala.• Avalia uma única habilidade, portanto o item é

unidimensional.• Obtém um resultado por estudante, que

permite avaliar as hipóteses levantadas por ele.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

•Descreve cada uma das habilidades da Matriz

• Avalia apenas uma única habilidade

• Representa uma subdivisão de acordo com o conteúdo, competências de área e habilidades.

• Agrupa as habilidades passíveis de avaliação em um teste de proficiência.

Matriz Tema Tópico

DescritorItem

Das Matrizes aos itens dos testes de proficiência

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Considerar

Grau de Dificuldade – diz respeitoà adequação entre a formulaçãodo item e a capacidade deresposta do estudante.

Discriminação – capacidade do itemde distinguir estudantes comdiferentes níveis de habilidade.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Comando

Distratores

Gabarito

O ITEM E SUAS PARTES

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Suporte

- enfocar uma única situação-problema;- incluir no enunciado uma figura, um

recorte de jornal ou revista, uma fotografia,ua elaboração;

- redigir o enunciado de forma direta e afirmativa;

- utilizar vocabulário adequado ao nível de escolaridade do estudante;

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

- excluir qualquer referência discriminatória quanto a etnia;

religião, gênero ou orientação sexual;- observar as normas da ABNT na

apresentação de textos e figuras;- não utilizar “pegadinhas” nem “dicas”;- não utilizar termos como “sempre”,

“nunca”, “todo”, “totalmente”.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

estar diretamente relacionada a um único descritor da Matriz de Referência;

formular de maneira positiva;

a tarefa desejada em conexão com o problema proposto.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Quanto à Redação

Enunciado: deve ser claro, preciso e conciso.

Gabarito: exclusivamente um.

Distratores: devem ser plausíveis.

Suportes: devem conter informações relevantes.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Como são construídos os testes de proficiência que permitem medir o desempenho escolar?

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Objetivos da oficina

Agora, vamos analisar os descritores da matriz de referência do SAEPI que norteiam a elaboração dos itens presentes nos testes de Matemática.

Aspectos a considerar sobre Descritores

• Os descritores têm origem na associação entre osconteúdos curriculares e as operações mentaisdesenvolvidas pelo aluno que se traduzem em certashabilidades.

• Constituem uma sumária “descrição” das habilidades esperadas ao final de cada período escolar avaliado.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

• Constitui um parâmetro de orientação;

• Apresenta o objeto da avaliação;

• Caráter de universalidade;

• Orienta a elaboração de itens.

Como a Matriz de Referência dá origem aos testes?

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Objetivo

• Analisar e interpretar os resultados do SAEPIpara (re)planejamento das ações pedagógicasimplementadas em sala de aula, a seremdefinidas pelas escolas envolvidas no processode avaliação.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Atividade 1: Os Itens do Teste

Resolvam os itens.

Identifiquem a habilidade avaliadapelo item em análise.

Elaborem hipóteses cognitivas paraos distratores (alternativas erradas).

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Acertos por descritor – SAEPI – MT 9EF

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Interpretação pedagógicados resultados

Seção 2

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Formas de Apresentação dos Resultados

Proficiência média – médias comparadas

Participação

Distribuição do percentual de alunos por nível de proficiência e padrão de desempenho

Evolução do percentual de alunos por padrão de desempenho

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Os padrões de desempenho estudantil são os balizadores dos diferentes graus derealização educacional alcançados pela escola. Por meio deles é possível analisar adistância de aprendizagem entre o percentual de estudantes que se encontra nosníveis mais altos de desempenho e aqueles que estão nos níveis mais baixos. Adistância entre esses extremos representa, ainda que de forma alegórica, o abismoexistente entre aqueles que têm grandes chances de sucesso escolar e,consequentemente, maiores possibilidades de acesso aos bens materiais, culturais esociais; e aqueles para os quais o fracasso escolar e a exclusão social podem sermera questão de tempo, caso a escola não reaja e promova ações com vistas àpromoção da equidade.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Padrões de desempenho

estudantil

Estabelecimento e monitoramento das metas de qualidade

educacional

Caracterização do desempenho escolar

Grau de realização das ações

educacionais

Políticas públicas voltadas à promoção

da equidade

Identificação do percentual de alunos em risco pedagógico (evasão, reprovação

ou abandono)

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

SAEPI 2011Formas de Apresentação dos Resultados

Proficiência média – médias comparadas

Participação

Distribuição do percentual de alunos por nível de proficiência e padrão de desempenho

Evolução do percentual de alunos por padrão de desempenho

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Como você interpreta a posição de “sua” escola?

Vamos observar a escala...Vamos localizar as proficiências médias na escala de proficiência?

.

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Como você interpreta a participação?

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Se 7 fosse o número de estudantes que NÃO participaram da avaliação no

MUNICIPIO? Como seria esse percentual?

80%

Participação

De que forma você acha que a participação pode interferir nos resultados de nossa escola?

Pense em aspectos positivos e negativos!

Tempo para os participantes pensarem e apontarem esses aspectos....

Apontar percentual suficiente para retratar a realidade da escola.

Exemplo (próximo slide).

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Quais são as habilidades desenvolvidas por aproximadamente 38,7% dos estudantes?E por 48,4% dos estudantes? E por 12,9% dos estudantes?

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

12 15 4

Cálculo... variação proporcional direta

? = x31. 38,7 = 100.x1199,7 = 100.x1199,7/100 = x

11,997 = xX= 12

Número de Alunos Percentual31 100%? 38,7%

73

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

1 13

7

Retomando os conceitos

• Vocês viram que, na escala de proficiência,

existem diferentes cores. O que isso quer dizer?

• Quais são os intervalos, na escala de proficiência,

para cada padrão de desempenho?

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

77

Como você interpreta a posição de “sua” escola em relação ao resultado do município?

Vamos localizar as proficiências médias na escala de proficiência?

Qual é a quantidade de estudantes do MUNICÍPIO em cada padrão de desempenho?

Qual é o percentual de estudantes do MUNICÍPIO que estão ABAIXO DO BÁSICO, BÁSICO, ADEQUADO e AVANÇADO?

Qual é a quantidade de estudantes da “sua” escola em cada padrão de desempenho?

Qual é o percentual de estudantes da “sua” ESCOLA que estão ABAIXO DO BÁSICO, BÁSICO, ADEQUADO e AVANÇADO?

Como você interpreta a participação de alunos no MUNICÍPIO e em “sua” escola? Essa participação é representativa?

Qual é o percentual de estudantes do Município nos intervalos anteriores ao padrão de desempenho “Básico”? E na “sua” escola?

De Rede: Planejamento e execução de políticas públicas;

Criação de metas de qualidade e equidade educacionais;

Implementação de medidas de responsabi-lização;

Políticas de incentivos diretos ou indiretos;Ações de formação continuada de

professores.

De Escola: Elaboração do projeto da escolaMonitoramento da qualidade de ensino Subsídio para avaliação institucional

Uso dos Resultados1. Gestor

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Uso dos Resultados2 . Professor

• Intervenção pedagógica

• Elaboração de projetos especiais

• Foco nos estudantes com dificuldades

• Ações de reforço escolar

• Planejamento das ações de sala de aula

• Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Uso dos Resultados3. estudante

• Acompanhamento individual do desempenho escolar pelos estudantes e seus familiares

• Informações sobre a qualidade dos serviços educacionais oferecidos

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

Quais ações pedagógicas podemos implementar em

sala de aula para o desenvolvimento de habilidades

nesses grupos de estudantes?”

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

OFICINA DE APROPRIAÇÃO

DE RESULTADOS 2011