Oficina de Apropriação dos Resultados da Avaliação Palestrante: Luiz Vicente Fonseca Ribeiro Equipe de Análises Educacionais - EAE Coordenação de Análises

Oficina de Apropriação dos Resultados da Avaliação

Palestrante: Luiz Vicente Fonseca RibeiroEquipe de Análises Educacionais - EAECoordenação de Análises e Publicações - CAP

O que é avaliar?

Produzir algum julgamento sobre a realidade.

Dados e informações sobre determinada realidade.

Tomar decisão em função de um objetivo que se deseja alcançar.

Traçar estratégias de uma ação sobre o objeto avaliado.

DiagnósticaDiagnóstica FormativaFormativa SomativaSomativa

Pequena escalaPequena escala Larga escalaLarga escala

Tipos de Avaliação

Provas abertasProvas objetivas

Observação/RegistroPortfólio

TEORIA CLÁSSICA TEORIA DA RESPOSTAAO ITEM

TEORIA DA RESPOSTAAO ITEM

Avaliação Interna/Escola

Processo da aprendizagem

Avaliação Externa/SistemasAvaliação Externa/Sistemas

Testes de proficiência Questionários contextuais

Testes de proficiência Questionários contextuais

Desempenho dos alunosDesempenho dos alunos

Avaliação Educacional

Linha do tempo da Avaliação

SEAPE

SADEAM

SAEPI

SARESP

SIMAVE

SAERJ

SAERO

PAEBESSAEMS

SAEGO

AREAL

AVALIE

SISPAE

SALTO

SPAECE

SAEPESAEMI

SAERS

SAEP

Sistema de Av. da Educ. da Paraíba

AVALIA BH

ALFABETIZA RIO

Sistemas próprios de Avaliação

Vantagens dos sistemas próprios de Avaliação

Etapas básicas dos programas de avaliação

Como funciona a avaliação em larga escala?

O que é avaliado?

Matriz de Referência

@@@@@INSERIR TABELA COM CORTES DE PADRÕES

@@@@@

Como os testes são montados?

Itens Organizados em blocosDistribuídos em vários

cadernos

SuporteEnunciado

Comando

Alternativas de reposta

Gabarito

Distratores

O item e suas partes

Como os testes são corrigidos?

Parâmetros da Teoria de Resposta ao Item – TRI – utilizada para correção dos testes aplicados pelo CAEd.

A TRI nos permite:A TRI nos permite:

Comparar resultados de diferentes avaliações, como o SAEB.

Avaliar com alto grau de precisão a proficiência de alunos em amplas áreas do conhecimento sem submetê-los a longos testes.

Comparar os resultados entre diferentes séries, como o início e fim do Ensino Médio.

Uso da TRI na produção de medidas

Exemplo hipotético:

Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer.

Possíveis questões:Você consegue guardar as malas no bagageiro interno de um ônibus?Quando dorme à noite, seus pés ficam do lado de fora?Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados?

Como os valores de proficiência são gerados?

Exemplo de escala para a altura de uma pessoa

• Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus?

• Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada?

• Item 3 Para conversar com as pessoas, você precisa olhar para baixo?

1,5 1,6 1,7 1,8 1,9

Item 1 Item 2 Item 3

Carolina Priscila Leonardo

Exemplo de escala para a altura de uma pessoa

Como as questões estão associadas à altura da pessoa, podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

Escala de ProficiênciaA nossa “régua” para o desempenho

@@@@@INSERIR CÓPIA DA ESCALA

@@@@@

A escala de proficiência:A escala de proficiência:

Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência.

Isso permite colocar numa mesma “régua” – escala – todas as habilidades.

Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades, segundo sua complexidade, e ordená-las nessa “régua” comum para estimar o desempenho.

Como os valores de proficiência são gerados?

O que a avaliação externa possibilita?

Possibilidades dos Sistemas próprios de Avaliação

Diagnóstico do efeito das políticas públicas implementadas.

Utilização dos resultados, com foco na identidade escolar..

Monitoramento da qualidade da educação pública ofertada e a promoção da equidade.

Estabelecimento de Padrões de Desempenho estudantis e metas educacionais






Evolução da Proficiência Média

Evolução da Distribuição por Padrão de Desempenho







•Programa de cooperação, entre estado e municípios, implantado em 2005

com a finalidade de apoiar os municípios ,para alfabetizar os alunos da

rede pública de ensino até o final do segundo ano do ensino fundamental.•Programa propõe uma intervenção sistêmica que é executada através de

cinco eixos:

•Alfabetização

•Gestão Municipal

•Educação Infantil

•Avaliação Externa

Diagnóstico do efeito de política pública implementada








Monitoramento a qualidade da educação pública ofertada e a promoção da equidade.


Resultados Estaduais Transversais ou Longitudinais

da Rede•Planejamento e execução de políticas públicas.•Criação de metas de qualidade e equidade educacionais.•Implementação de medidas de responsabilização.•Políticas de incentivos diretos ou indiretos.•Ações de formação continuada de professores .

da Escola•Elaboração do projeto da escola.•Monitoramento da qualidade de ensino.•Subsídio para avaliação institucional.

Uso dos ResultadosGestor

• Projetos de intervenção pedagógica.

• Elaboração de projetos especiais.

• Foco nos alunos com dificuldades.

• Ações de reforço escolar.

• Planejamento das ações de sala de aula.

• Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica.

Uso dos ResultadosProfessor

• Acompanhamento individual do desempenho escolar pelos alunos e seus

familiares.

• Informações sobre a qualidade dos serviços educacionais oferecidos.

Uso dos ResultadosAluno e família




Monitoramento a qualidade da educação pública ofertada e a promoção da equidade.

Estabelecimento de Padrões de Desempenho estudantis e metas educacionais.

Descrição geral dos Padrões de Desempenho

Padrões Descrição

Abaixo do Básico

Neste Padrão de Desempenho, o aluno demonstra carência de aprendizagem do que é previsto para a sua etapa de escolaridade. Ele fica abaixo do esperado, na maioria das vezes, tanto no que diz respeito à compreensão do que é abordado, quanto na execução de tarefas e avaliações. Por isso, é necessária uma intervenção focada para que o aluno possa progredir em seu processo de aprendizagem.

Básico

O aluno que se encontra neste Padrão de Desempenho demonstra ter aprendido o mínimo do que é proposto para o seu ano escolar. Neste nível ,ele já iniciou um processo de sistematização e domínio das habilidades consideradas básicas e essenciais ao período de escolarização em que se encontra.

Adequado

Neste Padrão de Desempenho, o aluno demonstra ter adquirido um conhecimento apropriado e substancial ao que é previsto para a sua etapa de escolaridade. Neste nível, ele domina um maior leque de habilidades, tanto no que diz respeito à quantidade, quanto à complexidade, as quais exigem um refinamento dos processos cognitivos nelas envolvidos.

Avançado

O aluno que atingiu este Padrão de Desempenho revela ter desenvolvido habilidades mais sofisticadas e demonstra ter um aprendizado superior ao que é previsto para o seu ano escolar. O desempenho desses alunos, nas tarefas e avaliações propostas, supera o esperado e, ao serem estimulados, podem ir além das expectativas traçadas.

Projetos de intervenção pedagógica a partir dos Padrões de Desempenho

Seape 2013

Gestão, desempenho escolar e Gestão, desempenho escolar e cumprimento de normascumprimento de normas

Fatores socioeconômicosFatores socioeconômicos

Fatores familiaresFatores familiares

Fatores individuaisFatores individuais

Gestão e administração Gestão e administração

Prática pedagógicaPrática pedagógica

Condições de infraestruturaCondições de infraestrutura

Qualificação dos profissionaisQualificação dos profissionais

Fatores Extraescolares

Fatores Intraescolares

Fatores Associados ao Desempenho

Em que consiste considerar os fatores associados ao Desempenho?

Análises Contextuais – Seape 2013

Dados considerados

Questionários de alunos, professores e diretores aplicados no Seape 2012.

Ênfases

Dimensão normativa do clima escolar.Práticas de gestão.

• O clima escolar pode ser entendido como um conjunto de características sociais, culturais e psicológicas da escola, que, se relacionando continuamente influencia, substancialmente, a aprendizagem e o desempenho dos estudantes.

• É composto por uma série de elementos estruturais, pessoais e organizativos da escola, que interagem através de um processo dinâmico.

• O resultado das interações deste processo é o clima escolar, um ambiente próprio, uma espécie de estilo singular da escola, que influencia, significativamente, a forma como a escola desenvolve e conduz seus processos educativos.

Clima Escolar

O clima escolar pode ser decomposto em quatro contextos:• Contexto imaginativo: envolve a percepção do ambiente

escolar no que diz respeito ao incentivo, à criatividade e à imaginação, percebendo ou não a escola como um local onde os agentes escolares se sentem estimulados a compreender e a experimentar o mundo a partir de suas próprias percepções e concepções.

• Contexto instrucional: envolve as percepções dos atores acerca da orientação acadêmica no contexto da instrução do ensino. No caso dos estudantes, acerca de como eles percebem o interesse ou o desinteresse dos professores pela aprendizagem, e também se o ambiente é propício para atingir os objetivos educativos e adquirir habilidades.

Contextos do clima escolar

• Contexto inter-relacional: este contexto está relacionado à percepção da qualidade e da frequência com que as relações, entre os atores, são estabelecidas no ambiente escolar, bem como a percepção acerca da preocupação, no nível dos estudantes, que professores e diretores têm diante de seus problemas e dificuldades. Ou seja, diz respeito ao contexto de qualidade interpessoal, de confiança e bem estar entre os agentes.

• Contexto normativo: envolve as percepções acerca do nível de participação dos agentes no estabelecimento das regras que coordenarão suas ações, além da percepção sobre o efetivo cumprimento das normas na escola.

Contextos do clima escolar

O índice de percepção do contexto normativo foi construído com base nas seguintes questões:• os professores favorecem alguns alunos mais do que outros;• os alunos desconhecem as normas da escola;• os alunos são punidos frequentemente por ações que não fizeram;• as punições da escola são sempre justificadas;• os alunos são punidos por qualquer motivo;• perdemos muitas aulas porque o professor falta com frequência;• os professores têm dificuldade para fazer os alunos entrarem na sala

para o início das aulas;• muitos alunos durante as aulas ficam do lado de fora da sala fazendo

barulho;• por qualquer motivo, os alunos são colocados para fora da sala de aula.

Clima Normativo e Desempenho

• Para facilitar a análise, as escolas foram divididas em três grupos, de acordo com o valor que agregaram a seus estudantes.

• O valor agregado de cada escola foi estabelecido pela diferença entre o desempenho médio esperado para a escola, tendo em vista a condição socioeconômica média de seus alunos, e o desempenho de fato obtido pela escola.


Os grupos de escolas por valor agregado são:

• Escolas sem valor agregado: são aquelas cujo desempenho esperado é menor ou igual ao desempenho que elas, efetivamente, obtiveram nas avaliações. No gráfico a seguir, estão representadas pela cor azul.

• Escolas com baixo valor agregado: são aquelas cuja diferença entre o desempenho observado e o desempenho esperado é maior do que zero e menor do que 12,5 pontos de proficiência (um quarto do desvio padrão). No gráfico a seguir, estão representadas pela cor vermelha.

• Escolas com alto valor agregado: são aquelas cuja diferença entre o desempenho observado e o desempenho esperado é maior do que 12,5 pontos de proficiência (um quarto do desvio padrão).


Percepção do contexto imaginativo do clima escolar, segundo os alunos, e do valor agregado

Análises Contextuais

Fonte: Seape 2012

• Entre as escolas que mais agregam valor a seus estudantes, o maior percentual se concentra no grupo de escolas que tiveram seu clima escolar avaliado como bom, por parte dos estudantes.

• Estes resultados mostram a importância da efetivação das normas escolares para o desempenho dos alunos.

• Como parte integrante do clima escolar, o contexto normativo pode ser um importante aliado da gestão da escola para que melhores resultados educacionais sejam alcançados.

• O gestor não é o único responsável pelo estabelecimento de um bom clima escolar, mas, não resta dúvida, é figura central para que o mesmo seja constituído.


Aspectos Contextuais e Desempenho Escolar:

Avaliação em larga escala:em que avançamos e quais os desafios?

Sistemas Estaduais de Avaliação Em que avançamos?

Sistemas Estaduais de Avaliação Em que avançamos?

Canais de divulgação

Sistemas Estaduais de Avaliação Desafios

OBRIGADO!

Mais informações: acesse os links abaixo.

www.seape.caedufjf.netwww.caed.ufjj.br

[email protected]

Documents

Oficina de Apropriação dos Resultados da Avaliação Palestrante: Luiz Vicente Fonseca Ribeiro Equipe de Análises Educacionais - EAE Coordenação de Análises