View
215
Download
0
Category
Preview:
Citation preview
A relevância do monitoramento e da avaliação para a Fundação Roberto MarinhoSETEMBRO | 2013
Autoras:
Guimarães, Vilma
Pinto, Mônica Dias
Soares, Rosalina Maria
A FRM
Origem e finalidade:
Uma Fundação familiar criada em 1977 visando contribuir para a melhoria
da qualidade de vida da população brasileira por meio de projetos que
reunissem comunicação e educação
Eixo educacional em diferentes áreas:
• Educação e implementação
• Educação Profissional
• Meio Ambiente
• Patrimônio
• Canal Futura
Avaliação (M&A) anterior à
institucionalização do Núcleo de Pesquisa e
Avaliação
Não são as respostas que movem o mundo: são as perguntas
Quais os resultados e impactos dos
projetos da FRM?
Composição do Núcleo de Pesquisa e Avaliação
Para que avaliar? • Relevância dos projetos para os stakeholders das
diferentes áreas
• Aprimorar os projetos
• Comunicar e celebrar os resultados junto a
diferentes públicos
Há 10 anos atrás:
Como fazemos para
Kellogg Foundation, 2004
Modelos Lógicos
Pfeiffer, 2000
Ferramenta de gestão
• Refletir sobre as reais possibilidades de alcance de um projeto social
• Aumentar o envolvimento e a utilidade da avaliação
Como planejar avaliações relevantes?
Quem precisa
aprender com a
avaliação?
O que precisa
aprender?
Com que
propósito?
Quando?
Davidson, 2004
Chianca, 2013
• Envolvendo os interessados na definição das aprendizagens que se deseja ter
Perguntas avaliativas
O dia a dia do Núcleo de Pesquisa e Avaliação
� Licitar e contratar a partir de briefing elaborado com a área gestora do projeto
� Aproximar o avaliador com os projeto e as equipes da FRM
� Disponibilizar e refletir junto com avaliador sobre as Informações do monitoramento
� Acompanhar e sugerir melhorias do cadastro dos projetos (base de dados)
� Planejar com o avaliador a coleta de dados: acordos de datas, comunicação,
autorizações
� Validar os instrumentos (questionários, roteiros, etc)
� Planejar o formato e tamanho do relatório
� Realizar leitura e encontros para entendimento/reflexão sobre as informações
� Estimular o uso da avaliação
� Validar a qualidade do relatório
O projeto Igarité/EJA
Onde? Amazonas
Para quê? Oferecer a jovens e adultos a oportunidade de concluir, com qualidade, a
1ª etapa do EF em 2 anos (2º,3º,4º e 5º anos)
Parceria: Secretaria de Educação do Estado do Amazonas
Desafios: Distâncias das comunidades, escassez de professores especialistas,
comunidades indígenas de diversas etnias
Estratégias: Centro de Mídias de Educação do Amazonas + Materiais do Telecurso +
Metodologia Telessala + ações estruturantes (formação dos professores,
acompanhamento, avaliação no processo)
• Professor especialista no estúdio e interatividade com os professores e alunos das
demais salas de aula
Monitoramento do Igarité/EJA
Duplo objetivo:
• Coletar informações para identificar desafios enfrentados na
implementação
• Apoiar a prática docente (formação em serviço)
Periodicidade e nº de visitas:
3x ao ano – dois dias em cada sala de aula • Diagnóstico de leitura e matemática
• Implementação da Metodologia
Planejamento
Avaliação do Igarité/EJA
Com qual finalidade? Identificar o desenvolvimento de habilidades e competências dos
estudantes
Qual metodologia ?
ENCCEJA: Exame Nacional de Certificação de Competências de Jovens e Adultos
SAEB: Sistema de Avaliação da Educação Básica
INAF: Indicador de Alfabetismo funcional
Não tínhamos acesso a itens calibrados
Mensurar habilidades e competências de estudantes do ensino regular
Medir o grau de alfabetismo funcional da população brasileira
adulta através das habilidades e práticas de leitura, escrita e de cálculo aplicadas ao cotidiano
Metodologia INAF
Teoria de Resposta ao Item (TRI)
Metodologia estatística que propõe modelos teóricos para
• Representar o comportamento dos itens
• Indicar a habilidade dos jovens e adultos
Níveis de Alfabetismo
Analfabeto Rudimentar Básico Pleno
Indivíduo que não consegue realizar
tarefas simples que envolvem a
leitura de palavras e frases, ainda que
uma parcela deste grupo consiga ler
números familiares (números de
telefone, preços, etc.)
Pessoa cujas habilidades não
mais impõem restrições para
compreender e interpretar
textos em situações usuais
Etapas da avaliação
Modelo Longitudinal
Linha de Base + Intermediária + Somativa
Linha de base + somativa: teste cognitivo e questionário contextual
Fase intermediária: qualitativa para entender a operacionalização da
metodologia
Resultados da avaliação
Número de participantes
Absolutos Matriculados
Matriculados 1.336 100%
Frequentando 904 68%
Presentes na aplicação 575 43%
Preencheram 559 42%
Distribuição dos estudantes por cor/raça
Absoluto %
Branco 46 8
Pardo 261 47
Preto 37 7
Amarelo 6 1
Indígena 199 36
Não Respondeu 9 2
Total 559 100
Resultados da avaliação
Teste cognitivo
Itens de maior acerto: apoio visual,
sem necessidade de leitura de texto
escrito
Muitos itens sem respostas: em
especial aqueles de dificuldade
mediana e mais complexos
Não foi possível usar a TRI
Abordagem qualitativa
• Cultura indígena e avaliação q
• Mediação tecnológica
(possibilidades e desafios)Teoria Clássica: acerto e erro
Lições Aprendidas
�A relevância do desenho longitudinal da avaliação: uso no processo
�É preciso “jogo de cintura” para lidar com os desafios e ainda assim fazer bons usos dos resultados
�A importância do envolvimento dos stakeholders na construção do ML e dos modelos de avaliações: são processos de amadurecimento coletivo
�As avaliações podem sim gerar aprendizagens:
�Para o projeto
�Para a própria avaliação
Recommended