View
218
Download
0
Category
Preview:
Citation preview
Reinventando o ensino médio: monitoramento e avaliação concomitante do primeiro ano do projeto em
curso na rede estadual de Minas Gerais
V Seminário Nacional da RBMA - Campinas, 26 de setembro de 2013
Felipe Michel S. A. Braga Ana Amélia de Paula Laborne Iara Azevedo Vitelli Viana Vanda Catarina Duarte
ESCRITÓRIO DE
PRIORIDADES ESTRATÉGICAS www.escritorio.mg.gov.br
SECRETARIA DE ESTADO DE EDUCAÇÃO
www.educacao.mg.gov.br
Projeto Reinventando o Ensino Médio (REM)
Contextualização
• Ensino Médio, um cenário devastado.
• Percepção: Ensino Médio não é atrativo para os estudantes e não há garantias de qualidade na aprendizagem.
• Proposta do REM: reformulação curricular, emprego de novas técnicas didático-pedagógicas, fortalecimento da gestão escolar, capacitação dos professores e melhoria da infraestrutura das instituições de ensino.
Reformular o Ensino Médio, reconstruindo sua identidade e tornando-o mais atrativo, de modo a permitir que os alunos sejam preparados para o prosseguimento dos estudos e/ou para o ingresso no mundo do trabalho.
http://www.educacao.mg.gov.br/sobre/programas/action/2825-novo-ensino-medio-reinventando-o-ensino-medio
Objetivo do Reinventando
Concepção
• Diagnóstico: ausência de projeto para o Ensino Médio
• Concepção do Reinventando o Ensino Médio
• Escolha das primeiras áreas de empregabilidade e das escolas piloto
Universalização
• Sistema estadual de ensino médio (+2 mil escolas)
• 10 áreas de empregabilidade (3 por escola)
• Novo ensino médio implantado em todas a rede
• Internalização do M&A do REM na SEE
Expansão
• 11 escolas piloto + 122 novas escolas
• Expansão para todas as 47 SRE
• NAPEM: 2 analistas por regional (100 pessoas)
• 7 áreas de empregabilidade (3 por escola)
• Monitoramento via cartões de resposta
2011 2013 2014
Histórico do projeto, do monitoramento e avaliação
Piloto
• 11 escolas piloto, norte de Belo Horizonte
• Elaboração e implantação do M&A via Escritório/SEE
• Empreendedores alocados no REM
• Novas áreas de empregabilidade definidas pela SEE
2012
Foco do artigo
Diferença entre monitoramento e avaliação
Avaliação
Determinação do valor ou mérito de um objeto de avaliação.
Monitoramento
Acompanhamento contínuo e cotidiano.
• Ambos para provisão de informações sobre ciclo do projeto.
• Esforço por verificar a adequação do desenho do programa à sua finalidade, com implementação adaptativa.
• Foco na verificação dos efeitos nas escolas e no ajuste do modelo - é um projeto de expansão gradual para universalização em realidades heterogêneas.
Características principais
Monitoramento
Objetivo:
Acompanhar a implementação do Reinventando o Ensino Médio, identificando os pontos críticos que pudessem comprometer seu resultado e os aspectos positivos que pudessem fortalecer a implementação e/ou expansão do mesmo. Com isso, promover uma discussão que subsidiasse a Secretaria de Estado de Educação na tomada de decisão sobre os próximos passos.
Metodologia:
Entrevistas semi-estruturadas com os principais atores do Reinventando na escola, realizadas pelas equipes da SEE/MG e Escritório de Prioridades Estratégicas.
Monitoramento do Projeto Reinventando o Ensino Médio
Visitas
1ª visita (abril/maio)
Foco: sondagem inicial (comunicação, expectativa, especificidades do projeto)
Questionário-Entrevista
Diretor
Coordenador
Orientador
Professor
2ª visita (agosto/out.)
Foco: execução (acompanhamento dos indicadores)
Questionário-Entrevista
Professor
Coordenador
Orientador
Alunos
3ª visita (novembro/dezembro)
Foco: execução e avaliação do Projeto
Questionário-Entrevista e autoaplicado
Diretor
Professor
Coordenador
Orientador
Alunos
Número de entrevistados nas três visitas:
ESCOLA
1ª visita 2ª visita 3ª visita
19 a 31/05/2012 15 a 30/09/2012 26/11/2012 a 13/12/2012 Grupo
Gestor¹ Professor
Grupo
Gestor Professor Aluno
Grupo
Gestor Professor Aluno
EE Carlos Drumond de
Andrade 5 4 4 4 9 5 13 49
EE Donato Werneck de Freitas 5 4 4 4 6 5 7 29
EE Margarida de Melo Prado 5 4 4 4 3 5 4 14 EE Maria Luiza Miranda
Bastos 5 4 4 4 12 5 8 68
EE Paschoal Comanducci 5 4 4 4 8 4² 5 40
EE Presidente Tancredo Neves 5 4 4 3 9 5 5 45
EE Prof. Bolivar de Freitas 5 4 4 4 6 5 5 30
EE Prof. Hilton Rocha 5 4 4 4 10 5 9 50
EE Profa. Francisca Malheiros 5 4 4 4 5 5 4 25
EE Profa. Inês Geralda de
Oliveira 5 5 4 4 7 5 4 28
EE Profa. Maria Coutinho 5 5 4 4 7 5 10 36
TOTAL 55 46 44 43 82 54 74 414
TOTAL GERAL 101 169 451
Nota: ¹ grupo gestor: diretores, coordenadores e orientadores. ² uma orientadora se encontrava em licença maternidade.
Avaliação
Objetivo: Acompanhar a implementação do Reinventando o Ensino Médio, verificando seus efeitos sobre os alunos e professores do 1º ano do EM das 11 escolas do REM, nos seguintes aspectos:
• Atratividade, permanência e conclusão; • Percepção sobre o ambiente escolar.
Metodologia: Avaliação de Impacto (Diferença em Diferenças, Modelo hierárquico: escolas e alunos, Pareamento pelo vizinho mais próximo).
Pesquisa de Avaliação
t0 t1
Alunos Professores Alunos Professores
Período de aplicação
17 a 25 de abril 23/mai a
25/jun 12/nov a 12/dez 12/nov a 12/dez
Questionários auto-aplicados
Em sala de aula Urnas Em sala de aula Urnas
Responsável pela aplicação
CONTRATAÇÃOEmpresa Jr. (Aplicação e Digitação)
Escritório e SEE (Aplicação e Digitação)
CONTRATAÇÃO Empresa Jr.
(Aplicação e Digitação)
Número de questionários
4.104 (+-70%)
262 (+-55%)
3.619 (+-60%)
217 (+-45%)
Custos R$8.839,00 R$12.710,00
Nota: ¹Opinião de diretores
Quais as principais dificuldades para a implementação do Reinventando nessa escola? ¹
0 1 2 3 4 5 6 7 8
Não existem dificuldades na implementação do Reinventando
Ausência de formação do professor nos conteúdos das áreas de empregabilidade
Incapacidade de se trabalhar com a mesma qualidade nos diferentes turnos
Ausência de diretrizes claras em relação a implementação do Reinventando
Número insuficiente de professores com o perfil necessário para atuar na coordenação e orientação
Insuficiência de material e/ou equipamentos
Indisponibilidade de tempo dos orientadores
Dificuldade de executar o patamar mínimo
Falta de apoio e/ou suporte da SEE-MG
Alguns resultados do monitoramento
Nota: ¹Opinião de diretores (1ª visita) e de coordenadores (2ª e 3ª visitas)
A escola possui laboratório de informática com 20 computadores em condições de funcionar e com acesso à internet?¹
3 4
11 4
8
3
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1ª visita 2ª visita 3ª visita
Sim Parcialmente Não
Alguns resultados do monitoramento
Nota: ¹Informação dos professores
4
14
8
11
6
3
23
5
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
CBC
REM
Frequentemente De vez em quando Raramente Não utiliza
Com que freqüência você utiliza o laboratório de informática nas suas aulas?¹
Alguns resultados do monitoramento
0,0 5,0 10,0 15,0 20,0 25,0 30,0
Língua Portuguesa
Artes
Geografia
Biologia
Química
História
Física
Matemática
Inglês
Filosofia
Sociologia
Educação Física
Espanhol
0,0 25,0 50,0 75,0 100,0
Comunicação Aplicada
Turismo
Tecnologia da Informação
Nota: ¹Opinião dos alunos
Em quais disciplinas os professores usam em suas aulas equipamentos como data show, fotos, vídeos, filmes, computadores ou outros recursos didático-pedagógicos inovadores?¹
Alguns resultados do monitoramento
2
8 7
6
2
3 3 2
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1ª visita 2ª visita 3ª visita
Sim Parcialmente Não
Nota: ¹Opinião de diretores (1ª visita) e de coordenadores (2ª e 3ª visitas)
Em sua opinião, há interdisciplinaridade entre as áreas de empregabilidade e as disciplinas do CBC?¹
Alguns resultados do monitoramento
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Coordenadores
Diretores
Sim Não
Em sua opinião, o Reinventando contribuiu para reduzir o abandono nesse 1º ano de existência?
Alguns resultados do monitoramento
Em sua opinião, os alunos do 1º ano do Ensino Médio tem se interessado mais pelas aulas?
4
4
4
12
7
21
15
7
2
2
7
12
20
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Coordenadores
Orientadores
Professores - REM
Professores - CBC
Sim, em todos os turno Sim, principalmente no diurno Sim, principalmente no noturno Não
Alguns resultados do monitoramento
Alguns resultados do monitoramento
Em sua opinião, de maneira geral, você e seus colegas têm se interessado mais pelas aulas?¹
73
21
24
28
264
90
88
86
77
17
32
28
0% 20% 40% 60% 80% 100%
Total
Comunicação Aplicada
Tecnologia da Informação
Turismo
Sim Parcialmente Não 0% 20% 40% 60% 80% 100%
Total
EE Carlos Drummond de Andrade
EE Donato Werneck de Freitas
EE Margarida de Melo Prado
EE Maria Luiza Miranda Bastos
EE Paschoal Comanducci
EE Presidente Tancredo Neves
EE Prof. Bolivar de Freitas
EE Prof. Hilton Rocha
EE Profa. Francisca Malheiros
EE Profa. Inês Geralda de Oliveira
EE Profa. Maria Coutinho
Sim Parcialmente Não
Nota: ¹Opinião dos alunos
Alguns resultados do monitoramento
Numa escala de 1 a 10, você recomendaria o REM para outra escola?
0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 10,0
Alunos - Tecnologia da informação
Professores - CBC
Alunos - Comunicação Aplicada
Professores - REM
Alunos - Turismo
Orientadores - Turismo
Orientadores - Tecnologia da Informação
Orientadores - Comunicação Aplicada
Coordenadores
Diretores
Resultados da avaliação
ALUNOS
t0 t1
Sexo Masculino 49,7% 46,7%
Feminino 50,3% 52,3%
Idade
Até 15 anos 53,7% 45,1%
16 anos 22,7% 30,6%
17 anos ou mais 23,6% 24,3%
Turno
Manhã 50,9% 56,7%
Tarde 20,7% 21,7%
Noite 28,4% 21,6%
26% 27% 30% 30%
0%
5%
10%
15%
20%
25%
30%
35%
40%
Grupo de Controle Grupo de Tratamento
t0 t1
Alunos que possuem emprego ou trabalho.
Alunos Professores
3.1 Percepção da escola
3.2 Percepção de clima e ambiente
3.3 Percepção de infraestrutura
3.4 Autoconfiança *
3.5 Interesse
3.6 Perspectiva de formação
3.7 Inovação técnico-pedagógica
3.8 Nota para o REM 5,95 6,98 * Não necessariamente a diminuição é indesejada. - Não conclusivo.
Resumo dos resultados da avaliação
Comparando com um (01) ano atrás, como está a sua escola com relação à:
PROFESSORES
5,8%
10,7%
12,6%
50,5%
81,6%
38,8%
0% 20% 40% 60% 80% 100%
Grupo de Tratamento
Grupo de Controle Pior
Igual
Melhor
1 - Estrutura de recursos didático-pedagógicos (data-show, televisão, DVD, computador)
2 – Interesse dos alunos
19,0%
31,4%
52,0%
52,0%
29,0%
16,7%
0% 20% 40% 60% 80% 100%
Grupo de Tratamento
Grupo de Controle Pior
Igual
Melhor
Outras análises
Considerações finais
• Essa experiência prática de avaliação e de monitoramento conseguiu tornar a política e a aplicação de recursos públicos mais eficiente e eficaz.
• Desafios relacionados à operacionalização e institucionalização: hábito de apagar incêndios e dificuldade para instalar cultura de entrega.
• Percepção de necessidade de concepção e comunicação de planos mais simplificados, precisos e com poucas prioridades, para não incorrer na falta de foco, em fragmentação de esforços e em estabelecimento de iniciativas não generalizáveis.
• O monitoramento tem sido importante apoio para o Reinventando, porque tem permitido a correção de rumos antes da sua expansão, somando empenho sistemático e rigoroso para que o projeto dê certo.
Considerações finais • Quanto à avaliação, alguns indicadores não sofreram impacto significativo, ou nulo, apontando mudanças discretas no curto prazo.
• Aspectos mais concretos, como infraestrutura, indicaram percepção positiva, principalmente na percepção dos professores.
• Realce: a interpretação dos resultados da avaliação foram amplamente embasados pelos resultados do monitoramento.
• O esforço de planejar e executar o monitoramento e a avaliação, antes de executado o primeiro ano do projeto, favoreceu seu aperfeiçoamento.
• Há indicativos de que o REM pode levar a um melhor desempenho do Ensino Médio. Contudo, há necessidade de contínuo acompanhamento para ajustes e para afirmá-lo com base em dados.
Recommended