Upload
lamkhanh
View
220
Download
0
Embed Size (px)
Citation preview
RELATÓRIO DE EXECUÇÃO CICLOS 3 E 4
Campus do Vale - Prédio 43322 - Av. Bento Gonçalves, 9500 Porto Alegre - RS - 91509-900 - Phone: + 55 51 3308.9860
IP Videoconference CEGOV 143.54.129.46
cegov .ufrgs.br
CICLO DECAPACITAÇÃO
MDS
SAGISecretaria de Avaliação e Gestãoda Informação
Termo de Cooperação 001/2013Ciclo de Capacitação em Conceitos e Técnicas Para Elaboração de Diagnósticos, Monitoramento e Avaliação de Programas Sociais e Ações do MDSC
EGO
VC
ICLO
DE
CA
PAC
ITA
ÇÃ
O M
DS
- R
ELAT
ÓR
IO D
E EX
ECU
ÇÃ
O D
O C
UR
SO M
ON
ITO
RA
MEN
TO
Ministério doDesenvolvimento Social
e Combate à Fome
Termo de Cooperação 001/2013Ciclo de Capacitação em Conceitos e Técnicas Para Elaboração de Diagnósticos, Monitoramento e Avaliação de Programas Sociais e Ações do MDS
RELATÓRIO DE EXECUÇÃO CICLOS 3 E 4
Universidade Federal do Rio Grande do Sul (UFRGS)
O Centro de Estudos Internacionais sobre Governo (CEGOV) da Universidade Federal do Rio Grande do Sul (UFRGS) realiza estudos e pesquisas sobre a ação gov-ernamental, a partir de uma perspetiva comparada. O Centro reúne pesquisadores de distintas áreas da Uni-versidade e diversos núcleos de pesquisa tradicionais da UFRGS.
Reitor da UFRGSCarlos Alexandre Netto
Vice-Reitor da UFRGSRui Vicente Oppermann
Diretor do CEGOVPedro Cezar Dutra Fonseca
Vice-Diretor do CEGOVCláudio José Müller
Grupo de Trabalho do CEGOVAvaliação de Políticas Públicas
Coordenador do Grupo de TrabalhoLígia Mori Madeira
Centro de Estudos Internacionais sobre GovernoCampus do Vale, Prédio 43322 Av. Bento Gonçalves, 9500Porto Alegre - RS, Brasil, CEP 91509-900Tel:+55 51 3308-9860http://www.ufrgs.br/cegov/
Relatório do Curso de Indicadores para Diagnóstico do SUAS e do Plano Brasil sem Miséria Termo de Cooperação UFRGS-MDS 01/2013
Equipe Técnica CEGOV Aline Gazola Hellmann, Ana Carolina Ribeiro Ribeiro, Ana Julia Bonzanini Bernardi, Bruno Quevedo Sivelli, Gabriela Perin, Gianna Vargas Reis Salgado Dias, Giordano Benites Tronco, João Marcelo Conte Cornetet, Júlia da Motta, Marco Cepik, Thiago Borne Ferreira.
Projeto gráfico e diagramação Joana Oliveira de Oliveira, Henrique Pigozzo da Silva, Liza Bastos Bischoff, Gabriel Thier, Simone Rodrigues da Silva
Termo de Cooperação MDS-UFRGS 001/2013 Processo MDS nº 23078.038272/12-82 Título: CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓS-TICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDSUnidade Administrativa Responsável: Secretaria Avaliação e Gestão da InformaçãoUG/Gestão Repassadora: 550010/55000 – MDSUG/Gestão Recebedora: 153114/15235 – UFRGSData da Assinatura: 23/11/2012Data da Liberação do Crédito da primeira parcela no SIAFI: 16/05/2013Vigência do Termo Cooperação: 36 MESES
Convênio UFRGS-FEENG 027/2013
Título Convênio UFRGS - FEENG: ECO/CEGOV/ADM.PÚBLICA FEDERAL Protocolo Proc. Convênio UFRGS – FEENG: 23078.038272/12-82Data da Assinatura do Convênio UFRGS – FEENG: 30/07/2013 Vigência do Convênio UFRGS – FEENG: 30/07/2013 a 30/07/2015Protocolo Proc. tramitação recursos financeiros: 23078.038272/12-82Nome PROPLAN - CGPOF 24/12 PlanejamentoCódigo do Projeto: FAURGS: 6848-9Portal SICONV n. 783287/2013
01
SUMÁRIO
020304050607
INTRODUÇÃO................................................................................................................07
RESUMO DOS CICLOS..................................................................................................08
PERFIL DOS SELECIONADOS........................................................................................1 0
RESULTADOS....................................................................................................................15
AVALIAÇÃO DO CURSO.................................................................................................18
CONSIDERAÇÕES DOS ALUNOS.................................................................................25
CONSIDERAÇÕES FINAIS..............................................................................................28
LISTA DE GRÁFICOS
Gráfico 1 - Percentual acumulado de alunos que já havia acessado por semana do Ciclo...................... 08
Gráfico 2 – Frequência do gênero dos selecionados para ambos os ciclos............................................... 10
Gráfico 3 - número de selecionados por estado........................................................................................... 11
Gráfico 4 - Selecionados com deficiência.................................................................................................... 13
Gráfico 5 - escolaridade e formação dos alunos......................................................................................... 14
Gráfico 6 - Área de atuação profissional..................................................................................................... 14
Gráfico 7 - Percentual acumulado de concluintes da avaliação final......................................................... 15
Gráfico 8 - total de publicações nos fóruns Apresentação, Conteúdo, Ajuda Moodle em número absolu-to, com os ciclos dispostos em eixos distintos para permitir a comparação.............................................16
Gráfico 9 – total de publicações nos fóruns em número absoluto do Ciclo 4. Cada curva inclui os três fóruns de cada curso (Apresentação, Conteúdo, Ajuda Moodle) ........................................................... 16
Gráfico 10 - Resultados finais...................................................................................................................... 17
Gráfico 11 - Comparação de taxas de êxito segundo as metodologias antiga e nova............................. 29
Gráfico 12 - Taxa de êxito comparada segundo nova metodologia........................................................... 29
Figura 1 - origem dos alunos do Ciclo 4 por Unidade da Federação......................................................... 12
LISTA DE FIGURAS
LISTA DE TABELAS
Tabela 1 – Dados gerais dos Ciclos 3 e 4................................................................................................... 08
Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de alunos (sem excluir os evadidos).................................................................................................................15
Tabela 3 – total de publicações nos fóruns em número absoluto e em percentual do total de alunos (sem excluir os evadidos). Inclui os três fóruns de cada curso (Apresentação, Conteúdo, Ajuda Moodle).........................................................................................................................................................16
07CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS
INTRODUÇÃO
O presente relatório tem como objeto dois ciclos de capacitação desenvolvidos em parceria entre o Centro de Estudos Internacionais sobre Governo (CEGOV-UFRGS) e o Ministério do Desenvolvimento Social e Combate à Fome (MDS). Cada ciclo abrangeu três cursos:
1. Curso de Indicadores para Diagnóstico do SUAS e do Brasil Sem Miséria
2. Curso em Conceitos e Instrumentos para Monitoramento de Programas
3. Curso em Conceitos e Técnicas para Avaliação de Programas
Os Ciclos em tela desenvolveram-se, marcadamente, no segundo semestre do ano de 2015, mas consistiram em novas edições de cursos realizados anteriormente e abordados em relatórios precedentes. Levando em conta que uma série de questões importantes – como a Matriz Peda-gógica e o fundamento teórico de EAD – já foram exploradas em exaustão anteriormente, este relatório prima por maior concisão, atendo-se às espe-cificidades dos cursos abordados.
A principal novidade introduzida diz respeito ao fato dos cursos analisados serem “contínuos”. Diferentemente de edições anteriores, os alunos contaram com liberdade para realizar os cursos 1, 2 e 3 e nos prazos que lhes convinha. Nos Ciclos anteriores, era dado um prazo para o término do curso 1, seguido de um intervalo de duração variável até o momento em que era liberado o curso posterior, consequentemente até o término do Ciclo. Nos Ciclos 3 e 4, o prazo foi único e amplo (mais de 4 meses), e cada aluno realizou o curso como julgou melhor.
01
08 CEGOV
02RESUMO DOS CICLOS
CICLO III CICLO IV
Cursos MDS10, MDS11, MDS12 MDS13, MDS14, MDS15
Tipo Contínuo Contínuo
Início 15 de junho de 2015 31 de agosto de 2015
Término previsto 27 de setembro de 2015 14 de dezembro de 2015
Término prorrogado 25 de outubro de 2015 17 de janeiro de 2016
Total de alunos 133 6.470
Acessaram até o término do curso
106 (80%)1 5.061 (78%)2
Tabela 1 – Dados gerais dos Ciclos 3 e 4.12
Gráfico 1 - Percentual acumulado de alunos que já havia acessado por semana do Ciclo.
A duração dos ciclos foi semelhante: 4 meses e 10 dias para o Ciclo 3 e 4 meses e 17 dias para o Ciclo 4. No Ciclo 4, foi concedido prazo um pouco maior para compensar pelo período de feriados do fim do ano.
Com relação ao número de alunos, o Ciclo 3 contou com quantidade bastante menor: 133 alunos contra 6.470 no Ciclo 4. O Ciclo 3, portanto, teve características de turma piloto antes do lançamento de uma turma mais numerosa com o Ciclo 4.
O acesso ao Moodle seguiu padrão semelhante em ambos os ciclos. Inicialmente, ocorreu uma ascensão mais acelerada, iniciando de cerca de
1 Acesso depois de 14 de junho de 2015.2 Acesso depois de 31 de agosto de 2015.
Percentual acumulado de alunos que acessou
Semanas
100%
80%
60%
40%
20%
0% 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
Ciclo 3 Ciclo 4
09CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS
50% na semana inicial e estabilizando em patamar de cerca de 77% na semana 7. Na semana final, a décima nona, o nível de acesso era de 80% do Ciclo 3 e de 78% no Ciclo 4, de modo que não se alterou substancialmente a partir da sétima semana (Gráfico 1).
CEGOV 10
03PERFIL DOS SELECIONADOS
De modo geral, o perfil dos alunos não só se assemelhou entre os dois Ciclos aqui abordados, mas também refletiu o mesmo perfil de partici-pantes dos cursos anteriores ofertadas por meio da parceria CEGOV-SAGI. A principal exceção encontra-se no caso das origens dos alunos do Ciclo 3, predominantemente paulistas, o que se explica pelo fato de que os gestores convidados a integrarem essa turma piloto são oriundos de uma repartição específica baseada naquele Estado.
Observa-se, na frequência de gênero, que houve grande predomi-nância de mulheres entre os selecionados (Gráfico 2), reproduzindo-se o padrão das edições anteriores da capacitação.
Gráfico 2 – Frequência do gênero dos selecionados para ambos os ciclos
Com relação à a distribuição geográfica dos selecionados, a dife-rença entre os dois ciclos é mais substancial. Enquanto os alunos do ciclo 3 são oriundos sobretudo de São Paulo, a origem dos alunos do Ciclo 4 é mais diversa (Gráfico 3).
Frequência de gênero
Frequência de gênero
Ciclo 3 Ciclo 4
Feminino Masculino Feminino Masculino
92% 91%
9%8%
11CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS
Gráfico 3 - número de selecionados por estado.
Ao colocarmos os dados referentes aos alunos do Ciclo 4 em um mapa, evidencia-se a predominância de participantes nos Estados do Centro-Oeste, do Nordeste e do Sul (Figura 1), o que se explica, em parte, por serem unidades federativas de maior densidade populacional geral.
Número de selecionados por estadoNúmero de selecionados por estado
Ciclo 3
Ciclo 4
100
80
60
40
20
0
1000
800
600
400
200
0
ES DF CE PI PE RN MA MG RJ MS BA AL SP
AP RR RO AC TO DF GO AM AL SE PI PB SC ES MS MT MA PA RJ RN PE CE RS PR BA SP MG
1 1 1 1 1 2 2 4 5 5 8 9
92
877
726
575531
372368283281253
238237185
182168
157143
121118
108103
103999237342419
12 CEGOV
Figura 1 - origem dos alunos do Ciclo 4 por Unidade da Federação.
Quando interpelados sobre se tinham alguma deficiência física, 2% dos alunos do Ciclo 3 e 1% dos do Ciclo 4 responderam que sim. No caso do Ciclo 3, tratou-se de dois alunos, que especificaram suas deficiências: um deles com “paralisia braquial do braço direito” e outro com “gonoartrose bilateral”. No Ciclo 4, 75 alunos declararam-se deficientes, 32 deles com deficiência física, 16 com deficiência visual, 15 com deficiência auditiva e 12 com outras deficiências (Gráfico 4).
Participantes
19 877
13CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS
Gráfico 4 - Selecionados com deficiência.
No que tange a escolaridade, os ciclos apresentam características similares. A maioria dos alunos finalizou pós-graduação ou ensino superior. A área de formação dos alunos também é semelhante: cerca de 75% deles estudaram Serviço Social, cerca de 15% estudaram Psicologia, e os demais distribuem-se em áreas múltiplas com percentuais reduzidos (Gráfico 5).
Alunos com de�ciência
Ciclo 3 Ciclo 4
De�ciências declaradas no Ciclo 4
Alunos com de�ciência
Não Sim Não Sim
35
30
25
20
15
10
5
0 De�ciência física De�ciência visual De�ciência auditiva Outras de�ciências
43%; 32
21%; 1620%; 15
16%; 12
2% 2%
98% 99%
14 CEGOV
Gráfico 5 - escolaridade e formação dos alunos.
Por fim, com relação à atuação profissional dos participantes no momento do curso, a maioria compreendeu trabalhadores do SUAS. No caso do Ciclo 4, a gama mais ampla de alunos refletiu-se em um universo mais diverso de profissionais (Gráfico 6).
Escolaridade e área de formação
Ciclo 3 Ciclo 4
Ciclo 3 Ciclo 4
DoutoradoMestradoPós-Graduação Sensu (especialiação, aperfeiçoamento)Ensino superiorEnsino Superior IncompletoEnsino Médio Completo
DoutoradoMestradoPós-Graduação Sensu Ensino superior
(especialiação, aperfeiçoamento)
Serviço Social
Administração
Gestão pública
Administração Pública
Jornalismo
Serviço Social
Administração
Direito
Gestão pública
Políticas Públicas
Psicologia
Sociologia
Ciências Sociais
Políticas Públicas
Psicologia
Ciências Sociais
Economia
Administração Pública
8%1%
35%
48%
49%45%
76%
16%
72%
14%
1%1%7% 5%
Gráfico 6 - Área de atuação profissional.
Área de atuação pro�ssional
Ciclo 3 Ciclo 4
Trabalhador do SUAS
Gestor Municipal da Assistência Social
Não trabalho no SUAS
Trabalhador do SUASOutroNão trabalho no SUASConselheiro(a) da Assistência SocialGestor Municipal da Assistência SocialEstudante
6%
5%5% 4%
19% 61%
11%
11%
78%
15CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS
04RESULTADOS
CICLO III CICLO IVDiagnóstico 56 (42%) 1.805 (28%)
Monitoramento 45 (34%) 1.401 (22%)
Avaliação 41 (31%) 1.147 (18%)
Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de alunos (sem excluir os evadidos).
Gráfico 7 - Percentual acumulado de concluintes da avaliação final
Diferentemente do que ocorreu com o acesso dos alunos ao Moodle, em que houve similaridade nos Ciclos 3 e 4, verificaram-se padrões bem diferentes nos percentuais de alunos que concluíram a avaliação final – e que, portanto, chegaram ao fim do curso. No Ciclo 3, houve momentos de “saltos” nos términos dos cursos: no curso 1, entre semanas 5 e 7; no curso 2, entre semanas 11 e 15; no curso 3, entre semanas 13 e 16. No Ciclo 4, verificaram-se curvas constantes de ascendência leve ao longo de todo o período. A única semelhança consiste na aceleração tradicional nas semanas finais, mais pronunciada, de qualquer forma, no Ciclo 3 (Gráfico 7).
PUBLICAÇÕES NOS FÓRUNSCada Ciclo contou com 3 cursos, e cada curso contou com 3 fóruns:
Fórum de Apresentação, Fórum de Conteúdo, e Fórum de Ajuda Moodle. Em ambos os ciclos, foi verificada uma participação maior nos fóruns de apresentação e de conteúdo do que no fórum de ajuda do Moodle. As poucas
Percentual acumulado de concluintes da avaliação �nal
Semanas
50%
40%
30%
20%
10%
0% 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
Diagnóstico C4 Monitoramento C4 Avaliação C4
Diagnóstico C3 Monitoramento C3 Avaliação C3
16 CEGOV
dúvidas devem-se à clareza da plataforma e do material instrucional, em adição ao fato de que muitos alunos já haviam realizado cursos anteriormente (Gráfico 8).
Gráfico 8 - total de publicações nos fóruns Apresentação, Conteúdo, Ajuda Moodle em número absoluto, com os ciclos dispostos em eixos distintos para permitir a comparação.
Verificou-se, ademais, padrão análogo nos ciclos 3 e 4 no que se refere à participação maior no curso 1, intermediária no curso 2 e menor no curso 3 (Tabela 3). Esse padrão reflete o número menor de alunos que realizaram os cursos 2 e 3.
CICLO III CICLO IVDiagnóstico 68 (51,1%) 3.050 (47,1%)
Monitoramento 50 (37,6%) 1.742 (26,9%)
Avaliação 30 (22,5%) 912 (14,1%)
Tabela 3 – total de publicações nos fóruns em número absoluto e em percentual do total de alunos (sem excluir os evadidos). Inclui os três fóruns de cada curso (Apresentação, Conteúdo, Ajuda Moodle).
No caso do curso 4, foi feito acompanhamento semanal dos fóruns, o que permitiu a constatação de um padrão. Assim como se observou nas conclusões da avaliação final, ficou claro a participação maior no primeiro curso em um primeiro momento, no segundo curso em um segundo momento e no terceiro curso em um terceiro momento. Evidencia-se, portanto, que, ainda que seja dada aos alunos a possibilidade de realizar o ciclo na ordem que quiserem, a tendência é de que optem pela sequência tradicional (Gráfico 4).
Publicações nos fóruns Apresentação, Conteúdo e Ajuda Moodle
70
60
50
40
30
20
10
0
3000
2500
2000
1500
1000
500
0 Fórum de Apresentação Fórum de Conteúdo Fórum de Ajuda Moodle
Ciclo 3 Ciclo 4
17CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS
Gráfico 9 – total de publicações nos fóruns em número absoluto do Ciclo 4. Cada curva inclui os três fóruns de cada curso (Apresentação, Conteúdo, Ajuda Moodle).
RESULTADOS FINAIS
Gráfico 10 - Resultados finais.
Total acumulado de publicações em fóruns do Ciclo 43.500
3.000
2.500
2.000
1.500
1.000
500
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
Semanas
Diagnóstico Monitoramento Avaliação
CICLO 3
Diagnóstico Monitoramento Avaliação
CICLO 4
Diagnóstico Monitoramento Avaliação
Reprovados na AF
Aptos à certi�cação
Não �zeram AF
Evadidos
Reprovados na AF
Aptos à certi�cação
Não �zeram AF
Evadidos
Reprovados na AF
Aptos à certi�cação
Não �zeram AF
Evadidos
Reprovados na AF
Aptos à certi�cação
Não �zeram AF
Evadidos
Reprovados na AF
Aptos à certi�cação
Não �zeram AF
Evadidos
Reprovados na AF
Aptos à certi�cação
Não �zeram AF
Evadidos
27;20%
5;4%
51;38%
50;38%
27;20%
3;2%
42;32%
61;46%
27;20%
1;1% 40;
30%
65;49%
990;15%
3914;61%
1409;22%
1409;22%
1409;22%
133;2%
1672;26%
3256;50%
157;2%
157;2%1244;
19%
3660;57%
18 CEGOV
05AVALIAÇÃO DO CURSO
A avaliação do curso (ou avaliação de reação) consiste em um formulário disponibilizado no próprio Ambiente Virtual de Aprendizagem. Sua finalidade é avaliar a estrutura do Curso, a qualidade e pertinência de seus materiais, a nave-gação no AVA e aspectos gerais em relação ao andamento das aulas. O objetivo é colher o feedback dos alunos com vistas ao aperfeiçoamento deste e de outros cursos que venham a ser realizados. A avaliação é preenchida de maneira anônima pelos alunos. Tendo em vista as opiniões similares encontradas nos três cursos de cada ciclo, vamos nos ater à avaliação que contou com o maior número de parti-cipações, a do curso MDS13, considerada representativa dos ciclos analisados.
O formulário continha 37 perguntas. Dado o requisito de completá-lo para a obtenção do certificado, todos os concluintes realizaram a pesquisa, tota-lizando 1.686 participações. A avaliação do curso foi dividida em 06 temáticas: a) Identificação funcional; b) Avaliação do Ambiente Virtual; c) Estrutura do curso; d) Sistemática de avaliação de aprendizagem; e) Conteúdo; f) Avaliação do Ciclo de Capacitação. Abaixo, segue o resumo das respostas.
IDENTIFICAÇÃO FUNCIONAL
Qual o seu cargo na instituição em que trabalha trabalha? Qual o seu cargo na instituição em que trabalha?
Assistente Social
Psicólogo
Coordenador
Pedagogo
16%
72%
8%4%
19CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS
AVALIAÇÃO DO AMBIENTE VIRTUAL
Grau de instrução (assinale o maior grau de instrução completo):
Especialização
Graduação
Mestrado
Doutorado
Ensino Médio
0%1%
7%
41% 51%
Você já realizou outro curso EAD além deste?
Não
Sim
25%
75%
20 CEGOV
Você teve di�culdades para acessar o ambiente virtual do curso?
Não
Sim
6%
94%
Como você avalia cada um dos seguintes itens referentes ao ambiente virtual do curso?
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%Layout (desenho
do ambiente)Texto de
apresentaçãodo curso
Navegação no ambiente
Ícones (facilidade decompreensão)
Layout do Caderno de
Estudos
Velocidade das respostas do
ambienteeletrônico àsminhas ações
Inadequado Pouco adequado Relativamente adequado Perfecitamente adequado
69%80%
67% 65%73%
81%
30%20%
31% 31%25%
18%
1% 1% 2% 3% 1% 1%0% 0% 0% 0% 0% 0%
21CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS
Quantas vezes você participou dos Fóruns do curso?
Em 3 aulas ou menos
Em 4 aulas ou menos
Nenhuma vez
42%49%
9%
Os Fóruns contribuíram para promover um espaço de debates e trocas de experiência entre você e seus colegas?
Nunca contribuiram
Sempre contribuiram
Contribuiram poucas vezes
Contribuiram na maioria das vezes
240
410
555
481
22 CEGOV
Alguma vez você necessitou de apoio técnico para tirar dúvidas de conteúdo ou da plataforma?
Não
Sim
13%
87%
Lembrando que as informações não serão identi�cadas, quando você mais utilizou o ambiente virtual de aprendizagem?
Após a jornada de trabalho
Durante a jornada de trabalho
33%
67%
23CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS
ESTRUTURA DO CURSO
Em relação ao curso, você considera que foi bem informado sobre:
120%
100%
80%
60%
40%
20%
0Os objetivos do
curso e de cada aula?
O cronograma dedesenvolvimento?
A dinâmica de estudo (estudos
individuais, exercícios, fórum, avaliação �nal)?
A avaliação deseu desempenho?
Não Sim
99% 94% 97% 98%
1% 6% 3% 2%
CONTEÚDO
Em relação às atividades pedagógicas, assinale:
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0Li os textos
indicados pela leitura complementar (Leia +)
Utilizei os recursos do Saiba Mais
Utilizei os tutoriaise vídeos
3 vezes ou menos 4 vezes ou mais Nunca
10%24% 18%
13%
12% 21%
76%64% 61%
24 CEGOV
Obs.: nenhum aluno escolheu “Muito ruim”, de modo que não consta no gráfico.
Em relação à pertinência dos conteúdos, assinale as a�rmações conforme sua realidade:
Não concordo Concordo parcialmente Concordo plenamente
100%
80%
60%
40%
20%
0Associei os
conteúdos do curso aos meusconhecimentos
anteriores
Associei osconteúdos do
curso às minhas esperiências
práticas
Procurei, no meudia-a-dia,
situações em quefosse possível
aplicar o conteúdodo curso
Os conteúdos docurso facilitaram a compreensãoe utilização dasferramentas do
Portal SAGI
Os exercícios e a prova �nal estão claros ede acordo com
o conteúdoensinado
78% 78% 74% 72%
21% 21% 25% 27%
83%
16%1% 1% 1% 1% 1%
De acordo com a escala de 1 a 5 (1 - Muito Ruim; 2 - Ruim; 3 - Regular; 4 - Bom; 5 - Muito Bom), que nota você dá ao curso?
Muito Bom
Bom
Regular
Ruim
25%
74%
0%1%
25CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS
06CONSIDERAÇÕES DOS
ALUNOS
A última pergunta da avaliação do curso convidava os alunos a deixar considerações sobre as atividades:
Agradecendo sua participação, deixamos espaço para outras considera-ções que queira fazer.
De modo aleatório1, selecionamos 45 dos 851 comentários deixados nesse campo para considerações finais:
1. Gostei muito do curso
2. Agradeço a todos que se esforçaram para proporcionar este ambiente de aprendizado para nós. Está sendo de grande valia para mim. Parabéns!!
3. Muito gratificante poder ter essa oportunidade em fazer esse curso. Que venha mais e mais!!
4. Obrigada pela oportunidade!
5. obrigada pelo aprendizado eternizado! muito satisfeita...
6. Muito bom esse trabalho para o nosso aprendizado no dia dia e nossa capacidade.
7. Que os próximos cursos sejam informados por email para aqueles que concluiram o curso com êxito
8. Muito obrigada pela oportunidade.
9. O curso proporcionou uma experiência satisfatória no que diz respeito a novos conhecimento sobre o SUAS, e melhor entendimento da realidade.
10. Parabéns a todos os colaboradores do curso, estou muito satis-feita. Parabéns a todos pela organização. Abraços Edivania
11. Foi maravilhoso! Adorei a didática.
12. Adorei fazer esse modulo, pois conheci assunto no qual não dominava muito bem...estou muito feliz e realizada com o curso...obrigada pela oportunidade.
13. agradeço pela oportunidade esta estar fazendo o curso
14. Curso de grande proveito, que favoreçam outros cursos.
15. curso foi muito bom.
16. O curso ampliou meus conhecimentos sobre a Rede Socioassistencial.
1 Foram utilizados os serviços da plataforma RANDOM.ORG (https://www.random.org/).
26 CEGOV
17. Embora não lide diretamente com o as ações do BSM em meu município, fiquei absolutamente satisfeito com o material e informaçōes obtidas. Espero que os cursos de Monitoramento e Avaliação possam reforçar em mim, enquanto profissional, conceitos, metodologias e instru-mentos que aperfeiçõem o meu trabalho.
18. Instrumento valioso de trabalho para melhorar aplicação do conhecimento no cotidiano, e principalmente a vida das pessoas que neces-sitam do SUAS.
19. Adorei fazer o curso, aumento meus conhecimentos sobre o BSM e as questões relativas a Assistência Social no Brasil. Contribuirá com certeza na minha prática.
20. Nos cursos anteriores do MDS o tutor sempre informou inicio e termino do curso. Nesse, em nenhum momento recebei mensagem tutorial deixando a desejar.
21. Parabéns pelo curso! Contribuiu de forma significativa para novos conhecimentos.
22. aproveitamento satisfatório.
23. Curso muito bom com materiais de clara compreensão. Consegui fazer um link com o meu cotidiano de trabalho.
24. Foi de grande importância para adquirir mais conhecimentos e ajudar nos trabalhos desenvolvidos.
25. Curso ótimo!!!! Possibilita ampliar os conhecimentos e aplicar no dia a dia de trabalho.
26. Muito obrigada pela oportunidade de realizar este curso. Linguagem fácil, excelente conteúdo, saio melhor do que entrei. Muito obrigada!
27. AGRADEÇO A OPORTUNIDADE
28. O curso é ótimo e deveria ter sempre!!
29. De grande aproveitamento pessoal e profissional.
30. Adorei participar do curso. Muito produtivo.
31. Momento de grande importancia que facilita o conhecimento no dia a dia.
32. O curso foi muito bom, possibilitou a visão do é feito na prática e conhecer algumas ferramentas que são ultilizadas e eu não conhecia.
33. Curso muito proveitoso! Adorei, adquiri muito conhecimento! recomendo!!!
34. O curso foi muito interessante e esclareceu dúvidas, bem como trouxe novos questionamentos acerca do tema trabalhado.
35. Esse curso foi ótimo para ampliar meu conhecimento prático, principalmente na utilização da ferramentas para diagnóstico. Agradeço a oportunidade que o MDS me proporcionou..
36. gostei bastante do curso, no qual contribuiu significativamente na minha vida profissional, gostaria de ter participado mais dos fóruns, pois as vezes só lia os comentários dos colegas e assistia os vídeos.
37. O formato do curso de forma leve e sem pressões é interessante para o bom desempenho do aluno.
38. Agradeço a oportunidade para ampliar meus conhecimentos!
39. Obrigado pela oportunidade, peço desculpa pelas vezes que tive
27CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS
dificuldades para concluir as atividades.
40. Agradeço a oportunidade de participar e já disponho o meu inte-resse em participar de outras oportunidades, pois contribuíram bastante com meu aprendizado e postura profissional. Obrigada!
41. Foi contributivo para minha formação.
42. Parabéns aos tutores e aos professores que elaboraram o Curso, o conteúdo foi excelente, e contribuiu muito para o exercício de meu trabalho diário, pois muitos conceitos acabei aprendendo através do Curso. Tirei muitas dúvidas, realmente o curso foi realizado em um excelente período no exercício de minhas atividades.O material é magnifico, imprimi todoe encadernei para ter de apoio. Obrigado.
43. Parabéns! Continue nos proporcionando mais cursos que nos auxilie nessa área social.
44. Parabéns, adorei o curso.
45. Curso muito bom, tenho certeza que irei aproveitar bastante este conhecimento.
28 CEGOV
07CONSIDERAÇÕES FINAIS
Para comparar os resultados dos Ciclos contínuos com os de cursos antigos não contínuos, é preciso que façamos antes uma observação téc-nica relativa à nova metodologia de cálculo da taxa de êxito, uma vez que deixamos de considerar a categoria “desistentes”. A taxa de êxito (ou taxa de sucesso) consiste no indicador utilizado pela equipe Cegov-MDS para de-monstrar o percentual de alunos certificados em um determinado curso. Ao longo dos nove cursos anteriores (do MDS01 ao MDS09), utilizou-se a seguinte fórmula de cálculo:
Taxa de êxito antiga = alunos aprovados
total de inscritos – evadidos – desistentes
Os EVADIDOS são aqueles que jamais acessaram o curso. Como não tiveram contato com o material, o fato de que não foram aprovados não reflete alguma característica do curso, como sua dificuldade ou clareza dos materiais. Os DESISTENTES eram aqueles que acessaram apenas nos primeiros dias do curso. Esses dias eram calculados a partir de uma fração do tempo total de cada curso.
Com o advento dos cursos em formato de Ciclo Contínuo, incluindo o Ciclo 3 (MDS10, MDS11, MDS12) e o Ciclo 4 (MDS13, MDS14 e MDS15), surgiu uma dificuldade para o cálculo dos desistentes: como os três cursos de cada ciclo aconteciam simultaneamente, não havia como estimar desistentes para cada um deles. Essa dificuldade, somada ao fato de que a subtração de desistentes não é comum na literatura sobre cursos EAD, incentivou a exclusão desse expediente na nova taxa de êxito dos cursos:
Taxa de êxito antiga = alunos aprovados
total de inscritos – evadidos
Com a nova metodologia, as taxas de êxito dos cursos já concluídos foram recalculadas, verificando-se uma redução do êxito dos cursos avulsos, realizados anteriormente (Gráfico 11). A média geral orbita em 50%. Apesar da redução com relação à metodologia anterior, as taxas continuam razoá-veis: a média de 50% é considerada satisfatória pela literatura específica para cursos EAD, que são marcados por evasão relativamente alta.
29CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS
Gráfico 11 - Comparação de taxas de êxito segundo as metodologias antiga e nova
Com a nova metodologia, a média do êxito dos cursos ficou em 50%para os cursos anteriores avulsos, um pouco superior à média de 41% dos trêscursos do Ciclo 3 e bastante superior à média de 26% dos três cursos do Ciclo4 (Gráfico 12). Essa redução pode indicar um êxito menor no modelo de ciclo contínuo, além de ser influenciada por uma redução constante do êxito ao longo do projeto, vide linha de tendência tracejada em vermelho no Gráfico 12. Essa redução constante está relacionada ao fato de que os alunos se inscrevem mais de uma vez em um determinado curso e acabam não realizando quando percebem que já haviam completado, de que resulta o desempenho decrescente.
Gráfico 12 - Taxa de êxito comparada segundo nova metodologia
Portanto, os relatórios emitidos a partir da atual data contarão com a nova metodologia, mais alinhada com àquela adotada pela literatura espe-cífica, com números que compreendem a realidade do universo de alunos de forma mais apurada. Dúvidas podem ser esclarecidas a qualquer momento por meio do contato com a equipe Cegov-MDS.
Descontando-se os evadidos, as taxas de aprovação do Ciclo 3 foram superiores às do Ciclo 4 em todos os 3 cursos (Gráfico 10). Alguns fatores potenciais foram identificados pela equipe do CEGOV e seguem dispostos por ordem de probabilidade (1 - mais provável; 3 - menos provável):
1. Período de execução favoreceu Ciclo 3 – o Clico 4 transcorreu no fim do ano, período em que muitos gestores têm menos dispo-nibilidade ou estão de férias;
Comparação de taxas de êxito antiga e nova100%
80%
60%
40%
20%
0%MDS01 MDS02 MDS03 MDS04 MDS05 MDS06 MDS07 MDS08 MDS09
Taxa de êxito antiga Taxa de êxito nova
85%
50%
71%
43%
77%
64% 60%54%
76%
52%
72%
56%50%
41%
64%57%
42%32%
Taxa de êxito comparada70%
60%
50%
40%
30%
20%
10%
0%
MDS01
MDS02
MDS03
MDS04
MDS05
MDS06
MDS07
MDS08
MDS09
MDS10
MDS11
MDS12
MDS13
MDS14
MDS15
50%43%
64%54% 52%
56%
41%
57%
32%
47%39% 37%
33%25%
20%
30 CEGOV
2. Alunos que já haviam feito o curso matricularam-se nova-mente no Ciclo 4 - nessa altura, grande parte do público potencial já realizou os cursos, e muitos alunos matricularam-se no Ciclo 4 e abandonaram-no quando percebem que já haviam realizado seus cursos;
3. Dificuldade para comparar a turma piloto (cerca de 130 alunos) com a turma do Ciclo 4 (cerca de 6.500) - talvez preci-semos pensar em turmas pilotos com até 1.000 alunos. O acom-panhamento de 130 alunos acaba sendo mais próximo o que pode conduzir a resultados anormalmente positivos.
Dessa forma, conclui-se que o modelo de ciclo contínuo produz resultados um pouco inferiores àqueles produzidos pelo modelo anterior, sem um prazo único para conclusão de todos os ciclos do curso. Além disso, apesar dos altos níveis de satisfação dos alunos, verificados na avaliação do curso exposta anteriormente, verifica-se uma tendência de êxito crescen-temente menor dos ciclos, o que pode indicar um exaurimento do público potencial da capacitação, que não inclui a totalidade dos funcionários do Sistema Único de Assistência Social, mas, sim, o percentual desses funcio-nários que tem disponibilidade para realizar os cursos, meios para acessá-lo e interesse na área de monitoramento e avaliação.
31CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS
32 CEGOV
RELATÓRIO DE EXECUÇÃO CICLOS 3 E 4
Campus do Vale - Prédio 43322 - Av. Bento Gonçalves, 9500 Porto Alegre - RS - 91509-900 - Phone: + 55 51 3308.9860
IP Videoconference CEGOV 143.54.129.46
cegov .ufrgs.br
CICLO DECAPACITAÇÃO
MDS
SAGISecretaria de Avaliação e Gestãoda Informação
Termo de Cooperação 001/2013Ciclo de Capacitação em Conceitos e Técnicas Para Elaboração de Diagnósticos, Monitoramento e Avaliação de Programas Sociais e Ações do MDSC
EGO
VC
ICLO
DE
CA
PAC
ITA
ÇÃ
O M
DS
- R
ELAT
ÓR
IO D
E EX
ECU
ÇÃ
O D
O C
UR
SO M
ON
ITO
RA
MEN
TO
Ministério doDesenvolvimento Social
e Combate à Fome