34
RELATÓRIO DE EXECUÇÃO CICLOS 3 E 4 Termo de Cooperação 001/2013 Ciclo de Capacitação em Conceitos e Técnicas Para Elaboração de Diagnósticos, Monitoramento e Avaliação de Programas Sociais e Ações do MDS

CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

Embed Size (px)

Citation preview

Page 1: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

RELATÓRIO DE EXECUÇÃO CICLOS 3 E 4

Campus do Vale - Prédio 43322 - Av. Bento Gonçalves, 9500 Porto Alegre - RS - 91509-900 - Phone: + 55 51 3308.9860

IP Videoconference CEGOV 143.54.129.46

cegov .ufrgs.br

CICLO DECAPACITAÇÃO

MDS

SAGISecretaria de Avaliação e Gestãoda Informação

Termo de Cooperação 001/2013Ciclo de Capacitação em Conceitos e Técnicas Para Elaboração de Diagnósticos, Monitoramento e Avaliação de Programas Sociais e Ações do MDSC

EGO

VC

ICLO

DE

CA

PAC

ITA

ÇÃ

O M

DS

- R

ELAT

ÓR

IO D

E EX

ECU

ÇÃ

O D

O C

UR

SO M

ON

ITO

RA

MEN

TO

Ministério doDesenvolvimento Social

e Combate à Fome

Page 2: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE
Page 3: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

Termo de Cooperação 001/2013Ciclo de Capacitação em Conceitos e Técnicas Para Elaboração de Diagnósticos, Monitoramento e Avaliação de Programas Sociais e Ações do MDS

RELATÓRIO DE EXECUÇÃO CICLOS 3 E 4

Page 4: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

Universidade Federal do Rio Grande do Sul (UFRGS)

O Centro de Estudos Internacionais sobre Governo (CEGOV) da Universidade Federal do Rio Grande do Sul (UFRGS) realiza estudos e pesquisas sobre a ação gov-ernamental, a partir de uma perspetiva comparada. O Centro reúne pesquisadores de distintas áreas da Uni-versidade e diversos núcleos de pesquisa tradicionais da UFRGS.

Reitor da UFRGSCarlos Alexandre Netto

Vice-Reitor da UFRGSRui Vicente Oppermann

Diretor do CEGOVPedro Cezar Dutra Fonseca

Vice-Diretor do CEGOVCláudio José Müller

Grupo de Trabalho do CEGOVAvaliação de Políticas Públicas

Coordenador do Grupo de TrabalhoLígia Mori Madeira

Centro de Estudos Internacionais sobre GovernoCampus do Vale, Prédio 43322 Av. Bento Gonçalves, 9500Porto Alegre - RS, Brasil, CEP 91509-900Tel:+55 51 3308-9860http://www.ufrgs.br/cegov/

Relatório do Curso de Indicadores para Diagnóstico do SUAS e do Plano Brasil sem Miséria Termo de Cooperação UFRGS-MDS 01/2013

Equipe Técnica CEGOV Aline Gazola Hellmann, Ana Carolina Ribeiro Ribeiro, Ana Julia Bonzanini Bernardi, Bruno Quevedo Sivelli, Gabriela Perin, Gianna Vargas Reis Salgado Dias, Giordano Benites Tronco, João Marcelo Conte Cornetet, Júlia da Motta, Marco Cepik, Thiago Borne Ferreira.

Projeto gráfico e diagramação Joana Oliveira de Oliveira, Henrique Pigozzo da Silva, Liza Bastos Bischoff, Gabriel Thier, Simone Rodrigues da Silva

Termo de Cooperação MDS-UFRGS 001/2013 Processo MDS nº 23078.038272/12-82 Título: CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓS-TICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDSUnidade Administrativa Responsável: Secretaria Avaliação e Gestão da InformaçãoUG/Gestão Repassadora: 550010/55000 – MDSUG/Gestão Recebedora: 153114/15235 – UFRGSData da Assinatura: 23/11/2012Data da Liberação do Crédito da primeira parcela no SIAFI: 16/05/2013Vigência do Termo Cooperação: 36 MESES

Convênio UFRGS-FEENG 027/2013

Título Convênio UFRGS - FEENG: ECO/CEGOV/ADM.PÚBLICA FEDERAL Protocolo Proc. Convênio UFRGS – FEENG: 23078.038272/12-82Data da Assinatura do Convênio UFRGS – FEENG: 30/07/2013 Vigência do Convênio UFRGS – FEENG: 30/07/2013 a 30/07/2015Protocolo Proc. tramitação recursos financeiros: 23078.038272/12-82Nome PROPLAN - CGPOF 24/12 PlanejamentoCódigo do Projeto: FAURGS: 6848-9Portal SICONV n. 783287/2013

Page 5: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

01

SUMÁRIO

020304050607

INTRODUÇÃO................................................................................................................07

RESUMO DOS CICLOS..................................................................................................08

PERFIL DOS SELECIONADOS........................................................................................1 0

RESULTADOS....................................................................................................................15

AVALIAÇÃO DO CURSO.................................................................................................18

CONSIDERAÇÕES DOS ALUNOS.................................................................................25

CONSIDERAÇÕES FINAIS..............................................................................................28

Page 6: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

LISTA DE GRÁFICOS

Gráfico 1 - Percentual acumulado de alunos que já havia acessado por semana do Ciclo...................... 08

Gráfico 2 – Frequência do gênero dos selecionados para ambos os ciclos............................................... 10

Gráfico 3 - número de selecionados por estado........................................................................................... 11

Gráfico 4 - Selecionados com deficiência.................................................................................................... 13

Gráfico 5 - escolaridade e formação dos alunos......................................................................................... 14

Gráfico 6 - Área de atuação profissional..................................................................................................... 14

Gráfico 7 - Percentual acumulado de concluintes da avaliação final......................................................... 15

Gráfico 8 - total de publicações nos fóruns Apresentação, Conteúdo, Ajuda Moodle em número absolu-to, com os ciclos dispostos em eixos distintos para permitir a comparação.............................................16

Gráfico 9 – total de publicações nos fóruns em número absoluto do Ciclo 4. Cada curva inclui os três fóruns de cada curso (Apresentação, Conteúdo, Ajuda Moodle) ........................................................... 16

Gráfico 10 - Resultados finais...................................................................................................................... 17

Gráfico 11 - Comparação de taxas de êxito segundo as metodologias antiga e nova............................. 29

Gráfico 12 - Taxa de êxito comparada segundo nova metodologia........................................................... 29

Page 7: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

Figura 1 - origem dos alunos do Ciclo 4 por Unidade da Federação......................................................... 12

LISTA DE FIGURAS

LISTA DE TABELAS

Tabela 1 – Dados gerais dos Ciclos 3 e 4................................................................................................... 08

Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de alunos (sem excluir os evadidos).................................................................................................................15

Tabela 3 – total de publicações nos fóruns em número absoluto e em percentual do total de alunos (sem excluir os evadidos). Inclui os três fóruns de cada curso (Apresentação, Conteúdo, Ajuda Moodle).........................................................................................................................................................16

Page 8: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE
Page 9: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

07CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS

INTRODUÇÃO

O presente relatório tem como objeto dois ciclos de capacitação desenvolvidos em parceria entre o Centro de Estudos Internacionais sobre Governo (CEGOV-UFRGS) e o Ministério do Desenvolvimento Social e Combate à Fome (MDS). Cada ciclo abrangeu três cursos:

1. Curso de Indicadores para Diagnóstico do SUAS e do Brasil Sem Miséria

2. Curso em Conceitos e Instrumentos para Monitoramento de Programas

3. Curso em Conceitos e Técnicas para Avaliação de Programas

Os Ciclos em tela desenvolveram-se, marcadamente, no segundo semestre do ano de 2015, mas consistiram em novas edições de cursos realizados anteriormente e abordados em relatórios precedentes. Levando em conta que uma série de questões importantes – como a Matriz Peda-gógica e o fundamento teórico de EAD – já foram exploradas em exaustão anteriormente, este relatório prima por maior concisão, atendo-se às espe-cificidades dos cursos abordados.

A principal novidade introduzida diz respeito ao fato dos cursos analisados serem “contínuos”. Diferentemente de edições anteriores, os alunos contaram com liberdade para realizar os cursos 1, 2 e 3 e nos prazos que lhes convinha. Nos Ciclos anteriores, era dado um prazo para o término do curso 1, seguido de um intervalo de duração variável até o momento em que era liberado o curso posterior, consequentemente até o término do Ciclo. Nos Ciclos 3 e 4, o prazo foi único e amplo (mais de 4 meses), e cada aluno realizou o curso como julgou melhor.

01

Page 10: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

08 CEGOV

02RESUMO DOS CICLOS

CICLO III CICLO IV

Cursos MDS10, MDS11, MDS12 MDS13, MDS14, MDS15

Tipo Contínuo Contínuo

Início 15 de junho de 2015 31 de agosto de 2015

Término previsto 27 de setembro de 2015 14 de dezembro de 2015

Término prorrogado 25 de outubro de 2015 17 de janeiro de 2016

Total de alunos 133 6.470

Acessaram até o término do curso

106 (80%)1 5.061 (78%)2

Tabela 1 – Dados gerais dos Ciclos 3 e 4.12

Gráfico 1 - Percentual acumulado de alunos que já havia acessado por semana do Ciclo.

A duração dos ciclos foi semelhante: 4 meses e 10 dias para o Ciclo 3 e 4 meses e 17 dias para o Ciclo 4. No Ciclo 4, foi concedido prazo um pouco maior para compensar pelo período de feriados do fim do ano.

Com relação ao número de alunos, o Ciclo 3 contou com quantidade bastante menor: 133 alunos contra 6.470 no Ciclo 4. O Ciclo 3, portanto, teve características de turma piloto antes do lançamento de uma turma mais numerosa com o Ciclo 4.

O acesso ao Moodle seguiu padrão semelhante em ambos os ciclos. Inicialmente, ocorreu uma ascensão mais acelerada, iniciando de cerca de

1 Acesso depois de 14 de junho de 2015.2 Acesso depois de 31 de agosto de 2015.

Percentual acumulado de alunos que acessou

Semanas

100%

80%

60%

40%

20%

0% 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

Ciclo 3 Ciclo 4

Page 11: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

09CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS

50% na semana inicial e estabilizando em patamar de cerca de 77% na semana 7. Na semana final, a décima nona, o nível de acesso era de 80% do Ciclo 3 e de 78% no Ciclo 4, de modo que não se alterou substancialmente a partir da sétima semana (Gráfico 1).

Page 12: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

CEGOV 10

03PERFIL DOS SELECIONADOS

De modo geral, o perfil dos alunos não só se assemelhou entre os dois Ciclos aqui abordados, mas também refletiu o mesmo perfil de partici-pantes dos cursos anteriores ofertadas por meio da parceria CEGOV-SAGI. A principal exceção encontra-se no caso das origens dos alunos do Ciclo 3, predominantemente paulistas, o que se explica pelo fato de que os gestores convidados a integrarem essa turma piloto são oriundos de uma repartição específica baseada naquele Estado.

Observa-se, na frequência de gênero, que houve grande predomi-nância de mulheres entre os selecionados (Gráfico 2), reproduzindo-se o padrão das edições anteriores da capacitação.

Gráfico 2 – Frequência do gênero dos selecionados para ambos os ciclos

Com relação à a distribuição geográfica dos selecionados, a dife-rença entre os dois ciclos é mais substancial. Enquanto os alunos do ciclo 3 são oriundos sobretudo de São Paulo, a origem dos alunos do Ciclo 4 é mais diversa (Gráfico 3).

Frequência de gênero

Frequência de gênero

Ciclo 3 Ciclo 4

Feminino Masculino Feminino Masculino

92% 91%

9%8%

Page 13: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

11CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS

Gráfico 3 - número de selecionados por estado.

Ao colocarmos os dados referentes aos alunos do Ciclo 4 em um mapa, evidencia-se a predominância de participantes nos Estados do Centro-Oeste, do Nordeste e do Sul (Figura 1), o que se explica, em parte, por serem unidades federativas de maior densidade populacional geral.

Número de selecionados por estadoNúmero de selecionados por estado

Ciclo 3

Ciclo 4

100

80

60

40

20

0

1000

800

600

400

200

0

ES DF CE PI PE RN MA MG RJ MS BA AL SP

AP RR RO AC TO DF GO AM AL SE PI PB SC ES MS MT MA PA RJ RN PE CE RS PR BA SP MG

1 1 1 1 1 2 2 4 5 5 8 9

92

877

726

575531

372368283281253

238237185

182168

157143

121118

108103

103999237342419

Page 14: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

12 CEGOV

Figura 1 - origem dos alunos do Ciclo 4 por Unidade da Federação.

Quando interpelados sobre se tinham alguma deficiência física, 2% dos alunos do Ciclo 3 e 1% dos do Ciclo 4 responderam que sim. No caso do Ciclo 3, tratou-se de dois alunos, que especificaram suas deficiências: um deles com “paralisia braquial do braço direito” e outro com “gonoartrose bilateral”. No Ciclo 4, 75 alunos declararam-se deficientes, 32 deles com deficiência física, 16 com deficiência visual, 15 com deficiência auditiva e 12 com outras deficiências (Gráfico 4).

Participantes

19 877

Page 15: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

13CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS

Gráfico 4 - Selecionados com deficiência.

No que tange a escolaridade, os ciclos apresentam características similares. A maioria dos alunos finalizou pós-graduação ou ensino superior. A área de formação dos alunos também é semelhante: cerca de 75% deles estudaram Serviço Social, cerca de 15% estudaram Psicologia, e os demais distribuem-se em áreas múltiplas com percentuais reduzidos (Gráfico 5).

Alunos com de�ciência

Ciclo 3 Ciclo 4

De�ciências declaradas no Ciclo 4

Alunos com de�ciência

Não Sim Não Sim

35

30

25

20

15

10

5

0 De�ciência física De�ciência visual De�ciência auditiva Outras de�ciências

43%; 32

21%; 1620%; 15

16%; 12

2% 2%

98% 99%

Page 16: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

14 CEGOV

Gráfico 5 - escolaridade e formação dos alunos.

Por fim, com relação à atuação profissional dos participantes no momento do curso, a maioria compreendeu trabalhadores do SUAS. No caso do Ciclo 4, a gama mais ampla de alunos refletiu-se em um universo mais diverso de profissionais (Gráfico 6).

Escolaridade e área de formação

Ciclo 3 Ciclo 4

Ciclo 3 Ciclo 4

DoutoradoMestradoPós-Graduação Sensu (especialiação, aperfeiçoamento)Ensino superiorEnsino Superior IncompletoEnsino Médio Completo

DoutoradoMestradoPós-Graduação Sensu Ensino superior

(especialiação, aperfeiçoamento)

Serviço Social

Administração

Gestão pública

Administração Pública

Jornalismo

Serviço Social

Administração

Direito

Gestão pública

Políticas Públicas

Psicologia

Sociologia

Ciências Sociais

Políticas Públicas

Psicologia

Ciências Sociais

Economia

Administração Pública

8%1%

35%

48%

49%45%

76%

16%

72%

14%

1%1%7% 5%

Gráfico 6 - Área de atuação profissional.

Área de atuação pro�ssional

Ciclo 3 Ciclo 4

Trabalhador do SUAS

Gestor Municipal da Assistência Social

Não trabalho no SUAS

Trabalhador do SUASOutroNão trabalho no SUASConselheiro(a) da Assistência SocialGestor Municipal da Assistência SocialEstudante

6%

5%5% 4%

19% 61%

11%

11%

78%

Page 17: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

15CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS

04RESULTADOS

CICLO III CICLO IVDiagnóstico 56 (42%) 1.805 (28%)

Monitoramento 45 (34%) 1.401 (22%)

Avaliação 41 (31%) 1.147 (18%)

Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de alunos (sem excluir os evadidos).

Gráfico 7 - Percentual acumulado de concluintes da avaliação final

Diferentemente do que ocorreu com o acesso dos alunos ao Moodle, em que houve similaridade nos Ciclos 3 e 4, verificaram-se padrões bem diferentes nos percentuais de alunos que concluíram a avaliação final – e que, portanto, chegaram ao fim do curso. No Ciclo 3, houve momentos de “saltos” nos términos dos cursos: no curso 1, entre semanas 5 e 7; no curso 2, entre semanas 11 e 15; no curso 3, entre semanas 13 e 16. No Ciclo 4, verificaram-se curvas constantes de ascendência leve ao longo de todo o período. A única semelhança consiste na aceleração tradicional nas semanas finais, mais pronunciada, de qualquer forma, no Ciclo 3 (Gráfico 7).

PUBLICAÇÕES NOS FÓRUNSCada Ciclo contou com 3 cursos, e cada curso contou com 3 fóruns:

Fórum de Apresentação, Fórum de Conteúdo, e Fórum de Ajuda Moodle. Em ambos os ciclos, foi verificada uma participação maior nos fóruns de apresentação e de conteúdo do que no fórum de ajuda do Moodle. As poucas

Percentual acumulado de concluintes da avaliação �nal

Semanas

50%

40%

30%

20%

10%

0% 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

Diagnóstico C4 Monitoramento C4 Avaliação C4

Diagnóstico C3 Monitoramento C3 Avaliação C3

Page 18: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

16 CEGOV

dúvidas devem-se à clareza da plataforma e do material instrucional, em adição ao fato de que muitos alunos já haviam realizado cursos anteriormente (Gráfico 8).

Gráfico 8 - total de publicações nos fóruns Apresentação, Conteúdo, Ajuda Moodle em número absoluto, com os ciclos dispostos em eixos distintos para permitir a comparação.

Verificou-se, ademais, padrão análogo nos ciclos 3 e 4 no que se refere à participação maior no curso 1, intermediária no curso 2 e menor no curso 3 (Tabela 3). Esse padrão reflete o número menor de alunos que realizaram os cursos 2 e 3.

CICLO III CICLO IVDiagnóstico 68 (51,1%) 3.050 (47,1%)

Monitoramento 50 (37,6%) 1.742 (26,9%)

Avaliação 30 (22,5%) 912 (14,1%)

Tabela 3 – total de publicações nos fóruns em número absoluto e em percentual do total de alunos (sem excluir os evadidos). Inclui os três fóruns de cada curso (Apresentação, Conteúdo, Ajuda Moodle).

No caso do curso 4, foi feito acompanhamento semanal dos fóruns, o que permitiu a constatação de um padrão. Assim como se observou nas conclusões da avaliação final, ficou claro a participação maior no primeiro curso em um primeiro momento, no segundo curso em um segundo momento e no terceiro curso em um terceiro momento. Evidencia-se, portanto, que, ainda que seja dada aos alunos a possibilidade de realizar o ciclo na ordem que quiserem, a tendência é de que optem pela sequência tradicional (Gráfico 4).

Publicações nos fóruns Apresentação, Conteúdo e Ajuda Moodle

70

60

50

40

30

20

10

0

3000

2500

2000

1500

1000

500

0 Fórum de Apresentação Fórum de Conteúdo Fórum de Ajuda Moodle

Ciclo 3 Ciclo 4

Page 19: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

17CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS

Gráfico 9 – total de publicações nos fóruns em número absoluto do Ciclo 4. Cada curva inclui os três fóruns de cada curso (Apresentação, Conteúdo, Ajuda Moodle).

RESULTADOS FINAIS

Gráfico 10 - Resultados finais.

Total acumulado de publicações em fóruns do Ciclo 43.500

3.000

2.500

2.000

1.500

1.000

500

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

Semanas

Diagnóstico Monitoramento Avaliação

CICLO 3

Diagnóstico Monitoramento Avaliação

CICLO 4

Diagnóstico Monitoramento Avaliação

Reprovados na AF

Aptos à certi�cação

Não �zeram AF

Evadidos

Reprovados na AF

Aptos à certi�cação

Não �zeram AF

Evadidos

Reprovados na AF

Aptos à certi�cação

Não �zeram AF

Evadidos

Reprovados na AF

Aptos à certi�cação

Não �zeram AF

Evadidos

Reprovados na AF

Aptos à certi�cação

Não �zeram AF

Evadidos

Reprovados na AF

Aptos à certi�cação

Não �zeram AF

Evadidos

27;20%

5;4%

51;38%

50;38%

27;20%

3;2%

42;32%

61;46%

27;20%

1;1% 40;

30%

65;49%

990;15%

3914;61%

1409;22%

1409;22%

1409;22%

133;2%

1672;26%

3256;50%

157;2%

157;2%1244;

19%

3660;57%

Page 20: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

18 CEGOV

05AVALIAÇÃO DO CURSO

A avaliação do curso (ou avaliação de reação) consiste em um formulário disponibilizado no próprio Ambiente Virtual de Aprendizagem. Sua finalidade é avaliar a estrutura do Curso, a qualidade e pertinência de seus materiais, a nave-gação no AVA e aspectos gerais em relação ao andamento das aulas. O objetivo é colher o feedback dos alunos com vistas ao aperfeiçoamento deste e de outros cursos que venham a ser realizados. A avaliação é preenchida de maneira anônima pelos alunos. Tendo em vista as opiniões similares encontradas nos três cursos de cada ciclo, vamos nos ater à avaliação que contou com o maior número de parti-cipações, a do curso MDS13, considerada representativa dos ciclos analisados.

O formulário continha 37 perguntas. Dado o requisito de completá-lo para a obtenção do certificado, todos os concluintes realizaram a pesquisa, tota-lizando 1.686 participações. A avaliação do curso foi dividida em 06 temáticas: a) Identificação funcional; b) Avaliação do Ambiente Virtual; c) Estrutura do curso; d) Sistemática de avaliação de aprendizagem; e) Conteúdo; f) Avaliação do Ciclo de Capacitação. Abaixo, segue o resumo das respostas.

IDENTIFICAÇÃO FUNCIONAL

Qual o seu cargo na instituição em que trabalha trabalha? Qual o seu cargo na instituição em que trabalha?

Assistente Social

Psicólogo

Coordenador

Pedagogo

16%

72%

8%4%

Page 21: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

19CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS

AVALIAÇÃO DO AMBIENTE VIRTUAL

Grau de instrução (assinale o maior grau de instrução completo):

Especialização

Graduação

Mestrado

Doutorado

Ensino Médio

0%1%

7%

41% 51%

Você já realizou outro curso EAD além deste?

Não

Sim

25%

75%

Page 22: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

20 CEGOV

Você teve di�culdades para acessar o ambiente virtual do curso?

Não

Sim

6%

94%

Como você avalia cada um dos seguintes itens referentes ao ambiente virtual do curso?

100%

90%

80%

70%

60%

50%

40%

30%

20%

10%

0%Layout (desenho

do ambiente)Texto de

apresentaçãodo curso

Navegação no ambiente

Ícones (facilidade decompreensão)

Layout do Caderno de

Estudos

Velocidade das respostas do

ambienteeletrônico àsminhas ações

Inadequado Pouco adequado Relativamente adequado Perfecitamente adequado

69%80%

67% 65%73%

81%

30%20%

31% 31%25%

18%

1% 1% 2% 3% 1% 1%0% 0% 0% 0% 0% 0%

Page 23: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

21CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS

Quantas vezes você participou dos Fóruns do curso?

Em 3 aulas ou menos

Em 4 aulas ou menos

Nenhuma vez

42%49%

9%

Os Fóruns contribuíram para promover um espaço de debates e trocas de experiência entre você e seus colegas?

Nunca contribuiram

Sempre contribuiram

Contribuiram poucas vezes

Contribuiram na maioria das vezes

240

410

555

481

Page 24: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

22 CEGOV

Alguma vez você necessitou de apoio técnico para tirar dúvidas de conteúdo ou da plataforma?

Não

Sim

13%

87%

Lembrando que as informações não serão identi�cadas, quando você mais utilizou o ambiente virtual de aprendizagem?

Após a jornada de trabalho

Durante a jornada de trabalho

33%

67%

Page 25: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

23CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS

ESTRUTURA DO CURSO

Em relação ao curso, você considera que foi bem informado sobre:

120%

100%

80%

60%

40%

20%

0Os objetivos do

curso e de cada aula?

O cronograma dedesenvolvimento?

A dinâmica de estudo (estudos

individuais, exercícios, fórum, avaliação �nal)?

A avaliação deseu desempenho?

Não Sim

99% 94% 97% 98%

1% 6% 3% 2%

CONTEÚDO

Em relação às atividades pedagógicas, assinale:

100%

90%

80%

70%

60%

50%

40%

30%

20%

10%

0Li os textos

indicados pela leitura complementar (Leia +)

Utilizei os recursos do Saiba Mais

Utilizei os tutoriaise vídeos

3 vezes ou menos 4 vezes ou mais Nunca

10%24% 18%

13%

12% 21%

76%64% 61%

Page 26: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

24 CEGOV

Obs.: nenhum aluno escolheu “Muito ruim”, de modo que não consta no gráfico.

Em relação à pertinência dos conteúdos, assinale as a�rmações conforme sua realidade:

Não concordo Concordo parcialmente Concordo plenamente

100%

80%

60%

40%

20%

0Associei os

conteúdos do curso aos meusconhecimentos

anteriores

Associei osconteúdos do

curso às minhas esperiências

práticas

Procurei, no meudia-a-dia,

situações em quefosse possível

aplicar o conteúdodo curso

Os conteúdos docurso facilitaram a compreensãoe utilização dasferramentas do

Portal SAGI

Os exercícios e a prova �nal estão claros ede acordo com

o conteúdoensinado

78% 78% 74% 72%

21% 21% 25% 27%

83%

16%1% 1% 1% 1% 1%

De acordo com a escala de 1 a 5 (1 - Muito Ruim; 2 - Ruim; 3 - Regular; 4 - Bom; 5 - Muito Bom), que nota você dá ao curso?

Muito Bom

Bom

Regular

Ruim

25%

74%

0%1%

Page 27: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

25CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS

06CONSIDERAÇÕES DOS

ALUNOS

A última pergunta da avaliação do curso convidava os alunos a deixar considerações sobre as atividades:

Agradecendo sua participação, deixamos espaço para outras considera-ções que queira fazer.

De modo aleatório1, selecionamos 45 dos 851 comentários deixados nesse campo para considerações finais:

1. Gostei muito do curso

2. Agradeço a todos que se esforçaram para proporcionar este ambiente de aprendizado para nós. Está sendo de grande valia para mim. Parabéns!!

3. Muito gratificante poder ter essa oportunidade em fazer esse curso. Que venha mais e mais!!

4. Obrigada pela oportunidade!

5. obrigada pelo aprendizado eternizado! muito satisfeita...

6. Muito bom esse trabalho para o nosso aprendizado no dia dia e nossa capacidade.

7. Que os próximos cursos sejam informados por email para aqueles que concluiram o curso com êxito

8. Muito obrigada pela oportunidade.

9. O curso proporcionou uma experiência satisfatória no que diz respeito a novos conhecimento sobre o SUAS, e melhor entendimento da realidade.

10. Parabéns a todos os colaboradores do curso, estou muito satis-feita. Parabéns a todos pela organização. Abraços Edivania

11. Foi maravilhoso! Adorei a didática.

12. Adorei fazer esse modulo, pois conheci assunto no qual não dominava muito bem...estou muito feliz e realizada com o curso...obrigada pela oportunidade.

13. agradeço pela oportunidade esta estar fazendo o curso

14. Curso de grande proveito, que favoreçam outros cursos.

15. curso foi muito bom.

16. O curso ampliou meus conhecimentos sobre a Rede Socioassistencial.

1 Foram utilizados os serviços da plataforma RANDOM.ORG (https://www.random.org/).

Page 28: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

26 CEGOV

17. Embora não lide diretamente com o as ações do BSM em meu município, fiquei absolutamente satisfeito com o material e informaçōes obtidas. Espero que os cursos de Monitoramento e Avaliação possam reforçar em mim, enquanto profissional, conceitos, metodologias e instru-mentos que aperfeiçõem o meu trabalho.

18. Instrumento valioso de trabalho para melhorar aplicação do conhecimento no cotidiano, e principalmente a vida das pessoas que neces-sitam do SUAS.

19. Adorei fazer o curso, aumento meus conhecimentos sobre o BSM e as questões relativas a Assistência Social no Brasil. Contribuirá com certeza na minha prática.

20. Nos cursos anteriores do MDS o tutor sempre informou inicio e termino do curso. Nesse, em nenhum momento recebei mensagem tutorial deixando a desejar.

21. Parabéns pelo curso! Contribuiu de forma significativa para novos conhecimentos.

22. aproveitamento satisfatório.

23. Curso muito bom com materiais de clara compreensão. Consegui fazer um link com o meu cotidiano de trabalho.

24. Foi de grande importância para adquirir mais conhecimentos e ajudar nos trabalhos desenvolvidos.

25. Curso ótimo!!!! Possibilita ampliar os conhecimentos e aplicar no dia a dia de trabalho.

26. Muito obrigada pela oportunidade de realizar este curso. Linguagem fácil, excelente conteúdo, saio melhor do que entrei. Muito obrigada!

27. AGRADEÇO A OPORTUNIDADE

28. O curso é ótimo e deveria ter sempre!!

29. De grande aproveitamento pessoal e profissional.

30. Adorei participar do curso. Muito produtivo.

31. Momento de grande importancia que facilita o conhecimento no dia a dia.

32. O curso foi muito bom, possibilitou a visão do é feito na prática e conhecer algumas ferramentas que são ultilizadas e eu não conhecia.

33. Curso muito proveitoso! Adorei, adquiri muito conhecimento! recomendo!!!

34. O curso foi muito interessante e esclareceu dúvidas, bem como trouxe novos questionamentos acerca do tema trabalhado.

35. Esse curso foi ótimo para ampliar meu conhecimento prático, principalmente na utilização da ferramentas para diagnóstico. Agradeço a oportunidade que o MDS me proporcionou..

36. gostei bastante do curso, no qual contribuiu significativamente na minha vida profissional, gostaria de ter participado mais dos fóruns, pois as vezes só lia os comentários dos colegas e assistia os vídeos.

37. O formato do curso de forma leve e sem pressões é interessante para o bom desempenho do aluno.

38. Agradeço a oportunidade para ampliar meus conhecimentos!

39. Obrigado pela oportunidade, peço desculpa pelas vezes que tive

Page 29: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

27CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS

dificuldades para concluir as atividades.

40. Agradeço a oportunidade de participar e já disponho o meu inte-resse em participar de outras oportunidades, pois contribuíram bastante com meu aprendizado e postura profissional. Obrigada!

41. Foi contributivo para minha formação.

42. Parabéns aos tutores e aos professores que elaboraram o Curso, o conteúdo foi excelente, e contribuiu muito para o exercício de meu trabalho diário, pois muitos conceitos acabei aprendendo através do Curso. Tirei muitas dúvidas, realmente o curso foi realizado em um excelente período no exercício de minhas atividades.O material é magnifico, imprimi todoe encadernei para ter de apoio. Obrigado.

43. Parabéns! Continue nos proporcionando mais cursos que nos auxilie nessa área social.

44. Parabéns, adorei o curso.

45. Curso muito bom, tenho certeza que irei aproveitar bastante este conhecimento.

Page 30: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

28 CEGOV

07CONSIDERAÇÕES FINAIS

Para comparar os resultados dos Ciclos contínuos com os de cursos antigos não contínuos, é preciso que façamos antes uma observação téc-nica relativa à nova metodologia de cálculo da taxa de êxito, uma vez que deixamos de considerar a categoria “desistentes”. A taxa de êxito (ou taxa de sucesso) consiste no indicador utilizado pela equipe Cegov-MDS para de-monstrar o percentual de alunos certificados em um determinado curso. Ao longo dos nove cursos anteriores (do MDS01 ao MDS09), utilizou-se a seguinte fórmula de cálculo:

Taxa de êxito antiga = alunos aprovados

total de inscritos – evadidos – desistentes

Os EVADIDOS são aqueles que jamais acessaram o curso. Como não tiveram contato com o material, o fato de que não foram aprovados não reflete alguma característica do curso, como sua dificuldade ou clareza dos materiais. Os DESISTENTES eram aqueles que acessaram apenas nos primeiros dias do curso. Esses dias eram calculados a partir de uma fração do tempo total de cada curso.

Com o advento dos cursos em formato de Ciclo Contínuo, incluindo o Ciclo 3 (MDS10, MDS11, MDS12) e o Ciclo 4 (MDS13, MDS14 e MDS15), surgiu uma dificuldade para o cálculo dos desistentes: como os três cursos de cada ciclo aconteciam simultaneamente, não havia como estimar desistentes para cada um deles. Essa dificuldade, somada ao fato de que a subtração de desistentes não é comum na literatura sobre cursos EAD, incentivou a exclusão desse expediente na nova taxa de êxito dos cursos:

Taxa de êxito antiga = alunos aprovados

total de inscritos – evadidos

Com a nova metodologia, as taxas de êxito dos cursos já concluídos foram recalculadas, verificando-se uma redução do êxito dos cursos avulsos, realizados anteriormente (Gráfico 11). A média geral orbita em 50%. Apesar da redução com relação à metodologia anterior, as taxas continuam razoá-veis: a média de 50% é considerada satisfatória pela literatura específica para cursos EAD, que são marcados por evasão relativamente alta.

Page 31: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

29CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS

Gráfico 11 - Comparação de taxas de êxito segundo as metodologias antiga e nova

Com a nova metodologia, a média do êxito dos cursos ficou em 50%para os cursos anteriores avulsos, um pouco superior à média de 41% dos trêscursos do Ciclo 3 e bastante superior à média de 26% dos três cursos do Ciclo4 (Gráfico 12). Essa redução pode indicar um êxito menor no modelo de ciclo contínuo, além de ser influenciada por uma redução constante do êxito ao longo do projeto, vide linha de tendência tracejada em vermelho no Gráfico 12. Essa redução constante está relacionada ao fato de que os alunos se inscrevem mais de uma vez em um determinado curso e acabam não realizando quando percebem que já haviam completado, de que resulta o desempenho decrescente.

Gráfico 12 - Taxa de êxito comparada segundo nova metodologia

Portanto, os relatórios emitidos a partir da atual data contarão com a nova metodologia, mais alinhada com àquela adotada pela literatura espe-cífica, com números que compreendem a realidade do universo de alunos de forma mais apurada. Dúvidas podem ser esclarecidas a qualquer momento por meio do contato com a equipe Cegov-MDS.

Descontando-se os evadidos, as taxas de aprovação do Ciclo 3 foram superiores às do Ciclo 4 em todos os 3 cursos (Gráfico 10). Alguns fatores potenciais foram identificados pela equipe do CEGOV e seguem dispostos por ordem de probabilidade (1 - mais provável; 3 - menos provável):

1. Período de execução favoreceu Ciclo 3 – o Clico 4 transcorreu no fim do ano, período em que muitos gestores têm menos dispo-nibilidade ou estão de férias;

Comparação de taxas de êxito antiga e nova100%

80%

60%

40%

20%

0%MDS01 MDS02 MDS03 MDS04 MDS05 MDS06 MDS07 MDS08 MDS09

Taxa de êxito antiga Taxa de êxito nova

85%

50%

71%

43%

77%

64% 60%54%

76%

52%

72%

56%50%

41%

64%57%

42%32%

Taxa de êxito comparada70%

60%

50%

40%

30%

20%

10%

0%

MDS01

MDS02

MDS03

MDS04

MDS05

MDS06

MDS07

MDS08

MDS09

MDS10

MDS11

MDS12

MDS13

MDS14

MDS15

50%43%

64%54% 52%

56%

41%

57%

32%

47%39% 37%

33%25%

20%

Page 32: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

30 CEGOV

2. Alunos que já haviam feito o curso matricularam-se nova-mente no Ciclo 4 - nessa altura, grande parte do público potencial já realizou os cursos, e muitos alunos matricularam-se no Ciclo 4 e abandonaram-no quando percebem que já haviam realizado seus cursos;

3. Dificuldade para comparar a turma piloto (cerca de 130 alunos) com a turma do Ciclo 4 (cerca de 6.500) - talvez preci-semos pensar em turmas pilotos com até 1.000 alunos. O acom-panhamento de 130 alunos acaba sendo mais próximo o que pode conduzir a resultados anormalmente positivos.

Dessa forma, conclui-se que o modelo de ciclo contínuo produz resultados um pouco inferiores àqueles produzidos pelo modelo anterior, sem um prazo único para conclusão de todos os ciclos do curso. Além disso, apesar dos altos níveis de satisfação dos alunos, verificados na avaliação do curso exposta anteriormente, verifica-se uma tendência de êxito crescen-temente menor dos ciclos, o que pode indicar um exaurimento do público potencial da capacitação, que não inclui a totalidade dos funcionários do Sistema Único de Assistência Social, mas, sim, o percentual desses funcio-nários que tem disponibilidade para realizar os cursos, meios para acessá-lo e interesse na área de monitoramento e avaliação.

Page 33: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

31CICLO DE CAPACITAÇÃO EM CONCEITOS E TÉCNICAS PARA ELABORAÇÃO DE DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE PROGRAMAS E AÇÕES DO MDS

Page 34: CICLO DE MDS - ufrgs.br · Tabela 2 – alunos que concluíram a avaliação final em número absoluto e em percentual do total de ... DIAGNÓSTICOS, MONITORAMENTO E AVALIAÇÃO DE

32 CEGOV

RELATÓRIO DE EXECUÇÃO CICLOS 3 E 4

Campus do Vale - Prédio 43322 - Av. Bento Gonçalves, 9500 Porto Alegre - RS - 91509-900 - Phone: + 55 51 3308.9860

IP Videoconference CEGOV 143.54.129.46

cegov .ufrgs.br

CICLO DECAPACITAÇÃO

MDS

SAGISecretaria de Avaliação e Gestãoda Informação

Termo de Cooperação 001/2013Ciclo de Capacitação em Conceitos e Técnicas Para Elaboração de Diagnósticos, Monitoramento e Avaliação de Programas Sociais e Ações do MDSC

EGO

VC

ICLO

DE

CA

PAC

ITA

ÇÃ

O M

DS

- R

ELAT

ÓR

IO D

E EX

ECU

ÇÃ

O D

O C

UR

SO M

ON

ITO

RA

MEN

TO

Ministério doDesenvolvimento Social

e Combate à Fome