Avaliações de Políticas Sociais -...

Avaliações de Políticas Sociais

Alexandro Rodrigues Pinto

1

Brasília, 10 de setembro de 2014

Quando usar uma avaliação de programa?

O que veremos nesta apresentação?

I - Conceitos de Avaliação

II - Classificação de Avaliação

III - Usos da avaliação

2

Definição mais formal:

“Investigação sistemática da

operação e dos resultados de um programa ou política, comparada com um conjunto de padrões implícitos ou explícitos, como meio de contribuir para o aperfeiçoamento do programa ou da política”

Weiss, C.H (1998, p.4)

Investigação sistemática

operação e dos resultados

padrões implícitos ou explícitos aperfeiçoamento

3

Definição mais formal:

“É o uso de métodos de pesquisas sociais para sistematicamente investigar, de forma adaptada ao ambiente político e organizacional, a efetividade de um programa de intervenção social, de forma a informar a ação social na melhoria das condições sociais ”

Rossi, P.H; Lipsey, M.W e Freeman, E. (2004, p.16)

4

Perguntas a serem Respondidas pela Avaliação de Programas:

• Qual a natureza e o escopo do problema ?

• Onde o problema está localizado?

• Quem, como e quanto são afetados?

• O problema ou seus efeitos justificam a criação, a modificação ou expansão de

um programa?

• Que opções de intervenções factíveis podem promover mitigação do

problema?

• Qual é a população alvo adequada para intervenção?

• A intervenção está atingindo a população alvo?

• A intervenção está sendo implementada de forma adequada?

• A intervenção está atingindo os objetivos traçados?

• Os benefícios ofertados valem os custos do programa ?

5

“...A avaliação é uma forma de pesquisa social aplicada,

sistemática, planejada e dirigida; destinada a identificar, obter e

proporcionar, de maneira válida e confiável, dados e informação

suficiente e relevante para apoiar um juízo sobre o mérito e o

valor dos diferentes componentes de um programa (tanto na

fase de diagnóstico, programação ou execução), ou de um

conjunto de atividades específicas que se realizam, foram

realizadas ou se realizarão, com o propósito de produzir efeitos e

resultados concretos. Visam comprovar a extensão e o grau em

que se deram essas conquistas, de forma tal que sirva de base

ou guia para uma tomada de decisões racionais e inteligentes

entre cursos de ação, ou para solucionar problemas e promover

o conhecimento e a compreensão dos fatores associados ao

êxito ou ao fracasso de seus resultados...”

AGUILAR e ANDER-EGG, 1994: 31-2 ).

6

“A avaliação é uma empreitada racional que acontece em um contexto político”

• Os políticas e os programas que são avaliados são resultados de

processos, debates e tensões políticos.

• Os resultados de uma avaliação deve para ser útil entrar no foco da

arena política, competindo com outras fontes que informam a tomada

de decisões

• A avaliação em si é uma instância política

(Weiss apud Rossi, 2004, p.19)

7

“Avaliar é o processo de determinar o mérito e valor das coisas, e a avaliação é o resultado desse processo. Avaliação não é a mera acumulação e sumarização de dados, que são claramente relevantes para o processo de tomada de decisão.

Em todos os contextos, a coleta e análise de dados que são necessários para a tomada de decisão, por mais difícil que seja, representa apenas uma das pernas dos elementos chaves da avaliação. Ausente o outro elemento e o e o procedimento para combina-los, falta elementos para qualificar o processo como avaliação.”

Scriven apud Rossi (2004, p.17).

8

“La evaluación nació el séptimo día de la Creación, cuando Dios miró todo lo que había creado y declaró ‘Es bueno.’

Con esa sola frase, Dios se convirtió en el primer evaluador del mundo. No obstante, la evaluación nacida en los cielos resultó insuficiente y demasiado subjetiva para algunos. Por lo tanto, al escuchar la evaluación de Dios (autoevaluación, por cierto), el diablo objetó e insistió ‘¿cómo sabe que es

bueno? ¿cómo lo midió? ¿con qué indicador juzgó la bondad de su creación? ¿con qué lo comparó?´

Y, así, nace la evaluación como la conocemos hoy -- ¡en los fuegos del infierno.”

(Karen Mokate, 2003)

10

Nivelamento de conceitos:

Monitoramento:

“Uma função contínua que se utiliza da coleta sistemática de dados de indicadores específicos para provê à gestão e aos steakholders com indicações acerca do progresso e atendimento de objetivos de um dado programa em andamento” (OECD, 2002)

Acompanhamento rotineiro de informações prioritárias sobre um programa e seus efeitos esperados.

Acompanhamento de custos e o funcionamento do programa

Provê informações que podem ser utilizadas para avaliação dos programas

Monitoramento

Clarear os objetivos do programa

Liga as atividades e seus insumos aos objetivos

Traduz objetivos em indicadores de performance e estabelece metas

Rotineiramente coleta dados desses indicadores e compara os resultados com as metas

Reportam progresso ao gerentes e os alertam sobre problemas

Avaliação

Analisa por que os resultados

pretendidos foram ou não atendidos

Investiga relações causais

Explora resultados inesperados

Possibilita um melhor entendimento

sobre o funcionamento do programa

Oferece recomendações para

melhoria dos programa

Adaptado de JUSEK, J. Z & RIST, R.C. Ten Steps to a

Results-based Monitoring and Evaluation System.

Washington, 2004. 11

• Monitoramento

Atividade de gestão

interna e contínua

Acontece durante a

implementação do

Programa ou Projeto

Avaliação

Atividade interna ou

externa

Pode acontecer antes,

durante ou após a

implantação de um

programa.

12

Diferenças

• Utilidade para o aprimoramento das políticas públicas

• Pergunta avaliativa focada no programa social

• Julgamento de Qualidade

• Local de ação

• Conflitos entre avaliadores e implementadores

• Publicação dos resultados

• Lealdade da avaliação

# # #

O que difere a avaliação de outras investigações sociais?

13

Similitudes

• Tentam descrever, entender a relação entre variáveis e traçar uma relação causal entre sequência de variáveis.

• Usam um conjunto de métodos de investigação

= = +

O que difere a avaliação de outras investigações sociais?

14

Data

Avaliações Classificação e Desenhos

Metodológicos

16

Com relação a intenção da Avaliação Formativa x Somativa

“Quando o cozinheiro prova a sopa, isso é uma avaliação formativa. Quando é o cliente que a prova, essa é uma avaliação somativa”

Michael Scriven

17

Com relação a intenção da Avaliação

Formativa Somativa

Determinar Valor ou

qualidade Determinar Valor ou

qualidade

Melhorar o programa Tomar decisões sobre o futuro

do programa ou sobre sua

adoção

Adminstradores e equipe

do programa

Adminsitradores e/ou

consumidores potenciais ou órgão

financiador

Avaliadores internos Avaliadores externos

Informações para equipe

do programa melhorá-lo

Informações sobre a

continuidade, ampliação,

redução ou finalização de um

programa 18

Com relação a intenção da Avaliação

Formativa Somativa

Que informações são

necessárias? Quando? Que evidência é necessária

para as principais decisões?

Diagnóstico Tomada de decisões

Às vezes informais,

frequente Válidas e confiáveis, não

frequente

Pequena Grande

O que tem funcionado?

O que precisa ser melhorado?

Como pode ser melhorado?

Quais foram os resultados?

Quem participou? Em que

condições? Com que treinamento?

Quanto custou? 19

Com relação a intenção da Avaliação

Ênfa

se

Rela

tiva

Vida do Programa

20

Em função de quem realiza a Avaliação: Externa e Interna

• Externa: realizada por avaliadores externos a organização

• Interna: avaliadores pertencem ao quadro da organização

21

Em função de quem realiza a Avaliação: Externa e Interna

“A avaliação deve considerar não somente o descobrimento de melhores programas para cumprir com os objetivos estabelecidos, mas também a própria alteração de objetivos...

Mas os homens que foram socializados para aceitar certos objetivos podem mostrar-se resistentes quanto a mudá-los. A resistência a mudança reveste, portanto, a forma de conservação dos objetivos socais. As dificuldades são multiplicadas quando se aprecia que os objetivos podem estar ligados a clientela - os pobres, os que trabalham ao ar livre, os lenhadores - aqueles com quem se identificam os membros da organização. Os objetivos da organização podem tê-los atraídos precisamente porque a veem como um meio de servir as pessoas a quem estimam. Portanto, podem considerar que as mudanças de objetivos são propostas para ‘trair‘ a clientela que desejam atender. Para eles, a avaliação se converte em inimiga do povo”

(Smith, 1981 apud Cohen e Franco, 2004, p.133)

22

Avaliação Externa x Interna

Sim

Não

Sim

Sim

Sim

Não

Não Não

Não

Adaptado de Whorthen, Sander e Fitzpatrick(2004, p. 290).

23

Avaliação Externa x Interna

• Confiança da equipe demandante

• Objetividade

• Compreensão do programa

• Potencial de utilização

• Autonomia

24

Avaliação Externa x Interna

• Maior probabilidade de ser imparcial

• Maior probabilidade de obter crédito externo

• Contratação de conhecimento especializado que não está disponível na equipe

• Avaliadores externos oxigenam a avaliação

• Maior confiabilidade do público interno

• Avaliadores externos menos preocupados com possíveis resultados negativos ou impopulares

25

Avaliação Externa x Interna

• Maior familiaridade com os modelos do programa

• Conhecem melhor os vários interessados na avaliação e suas conveniências, preocupações e influências

• Conhecem a história da entidade e as dinâmicas da tomada de decisão

• Continuidade após a avaliação -> defensor da conclusões

• Início mais rápido da avaliação, menor custo administrativo

• A instituição conhece os pontos forte e fracos dos avaliadores internos

26

Avaliação Externa x Interna

• Complementaridade:

– Os avaliadores externos: imparcialidade, conhecimento específico, novas visões sobre o programa. Tarefas sensíveis a tendenciosidade

– Os avaliadores internos: conhecimento sobre o programa, familiaridade com a organização, coleta de dados administrativos,

27

Em função da Metodologia

• O mundo consiste em “fatos sociais” observáveis, mensuráveis e

analisáveis

• Avaliador é um ser objetivo e externo ao objeto de estudo

• A avaliação é construída para testar uma hipótese derivada de uma teoria

social

• As hipóteses são normalmente quantitativa e avaliadas com teste de

significância estatística

• As relações de causa e efeito podem ser identificadas e estudadas

• As mudanças na vida das pessoas e em seus comportamentos podem

ser quantificadas e analisadas por métodos estatísticos confiáveis 28

Em função da Metodologia

• Apelo por metodologia experimental ou quasi-experimental

• Pesquisa estruturada (unidade de análise clara: pessoas, domicílios,

propriedades rurais etc)

• Observações estruturadas (operacionalizada por variáveis que podem ser

quantificadas):

Nutrição: medidas antropométricas

Segurança Alimentar: EBIA

Consumo alimentar: gastos

• Uso extensivo de questões pré-codificadas e fechadas

• Variáveis numéricas (variáveis inteiras) ou variáveis fechadas (ordinal ou

nominal)

29

Em função da Metodologia

30

Em função da Metodologia

31

Em função da Metodologia

Ida

de

0 - 5 anos

6 - 10 anos

11 - 15 anos

16 -20 anos

21 -30 anos

31 - 45 anos

46 -55 anos

56 -65 -anos

66 - 75 anos

> 75 anos

Moradia

Assistência Social

Serviço de Saúde Desenvolvimento Econômico

Justiça Educação

Sistemas

Comunitários

Cubo para Análise de Objetivos para Análise de

Programa

Adaptado de Worthen, Sanders e Fitzpatrick (2004, p.

138) 32

Em função da Metodologia

33

Em função da Metodologia

34

Em função da Metodologia

35

Em função da Metodologia

36

Em função da Metodologia

• Análise de consistência interna

• Variáveis chaves (ex:renda x escolaridade do chefe do

domicílio x posse de bens)

• Consistência lógica (ex: homem que declara está grávido)

• Verosimilhança

• Consistência externa (comparação com outras pesquisas,

censo demográfico etc)

37

Em função da Metodologia

• Possibilidade de generalização

• Representatividade estatística

• Possibilidade de estimar a

magnitude e a distribuição do

impacto

• Documentação clara do método

• Abordagem padronizada

• Controle estatístico de vieses e

fatores externos

• Podem não capturar diversos tipos

de informações

• Grupos de difícil alcance

(dificuldade em estimar os efeitos)

• Abordagem da pesquisa pode

alienar o respondente

• Longo prazo para ter resultados

• Redução a dados pode representar

um empobrecimento das

informações (realidade é muito

mais complexa)

38

Em função da Metodologia

• Construir a validade do instrumento

Alta confiabilidade

Baixa Validade

Baixa confiabilidade

Baixa Validade

Alta confiabilidade

Alta Validade

Adaptado de Babbie (2010, p.155) 39

Em função da Metodologia

• Problemas com a validade externa

• A amostra não cobre a população de interesse

• Mudanças no entorno do programa podem levar a resultados

diferentes

• Resultados do programa pode ter resultados em diferentes áreas

(urbano x rural etc)

• A atitude de agentes políticos ou policymakers pode alterar os

resultados do programa

• Influência sazonal

• As características da unidade de análise estudada não permite

comparação com outras amostras

• O desenho amostral não permite generalizações

Bamberger, Rugh e Mabry (2012, p.554) 40

Em função da Metodologia

• Descontextualizar a avaliação

• Não conseguir explicar os resultados

• Inflexibilidade dos desenhos tradicionais (experimentais e

quasi-experimentais)

• Amostragem

• Assegurar grupo controle

• Longo atraso na entrega dos resultados

• Dificuldade de generalizar para outras configurações

41

Em função da Metodologia

• O pesquisador faz parte do mundo social

• Reconhece a impossibilidade do distanciamento do objeto de estudo

• Muitas não partem de uma hipótese. Quando usadas são indutivas

• A variável chave é o significado atribuído as situações e os fenômenos

sociais

• Programa não podem ser estudados independentemente do seu contexto

• A mutiplicidade de variáveis que atuam sobre os fenômenos sociais

impedem que se estabeleça relações de casualidade

42

Em função da Metodologia

• Amostragem é intencional

• Menor número de pessoas entrevistada, maior profundidade

• O instrumento de coleta de dados pode ser modificado no campo

• Entrevistas

• Estruturadas

• Semiestruturadas

• Não estruturadas

• Grupo focais

• Observação

• Observação participante

• Registro fotográfico

• Análise de documentos e artefatos 43

Em função da Metodologia

44

Em função da Metodologia

45

Em função da Metodologia

• Flexibilidade na condução da

pesquisa

• Amostra nos objetos de alto

valor

• Foco holístico

• Múltiplas fontes permitem uma

compreensão mais completa do

fenômeno

• Relatórios descritivos

• Triangulação reforça a validade

dos achados

• Falta de clareza do desenho

pode frustrar os clientes

• Dificuldade de generalização

• Múltiplas perspectivas - difícil

encontrar consenso

• Métodos interpretativos muito

subjetivos

46

De acordo com a fase uma Política Pública

Definição da

Agenda

Formulação

Implementação Resultados

Demanda

47

Por que avaliar um programa?

“Avaliação é uma empreitada racional

que acontece por razões não racionais

ou, no mínimo, por razões não

informadas” (Weiss, 1998, p. 23)

48

Uma avaliação deve ser sempre realizada?

Condições nas quais uma avaliação não deve ser realizada:

Quando o programa tem pouca rotina ou pouca estabilidade

Quando não existe consenso entre os apoiadores do programa

sobre qual é o objetivo do programa

Quando os financiadores da avaliação ou gerentes do programa

impõe limites muito rígidos sobre o que deve ser avaliado

Quando não existe dinheiro ou tempo suficiente ou equipe

qualificada para realizar a avaliação

49

Uma avaliação deve ser sempre realizada?

Condições nas quais uma avaliação não deve ser

realizada:

Programa pouco relevante

Os resultados da avaliação não serão utilizados

A avaliação não tem como produzir informações úteis

e válidas

A avaliação é prematura para o estágio do programa

A propriedade da avaliação é duvidosa

50

Uma avaliação deve ser sempre realizada?

É preferível não ter a ter uma avaliação ruim.

“Uma ‘avaliação’ mal concebida ou mal executada

produz informações que, no melhor dos casos,

seriam enganosas e, no pior, absolutamente, falsas”

(Whorthen, Sander e Fitzpatrick, 2004, p. 44).

“Dados precários podem induzir os adminsitradores ao erro e

tranqüilizá-los com falsa segurança de pensar que as

informações corretas que receberam descrevem fielmente

suas atividades”

(Whorthen, Sander e Fitzpatrick, 2004, p. 277). 51

Entendendo a motivação da avaliação

“Determinar o propósito talvez seja a

decisão mais importante que o financiador

de uma avaliação vai tomar no decorrer de

um estudo. E compreender esse propósito

talvez seja a percepção mais importante

que o avaliador pode ter.”

(Whorthen, Sander e Fitzpatrick, 2004, p. 270-1).

52

Usos da Avaliação

53

54

55

56

57

Avaliando a necessidade de uma Avaliação

Pode realizar uma avaliação se o programa

tem:

Objetivos, efeitos (desejáveis e não

desejáveis) e necessidade de informações

bem definidos

Objetivos plausíveis

Uso que será dado as informações bem

definidos

58

Avaliando a necessidade de uma Avaliação

Etapas:

Esclarecer o objetivo da avaliação

Esclarecer o modelo ou teoria do programa

Contrastar : teoria, a implementação e meta

do programa

Contrastar: as diferentes abordagem

metodológica, expectativas da avaliação (escopo, tempo, recursos)

59

Avaliando a necessidade de uma Avaliação

Hierarquia de Avaliações

(Rossi, Lipsey e Freeman, 2007, p.80)

60

Conhecendo o Programa a

ser avaliado

Por que investir em conhecer o Programa?

• Desenvolver compreensão de contexto do ambiente

• Formular melhor as questões avaliativas

• Compreender os dados

• Interpretar as evidências

• Elaborar recomendações

• Auxilia na elaboração do relatório

• Para meta-análises posterior

Weiss (1998, p. 46-7) 61

Conhecendo o Programa a ser

avaliado

• Análise de contexto da avaliação

• Identificar grupos interessados na e

afetados pela avaliação

• Conhecendo a demanda do “cliente”

• Identificação e análise dos steakholders

• Construção da teoria do programa

62

Conhecendo o Programa a ser

avaliado Análise de contexto da avaliação

“Mas ainda existe a tendência lamentável de

responder ao ‘bebê chorão’ dirigindo os estudos

avaliatórios àqueles que criticam e vociferam ou

aos poderosos. E os aposentados sem filho em

idade escolar, só lembrados quando do aumento de

impostos com finalidade educacionais, é prudente

continuar a ignorá-los?”

(Whorthen, Sander e Fitzpatrick, 2004, p. 302).

63

Conhecendo o Programa a ser

avaliado

Identificar grupos interessados na e afetados pela

avaliação.

“Nenhum mecanismo procedimental parece capaz de

identificar - para não falar em representar - todo o

conjunto de usuários potenciais dos resultados da

avaliação ou das perguntas que eles vão levantar.

Mas, no curso normal das coisas, a representação

adequada dos interesses parece viável”

(Weiss, 1981,p.259)

64

Conhecendo o Programa a ser avaliado

Identificação de Grupos

interessados na Avaliação

Conhecer o Programa Identificação de Apoiadores e

Opositores

Identificar a necessidade

de e da Avaliação Fazer as perguntas

avaliativas adequadas

65

Conhecendo o Programa a ser avaliado

Não considerar os diversos interlocutores

interessados na avaliação na elaboração das

pergunta(s) avaliativa(s) :

• Pouca ou nenhuma compensação pelas despesas de

avaliação

• Foco míope da avaliação

• Perda de apoio e credibilidade

• Conclusões injustificadas

(Whorthen, Sander e Fitzpatrick, 2004, p. 342). 66

Conhecendo a demanda do Cliente

• Quem é o cliente da avaliação?

• Qual a motivação que originou a

solicitação de avaliação?

• Qual(is) a(s) pergunta(s) chave(s) que

é/são esperada(s) que a avaliação

responda?

• Qual o tempo e os recursos disponíveis

para realizar a avaliação?

67

Identificação e Análise dos Steakholders

Quem são os steakholders?

• Participantes

• Beneficiários diretos e indiretos

• Financiadores

• Burocracia

• Agências do executivo e legislativo

• Tomadores de decisões

• Comunidade e grupos de interesse

68

Identificação e Análise dos Steakholders

Por que fazer uma análise de Steakholders?

• Ampliar as perguntas avaliativas

• Identificar os grupos que podem influenciar a

avaliação

• Antecipar as influências

• Desenvolver estratégias para potencializar as

influências positivas e mitigar as negativas

(Imas e Rist, 2009, p.147)

69

Identificação e Análise dos Steakholders

(Whorthen, Sander e Fitzpatrick, 2004, p. 304)

Steakholders Para ações

políticas

Para tomar

decisões

operacionais

Para dar

contribuições

à avaliação

Para reagir Só por

interesse

Criadores do

programa

Financiadores

do Programa

Pessoal/órgão

que

identificaram a

necessidade

local

Identificando os Steakholders e investigando os seus

interesses na avaliação

70

Identificação e Análise dos Steakholders

(Imas e Rist, 2009, p.147)

Steakholders

Interesse no

projeto,

programa ou

política

Investigar o

potencial impacto

da avaliação nos

steakholders e dos

steakholders na

avaliação

Potenciais

estratégias para

obter suporte ou

mitigar oposição

•Extremamente

importante

•Importante

•Pouco importante

71

Identificação e Análise dos Steakholders

Pote

ncia

l d

e A

feta

r a

avalia

çã

o

Interesse na avaliação

Apoio Oposição

72

Conhecendo o Programa a ser Avaliado

Teoria do Programa e Marco Lógico

“É uma descrição (visual) de como uma

intervenção é suportada para entregar os

resultados desejados. Ela descreve a lógica

causal de como e por que um determinado

programa, projeto ou política está atingidos

os seus resultados esperados”

(Gertler et al., 2011, p.21)

73

Teoria do Programa

Insumos Atividades Produtos Resultados Impacto

Ambiente Externo

Ambiente

Político

Contexto

da Política

Quadro

Macroeconômic

o

Opinião

pública

Atores

externos

(Adaptado de Imas e Rist, 2009, p.152-3) 74

Teoria do Programa

• Ajuda a identificar os elementos críticos para o sucesso

do programa

• Ajuda a construir um entendimento comum sobre

Programa

• Produz uma base para avaliação

• Elege indicadores

• Identifica medidas para determinar o progresso de um

variável progresso de uma variável interveniente de que

os resultados dependem

• Identifica as pressupostos/teorias que suportam o programa

75

Teoria do Programa

Limitações

• É uma representação da realidade, não uma realidade

• Pode não incluir os efeitos além daqueles esperados

• Dificuldade de estabelecimento de causalidade

• Parte do pressuposto que a escolha da intervenção é a

mais correta.

• O que estamos fazendo é mesmo o mais correto?

76

Árvore de Problema

Causa 1 Causa 1I Causa III

Causa IV Causa V

Problema

Conseqüênci

a 1

Conseqüênci

a II

Conseqüênci

a III

Conseqüênci

a IV

Programa

Objetivo

Geral

Público

Alvo

Beneficiário

s

77

Teoria do Programa Modelo Lógico

• O modelo é uma representação acurada do programa?

• Os principais elementos estão bem definidos?

• Existe alguma lacuna lógica na descrição do programa?

• Os elementos são necessários e suficientes?

• As relações são plausíveis e consistentes?

• É realístico assumir que o programa irá resultar no atendimento dos objetivos pretendidos?

78

Teoria do Programa

Construindo o Modelo Lógico

• Revisão da literatura

• Entrevista com os responsáveis pelo

programa

• Oficinas de discussão

79

Teoria do Programa

Verificação de qualidade

• O modelo é uma representação acurada do

programa?

• Os principais elementos estão bem definidos?

• Existe alguma lacuna lógica na descrição do

programa?

• Os elementos são necessários e suficientes?

• As relações são plausíveis e consistentes?

• É realístico assumir que o programa irá resultar no atendimento dos objetivos pretendidos?

80

Teoria do Programa

“Uma cadeia de resultados provê um

mapa útil para selecionar os indicadores

que poderão ser utilizados no

monitoramento e/ou avaliação do

programa.”

(Gertler et al., 2011, p.27)

81

Teoria do Programa

Indicadores de Performance

• ESpecífico

• Mensurável

• Apropriada

• Realista

• Temporal

82

Teoria do Programa

Indicadores de Performance

• S

• M

• A

• R

• T

Indicadores de Performance

• ESpecífico

• Mensurável

• Apropriada

• Realista

• Temporal

83

Teoria do Programa

Indicadores de Performance

Elemento Descrição

Resultados esperados Obtido do desenho do programa e

da matriz lógica

Indicador (com a linha de base e

metas)

Derivado da matriz de resultado.

SMART

Fonte de dado Deve descrever as estratégias de

obtenção dos dados

Responsabilidades Quem é responsável pela coleta e

análise da qualidade dos dados?

84

Teoria do Programa

Indicadores de Performance

Elemento Descrição

Frequência dos dados Com que frequência os dados

estarão disponíveis

Análise e relatórios Frequência e métodos de análise e

responsabilidade pelos relatórios

Usuário final Quem irá receber as informações?

Qual o propósito será dado?

Riscos Quais os riscos assumidos na matriz de

monitoramento e avaliação? Como podem afetar a

qualidade dos dados?

Custos Que custos são previstos na coleta dos

dados. Quem suporta tais custos? 85

Ciclo de Avaliação

Adaptado de Vaitsman, J; Rodrigues, R.W. S.; Paes-Sousa, R. Brasília: UNESCO Management of Social Transformations, MDS, 2006. 77 p.

1. Discussão 2. Termo de Referência 3. Contratação

SAGI/SF

•Definição da avaliação a ser realizada

•Relevância do estudo proposto

SAGI/SF

•Elaboração do TOR pela SAGI

•Revisão do TOR pela SF

SPOA e/ou Órgão de Cooperação

Internacional

•Aprovação do TOR

•Elaboração de edital

•Contratação da instituição executora (IE)

que apresentar melhor projeto

4. Reunião/Definições importantes 5. Acompanhamento 6. Resultados Finais

SAGI/SF/IE

•Definição de questões relevantes para o

estudo

•Disponibilização dos dados necessários

para a realização da pesquisa

SAGI/IE

•Desenvolvimento dos instrumentos

de pesquisa

•Visitas ao campo

•Avaliação e aprovação de

relatórios parciais e do relatório final

SAGI/SF/IE

•Recomendações da avaliação (IE)

•Reuniões com os gestores

•Retroalimentação dos programas

7. Divulgação dos Resultados 8. Publicações 9. Disponibilização dos microdados

SAGI/SF/IE

•Apresentação dos resultados finais ao

MDS

•Seminários abertos ao público externo

SAGI

•Cadernos de estudos

•Relatórios de pesquisa

•Livros

SAGI

•Envio dos arquivos dos microdados das

pesquisas para o CIS

SAGI = Secretaria de Avaliação e Gestão da Informação / SPOA=Secretaria de Planejamento , Orçamento e Administração

SF = Secretaria Finalística / IE= Instituição Executora / CIS = Consórcio de Informações Sociais

Pesquisas Realizadas 1) www.mds.gov.br/sagi

Pesquisas Realizadas

Pesquisas Realizadas

Pesquisas Realizadas

Mapeamento das Pesquisas em Andamento e Planejadas

Alexandro Pinto alexandro.pinto@mds.gov.br

Grato

94