Embed Size (px)
Citation preview
www.povertyactionlab.org
Teoria da Mudança, Indicadores e Mensuração de Impacto
Naercio Menezes Filho
Insper & University of São Paulo
Abdul Latif Jameel Poverty Action Lab
1. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las?
2. Teoria da Mudança, indicadores e medição de impacto
3. Por que aleatorizar? 4. Como aleatorizar? 5. O tamanho da amostra 6. Implementar uma avaliação 7. Análise e inferência
Programa do curso
1. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las?
2. Teoria da Mudança, indicadores e medição de impacto
3. Por que aleatorizar? 4. Como aleatorizar? 5. O tamanho da amostra 6. Implementar uma avaliação 7. Análise e inferência
Programa do curso
1. A avaliação de impacto requer um conhecimento PROFUNDO do funcionamento e objetivos do programa
2. A TEORIA DA MUDANÇA facilita a avaliação e medição de um programa
– Articula objetivos de insumos, produtos, resultados e impactos
– Simplifica a definição da hipótese de investigação
– Facilita a construção de indicadores para diferentes metas do programa
Objetivos da apresentação
4
1. Teoria da Mudança
2. Resultados e indicadores
3. Noções básicas de medição de impacto
Programa da apresentação
5
1. Teoria da Mudança – O que é? – Como se desenvolve? – Exemplo: Informação e eleições locais no México
2. Resultados e indicadores 3. Noções básicas de medição de impacto
Programa da apresentação
6
1. Teoria da Mudança – O que é? – Como se desenvolve? – Exemplo: Informação e eleições locais no México
2. Resultados e indicadores 3. Noções básicas de medição de impacto
Programa da apresentação
7
• Representa visualmente o mecanismo (cadeia) CAUSAL entre:
– Necessidades/Objetivos
– Insumos
– Produtos
– Resultados intermediários
– Impactos (esperados e não esperados/desejados)
• Facilita a definição da hipótese a ser verificada
Teoria da Mudança
1. Teoria da Mudança – O que é? – Como se desenvolve? – Exemplo: Informação e eleições locais no México
2. Resultados e indicadores 3. Noções básicas de medição de impacto
Resumo da apresentação
9
Cadeia de causalidade
Objetivos Insumos Produtos Resultados
Intermediários Impactos
Cadeia de causalidade
Objetivos Insumos Produtos Resultados
Intermediários Impactos
Melhoram a compreensão do programa Reforçam conclusões Facilitam a aprendizagem de lições
Cadeia de causalidade
OBJETIVOS 1. Respondem a uma necessidade 2. Especificam uma população-alvo 3. São passíveis de mensuração
Cadeia de causalidade
INSUMOS 1. O que posso fazer para alcançar o
objetivo? 2. Factíveis
Cadeia de causalidade
PRODUTOS 1. Consequência direta da minha atuação/
intervenção 2. São passíveis de mensuração 3. Representam o primeiro “resultado”
observável da minha intervenção
Cadeia de causalidade
RESULTADOS INTERMEDIÁRIOS 1. São os fatores de transição que conectam
os produtos com os impactos 2. São passíveis de mensuração
Cadeia de causalidade
IMPACTOS 1. O que quero modificar com o programa 2. Diretamente relacionados com os
objetivos 3. São passíveis de mensuração
1. Teoria da Mudança – O que é? – Como se desenvolve? – Exemplo: Informação e eleições locais no México
2. Resultados e indicadores 3. Noções básicas de medição de impacto
Resumo da exposição
17
Exemplo: Informação antes das eleições locais
18
• Hipótese: informação ajuda votantes a escolher melhor os políticos -> melhores políticos melhoram bem-estar
• Exemplo: testar impacto da informação sobre o voto
• Distribuição aleatória de informação sobre corrupção (Auditoria Superior da Federação) em municípios uma semana antes da eleição
• Verificar efeito da informação sobre os resultados de eleições
Exemplo: Informação antes das eleições locais
19
• Quais são as possíveis cadeias de causalidade no caso dos folhetos de informação?
• Quais são as etapas necessárias para obter impactos finais?
• Quais são os possíveis impactos finais?
Teoria da Mudança dos folhetos de informação
20
Necessidades
Insumo Produto Resultado Intermediário
Impacto Objetivo a longo prazo
? ?
?
?
?
?
21
Teoria da Mudança dos folhetos de informação
Necessidades
Insumo Produto Resultado Intermediário
Impacto Objetivo a longo prazo
Informação pública relevante para os votantes não é utilizada.
Os governos locais tendem a
desperdiçar dinheiro sem
represálias
?
Melhor uso dos recursos
públicos locais e melhor
prestação de serviços
O que faço para alcançar meu objetivo
22
Teoria da Mudança dos folhetos de informação
Tratamento 1
Tratamento 2
Tratamento 3
Necessidades
Insumo Produto Resultado Intermediário
Impacto Objetivo a
longo prazo
Informação pública
relevante para os
votantes não é utilizada. Os
governos locais tendem a desperdiçar dinheiro sem
represálias
Folhetos:
Campanha de informação
prévia às eleições
municipais focadas nos responsáveis
de fornecer certos
serviços públicos
?
?
26
Teoria da Mudança dos folhetos de informação nivel local y mejora
Consequência direta da minha atuação
Necessidades
Insumo Produto Resultado Intermediário
Impacto Objetivo a longo prazo
Informação pública relevante para os votantes não é utilizada.
Os governos locais tendem a
desperdiçar dinheiro sem
represálias
Folhetos:
Campanha de informação
prévia às eleições
municipais focadas nos responsáveis
de fornecer certos serviços
públicos
Votantes tornam-se mais conscientes do
desempenho de seus
representantes municipais.
?
?
27
Teoria da Mudança dos folhetos de Informação
Fatores que conectam o produto com o impacto
Necessidades
Insumo Produto Resultado Intermediário
Impacto Objetivo a longo prazo
Informação pública
relevante para os votantes
não é utilizada. Os governos
locais tendem a desperdiçar dinheiro sem
represálias
Folhetos:
Campanha de informação
prévia às eleições
municipais focadas nos responsáveis
de fornecer certos serviços
públicos
Votantes tornam-se
mais conscientes do desempenho
de seus representantes municipais.
Mais votantes trocam de partido
para votar na oposição no caso
de mais corrupção (vota –se menos
por partido e mais por gestão)
?
28
Teoria da Mudança das quotas
Aquilo que eu quero afetar diretamente, com relação ao objetivo => HIPÓTESE-CHAVE
Defina as hipóteses-chave antes do início do experimento
• Suponhamos que você reúna dados de 20 indicadores de impacto diferentes
– Encontra um que é muito positivo
– Encontra um que é muito negativo
– Encontra que para 18, os resultados são muito similares e não são significativamente diferentes
• O que você pode concluir?
29
Vários possíveis impactos
Necessidades
Insumo Produto Resultado Intermediário
Impacto Objetivo a
longo prazo
Informação pública
relevante para os votantes
não é utilizada. Os governos
locais tendem a desperdiçar dinheiro sem
represálias
Folhetos:
Campanha de informação prévia
às eleições municipais focadas nos responsáveis
de fornecer certos serviços públicos
Votantes tornam-se
mais conscientes do desempenho
de seus representantes
municipais.
Mais votantes trocam de
partido para votar na oposição
no caso de mais corrupção
(Vota–se menos por partido e
mais por gestão)
Candidatos e/ou
partidos com melhor rendimento
ganham mais
eleições
Melhor uso dos recursos
públicos locais e melhor
prestação de serviços
30
Teoria da Mudança das quotas
1. Modelos lógicos – O que são? – Como se desenvolvem? – Exemplo: Informação e eleições locais no México
2. Resultados e indicadores 3. Noções básicas de medição do impacto
Programa da apresentação
31
• Descreve o âmbito no qual se realiza a intervenção/ o experimento
• Quantifica insumos na intervenção
• Permite avaliar a implementação da intervenção
• Quantifica os resultados e impactos
• Registra as percepções da intervenção
Mensuração…
32
• Descreve o âmbito no qual se realiza a intervenção/ o experimento
• Quantifica insumos na intervenção (se for o caso)
• Permite avaliar a implementação da intervenção
• Quantifica os resultados e impactos
• Registra as percepções da intervenção
Mensuração…
33 É FEITA ATRAVÉS DE INDICADORES
• Variáveis quantitativas ou qualitativas que nos permitem de forma simples e confiável:
– Detectar necessidades
– Medir insumos
– Caracterizar implementação/processos
– Quantificar resultados/impactos
– Registrar percepções
Indicadores são…
Conselhos sobre levantamento de indicadores
Medição da pressão arterial em Udaipur, Índia
• C (laros): precisos e sem ambigüidade
• R (elevantes): apropriados para a medição em
questão
• E (conômicos): fáceis de medir e recolher
• A (dequados): suficientes para detectar impactos em hipóteses-chave
CREA: Características de bons indicadores (Kusek & Rist 2004)
Necessidades Insumo Produto Resultado
Intermediário Impacto Objetivo a
longo prazo
Informação pública relevante para os votantes não é utilizada.
Os governos locais tendem a
desperdiçar dinheiro sem
represálias
Folhetos:de informação
prévio às eleições
municipais
Votantes tornam-se
mais conscientes
sobre o desempenho
de seus representantes
municipais.
Mais votantes trocam de
partido para votar na oposição no caso de mais
corrupção
(Vota–se menos por partido e
mais por gestão)
Candidatos e/ou
partidos com melhor rendimento
ganham mais
eleições
Melhor uso dos recursos
públicos locais e melhor
prestação de serviços
INDICADORES:
? ? 37
Modelo lógico com indicadores
?
Necessidades
Insumo Produto Resultado
Intermediário
Impacto Objetivo a
longo
prazo
Informação pública relevante para os
votantes não é utilizada. Os
governos locais tendem a
desperdiçar dinheiro sem
represálias
Folhetos de informação
prévio às eleições
municipais
Votantes tornam-se
mais conscientes
do desempenho
de seus representantes municipais.
Mais votantes trocam de partido
para votar na oposição no caso
de mais corrupção
(Vota–se menos por partido e mais
por gestão)
Candidatos e/ou
partidos com melhor
rendimento ganham mais
eleições
Melhor uso dos recursos
públicos locais e melhor
prestação de serviços
INDICADORES:
Mais pessoas
leram as
informações
sobre
corrupção
Mais votos
recebidos por
políticos de
oposição nos
casos de mais
corrupção
38
Modelo lógico com indicadores
Quantidade e tipo de
gastos municipais
Nº de serviços públicos
disponíveis
Uso e percepção
de serviços municipais
1. Modelos lógicos – O que são? – Como se desenvolvem? – Exemplo: Informação sobre desempenho
municipal no México
2. Resultados e indicadores 3. Noções básicas de medição de impacto
Resumo da apresentação
39
• O que teria acontecido sem o programa para aqueles que participaram?
• Diferença entre
O que aconteceu (com o programa) – O que teria acontecido (sem o programa) = IMPACTO do programa
40
Como medir o impacto?
Impacto: O que é?
Tempo
Imp
acto
Impacto
Intervenção
• Contrafatual: O que teria acontecido sem o programa para aqueles que participaram?
• Não posso observar uma pessoa que participa e
não participa no programa ao mesmo tempo.
• Objetivo fundamental de todos os métodos de avaliação de impacto é construir ou “replicar” o contrafatual. • Escolhendo um grupo não afetado pelo programa,
um grupo de comparação (ou “grupo de controle”)
Impacto e o contrafatual
• Experimental: – Se baseia na aleatorização do programa para criar
um grupo de controle que imite o contrafatual.
• Não experimental: – Argumenta que um certo grupo excluído é uma
réplica do contrafatual.
43
Construindo o contrafatual
1. Avaliação de impacto requer um PROFUNDO conhecimento sobre o funcionamento e objetivos do programa
2. TEORIA DA MUDANÇA facilita a avaliação e medição de um programa
– Articula objetivos insumos, produtos, resultados e impactos
– Simplifica definição de hipóteses de pesquisa
– Facilita construção de indicadores para diferentes metas do programa
– Ajuda a pensar em um cenário contrafatual
Conclusão
44
