Teoria da Mudança, Indicadores e Mensuração de …. Avaliações de impacto: O que são? Por que...

www.povertyactionlab.org

Teoria da Mudança, Indicadores e Mensuração de Impacto

Naercio Menezes Filho

Insper & University of São Paulo

Abdul Latif Jameel Poverty Action Lab

1. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las?

2. Teoria da Mudança, indicadores e medição de impacto

3. Por que aleatorizar? 4. Como aleatorizar? 5. O tamanho da amostra 6. Implementar uma avaliação 7. Análise e inferência

Programa do curso

1. Avaliações de impacto: O que são? Por que fazê-las? Quando fazê-las?

2. Teoria da Mudança, indicadores e medição de impacto

3. Por que aleatorizar? 4. Como aleatorizar? 5. O tamanho da amostra 6. Implementar uma avaliação 7. Análise e inferência

Programa do curso

1. A avaliação de impacto requer um conhecimento PROFUNDO do funcionamento e objetivos do programa

2. A TEORIA DA MUDANÇA facilita a avaliação e medição de um programa

– Articula objetivos de insumos, produtos, resultados e impactos

– Simplifica a definição da hipótese de investigação

– Facilita a construção de indicadores para diferentes metas do programa

Objetivos da apresentação

4

1. Teoria da Mudança

2. Resultados e indicadores

3. Noções básicas de medição de impacto

Programa da apresentação

5

1. Teoria da Mudança – O que é? – Como se desenvolve? – Exemplo: Informação e eleições locais no México

2. Resultados e indicadores 3. Noções básicas de medição de impacto

Programa da apresentação

6

1. Teoria da Mudança – O que é? – Como se desenvolve? – Exemplo: Informação e eleições locais no México

2. Resultados e indicadores 3. Noções básicas de medição de impacto

Programa da apresentação

7

• Representa visualmente o mecanismo (cadeia) CAUSAL entre:

– Necessidades/Objetivos

– Insumos

– Produtos

– Resultados intermediários

– Impactos (esperados e não esperados/desejados)

• Facilita a definição da hipótese a ser verificada

Teoria da Mudança

1. Teoria da Mudança – O que é? – Como se desenvolve? – Exemplo: Informação e eleições locais no México

2. Resultados e indicadores 3. Noções básicas de medição de impacto

Resumo da apresentação

9

Cadeia de causalidade

Objetivos Insumos Produtos Resultados

Intermediários Impactos

Cadeia de causalidade

Objetivos Insumos Produtos Resultados

Intermediários Impactos

Melhoram a compreensão do programa Reforçam conclusões Facilitam a aprendizagem de lições

Cadeia de causalidade

OBJETIVOS 1. Respondem a uma necessidade 2. Especificam uma população-alvo 3. São passíveis de mensuração

Cadeia de causalidade

INSUMOS 1. O que posso fazer para alcançar o

objetivo? 2. Factíveis

Cadeia de causalidade

PRODUTOS 1. Consequência direta da minha atuação/

intervenção 2. São passíveis de mensuração 3. Representam o primeiro “resultado”

observável da minha intervenção

Cadeia de causalidade

RESULTADOS INTERMEDIÁRIOS 1. São os fatores de transição que conectam

os produtos com os impactos 2. São passíveis de mensuração

Cadeia de causalidade

IMPACTOS 1. O que quero modificar com o programa 2. Diretamente relacionados com os

objetivos 3. São passíveis de mensuração

1. Teoria da Mudança – O que é? – Como se desenvolve? – Exemplo: Informação e eleições locais no México

2. Resultados e indicadores 3. Noções básicas de medição de impacto

Resumo da exposição

17

Exemplo: Informação antes das eleições locais

18

• Hipótese: informação ajuda votantes a escolher melhor os políticos -> melhores políticos melhoram bem-estar

• Exemplo: testar impacto da informação sobre o voto

• Distribuição aleatória de informação sobre corrupção (Auditoria Superior da Federação) em municípios uma semana antes da eleição

• Verificar efeito da informação sobre os resultados de eleições

Exemplo: Informação antes das eleições locais

19

• Quais são as possíveis cadeias de causalidade no caso dos folhetos de informação?

• Quais são as etapas necessárias para obter impactos finais?

• Quais são os possíveis impactos finais?

Teoria da Mudança dos folhetos de informação

20

Necessidades

Insumo Produto Resultado Intermediário

Impacto Objetivo a longo prazo

? ?

?

?

?

?

21

Teoria da Mudança dos folhetos de informação

Necessidades

Insumo Produto Resultado Intermediário

Impacto Objetivo a longo prazo

Informação pública relevante para os votantes não é utilizada.

Os governos locais tendem a

desperdiçar dinheiro sem

represálias

?

Melhor uso dos recursos

públicos locais e melhor

prestação de serviços

O que faço para alcançar meu objetivo

22

Teoria da Mudança dos folhetos de informação

Tratamento 1

Tratamento 2

Tratamento 3

Necessidades

Insumo Produto Resultado Intermediário

Impacto Objetivo a

longo prazo

Informação pública

relevante para os

votantes não é utilizada. Os

governos locais tendem a desperdiçar dinheiro sem

represálias

Folhetos:

Campanha de informação

prévia às eleições

municipais focadas nos responsáveis

de fornecer certos

serviços públicos

?

?

26

Teoria da Mudança dos folhetos de informação nivel local y mejora

Consequência direta da minha atuação

Necessidades

Insumo Produto Resultado Intermediário

Impacto Objetivo a longo prazo

Informação pública relevante para os votantes não é utilizada.

Os governos locais tendem a

desperdiçar dinheiro sem

represálias

Folhetos:

Campanha de informação

prévia às eleições

municipais focadas nos responsáveis

de fornecer certos serviços

públicos

Votantes tornam-se mais conscientes do

desempenho de seus

representantes municipais.

?

?

27

Teoria da Mudança dos folhetos de Informação

Fatores que conectam o produto com o impacto

Necessidades

Insumo Produto Resultado Intermediário

Impacto Objetivo a longo prazo

Informação pública

relevante para os votantes

não é utilizada. Os governos

locais tendem a desperdiçar dinheiro sem

represálias

Folhetos:

Campanha de informação

prévia às eleições

municipais focadas nos responsáveis

de fornecer certos serviços

públicos

Votantes tornam-se

mais conscientes do desempenho

de seus representantes municipais.

Mais votantes trocam de partido

para votar na oposição no caso

de mais corrupção (vota –se menos

por partido e mais por gestão)

?

28

Teoria da Mudança das quotas

Aquilo que eu quero afetar diretamente, com relação ao objetivo => HIPÓTESE-CHAVE

Defina as hipóteses-chave antes do início do experimento

• Suponhamos que você reúna dados de 20 indicadores de impacto diferentes

– Encontra um que é muito positivo

– Encontra um que é muito negativo

– Encontra que para 18, os resultados são muito similares e não são significativamente diferentes

• O que você pode concluir?

29

Vários possíveis impactos

Necessidades

Insumo Produto Resultado Intermediário

Impacto Objetivo a

longo prazo

Informação pública

relevante para os votantes

não é utilizada. Os governos

locais tendem a desperdiçar dinheiro sem

represálias

Folhetos:

Campanha de informação prévia

às eleições municipais focadas nos responsáveis

de fornecer certos serviços públicos

Votantes tornam-se

mais conscientes do desempenho

de seus representantes

municipais.

Mais votantes trocam de

partido para votar na oposição

no caso de mais corrupção

(Vota–se menos por partido e

mais por gestão)

Candidatos e/ou

partidos com melhor rendimento

ganham mais

eleições

Melhor uso dos recursos

públicos locais e melhor

prestação de serviços

30

Teoria da Mudança das quotas

1. Modelos lógicos – O que são? – Como se desenvolvem? – Exemplo: Informação e eleições locais no México

2. Resultados e indicadores 3. Noções básicas de medição do impacto

Programa da apresentação

31

• Descreve o âmbito no qual se realiza a intervenção/ o experimento

• Quantifica insumos na intervenção

• Permite avaliar a implementação da intervenção

• Quantifica os resultados e impactos

• Registra as percepções da intervenção

Mensuração…

32

• Descreve o âmbito no qual se realiza a intervenção/ o experimento

• Quantifica insumos na intervenção (se for o caso)

• Permite avaliar a implementação da intervenção

• Quantifica os resultados e impactos

• Registra as percepções da intervenção

Mensuração…

33 É FEITA ATRAVÉS DE INDICADORES

• Variáveis quantitativas ou qualitativas que nos permitem de forma simples e confiável:

– Detectar necessidades

– Medir insumos

– Caracterizar implementação/processos

– Quantificar resultados/impactos

– Registrar percepções

Indicadores são…

Conselhos sobre levantamento de indicadores

Medição da pressão arterial em Udaipur, Índia

• C (laros): precisos e sem ambigüidade

• R (elevantes): apropriados para a medição em

questão

• E (conômicos): fáceis de medir e recolher

• A (dequados): suficientes para detectar impactos em hipóteses-chave

CREA: Características de bons indicadores (Kusek & Rist 2004)

Necessidades Insumo Produto Resultado

Intermediário Impacto Objetivo a

longo prazo

Informação pública relevante para os votantes não é utilizada.

Os governos locais tendem a

desperdiçar dinheiro sem

represálias

Folhetos:de informação

prévio às eleições

municipais

Votantes tornam-se

mais conscientes

sobre o desempenho

de seus representantes

municipais.

Mais votantes trocam de

partido para votar na oposição no caso de mais

corrupção

(Vota–se menos por partido e

mais por gestão)

Candidatos e/ou

partidos com melhor rendimento

ganham mais

eleições

Melhor uso dos recursos

públicos locais e melhor

prestação de serviços

INDICADORES:

? ? 37

Modelo lógico com indicadores

?

Necessidades

Insumo Produto Resultado

Intermediário

Impacto Objetivo a

longo

prazo

Informação pública relevante para os

votantes não é utilizada. Os

governos locais tendem a

desperdiçar dinheiro sem

represálias

Folhetos de informação

prévio às eleições

municipais

Votantes tornam-se

mais conscientes

do desempenho

de seus representantes municipais.

Mais votantes trocam de partido

para votar na oposição no caso

de mais corrupção

(Vota–se menos por partido e mais

por gestão)

Candidatos e/ou

partidos com melhor

rendimento ganham mais

eleições

Melhor uso dos recursos

públicos locais e melhor

prestação de serviços

INDICADORES:

Mais pessoas

leram as

informações

sobre

corrupção

Mais votos

recebidos por

políticos de

oposição nos

casos de mais

corrupção

38

Modelo lógico com indicadores

Quantidade e tipo de

gastos municipais

Nº de serviços públicos

disponíveis

Uso e percepção

de serviços municipais

1. Modelos lógicos – O que são? – Como se desenvolvem? – Exemplo: Informação sobre desempenho

municipal no México

2. Resultados e indicadores 3. Noções básicas de medição de impacto

Resumo da apresentação

39

• O que teria acontecido sem o programa para aqueles que participaram?

• Diferença entre

O que aconteceu (com o programa) – O que teria acontecido (sem o programa) = IMPACTO do programa

40

Como medir o impacto?

Impacto: O que é?

Tempo

Imp

acto

Impacto

Intervenção

• Contrafatual: O que teria acontecido sem o programa para aqueles que participaram?

• Não posso observar uma pessoa que participa e

não participa no programa ao mesmo tempo.

• Objetivo fundamental de todos os métodos de avaliação de impacto é construir ou “replicar” o contrafatual. • Escolhendo um grupo não afetado pelo programa,

um grupo de comparação (ou “grupo de controle”)

Impacto e o contrafatual

• Experimental: – Se baseia na aleatorização do programa para criar

um grupo de controle que imite o contrafatual.

• Não experimental: – Argumenta que um certo grupo excluído é uma

réplica do contrafatual.

43

Construindo o contrafatual

1. Avaliação de impacto requer um PROFUNDO conhecimento sobre o funcionamento e objetivos do programa

2. TEORIA DA MUDANÇA facilita a avaliação e medição de um programa

– Articula objetivos insumos, produtos, resultados e impactos

– Simplifica definição de hipóteses de pesquisa

– Facilita construção de indicadores para diferentes metas do programa

– Ajuda a pensar em um cenário contrafatual

Conclusão

44