OCTOBER 13-17, 2014 | LISBON, PORTUGAL

DIME WORKSHOP

Métodos Experimentais

Arianna Legovini

October 13, 2014

DIME/Banco Mundial

Provocações!

1. Você acha que o seu projeto é um sucesso ou vai se tornar quando sair do papel? Sim!

2. Se o governo quiser universalizar um programa que não possou por uma avaliação rigorosa, qual será o seu conselho?

3

Provocações

• O quê avaliar?

• Por que avaliar?

• Quando avaliar?

4

A realidade é um pouco mais complexa do que…

5

Objetivos de uma Avaliação de Impacto

• Identificar o efeito causal da programa

– O programa funciona? Para quem?

– Há alternativas?

– Implementar o que funciona melhor a um custo mais baixo

• Não somos auditores! Queremos ajudá-lo a melhorar o seu programa!

6

Erros comuns… mas evitáveis!

7

• Correlação implica causalidade;

• Análise do tipo ‘antes e depois’ informa o impacto do programa;

• Qualquer grupo de controle é um bom/válido grupo de controle;

8

9

Correlação vs. causalidade

• Correlação implica causalidade;

• Análise do tipo ‘antes e depois’ informa o impacto do programa;

• Qualquer grupo de controle é um bom/válido grupo de controle;

10

11

Antes e depois

11

12

Antes e depois

Como chegamos nesse resultado?!!

12

• Correlação implica causalidade;

• Análise do tipo ‘antes e depois’ informa o impacto do programa;

• Qualquer grupo de controle é um bom grupo de controle;

13

14

VS.

Eike Batista Anônima – beneficiária do Bolsa Família

Qualquer grupo de controle é um bom grupo de controle?!

Como numa famosa música brasileira: “As aparências enganam…” (Elis Regina)

Intuição

• Preciso ter claro qual o público-alvo: elegíveis • Preciso ter informações antes e depois da

intervenção (nem sempre…) desse grupo

• Parte dos elegíveis estará no grupo de controle para me permitir identificar o impacto (contrafactual)

• Como proceder na prática?

15

Métodos de Avaliação de Impacto

• Ideal: método/desenho experimental – randomized controlled trial

• Plano B: método não-experimental (as vezes aparece como quasi-experimental)

16

Métodos de Avaliação de Impacto

• Ideal: método/desenho experimental – randomized controlled trial

• Plano B: método não-experimental (as vezes aparece como quasi-experimental)

17

Formas Alternativas de Aleatorização

Sorteio • Alguns desempregados (elegíveis) são sorteados para

participar de um programa de treinamento

Entrada gradual • Alguns municípios/vilas/escolas/hospitais são selecionados

para receber um programa que será universalizado num intervalo de 3 anos

Encorajamento/Incentivo • Um grupo de pequenos agricultores recebe crédito com taxa

de juros um pouco inferior a de mercado

18

1. Sorteio entre os elegíveis

Deve receber o programa

Inelegível para o programa

Aleatorizar quem recebe o programa

(programa de treinamento para desempregados)

19

2. Entrada Gradual

• As limitações orçamentárias impedem a cobertura integral

• O sorteio é feito para decidir quem entra no programa primeiro

– O sorteio é imparcial e transparente

• Capacidade limitada de implementação

– A introdução gradual oferece a todos a mesma chance de serem os primeiros

20

Quem deveria sentar na cadeira primeiro?

21

3. Encorajamento

• Adesão ao programa existente não é completa

– Fornecer informações ou incentivos para a adesão de alguns

• Um novo programa piloto

– Boa oportunidade para testar o desenho antes de expandi-lo

• Mudanças operacionais em programas em andamento

– Boa oportunidade de testar as mudanças antes de expandi-las

– Introduzir inovações de maneira aleatória

• O encorajamento tem como objetivo aumentar a adesão por meio de um incentivo aleatório

22

Aleatorização individual ou em grupo?

23

Aleatorização individual ou em grupo (cluster)?

• A aleatorização é feita no mesmo nível de intervenção

• Mais fácil obter amostras grandes o bastante se os indivíduos forem aleatorizados

Aleaorização individual Aleaorização de grupos (clusters)

Amostra = 20 indivíduos

Amostra = 12 grupos

24

Aleatorização em diferentes níveis

– Individual: agricultores, desempregados, estudantes etc.

– Aglomerados: organizações de agricultores, escolas, hospital, centros esportivos etc.

– Vilas, distritos, bairros, comunidades

– Estados/Municípios

25

Unidade de Aleatorização

• A aleatorização em nível mais alto às vezes é necessária: – Limitações políticas a tratamentos diferenciados na comunidade

– Limitações práticas – confusão para implementar diferentes versões

– Os efeitos sobre unidades vizinhas podem demandar uma aleatorização em nível mais alto (Ex. populaçoes na mesma organização ou vila)

• Aleatorizar ao nível de grupo requer muitos grupos por causa da correlação dentro da comunidade

• Cluster randomized trials

26

Aleatorização individual e representativa

Randomização

Randomização

População Nacional

Amostras da População Nacional

27

Aleatorização com estratificação

Estratificação

Randomização

População

Estrato do População Amostras do Estrato

da População

28

Representativo porém enviesado: inútil

População Nacional

Distribuição Enviesada INÚTIL!

Randomização

29

Representativo porém enviesado: inútil

População Nacional

Distribuição Enviesada INÚTIL!

Randomização

Muita gente confunde amostra aleatória com experimento aleatório

30

Exemplo: programa de crédito, validade interna

Distribuição aleatória

Amostra de mulheres empresárias

31

E se houver restrições sobre a aleatorização?

32

E se houver restrições…?

• Limitações orçamentárias: randomizar entre os mais necessitados

• Limitações de capacidade de implantação: randomizar quem recebe primeiro... (ou a seguir se você já houver começado)

• Promover o programa aleatoriamente para alguns, não para outros... (participantes fazem suas próprias escolhas sobre adoção)

33

Aleatorização: indivíduo ou clusters

Alocado para tratamento

Alocado para controle

Diferença Impacto: efeito médio do tratamento sobre os tratados

Não-tratados

Tratados

Proporção tratada

100% 0% 100% Impacto da alocação

100%

Resultado médio

103 80 23 Estimativa da intenção de tratar

23/100%=23 Tratamento médio sobre os tratados 34

Encorajamento aleatório: adesão baixa

Incentivados Não incentivados

Diferença Impacto: efeito médio do tratamento sobre os que aderiram

Não tratados (não aderiram)

Tratados (aderiram)

Proporção tratada

70% 30% 40% Impacto do incentivo

100%

Resultado 100 92 8 Estimativa da intenção de tratar (efeito do encorajamento)

8/40%=20 Tratamento médio sobre os que aderiram 35

Cuidado com…

• Cálculo incorreto da amostra – Randomizar um distrito para tratamento e outro

para controle e calcular o tamanho da amostra sobre o número de pessoas que forem entrevistadas

• Coleta de dados diferentes no tratamento e no controle

• Contagem dos que foram distribuídos para tratamento mas não aderiram ao programa como controle – não desfaça sua randomização!!!

36

Vantagens dos “experimentos”

• Impacto causal claro e confiável

• Em relação a outros métodos

– Muito mais fácil de analisar

– Mais barato (tamanhos menores de amostra)

– Mais fácil de explicar

– Mais convincente para os formuladores de política

– Metodologicamente incontroverso

37

Quando é que é realmente impossível?

O tratamento já foi alocado e anunciado e não há possibilidade de expansão do tratamento O programa já acabou (retrospectiva) Já há adesão universal O programa é nacional e não exclui ninguém A amostra é muito pequena para ser válida

38