View
212
Download
0
Category
Preview:
Citation preview
Workshop Internacional de Avaliação de Impacto de
Políticas Públicas Rio de Janeiro
Março, 19-21 de 2013
Caio Piza – DIME/Banco Mundial
Métodos Quase-Experimentais
Objetivo
Objetivo: isolar o efeito causal de uma intervenção/política pública sobre alguns resultados de interesse
Métodos de avaliação rigorosos para responder às nossas perguntas operacionais
Procedimento ideal: escolher aleatoriamente entre os elegíveis quem fará parte do programa (experimento aleatório)
E se não pudermos seguir tal procedimento (aleatorizar)?
Conseguimos encontrar um contrafatual plausível?
Métodos não-experimentais: premissas (“hipóteses de identificação”) e regras do programa (“elegíveis”)
Quanto maior o número de premissas, menos válida será a medida do efeito de causalidade
Se a regra do programa não for seguida à risca...
É importante questionar as nossas premissas
Utilize o senso-comum!
Métodos não-experimentos: quando fazem sentido?
Objetivo Principal Aumentar a produtividade e vendas das empresas
Intervenção Distribuição de subsídios
Seleção dos participantes não-aleatória
Público-alvo Micro e pequena empresa entre 1 e 10 empregados
Principal indicador Vendas, lucros, geração de emprego etc.
4
Exemplo: Programa de Subsídios (Matching Grant)
Método de diferenca em diferenças (ou diff-in-diff)
Premissa subjacente:
Sem o programa, as vendas dos participantes e dos não participantes evoluíriam da mesma forma (com a mesma tendência) >> Gráfico intuitivo a caminho....
Exemplo
Média de Vendas
(1000s)
2007 2008 Diferença (2007-2008)
Participantes (P) 1.5 2.1 0.6
Não-participantes (NP) 0.5 0.7 0.2
Diferença (P-NP) 1.0 1.4 0.4
6
0
0,5
1
1,5
2
2,5
2007 2008
participants
non-participants
P08-P07=0.6 P08-P07=0.6
7
NP08-NP07=0.2 NP08-NP07=0.2
Impact0 = (P2008-P2007) -(NP2008-NP2007)
= 0.6 – 0.2 = + 0.4 Impact0 = (P2008-P2007) -(NP2008-NP2007)
= 0.6 – 0.2 = + 0.4
Presunção de mesma tendência: Implicação Gráfica
0
0,5
1
1,5
2
2,5
2007 2008
participants
non-participants
Impacto = +0.4 Impacto = +0.4
Conclusão
O programa teve impacto positivo nas vendas das empresas que participaram do programa (receberam o subsídio)
Sera que presumir a mesma tendência é razoável? ➤Utilizar dados de anos anteriores
Questionando a premissa de mesma tendência: Dados pré-programa
Parece razoável aceitar a premissa conceitual de mesma tendência!
0
0,5
1
1,5
2
2,5
2006 2007 2008
participants
non-participants
Atenção (1)
Assumir a mesma tendência pode ser
problemático em alguns casos. Por exemplo:
Não existem dados para testar a mesma
tendência histórica
E mesmo se as tendências forem semelhantes no
ano anterior…
• Foram as tendências sempre semelhantes (ou
tivemos sorte)?
• Exemplo: outro projeto intervém nas empresas não
participantes…
Atenção (2)
Que fazemos então?
1. Verificar as semelhanças em características
observáveis na linha de base (baseline)
Se não são semelhantes ao nível das
características observáveis, é provavel que as
tendências sejam diferentes (Abadie, 2005)
2. As características não observáveis podem ser mais
importantes que as observáveis (capacidade,
motivação, paciência etc.)
Métodos de Combinação/Pareamento (matching)
Geralmente usado quando não há informação de “antes e depois” para os grupos de tratamento e controle
Contrafatual:
Grupo de comparação com semelhanças em características observáveis:
Procura-se para cada participante do programa um ou mais pares de não participante(s) com base nas características observáveis
13
Métodos de Combinação (2)
Premissas: Características não-observáveis não afetam a
designação para o tratamento e/ou o resultado de interesse
A participação em um programa depende exclusivamente de características observáveis pelo pesquisador
Como se faz?
1. Calcula-se um escore para cada participante com base nas características obseráveis pelo pesquisador
Temos de escolher com cuidado as variáveis para agrupar os participantes com o grupo de controle
Finalidade: ▪ Grupo de tratamento: Participantes que conseguiram obter
um par
▪ Grupo de controle: não-participantes parecidos com os participantes
Eliminamos da avaliação os indivíduos sem pares
Implicações
Na maior parte dos casos, não conseguimos encontrar pares para todos os participantes
Precisamos perceber quem fica de fora
Exemplo
Pontuação
não-participantes Participantes
Parte combinada
Riqueza
Parte do grupo de tratamento excluída
Conclusão (1)
Vantagens do metodo de combinação:
Não precisa de aleatorização e é relativamente simples de implementar
17
Conclusão (2)
Desvantagens:
A premissa subjacente ao contrafatual não é plausível em todos os contextos... dificil de testar
▪ Utilize o senso comum e a regra do programa
Necessita dados de muita qualidade
▪ Necessário controlar todos os fatores que influenciam o a alocação ao programa / resultado em análise
Necessita amostras de tamanho suficientemente grande para gerar o grupo de comparação
18
Primo muito mais próximo dos experimentos com seleção aleatória do que os outros concorrentes
Importante elemento do kit de ferramentas para research
• Data do início da década de 60
• Entrou em hibernação por algum tempo
• Retomado no novo milénio
Modelos de Regressão Descontínua (RD)
19
RD como experimento natural
Experiências naturais são eventos “naturais” que aproximam as propriedades de um experimento
RDs partilham as mesmas propriedades de uma experimento localmente no ponto de corte (cut-off)
20
Suponha que o Bolsa Família seja focado em famílias com um escore de pobreza inferior a um certo limite (cut off)
Famílias com escore<=50 são elegíveis (consideradas pobres)
Famílias elegíveis podem receber uma transferência monetária desde que… (CCT)
Resultados de interesse: consumo e frequência escolar.
Source: Human Development Network, WB.
Motivação
Validade Interna
Ideia geral: Se o ponto de corte (cut-off) é arbitrário, as pessoas
exatamente à esquerda e à direita desse ponto devem ser semelhantes
Diferenças nos resultados podem ser atribuídos à política Principal condição Nada mais acontece: na ausência da política, não
observaríamos a discontinuidade nos resultados à volta deste limite
22
Não-Miserável
Não-Miserável
Miserável Miserável
Fonte: WB – Human Development Network.
Ilustração gráfica
O que deveríamos observar?
Efeito da Política
Fonte: WB – Human Development Network.
RD identifica o LATE!
o A descontinuidade determina o tratamento o Experimento natural ao redor da descontinuidade o E.g. Pagamento da aposentadoria depende necessariamente
da idade da pessoa
Descontinuidade Sharp
o Descontinuidade altamente correlacionada com o tratamento o E.g. Regra (idade) determina a eligibilidade para o tratamento
mas não perfeitamente o A regra é usada para recuperar o efeito da participação .
Descontinuidade Fuzzy
Fonte: WB – Human Development Network.
Outro exemplo de RD (1)
Lei: Idade mínima para beber nos EUA é 21 o consumo de alcóol é ilegal para pessoas com menos de 21 anos.
Análise: Pessoas com 20 anos, 11 meses e 29 dias Pessoas com 21 anos
Mas não necessariamente diferentes (probabilidade de irem a festas, obediência, probabilidade de terem comportamentos de risco, etc)
Tratadas na lei de uma forma diferente por uma restrição arbitrária (idade)
26
Exemplo de RD (2)
Proporção de dias em que (1) bebe ou (2) bebe em grandes quantidades
Tratamento causa um menor consumo de alcóol
27
Exemplo de MRD (4)
Taxas de mortalidade por idade
Aumento do consumo de alcóol causa taxas de mortalidade mais elevadas por volta dos 21 anos
Mortalidade geral
Mortalidade associada a acidentes, consumo de alcóol ou de drogas
Restante mortalidade
28
Validade Externa
Serão os resultados generalizáveis para além destes dois grupos que estamos a comparar?
As conclusões de causalidade são limitadas às pessoas, lares, municípios, ao redor do cut-off
O impacto estimado é para individuos marginalmente ou por
pouco elegíveis para participarem no programa A extrapolação além deste ponto supõe premissas adicionais,
geralmente não garantidas (ou diversos cut-offs)
Modelos difusos aumentam o problema
29
Implementação de RD: Detalhes
Maiores vantagens dos RD
Transparência
Possibilidade de ilustrar a situação por meio do uso de gráficos
Maiores desvantagens dos RD
Necessário que haja muitas observações à volta do cut-off
Todas as observações longe da fronteira devem ter menos importância
30
Conclusão
Pode ser usado para desenhar uma avaliação quando a seleção aleatória não for possível
O design aplica-se a todos os programas avaliados por médias
Diversos pontos de corte para melhorar a validade externa
Pode ser usado para avaliar intervenções ex-post
usando as descontinuidades como “experiências naturais”.
31
Resumão
A randomização requer premissas mínimas e gera estimativas intuitivas (médias das amostras!)
Métodos não experimentais requerem premissas que devem ser cuidadosamente avaliadas
Mais intensivo em termos de dados
Nem sempre testável
32
Recommended