Marcos A. Rangel

Universidade de São Paulo

Abdul Latif Jameel Poverty Action Lab

www.povertyactionlab.org

Implementando uma análise de impacto: coleta de dados, atrito

e problemas a evitar

• Quero aprender sobre o impacto de um dos

meus programas usando alocação aleatória dos status de tratamento

• Por onde começo?

Decidi realizar uma análise de impacto experimental…

2

• Há informação administrativa para construir a amostra, definir o desenho e realizar a alocação?

– escolha do tipo de desenho

(individual/agrupamentos) que vou usar • Dados administrativos podem informar a respeito de

preditores

– escolha de alocação baseada em maior validade externa esperada • Heterogeneidade é bem vinda

– cálculos para determinar qual é o tamanho da amostra que preciso para a minha avaliação

Informação

• Custo da intervenção vs. custo das enquetes – Quando a intervenção é grande e cara, e coletar dados é

barato, vale a pena coletar dados de linha de base – Quando a intervenção é pequena, e coletar dados é caro, é

melhor dedicar recursos adicionais a uma intervenção maior e não coletar dados de linha de base

• Cuidados quando considerado invasivo em termos de

implementação do programa

Precisamos de uma linha de base?

• Permite validar a execução do protocolo

experimental

• Permite analisar interações com variáveis pré-tratamento – Pode ser importante para analisar a validade externa

• Variáveis da linha de base absorvem variação amostral, aumentando portanto o poder amostral

• Essencial para análise detalhada de atrito (discutido a seguir)

Vantagens de uma linha de base?

• Mas em geral, faltam dados próprios para: – Obter informação sobre variáveis que nos

interessam de forma mais especifica – Obter cobertura adicional (ou sobre-amostragem)

das populações tratadas e de controle – Realizar medições no momento adequado (timing)

Coletar dados próprios ou usar dados administrativos apenas?

• Base de Amostragem e algumas variáveis pré-tratamento provinham de dados administrativos

• Angrist e co-autores (2002) realizaram enquetes para medir resultados a curto prazo (3 anos)

• Usaram dados administrativos do ministério da educação e do ministério da proteção social para analisar impactos a longo prazo (15 anos)

Exemplo: Vouchers na Colômbia

• A enquete piloto permite revisar: – A ordem das perguntas

– As respostas disponíveis (ex: quando o questionário deve

apresentar respostas “fechadas”)

– A abordagem das perguntas

– O desempenho dos entrevistadores

– O tipo e o valor da compensação para os entrevistados (se for o

caso)

– Estimar envolvimento necessário dos atores intermediários

• Durante a enquete piloto é possível testar o questionário para identificar possíveis problemas com a medição

Precisamos de uma enquete piloto?

• Depende do prazo esperado para observar efeitos

• É ideal realizar múltiplas medições: – Os resultados de uma etapa podem ajudar a garantir o

financiamento das etapas posteriores – Maior precisão – Compilar dados em cada etapa ajuda no acompanhamento

posterior dos entrevistados

• É possível usar dados administrativos para resultados a longo prazo

Quando fazer a medição final?

• Custo por enquete (duração, complexidade) versus número de enquetes

• A capacidade em termos de recursos humanos

da organização que implementa a enquete

• A disponibilidade e capacidade dos entrevistados de proporcionar a informação desejada

Considerações práticas

• Fazer relatório para obter a informação desejada

• Utilizar medições objetivas

se o tratamento puder influir na medição

• Pedir informação que não necessite cálculos da

parte do entrevistado => minimiza os erros

Disposição e capacidade do entrevistado

• Se as amostras são retiradas de uma população-alvo maior, será preciso uma base de amostragem

• A enquete deve ser clara e

não deve deixar margem à interpretação do entrevistador (minimizar impulsos interpretativos)

Coleta de dados I

• Subcontratar ou empregar diretamente os entrevistadores?

• É essencial treinar os

entrevistadores e monitorar a coleta

• Criar manuais para todos os instrumentos da enquete

Coleta de dados II

Novos entrevistadores aprendem a usar

aparelhos em Udaipur, India. A formação de

45 entrevistadores durou duas semanas.

• É preciso fazer uma verificação periódica de todos os questionários, por um supervisor, e uma nova verificação aleatória pelo gerente de pesquisa

• Entrevistar de novo uma sub-amostra de

entrevistados de forma aleatória

Coleta de dados III

• Para coleta de dados em várias rodadas, preencha os formulários com os nomes dos entrevistados e as datas de cada enquete

• Use formulários cujas

páginas possam ser separadas

Coleta de dados IV

• A equipe de campo é constituída por entrevistadores e supervisores

• O tamanho ideal de uma equipe subordinada a um supervisor depende da área da enquete e do tamanho do questionário (normalmente de 8 a 10 pessoas)

• Analisar o esquema de pagamento da equipe para garantir a qualidade dos dados

Coleta de dados V

Grosh y Glewwe, 2005

Questões logísticas: as enquetes devem chegar aos entresvitados

Você

Supervisor Supervisor Supervisor Supervisor Supervisor

Entre-

vistador

entrevistado

Lar Lar Lar Lar Lar Lar Lar Lar

& &

Entre-

vistador

Entre-

vistador Entre-

vistador

Entre-

vistador

Entre-

vistador

Entre-

vistador

Entre-

vistador

entrevistado entrevistado entrevistado entrevistado

• Ingrese rápidamente los dadospara captar los problemas • Al ingresar los dados, asigne un número de enquete a cada

cuestionario • Escanee los documentos • Invierta en una buena base de dadosde ingreso de dados(puede

utilizar una empresa de software). • Ingrese dos veces todos los dadosy unifique con las copias impresas

para detectar errores. • Vuelva a ingresar algunas entradas por tercera vez (supervisor) y

busque obtener un índice de error menor al 0,5%. • Después de volver a ingresarlos, limpie los dados.

E os questionários levados para a entrada de dados

Cada vez são maiores as possibilidades de usar computadores portáteis, tablets e telefones celulares no trabalho de campo. A informação chega diretamente a uma base de dados (por exemplo as plataformas Datadine e Android do Google)

Entrada de dados

Fotografía de Chris Blattman

• Faça um orçamento generoso e precaucional com relação a contingências

• Muitas vezes podem haver falhas – Mudanças na taxa de câmbio – Tempo de inatividade do entrevistador – Custos de seguro e beneficios de acordo com a

legislacao brasileira – Gastos de transporte – Necessidade de entrevistar de novo

Orçamento

• Verifique o que deve ser aprovado – Comitê de Ética (IRB) do país – Comitê de Ética (IRB) da universidade

• Consentimento informado oral vs. escrito por parte

do entrevistado ou participantes • Autorizações

– Governo nacional – Autoridades locais – Ministério correspondente – Acompanhamento da aleatorização!

Considerações éticas

• Mesmo se foi possível realizar um estudo aleatorizado adequado, ainda assim podem haver problemas com a medição do impacto e a análise

• Um problema frequente é a deserção amostral (desaparecimento de entrevistados ou atrito) – “É um problema se algumas pessoas do

experimento desaparecem antes que eu termine a coleta de dados?”

Má notícia: Uma boa estratégia de avaliação é necessária… mas não é suficiente

22

Atrito amostral

23

População

alvo

Não fazem

parte da

avaliação

Amostra da

avaliação alocação

aleatória

Grupo de

tratamento

Participantes

Desertores

Grupo de

controle Controles

Desertores

• É um problema quando os indivíduos que desaparecem estão relacionados com o tratamento

• Por quê? • Isto se chama viés de atrito (attrition bias). • Por que poderíamos esperar que isso tenha

grande chance de acontecer?

Viés de atrito

24

• Você quer saber se um programa de alimentação tem impacto: – aumento da matrícula – peso das crianças

• Você vai a todas as escolas (tratamento e controle) e pesa todas as crianças que vão à escola em um determinado dia

• A diferença de peso entre os grupos de tratamento e

de controle estará subestimada ou superestimada?

Viés de atrito: um exemplo

25

Antes do tratamento Depois do tratamento

T C T C

30 30 32 30

35 35 37 35

40 40 42 40

Média 35 35 37 35

Diferença 0 Diferença 2

Peso de cada criança (3 crianças por grupo)

O que aconteceria se só fossem à escola crianças com mais de 30kg?

Antes do tratamento Depois do tratamento

T C T C

[ausente] [ausente] 32 [ausente]

35 35 37 35

40 40 42 40

Média 37.5 37.5 37 37.5

Diferença 0 Diferença -0.5

• Suponha que o tratamento é um “voucher” que permite aos alunos tratados ir a uma escola particular

• Quem recebe o voucher tem mais possibilidades de concluir o ensino médio e fazer as provas para entrar na faculdade

• Só temos as notas daqueles que fizeram as provas

• A comparação das notas entre T e C é viesada?

Viés de atrito: outro exemplo

28

• Se houver atrito, verifique que não seja diferente entre tratamento e controle

• Verifique também que a interação entre tratamento e variáveis observáveis não prevê a probabilidade de sair da amostra

– A coleta em linha de base é decisiva para entender quem tem mais probabilidade de desertar

• Tente estimar limites para o viés (worst e best-case scenario)

Viés de atrito

29

• Causa primária

– Nos países desenvolvidos: rejeição do entrevistado

– Nos países em desenvolvimento: incapacidade de encontrar o entrevistado (mobilidade)

• Encontrar as pessoas é difícil

• Muitas enquetes não realizam nenhuma busca

Controle do atrito amostral

• Dados de acompanhamento coletados em 1997 (Thomas, Frankenberg e Smith, 2001) – informação de vizinhos, parentes, líderes

comunitários, caso o entrevistado já não estiver em seu lugar de origem

– Índice de re-contato de 94,4% – Sucesso similar no Kenya Life Panel Survey (1998 –

até hoje) • 84% re-entrevistados; para 89% pelo menos um

parente voltou a ser entrevistado

Controle do atrito amostral

• Ex ante

– Quando desenhar a enquete, inclua na primeira medição a possibilidade de encontrar os entrevistados posteriormente

– Desenvolva um protocolo de acompanhamento ou monitoramento e faça um orçamento

• Ex post

– Se tiver dados experimentais, compare os que desertaram com aqueles que não desertaram, além de comparar com o grupo de controle, em dimensões observáveis

– Se for preciso, ajuste estatisticamente

Controle do atrito amostral

• Descrever o ambiente onde se realiza a

intervenção/o experimento

• Medir os insumos da intervenção

• Medir os resultados da intervenção e sua

heterogeneidade (e projeção de scale-up)

• Avaliar a implementação da intervenção – atrito

• Registrar as percepções sobre a intervenção

Conclusão: para que servem os dados?

33

Obrigado!

Marcos A. Rangel

Universidade de São Paulo

Abdul Latif Jameel Poverty Action Lab

www.povertyactionlab.org