Upload
nguyennhu
View
212
Download
0
Embed Size (px)
Citation preview
(Nome professor)(Universidade)Abdul Latif Jameel Poverty Action Lab
www.povertyactionlab.org
Implementando uma avaliação:coleta de dados, atrito e
problemas a evitar
• Quero aprender sobre um dos meus programas usando alocação aleatória
• Já escolhi o tipo de desenho (individual/agrupamentos) que vou usar
• Já fiz os cálculos para determinar qual é o tamanho da amostra que preciso para a minha avaliação
• Por onde começo?
Decidi realizar uma avaliaçãoexperimental…
2
• Há informação administrativa para construir a amostra e realizar a alocação?
• Custo da intervenção vs. custo das enquetes
– Quando a intervenção é grande e cara, e coletar dados é barato, vale a pena coletar dados de linha de base
– Quando a intervenção é pequena, e coletar dados é caro, é melhor dedicar recursos adicionais a uma intervenção maior e não coletar dados de linha de base
Precisamos de uma linha de base?
Vantagens:
• Permite validar a execução do protocolo experimental
• Permite analisar interações com variáveis pré‐tratamento – Pode ser importante para analisar a validade externa – As covariáveis podem potencialmente absorver a variação
• Variáveis da linha de base absorvem variação amostral, aumentando portanto o poder amostral
Precisamos de uma linha de base?
• Normalmente os dados administrativos são muito úteis para o desenho inicial– Base de amostragem
• Mas em geral, faltam dados próprios para:– Obter informação sobre variáveis que nos interessam
– Obter cobertura adequada das populações tratadas e de controle
– Realizar medições no momento adequado
Coletar dados próprios ou usar dados administrativos?
• Base de Amostragem e algumas variáveis pré‐tratamento provinham de dados administrativos
• Angrist e co‐autores (2002) realizaram enquetes para medir resultados a curto prazo (3 anos)
• Usaram dados administrativos do ministério da educação e do ministério da proteção social para analisar impactos a longo prazo (15 anos)
Exemplo: Vouchers na Colômbia
• A enquete piloto permite revisar:– A ordem das perguntas– As respostas disponíveis (ex: quando o questionário deve apresentar respostas “fechadas”)
– A abordagem das perguntas– O desempenho dos entrevistadores– O tipo e o valor da compensação para os entrevistados (se for o caso)
• Durante a enquete piloto é possível testar o questionário para identificar possíveis problemas com a medição
Precisamos de uma enquete piloto?
• Depende do prazo esperado para observar efeitos
• É ideal realizar múltiplas medições:– Os resultados de uma etapa podem ajudar a garantir o financiamento das etapas posteriores
– Maior precisão– Compilar dados em cada etapa ajuda no acompanhamento posterior dos entrevistados
• É possível usar dados administrativos para resultados a longo prazo?
Quando fazer a medição final?
• Custo por enquete (duração, complexidade) versus número de enquetes
• A capacidade em termos de recursos humanos da organização que implementa a enquete
• A disponibilidade e capacidade dos entrevistados de proporcionar a informação desejada
Considerações práticas
• Fazer relatório para obter a informação desejada
• Utilizar medições objetivas se o tratamento puder influir na medição
• Pedir informação que não necessite cálculos da parte do entrevistado=> minimiza os erros
Disposição e capacidade do entrevistado
• Se as amostras são retiradas de uma população‐alvo maior, será preciso uma base de amostragem
• A enquete deve ser clara e não deve deixar margem à interpretação do entrevistador
Coleta de dados I
• Subcontratar ou empregar diretamente os entrevistadores?
• É essencial treinar os entrevistadores e monitorar a coleta
• Criar manuais para todos os instrumentos da enquete
Coleta de dados II
Novos entrevistadores aprendem a usar aparelhos em Udaipur, India. A formação de
45 entrevistadores durou duas semanas.
• É preciso fazer uma verificação periódica de todos os questionários, por um supervisor, e uma nova verificação aleatória pelo gerente de pesquisa
• Entrevistar de novo uma sub‐amostra de entrevistados de forma aleatória
Coleta de dados III
• Para coleta de dados em várias rodadas, preencha os formulários com os nomes dos entrevistados e as datas de cada enquete
• Use formulários cujas páginas possam ser separadas
Coleta de dados IV
• A equipe de campo é constituída por entrevistadores e supervisores
• O tamanho ideal de uma equipe subordinada a um supervisor depende da área da enquete e do tamanho do questionário (normalmente de 8 a 10 pessoas)
• Analisar o esquema de pagamento da equipe para garantir a qualidade dos dados
Coleta de dados V
Grosh y Glewwe, 2005
Questões logísticas: as enquetes devem chegar aos entrevistados
Você
Supervisor Supervisor Supervisor Supervisor Supervisor
Entre-vistador
entrevistado
Lar Lar Lar Lar Lar Lar Lar Lar
& &
Entre-vistador
Entre-vistador
Entre-vistador
Entre-vistador
Entre-vistador
Entre-vistador
Entre-vistador
entrevistado entrevistado entrevistado entrevistado
• Ingrese rápidamente los dadospara captar los problemas• Al ingresar los dados, asigne un número de enquete a cada
cuestionario• Escanee los documentos• Invierta en una buena base de dadosde ingreso de dados(puede
utilizar una empresa de software). • Ingrese dos veces todos los dadosy unifique con las copias impresas
para detectar errores. • Vuelva a ingresar algunas entradas por tercera vez (supervisor) y
busque obtener un índice de error menor al 0,5%. • Después de volver a ingresarlos, limpie los dados.
E os questionários levados para a entrada de dados
Cada vez são maiores as possibilidades de usar computadores portáteis, Ipodse telefones celulares no trabalho de campo. A informação chega diretamente a uma base de dados (por exemplo as plataformas Datadine e Android de Google)
Entrada de dados
Fotografía de Chris Blattman
• Faça um orçamento generoso
• Muitas vezes podem haver falhas
– Mudanças na taxa de câmbio– Tempo de inatividade do entrevistador– Gastos de transporte– Necessidade de entrevistar de novo
Orçamento
• Verifique o que deve ser aprovado – Comitê de Ética (IRB) do país– Comitê de Ética (IRB) da universidade
• Consentimento informado oral vs. escrito
• Autorizações– Governo nacional– Autoridades locais– Ministério correspondente– Acompanhamento (seguimento) da aleatorização!
Considerações éticas
• Mesmo se foi possível realizar um estudo aleatorizado adequado, ainda assim podem haver problemas com a medição do impacto e a análise
• Um problema frequente é a deserção amostral (desaparecimento de entrevistados ou atrito)– “É um problema se algumas pessoas do experimento desaparecem antes que eu termine a coleta de dados?”
Uma boa estratégia de avaliação é necessária… mas não é suficiente
21
Atrito amostral
22
População alvo
População alvo
Não fazemparte da
avaliação
Não fazemparte da
avaliação
Amostra da avaliação
Amostra da avaliação
alocação aleatóriaalocação aleatória
Grupo de tratamentoGrupo de
tratamentoParticipantesParticipantes
DesertoresDesertores
Grupo de controleGrupo de controle ControlesControles
DesertoresDesertores
• É um problema quando os indivíduos que desaparecem estão relacionados com o tratamento
• Por quê?
• Isto se chama viés de atrito (attrition bias).
• Por que poderíamos esperar que isso aconteça?
Viés de atrito
23
• Você quer saber se um programa de alimentação tem impacto:– aumento da matrícula – peso das crianças
• Você vai a todas as escolas (tratamento e controle) e pesa todas as crianças que vão à escola em um determinado dia
• A diferença de peso entre os grupos de tratamento e de controle estará subestimada ou superestimada?
Viés de atrito: um exemplo
24
Antes do tratamento Depois do tratamentoT C T C
30 30 32 3035 35 37 3540 40 42 40
Média
Diferença Diferença
Peso de cada criança (3 crianças por grupo)
O que aconteceria se só fossem à escola crianças com mais de 30kg?
Antes do tratamento Depois do tratamentoT C T C
[ausente] [ausente] 32 [ausente]35 35 37 3540 40 42 40
Média
Diferença Diferença
• Suponha que o tratamento é um “voucher” que permite aos alunos tratados ir a uma escola particular
• Quem recebe o voucher tem mais possibilidades de concluir o ensino médio e fazer as provas para entrar na faculdade
• Só temos as notas daqueles que fizeram as provas
• A comparação das notas entre T e C é viesada?
Viés de atrito: outro exemplo
27
• Se houver atrito, verifique que não seja diferente entre tratamento e controle
• Verifique também que a interação entre tratamento e variáveis observáveis não prevê a probabilidade de sair da amostra – A coleta em linha de base é decisiva para entender quem tem mais probabilidade de desertar
• Tente limitar o viés
Viés de atrito
28
• Causa primária– Nos países desenvolvidos: rejeição do entrevistado– Nos países em desenvolvimento: incapacidade de encontrar o entrevistado
• Encontrar as pessoas é difícil• Muitas enquetes não realizam nenhuma busca
Controle do atrito amostral
• Dados de acompanhamento coletados em 1997 (Thomas, Frankenberg e Smith, 2001) – informação de vizinhos, parentes, líderes comunitários, caso o entrevistado já não estiver em seu lugar de origem
– Índice de re‐contato de 94,4%– Sucesso similar no Kenya Life Panel Survey (1998 –até hoje)• 84% re‐entrevistados; para 89% pelo menos um parente voltou a ser entrevistado
Controle do atrito amostral
• Ex ante– Quando desenhar a enquete, inclua na primeira medição a possibilidade de encontrar os entrevistados posteriormente
– Desenvolva um protocolo de acompanhamento ou monitoramento e faça um orçamento
• Ex post– Se tiver dados experimentais, compare os que desertaram com aqueles que não desertaram, além de comparar com o grupo de controle, em dimensões observáveis
– Se for preciso, ajuste estatisticamente
Controle do atrito amostral
• Descrever o ambiente onde se realiza a intervenção/o experimento
• Medir os insumos da intervenção• Medir os resultados da intervenção• Avaliar a implementação da intervenção
– atrito• Registrar as percepções sobre a intervenção
Conclusão: para que servem os dados?
32
Obrigado!
(Nome professor)(Universidade)Abdul Latif Jameel Poverty Action Lab
www.povertyactionlab.org