Implementando uma avaliação: coleta de dados, atrito e … · 2017-07-14 · • A capacidade em...

(Nome professor)(Universidade)Abdul Latif Jameel Poverty Action Lab

www.povertyactionlab.org

Implementando uma avaliação:coleta de dados, atrito e 

problemas a evitar

• Quero aprender sobre um dos meus programas usando alocação aleatória

• Já escolhi o tipo de desenho (individual/agrupamentos) que vou usar

• Já fiz os cálculos para determinar qual é o tamanho da amostra que preciso para a minha avaliação

• Por onde começo?

Decidi realizar uma avaliaçãoexperimental…

2

• Há informação administrativa para construir a amostra e realizar a alocação? 

• Custo da intervenção vs. custo das enquetes

– Quando a intervenção é grande e cara, e coletar dados é barato, vale a pena coletar dados de linha de base

– Quando a intervenção é pequena, e coletar dados é caro, é melhor dedicar recursos adicionais a uma intervenção maior e não coletar dados de linha de base

Precisamos de uma linha de base?

Vantagens:

• Permite validar a execução do protocolo experimental 

• Permite analisar interações com variáveis pré‐tratamento – Pode ser importante para analisar a validade externa – As covariáveis podem potencialmente absorver a variação

• Variáveis da linha de base absorvem variação amostral,  aumentando portanto o poder amostral

Precisamos de uma linha de base?

• Normalmente os dados administrativos são muito úteis para o desenho inicial– Base de amostragem

• Mas em geral, faltam dados próprios para:– Obter informação sobre variáveis que nos interessam

– Obter cobertura adequada das populações tratadas e de controle

– Realizar medições no momento adequado

Coletar dados próprios ou usar dados administrativos?

• Base de Amostragem e algumas variáveis pré‐tratamento provinham de dados administrativos 

• Angrist e co‐autores (2002) realizaram enquetes  para medir resultados a curto prazo (3 anos)

• Usaram dados administrativos do ministério da educação e do ministério da proteção social para analisar impactos a longo prazo (15 anos)

Exemplo: Vouchers na Colômbia

• A enquete piloto permite revisar:– A ordem das perguntas– As respostas disponíveis (ex: quando o questionário deve apresentar respostas “fechadas”)

– A abordagem das perguntas– O desempenho dos entrevistadores– O tipo e o valor da compensação para os entrevistados (se for o caso)

• Durante a enquete piloto é possível testar o questionário para identificar possíveis problemas com a medição

Precisamos de uma enquete piloto?

• Depende do prazo esperado para observar efeitos

• É ideal realizar múltiplas medições:– Os resultados de uma etapa podem ajudar a garantir o financiamento das etapas posteriores

– Maior precisão– Compilar dados em cada etapa ajuda no acompanhamento posterior dos entrevistados

• É possível usar dados administrativos para resultados a longo prazo?

Quando fazer a medição final?

• Custo por enquete (duração, complexidade) versus número de enquetes

• A capacidade em termos de recursos humanos da organização que implementa a enquete 

• A disponibilidade e capacidade dos entrevistados de proporcionar a informação desejada

Considerações práticas

• Fazer relatório para obter a informação desejada

• Utilizar medições objetivas se o tratamento puder influir na medição

• Pedir informação que não necessite cálculos da parte do entrevistado=> minimiza os erros

Disposição e capacidade do entrevistado

• Se as amostras são retiradas de uma população‐alvo maior, será preciso uma base de amostragem

• A enquete deve ser clara e não deve deixar margem à interpretação do entrevistador

Coleta de dados I

• Subcontratar ou empregar diretamente os entrevistadores?

• É essencial treinar os entrevistadores e monitorar a coleta

• Criar manuais para todos os instrumentos da enquete

Coleta de dados II

Novos entrevistadores aprendem a usar aparelhos em Udaipur, India. A formação de

45 entrevistadores durou duas semanas.

• É preciso fazer uma verificação periódica de todos os questionários, por um supervisor, e uma nova verificação aleatória pelo gerente de pesquisa

• Entrevistar de novo uma sub‐amostra de entrevistados de forma aleatória

Coleta de dados III

• Para coleta de dados em várias rodadas, preencha os formulários com os nomes  dos entrevistados e as datas de cada enquete

• Use formulários cujas páginas possam ser separadas

Coleta de dados IV

• A equipe de campo é constituída por entrevistadores e supervisores

• O tamanho ideal de uma equipe subordinada a um supervisor depende da área da enquete e do tamanho do questionário (normalmente de 8 a 10 pessoas)

• Analisar o esquema de pagamento da equipe para garantir a qualidade dos dados

Coleta de dados V

Grosh y Glewwe, 2005

Questões logísticas: as enquetes devem chegar aos entrevistados

Você

Supervisor Supervisor Supervisor Supervisor Supervisor

Entre-vistador

entrevistado

Lar Lar Lar Lar Lar Lar Lar Lar

& &

Entre-vistador

Entre-vistador

Entre-vistador

Entre-vistador

Entre-vistador

Entre-vistador

Entre-vistador

entrevistado entrevistado entrevistado entrevistado

• Ingrese rápidamente los dadospara captar los problemas• Al ingresar los dados, asigne un número de enquete a cada 

cuestionario• Escanee los documentos• Invierta en una buena base de dadosde ingreso de dados(puede 

utilizar una empresa de software). • Ingrese dos veces todos los dadosy unifique con las copias impresas 

para detectar errores. • Vuelva a ingresar algunas entradas por tercera vez (supervisor) y 

busque obtener un índice de error menor al 0,5%.  • Después de volver a ingresarlos, limpie los dados.

E os questionários levados para a entrada de dados

Cada vez são maiores as  possibilidades de usar computadores portáteis, Ipodse telefones celulares no trabalho de campo.  A informação chega diretamente a uma base de dados (por exemplo as plataformas Datadine e Android de Google)

Entrada de dados

Fotografía de Chris Blattman

• Faça um orçamento generoso

• Muitas vezes podem haver falhas

– Mudanças na taxa de câmbio– Tempo de inatividade do entrevistador– Gastos de transporte– Necessidade de entrevistar de novo

Orçamento

• Verifique o que deve ser aprovado – Comitê de Ética (IRB) do país– Comitê de Ética (IRB) da universidade

• Consentimento informado oral vs. escrito

• Autorizações– Governo nacional– Autoridades locais– Ministério correspondente– Acompanhamento (seguimento) da aleatorização!

Considerações éticas 

• Mesmo se foi possível realizar um estudo aleatorizado adequado, ainda assim podem haver problemas com a medição do impacto e a análise

• Um problema frequente é a deserção amostral (desaparecimento de entrevistados ou atrito)– “É um problema se algumas pessoas do experimento desaparecem antes que eu termine a coleta de dados?”

Uma boa estratégia de avaliação é necessária… mas não é suficiente

21

Atrito amostral

22

População alvo

População alvo

Não fazemparte da

avaliação

Não fazemparte da

avaliação

Amostra da avaliação

Amostra da avaliação

alocação aleatóriaalocação aleatória

Grupo de tratamentoGrupo de

tratamentoParticipantesParticipantes

DesertoresDesertores

Grupo de controleGrupo de controle ControlesControles

DesertoresDesertores

• É um problema quando os indivíduos que desaparecem  estão relacionados com o tratamento

• Por quê?

• Isto se chama viés de atrito (attrition bias).

• Por que poderíamos esperar que isso aconteça?

Viés de atrito

23

• Você quer saber se um programa de alimentação tem impacto:– aumento da matrícula – peso das crianças

• Você vai a todas as escolas (tratamento e controle) e pesa todas as crianças que vão à escola em um determinado dia

• A diferença de peso entre os grupos de tratamento e de controle estará subestimada ou superestimada?

Viés de atrito: um exemplo

24

Antes do tratamento Depois do tratamentoT C T C

30 30 32 3035 35 37 3540 40 42 40

Média

Diferença Diferença

Peso de cada criança (3 crianças por grupo)

O que aconteceria se só fossem à escola crianças com mais de 30kg?

Antes do tratamento Depois do tratamentoT C T C

[ausente] [ausente] 32 [ausente]35 35 37 3540 40 42 40

Média

Diferença Diferença

• Suponha que o tratamento é um “voucher” que permite aos alunos tratados ir a uma escola particular

• Quem recebe o voucher tem mais possibilidades de concluir o ensino médio e fazer as provas para entrar na faculdade

• Só temos as notas daqueles que fizeram as provas

• A comparação das notas entre T e C  é viesada?

Viés de atrito: outro exemplo

27

• Se  houver atrito, verifique que não seja diferente entre tratamento e controle

• Verifique também que a interação entre tratamento e variáveis observáveis não prevê a probabilidade de sair da amostra – A coleta em linha de base é decisiva para entender quem tem mais probabilidade de desertar

• Tente limitar o viés

Viés de atrito

28

• Causa primária– Nos países desenvolvidos: rejeição do entrevistado– Nos países em desenvolvimento: incapacidade de encontrar o entrevistado 

• Encontrar as pessoas é difícil• Muitas enquetes não realizam nenhuma busca

Controle do atrito amostral

• Dados de acompanhamento coletados em 1997 (Thomas, Frankenberg e Smith, 2001) – informação de vizinhos, parentes, líderes comunitários,  caso o entrevistado já não estiver em seu lugar de origem 

– Índice de re‐contato de 94,4%– Sucesso similar no Kenya Life Panel Survey (1998 –até hoje)• 84% re‐entrevistados; para 89% pelo menos um parente voltou a ser entrevistado

Controle do atrito amostral

• Ex ante– Quando desenhar a enquete, inclua na primeira medição a possibilidade de encontrar os entrevistados posteriormente

– Desenvolva um protocolo de acompanhamento ou monitoramento e faça um orçamento

• Ex post– Se tiver dados experimentais, compare os que desertaram com aqueles que não desertaram, além de comparar com o grupo de controle, em dimensões observáveis

– Se for preciso, ajuste estatisticamente

Controle do atrito amostral

• Descrever o ambiente onde se realiza a intervenção/o experimento

• Medir os insumos da intervenção• Medir os resultados da intervenção• Avaliar a implementação da intervenção

– atrito• Registrar as percepções sobre a intervenção

Conclusão: para que servem os dados?

32

Obrigado!

(Nome professor)(Universidade)Abdul Latif Jameel Poverty Action Lab

www.povertyactionlab.org