OS PROS E OS CONTRAS DA IMPLEMENTAÇÃO DE ESTUDOS CONTROLADOS EM

DESENVOLVIMENTO

Âurea MouzinhoDevelopment Workshop, Luanda

06 de Maio de 2016

Avaliação de Impacto◦O principal objetivo que qualquer avaliação de impacto é

estabelecer uma conexão de causalidade entre um programa/projeto/política e os resultados observados após a implementação do mesmo.

◦ Para estabelecer esta conexão de causalidade é necessário que se faça uma comparação daquilo de aconteceu após ao programa, com o teria acontecido na ausência do programa.

◦Mas, só com viagem no tempo seria possível observar estas duas realidades. Ou o programa acontece, ou ele não acontece.

◦ Portanto, toda e qualquer avaliação de impacto cinge-se no estabelecimento de uma base de comparação que simule o que teria acontecido se o programa não fosse implementado.

Exemplo: Análise pré-pósInício do programa

Tempo

Resu

ltado

Impa

cto

Anatomia de um RCT◦ Num estudo controlado/RCT (randomized controlled trial) a base de

comparação é constituída por um grupo que é aleatoriamente selecionado da mesma população de onde se seleciona (também aleatoriamente) os beneficiários do programa. Este grupo chama-se grupo de controlo.

◦ A seleção aleatória elimina – em média – as diferenças iniciais entre o grupo de beneficiários e grupo de controlo. Portanto, qualquer subsequente diferença entre os dois grupos pode então ser atribuída ao programa.

◦ Em qualquer outra metodologia de avaliação de impacto é necessário assumir que os dois grupos sejam iguais antes do programa, ou que qualquer diferença entre os grupos tenha sido eliminada estatisticamente.

◦ Mas não há como garantir ou testar essa hipótese.◦ Os RCTs, quando bem projetados e executados, são portanto a

metodologia mais fiável para se estimar o impacto de um programa.

Anatomia de um RCTInício do programa

Tempo

Resu

ltado

Impa

cto

Grupo de comparação

Exemplos de RCTs◦ Avaliação do impacto de uma campanha de

desparasitação infantil no rendimento escolar e futuro rendimento laboral de crianças no sul do Quénia

◦ Avaliação do efeito da contratação de professores suplementes no aproveitamento escolar de crianças com baixo aproveitamento na Índia

◦ Avaliação do impacto da liderança feminina nas aspirações e realizações educacionais para as adolescentes na Índia

◦ Avaliação do impacto de LEGO no desenvolvimento cognitivo de crianças com idade pré-escolar em KwaZulu-Natal

Case 2: Remedial Education in IndiaEvaluating the Balsakhi Program

Incorporating random assignment into the program

Case 2: Remedial Education in IndiaEvaluating the Balsakhi Program

Incorporating random assignment into the program

Anatomia de um RCT◦ ”Quando bem projetados e executados” é a principal

suposição necessária para que a estimativa de impacto feita por um RCT seja fiável.

◦Mesmo que os grupos sejam iguais a priori, é necessário que eles continuem a ser equivalentes até ao final do programa para que a única diferença seja o programa e não outros fatores.

◦ A esta garantia de equivalência entre os grupos dá-se o nome de validade interna.

◦ Implementar um RCT é assumir o papel de guardião da validade interna da avaliação.

Cons: Implementação de RCTs

Cons: Implementação de RCTs◦ Ética

◦ Manter a validade interna de um RCT requer tomar medidas para que o grupo de controlo não receba o programa durante a sua duração, bem como assegurar que os grupos não recebam um tratamento diferente fora daquilo que é o plano do programa.

◦ Não é sempre possível prevenir que as pessoas no grupo de controlo saibam do programa e que estas estejam interessadas em recebe-lo ao mesmo tempo que os beneficiários dos programas o recebam.

◦ E quando acontece, impedir que as pessoas acedam ao programa por causa da avaliação gera sempre um conflito ético.

◦ Custo◦ RCTs são caros de se implementar. ◦ Para qualquer população que se pretende afetar é sempre necessário ter-se um grupo

de controlo do mesmo tamanho, ou maior.◦ Monitoria do grupo de controlo é um custo adicional.◦ Perca de autonomia das organizações cujos programas estejam a ser avaliados por um

RCT também é um custo a se considerar.

Cons: Implementação de RCTs◦ ”Black box"

◦ Os RCTs por sí só são apanas capazes de dizer se o programa funcionou ou não (impacto casual), e não podem dizer nada sobre o porquê que os resultados foram (ou não) observaos.

◦ Entre o programa e os resultados, os RCTs (bem como outros métodos) deixam uma black box aonde pode ter acontecido muita coisa.

◦ Para além de saber e se o programa foi (ou não ) bem sucessido, por vezes é mais importante saber porquê o programa resultou e quem beneficiou mais.

Pros: Implementação de RCTs◦Rigor

◦ RCTs devem ser bem implementados, ou não devem ser feitos de todo.

◦ O rigor técnico e prático exigido aquando a implementação de um RCT é muitas vezes ignorado noutras metodologias de avaliação de impacto.

◦ Por exemplo, todo e qualquer RCT deve ser acompanhado por uma teoria de impacto que especifica detalhadamente os objetivos do projeto, os pressupostos canais pelos quais estes serão atingidos, as ameaças para a obtenção dos resultados, as técnicas de mitigação destas ameaças, e as formas pelas quais os efeitos (finais e intermediários) do programa serão medidos.

◦ Para além da seleção nada é feito aleatoriamente, ou sem que seja documentado devidamente.

Pros: Implementação de RCTs◦Rigor

◦ Mesmo que os RCTs não abram a ”black box” a aplicação da teoria de mudança permite que seja possível testar até que ponto as hipóteses de resultado feitas a priori foram satisfeitas.

◦ Isto não é possível fazer de uma forma neutra em outras metodologias de avaliação.

Sumário◦RCTs, sim ou não?

◦ Depende: do contexto, do programa, dos recursos, do tempo, dos objetivos.

◦ Há sempre prós e contras a serem considerados: há preocupações com éticas, financeiras a se levar em conta, mas ao mesmo tempo quando bem implementados os RCTs tem um rigor que não é oferecido por muitas outras metodologias de análise de impacto.

◦ Ainda assim, há que considerar que nem todas os programas os questões podem ser avaliados através de RCTs. E.g.: reforma tributária, políticas ambientais, etc.

◦ RCTs são eficazes em alguns cenários - geralmente intervenções de pequeno porte - mas também têm limitações como todos os outros métodos de avaliação.