Aula 5

24 de setembro de 2013Análise de decisão de políticas com

agrupamentos de cortes transversais

Avaliação Econômica

Avaliação de Impacto

• Determinar se o projeto teve efeitos sobre indivíduos/ famílias/regiões

• Se os efeitos foram intencionais ou não-intencionais

• Se os efeitos foram realmente resultado do projeto ou ocorreriam de qualquer forma

Avaliação de Impacto• Isto é feito com o uso de um indicador

que se relacione diretamente com o objetivo do programa.

• Dois aspectos: mensuração e causalidade– Mensuração: não apenas saber se houve

mudança, mas também medir essa mudança.

– Causalidade: garantir que a mudança observada foi causada pelo programa.

Mensuração

• Para isso, o cuidado com a escolha do indicador de impacto é fundamental.

• Preferência por indicadores objetivos e de fácil observação.

Causalidade

• É uma das etapas mais difíceis da avaliação, mas é fundamental!

Exemplo: ‘programa de melhoria da qualidade do ensino médio, com foco na evasão escolar’. Ação: oferecer oficinas (de arte, de

música, de leitura, etc) após o horário das aulas, buscando motivar esses jovens a permanecer na escola.

Indicador de resultado: índice de freqüência escolar (IFr).

estamos buscando o contrafactual

O contrafactual• IDEAL: comparar o índice de

freqüência escolar dos jovens que participaram das oficinas com o índice de freqüência observado para esses mesmos jovens, caso eles não tivessem participado das oficinas. – Essa seria a única maneira de ter

certeza de que o aumento na freqüência escolar foi resultado exclusivo da participação nas oficinas.

Infelizmente, tal contrafactual não existe...

Grupos de controle• Como não temos os contrafactuais, o

problema é resolvido com a construção dos chamados grupos de controle. – Idéia: formar grupos de não-participantes

(na linguagem de avaliação de não-tratados), que tenham as mesmas características dos participantes (tratados).

• No caso das oficinas: encontrar jovens que não tenham participado das oficinas que se pareçam (tenham a mesma idade, o mesmo nível sócio-econômico, etc) com aqueles que participaram.

Mas nem sempre é fácil encontrar bons ‘grupos de controle’...

• Existência de auto-seleção as pessoas que participam dos programas muitas vezes escolhem participar.– Nosso exemplo: jovens que se inscrevem

em oficinas oferecidas após o período de aulas devem diferir dos que não se inscrevem.

– Essas características podem ser observáveis (número de irmãos, nível de renda familiar) ou não-observáveis (motivação, determinação ou pré-disposição).

Caso:• IFralunos que participaram das oficinas IFrcolegas que não

participaram

Não saberemos se é:efeito da participação nas oficinas (do

tratamento);do maior tempo disponível para a escola

(relativamente aos colegas que, muitas vezes, precisam faltar à escola para cuidar dos irmãos);

ou ainda da maior motivação/determinação que tem um efeito positivo sobre a freqüência escolar.

A diferença entre os grupos antes do programa dificulta a determinação da

causalidade.

• ... o grupo de participantes pode diferir do restante da sociedade, justamente pelo fato de o programa ter um público-alvo específico.– Exemplo: diversos programas sociais utilizam a

renda per capita como critério de elegibilidade, ou seja, só podem participar do programa indivíduos que tenham ‘renda familiar per capita’ menor ou igual a um determinado valor de corte.

– Portanto, os beneficiários serão, em média, mais pobres do que os não-beneficiários.

Mesmo que o programa não seja de inscrição voluntária...

Tratados antes x tratados depois• Da mesma forma que não podemos

comparar o grupo de tratados com um grupo de controle qualquer (os não-tratados) também não podemos olhar para a evolução no tempo apenas dos indicadores dos tratados.

Voltando ao exemplo dos jovens nas oficinas, caso IFralunos tratados depois do programa IFralunos tratados antes do

programa

podemos dizer que isso é devido ao programa?

Tratados antes x tratados depois• A resposta é “Não!”• Não há como garantir que a melhora no

indicador de freqüência escolar foi causada pelo programa.

• Diversos acontecimentos podem estar explicando tal evidência.

• Por exemplo, este aumento na freqüência pode ter sido resultado de uma melhora no ambiente escolar como um todo (melhor merenda, novos computadores, nova professora etc.).

Outra possibilidade:• E se mostrarmos que a freqüência

dos jovens que participaram das oficinas aumentou mais que a freqüência dos jovens que não participaram?

Y

YYYY

alunosdosnotasYtratadosnão

ttratadosnão

ttratadost

tratadost

11

tratadosnãotratados

tratadosnãot

tratadosnãot

tratadost

tratadost

IFrIFr

IFrIFrIFrIFr

escolarfreqüênciadeíndiceIFr

11Método

das diferenças

em diferenças

Diferenças em diferenças• Como a freqüência escolar inicial

é considerada, o problema da diferença inicial entre os jovens que participam e os que não participam está resolvido.

• Falta termos certeza de que nada de diferente aconteceu com os grupos a não ser a freqüência na oficina.

Diferenças em diferençasQuando:

a separação entre os grupos de tratamento e controle não foi aleatória; e

quando temos grupos de tratamento e controle muito diferentes, principalmente com relação a características que não são observáveis.

Ideal para a análise de impacto: avaliador ter as informações sobre os grupos de tratamento e de controle em dois períodos de tempo, ou seja, no período anterior ao programa social e no período posterior ao programa social.

“Diferenças em diferenças”• Precisamos conhecer as informações

dos indivíduos de ‘antes’ e de ‘depois’ do tratamento.

• Suponha que estamos avaliando o impacto de um programa de qualificação profissional e que a renda seja o indicador de interesse.

• Idéia básica: comparar ‘a diferença entre a renda depois e a renda antes’ do grupo de tratamento com a do grupo de controle.

Idéia BásicaY = renda = indicador de interesset = depois do programat-1 = antes do programa

!0

1

1

positivoimpactoYY

YeYcomparar

YYY

YYY

tratadosnãotratados

tratadosnãotratados

tratadosnãot

tratadosnãot

tratadosnão

tratadost

tratadost

tratados

“Diferenças em Diferenças”• Como a renda inicial é

considerada, é como se as condições iniciais tivessem sido controladas e, então, resolve-se o problema das diferenças existentes antes do tratamento, entre os indivíduos que participaram e os que não participaram do programa.

• Seleção aleatória: indivíduos são iguais antes do tratamento.

Pessoas

participou do treinamento

renda antes

renda depois

1 1 60 200

2 1 80 150

3 1 50 90

4 1 60 100

5 1 50 90

6 1 40 70

7 1 50 80

8 1 50 90

9 1 70 110

10 1 50 90

Pessoas

participou do treinamento

renda antes

renda depois

11 0 500 500

12 0 300 400

13 0 400 400

14 0 50 60

15 0 20 30

16 0 30 40

17 0 150 170

18 0 100 120

19 0 90 120

20 0 40 50

Calcule a medida de impacto do programa

Indicador de impacto = renda

Grupo de Tratamento

Grupo de Controle

Média Antes 56 168

Média Depois 107 189Diferença 51 21

Impacto (51 - 21) = 30 impacto positivo!Pessoas do grupo de tratamento tiveram um aumento de renda R$30 superior às pessoas do grupo de controle.

Será que o ‘R$30’ é estatisticamente diferente de zero?

• Em razão de estarmos trabalhando com amostras, novamente estas diferenças serão variáveis aleatórias e, para compará-las, precisaremos construir algum intervalo de confiança.

• Felizmente, o instrumental discutido na seção anterior fornece uma forma rápida e simples de realizar esta análise.

Utilizando a regressão linear• Precisamos ter num único banco de

dados todas as informações de antes e de depois, de todos os indivíduos.

• Para separarmos as informações de antes e depois, criamos uma variável que será igual a ‘1’ se os dados forem de depois e será igual a ‘0’ se os dados forem de antes do programa.

Utilizando a regressão linear• Criamos também uma outra variável

= “programa” vezes “depois” – chamamos esta variável de interação

entre duas variáveis: ela só será igual a ‘1’ quando o indivíduo participa do programa e os dados são de depois do tratamento.

• A estimativa do coeficiente associado a essa variável será a diferença das diferenças e terá o mesmo valor calculado na diferença das médias.

Utilizando a regressão linear• Renda = + 1 ‘programa’ + 2

‘depois’ + 3 ‘programa*depois’ + erro

• 3 = a diferença das diferenças, ou seja, é o coeficiente que mede o impacto do programa.

Como analisar?• Se 3 for positivo e o valor ‘0’ não estiver

contido no intervalo de confiança associado a 3, dizemos que há impacto positivo em Y gerado pelo programa.

• Se 3 for negativo e o valor ‘0’ não

estiver contido no intervalo de confiança associado a 3, dizemos que há impacto negativo em Y gerado pelo programa.

• Se o valor ‘0’ estiver contido no intervalo de confiança associado a 3, dizemos que não há impacto do programa em Y.

Demais coeficientes Renda = + 1 ‘programa’ + 2 ‘depois’ +

3 ‘programa*depois’ + erro

• 1 captura se os grupos são diferentes, independentemente do programa.

• 2 captura se o indicador muda no tempo, independentemente do programa.

• Para saber se os coeficientes são estatisticamente diferentes de zero, a análise é similar à apresentada para 3 (slide anterior).

Termos das diferenças

Médias por grupo

Antes Depois Variação

Tratamento TA TD TD - TA

Controle CA CD CD - CA

Variação das variações

(TD – TA) – (CD – CA)

Rendaest = + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’

• TA = + 1 x ‘1’ + 2 x ‘0’ + 3 x 0

• TA = + 1

• TD = + 1 x ‘1’ + 2 x ‘1’ + 3 x 1

• TD = + 1 + 2 + 3

• TD – TA = 2 + 3

Rendaest = + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’

• CA = + 1 x ‘0’ + 2 x ‘0’ + 3 x 0 • CA =

• CD = + 1 x ‘0’ + 2 x ‘1’ + 3 x 0

• CD = + 2

• CD – CA = 2

Rendaest = + 1 x ‘programa’ + 2 x ‘depois’ + 3 x ‘programa*depois’

• (TD – TA) = 2 + 3

• (CD – CA) = 2

• (TD – TA) – (CD – CA) = dif em dif = (2 + 3 - 2 )

= 3

RESUMO DOS RESULTADOS

Estatística de regressãoR múltiplo 0,404745531R-Quadrado 0,163818945R-quadrado ajustado 0,09413719Erro padrão 124,4878397

Observações 40

ANOVA

gl SQ MQ FF de

significaçãoRegressão 3 109300 36433,33333 2,350958953 0,08857Resíduo 36 557900 15497,22222

Total 39 667200

Coeficientes Erro padrão Stat t valor-P IC - 95%Interseção 168 39,367 4,268 0,000 88,161 247,839programa -112 55,673 -2,012 0,052 -224,909 0,909depois 21 55,673 0,377 0,708 -91,909 133,909

programa*depois 30 78,733 0,381 0,705 -129,678 189,678

Causalidade

• Questão: como isolar o impacto do programa das outras mudanças das quais não temos controle?

• Construir bons grupos de controle. .

Limites da Avaliação• Para termos mais confiança nos efeitos do

programa, precisamos de um tamanho amostral mínimo

• Este tamanho depende da população alvo do programa, do número de variáveis explicativas, da proporção entre tratada dos e controles e do poder explicativo da regressão

Limites da Avaliação• Por exemplo, se o programa aumentou a

empregabilidade do jovem em 15%• A amostra é bem balanceada entre tratados

e controles• O poder explicativo da regressão é alto: 50%• Precisamos de uma amostra de cerca de 100

jovens para termos confiança de que este efeito é diferente de zero

• 50 no grupo de tratamento e 50 no grupo de controle

Exemplos de avaliação de programas

• Progresa – México

• Progressão Continuada no Brasil

1) PROGRESA

• Transferências em $ para mães, condicional à freqüência escolar e exames de saúde

• Usando escolas e postos já existentes • Avaliação nos estágios iniciais do programa• 2.6 milhões de famílias em 72,000

localidades • Orçamento: 20% do orçamento nacional

para diminuição da pobreza

PROGRESA

Educação • Requerimento-> matrícula e freqüência à

escola (80% das aulas)

Saúde:• Planejamento Familiar , Pré-natal,

Vacinações, Prevenção e tratamento de diarréia, etc...

PROGRESA• Programa experimental: aleatorizado ao nível da

comunidade-> resultados confiáveis!• Grupo de controle aderiu ao programa 2 anos

depois• Amostra: 506 localidades

– 186 controle– 320 tratamento

• 24.077 Domicílios• Domicílios no grupo de tratamento e controle foram

entrevistados antes e depois do começo do PROGRESA

0,2

0,3

0,4

0,5

0,6

0,7

nov/97 nov/98 jun/99 nov/99

Survey Round

Per

cent

Att

endi

ng S

choo

l L

ast W

eek

Treatment Control

FREQUÊNCIA ESCOLAR - MENINOS

FREQUÊNCIA ESCOLAR- MENINAS

0,2

0,3

0,4

0,5

0,6

0,7

nov/97 nov/98 jun/99 nov/99

Survey Round

Per

cent

Att

endi

ng S

choo

l Las

t W

eek

Treatment Control

TRABALHO INFANTIL - MENINOS

0,20

0,25

0,30

0,35

0,40

nov/97 nov/98 jun/99 nov/99

Survey Round

Per

cen

t w

ork

ing

Las

t W

eek

Treatment Control

INCIDÊNCIA DE DOENÇAS-0/2 ANOS

0,15

0,20

0,25

0,30

0,35

0,40

0,45

Baseline 7 Months PostBaseline

14 Months PostBaseline

20 Months PostBaseline

Pro

b. I

ll in

Las

t F

our

Wee

ks

PROGRESA Controls

INCIDÊNCIA DE DOENÇAS 3/5 ANOS

0,05

0,10

0,15

0,20

0,25

0,30

Baseline 7 Months PostBaseline

14 MonthsPost Baseline

20 MonthsPost Baseline

Prob

. Ill

in L

ast F

our

Wee

ks

PROGRESA Controls

PROGRESA• Efeitos significativos no crescimento das

crianças (1cm)

• Consumo Domiciliar Total Aumenta

• Domicílios do PROGRESA “comem melhor”:– Aumento nos gastos com frutas, vegetais,

carnes, e produtos animais

PROGRESA-CUSTOS

• Para cada 100 pesos alocados no programa, apenas 8.2 pesos são custos administrativos

• 56% dos custos administrativos são relacionados com focalização e condicionantes

• Taxa Interna de Retorno: 8%

47

Avaliação de impacto• Exemplo: efeito da localização de um

incinerador de lixo sobre o preço dos imóveis.

• Notícia de que um novo incinerador seria construído apareceu em 1978. Em

1981, a sua construção iniciou. Entrou em operação em 1985.

• Banco de dados com preço dos imóveis para 1978 e 1981.

• A hipótese é que preço dos imóveis próximos ao incinerador tenha caído em

relação ao preço de imóveis mais distantes.

Avaliação de impacto• Exemplo: efeito da localização de um incinerador de lixo

sobre o preço dos imóveis.

• Uma casa está próxima do incinerador se estiver localizada a menos de 3 milhas

deste (nearinc =1).

• Todos preços dos imóveis estão cotados ao valor de 1978

• Poderia usar dados apenas de 1981 e apenas de 1978 e testar esta relação:

unearincrpreço .10