Econometria para Avaliaçªo de Políticas Pœblicas.…2016/01/12 · Introduçªo Parâmetros de Interesse O mØtodo de Regressªo Suporte Comum Matching (Pareamento Simples) MØtodos

IntroduçãoParâmetros de InteresseO método de Regressão

Suporte ComumMatching (Pareamento Simples)

Métodos Baseados no Escore de PropensãoCombinação de Métodos

Econometria para Avaliação de Políticas PúblicasAula 1: Propensity Score

Prof. Cristine Campos de Xavier Pinto

Itaú Social

08/01/2016

Prof. Cristine Campos de Xavier Pinto Econometria para Avaliação de Políticas Públicas




O problema da identi�cação

Revisão

Como determinar se há efeito causal de um programa socialem alguma variável de interesse.

Exemplo 1: Programa de treinamento/quali�cação detrabalhadores:

Comparam-se trabalhadores submetidos ao programa comtrabalhadores não submetidos ao programa. Em geral, pode-sedizer que a diferença média de renda do trabalho entre osgrupos é devida, de forma inequívoca, ao efeito dotreinamento?






Exemplo 2: Bolsa-escola, bolsa-família:

Comparam-se crianças cujas famílias pertencem ao programacom crianças que não pertencem ao programa. Em geral,pode-se dizer que a diferença média de escolaridade (medidade alguma forma, como matrícula, defasagem, número dereprovações) entre os grupos de crianças é devida, de formainequívoca, ao efeito do programa?






Quais são as condições em que se pode determinar se háefeito causal?

Desenho da avaliação:

Grupos escolhidos de forma aleatória;Grupos escolhidos com base em características observáveis;Grupos auto-selecionados;

Hipóteses sobre auto-seleção:

Feita com base em variáveis observáveis ao pesquisador;Feita com base em variáveis não observáveis ao pesquisador.






Comparação de médias entre tratados e não tratados só teminterpretação causal se o programa tivesse sido alocado demaneira aleatória. Por quê?

Seja Y a variável de interesse (resultado) e T uma dummyque indica se o indivíduo (ou família) está no programa.

Comparação entre médias de tratados e não-tratados pode serescrita como

G = E [Y jT = 1]� E [Y jT = 0]






Pergunta: esse é o efeito causal do programa sobre Y ?

Para responder, precisamos pensar qual teria sido o resultadodos indivíduos tratados caso eles não tivessem recebidotratamento.

De�na Y1 como resultado potencial de ser tratado.De�na Y0 como resultado potencial de não ser tratado.Observamos resultado Y = Y1 � T + Y0 � (1� T ). Isto é,observamos Y1jT = 1 e Y0jT = 0.






Mas nunca observamos Y1jT = 0 ou Y0jT = 1.Esse problema é conhecido como �problema fundamental dainferência causal� (Holland, 1986).

É um problema pois um potencial parâmetro de interesse é oefeito médio sobre os tratados (ATT )

ATT = E [Y1jT = 1]� E [Y0jT = 1]= E [Y1 � Y0jT = 1]

ATT é o ganho médio causado pelo programa, para asubpopulação que é atendida pelo programa.

Note que Y1 � Y0 é o ganho associado ao programa






A diferença entre G e ATT é o viés B, também chamado deviés de seleção:

B = G � ATT= E [Y jT = 1]� E [Y jT = 0]

� (E [Y1jT = 1]� E [Y0jT = 1])= E [Y1jT = 1]� E [Y0jT = 0]

� (E [Y1jT = 1]� E [Y0jT = 1])= E [Y0jT = 1]� E [Y0jT = 0]

Viés surge do uso de um grupo de comparação inadequado.

Os indivíduos que não foram tratados podem ter umcomportamento muito diferente daquele que os indivíduostratados teriam tido caso não o tivessem recebido tratamento.






A �m de eliminar ou reduzir o viés, precisamos re�etir sobre aauto-seleção ao programa.

Feita com base em variáveis observáveis ao pesquisador;Feita com base em variáveis não observáveis ao pesquisador.

Contudo, se a seleção tivesse sido aleatória, isto é, Tindependente de Y1 e Y0, então B = 0.

Isto ocorre poisB = E [Y0jT = 1]� E [Y0jT = 0] = E [Y0]� E [Y0] = 0.





Seleção nos Observáveis

Até aqui de�nimosATT = E [Y1jT = 1]� E [Y0jT = 1] = E [Y1 � Y0jT = 1],o efeito do tratamento médio sobre os tratados, como sendo oparâmetro de interesse, pois ele captura o efeito causal doprograma ou tratamento para a subpopulação dos tratados.

Contudo, há outros parâmetros que podemos de�nir comosendo de interesse para o analista:

ATE = E [Y1]� E [Y0] = E [Y1 � Y0]ATNT = E [Y1jT = 0]� E [Y0jT = 0] = E [Y1 � Y0jT = 0]






O ATE é o efeito do tratamento sobre toda a população.Corresponde a tratar todos e comparar com não tratarninguém. Note que precisa de dois contrafactuais:E [Y1jT = 0] e E [Y0jT = 1].O ATNT é o efeito do tratamento apenas sobre osnão-tratados. Usa apenas um contrafactual, E [Y1jT = 0]






Sob aleatorização esses três parâmetros são idênticos, pois

(Y1,Y0) ?? T

)�E [Y1jT = 1] = E [Y1jT = 0] = E [Y1]E [Y0jT = 1] = E [Y0jT = 0] = E [Y0]

) ATE = E [Y1]� E [Y0]= E [Y1jT = 1]� E [Y0jT = 1] = ATT= E [Y1jT = 0]� E [Y0jT = 0] = ATNT






Exemplo: Aleatorização dos Planos de SaúdeExperimento de 1974 a 1982.3.958 indivíduos com idade entre 14 e 61 anos.EUA: 6 regiões diferentesParticipantes foram aleatoriamente alocados em 14 planos desaúde.Participantes não tinham que pagar os planos, mas os planostinham opções diferentes relacionados a co-pagamentos ecoberturas.O mais generoso oferecia cobertura completa de graça. O piorplano era praticamente nenhuma cobertura.As famílias participantes �cavam nos planos de 3 a 5 anos, etinham que deixar qualquer plano anterior.As famílias recebiam mensalmente um pagamento �xo mensalque não precisava estar ligados a gastos com saúde.






Pergunta: Quando e quanto o cuidado com a saúde caiquando os preços aumentam?

Os tamanhos dos grupos de tratados em cada uma das opçõesé muito pequeno.

Para fazer uma análise estatística, precisaram agrupar osdiversos planos.

O agrupamento foi feito pelo grau de cobertura: semcobertura, dedutível, co-pagamento e de graça.






Comparar que tem com quem não tem plano de saúde, podegerar viés de seleção.











Findings:

Indivíduos no plano de graça teve um cuidado maior com asaúde que os demais (na média).

Indivíduos no plano de graça gastaram mais em saúde (2/3 namédia) do que os indivíduos que praticamente não tinhamplano de saúde.

No entanto, os níveis de colesterol, pressão arterial e os índicesde saúde no geral são bem similares entre os dois grupos.











Seleção baseada em observáveis:

Dado X , resultado potencial é independente do tratamento, ie,T independente de Y1 e Y0 j X .Escrito formalmente:

Pr [T = 1jY (1) ,Y (0) ,X ] = Pr [T = 1jX ] � p (X )

onde p (X ), ou a probabilidade de ser tratado dado X , é o assimchamado propensity-score.






A hipótese de independência condicional (em X ) entre T e osresultados potenciais Y (1) e Y (0) também é conhecidacomo hipótese de ignorabilidade do tratamento.

T é ignorável se

Pr [T = 1jY1,Y0,X ] = Pr [T = 1jX ]ou

(Y1,Y0) ? T jX






A hipótese sobre seleção é que condicional em X não há nadasistemático que faça com que um indivíduo seja ou nãotratado. Isto é, apenas algo estritamente aleatório faz comque alguém seja ou não tratado. A probabilidade de sertratado, contudo, depende de X e é p(X ).

Este é um caso em que pode-se pensar que há auto-seleção eque o analista conhece e observa todas as característicasrelevantes, a menos de um erro aleatório.

A hipótese de seleção em observáveis é não-testável. Note queela envolve sempre ou variáveis aleatórias que apresentamdados faltantes, como quando escrevemos

(Y1,Y0) ? T jX






Lembrem-se que

ATT = E [Y1jT = 1]� E [Y0jT = 1]= E [Y jT = 1]� E [Y0jT = 1]

ATE = E [Y1]� E [Y0]= E [Y1jT = 1] � Pr [T = 1] + E [Y1jT = 0] � Pr [T = 0]

� (E [Y0jT = 1] � Pr [T = 1] + E [Y0jT = 0] � Pr [T = 0])= E [Y jT = 1] � Pr [T = 1] + E [Y1jT = 0] � Pr [T = 0]

� (E [Y0jT = 1] � Pr [T = 1] + E [Y jT = 0] � Pr [T = 0])






A primeira forma de se identi�car as médias é pensando emum método de imputação ou de regressão:

ATE = E [Y1]� E [Y0]= E [E [Y1jX ]]� E [E [Y0jX ]]= E [E [Y1jX ,T = 1]]� E [E [Y0jX ,T = 0]]= E [E [Y jX ,T = 1]]� E [E [Y jX ,T = 0]]

ATT = E [Y1jT = 1]� E [Y0jT = 1]= E [Y jT = 1]� E [E [Y0jX ,T = 1] jT = 1]= E [Y jT = 1]� E [E [Y0jX ,T = 0] jT = 1]= E [Y jT = 1]� E [E [Y jX ,T = 0] jT = 1]






Portanto, para cada valor de X , identi�camos a distribuiçãode Y0jT = 1 usando Y jT = 0. Isto é, imputamos os valoresdessa distribuição usando observações do grupo de controle(T = 0) que tenha o mesmo X do grupo de tratamento(T = 1).

Depois, como estamos interessados na distribuiçãonão-condicional de Y0jT = 1, precisamos tirar uma médiausando a distribuição de X jT = 1.O primeiro método usado para estimar estes "contrafactuias"é o de regressão.





Podemos escrever os resultados potenciais como:

Yi (1) = XTi α+ β+ ε1i

Yi (0) = XTi α+ ε0i

Sob a hipótese de seleção nos observáveis,

E [ ε0i jXi ] = 0





Usando os resultados de uma regressão linear de Y em X paraamostra de não-tratados, podemos estimar o efeito médio dotratamento sobre os tratados:

[ATT = 1N1

N

∑i=1Ti (Yi � bµ0 (Xi ))

bµ0 (Xi ): valor previsto para o grupo de tratamento usando oscoe�cientes estimados por MQO para a regressão doscontroles e as características (X ) dos tratados.

Para este método funcionar precisamos que esta extrapolçãoseja válida (Hipótese do Suporte Comum).





Antes é importante notarmos que implicitamente lançamosmão de uma outra hipótese, a qual garante comparabilidadeentre os dois grupos T = 1 e T = 0.

Trata-se da hipótese de suporte comum:

0 < p (x) < 1 8x 2 X

onde X é o suporte da distribuição de X .

Dito de outra forma, não há valor de X para o qual se possadizer com certeza a que grupo (T = 1 ou T = 0) o indivíduopertence, usando apenas informação obtida pelo X .

A combinação das hipóteses de ignorabilidade e do suportecomum é conhecida como ignorabilidade forte (Rubin, 1977).





Se tivéssemos feito a imputação para cada observação tratada(T = 1), teríamos feito o que chamamos de matching, ou onosso segundo método de identi�cação.

O procedimento seria muito parecido: para cada observaçãotratada acharíamos um match (par) no grupo de controle(T = 0) com um mesmo X e imputaríamos o valor queaquele indivíduo tratado teria tido caso não tivesse sidotratado usando a observação do seu match no grupo decontrole.

Depois que tivéssemos isso para todos os tratados,calcularíamos a média. Essa média (populacional), sob ahipótese de seleção em observáveis, será E [Y0jT = 1].





Para indivíduo i , se Yi (1) é observado (Ti = 1), então Yi (0)é faltante (missing).

Encontram-se indivíduos j , tais que Tj = 0, e que satisfaçam:

kXj � Xik � kXl � Xik , 8 l , Tl = 0

Suponha que encontremos apenas um j satisfazendo restriçãoanterior. Então bYi (0) = Yj (0) = Yj .De forma análoga, faz-se o mesmo se Ti = 0. Imputa-seYi (1) com bYi (1) = Yj (1) = Yj .





Estima-se E [Y (1)] como:

bE [Y (1)] = 1N

N

∑i=1Ti � Yi + (1� Ti ) � bYi (1)

portanto, estima-se ATE como

dATEmatch,1 =1N

N

∑i=1Ti � Yi + (1� Ti ) � bYi (1)

� 1N

N

∑i=1(1� Ti ) � Yi + Ti � bYi (0)

e ATT por

[ATTmatch,1 =1N1

N

∑i=1Ti �

�Yi � bYi (0)�





Algumas questões relevantes na implementação:

1 Com mais de uma unidade como candidata a par (se háempate, por exemplo), como escolher?

2 Se for usar mais de uma unidade, deve-se �repor�unidade queserviu como par? Ou fazer matching sem reposição?

3 Que noção de distância k�k deve ser usada?





Observação: Matching, ao contrário do método da imputação(usando toda a amostra), não é e�ciente. Razão para isso é quematching tipicamente �xa o número de �matches�





De�ne-se um �balancing-score�, b (X ), como uma função deX tal que a distribuição de X nos dois grupos esteja�equilibrada�, i.e.,

X ? T jb (X )Pode-se mostrar que o b (X ) de menor dimensionalidade é opropensity-score:

X ? T jp (X )Importante: Esse resultado não é dependente da hipótese deignorabilidade:

(Y1,Y0) ? T jX





Ele é um simples resultado de teoria da probabilidade:

X ? T jp (X ), Pr [T = 1jX , p (X )] � Pr [T = 1jp (X )]

Podemos rescrever o lado direito como:

Pr [T = 1jp (X )]= E [Pr [T = 1jX , p (X )] jp (X )]

Contudo, novamente temos Pr [T = 1jX , p (X )] = p (X ), oque nos dá:

Pr [T = 1jp (X )] = E [p (X ) jp (X )] = p (X ) .





Um segundo resultado, mais interessante, diz que sob a hipótesede ignorabilidade, se b (X ) é �balancing-score�, então:

(Y1,Y0) ? T jb (X )

e em particular(Y1,Y0) ? T jp (X )





Usamos a mesma lógica anterior para provar esse resultado:

(Y1,Y0) ? T jp (X ), Pr [T = 1jY1,Y0, p (X )] � Pr [T = 1jp (X )]

Vimos que o lado direito da equivalância é simplesmentep (X ).O lado esquerdo pode ser reescrito como

Pr [T = 1jY1,Y0, p (X )]= E [Pr [T = 1jY1,Y0, p (X ) ,X ] jY1,Y0, p (X )]= E [Pr [T = 1jY1,Y0,X ] jY1,Y0, p (X )]= E [Pr [T = 1jX ] jY1,Y0, p (X )]= E [p (X ) jY1,Y0, p (X )] = p (X ) .





Qual vantagem de se usar p (X ) em vez de X? Principal éredução da dimensionalidade.

Qual desvantagem de se usar p (X ) em vez de X? Principal éque verdadeiro p (X ) é uma função desconhecida de X eprecisa, portanto, ser estimada. Estimação do p (X ) em umprimeiro estágio pode afetar variância do estimador dosegundo estágio.





Vamos ver três métodos baseados no escore de propensão:

1 Regressão usando propensity-score estimado.

Rodamos uma regressão de Y em T e o p(X ) estimado.Como p (X ) é estimado, temos que fazer correção noserros-padrão reportados. Além disso, método é válido secon�armos na hipótese sobre a forma funcional da médiacondicional. Mais sobre isso em breve.





1 Matching no propensity-score estimado:

Embora bastante popular, apenas muito recentemente foiestabelecida teoria assimptótica para esse caso (Abadie andImbens, 2009).

2 Reponderação usando p-score estimado

Esse método parece que usa versão da ignorabilidadecondicionando em p(X ).





Reponderação

ATE = E [E [Y jX ,T = 1]]� E [E [Y jX ,T = 0]]= E [E [T � Y jX ,T = 1]]� E [E [(1� T ) � Y jX ,T = 0]]

= E�E [T � Y jX ]p (X )

�� E

�E [(1� T ) � Y jX ]

1� p (X )

�= E

�T

p (X )� Y�� E

�1� T

1� p (X ) � Y�





usamos aqui

E [TY jX ]p (X )

= E [TY jX ,T = 1] + E [TY jX ,T = 0] � (1� p (X ))p (X )

= E [TY jX ,T = 1] + 0 = E [Y jX ,T = 1]

e

E�T

p (X )� Y�= E

�E�T

p (X )� Y jX

��= E

�E [TY jX ]p (X )

�





Fazendo-se contas similares, chegamos para ATT :

ATT = E [Y jT = 1]� E [E [Y jX ,T = 0] jT = 1]

=E [T � Y ]

p� E [p (X ) � E [Y jX ,T = 0]]

p

onde p = Pr [T = 1]. O resultado acima deriva de

E [T � Y ]p

= E [T � Y jT = 1] + E [T � Y jT = 0] ��1� pp

�= E [Y jT = 1]

e da regra de Bayes:

fX jT (x j1) =p (x)p

� fX (x)

fX jT (x j0) =1� p (x)1� p � fX (x)





Assim:

ATT =E [T � Y ]

p� E [p (X ) � E [Y jX ,T = 0]]

p

= E�Tp� Y�� E

�p (X )p

� E [Y jX ,T = 0]�

= E�Tp� Y�� E

�p (X )p

� E [(1� T ) � Y jX ,T = 0]�

= E�Tp� Y�� E

�p (X )p

� E [(1� T ) � Y jX ]1� p (X )

�= E

�Tp� Y�� E

�p (X )p

� 1� T1� p (X ) � Y

�= E

�Tp� Y�� E

�p (X )p

� 1� p1� p (X ) �

1� T1� p � Y

�Prof. Cristine Campos de Xavier Pinto Econometria para Avaliação de Políticas Públicas




P(X ) aparece como um peso nas equações acima.

Procedimento em dois passos:

Passo 1: Estimamos P(X ) por um modelo Probit ou Logit.

Passo 2: Obtemos estimadores consistentes dos parâmetros deinteresse:

dATE rew ,norm =1N

N

∑i=1

0@ Tibp(Xi )∑Nj=1

Tjbp(Xj )�

1�Ti1�bp(Xi )

∑Nl=1

1�Tl1�bp(Xl )

1A � Yi[ATT rew ,norm =

1N

N

∑i=1

0@ Ti∑Nj=1 Tj

�bp (Xi ) � 1�Ti

1�bp(Xi )�

∑Nl=1 bp (Xl ) � 1�Tl

1�bp(Xl )�1A � Yi





Como isso se relaciona com regressão?

De�na bλATE ,i como:bλATE ,i = Tibp (Xi ) � 1� Ti

1� bp (Xi ) = Ti � bp (Xi )bp (Xi ) � (1� bp (Xi ))o coe�ciente associado ao T na regressão ponderada de Y em T euma constante, usando bλATE ,i como peso é:bδ =

∑ bλATE ,i �Ti �Yi∑ bλATE ,i �

�∑ bλATE ,i �Ti

∑ bλATE ,i��

∑ bλATE ,i �Yi∑ bλATE ,i

�∑ bλATE ,i �T 2i

∑ bλATE ,i ��

∑ bλATE ,i �Ti∑ bλATE ,i

�2=

1N

N

∑i=1

0@ Tibp(Xi )∑j

Tjbp(Xj )�

1�Ti1�bp(Xi )

∑j1�Tj1�bp(Xj )

1A � Yi = dATE rew ,normProf. Cristine Campos de Xavier Pinto Econometria para Avaliação de Políticas Públicas




De�na bλATT ,i como:bλATT ,i = Tibp � bp (Xi )bp � 1� Ti

1� bp (Xi ) = Ti � bp (Xi )bp � (1� bp (Xi ))o coe�ciente associado ao T na regressão ponderada de Y em T euma constante, usando bλATT ,i como peso é:bδ =

∑ bλATT ,i �Ti �Yi∑ bλATT ,i �

�∑ bλATT ,i �Ti

∑ bλATT ,i��

∑ bλATT ,i �Yi∑ bλATT ,i

�∑ bλATT ,i �T 2i

∑ bλATT ,i ��

∑ bλATT ,i �Ti∑ bλATT ,i

�2=

1N

N

∑i=1

0@ Ti∑Nj=1 Tj

�bp (Xi ) � � 1�Ti

1�bp(Xi )�

∑Nl=1 bp (Xl ) � � 1�Tl

1�bp(Xl )�1A � Yi =[ATT rew ,norm





Matching

Mesma ideia do matching baseado no vetor X .

Escolhemos os indvíduos no grupo de controle que se parecemmais com os indivíduos no grupo de tratamento em termos doescore de propensão.

O pareamento baseado no escore de propensão também irádepender de uma métrica pré-determinada, que de�nirá aproximidade do escore de propensão dos indivíduos tratadosem relação ao escore de propensão dos indivíduosnão-tratados.

Exemplo: The Nearest Neighbor Matching - usa o resultadode M indivíduos do grupo de controle.





Sendo HM o conjunto das M observações com o menor valorde��bP (Xj )� bP (Xi )��, podemos construir o análogo amostral

para o resultado potencial do indivíduo caso ele não fossetratado, como:

bYi (0) = 1M ∑

j2HM (i )Yj

e estimamos os parâmetros de interesse.





Regressão

Como(Y (1) ,Y (0)) ? T jp (X )

temos que

ATE = E [Y (1)]� E [Y (0)]= E [E [Y (1) jp (X )]]� E [E [Y (0) jp (X )]]= E [E [Y (1) jp (X ) ,T = 1]]� E [E [Y (0) jp (X ) ,T = 0]]= E [E [Y jp (X ) ,T = 1]]� E [E [Y jp (X ) ,T = 0]]





Podemos estimar as médias condicionais através de regressões.

Por exemplo, o que acontece seE [Y jp (X ) ,T = 1] = α1 + β1 � p (X ),E [Y jp (X ) ,T = 0] = α0 + β0 � p (X )?

E [Y jp (X ) ,T ] = α0+ β0 �p (X )+ (α1 � α0) �T +(β1 � β0) �p (X ) �T

masATE = (α1 � α0) + (β1 � β0) � p = δ





e

E [Y jp (X ) ,T ] = α0+ β0 �p (X )+ δ �T +(β1 � β0) � (p (X )� p) �T

Portanto, nesse caso, regressão de Y em T , p (X ) e interaçãop� (X ) � T , onde p� (X ) = p (X )� p, identi�ca ATE.





Em alguns casos, escolhemos modelos paramétricos para op-score ou para E [Y jT ,X ] sem a necessária con�ança de queeles se aproximem dos objetos populacionais da maneiraadequada.

Métodos que surgiram dá combinação dos métodos acima sãomenos sensíveis a essas hipóteses.

Exemplos:

Pareamento e Regressão LinearRegressão Linear e Reponderação





Pareamento e Regressão Linear

eYi (0) = 1M ∑

j2HM (i )(Yj + bµ0 (Xi )� bµ0 (Xj ))

bµ0 (Xi ) , bµ0 (Xj ) : valores previstos de Y para os indivíduos nogrupo de controle e também para os indivíduos no grupo detratamento obtidos com os coe�cientes da regressão de Y emX somente para a subamostra de indivíduos que nãoreceberam tratamento





e

dATEmatchreg ,1 =1N

N

∑i=1Ti � Yi + (1� Ti ) � bYi (1)

� 1N

N

∑i=1(1� Ti ) � Yi + Ti � bYi (0)

e ATT por

[ATTmatchreg ,1 =1N1

N

∑i=1Ti �

�Yi � bYi (0)�





Regressão Linear e Reponderação

Yi = α0 + τTi + XTi α1 + Ti�Xi � X 1

�Tα2 + εi

X 1: média amostral de X na subamostra de indivíduostratados.

τ: efeito médio do tratamento sobre os tratados (ATT)

Estimamos esta regressão podenderada por:

w(T ,X ) = Ti + (1� Ti )�

P̂(Xi )

1� P̂(Xi )

�





Para obter o ATE, estimamos a seguinte regressão:

Yi = α0 + τTi + XTi α1 + Ti�Xi � X

�Tα2 + εi

X : média amostral de X na amostra como um todo.Ponderada por:

w(T ,X ) =Ti

P̂(Xi )+

1� Ti1� P̂(Xi )


Documents

Econometria para Avaliaçªo de Políticas Pœblicas.…2016/01/12 · Introduçªo Parâmetros de Interesse O mØtodo de Regressªo Suporte Comum Matching (Pareamento Simples) MØtodos