Econometric Game São Paulo · comparar os acidentes nas vias das cidades de Guarulhos e de São Paulo antes e depois da política. Esse método é conhecido por Método de Diferenças-em-diferenças

1º Econometric Game São Paulo

CASE RESOLVIDO

FEA-USP05/11/2016

Tema: Efeitos da Redução da Velocidade nas vias de São Paulo

Motivação:

Política: redução da velocidade de diversas vias da cidade a partir de 20/07/2015 pela Prefeitura de São Paulo

Objetivo: reduzir o número de acidentes e mortes no trânsito da cidade

Perguntas a serem respondidas*: Qual é o real efeito da política sobre o número de acidentes?

Qual é o custo de política, em termos de tempo adicional de deslocamento?

Com base nos resultados encontrados, é possível dizer que a política é custo-benéfica?

* Os dados não observados foram simulados. Boa parte da base de dados foi extraída de fontes reais.

Dados de São Paulo antes e depois da política

Não podemos inferir causalidade ao comparar as mortes no trânsito (ou taxas de acidentes) em São Paulo antes e depois da política. Veja que há tendência de redução de acidentes:

Fonte: CET. Dados para o Estado de São Paulo.

Dados de São Paulo antes e depois da política

Potenciais variáveis que explicam a taxa de acidentes no trânsito, e que possivelmente estão correlacionadas com os períodos antes e depois da política:

• Comportamentais (conscientização da população)

• Outras políticas (lei seca, multas)

• Conjunturais (desemprego, que gera menos deslocamentos para trabalho)

• Mudanças de preços relativos (substituição dos veículos individualizados por transportes coletivos)

• Entre outras.

Etapa 1: Dados de São Paulo em comparação com Guarulhos (Modelo de Regressão Simples)

A comparação no tempo pode apresentar correlações espúrias (por desconsiderar vários outros fatores que explicam a redução da taxa de acidentes e estão variando no tempo)

O primeiro exercício consistia em comparar as taxas de acidentes em São Paulo, impactada pela política, com uma cidade vizinha, que não sofreu impacto da política.

A regressão simples abaixo ilustra o primeiro exercício esperado (cross-sectionde vias das duas cidades para 2006):

𝑇𝑎𝑥𝑎 𝑑𝑒 𝑎𝑐𝑖𝑑𝑒𝑛𝑡𝑒𝑠𝑖 = 𝛽0 + 𝛽1𝐷𝑢𝑚𝑚𝑦𝑆𝑃𝑖 + 𝑢𝑖

Etapa 1: Dados de São Paulo em comparação com Guarulhos

A estimação da regressão simples gerou os seguintes resultados*:

_________________________________________________________________________________

taxa_acidentes | Coef. Est. Erro Pad. t P>|t| [95% Intervalo Conf.]

_________________________________________________________________________________

dummySP | -0,003739 0,0001678 -22,28 0,000 -0,00407 -0,00341

constante | 0.0123274 0,0001626 75,80 0,000 0,01200 0,01264

___________________________________________________

O efeito de -0,003739 não é uma porcentagem (é uma redução da taxa, i.e. em pp).

Comparando com a taxa média de acidentes, o efeito estimado, em termos percentuais, seria de -0,43, isto é, uma redução de 43%

*Estimação Robusta para a matriz de variância-covariância dos estimadores.

Etapa 1: Dados de São Paulo em comparação com Guarulhos

Críticas às estimações da Etapa 1:

O efeito estimado não pode ser interpretado como causal, pois há outros fatores que explicam a taxa de acidentes (incorporados no termo de erro) e que podem diferir entre as duas cidades (isto é, serem correlacionados com a variável dummy para São Paulo), tais como:

• Políticas mais específicas de cada cidade (tais como a lei seca, multas diferenciadas)

• Conjunturais e setoriais (a composição da atividade econômica de cada cidade pode ter sofrido de forma diferenciada com a crise econômica)

• Entre outras.

Etapa 2: Dados de São Paulo em comparação com Guarulhos antes e depois da política (Modelo de Diferenças-em-diferenças)

Uma forma de estimar o efeito pretendido sobre a taxa de redução de acidentes seria comparar os acidentes nas vias das cidades de Guarulhos e de São Paulo antes e depois da política.

Esse método é conhecido por Método de Diferenças-em-diferenças (DD). Para estimá-lo, podemos escrever a seguinte equação:

𝑇𝑎𝑥𝑎 𝑑𝑒 𝑎𝑐𝑖𝑑𝑒𝑛𝑡𝑒𝑠𝑖𝑡= 𝛽0 + 𝛽1𝐷𝑢𝑚𝑚𝑦𝑆𝑃𝑖 + 𝛽2𝐷𝑢𝑚𝑚𝑦𝑃ó𝑠𝑃𝑜𝑙í𝑡𝑖𝑐𝑎𝑡 + 𝛽3𝐷𝑢𝑚𝑚𝑦𝑆𝑃𝑖 ∗ 𝐷𝑢𝑚𝑚𝑦𝑃ó𝑠𝑃𝑜𝑙í𝑡𝑖𝑐𝑎𝑡 + 𝑢𝑖𝑡

O modelo acima controla pelas especificidades de cada região (dummySP) e por choques que tenham ocorrido em ambas as cidades no período da política (dummyPolítica)

Estamos interessados na estimação do parâmetro 𝛽3


𝛽3 pode ser interpretado como causal (i.é. como o verdadeiro efeito da política) caso a evolução da taxa de acidentes, na ausência da política, seja igual para as duas cidades (mesmo que ambas tenham diferentes taxas), conforme o gráfico abaixo ilustra:


A estimação gerou os seguintes resultados*:

____________________________________________________________________________________

taxa_acidentes | Coef. Est. Erro Pad. t P>|t| [95% Intervalo Conf.]

____________________________________________________________________________________

dummy_SP | -0,0027729 0,0001678 -16,53 0,000 -0,0031018 -0,002444

dummy_Política | -0,0001 0,00023 -0,43 0,664 -0,0005508 0,0003508

dummySP*dummyPP| -0,0009662 0,0002373 -4,07 0,000 -0,0014313 -0,000501

Constante | 0,0124274 0,0001626 76,42 0,000 0,0121086 0,0127461

_____________________________________________________

Para interpretar em termos percentuais (em relação à média de São Paulo), o efeito estimado seria de -0,100075, isto é, uma redução de 10%

*Estimação Robusta para a matriz de variância-covariância dos estimadores.


Críticas e considerações sobre as estimações da Etapa 2:

O efeito estimado não pode ser interpretado como causal caso existam mudanças ocorrendo (que impactem a taxa de acidentes) em ambas as cidades no período posterior à política

De qualquer forma, nota-se que o controle de outros fatores (na estimação por DD) faz com que o efeito estimado de 43% se reduza para 10%, indicando que, possivelmente, a estimativa do efeito por regressão simples seja viesada.

O modelo DD é bastante sensível à escolha da cidade do grupo de controle (ou seja, que não sofreu o impacto da política). Assim, a próxima etapa pretende verificar as semelhanças e diferenças entre as cidades.

Etapa 3: Teste de Médias entre as cidades de São Paulo e Guarulhos

Nesta etapa, implementamos um teste de igualdade de média (ou teste de distribuição, ou teste de variâncias) para comparar as características de ambas as cidades.

As seguintes variáveis foram consideradas:

Área

PIB per capita, PIB da indústria, de serviços, da agrocpecuária

Despesas com transporte (absolutas e em termos %), receitas tributárias per capita

Educação (analfabetismo)

Frota de motos e de automóveis (total e percentual)

Etapa 3: Teste de Médias entre as cidades de São Paulo e Guarulhos

Os testes rejeitaram a hipótese de igualdade nas médias e variânciasamostrais de todas as características das cidades

Uma hipótese aventada por estes resultados seria de que Guarulhos podediferir muito de São Paulo em características importantes que influenciam a taxa de acidentes e estão mudando no tempo, tais como: – frota de veículos,

– despesas com políticas de transporte,

– atividade econômica, entre outras.

Assim, a etapa 4 propõe a aplicação de um modelo de controle sintético, para buscar cidades de controle (contrafactuais) mais adequado para São Paulo.

Etapa 4: Método de Controle Sintético

O método de controle sintético é geralmente aplicado:

à avaliação de políticas pontuais (como no caso da cidade de São Paulo, que foi a única unidade tratada no estado); e

a dados agregados.

A abordagem consiste em encontrar unidades, dentro de um grupo de possíveis controles (chamado de donor pool e não impactados pela política), que repliquem a trajetória da taxa de acidentes de São Paulo. Esse grupo é considerado o grupo de controle sintético.

Ao final do procedimento, o grupo sintético tem os valores de suas variáveis explicativas bastante próximos às da cidade tratada.


O método de controle sintético gerou os seguintes resultados:

Cidades consideradas na construção do grupo de controle sintético:

Cidades Pesos (%)

Osasco 25.9

Santo André 36

Santos 9.6

São Caetano do Sul 22.5

Taboão da Serra 6.1


A comparação de algumas variáveis da cidade de São Paulo com a variável simulada para o grupo de controle sintético foi:

___________________________________________________________________________________________________________________

Variável | Tratado (SP) Sintético ______________________________________________________________________________________________________________________________________________

PIB per capita | 15.277,72 16.673,29

Densidade pop. | 6.978,42 6.837,63

%PIB serviços | 0,62 0,55

População urbana | 10 milhões 5 milhões

%Gastos mun transp | 0,11 0,055

Proporção homens | 0,476 0,478

Taxa analfabetismo | 4,15 5,77

Proporção automov | 0,38 0,32

Proporção motos | 0,045 0,041 _____________________________________________________________________________________________________________________________________________


A comparação de algumas variáveis da cidade de São Paulo com a variável simulada para o grupo de controle sintético foi:

.008

.0085

.009

.0095

.01

taxa_acid

ente

s

2014 2014.5 2015 2015.5 2016ano

treated unit synthetic control unit

Em termos percentuais, o efeito foi de 0,0085/0,0093 = 7,85%


Críticas e considerações sobre as estimações da Etapa 4:

O efeito estimado pelo controle sintético foi próximo ao efeito estimado pelo modelo de DD, indicando que a redução da velocidade das vias de São Paulo tenha reduzido em 7,85% a taxa de acidentes

Problemas do método: – São observados poucos períodos anteriores à política para ajustar um grupo de controle

sintético mais próximo

– Os resultados são bastante sensíveis à escolha das variáveis

Etapa Final: Avaliação de Custo-Benefício

Por fim, as equipes deveriam fazer uma comparação do custo-benefício da política a partir de: efeitos estimados; dados fornecidos; e outras hipóteses sobre os custos de oportunidade das pessoas impactadas pela política:

Benefício: Redução da taxa de acidentes e, consequentemente, da mortalidade no trânsito (vidas salvas)

Custo: Aumento do tempo de deslocamento das pessoas que circulam nas vias cujavelocidade média foi reduzida*

Hipóteses possíveis**:– Valor estatístico da vida

– Custo de oportunidade do tempo

– Número de pessoas que circulam nas vias com redução da velocidade

*Foram fornecidos dados sobre esse custo, embora a política tenha outros custos, como os de fiscalização (efetivo policial, radares, placas).

** Sabemos que poderiam ser feitas outras hipóteses. A criatividade e originalidade nas hipóteses estavam em avaliação.


ModeloRedução acidentes em

um ano

Mortos em acidentes de

trânsito na cidade (média

2005-2014)¹

Redução mortes

prevista no ano

Valor de uma vida

(R$)Benefício ao ano (R$)

Reg Simples 43.00% 592 R$ 97,762,250.70

Diff in Diff 10.00% 138 R$ 22,735,407.14

Sintético 7.85% 108 R$ 17,847,294.60¹http://vias-seguras.com/os_acidentes/estatisticas/estatisticas_estaduais/estatisticas_de_acidentes_no_estado_de_sao_paulo/acidentes_na_cidade_de_sao_paulo

Hipóteses:

(i) todos os acidentes evitados foram fatais;

(ii) valor da vida é VP dos salários à taxa da poupança (6% a.a.);

(iii) salário mínimo considerado (estimativa lower bound)

1,376 R$ 165,264.28

Benefício anual da política


Aumento no

tempo parado

no trânsito

(horas)

Salário/h

ora

Número

carros por dia

nas vias de

São Paulo¹

Número de carros

em horário de

pico (7h as 10h e

17h as 20h)

Número de

pessoas por

carro (média

por dia)²

Salário perdido

no trânsito todo

ano

0.25 R$ 5.00 530,000 132,500 1.4 R$ 61,215,000.00 ¹http://vejasp.abril.com.br/materia/destino-marginais-matthew-shirts

²http://oglobo.globo.com/brasil/sao-paulo-tem-media-de-14-ocupante-por-carro-2695421

Hipóteses:

(i) salário/hora = salário mínimo por hora

Custo anual da política


A depender das premissas e do modelo que é tomado como verdade, a decisão sobre a continuidade da política pode ser questionada

Deve-se prosseguir com uma política que não é custo-benéfica (i.e. seu custo é maior que seus ganhos)?

Críticas à análise: resultados sensíveis às premissas adotadas (qual o valor da vida? Salário mínimo como custo de oportunidade subestima custos)

Modelo Custo Benefício Benefício Líquido Conclusão

Reg Simples R$ 97,762,250.70 R$ 36,547,250.70 Política Custo-Benéfica

Diff in Diff R$ 22,735,407.14 -R$ 38,479,592.86 Política Não Custo-Benéfica

Sintético R$ 17,847,294.60 -R$ 43,367,705.40 Política Não Custo-Benéfica

61,215,000.00R$

Case Makers

Profa. Paula Pereda Bruno Palialol Danilo Souza Bruno Komatsu

(Doutorado - FEA-USP) (Doutorado - FEA-USP) (Doutorado - FEA-USP)

Critérios de Avaliação Utilizados

1. Resultado e interpretação da Regressão Simples

2. Resultado e interpretação do DD

3. Análise custo-benefício (Peso 2)

4. Testes de média e argumentação

5. Resultado e interpretação do controle sintético (Peso 2)

6. Endereçamento adequado

7. Clareza na exposição e justificativa dos dados

8. Hipóteses assumidas e metodologia

9. Originalidade e criatividade (Peso 2)

Patrocínio e Apoio

Documents

Econometric Game São Paulo · comparar os acidentes nas vias das cidades de Guarulhos e de São Paulo antes e depois da política. Esse método é conhecido por Método de Diferenças-em-diferenças