P-Hacking nas Ciencias Sociais Brasileiras

Manoel Galdino 1 Rafael N. Magalhaes 2

1Transparencia Brasil

2DCP-USP

25 de Outubro de 2016

Outline

Introducao e objetivo

Dados

Resultados

Resultados

Discussao

Motivacao

I Existe evidencia na Medicina e na Ciencia Polıtica (Ioannidis2005, Fang et al. 2014) de que os estudos sao viesados pararesultados significantes

I Incentivo: pesquisadores nao reportam todos os passos desuas analises, particularmente aqueles que produzemresultados nulos

I HARKing: “Hypothesizing After the Results are Known”(Kerr, 1998)

P-Valor

P-valor

Probabilidade de observar uma estatıstica tao ou mais extrema doque a observada condicional a H(0) ser verdadeira

I O que aconteceria com minha estatıstica se eu coletasse umanova amostra repetidas vezes?

I O que acontece se, a cada amostra que eu coletar, eu calcularuma estatıstica diferente?

Para cada amostra de dados X, eu calculo tj(X). Agora, minhadistribuicao da estatıstica nao depende apenas da distribuicao dosdados sob o modelo nulo, mas tambem dos proprios dados gerados.

P-Valor

P-Hacking

Calcular j estatısticas, e escolher a estatıstica maxima.Formalmente, T (x) = max(Tj(x)).

Garden of Forking Paths

Para um dado x, calcular T (x). Mas se x fosse x′, o pesquisadorcalcularia T ′(x) > T (x), que e equivalente a p-hacking (mas comj potencialmente menor).

P-Hacking

While collecting and analyzing data, researchers have manydecisions to make, including whether to collect more data, whichoutliers to exclude, which measure to analyze, which covariates touse, etc. If these decisions are not made in advance but rather asthe data are being analyzed, then researchers may make them inways that self-servingly increase their odds of publishing. Thus,rather than file-drawering entire studies, researchers may file-drawermerely the subsets of analysesthat produce non-significant results.We refer to such behavior as p-hacking. Simonsohn et al, 2014

Existe p-hacking nas ciencias sociais brasileiras?

I A proposta da pesquisa e analisar todos os artigos publicadosnas revistas Opiniao Publica, Dados, e Brazilian PoliticalScience Review entre 2010 e 2016

I Neste momento, coleta dos dados nao esta completa: 63artigos, 7 com inferencia estatıstica, 258 coeficientes, 129observacoes com p-valor maior que 0.

I Desses artigos, coletamos todas as estatısticas calculadas (t,qui-quadrado, z etc.) ou p-valor, o que estivesse disponıvel.

I Se houver evidencia de p-hacking ou Garden of forking paths,iremos observar “saltos” na distribuicao do p-valor ao redor de10%, 5% e 1%.

Distribuicao dos p-valores encontrados

Distribuicao dos p-valores encontrados

Nossa analise sofre do mesmo problema?

I A discricionaridade na escolha de estatısticas a apresentartambem poderia se aplicar a este trabalho.

I Solucoes sugeridas: pre-registro, modelos hierarquicosbayesianos ou modelos com regularizacao

I Pode ajudar: estudar efeitos com muita magnitude e dadoscom boa razao sinal/ruıdo

Pre-Registro

Pros:

I Atenua o vies de publicacao

I Atenua o p-hacking

I Pode trazer benefıcios colaterais, como a maior abertura paracomentarios antes da implementacao da pesquisa

Contras:

I Desincentiva analise exploratoria

I Inflexibilidade

I Alto custo de oportunidade em comparacao com a pratica dereplicacoes

Modelos hierarquicos e regularizacao

I Modelos hierarquicos permitem estimar com mais precisao oefeito de variaveis agrupadas e atenuam o problema dasmultiplas comparacoes

I Ao estimar um modelo completo, com todas as interacoesetc., o modelo hierarquico ira “automaticamente” ajustar parao ruıdo introduzido pelas combinacoes de variaveis

I Regularizacao: ao penalizar coeficientes de variaveis commuito ruıdo e pouco sinal, atenua o efeito do p-hacking deviesar os coeficientes para se tornarem significantes. Exemplo:Lasso, Ridge regression

Discussao e proximos passos

I A pesquisa prossegue com a coleta dos dadosI A coleta inicial revelou ausencia de padronizacao na

apresentacao dos testes estatısticos

I Teste confirmatorio: Caliper Test (Gerber e Malhotra, 2008)

MUITO OBRIGADO!