The material was supported by an educational grant from Ferring Como fazer uma crítica apreciativa de um estudo Nikolaos P. Polyzos M.D. PhD

The material was supported by an educational grant from Ferring

Como fazer uma crítica apreciativa de um estudo

Nikolaos P. Polyzos M.D. PhD

Objetivos de aprendizagem

• Ao final desta apresentação você perceberá que não deve aceitar a conclusão de nenhum trabalho sem questionar.

• Esta apresentação vai fornecer orientações de como você se deve questionar as conclusões dos trabalhos.

Uma descoberta de uma pesquisa é menos provável de ser verdadeira quando:• Os estudos conduzidos num campo são menores

• O tamanho dos efeitos são menores

• Há maior flexibilidade nos desenhos, definições, resultados e modos analíticos

• Há um interesse financeiro maior e outro interesse e preconceito

Ioannidis JP, Plos Med 2005

Ensaio: Por que a Maioria das Descobertas Publicadas são Falsas - John P.A. Ioannidis

• Por que você deve questionar os resultados em todos os trabalhos

• Como você deve questionar os resultados

Os artigos mais citados nem SEMPRE estão dizendo a verdade

Por que você deve questionar os resultados em todos os trabalhos

• Descobertas iniciais…podem se provar erradas no futuro

• Estudos altamente citados (>1000 citações) com alegação de eficácia– 16% foram contraditos por pesquisas posteriores

– 16% descobriu-se ter fortes efeitos iniciais

– 44% foram replicados também com uma amostra maior em pesquisa subsequente comparado com o estudo original altamente citado)

– 24% permaneceram amplamente incontestados

Artigos mais citados nem SEMPRE estão dizendo a verdade

Ioannidis JP, JAMA 2005

Fabricação de dados pode ocorrer mesmo em periódicos altamente conceituados


Caso Sudbø (Lancet)

Entre 908 pacientes no estudo 250 tinham a mesma data de aniversário

Fabricação de dados pode ocorrer mesmo em periódicos altamente conceituados

Ensaios de baixa qualidade de randomização podem mostrar efeito de tratamento

aumentados


• Gravidez Cochrane e Base e Dados de Nascimentos– 250 ensaios controlados de 33 meta-análise

• Maior efeito aparente de tratamento nos estudos de qualidade mais pobre– Questões de randomização

• Possibilidade de Índices exagerados em até 41%

– Cegamento inadequado• Possibilidade de Índices exagerados em 17%

Ensaios de baixa qualidade de randomização podem mostrar efeito de tratamento inflado

Schulz. JAMA 1995; 273 (5): 408–412

LOTE DE META-ANÁLISE PARA NASCIMENTO PREMATURO <37 SEMANAS DE GESTAÇÃOStudy or subgroup Treatment No treatment weight Odds ratio

Events/toal Events/total (%) (M-H, fixed)(95% CI)

Low quality trailsSubtotal (95% CI) 114/996 147/725 35.2 0.52 (0.38 to 0.72)

Test for heterogeneity: χ2 = 4.95, df = 5, P = 0.42, I2 = 0%Test for overall effect: z = 4.01, P<0.001

High quality trialsSubtotal (95% CI) 250/2303 219/2290 64.8 1.15 (0.95 to 1.40)Test for heterogeneity: χ2 = 4.02, df = 4, P = 0.40, I2 = 1%Test for overall effect: z = 1.45, P = 0.15

Total (95% CI) 364/3299 366/3015 100 0.93 (0.79 to 1.10)Test for heterogeneity: χ2 = 25.94, df = 10, P = 0.004, I2 = 61%Test for overall effect: z = 0.86, P = 0.39

M-H=Mantel-Haenszel fixed effects model 0.1 0.2 0.5 1 2 5 10Favours treatment Favours no treatment

Odds ratio(M-H, fixed)

(95% CI)

Ensaios de baixa qualidade mostraram efeitos de tratamento que não foram confirmados por estudos de alta qualidade

Polyzos NP et al., BMJ 2010

Ensaios com resultados negativos não são publicados ou são publicados mais tarde


Entre os estudos apresentados na maioria dos encontros científicos, ensaios com resultados positivos são mais propensos a serem publicados em comparação com os estudos negativos.

0 20 40 60 80 100

1.0

0.8

0.6

0.4

0.2

0.0

Time to publication (months)

Prop

ortio

n of

abs

trac

ts p

ublis

hed

in fu

ll-te

xt

Outcome in favour of the experimental arm

Not-positivePositiveNot-positive-censoredPositive-censored

Ensaios com resultados negativos não são publicados ou são publicados mais tarde

Polyzos NP et al., Hum Reprod 2011


Meta-análise muitas vezes conta com poucas ou inconsistentes evidências

• 61 revisões sistemáticas publicadas durante Julho de 2012 em Cochrane– 15% das revisões incluíam 1ou 0 ensaios

– Metade incluíam menos que 1,000 pacientes randomizados

– 31 eram revisões atualizadas

– 11 dessas 31 revisões atualizadas incluíam o mesmo número de ensaios e participantes da revisão anterior que eles pretendiam atualizar.

Meta-análise e revisões sistemáticas podem muitas vezes contar com poucas ou inconsistentes evidências

Humaidan & Polyzos Nat Med 2012

Pesquisas apoiadas pela indústria podem demonstrar melhor efeito de tratamento



Lexchin J et al., BMJ. 2003.OR 4.05; 95% CI 2.98-5.51

Pesquisas patrocinadas por indústrias químicas foram 4x mais propensas a ter resultados que favoreciam o produto do patrocinador do que as pesquisas patrocinadas por outras fontes

Study (first author) Odds ratio

0.1 0.2 0.5 1 2 5 10 100 1000 10000

Azimi12

Cho14

Clifford15

Davidson16

Dieppe18

Djulbegovic19

Djulbegovic20

Friedberg23*Friedberg23┼

Kamal-Bahl26╪

Kamal-Bahl26§

Koep30

Mandelkern32

Sacristan36¶

Sacristan36**Thomas38

Vandenbroucke39

Yaphe41

82% das análises de custo-efeito patrocinadas pela indústria mostram que as drogas são rentáveis


Valachis et al., J Clin Oncol 2012

(Relações Financeiras em Análises Econômicas de Terapias Direcionadas em Oncologia)

(Reportagem original)

A análise de custos-efetividade com o envolvimento da indústria foram associados com os pressupostos inferiores de base da sensibilidade do teste Pap.

O comparador “Espantalho”

100

90

80

70

60

50

40

30

20

10

00 10 20 30 40 50 60 70 80 90 100

Patrocínio ou afiliação do autor, patrocínio ou conflito de interesse com o fabricante

Estimativas para as ACE sem afiliação do autor, patrocínio ou conflito de interesse com o fabricanteEstimativas para as ACE com pelo menos um autor afiliado com o fabricante ou patrocínio ou conflito de interesse com o fabricante

1 - Especificidade

Sens

ibili

dade

Pesquisas apoiadas pela indústria pode demonstrar melhor efeito de tratamento

Polyzos NP et al., CMAJ 2011


Ensaios patrocinados pela indústria e até os patrocinados pelo governo foram publicados

tardiamente no passado

• Tempo para publicação– Indústria (24meses) vs. não indústria (20 meses) depois do

estudo completo p<0.001Ross JS et al., JAMA 2013

• Taxa de publicação em um período de 2 anos – Indústria (40%) vs. não governamental/não-indústria (56%) – RR = 0.73, 95% CI 0.61–0.87; p<0.001– indústria(40%) vs. ensaios governamentais (47%); p = 0.22

Ross JS et al., Plos Med 2009

Ensaios patrocinados pela indústria podem ser publicados mais tarde do que os não patrocinados

• Ensaios NIH NÃO PUBLICADOS depois de concluídos– 30 meses – metade publicado– 51 meses - 1/3 não publicados

Mesmo os ensaios patrocinados pelo governo não são publicados imediatamente

80

60

40

20

00 20 40 60 80 100

Tempo desde a conclusão do estudo (meses)

Por

cent

agem

de

estu

dos

publ

icad

os

Não em risco

635 635 635 635 493 330 220 153 95 54 44

No de estudos não publicadosEnsaio concluído antes de 2007

269 264 259 235 221 197 175

Ensaio concluído em 2007-8

366 356 324 282 244 215 176

80

60

40

20

00 5 10 15 20 25 30

Tempo desde a conclusão do estudo (meses)

Por

cent

agem

de

estu

dos

publ

icad

os

P<.001

Ensaio concluídoantes de 2007

Ensaio concluídoem 2007-8

Ross JS et al., BMJ 2011

• Por que você deve questionar os resultados em todos os trabalhos

• Como você deve questionar os resultados

Como você deve questionar os resultados

Não rejeite antecipadamente um estudo baseado no seu estado como ensaio de governança clínica e que relata

ter melhorado com o tempo

Menos propenso a até mesmo ler o artigo inteiro !

Ligação da indústria com uma publicação reduz seu valor para médicos

Patrocínio da indústria:• Influencia negativamente a percepção dos médicos da qualidade da metodologia• Reduz a sua disposição a acreditar e agir conforme as descobertas do ensaio,

independentemente da qualidade do ensaio

1.25

1.00

0.75

0.50

Indústria vs. Nenhum Indústria vs. NIH

Fiananciamento

Prop

orçã

o da

pos

sibi

lidad

e

0.68 (95% CI, 0.49-0.94)P = .02

0.52 (95% CI, 0.37-0.71)P<.001

Disposição dos Médicos para Prescrever o Medicamento

Não rejeite antecipadamente um estudo baseado no seu estado

Kesselheim NEJM 2012

• A Diretriz da Boa Prática Clínica (Diretiva 2005/28/EC de 8 de Abril de 2005 do Parlamento Europeu e do Conselho)

• EudraCT vs. 9 (Registro de ensaios Europeus)• Resultados devem ser fornecidos para todos os ensaios

intervencionais clínicos que se iniciaram na União Europeia a partir de 1 de Maio de 2004

• O relatório e divulgação pública incluem:– Ensaios que foram terminados precocemente– Ensaios com resultados tanto positivos como negativos– Ensaios de produtos com OU sem uma autorização de marketing

na comunidade

https://eudract.ema.europa.eu/index.html

Por que você não deve rejeitar antecipadamente baseado em seu atual estado



• Para a Pharma introduzir uma nova droga a droga deve passar a Fase II dos estudos para estabelecer a dosagem e segurança, seguido pela fase III de estudos para confirmar a eficácia e depois demonstrar a segurança, o que é monitorado externamente e deve seguir estudos altamente metodológicos

• A taxa de sucesso da Fase II para novos projetos de desenvolvimento caíram de 28% (2006–2007) para 18% (2008–2009)

• O sucesso combinado da Fase III e submissão têm caído a ~50% de 2007 a 2010

A situação melhorou com o tempo?

Arrowsmith. Nature Reviews Drug Discovery 2011

Arrowsmith. Nature Reviews Drug Discovery 2011

Não rejeite antecipadamente um estudo baseado no seu estado

Como você deve questioner os resultados

Use uma abordagem de avaliação crítica ao avaliar um artigo científico

Avalie criticamente o propósito do estudo• Qual a justificativa para realizar o estudo?• Existe(m) questões de pesquisa(s) claramente

definida(s) e se não, deveria(m) existir?

Quadro de Como ler e criticar um trabalho de pesquisaAmerican Nurses Association http://www.nursingworld.org

Use uma abordagem de avaliação crítica padrão ao avaliar um artigo científico

Avalie criticamente o desenho do estudo• O desenho é apropriado para o estudo?• A amostra se encaixa com o desenho da pesquisa e o

tamanho é suficiente? • Como os dados foram coletados? • A abordagem analítica é consistente com as questões

do estudo e o desenho da pesquisa?



Examine se o estudo foi registrado em registro público• Será que o ensaio foi registrado antes de ser iniciado?• Será que os parâmetros primários são os mesmos registrados na

versão registrada do ensaio?


Sempre revise a literatura existente• A revisão da literatura é relevante para o estudo,

abrangente e inclui pesquisas recentes? • A revisão da literatura apoia a necessidade do estudo? • As descobertas são compatíveis com a literatura

existente?



Avalie criticamente os resultados e conclusões• Os resultados estão claramente apresentados no texto,

tabelas e dados? • Os resultados explicados tem relação com o quadro

teórico e questões da pesquisa?• As limitações foram apresentadas e suas implicações

discutidas?• Existem recomendações para a prática clínica?



• Nenhum ensaio é livre de limitações, resultados podem ocorrer ao acaso

• Existe até um risco de que os resultados sejam enganosos

• Quanto mais robusto o estudo, mais provável de ser verdadeiro

• Sempre revise toda a literatura e procure consistência no que está relatado

• Não aceite ou rejeite de imediato os resultados de um estudo baseado apenas na publicação do periódico, grupo de pesquisa ou envolvimento da indústria

Conclusões

Obrigado

Documents

The material was supported by an educational grant from Ferring Como fazer uma crítica apreciativa de um estudo Nikolaos P. Polyzos M.D. PhD