Dia 19 de junho de 2008

Afranio Kritski – UFRJ/Rede-TB

Utilidade clínica e custo efetividade de diagnóstico

molecular da TB

III Encontro Nacional de Tuberculose

Tópicos

• Definições (eficácia, efetividade)

• Avaliação Novos Testes Diagnósticos Moleculares– Cenário para área Laboratorial – Cenário para área clínica– Custo-efetividade

Definições

• Acurácia: Sensibilidade/Especificidade do Teste

• Eficácia: impacto de intervenção em condições selecionadas pela pesquisa

• Efetividade: impacto de intervenção em condições de rotina

• Eficiência (Custo Efetividade): impacto de intervenção avaliada em termos de seus desfechos (custos e benefícios)

Segundo Plano Global para TB: 2006 - 2015

Prioridades

1. Expandir e/ou implementar melhor efetividade do DOTS.

2. Envolver as organizações da comunidade e não-governamentais (ONG’s) nas atividades de controle da TB.

3. Aumento na detecção de casos na comunidade em diferentes Unidades de Saúde (PSF, UBS, Hospitais), por meio de estratégias locais.

4. Realizar pesquisas operacionais

http://www.stoptb.org/globalplan

Tópicos

ESTADO DA ARTE SOBRE A PRODUÇÃO DE CONHECIMENTO CIENTIFICO EM TUBERCULOSE NO BRASIL

1984 – 2006

Estudo realizado pela REDE-TB

Duas décadas de pesquisa em tuberculose no Brasil: estado da arte das publicações

científicas: 1054 – período 1984-2006

• Dissertacoes de Mestrado (Capes/MEC):372

• Teses de Doutorado (Capes/MEC): 127

• Publicações Nacionais (Sciello): 227

• Publicações Internacionais (PubMed): 388

Kritski et al. Revista Saude Publica, 2007, 41 (supl 1)

SCIENTIFIC AND TECHNOLOGICAL PRODUCTION IN BRAZIL 1984 – 2006

TUBERCULOSIS

0

10

20

30

40

50

60

1986 1988 1990 1992 1994 1996 1998 2000 2002 2004 2006

Scielo Medline Master Doctoral Thesis

Kritski et al. Revista Saude Publica, 2007, 41 (supl 1)

Publicações em TB quanto ao tipo de estudo e abordagem metodológica (1984 – 2006)

Modelo de estudo Abordagem Total  Quantitativa Qualitativa Total

Descritivo 291 27 318

Síntese-Interpretativo/Revisão 78 0 78

Relato casos caso(s) 90 0 90

Básica Aplicada 177 0 177

Básica Pura 141 0 141

Transversal 58 0 58

Caso controle 43 1 44

Coorte 32 3 33

Operacional /Efetividade 40 4 44

Experimental 24 2 26

Modelo Matemático 15 0 15

Ecológico 13 0 13

Tecnologia / patentes 23 0 23

Total 1017 37 1054

6,8 %

46 %

Kritski et al. Revista Saude Publica, 2007, 41 (supl 1)

30 %

Métodos moleculares• Elevada performance

– Rápido– Sensível (próximo da cultura)– Específico

• Testes comercializados: caros e requerem tecnologia sofisticada

• Pode ser custo-efetivo, dependendo da apresentação clínica ou Local de atendimento

A guide for diagnostic A guide for diagnostic evaluationsevaluations

Rosanna W. Peeling, Peter G. Smith and Patrick M. M. BossuytNature, S1-S6, September 2006

Uso clínicoNa Rede-SUS

Acurácia/AcademiaPerformanceAcademia e ServiçoAnvisa e Indústria

Phased Trials for Diagnostics

• Phase I - pre-clinical evaluation, analytic study

• Phase II - proof of principle study distinguishing diseased from healthy persons in easily accessible populations (sensibilidade/especificidade - eficácia)

• Phase III - evaluation of test performance in populations of intended use (Lab and Field Trials)

(efetividade, valores preditivos - efetividade)

• Phase IV - delineation of cost-effectiveness and societal impact of new tests in comparison with existing tools (Utility studies)

WHO/TDR Diagnostics R&D 2002-2006

Aprovado pelo FDA /

Anvisa

Ninguém faz...

Cenário Ideal no Laboratório“olhar do laboratório e da ANVISA”

Approved by International Committee, i.e.: College of American Pathologists (início na década de 60) Acreditações/Certificações ISOAcreditação PALC/CALC/SBPCCertificação pela ANVISA/MS (RD 302/2005)

Segurança Sanitária e Qualidade de Serviços oferecidosQUALIDADE PARA DIAGNÓSTICO EFICAZConceitos amplos de validação (desempenho geral)Ensaios de proficiência (desempenho analítico interlaboratorial)Controles de qualidade interno (CIQ) e externo (CEQ) aos sistemas analíticos

LÓGICA DO LABORATÓRIO PRIVADO PARA VENDER SERVIÇOS COM QUALIDADE – NINGUÉM MENCIONA UTILIDADE CLÍNICA

Cenário com teste diagnóstico Ideal

(percepção do laboratório ANVISA)

Sensibilidade: 100% Teste positivo em todos os doentes

Especificidade: 100% Teste negativo em todos os não doentes

PHASE II (PROOF OF PRINCIPLE)

NÂO EXISTE NA VIDA REAL

Cenário com teste diagnóstico Ideal

(percepção do laboratório ANVISA)

Sensibilidade: 100% (varia de 60% a 95%)

Teste positivo em todos os doentes

Especificidade: 100% (varia de 85% a 98%)

Teste negativo em todos os não doentes

PHASE II (PROOF OF PRINCIPLE)

ESTA É A VIDA REAL DE UM BOM TESTE

• Teste de elevada sensibilidade – útil para a triagem (> 95%)

• Teste de elevada especificidade – útil para confirmação (> 95%)

Exemplo – Diagnóstico de HIV

• Teste Elisa para triagem

• Western blot para confirmação

Saúde Pública

Cenário Diagnóstico Ideal(percepção do clínico) - I

Valor preditivo positivoDado que o Teste foi positivo, qual a probabilidade do paciente ter a doença

Valor preditivo negativo Dado que Teste foi negativo, qual a probabilidade do paciente não ter a doença

PHASE III (performance on routine conditions)

DEPENDE DA FREQUÊNCIA DA DOENÇA NA POPULAÇÃO ESTUDADA

Na Prática diária, o profissional de saúde não sabe a prevalência da doença naquela Unidade de

Saúde

Cenário Diagnóstico Ideal(percepção do clínico) - II

Razão de verossimilhança positiva (>10.0) Sensibilidade/ 1 - Especificidade

Razão de verossimilhança negativa (< 0.10) 1 – Sensibilidade / Especificidade

PHASE III (performance on routine conditions)

NÃO DEPENDE DA FREQUÊNCIA DA DOENÇA NA POPULAÇÃO ESTUDADA

Identificação de testes com cenário clínico ideal para uso de

testes diagnósticos

• Não há participação da – ANVISA– Secretaria de Vigilância do MS/ SES / SMS– Conselho de Saúde, ONGs– Sociedades de Classe

• (SBPT, SBPC, SBMT, ABEN, etc)

– Conselhos Regionais • (Medicina, Enfermagem, Nutrição, Farmácia, etc)

Avaliação novos testes diagnósticos para TB

Características de novos testes

Sensibilidade similar/superior a baciloscopia (50-70%) Especificidade similar ou superior a 95 % Apropriado para amostras respiratórias e também para

amostras não respiratórias Necessitem o mínimo de equipamento e de

treinamento de pessoal Análise de utilidade clínica / performance / custo

efetividade seja realizada pelo melhor modelo de estudo: ENSAIO CLINICO PRAGMÁTICO

Características do Novo Teste Diagnóstico para Tuberculose

Desenvolvimento de Kit de Desenvolvimento de Kit de PCR nacional. Rede-TB PCR nacional. Rede-TB (2001)(2001)

Accurácia de PCR Accurácia de PCR in house in house

Fase II, sensibilidade e Fase II, sensibilidade e especificidade de casos especificidade de casos

selecionadosselecionadosTESTE PRODUZIDO FEPPS-RS / UFRJ – REDE/TB

Amplified PCR products with

hybridization usind biotinilated probes

Amplified PCR products with

hybridization usind biotinilated probes

Sperhacke, R et al. IJTLD 8 (3): 312-317, 2004

InterlaboratorialInterlaboratorialValidationValidationstarted in 2006started in 2006

Phase III/IV studyPhase III/IV studyLaunched in 2005lLaunched in 2005lstarted 2005started 2005

Padrão ouro utilizado: cultura + / Padrão ouro utilizado: cultura + / evolução clínica /ATS 2002evolução clínica /ATS 2002

Fase II: Acurácia do teste PCR in house (gaúcho)Fase II: Acurácia do teste PCR in house (gaúcho)Sensibilidade e especificidade em amostras clínicas definidas pelo pesquisadorSensibilidade e especificidade em amostras clínicas definidas pelo pesquisador

Tese de doutorado da Rosa Dea Sperhacke/UFRJTese de doutorado da Rosa Dea Sperhacke/UFRJ

Performance, Utilidade Clínica de Performance, Utilidade Clínica de PCR PCR in housein house (placa Elisa) (placa Elisa)

Fase IIIFase III – modelo estudo, efetividade em condições de – modelo estudo, efetividade em condições de rotina rotina

Hosp São Paulo / UnifespHosp São Paulo / Unifesp

146 pacientes suspeitos de TB admitidos nas 146 pacientes suspeitos de TB admitidos nas enfermarias enfermarias

Martha Rivero, doutorado 2008 Martha Rivero, doutorado 2008

Figura. Resultados da detecção colorimétrica em placas de ELISA. A) Visualização dos resultados após a adição do substrato TMBB) Visualização dos resultados após a adição da solução de parada. Nesta etapa foi realizada a leitura dos resultados em equipamento leitor de placas de ELISA.

Método de Análise

Resultado Pacientes com TB Pulmonar* (n = 35 ) nº SE%

Pacientes sem TB Pulmonar (n = 111 ) nº Espec %

Baciloscopia direta Positivo 11 31 0 0  

Negativo 24 69 111 100  

Total 35 111

PCR colorimétrica do ANP

Positivo 10 29 02 2  

Negativo 25 71 107 98,2  

Total 35 111  

Cultura para micobactéria

Positivo 19 54 02 2  

Negativo 16 45 107 98,2  

Total 35 111

Tabela. Resultados em 146 pacientes atendidos no Hosp São Paulo, internados nas enfermarias com solicitação de baciloscopia

* - critério clínico radiológico evolutivo

MétodosSensibilidade (%)

Especificidade

(%)

Valor Preditivo Positivo

(%)

Valor Preditivo Negativo

(%)

Probabilidade Pré-teste (%)

Probabilidade Pós-teste (%)

Verossimilhança

Conceito da análise

estatística

Proporção de

indivíduos doentes

com teste positivo

Proporção de

indivíduos

sadios com teste

negativo

Se resultado positivo,

qual probabilida

de do paciente

ter realmente a doença

Se resultado negativo,

qual probabilidade do paciente não ter a doença

(Prevalência)

proporção de

pessoas com a

doença em

estudo, em uma

população de risco

Quantas vezes é provável encontrar

resultado + em pessoas doentes comparado com

não doentes ou – em não doentes comparados com

doentes

fórmulas a/a+c d/b+d a/a+b x100d/d+c x100

a+c/a+b+c+d

Pos Neg

Vr(+) =S/1-EVr(-) =1-S/E

Pos Neg

Baciloscopia direta

31,4 100,0 100,0 81,0 25,5 - - - 0,70

PCR colorimético

28,6 98,2 83,3 81,1 24,3 83,3 18,9 15,6 0,70

Cultura 54,3 98,2 90,5 87,0 24,3 90,5 13,0 29,6 0,47

Performance, Utilidade Clínica e Performance, Utilidade Clínica e Custo efetividade de Custo efetividade de

PCR PCR in housein house (Dot-blot) (Dot-blot)

Fase III / IV – modelo estudo, efetividade em Fase III / IV – modelo estudo, efetividade em condições de rotina condições de rotina

Hosp Parthenon / SES-RSHosp Parthenon / SES-RS

151 pacientes BAAR negativos 151 pacientes BAAR negativos admitidos sob suspeita de TB admitidos sob suspeita de TB

pulmonarpulmonar

Luciene Scherer, doutorado 2008 Luciene Scherer, doutorado 2008

PCR colorimetric dot-blot assay and PCR colorimetric dot-blot assay and clinical pretest probability for clinical pretest probability for diagnosis of Smear Negative diagnosis of Smear Negative

Pulmonary Tuberculosis – Parthenon Pulmonary Tuberculosis – Parthenon Hospital - RJHospital - RJ

Diagnostic Tests

All Group of SNPT - N=151

TB Non-TB Test Performance

43 108

SE SP PPV* NPV*

Culture Pos 30 0 70 100 100 89

Neg 13 108

PCR dot–blot Pos 28 18 65 83 61 86

Neg 15 90

High Clinical probability

Pos 31 15 72 86 67 88

Neg 12 93

PCR dot-blot/ High Clinical Probability

Pos 40 30 93 72 57 96

Neg 3 78Pos: positive; Neg: negative, SE: Sensivity, SP:Specificity, PPV: Positive Predictive Value, NPV: Negative Predictive Value; PP: pretest probability (clinical suspicion)* Predictive values represent here only the study prevalence - usamos abordagens de testes paralelos

ANÁLISEANÁLISE

ESTRATÉGIA BAAR E CULTURA FOI ESTRATÉGIA BAAR E CULTURA FOI MENOS CUSTO-EFETIVA QUE A MENOS CUSTO-EFETIVA QUE A

ESTRATÉGIA BAAR E PCRESTRATÉGIA BAAR E PCR

CONDUTA CLINICA:CONDUTA CLINICA:

QUANDO O MÉDICO DEFINE COMO QUANDO O MÉDICO DEFINE COMO ALTA PROBABILIDADE, E O TESTE É ALTA PROBABILIDADE, E O TESTE É NEGATIVO HÁ GRANDE CHANCE DE NEGATIVO HÁ GRANDE CHANCE DE

NAO SER TUBERCULOSE ATIVANAO SER TUBERCULOSE ATIVA

Sensitivity analysis of costs based on Sensitivity analysis of costs based on screening of 1000 suspects comparing ZN screening of 1000 suspects comparing ZN

plus Culture, ZN plus PCR dot- blotplus Culture, ZN plus PCR dot- blot - Parthenon Hospital - RJParthenon Hospital - RJ

CUSTO/EFETIVIDADE DE BAAAR/CULTURA FOI SIMILAR BAAR/PCR

Cost per correctly diagnosed case of TB

Component Current situation

Adjustment ZN plus Culture

ZN plus PCRdot-blot

Ratio

TB prevalence 46% No adjustment U$1462 U$1136 0.78

10% U$6726 U$5227 0.78

20% U$3363 U$2614 0.78

40% U$1681 U$1307 0.78

60% U$1121 U$871 0.78

Sensitivity PCR dot-blot

85% 95% U$1330 U$1015 0.76

Specificity PCR dot-blot

84% 95% U$1143 U$872 0.76

PCR dot- blot running costs*

U$12833 U$10000 U$1192 U$927 0.78

VALIDAÇÃO INTER-LABORATORIAL PCR dot- TB

• Seguimos a RD 302/2005 ANVISA (13/10/2005)

– 5.5.5 O laboratório clínico que utilizar metodologias próprias - In House, deve documentá-las incluindo, no mínimo: 

• a) descrição das etapas do processo; • b) especificação e sistemática de aprovação de insumos,

reagentes e equipamentos e instrumentos.  • c) sistemática de validação. 

– 5.5.5.1 O laboratório clínico deve manter registro de todo o processo e especificar no laudo que o teste é preparado e validado pelo próprio laboratório

BAIXA CONCORDÂNCIA – FRACASSO NAS ANÁLISES

VALIDAÇÃO INTER-LABORATORIAL PCR dot- TB

• Apesar de seguimos a RD 302/2005 ANVISA (13/10/2005)

• Em três laboratórios de pesquisa da Rede-TB

(UFRJ, UNIFESP, UFES)

BAIXA CONCORDÂNCIA

FRACASSO NAS ANÁLISES

Comentário:Comentário:

1.1. Urgente a revisão da RD 302/2005 Urgente a revisão da RD 302/2005 da Anvisa que autoriza qualquer da Anvisa que autoriza qualquer laboratório usar seus dados por laboratório usar seus dados por testes in house (mesmo testes in house (mesmo moleculares)moleculares)

2.2. Rede-TB aprendeu que precisa atuar Rede-TB aprendeu que precisa atuar com a Indústria para o scale-up com a Indústria para o scale-up adequado de testes desenvolvidos adequado de testes desenvolvidos por seus pesquisadorespor seus pesquisadores

Performance e custo efetividade Performance e custo efetividade de testes moleculares de testes moleculares

comercializados no diagnóstico comercializados no diagnóstico de TB pulmonar BAAR negativade TB pulmonar BAAR negativa

Fase III/IV – modelo estudo, efetividade Fase III/IV – modelo estudo, efetividade em condições de rotina em condições de rotina

Tabela. FASE III – Performance do teste Amplicor MTB (ROCHE) no diagnóstico de TB pulmonar em pacientes com Baciloscopia Negativa, submetidos ao Escarro

Induzido (n=133 casos).

Sensibilidade% (IC 95%)

Especificidade% (IC 95%)

Valor preditivo positivo

% (IC 95%)

Valor preditivo negativo

% (IC 95%)

BAAR

Cultura

AmplicorRoche

45,2%(33,2-57,6)

74,1%(62,3-83,9)

64,5%(51,1-75,6)

100%(95,9-100)

100%(95,9-100)

95,7%(88,9-98,9)

100%(87,7-100)

100%(92,3-100)

93,0%(89,9-98,5)

67,6%(67,6-76,4)

81,6%(71,9-89,1)

75.5%(71,5-81.0%)

• Favero A, et al 2006

Cost-Effectiveness Analysis

Cost

Effectiveness 50.0 90.0 130.0 170.0

0.970

0.930

0.890

0.850

0.810

0.770

0.730

0.690

0.650

Presumptive Tx

Induced Sputum AFB Induced Sputum PCR

BAL AFB

BAL PCR

Induced Sputum AFB + BAL AFB

Phase IV Trial. COST-EFFECTIVENESS ANALYSO OF PCR-ROCHE FOR SMEAR NEGATIVE PULMONAR TB, BRAZIL

COMENTÁRIOS FINAIS

Novas técnicas Diagnósticas na Tuberculose - Brasil

– Registro de kits diagnósticos deveria ser autorizado pela ANVISA apenas após uma análise de sua aplicabilidade clínica nos vários cenários da prática

– Urgente a realização de estudos sobre a performance/ utilidade clínica / custo efetividade de novos métodos diagnósticos no Pais

[pois a grande marioria se restringe a estudos de sensibilidade e Especificidade, sem contexto clínico].

Novas técnicas Diagnósticas na Tuberculose - Brasil

– Urgente a necessidade de participação ativa no monitoramento do registro de novos kits diagnósticos ou de seu uso na rotina em todo o pais (Vigilância em Saúde)

– Atores chaves– Controle Social (ONGs, Conselho de Saúde)– Academia– Sociedades de Classe (SBPT, SBPC, ABEN, etc. – Indústria

– Laboratório particular ou indústria farmacêutica – a informação usualmente é repassada para o público em geral sem análise crítica de sua real aplicabilidade em nosso meio pelo.

OBRIGADO PELA ATENÇÃO

kritskia@gmail.com

Referência 2007 - Tuberculosis book is now online.

Enjoy it at www.TuberculosisTextbook.com