Critérios de avaliação e escolha de métodos de

diagnóstico

Critérios de avaliação e escolha de métodos de

diagnóstico

Universidade Federal da BahiaInstituto de Ciências da SaúdeDepartamento de Biointeração

Disciplina ICS 057 – Biotecnologia aplicada à saúde

Validade de um Teste Diagnóstico

A validade de um teste refere-se a quanto, em termos

quantitativos, um teste é útil para diagnosticar um evento ou

predizê-lo (validade preditiva).

Para tal, compara-se os resultados do teste com os de um

padrão: pode ser o estado do paciente, se a informação está

disponível, um conjunto de exames julgados mais adequados,

ou uma outra forma de diagnóstico que sirva de referência

(Padrão ouro).

Isolamento do agente, associado ou/não a

apresentação clínica de sintomas

Isolamento do agente, associado ou/não a

apresentação clínica de sintomas

Diagnóstico verdadeiroDiagnóstico verdadeiro

Padrão OURO – pode ser constituído pelo diagnóstico

verdadeiro, ou mesmo por um teste confiável e já utilizado

para o diagnóstico de determinada enfermidade

(geralmente definido pela OMS)

Padrão OURO – pode ser constituído pelo diagnóstico

verdadeiro, ou mesmo por um teste confiável e já utilizado

para o diagnóstico de determinada enfermidade

(geralmente definido pela OMS)

O teste diagnóstico ideal deveria fornecer, sempre, a resposta

correta, ou seja, um resultado positivo dos indivíduos infectados

e um resultado negativo nos indivíduos sem a infecção.

Características ideais: Rápido de ser executado, seguro, simples,

inócuo, confiável e de baixo custo.

4 interpretações possíveis.

Propriedades de Testes Diagnósticos

Padrão Ouro

Teste em Validação

Infectado Não Infectado TOTAL

Positivo Verdadeiro Positivo

(VP)

Falso Positivo

(FP)

Total de Exames

Positivos

Negativo Falso negativo

(FN)

Verdadeiro Negativo

(VN)

Total de Exames

Negativos

TOTAL Total de Infectados

Total de Não Infectados

Total de Exames

... uma combinação binária entre os resultados prováveis obtidos em um determinado teste e o diagnóstico verdadeiro da doença

Validade Intrínseca

Sensibilidade Especificidade Eficiência

É o desempenho do teste quando comparado a um teste de referência.

• Característicos do teste e não da população em estudo

• Fornecem resultados consistentes independente da

prevalência da doença

• Característicos do teste e não da população em estudo

• Fornecem resultados consistentes independente da

prevalência da doença

• É a porcentagem de pacientes com determinada

condição/infecção para os quais, se o teste é utilizado, se

obtém resultados positivos.

• Quanto maior a sensibilidade, maior o poder do teste de

detectar a condição estudada e menor a ocorrência de falso-

negativos.

Sensibilidade = VP VP + FN

Sensibilidade

• Existem casos em que os pacientes estão com a

determinada infecção, o teste é utilizado e apresenta

resultado negativo. Estes casos denominam-se falsos

negativos, o que significa uma deficiência na sensibilidade

do ensaio. A maioria dos testes apresentam alguma

margem/proporção de falsos negativos.

Especificidade

• É a porcentagem dos indivíduos que não tem a

condição/doença e ao utilizar-se o teste apresenta resultados

negativos.

• Quanto maior a especificidade, maior a segurança dos

resultados quando identificados como positivos no teste, e

menor a ocorrência de falso-positivos.

Especificidade = VN VN + FP

• Existem casos em que os pacientes estão sem a

determinada infecção, o teste é utilizado e apresenta

resultado positivo. Estes casos denominam-se falsos

positivos, o que significa uma deficiência na

especificidade do ensaio. A maioria dos testes apresentam

alguma margem/proporção de falsos positivos.

• Quanto mais alta a especificidade, menor será a taxa de falso positivos e

menor será a proporção das pessoas desnecessariamente preocupadas ou

expostas a tratamentos indevidos.

• A maioria dos testes mostra alguns "falso-negativos“: os pacientes estão

com a condição/infecção e nos quais o teste se apresenta negativo.

• Em algumas situações ou condições em que há riscos de omitir ou

retardar tratamentos necessários, a proporção de falso negativos pode ser

inaceitável.

Combinação binária entre os resultados prováveis obtidos em um determinado teste e o diagnóstico verdadeiro da doença

TESTE

DOENÇA – Diagnóstico verdadeiro

PRESENTE AUSENTE

POSITIVOVerdadeiros positivos (VP)

Falsos positivos (FP)

NEGATIVOFalsos negativos (FN)

Verdadeiros negativos (VN)

TOTAL VP + FN FP + VN

SENSIBILIDADE ESPECIFICIDADE+

Eficiência

• É a porcentagem correta de resultados do testes,

verdadeiros positivos e negativos.

• Em economia da saúde, ao comparar produtos, eficiência

inclui a variável custo, indicando o mesmo ou maior efeito

pelo menor custo.

Eficiência = VP + VN VP + VN + FP + FN

Validade Extrínseca

É a capacidade do teste em detectar a real situação da

população em relação à doença que está sendo estudada.

Também avalia o desempenho do teste em uma dada

população.

Repetitividade Acurácia ou exatidão

Reprodutibilidade

Repetitividade

• É um parâmetro que determina existir concordância dos

resultados obtidos quando um mesmo teste é feito várias vezes.

• Mede o erro acidental do método, que corresponde ao erro

experimental acumulado (erro aleatório).

• É a reprodutibilidade dos resultados ao repetir o teste várias

vezes, no mesmo ou em vários laboratórios, em circunstâncias

similares. A precisão não implica acurácia!

Reprodutibilidade

• É a obtenção de resultados iguais em testes realizados com a

mesma amostra de material biológico, quando feitos por

pessoas diferentes em LOCAIS e MOMENTOS variados e se

garante quando a precisão e a exatidão são sempre avaliadas.

• Desvio padrão

• Coeficiente de variação

• Coeficientes de correlação

(Pearson, Spearman)

• Variância entre medidas

• Desvio padrão

• Coeficiente de variação

• Coeficientes de correlação

(Pearson, Spearman)

• Variância entre medidas

Acurácia ou exatidão

• É um parâmetro que determina a capacidade do teste

em fornecer resultados muito próximos ao verdadeiro

valor do que se está medindo.

• Mede o erro sistemático ou a tendência dos resultados

de se desviarem em uma dada direção e proporção

em relação ao valor real.

• É a habilidade o teste de obter resultados similares

ao teste padrão (Padrão OURO). Mais aplicado a testes

quantitativos.

COMO COMPARAR DOIS

TESTES NA PRÁTICA?

Coeficiente Kappa (k) – medida de concordância que ajusta a concordância observada, descontando do total, aquela ocorrida devido ao acaso.

Coeficiente Kappa (k) – medida de concordância que ajusta a concordância observada, descontando do total, aquela ocorrida devido ao acaso.

Valor do coeficiente Kappa Interpretação

<0 Sem concordância

0-0.19 Concordância pobre

0.20-0.39 Concordância fraca

0.40-0.59 Concordância moderada

0.60-0.79 Concordância substanciual

0.80-1.00 Concordância quase perfeita

Fonte: Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33: 159-174

COEFICIENTE KAPPA DE CONCORDÂNCIACOEFICIENTE KAPPA DE CONCORDÂNCIA

TABELA 2: Comparação de ensaios diagnósticos para linfadenite caseosa em ovinos

ID Animal Cultivo PCR Elisa IFN-gamma174 c Neg Pos Pos 1095,2912128 Pos Pos Pos 1069,04

107 Pos Neg Pos 1005,7112194 Pos Pos Pos 926,1312212 Neg Neg Pos 930,2912260 Pos Pos Pos 670,7112146 Pos Pos Pos 584,041749 Neg Neg Neg 191,131264 Neg Neg Pos 47,792460 Neg Pos Pos 315,711727 Neg Neg Pos 1102,38

12264 Neg Pos Pos 442,791375 Pos Pos Pos 996,96

11066 Neg Pos Pos 895,711753 Pos Pos Neg 1137,791581 Pos Pos Pos 1044,88435 Neg Neg Pos 373,21

11028 Neg Pos Pos 964,04551 Neg Pos Pos 950,29

105 b as Neg Neg Pos 614,4644 Pos Pos Pos 931,96

1419 Neg Pos Pos 998,2111478 Pos Pos Pos 596,135096 Neg Pos Pos 390,29

12278 Pos Pos Pos 736,961148 Pos Pos Pos 150,711068 Neg Pos Pos 284,881697 Pos Pos Pos 1208,638162 Neg Pos Pos 2458,67991 Neg Pos Pos 2717,56

12238 Neg Pos Pos 2340,891547 Neg Pos Pos 413,11

TABELA 2: Comparação de ensaios diagnósticos para linfadenite caseosa em ovinos. Em vermelho são os animais positivos par a cada técnica em questão e em azul os negativos.

SÍNTESE DOS RESULTADOSSÍNTESE DOS RESULTADOS

TIPOS E APLICAÇÃO DE

TESTES DIAGNÓSTICOS

TIPOS E APLICAÇÃO DE

TESTES DIAGNÓSTICOS

Teste Direto X Teste Indireto

Classificação dos testes quanto ao material Classificação dos testes quanto ao material detectadodetectado

Escherichia coli ao ME, ampliada 10.000x

QUALITATIVO – se os resultados informam apenas se houve ou não reação / detecção (positivo ou negativo)

Exemplo: testes cromatográficos para detecção de gestação (ß-HCG) ou sorologia para Brucella abortus

CromatografiaImunoaglutinação

Classificação dos testes quanto ao resultado Classificação dos testes quanto ao resultado fornecidofornecido

Quando as amostras testadas são diluidas (soro) seriadamente (1:2, 1:4, 1:8...) para obter-se uma idéia até qual diluição haverá reação / detecção

Exemplo: testes de imunofluorescência indireta para detecção de IgG anti T. gondii

SEMI-QUANTITATIVOS

Diferentes níveis de fluorescência

Quando o teste é capaz de informar a quantidade absoluta do material detectado

QUANTITATIVOS

Limiar de reatividade ou cut off é a região de corte do teste

sorológico.

Ou seja, é um valor acima do qual os resultados são

considerados + (POSITIVOS) e abaixo do qual os resultados

são considerados – (NEGATIVOS).

LIMIAR DE REATIVIDADE OU CUT OFF

Curva de distribuição da freqüência de títulos normalmente observada na população

Cut off ou limiar de reatividade

Falso-PositivosFalso-PositivosFalso-NegativosFalso-Negativos

LIMIAR DE REATIVIDADE OU CUT OFF

Imagine que você trabalha num banco de sangue e precisaselecionar um teste para detectar determinado antígeno...

Onde seria o limiar de reatividade ou cut off?

Ponto de máxima sensibilidadeAumentou o número

de resultados FALSO-POSITIVOS!!

Este teste deverá ter máxima....

SENSIBILIDADE!!! Portanto:

LIMIAR DE REATIVIDADE OU CUT OFF

Imagine que você trabalha num laboratório de análises clínicas e precisa selecionar um teste para detectar determinado antígeno...

Onde seria o limiar de reatividade ou cut off?

Ponto de máxima especificidade

Este teste deverá ter máxima....

Aumentou o número de resultados

FALSO-NEGATIVOS!!

ESPECIFICIDADE!!! Portanto:

Checklist para avaliação e escolha de um testeChecklist para avaliação e escolha de um teste

• Houve validação do teste com um “padrão ouro” como

referência? Qual sensibilidade /especificidade?

•Qual o grau de repetitividade / reprodutibilidade do teste?

• Houve validação do teste em uma população significante

ou representativa? Valores preditivos e acurácia...?

•Aplicabilidade à prática clínica, ao quadro clínico ou ao

patógeno a ser estudado? Triagem ou diagnóstico?

•Qual relação benefício /custo do teste? Uso em larga

escala?

• Houve validação do teste com um “padrão ouro” como

referência? Qual sensibilidade /especificidade?

•Qual o grau de repetitividade / reprodutibilidade do teste?

• Houve validação do teste em uma população significante

ou representativa? Valores preditivos e acurácia...?

•Aplicabilidade à prática clínica, ao quadro clínico ou ao

patógeno a ser estudado? Triagem ou diagnóstico?

•Qual relação benefício /custo do teste? Uso em larga

escala?