Validação de Testes Diagnósticos (aula 9)

AVALIAÇÃO DO DESEMPENHO DE

TESTES DIAGNÓSTICOS

- Estudo sobre um teste diagnóstico busca determinar se o teste é útil na prática clínica

- São usadas estatísticas descritivas

Para determinar se um teste é útil precisamos avaliar

• Parâmetros intrínsecos e extrínsecos do teste

• Factibilidade• Bem como seus efeitos nas

decisões clínicas e nos desfechos

Validação de um teste

intrínseca

extrínseca

desempenho do teste quando comparado a um teste referênciacapacidade do teste em detectar a real situação da população em relação à doença que está sendo estudada e também o desempenho do teste em uma dada população

Para a validação intrínseca

Temos que ter um meio de determinar qual é a resposta correta:•Padrão-ouro: indicador da presença (ou ausência) da doença. Em alguns casos tem-se um padrão-ouro de definição

Até que ponto o teste fornece a resposta correta?

Parâmetros de validação intrínseca #1

sensibilidade especificidade eficiência

são características do teste e não da população em que está sendo aplicado

(independem da prevalência da doença)

Parâmetros de validação intrínseca #2 valor preditivo do resultado positivo (VPP) valor preditivo do resultado negativo (VPN)

dependem da sensibilidade e da especificidade do teste e da prevalência

da doença na população em estudo

Parâmetros de validação intrínseca #3

Curva ROC• Razões de verossimilhança• Riscos relativos e diferenças de riscos

As aparências para a mente dão de quatro tipos:• as coisas ou são o que parecem ser• Ou não são e nem parecem ser• Ou são e não parecem ser• Ou não são, mesmo assim parecem

serIdentificá-las corretamente todos estes

casos é a tarefa do homem sábio (Epictetus, 55-135 d.C.)

Possibilidades

TESTE

DOENÇA - DIAGNÓSTICO VERDADEIRO

presente ausente total

Positivo

Negativo

Total

Verdadeiros positivos(VP)

Falsos positivos(FP)

Verdadeiros negativos(VN)

Falsos negativos(FN)

VP + FP

VP + FN

VN + FP

VN + FNVP+FP+VN+FN

TESTE DOENÇA- Diagnóstico verdadeiropresente ausente total

positivo Verdadeiros positivos

(VP)

Falsos positivos(FP) VP + FP

negativo


Verdadeiros negativos

(VN)VN+FN

total VP + FN VN + FP

SENSIBILIDADEProporção de resultados positivos detectados pelo

teste na população de positivos (VP) pela população de doentes (VP+FN)

FN+VPVP

S



(VP)


negativo



(VN)VN+FN

total VP + FN VN + FP

ESPECIFICIDADEproporção de resultados negativos pelo teste na

população de não doentes (VN) pela população de não doentes

FP+VNVN

E

Limiar de reatividade (ou “cut-off)

região de corte do teste, ou seja um valor que acima do qual os

resultados são considerados positivos e indicam os doentes e abaixo, os resultados são dados

como negativos e correspondem aos não doentes

Máxima sensibilidade

Máxima especificidade



(VP)


negativo



(VN)VN+FN

total VP + FN VN + FP VP+FN+VN+FP

EFICIÊNCIA (acurácia)(quanto mais próximo de 1, melhor será o

teste em estudo)

FNFP+VNVPVN VP

Eficiência

Escolha de testes diagnósticos

Será um teste de triagem? diagnóstico individual? Inquérito epidemiológico? Avaliação de vacina?

A doença é rara ou freqüente na população a ser estudada (prevalência)?

A doença causa sintomas graves e potencialmente fatais que devam ser tratados?

Para triagem em bancos de sangue• Testes com máxima sensibilidade• Falsos positivos deverão ser

confirmados com outros testes mais específicos

Para diagnóstico individual em laboratório clínico• Testes com máxima especificidade• Falsos negativos serão

compensados com história clínica do paciente

Para inquéritos epidemiológicos• Testes com máximas sensibilidade

e especificidade

Para avaliação do efeito de uma vacina

• Teste com máxima especificidade, considerando o risco da doença ocorrer em indivíduos vacinados

• Falsos positivos caracterizariam a vacina como não eficaz

A sensibilidade e a especificidade de um teste são inversamente correlacionadas

1.mais sensível, mas menos específico: vai fornecer um número considerável de falso-positivos. São testes aceitáveis para triagem, principalmente de bancos de sangue.

2.mais específico, mas menos sensível: vai fornecer uma maior número de falsos negativos, mas o diagnóstico é mais acurado.

Na prática, existem dois tipos de testes:

Para aumentar o valor preditivo de um resultado positivo de um teste, podem ser combinados dois ou mais testes diagnósticos. Por exemplo:

1.Testes paralelos: dois testes independentes, cada um com alta especificidade(>>aumento da sensibilidade)2.Testes sucessivos: 1o - de triagem (alta sensibilidade)para todos casos de resultados positivos, fazer o 2o - teste diagnóstico (alta especificidade)

Curva ROC (Receiver Operator Characteristic)

Teste inútil

Teste perfeito

Pontos de cortediferentes paraconsiderar o testepositivo

Teste adequado

área sob a curva= desempenho global

de um teste(varia de 0,5-1,0)



(VP)


negativo



(VN)VN+FN

total VP + FN VN + FP VP+FN+VN+FP

PREVALÊNCIA porcentagem de indivíduos doentes em uma população. Consideramos como indivíduos doentes, os verdadeiros

positivos somados aos falsos negativos (VP + FN)

FNFP+VNVPFN VPPr

evalência



(VP)


negativo



(VN)VN+FN

total VP + FN VN + FPVALOR PREDITIVO DO RESULTADO POSITIVO (VPP)

proporção de indivíduos doentes entre os resultados positivos obtidos no teste, portanto se refere a probabilidade de doença quando o resultado do

teste é positivo.

FP+VPVP

VPP



(VP)


negativo



(VN)VN+FN

total VP + FN VN + FPVALOR PREDITIVO DO RESULTADO NEGATIVO (VPN)

proporção de indivíduos não doentes entre os resultados negativos obtidos no teste, portanto se

refere a probabilidade de não doença quando o resultado do teste é negativo

FN+VNVN

VPN

Como a prevalência interfere nos Valores Preditivos (Positivo e Negativo)???

Um teste com 95% de sensibilidade e 95% de especificidade

Prevalência da doença – 1%

20 1980

1881

99

1

19

1882

118

TESTE DOENÇA- Diagnóstico verdadeiro


positivo

negativo

total 2000

Um teste com 95% de sensibilidade e 95% de especificidade

Prevalência da doença – 20%

400 1600

1520

80

20

380

1540

460



positivo

negativo

total 2000

Razões de verossimilhança (RV) (razões de probabilidades ou “Likelihood ratios”)

• permite que sejam aproveitadas todas as informações sobre um teste

• Indica como o resultado de um teste pode aumentar ou diminuir a probabilidade de doença

• Para cada resultado (+ ou -) do teste:

Ideia por trás das RV• A não ser que um teste seja perfeitamente

acurado, saber o resultado do teste não nos diz se a pessoa testada tem ou não a doença.

• Precisamos olhar para um resultado e pensarmos: “Em quanto o resultado aumenta a probabilidade de ocorrência do resultado em um indivíduo com a doença em relação a um indivíduo sem a doença?”

↑ RV Melhor o resultado do testepara aprovar um diagnóstico ↓ RV Melhor o resultado do testepara eliminar a possibilidade de doença

Quando os dados avaliados são expressos em sensibilidade e especificidade, pode-se calcular RV como:

RV não depende da prevalência da doença

Chances (odds)

Ex. probabilidade de 80% corresponde a 4 chances de doença contra uma chance de não doença

- Chance e probabilidade são relacionadas, mas não idênticas •- Chance ou odds é expressa como fração (x chances em 1) e probabilidade é expressa como fração decimal variando de zero a um, ou como uma porcentagem)

Podemos calcular a chance de doença pós-teste

Chance de doença pós-teste=Chance de doença pré-teste x RV

Aplicação de um teste com S= 98% e E=99% para triagem da doença de Chagas em 10.000 amostras de sangue de banco de sangue onde a prevalência da doença é de 0,5%

50 9.950

9.751

199

1

49

9.752

258


presente ausente Total

positivo

negativo

total10.000

Imaginemos esse teste para selecionar cavalos de raça como potenciais vencedores de corridas

• A chance pré-teste de acertar um cavalo vencedor entre 10.000 cavalos é somente de 0,005 (prevalência= 0,5%), ou seja 0,00502 para 1

Aplicamos o teste nos 10.000 cavalos

• 49/248= 1/5= 20%, bem maior que a probabilidade inicial que era de 1/200 (prevalência de 0,5%)

50 9.950

9.751

199

149

9.752248

10.000

A chance pós-teste aumentou 50x a chance pré-teste

Vencedores pelo teste

Chance de doença pós-teste= Chance de doença pré-teste x RV0,0254= 0,00502 x RV RV=50

Para verificar a acuráciaDelineamento•Testes diagnósticos:- caso-controle- indivíduos com e sem a doença são amostrados separadamente (difícil!!!)- transversal- produz resultados mais válidos e de interpretação mais fácil•Testes prognósticos: coortes prospectivo ou retrospectivoVariáveis•preditoras : resultado do teste•de desfecho: a doença (ou o seu desfecho)

Parâmetros de validação extrínseca

precisão acurácia ou exatidão reprodutibilidade

Reprodutibilidade Refere-se a obtenção de

resultados iguais em testes realizados com a mesma amostra

do material biológico, quando feitos por diferentes pessoas em

diferentes locais e se garante quando a precisão e a exatidão

são sempre avaliadas.

Qual é a reprodutibilidade do teste?Estudos de variabilidade intra e interobservador e intra e inter-laboratório•Delineamento: transversal•Análise: são variáveis categóricasCoeficiente de concordância: proporção de observações nas quais a concordância é totalCoeficiente de concordância kappa (): mede o grau de concordância além do que seria esperado pelo acaso. Varia de -1 a 1.

Coeficiente de concordância kappa ()

Valor de kappa Concordância0 nenhuma

0,00-0,20 Ruim0,21-0,40 Fraca0,41-0,60 Moderada0,61-0,80 Substancial0,81-1,00 Quase perfeita

Precisão

determina existir concordância dos resultados obtidos quando um mesmo teste é feito várias vezes. Mede o erro acidental do método, que corresponde

ao erro experimental acumulado.

Acurácia ou exatidão é o grau de concordância entre a concentração do imuno-reagente determinada pelo teste e a real

concentração no material a ser testado. Determina a capacidade do teste em

fornecer resultados muito próximos ao verdadeiro valor do que se está medindo.

A medida da exatidão permite detectar erro sistemático ou a tendência dos resultados de se desviarem em uma dada direção e

proporção em relação ao valor real.

Variações na precisão e exatidão

PRECISO,mas não EXATO

não PRECISO,e não EXATO

Variações na precisão e exatidão

EXATO,mas não PRECISO

PRECISOe EXATO

Aula baseada no capítulo 1 “Sorologia” do livro. Diagnóstico de

laboratório das

principais doenças

infecciosas e auto-

imunes, (Antonio W Ferreira AW, Sandra do Lago Moraes. Guanabara Koogan, Rio de Janeiro, 2a ed 2001).

Curso “Delineamento de um projeto de pesquisa” (aula 9)Sandra do Lago MoraesInstituto de Medicina Tropical, Universidade de São PauloMaio de 2012

Science

Validação de Testes Diagnósticos (aula 9)