1

Validade (interna e externa) e confiabilidade na

pesquisa epidemiológica

Albanita Gomes da Costa de Ceballos

2

Referências Base

Almeida-Filho, N; Rouquayrol, MZ. Diagnóstico em Epidemiologia. In: ____. Introdução à Epidemiologia. 3 ed. Rio de Janeiro: Medsi, 2002.

Pereira, MG. Validade de uma investigação. In: _____. Epidemiologia teoria e prática. Rio de Janeiro: Guanabara Koogan, 1995.

Rothman, KJ e Greenland, S. Precision and validity in epidemiologic studies. In: ____. Modern Epidemiology. 2ed. Philadelphia: Lippincott Williams & Wilkins, 1998.

3

Epidemiologia

Ramo das ciências da saúde que estuda, na população, a ocorrência, a distribuição e os fatores determinantes dos eventos relacionados com a saúde.

(Pereira, 1995)

4

Diagnóstico dos eventos

Para garantir que as medidas de ocorrência, de distribuição e as associações entre os fatores determinantes e o evento, ou seja, a qualidade do estudo epidemiológico, é necessário considerar:

Erros;

Viés ou bias;

Precisão;

Validade.

5

Erros

Costuma-se considerar duas fontes principais de erro:

Erro Randômico: Relaciona-se com precisão ou confiabilidade.

Erro Sistemático: Relaciona-se com validade.

6

Erro Randômico

Aparece como uma imprecisão da estimativa obtida a partir do estudo em relação ao parâmetro que está sendo avaliado, sendo resultante da variação amostral.

É, portanto, fundamentalmente dependente do tamanho da amostra e de características específicas do parâmetro a ser estimado, ou seja, sua variância.

Ximenes e Araújo, 1995

7

Erro Randômico Podem ser evitados no estudo:

1. Fase de planejamento: Cuidados na seleção da amostra;

2. Fase de execução: Evitar perdas ou recusas não homogêneas entre os grupos;

3. Fase de análise de dados: controle de outliers e criteriosa imputação.

8

Erro Sistemático

Difere em sua natureza do erro randômico, por ter sua origem na existência de uma diferença entre o parâmetro a ser estimado e o verdadeiro efeito que se quer medir.

Resulta do desvio ou distorção da operação da medida, do instrumento ou do aplicador.

Almeida Filho e Rouquayrol, 2002

Ximenes e Araújo, 1995

9

Erros

Randômico Amostra

Sistemático Medida

10

Precisão e Validade

Baixa precisão; alguma validade Baixa precisão; baixa validade

Alta precisão; baixa validade Alta precisão; alta validade

Metáfora do alvo. Adaptado de Almeida Filho e Rouquayrol, 2002

11

Validade

Diz-se das conclusões de uma investigação quanto a amostra estudada ou a extrapolação das mesmas para a população de onde a amostra foi retirada ou mesmo outras populações.

A validade pode ser externa ou interna

12

Validade Externa

As conclusões do estudo feito em uma amostra podem ser generalizadas para a população de origem. Depende do quanto a amostra representa a população.

Ex: Um estudo sobre estresse e alteração vocal em uma amostra de

professores do ensino fundamental da rede estadual da Bahia mostra que a razão de prevalência é igual a 2,3 (IC 95% 2,1 a 2,5).*

É possível dizer que: Os professores baianos mais estressados têm 2,3 vezes mais chance de ter alteração vocal que os menos estressados podendo este valor variar entre 2,1 e 2,5.

* Estudo fictício

13

Validade Externa

Os resultados também podem ser generalizados para outras populações semelhantes.

Sobre o exemplo anterior pode-se dizer:

O estresse no professor faz com que ele tenha mais problemas vocais.

14

Validade Interna

Refere-se ao grau em que as conclusões de um estudo são corretas.

Engloba: Comparabilidade de grupos estudados (viés de

seleção)

Controle de fatores que possam dificultar a interpretação (viés de confundimento);

Técnica ou critério diagnóstico (viés de aferição)

Pereira, 1995

15

Viés de Seleção

Erro na identificação da população ou grupos de estudo;

Distorção devido a diferenças entre as características dos indivíduos que são incluídos no estudo e daqueles que não são;

Perdas ou não respostas dos incluídos originalmente na amostra (diferencial ou não diferencial)

16

Viés de Seleção Exemplo:

Foram selecionados 80 sujeitos para participar de um estudo em duas etapas. Na etapa 1 eles respondiam um questionários sobre sintomatologia da doença pesquisada (79 participaram;1,25% de perda). Na etapa 2 todos os 79 sujeitos foram chamados para realizar um exame em um hospital. Somente 38 compareceram (51,8% de perda).

A literatura mostra que a prevalência da doença estudada é em torno de 20%. Neste estudo foi encontrada uma prevalência de 46,8%.

17

Viés de Confundimento

Ocorre quando os resultados de uma associação entre dois fatores podem ser imputados, total ou parcialmente, a um terceiro fator não levado em consideração que é a variável de confundimento;

Variável de confundimento, ou de confusão ou confounding é a variável que, por estar associada a exposição principal e ser um fator de risco para o efeito estudado, induz a conclusão incorreta sobre a verdadeira relação entre dois eventos. (Pereira, 1995)

18

Viés de Confundimento

Exemplo:

Um estudo realizado em uma zona canavieira do Estado de Alagoas mostrou uma associação positiva e estatisticamente significante entre baixa escolaridade das mulheres e abortos espontâneos.

Sabe-se que as mulheres com menor escolaridade nesta região geralmente trabalham no corte da cana-de-açúcar.

Resta esclarecer: A associação de deve ao nível de escolaridade ou ao elevado esforço físico da atividade de trabalho?

19

Viés de Aferição

Definição inadequada do diagnóstico de um evento.

Geralmente devido à preparação ineficiente do observador ou examinador ou pelo uso inadequado dos instrumentos de aferição (problema mecânico ou técnico ou instrumento inapropriado para a mensuração)

20

Viés de Aferição

Observador ou examinador Confiabilidade

Validação Instrumento de aferição

21

Confiabilidade (ou Reprodutibilidade)

Capacidade de concordância interna, ou seja, de replicar os mesmos resultados.

Pode ser testada com a repetição das medidas utilizadas no mesmo grupo da mensuração original pelo mesmo observador ou por observadores diferentes.

Klein e Bloch in Medronho, 2002.

22

Validação

Quantifica o desempenho de um instrumento de medida em relação a um instrumento considerado padrão-ouro.

As medidas de VALIDADE mais usadas são:

Sensibilidade Especificidade Valor preditivo positivo Valor preditivo negativo

23

Validação

Sensibilidade : É a capacidade que o teste apresenta de detectar os indivíduos verdadeiramente positivos, ou seja, os verdadeiros doentes.

S= verdadeiros positivos (a) x100

verdadeiros positivos(a) + falsos negativos(c)

24

Validação

Especificidade: É a capacidade que o teste apresenta de detectar os indivíduos verdadeiramente negativos, ou seja, os verdadeiros sadios.

E= verdadeiros negativos (d) x100

falsos positivos(b) + verdadeiro negativos(d)

25

Validação

Valor Preditivo Positivo: É a probabilidade que tem cada positivo de ser, de fato, doente.

VP+ = verdadeiros positivos (a) x100

verdadeiros positivos(a) + falsos positivos (b)

26

Validação

Valor Preditivo Negativo: É a probabilidade que tem cada negativo de ser, de fato, sadio.

VP- = verdadeiros negativos (d) x100

falsos negativos(c) + verdadeiros negativos (d)

27

ValidaçãoVejamos o exemplo:

Doente Sadio Total

Doente 133(a) 47(b) 180 (a+b)

Sadio 14(c) 106(d) 120 (c+d)

Total 147 (a+c)

153 (b+d)

300(a+b+c+d)

Padrão - Ouro

Nov

o te

ste

S= a / a+c = 133 / 147 = 0,90

E= d / b+d = 106 / 153 = 0,69

VP+ = a / a+b = 133 / 180 = 0,73

VP- = d / c+d = 106 / 120 = 0,88

28

Validação

S= a / a+c = 133 / 147 = 0,90

Alta sensibilidade. O novo teste consegue identificar 90% dos verdadeiros doentes.

E= d / b+d = 106 / 153 = 0,69

Especificidade moderada. O novo teste erra na identificação de 30% dos sadios, atribuindo a estes a condição de doente.

VP+ = a / a+b = 133 / 180 = 0,73

Valor preditivo positivo moderado. O novo teste consegue “acertar” os doentes em cerca de 70% dos casos.

VP- = d / c+d = 106 / 120 = 0,88

Valor preditivo negativo muito bom. O novo teste consegue “acertar” os sadios em quase 90% dos não-casos

29

Síntese

Erros Randômico - Amostra

Sistemático - Medida

Validade Externa – Generalização

Interna – Conclusões do estudo

Validade Interna

Viés de seleção

Viés de confundimento

Viés de aferição

Viés de aferição

Do examaminador - confiabilidade

Do instrumento - validação

30

Síntese

Confiabilidade Concordância ou repetição de resultados.

Validação Desempenho do instrumento.

Sensibilidade: a / a + c

Especificidade: d / b+d

Valor Preditivo Positivo: a / a+b

Valor Preditivo negativo: d / c + d

31

Estudo complementar

Leia os textos para aprofundar o seu conhecimento:

Silva, FS; Pereira, MG. Avaliação das estruturas de concordância e discordância nos estudos de confiabilidade. Rev Saúde Pública, 32(4): 383-93, 1998.

Ximenes, RAA; Araújo, TBV. Validade Interna em Estudos de Corte Transversal: Reflexões a Partir de uma Investigação sobre Esquistossomose Mansônica e Condições Socioeconômicas. Cad. Saúde Pública,11(1), 1995

32

Atividade 1

Em um estudo para verificar a associação entre fazer vestibular e ter alguma dor de estômago foram selecionados 500 estudantes de escolas da cidade que estavam se preparando para fazer vestibular e 500 estudantes das mesmas escolas que cursavam primeiro ou segundo ano do ensino médio.

Entre os meses de maio e julho deste ano os estudantes foram entrevistados quanto a seus hábitos sociais, de lazer e alimentares, horas de estudo por dia e dinâmica familiar. Em seguida foram encaminhados para o serviço de um hospital local para fazer uma video-endoscopia digestiva. Dos 1000 alunos, somente 400 compareceram para o exame.

OBS: Todas as atividades aqui propostas foram desenvolvidas pela prof. Albanita G Costa. Os estudos são fictícios.

33

Atividade 1

Na análise das entrevistas verificou-se que grande parte dos alunos vestibulandos relatou estudar mais de 8 horas por dia, comer em horários irregulares, tomar muito refrigerante, comer frituras e dormir menos de 6 horas por noite. Estes estudantes relataram ainda serem pressionados constantemente pela família e pelos amigos para estudar mais. O mesmo não aconteceu com os demais estudantes.

Na avaliação dos 400 exames, observou-se que dos 120 vestibulandos que compareceram, 80 apresentaram algum problema de estômago e dos não vestibulandos apenas 40 apresentaram o problema.

34

Atividade 1

1. Qual o percentual de perdas? Quais as possíveis conseqüências para o estudo?

2. O estudo está sujeito a algum erro? Qual(is)? Explique.

3. O estudo está sujeito a algum viés? Qual(is)? Explique.

4. Crie a tabela 2x2 e verifique a associação descrita (observe o tipo de desenho de estudo). Interprete o seu resultado.

35

Atividade 2

Considere o exemplo da atividade 1, mas realizado em uma outra amostra.

A avaliação de problema de estômago foi feita pelo Método X (mais rápido, menos desconfortável e mais barato) que ainda está em teste. Em seguida os mesmos participantes foram submetidos ao exame da video-endoscopia digestiva adotada como padrão-ouro.

36

Atividade 2

1. Observe a tabela ao lado calcule e interprete os resultados:

Sensibilidade

Especificidade

Valor preditivo positivo

Valor preditivo negativo

Doente Sadio Total

Doente 163(a) 194(b) 357 (a+b)

Sadio 37(c) 606(d) 643 (c+d)

Total 200 (a+c)

800 (b+d)

1000(a+b+c+d)

Video-endoscopia

Mét

odo

X

2. Baseando-se nos resultados do estudo de validação, responda: O Método X deve ser usado como critério diagnóstico para problemas de estômago? Por que?