Embed Size (px)
Citation preview
Disciplina de Introdução à MedicinaAno Lectivo 2004/2005
Regente: Prof. Doutor Altamiro da Costa PereiraOrientador: Mário Ribeiro
Trabalho realizado pela Turma 19Faculdade de Medicina Dentária da Universidade do Porto
Avaliação da Curva de Aprendizagem para uma Classificação de Imagens de
Cromoscopia de Ampliação Gástrica
IntroduçãoA Curva de Aprendizagem é um gráfico que
reflecte a evolução na aprendizagem de um dado método, demonstrando ao longo do tempo a consolidação da aprendizagem do indivíduo.[1]
Nas mesmas condições de estudo são consideradas medidas de Reprodutibilidade a fim de determinar a capacidade de obter valores consistentes.[2]
Neste tipo de estudos não podemos descurar também as medidas de Validade, que pretendem medir o impacto dos erros sistemáticos com base numa referência, considerada pelo observador como o mais aceitável .[3]
[1] Hulley SB, Cummings SR. Designing Clinical Research. 2ª edição. Philadelphia: Lippincott Williams and Wilkins; 2001. p. 31 [2] Khalid SK, Chien PW. Evaluation of a clinical test I: Assessment of reliability. Departamento de Ginecologia e Obstetrícia do Hospital Birmingham para mulheres e Departamento de Ginecologia e Obstetrícia do Hosptital Ninewells, ambos no Reino Unido, p-563.[6]MedStat Web
Procedimento pouco válido
e pouco reprodutível
Procedimento pouco válido
mas reprodutível
Procedimento válido e
reprodutível
Reprodutibilidade e Validade
Variedade da Aplicação da Curva de Aprendizagem em diferentes Áreas
A curva de aprendizagem é uma forma de avaliar resultados que tem sido cada vez mais utilizada. Ela é aplicada em diversas áreas tais como: robótica, psicologia, medicina...[4]
Em todas estas áreas a curva é um dos métodos que melhor descreve a relação na consolidação
da aprendizagem.
[4] http://www.alasbimnjournal.cl/revistas
Aplicação da Curva de Aprendizagem em Medicina; Imagem Médica e Ensino
Médico
Na nossa área de estudo, a medicina, verificamos que esta relação está subjacente a várias especialidades, nomeadamente a gastroenterologia.[4]
Para diagnosticar o cancro gástrico existem vários
métodos, como a cromoscopia de ampliação gástrica .[5] Para um bom desempenho na sua actividade, o endoscopista necessita de treino específico, através da aprendizagem do método, sendo a visualização e classificação de vídeos uma possibilidade para a
construção de uma curva de aprendizagem .[5]
[4] http://www.alasbimnjournal.cl/revistas[5] Triantafillidis JK, Cheracakis P. Diagnostic evaluation of patients with early gastric cancer – a literature review; 2004
Definição da QuestãoCom este trabalho, pretendemos determinar e
avaliar a curva de aprendizagem através da visualização de imagens de Cromoscopia de Ampliação Gástrica para o diagnóstico de lesões percursoras do cancro gástrico.
Será que o método da Cromoscopia de Ampliação Gástrica é reprodutível no contexto do diagnóstico de lesões percursoras de cancro gástrico?
Será que o treino do observador condiciona a reprodutibilidade desta medida?
Material e Métodos
Quanto ao período de referência, trata-se de um estudo prospectivo.
Quanto ao período de seguimento, trata-se de um estudo longitudinal.
Concepção do Desenho de Estudo
Definição da População Alvo e da Amostra
A população alvo será estudantes da área de saúde. Foi escolhida uma amostra de conveniência para a realização deste estudo em que as dezasseis alunas da turma 19 do 1º ano de Medicina Dentária da Faculdade da Universidade do Porto, sem um anterior conhecimento desta técnica.
Para a realização do estudo, foi fornecido a cada participante um CD que dá acesso a um formulário web, pelo qual o participante classificou uma sequência de vídeos de cromoscopia, seleccionados aleatoriamente.
http://alga.med.up.pt
Material e Métodos
Cada vídeo foi avaliado pelo observador segundo três grupos e seis subgrupos de padrões endoscópicos aos quais o participante terá sempre acesso, podendo alterá-los.
Materiais
Após a obtenção dos resultados e posterior introdução dos dados em SPSS, efectuámos o estudo estatístico da curva de aprendizagem e procurámos definir o Kappa. Inicialmente, considerámos apresentar o objecto de estudo segundo uma escala nominal, em que as classificações têm todas o mesmo peso estatístico.[6]
Material e Métodos
Análise estatística
Assim as observações que se afastam daquelas esperadas pelo acaso, indicam-nos o quão legítimas as interpretações são.[6]
[6] Szklo R, Nieto FJ. Epidemiology, Beyond the Basis. Aspen Publications; 2000. p. 343-404
Resultados
A
0
0,1
0,20,3
0,4
0,5
0,6
0,70,8
0,9
1
1 2 3 4 5
B
00,1
0,20,30,40,5
0,60,70,8
0,91
1 2 3 4 5
B
Curva de aprendizagem de especialistas
C
0
0,2
0,4
0,6
0,8
1
1,2
1 2 3 4 5
Resultados (Kappa por grupos)
Resultados (Kappa por grupos)
Curva de aprendizagem de estudantes
D
0
0,1
0,20,3
0,4
0,5
0,6
0,70,8
0,9
1
1 2 3 4 5
E
0
0,1
0,20,3
0,4
0,5
0,6
0,70,8
0,9
1
1 2 3 4 5
F
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1 2 3 4 5
Resultados (Kappa por grupos)
Kappa Inter-Observador
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
1 2 3 4 5
Especialistas
Estudantes
Total
Resultados
Curva de aprendizagem de especialistas
A
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1 2 3 4 5
B
0
0,1
0,20,3
0,4
0,5
0,6
0,70,8
0,9
1
1 2 3 4 5
C
0
0,2
0,4
0,6
0,8
1
1,2
1 2 3 4 5
Resultados (Kappa por subgrupos)
Curva de aprendizagem de estudantes
Resultados (Kappa por subgrupos)
D
0
0,10,2
0,3
0,40,5
0,6
0,7
0,80,9
1
1 2 3 4 5
E
0
0,1
0,20,3
0,4
0,5
0,6
0,70,8
0,9
1
1 2 3 4 5
F
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1 2 3 4 5
Resultados (Kappa por subgrupos)
Kappa Inter-Observador
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
1 2 3 4 5
Especialistas
Estudantes
Total
Resultados
A
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6 7
B
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6 7
Curva de aprendizagem de especialistas
C
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6 7
Resultados (Kappa Ponderado Linear por grupos)
Curva de aprendizagem de estudantes
D
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6 7
E
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6 7
F
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6 7
Resultados (Kappa Ponderado Linear por grupos)
Kappa Inter-Observador
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
Especialistas
Estudantes
Total
Resultados (Kappa Ponderado Linear por grupos)
Resultados
A
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
B
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
Curva de aprendizagem de especialistas
C
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
Resultados (Kappa Ponderado Quadrático por grupos)
Curva de aprendizagem de estudantes
D
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
E
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
F
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
Resultados (Kappa Ponderado Quadrático por grupos)
Kappa Inter-Observador
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
Especialistas
Estudantes
Total
Resultados (Kappa Ponderado Quadrático por grupos)
Resultados
A
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0 1 2 3 4 5 6
B
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
Curva de aprendizagem de especialistas
C
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
Resultados (Kappa Ponderado Linear por subgrupos)
Curva de aprendizagem de estudantes
D
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
E
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
F
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
Resultados (Kappa Ponderado Linear por subgrupos)
Kappa Inter-Observador
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
0 1 2 3 4 5 6
Especialistas
Estudantes
Total
Resultados (Kappa Ponderado Linear por subgrupos)
Resultados
A
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
B
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
Curva de aprendizagem de especialistas
C
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
Resultados (Kappa Ponderado Quadrático por subgrupos)
Curva de aprendizagem de estudantes
D
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
E
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
F
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
Resultados (Kappa Ponderado Quadrático por subgrupos)
Kappa Inter-Observador
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0 1 2 3 4 5 6
Especialistas
Estudantes
Total
Resultados (Kappa Ponderado Quadrático por subgrupos)
Discussão
Após a obtenção da análise estatística em SPSS,
verificou-se que o Kappa aumenta ao longo do tempo, isto é, tem valores mais afastados do acaso à medida que aumenta o treino do observador:
Numa primeira comparação com a referência obtivemos
um aumento generalizado, inferindo sobre os valores de
validade, em que as classificações se aproximam do gold
standard escolhido;
A escolha desta amostra por conveniência pode: conduzir a um viés, uma vez que é uma forma de selecção condicionada;
não ser uma amostra representativa da população;
não alterar os resultados por ser uma amostra consecutiva.
Discussão
Ao nível dos grupos
Através das curvas dos observadores fez-se uma comparação das médias dos Kappas, em que se verificou que os resultados dos especialistas eram mais favoráveis que os das estudantes, como era esperado.
Gráfico do especialista B: apresenta geralmente o mesmo valor de Kappa (0,84), sofrendo um crescimento na 4ª observação (0,92).
B
00,1
0,20,30,40,5
0,60,70,8
0,91
1 2 3 4 5
B
Verificou-se que o procedimento é reprodutível porque, sistematicamente, o Kappa mantém-se e como o seu valor se aproxima de 1, podemos inferir que também é válido.
Esta curva também transmite um erro constante.
Discussão
Gráfico da estudante D: apresenta um ligeiro decréscimo
na 3ª observação. D
0
0,1
0,20,3
0,4
0,5
0,6
0,70,8
0,9
1
1 2 3 4 5
Visto que o gráfico continua
crescente,
podemos inferir que a
validade e reprodutibilidade
aumenta com as observações.
Ao nível dos subgrupos Também verificámos o aumento dos valores de Kappa,
traduzindo este facto um aumento da validade e da
reprodutibilidade do método.
Em ambos os casos se verifica uma convergência dos
Kappas para um mesmo valor (aproximadamente 0,7 e 0,8).
Discussão
Kappa Ponderado
Decidimos depois atribuir pesos às variáveis, segundo uma escala ordinal, sendo estes expressos por mais de duas categorias (grupos e subgrupos).
Ao nível do Kappa Ponderado analisámos o Linear e o Quadrático: primeiramente atribuímos pesos lineares, constantes, e depois também pesos quadráticos, exponenciais.
Pode referir-se que a diferença de valores entre o Kappa
linear e quadrático não é significativa, uma vez que o
número de casos analisados é reduzido.
Podemos inferir que o método é substancialmente
reprodutível, uma vez que há um aumento dos valores de
Kappa, aproximando-se estes de 1.
Discussão
Verifica-se que os valores da estatística Kappa são
superiores aos de Kappa de Cohen, dando estes uma maior
importância à discordância, atribuindo-lhe um maior peso
quando se procede ao cálculo da reprodutibilidade.
Para o aumento da validade e reprodutibilidade,
contribuíram o treino do observador, estabelecimento de
normas e padrões bem como o ocultamento, não havendo
divulgação das diferentes classificações dos vários
observadores, para que não houvesse influência nos
resultados obtidos. Para as oscilações entre os valores de K, possivelmente
além dos conhecimentos dos observadores está inerente o
estado de espírito, a disponibilidade e atenção do
observador.
