ANÁLISE DO EXAME DO CREMESP 2009 CONFORME O ANÁLISE DO EXAME DO CREMESP 2009 CONFORME O MANUAL DO MANUAL DO NATIONAL BOARD OF MEDICAL NATIONAL BOARD OF MEDICAL

EXAMINERS EXAMINERS (NBME(NBME®®))Carlos Fernando Collares, Valdes Roberto Bollela, João Carlos da Silva Bizário, Waldir Logulo Grec, Carlos Fernando Collares, Valdes Roberto Bollela, João Carlos da Silva Bizário, Waldir Logulo Grec,

José Lúcio Martins MachadoJosé Lúcio Martins Machado

Curso de Medicina da Universidade Cidade de São Paulo (UNICID)Curso de Medicina da Universidade Cidade de São Paulo (UNICID)

INTRODUÇÃOINTRODUÇÃO

Desde 2005 o Conselho Regional de Medicina do Estado de São Paulo Desde 2005 o Conselho Regional de Medicina do Estado de São Paulo (CREMESP) realiza anualmente o Exame de Avaliação dos acadêmicos (CREMESP) realiza anualmente o Exame de Avaliação dos acadêmicos egressos de escolas médicas. Assim o Conselho acredita identificar deficiências egressos de escolas médicas. Assim o Conselho acredita identificar deficiências na formação do médico do Estado de São Paulo e contribuir efetivamente para a na formação do médico do Estado de São Paulo e contribuir efetivamente para a melhoria da qualidade do ensino médico no país. Desde sua implementação melhoria da qualidade do ensino médico no país. Desde sua implementação existe um caloroso debate sobre a utilização de exames deste tipo para existe um caloroso debate sobre a utilização de exames deste tipo para concessão de registros profissionais aos médicos. Em exames decisivos (“high-concessão de registros profissionais aos médicos. Em exames decisivos (“high-stakes examinations”) é fundamental que os testes sejam psicometricamente stakes examinations”) é fundamental que os testes sejam psicometricamente válidos, confiáveis e tenham alto poder discriminativo. Do ponto de vista válidos, confiáveis e tenham alto poder discriminativo. Do ponto de vista taxonômico, as avaliações discentes devem ainda mensurar níveis cognitivos taxonômico, as avaliações discentes devem ainda mensurar níveis cognitivos elevados, como a capacidade de resolução de problemas em casos clínicos, ao elevados, como a capacidade de resolução de problemas em casos clínicos, ao invés da mera memorização de informações.invés da mera memorização de informações.

OBJETIVOSOBJETIVOS

Avaliar as questões do exame do CREMESP, conforme as orientações do Avaliar as questões do exame do CREMESP, conforme as orientações do manual de construção de questões do manual de construção de questões do National Board of Medical Examiners National Board of Medical Examiners (NBME(NBME®®), entidade responsável por exames similares nos Estados Unidos da ), entidade responsável por exames similares nos Estados Unidos da América há várias décadas.América há várias décadas.

MÉTODOSMÉTODOS

As 120 questões da primeira fase do Exame de 2009 foram revistas e As 120 questões da primeira fase do Exame de 2009 foram revistas e avaliadas para detecção de questões cujos enunciados não utilizaram casos avaliadas para detecção de questões cujos enunciados não utilizaram casos clínicos, além de erros técnicos de redação identificados como não-clínicos, além de erros técnicos de redação identificados como não-conformidades, as quais deveriam ser evitadas conforme o referencial teórico conformidades, as quais deveriam ser evitadas conforme o referencial teórico supracitado.supracitado.

REFERÊNCIAS BIBLIOGRÁFICASREFERÊNCIAS BIBLIOGRÁFICASBraddom CL. A brief guide to writing better test questions. Am J Phys Med Rehabil. 1997 Nov-Dec;76(6):514-6.Case SM, Swanson DB. Constructing written test questions for the basic and clinical sciences. 3rd ed (revised). National Board of Medical

Examiners, 2002. URL: http://www.nbme.org/PDF/ItemWriting_2003/2003IWGwhole.pdfCoderre S, Woloschuk w, McLaughlin K. Twelve tips for blueprinting. Med Teach 2009;31:322-324.Coderre SP, Harasym P, Mandin H, Fick G. The impact of two multiple-choice question formats on the problem-solving strategies used by

novices and experts. BMC Med Educ. 2004 Nov 5;4:23.Collins J. Education techniques for lifelong learning: writing multiple-choice questions for continuing medical education activities and self-

assessment modules. Radiographics. 2006 Mar-Apr;26(2):543-51.Downing SM. The effects of violating standard item writing principles on tests and students: the consequences of using flawed test items on

achievement examinations in medical education. Adv Health Sci Educ Theory Pract. 2005;10(2):133-43.Field A. Discovering statistics using SPSS. 3rd. ed. Los Angeles: Sage, 2009. 822 p.Fraenkel JR, Wallen NE. How to design and evaluate research in education. 7th ed. New York: McGraw-Hill, 2009. 642 p.Franzen MD. Reliability and validity in neuropsychological assessment. 2nd. Ed. New York: Kluwer/Plenum, 2004. 465 p.Madaus G, Russell M, Higgins J. The Paradoxes of High Stakes Testing: How They Affect Students, Their Parents, Teachers, Principals,

Schools, and Society. Information Age Publishing, 2009. 264 p.Masters JC, Hulsmeyer BS, Pike ME, Leichty K, Miller MT, Verst AL. Assessment of multiple-choice questions in selected test banks

accompanying text books used in nursing education. J Nurs Educ. 2001 Jan;40(1):25-32.Morrison S, Free KW. Writing multiple-choice test items that promote and measure critical thinking. J Nurs Educ. 2001 Jan;40(1):17-24.Palmer EJ, Devitt PG. Assessment of higher order cognitive skills in undergraduate education: modified essay or multiple choice questions?

BMC Medical Education 2007, 7:49.Pasquali L. Psicometria: teoria dos testes na psicologia e na educação. 3. ed. Petrópolis: Vozes, 2008. 400 p.Pasquali L. Validade dos Testes Psicológicos: Será Possível Reencontrar o Caminho? Psic.: Teor. e Pesq., Brasília, 2007, Vol. 23 n. especial,

pp. 099-107.Patto MHS. Para uma crítica da razão psicométrica. Psicol USP 1997;8(1).Schultheis NM. Writing cognitive educational objectives and multiple-choice test questions. Am J Health Syst Pharm. 1998 Nov

15;55(22):2397-401.Schuwirth LW, van der Vleuten CP. Different written assessment methods: what can be said about their strengths and weaknesses? Med

Educ 2004;38:974–979.Shumway JM, Harden RM; Association for Medical Education in Europe. AMEE Guide No. 25: The assessment of learning outcomes for the

competent and reflective physician. Med Teach. 2003 Nov;25(6):569-84.Tarrant M, Knierim A, Hayes SK, Ware J. The frequency of item writing flaws in multiple-choice questions used in high stakes nursing

assessments. Nurse Educ Today. 2006 Dec;26(8):662-71.Thompson B. Exploratory and confirmatory factor analysis: understanding concepts and applications. Washington, D.C.: American

Psychological Association, 2004. 195 p.Wagner MB, Motta VT, Dornelles CC. SPSS passo a passo. Caxias do Sul: EDUCS, 2004. 172 p.

Correspondências para o autor principalCorrespondências para o autor principal: carloscollares@gmail.com: carloscollares@gmail.com

RESULTADOSRESULTADOS

Parcela significativa das questões não utilizou casos clínicos em seu Parcela significativa das questões não utilizou casos clínicos em seu enunciado (N=45; 37,50%), o que limita a avaliação de níveis cognitivos mais enunciado (N=45; 37,50%), o que limita a avaliação de níveis cognitivos mais elevados. Foram encontradas 53 não-conformidades em 41 questões (34,17% elevados. Foram encontradas 53 não-conformidades em 41 questões (34,17% da prova). Uma questão apresentou três não-conformidades, 10 questões da prova). Uma questão apresentou três não-conformidades, 10 questões apresentaram duas não-conformidades e 30 questões, uma não-conformidade. apresentaram duas não-conformidades e 30 questões, uma não-conformidade. As ocorrências mais comuns foram: questões com enunciado negativo (“exceto”, As ocorrências mais comuns foram: questões com enunciado negativo (“exceto”, “não”) (N=10; 8,33%); opções com termos vagos (“freqüentemente”, “não”) (N=10; 8,33%); opções com termos vagos (“freqüentemente”, “geralmente”) (N=9; 7,50%); opções com termos absolutos (ex.: “nunca”, “geralmente”) (N=9; 7,50%); opções com termos absolutos (ex.: “nunca”, “sempre”, “todas”, “nenhuma”) (N=7; 5,83%) e enunciados “vazios” (“unfocused “sempre”, “todas”, “nenhuma”) (N=7; 5,83%) e enunciados “vazios” (“unfocused stems”) (N=7; 5,83%). Dentre as 120 questões, 55 (45,83%) foram consideradas stems”) (N=7; 5,83%). Dentre as 120 questões, 55 (45,83%) foram consideradas adequadas, seja pelo nível cognitivo mensurado, seja pela ausência de não-adequadas, seja pelo nível cognitivo mensurado, seja pela ausência de não-conformidades.conformidades.

CONCLUSÕESCONCLUSÕES

Exames com testes de múltipla escolha, se adequadamente construídos, têm Exames com testes de múltipla escolha, se adequadamente construídos, têm se mostrado uma das melhores estratégias para avaliação cognitiva. Todavia, há se mostrado uma das melhores estratégias para avaliação cognitiva. Todavia, há dúvidas se tal Exame seria capaz, isoladamente, de concluir sobre a qualidade dúvidas se tal Exame seria capaz, isoladamente, de concluir sobre a qualidade da formação e a capacidade profissional de futuros médicos. Tais inferências da formação e a capacidade profissional de futuros médicos. Tais inferências dependem da avaliação de um conjunto de competências dificilmente dependem da avaliação de um conjunto de competências dificilmente examináveis por um único método de avaliação. A frequência de problemas examináveis por um único método de avaliação. A frequência de problemas técnicos no Exame compromete a justiça da prova (“fairness”), sua validade e técnicos no Exame compromete a justiça da prova (“fairness”), sua validade e confiabilidade, especialmente se houver intenção de utilizá-la para concessão de confiabilidade, especialmente se houver intenção de utilizá-la para concessão de licença profissional. Além do índice de dificuldade das questões, seria importante licença profissional. Além do índice de dificuldade das questões, seria importante também a realização e publicação de análises psicométricas post hoc mais também a realização e publicação de análises psicométricas post hoc mais aprofundadas, como os índices de discriminação, a análise fatorial e o alfa de aprofundadas, como os índices de discriminação, a análise fatorial e o alfa de Cronbach, para determinação dos níveis de validade e confiabilidade do Exame. Cronbach, para determinação dos níveis de validade e confiabilidade do Exame. A nota de corte para aprovação deveria ser determinada por métodos A nota de corte para aprovação deveria ser determinada por métodos específicos, como os de Angoff, Hofstee, Ebel e suas modificações. A específicos, como os de Angoff, Hofstee, Ebel e suas modificações. A disponibilização de um feedback detalhado poderia auxiliar as instituições disponibilização de um feedback detalhado poderia auxiliar as instituições formadoras na avaliação e requalificação de seus próprios programas. É formadoras na avaliação e requalificação de seus próprios programas. É necessário sistematizar o processo de confecção e análise das questões necessário sistematizar o processo de confecção e análise das questões utilizadas no Exame, bem como ampliar a consonância com as diretrizes utilizadas no Exame, bem como ampliar a consonância com as diretrizes curriculares vigentes, no intuito de garantir a qualidade do Exame como curriculares vigentes, no intuito de garantir a qualidade do Exame como instrumento de avaliação dos egressos.instrumento de avaliação dos egressos.

Nota: Nota: O NBMEO NBME®® é uma organização independente sem fins lucrativos que fornece exames de alta qualidade para profissões da área é uma organização independente sem fins lucrativos que fornece exames de alta qualidade para profissões da área da saúde. Os autores não têm qualquer afiliação com o NBME, cuja mera citação não implica em endosso ao conteúdo deste estudo.da saúde. Os autores não têm qualquer afiliação com o NBME, cuja mera citação não implica em endosso ao conteúdo deste estudo.

Exemplo de questão com três não-conformidades interligadas.Exemplo de questão com três não-conformidades interligadas.

Enunciado negativo

Enunciado sem caso clínico

Repetição de dados em outras alternativas: fornece uma pista lógica que favorece o “test wiseness”

A maior parte dos elementos da alternativa correta está presente nas demais alternativas

A linguagem das alternativas não é paralela. Alternativas de redação heterogênea.

Exemplos de questões com duas não-conformidades.Exemplos de questões com duas não-conformidades.

Enunciado sem caso clínico e sem foco (“unfocused stem”)