Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação

GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)

Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação

Vinícius M. Kern, Marta Denisczwicz (Bolsista PIBIC CNPq/UFSC)

Universidade Federal de Santa Catarina

[email protected], [email protected]

Esta apresentação disponível em http://www.slideshare.net/vmkern

http://www.slideshare.net/vmkern

GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)2

Problema e objetivo

Críticas ao processo: confiabilidade, validade, generalizabilidade e potenciais vieses [1]. Faltam indicadores quantitativos de gestão [2]

• Revisão por pares Formação precária de pareceristas: Há iniciativas na PG [3, 4]

Processo de RP recíproco anônimo de propostas de mestrado em CI

Confiabilidade (concordância entre pares) [-1, +1] = “Can we trust grads?”

1 MARSH, H. W.; JAYASINGHE, U. W.; BOND, N. W. Improving the peer-review process for grant applications—reliability, validity, bias, and generalizability. American Psychologist, v. 63, n. 3, p. 160-168, 2008.

2 JENNINGS, C. G. Quality and value: The true purpose of peer review. What you can't measure, you can't manage: the need for quantitative indicators in peer review (Nature Peer Review Debate). Nature, 2006.

3 KERN, V. M. et al. Growing a peer review culture among graduate students. In: TATNALL, A.; JONES, A. (Orgs.) Education and technology for a better world. Proceedings of WCCE. Berlin, Heidelberg, New York: Springer, 2009. p. 388-397.

4 YANKULOV, K.; COUTO, R. (2012), Peer review in class: Metrics and variations in a senior course. Biochem. Mol. Biol. Educ., v. 40, n. 3, p. 161-168, 2012.


Trabalhos relacionados

• No Brasil: Processo de avaliação de artigos (não especificamente relacionados; não enfocam confiabilidade)

COSTA, S. M. S. Controle de qualidade em periódicos científicos eletrônicos disponibilizados na Internet: a questão do julgamento pelos pares. R. bibl. Brasília, v. 20, n. 2, p. 227-236, 1996.

CASTRO, R. C. F.; NEGRÃO, M. B.; ZAHER, C. R. Procedimentos editoriais na avaliação de artigos para publicação em periódicos de ciência da saúde da América Latina e Caribe. Ci. Inf., v. 25, n. 3, p. 352-356, 1996.

MUELLER, S. P. M. A seleção de artigos científicos p/ publicação em revistas brasileiras: um levto. de práticas e procedimentos adotados pelas ver. científicas brasileiras financ. p/ CNPq e INEP, 1995-1996. R. bibl. Brasília, v. 21, n. 2, p. 229-250, 1997.

PESSANHA, C. Critérios editoriais de avaliação científica: notas para discussão. Ci. Inf., v. 27, n. 2, p. 226-229, 1998.

STUMPF, I. R. C. Avaliação pelos pares nas revistas de comunicação: visão dos editores, autores e avaliadores. Perspect. ci. inf., v. 13, n. 1, p. 18-32, 2008.

PAVAN, C.; STUMPF, I. R. C. Avaliação pelos pares nas revistas brasileiras de ciência da informação: procedimentos e percepções dos atores. Enc. Bibli, v. 14, n. 28, p. 73-92, 2009.

• Métricas de confiabilidade: metaestudosWELLER, A. C. Editorial peer review: Its strengths and weaknesses. Second printing (ASIST monograph series). Medford,

New Jersey (EUA): Information Today, Inc. 2002. 342 p.

BORNMANN, L. Scientific peer review. ARIST, v. 45, n. 1, p. 199-245, 2011.


Procedimentos metodológicos

• Revisão por pares de propostas de mestrado (n=12)Anônima, recíproca (9 a 11 revisões/proposta), com diretrizes [1]

• 7 pontos de avaliação em escala Likert-6• Escala de 1 (discordo totalmente) a 6 (concordo totalmente)

• Itens de avaliação: Problema e objetivos Fundamentação Abordagem metodológica Resultados esperados e conclusões Referências Linguagem e estilo Formatos

1 SMITH, A. J. The task of the referee. Computer, v. 23, n. 4, p. 65–71, 1990.

Existe um problema de pesquisa relevante e claramente

enunciado, bem contextualizado na literatura, com objetivo geral

coerente com o problema e objetivos específicos

mensuráveis, atingíveis, realistas, realizáveis no tempo

disponível, específicos e consistentes entre si.


Procedimentos metodológicos

• Seleção do indicador: intraclass correlation ICC(2,1) [1]

• Para dispor de algum termo de comparação...• Conduzimos outro processo em artigos (n=11, 2 rev/aluno ou 4/artigo) de

duplas em disciplina de PG de programa interdisciplinar (mestr./dout.)

• Coletamos índices de confiabilidade nos metaestudos de Weller [2] e de Bornmann [3]

1 SHROUT, P. E.; FLEISS, J. L. Intraclass correlations: Use in assessing rater reliability. Psychol. Bull., v. 86, n. 2, p. 420-428, 1979.

2 WELLER, A. C. Editorial peer review: Its strengths and weaknesses. Second printing (ASIST monograph series). Medford, New Jersey (EUA): Information Today, Inc. 2002. 342 p.

3 BORNMANN, L. Scientific peer review. ARIST, v. 45, n. 1, p. 199-245, 2011.


Resultados até o momento

Esperávamos: ICC de mestrandos em CI < ICC de profissionais no fomento e publicação

Não esperávamos: ICCs CI frequentemente < ICCs de pós-graduandos interdisciplinares


Discussão / conclusão

• Tratamos da formação sistemática de novos revisores

• Um passo na direção de criar indicadores de gestão da RP(Acordo preliminar c/ Enc Bibli para levar sistemática aos periódicos)

• Confiabilidade (mestrandos em CI): positivo que em ¾ predomine a concordância(E slide anterior – confirmação e quebra de expectativas nas comparações)

• Alcance dos resultados: estudo pontual; precisa mais, preferencialmente estudos longitudinais (pesquisa atual)


[email protected], www.kern.prof.ufsc.br

Ao CNPq (bolsa PIBIC)

Ao PGCIN/UFSC (permissão para fazer, input dos colegas professores)

Aos alunos participantes

UFSC/CED/CIN – Programa de Pós-Graduação em Ciência da Informação

Grupo de Pesquisa em Informação Científica – InfoCient

Documents

Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação