View
813
Download
2
Embed Size (px)
DESCRIPTION
Citation preview
Indicadores de produção e impacto das publicações científicas
Seminário especial de pesquisa
Letícia StrehlBibliotecária
Biblioteca Central - UFRGS
Sumário da apresentação
Dilemas de avaliação da produção científica
Indicadores das publicações científicas O Fator de Impacto da Thomson Reuters
▪ O Qualis da CAPES nas áreas médicas O Índice H calculado em diversas bases
de dados O Scimago Journal Ranking com dados
da Scopus
Dilemas da avaliação da produção científica
Critérios para analisar O que é produzido? Quanto é produzido? Com que qualidade é produzido?
Critérios de avaliação da produção científica (1):
O que é produzido?
Pesquisa de problemas predominantemente nacionais e
regionais
X
Pesquisa de problemas internacionaisPesquisa Básica
XPesquisa Aplicada
Critérios de avaliação da produção científica (2)
“Em termos de comunicação científica, as duas principais características do pesquisador são a quantidade de informações que comunica e a sua qualidade.“
"Como se pode estudar isto?"
Fonte: MEADOWS, A.J. A comunicação científica. Brasília: Briquet de Lemos, 1999. p. 85
Quanto? Como?
Critérios de avaliação da produção científica (3):
Quanto é produzido?
Esta é fácil:Determina-se quantas publicações
foram escritas por um cientista em um dado momento!
Fácil... será?A questão deixa de ser trivial quando as
diferenças entre as áreas do conhecimento são examinadas.
Fonte: Dados compilados do Censo 2010 do Diretório dos Grupos de Pesquisa.http://dgp.cnpq.br/censos/sumula_estatistica/2010/producao/producao.htm
Ciências Agrárias
Ciências da Saúde
Ciências Humanas
Engenharias e Ciência da Computação
0 50,000 100,000 150,000
Produção de pesquisadores doutores segundo o tipo de produção e a grande área no quadriênio 2007-
2010
Capítulos de livrosLivrosTrabalhos completos pub-licados em anaisArtigos em periódicos in-ternacionaisArtigos em periódicos nacionais
Critérios de avaliação da produção científica (4):
Com que qualidade é produzido?
Avaliação por pares Ex.: consultoria ad hoc
Indicadores de impacto(considerando, neste caso, citação=visibilidade
= qualidade?!) Ex.: Fator de Impacto e Scimago Journal
Ranking
Premissa dos indicadores de impacto
Trabalhos importantes são freqüentemente
citados na literatura científica
Requisitos para o cálculo dos índices de impacto
Existência de bases de dados que indexem: uma quantidade representativa de
documentos; as referências citadas nas publicações.
Atualmente, as principais bases de dados para o cumprimento desta finalidade são a Web of Science, a Scopus e o Google Acadêmico
Indexação das citações
Todavia...
Tradicionalmente, as bases de dados capazes de fornecer informações sobre o impacto dos trabalhos centram-se basicamente no conhecimento veiculado em periódicos internacionais!
Mesmo crescente, o número de periódicos nacionais nas bases é irrisório
2010 2009 2008 20070
50
100
150
200
250
300
350
200
129
62
30
310
266
208
147Web of ScienceScopus
Todas as utilizam os periódicos como principal meio de divulgação de resultados de pesquisa?
Ciências Agrárias
Ciências da Saúde
Ciências Humanas
Engenharias e Ciência da Computação
0 50,000 100,000 150,000
Produção de pesquisadores doutores segundo o tipo de produção e a grande área no quadriênio 2007-
2010
Capítulos de livrosLivrosTrabalhos completos pub-licados em anaisArtigos em periódicos in-ternacionaisArtigos em periódicos nacionais
Partindo dos indicadores desenvolvidos para os trabalhos publicados em periódicos internacionais
Fator de impacto
O fator de impacto (FI)
Há décadas o principal indicador de visibilidade das publicações
Indicador criado em 1963 por Eugene Garfield e Irving Sher
Publicado anualmente no Journal Citation Reports (JCR) pela
consolidação dos dados de citação concedidas aos periódicos
indexados no:
Science Citation Index
Social Science Citation Index
Interface de acesso:
Cobertura:mais 10.100 títulos
Os dados e os indicadoresSCI E SSCI NA WEB OF SCIENCE
JOURNAL CITATION REPORTS
Acesso via:
O FI como critério de avaliação da produção científica
Trabalhos publicados em periódicos com alto FI são considerados melhores do que os publicados em periódicos com FI menores.
Como o FI é calculado?
Todavia...a comparação de fatores de impacto de periódicos de áreas de diferentes ou, até mesmo, de subáreas diversas de uma mesma área é impraticável
Comparação de valores absolutos de FI de periódicos de diferentes áreas
Pelo menos dois fatores contribuem para as diferenças de FI
Oncologia Densidade dos artigos
Idade das citações
Matemática Densidade dos artigos
Idade das citações
Fator de impacto e idade das citações de algumas das áreas médicas
Como o FI de 5 anos é calculado?
2 anos
Variação dos valores médios de FI por área do conhecimento
AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct. 2000.
O uso do FI para definição do Qualis dos periódicos nas áreas “Medicina” de 1 a 3 na CAPES
Estratos
Faixas de FI por área de avaliação
Medicina I Medicina II Medicina III
A1 >3,8 >3,8 >2,96
A2 Entre 3,799 e 2,5 Entre 3,8 e 2,36 Entre 2,29 e 2, 96
B1 Entre 2,499 e 1,3 Entre 2,36 e 1,1 Entre 1,35 e 2,28
B2 Entre 1,299 e 0,001 Entre 1,1 e 0,11 Entre 0, 1 e 1,34
B3 <0,11
Fonte: Documentos de Área disponível na página da CAPES em: http://www.capes.gov.br/avaliacao/areas-paginas
Os diferentes padrões de FI das subáreas de uma mesma área de avaliação
Subárea da medicina Áreas do JCR Mediana do FI FI Agregado Meia-Vida
Agregada
CANCEROLOGIA ONCOLOGY 2,455 4,604 5,7
CARDIOLOGIA
CARDIAC & CARDIOVASCULAR SYSTEMS 1,993 3,769 6,3
DERMATOLOGIA DERMATOLOGY 1,667 2,253 7,5
ENDOCRINOLOGIAENDOCRINOLOGY & METABOLISM 2,796 4,072 6,6
GASTROENTEROLOGIA
GASTROENTEROLOGY & HEPATOLOGY 2,210 3,606 6
MEDICINA LEGAL E DEONTOLOGIA MEDICINE, LEGAL 1,159 1,605 6,6
PNEUMOLOGIA RESPIRATORY SYSTEM 2,272 3,403 6,9
Medicina I
Os diferentes padrões de FI das subáreas de uma mesma área de avaliação
Medicina II
Subárea da medicina Áreas do JCR Mediana do FI
FI Agregado
Meia-Vida Agregada
ALERGOLOGIA E IMUNOLOGIA CLÍNICA ALLERGY 1,985 3,623 6ANATOMIA PATOLÓGICA E PATOLOGIA CLÍNICA ANATOMY & MORPHOLOGY 1,471 1,689 8,5DOENÇAS INFECCIOSAS E PARASITÁRIAS INFECTIOUS DISEASES 2,594 3,79 6
HEMATOLOGIA HEMATOLOGY 2,747 5,173 6,4
NEUROLOGIA CLINICAL NEUROLOGY 1,994 3,006 7
PEDIATRIA PEDIATRICS 1,314 1,858 7,1
PSIQUIATRIA PSYCHIATRY 2,011 3,248 7,3
RADIOLOGIA MÉDICARADIOLOGY, NUCLEAR MEDICINE & MEDICAL IMAGING 1,861 2,832 6,7
REUMATOLOGIA RHEUMATOLOGY 2,594 3,851 5,9
Os diferentes padrões de FI das subáreas de uma mesma área de avaliaçãoSubárea da medicina Áreas do JCR Mediana
do FI FI Agregado Meia-Vida Agregada
ANESTESIOLOGIA ANESTHESIOLOGY 2,176 2,764 7,5
CIRURGIA SURGERY 1,263 2,105 7,6GINECOLOGIA E OBSTETRÍCIA
OBSTETRICS & GYNECOLOGY 1,616 2,182 6,8
OFTALMOLOGIA OPHTHALMOLOGY 1,362 2,204 7,5
ORTOPEDIA ORTHOPEDICS 1,164 1,875 8,4
CIRURGIA SURGERY 1,263 2,105 7,6
Medicina III
Motivos do sucesso do FI como critério de avaliação da produção científica
Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais
Facilidade de compreensão “Robustez” (pequena variação de um ano para
outro) Rápida disponibilidade
Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics, v. 53, n.2, p.171-193, 2002.
Motivos do sucesso do FI como critério de avaliação da produção científica
Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais
Facilidade de compreensão “Robustez” (pequena variação de um ano para
outro) Rápida disponibilidade
Tópico polêmico: O Fator de Impacto realmente revela algo sobre o impacto dos
artigos?
SILVA, Mauricio Rocha e. E. As certezas e incertezas do Fator de Impacto. Como o periódico Clinics se move nos meandros das citações. In: Seminário de Avaliação do Desempenho dos Periódicos Brasileiros no JCR. São Paulo, 2011.
Além disso, hoje, existem recursos que facilitam a coleta dos dados sobre as citações aos trabalhos individualmente
A Plataforma Lattes é um
exemplo
Corruptela do FI do periódico:o FI do autor
Divide-se o número de citações recebidas por um dado autor pelo número de artigos que ele publicou
Sabidamente é um índice que não funciona, o tamanho da amostragem dos dados não é suficiente para eliminar possíveis distorções
Surgimento do Índice HIndicador de produtividade e impacto de um cientista
O que é o índice H
Definição: h é o número de artigos publicados por um pesquisador que obtenham um total de citações igual ou superior a h
Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the NationalAcademy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.
Exemplo de índice H: Stephen Hawking
Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 62, ou seja, ele já publicou 62 trabalhos que receberam pelo menos 62 citações.
O sentido do Índice H
I H I H
++
ProdutivosCitados
+-
ProdutivosCitados
-+
ProdutivosCitados
--
ProdutivosCitados
Legenda:I= ImpactoH = Índice H Alto Baixo
Dificuldades do Índice H para comparação de desempenho dos cientistas
Padrões de citação distintos verificados nas diversas áreas
Artigos escritos em co-autoria Influência do tempo de atividade do
pesquisador
Usando a Web of Science, a Scopus e o Google Acadêmico para calcular o Índice H
O índice H calculado com a Web of Science
Para visualizar como é obtido o índice H
Os artigos de um autor são ordenados de modo decrescente por número de citações, quando o número de artigos coincidir com o número de citações obtem-se o índice H
Researcher ID: para facilitar o acesso às informações sobre um pesquisador (1)
Researcher ID: para facilitar o acesso às informações sobre um pesquisador (2)
O índice H da Scopus (1)
O índice H da Scopus (2)
O Google Acadêmico (GA) com uma alternativa?
O que é: Versão especializada do Google para documentos
científicos Lançado em nov. 2004
Como funciona: Robôs recompilam as informações disponíveis nos
domínios institucionais, com permissão dos produtores, na filosofia dos Arquivos Abertos
Não utiliza os metadados dos editores das publicações
Não possui ferramenta própria para sistematização de informações das citações para cálculo dos indicadores
Torres-Salinas, D., R. Ruiz-Perez, et al. Google Scholar as a tool for research assessment. Profesional De La Informacion, v.18, n.5, Sep-Oct, p.501-510. 2009.
“Publish or Perish”: uma ferramenta bibliométrica para o GA
Indicadores calculados pelo “Publish or Perish”
FORMAS DE BUSCA
Autores Periódicos Palavras-chave
ÍNDICES PRINCIPAIS
Número total: trabalhos Citações
Número médio de: citações por artigo citações por autor citações por ano trabalhos por autor
Índice H e indicadores relacionados
Plug-in do Firefox um alternativa ao PoP
https://addons.mozilla.org/en-US/firefox/addon/scholar-h-index-calculator/
Problemas!
Cobertura extensa, mas indefinida
Forma de coleta dos metadados acarreta muitas inconsistências nos dados
Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
Tipos de inconsistências na forma do GA de coletar os metadados
Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
Duplicação de artigos
1 em 4
Duplicação de citações
7 em 3
Autores?
Autor fantasma: P Login ou seja Please Login (2.340 artigos)
Autores perdidos
TODAS as bases possuem inconsistências!TODO o levantamento bibliométrico exige limpeza de dados!
Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
Todavia, para Peter Jácso as inconsistências do GA são tantas que inviabilizam por completo o uso dos dados para cálculo de índices bibliométricos
Mas, para a recuperação, o GA é uma excelente ferramenta
O Scimago Journal Ranking (SJR):um fator de impacto com dados da Scopus?
Os dados e os indicadores
SCOPUS SCIMAGO
Acesso via: Acesso livre!
Novos indicadores para periódicos e países do Portal Scimago (dados da Scopus)
http://www.scimagojr.com/
O que medem os diferentes indicadores?
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Impacto
Produção
O SJR e o FI podem ser considerados equivalentes?
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Sim!
O desafio em termos de indicadores
A avaliação capaz de considerar as
diferenças existentes entre as várias
(sub-)áreas Desenvolvimento de indicadores que
valorizem os periódicos de qualidade que
tratam de problemas regionais
Muito [email protected]