Qualidade, recuperação, visibilidade e acesso à informação científica: conceitos, ferramentas e indicadoresLetí
cia
Strehl
Sumário0 Qualidade, recuperação, visibilidade e acesso à
informação científica 0 Conceitos0 Ferramentas
0Recuperação: 0 Cobertura das bases de dados0 Recursos de indexação
0 Implicações na revisão da literatura e na elaboração de artigos
0Visibilidade0 Acesso aberto0 Preenchimento correto do Lattes0 Identificadores digitais para nomes de autores0 Identificação precisa da afiliação institucional0 Perfis de autores e redes sociais
0 Indicadores0 Fator de impacto, SJR, SNIP, Qualis CAPES, Índice H e Altmetrias
ConceitosQualidade,
recuperaçã
o,
visibilida
de
e acesso
à
informação
científica
Qualidade da informação científica
0 A medida que a publicação contribui para o avanço do conhecimento científico em certo campo de pesquisa0 Preenche uma lacuna de conhecimento do campo0 Descobre uma lacuna de conhecimento do campo
Qualidade: as contribuições podem ser de naturezas diversas
Teórica
Técnica
Empírica
Metodológica
1ª instância de avaliação da qualidade:
A avaliação por pares0 A qualidade de uma publicação está
diretamente relacionada com o rigor aplicado na avaliação por pares0 Editores-chefe competentes e de prestígio0 Revisores ad-hoc experientes nas
temáticas tratadas pela publicação0 Publicações notórias pelo rigor na
avaliação, não apenas da originalidade da contribuição, como da qualidade do texto:
J Bohannon Science 2013;342:60-65
J Bohannon Science 2013;342:60-65
LIST OF PUBLISHERSBeall’s List:http://scholarlyoa.com/publishers/
2ª instância de avaliação da qualidade:
A citação nas publicações subsequentes
0 Premissas:0 Todo resultado de pesquisa precisa ser
comunicado (=publicado)0 Todavia, “Publish or Perish” is not enough0 A contribuição relevante não é apenas
publicada, mas é lida e utilizada por outros
cientistas, é, enfim, citada.
http://blogs.bmj.com/bmj-journals-development-blog/category/authors/
http://howtopublishinjournals.com/
http://www.wu.ece.ufl.edu/papers/publishORperish/publishORperish.htm
Ética científica
0 No momento da submissão do artigos:0 Autores declaram a
responsabilidade intelectual de cada um dos autores
A conhecida metáfora do Iceberg para pensar essas três dimensões da produção científica : qualidade, recuperação e visibilidade.
#iceberg1
Diferentemente de tempos anteriores, na Era Google, pode-se dizer, grosso modo: tudo é recuperável!
#iceberg2
Recuperável, mas, não necessariamente, visível!
#iceberg3
Qualidade versus visibilidade
Qualidade versus visibilidade
Milhõooooooes de documentos:Quantas páginas você percorre?
FerramentasQualidade,
recuperaçã
o,
visibilida
de
e acesso
à
informação
científica
Ferramentas de RECUPERAÇÃO da informação científica
http://static.guim.co.uk/sys-images/Guardian/Pix/pictures/2012/9/25/1348577593474/Data-Base-sculpture.-Word-008.jpg
Alguns componentes básicos de um sistema de recuperação da informação
0 Cobertura0 Critério de seleção
0Seletivo0Exaustivo
0 Abrangência temática0Multidisciplinar0Especializada
0 Recursos de indexação 0 Referências0 Terminologia por controle de vocabulário
Duas formas de identificar documentos tematicamente relacionados
0 Adoção de terminologia semelhante
0 Citação de referências comuns
Ferramentas de RECUPERAÇÃO
Mais importantes
Exemplos
Um artigo, duas bases de dados:Web of Science
Um artigo, duas bases de dados:Pubmed
Questionamentos obrigatórios sobre a recuperação da informação0 1º Momento: quando você revisa a literatura
0 Estou olhando a base de dados adequada para os temas e tipos de documentos que procuro?
0 Estou utilizando os termos adequados para expressar meu tópico de pesquisa quando busco a informação?
0 Estou explorando os recursos de recuperação para localizar documentos com referências comuns e citações aos artigos que considero importantes?
Questionamentos obrigatórios sobre a recuperação da informação0 2º Momento: quando você escreve seu artigo
0 Estou escrevendo o título, o resumo e as palavras-chave com os termos mais significativos do meu tema de pesquisa ?
0 Estou contemplando possíveis variações terminológicas para os conceitos tratados?
0 3º Momento: quando você submete seu artigo0 Estou submetendo meu manuscrito para uma revista coberta
pelas bases de dados importantes para a minha área?0 A revista em questão é lida pela comunidade que pretendo
atingir?
Ferramentas de VISIBILIDADE da informação científica
http://www.onque.com.au/insights/wp-content/uploads/2013/01/facebook-graph-search.jpg
Acesso aberto
Acesso aberto como ferramenta de visibilidade
Opções de acesso abertoTaxa de Acesso
Aberto no momento da publicação
Política de auto-arquivamento
Informações sobre política de auto-arquivamento
Os dois lados do acesso aberto:quando você disponibiliza sua pesquisa em acesso
aberto
Artigos escritos por ou em colaboração com docentes ou técnico-administrativos da UFRGS
***************************Depósito na Biblioteca da respectiva Unidade
Os dois lados do acesso aberto:Quando você busca um artigo
Evidências do acesso aberto sobre o impacto do artigos
MIGUEL, S.; CHINCHILLA-RODRIGUEZ, Z.; DE MOYA-ANEGÓN, F. Open access and Scopus: A new approach to scientific visibility from the standpoint of access. Journal of the American Society for Information Science and Technology, v. 62, n. 6, p. 1130–1145, 11 jun. 2011.
Preenchimento correto do seu Lattes
Lattes, DOI e Indicadores de produçãoPreenchimento
Identificadores digitais
Ferramentas de VISIBILIDADE/Recuperação(1)
Ao invés disso, umnúmero:0000-0001-9723-9576
Variações do nome do autor
Identificadores digitais de autores em diferentes bases de dados
Integrados com a
ORCID (Open Reseacher & Contributor ID)
www.orcid.org
Vinculado à Scopus e ao Researcher ID
Integração com diversas bases de dados
Apresenta lista de publicações e classifica por data, tipo e título.
Código numérico não proprietário
ORCID (perfil)
Publicações
Dados do autor
ORCID (cadastro)
Researcher ID
www.researcherid.com
Vinculado ao ORCID
Integração somente com Web of Science e
Endnote
Acompanha citações e índice H
Código numérico proprietário
Identifica colaboradores
Researcher ID (perfil)
Dados do autor
Publicações
Métricas
Colaboraçõese citações
Researcher ID (métricas)
Researcher ID (colaborações)
Autores
Apresenta o nome dos
colaboradores mais frequentes.
Researched ID (colaborações)
Áreas de classificação
Apresenta as áreas de
classificação dos periódicos em que o autor publicou.
Researched ID (colaborações)
Locais
Apresenta os países de
afiliação dos colaboradores
mais frequentes
Researched ID (colaborações)
Instituições
Apresenta as instituições de afiliação dos
colaboradores mais frequentes
Researched ID (colaborações)
Apresenta no mapa os países de afiliação dos pesquisadores colaboradores
Ao clicar sobre a letra apresenta
dados da publicação realizada em
colaboração com pesquisadores
daquela localidade.
Researcher ID (citações)
Autores
Apresenta oo nome dos
pesquisadoresque mais
frequentemente citaram o autor
Researcher ID (citações)
Áreas de publicação
Apresenta as áreas de classificação
dos periódicos em que o pesquisador
foi citado.
Researcher ID (citações)
Países
Apresenta os países de afiliação dos pesquisadores
que mais frequentemente citaram o autor
Researcher ID (citações)Instituições
Apresenta as instituições de afiliação dos
pesquisadores que mais
frequentemente citaram o autor
Researcher ID (citações)
Apresenta no mapa os países de afiliação dos
pesquisadores que citaram
publicações do autor
Researcher ID (citações)Anos
Apresenta os anos com maior
frequência de citações
Researcher ID (cadastro)
Para fazer um novo cadastro: Clique no Item “Join Now It´s
Free”
Se já possui login na Web of Science e
Endnote utilize aqui o mesmo
login
Na linha da precisa identificação:
cuidado com seus dados de afiliação
Você quer atuar numa instituição que já produziu...
... 9.264 artigos científicos?
... 12.755 artigos científicos?
... 20.605 artigos científicos?
... 33.870 artigos científicos?
33.870 artigos científicos
... quando um pesquisador busca pelo nome de nossa Universidade,
Produção científica do Hospital de Clínicas indexada na Scopus, mas não é
informada como produção da UFRGS
Redes Sociais
Ferramentas de VISIBILIDADE/Recuperação(2)
E as redes sociais:
Research GateAcademia eduLinked InSlideshareFacebookTwitter
IndicadoresQualidade,
recuperaçã
o,
visibilida
de
e acesso
à
informação
científica
Indicadores:
tipos e níveis de abrangência
0 Indicadores bibliométricos0 De impacto (número de citações por artigo):
Fator de Impacto, SJR, SNIP0 De produtividade e impacto: Índice H
0 Indicadores webométricos0 Número de acessos e downloads0 Altmetrias (impacto nas redes sociais)
Periódico
Autores
Artigos
Todavia, todos esses indicadores criados, originalmente, para medir padrões de comunicação científica nos níveis acima destacados, são aplicáveis em diferentes contextos: países, instituições, departamentos, áreas, PPGs, etc.
Indicadores de impactoMédia de citações por artigo de um periódico: fórmulas
variadas, cada qual com sua fonte de dadosFI
SJRSNIP
Os dados e os indicadores:
Fator de impactoSCI E SSCI NA WEB OF
SCIENCE
JOURNAL CITATION REPORTS
Acesso via:Acesso via:
Os dados e os indicadoresSJR
Scopus Scimago
Acesso via: Acesso livre!
Os dados e os indicadoresSNIP
Scopus CWTS Journal Indicators
Acesso via: Acesso livre!
Os dados e os indicadoresSNIP
ScopusJournal Metrics :
SNIP, SJR e IPP
Acesso via: Acesso livre!
Indicadoresnão normalizadospor área:valores obtidospara publicaçõesde áreas diversasnão podem sercomparados!
Indicadornormalizadopor área:comparação permitida!
Pelo menos dois fatores contribuem para as diferenças nos índices de impacto não
normalizados
0 Oncologia0 Densidade dos artigos
0 Idade das citações
0 Matemática0 Densidade dos artigos
0 Idade das citações
Comparação entre dois periódicos de mais alto impacto de áreas diversas
Periódico Área FI SJR SNIP
Ca-A Cancer Journal for Clinicians Oncologia 153,459 29,85 52,92
Journal of the American Mathematical Society
Matemática 3,567 7,23 4,69
43x 4x 11x
Essa é uma diferença comparável segundo o CWTS
O Qualis CAPES para “periódico”
Avaliação da produção científica na pós-graduação
O Qualis CAPES para “periódico”
0 É o conjunto de procedimentos utilizados pela Capes para estratificação da qualidade da produção intelectual dos programas de pós-graduação.
0 O Qualis afere a qualidade [sic] de um artigo pela qualidade [sic] do periódico científico que o publicou.
0 A classificação de periódicos é realizada pelas áreas de avaliação e passa por processo anual de atualização.
0 Os periódicos são enquadrados em estratos indicativos da qualidade [sic] - A1, o mais elevado; A2; B1; B2; B3; B4; B5; C - com peso zero.
0 Um mesmo periódico, ao ser classificado em duas ou mais áreas distintas, pode receber diferentes avaliações.
0 O aplicativo que permite a classificação e consulta ao Qualis é o WebQualis.
Informações sobre a
avaliação na página da
CAPES
Critérios de classificação dos
periódicos
Enquadramentode cada
periódico por área
Critérios e enquadramento em estratos
Critérios Qualis Classificação
Algumas áreas associam os estratos do Qualis aos valores de outros indicadores
Outras áreas associam os estratos do Qualis à indexação do periódico em bases de dados
específicas
O produto de aplicação dos critérios é uma lista de periódicos por estrato para cada área
O uso do FI para definição do Qualis dos periódicos nas áreas “Medicina” de 1 a 3 na CAPES
EstratosFaixas de FI por área de avaliação
Medicina I Medicina II Medicina III
A1 >3,8 >3,8 >2,96
A2 Entre 3,799 e 2,5 Entre 3,8 e 2,36 Entre 2,29 e 2, 96
B1 Entre 2,499 e 1,3 Entre 2,36 e 1,1 Entre 1,35 e 2,28
B2 Entre 1,299 e 0,001 Entre 1,1 e 0,11 Entre 0, 1 e 1,34
B3 <0,11
Fonte: Documentos de Área disponível na página da CAPES em: http://www.capes.gov.br/avaliacao/areas-paginas
Os diferentes padrões de FI das subáreas de uma mesma área de avaliação
Subárea da medicina Áreas do JCR Mediana do FI FI Agregado Meia-Vida
Agregada
CANCEROLOGIA ONCOLOGY 2,455 4,604 5,7
CARDIOLOGIA
CARDIAC & CARDIOVASCULAR SYSTEMS 1,993 3,769 6,3
DERMATOLOGIA DERMATOLOGY 1,667 2,253 7,5
ENDOCRINOLOGIAENDOCRINOLOGY & METABOLISM 2,796 4,072 6,6
GASTROENTEROLOGIA
GASTROENTEROLOGY & HEPATOLOGY 2,210 3,606 6
MEDICINA LEGAL E DEONTOLOGIA MEDICINE, LEGAL 1,159 1,605 6,6
PNEUMOLOGIA RESPIRATORY SYSTEM 2,272 3,403 6,9
Medicina I
Os diferentes padrões de FI das subáreas de uma mesma área de avaliação
Medicina II
Subárea da medicina Áreas do JCR Mediana do FI
FI Agregado
Meia-Vida Agregada
ALERGOLOGIA E IMUNOLOGIA CLÍNICA ALLERGY 1,985 3,623 6ANATOMIA PATOLÓGICA E PATOLOGIA CLÍNICA ANATOMY & MORPHOLOGY 1,471 1,689 8,5DOENÇAS INFECCIOSAS E PARASITÁRIAS INFECTIOUS DISEASES 2,594 3,79 6
HEMATOLOGIA HEMATOLOGY 2,747 5,173 6,4
NEUROLOGIA CLINICAL NEUROLOGY 1,994 3,006 7
PEDIATRIA PEDIATRICS 1,314 1,858 7,1
PSIQUIATRIA PSYCHIATRY 2,011 3,248 7,3
RADIOLOGIA MÉDICARADIOLOGY, NUCLEAR MEDICINE & MEDICAL IMAGING 1,861 2,832 6,7
REUMATOLOGIA RHEUMATOLOGY 2,594 3,851 5,9
Os diferentes padrões de FI das subáreas de uma mesma área de avaliação
Subárea da medicina Áreas do JCR
Mediana do FI FI Agregado
Meia-Vida Agregada
ANESTESIOLOGIA ANESTHESIOLOGY 2,176 2,764 7,5
CIRURGIA SURGERY 1,263 2,105 7,6GINECOLOGIA E OBSTETRÍCIA
OBSTETRICS & GYNECOLOGY 1,616 2,182 6,8
OFTALMOLOGIA OPHTHALMOLOGY 1,362 2,204 7,5
ORTOPEDIA ORTHOPEDICS 1,164 1,875 8,4
CIRURGIA SURGERY 1,263 2,105 7,6
Medicina III
Motivos do sucesso do FI como critério de avaliação da produção científica
0 Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais
0
0 Facilidade de compreensão0 “Robustez” (pequena variação de um ano para outro)0 Rápida disponibilidade
Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics, v. 53, n.2, p.171-193, 2002.
Motivos do sucesso do FI como critério de avaliação da produção científica
0 Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais
0
0 Facilidade de compreensão0 “Robustez” (pequena variação de um ano para outro)0 Rápida disponibilidade
Tópico polêmico: O Fator de Impacto realmente revela algo sobre o impacto dos artigos?
SILVA, Mauricio Rocha e. E. As certezas e incertezas do Fator de Impacto. Como o periódico Clinics se move nos meandros das citações. In: Seminário de Avaliação do Desempenho dos Periódicos Brasileiros no JCR . São Paulo, 2011.
Além disso, hoje, existem recursos que facilitam a coleta dos dados sobre as citações aos
trabalhos individualmente
A Plataforma Lattes é um
exemplo
Corruptela do FI do periódico:o FI do autor
0 Divide-se o número de citações recebidas por um dado autor pelo número de artigos que ele publicou
0 Sabidamente é um índice que não funciona, o tamanho da amostragem dos dados não é suficiente para eliminar possíveis distorções
Indicadores de produção & impacto: Índice H
Relação entre o número de trabalhos que o pesquisador publica e o número de citações que
recebe1 fórmula, várias fontes de dados
O que é o índice H
h é o número de artigos publicados por um
pesquisador que obtenham um total de citações
igual ou superior a h
Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the NationalAcademy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.
Exemplo de índice H: Stephen Hawking
Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 74, ou seja, ele já publicou 74 trabalhos que receberam pelo menos 74 citações.
índice H calculado na
Exemplo de índice H: Stephen Hawking
Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 74, ou seja, ele já publicou 74 trabalhos que receberam pelo menos 74 citações.
Fator de impacto e Índice H
O que medem os diferentes indicadores?
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Impacto
Produção
O SJR e o FI podem ser considerados equivalentes?
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Sim!
Indicadores altmétricosImpacto nas redes sociais de um artigo
Impacto nas redes sociais: indicador comparável aos demais ?
O Donut da Altmetric é o indicador mais popular!
O desafio em termos de indicadores
0 A avaliação capaz de considerar as diferenças existentes
entre as várias (sub-)áreas
0 Desenvolvimento de indicadores que valorizem os
periódicos de qualidade que tratam de problemas regionais
0 Indicadores econômicos e sociais não estão contemplados
por nenhuma dessas fórmulas
0 eles podem estar subjacentes, mas não diretamente medidos
Para concluir retomando os pontos anteriores
0 Recuperação0 Atente para os aspectos que facilitam a recuperação de seu
trabalho em bases de dados0 Visibilidade
0 Existem muitas estratégias de visibilidade, utilize-se delas0 Todavia, nenhuma ferramenta pode superar as deficiências
de qualidade de uma contribuição0 Indicadores
0 Existem muitas fórmulas, existem muitas fontes, nem sempre as agências lidam bem com essa diversidade0 As citações ao seu trabalho são um indicador de impacto mais
importante do que o Fator de Impacto do periódico que você publica