Métricas Alternativas

Andréa Gonçalves do Nascimento

Mestranda do Programa de Pós-Graduação em Biblioteconomia da UNIRIO

Ciclo de Oficinas “O futuro das ideias” | CCJF | Rio de Janeiro | junho 2015

Agenda

• Cenário

• Impacto

• Métricas tradicionais

• Métricas alternativas (e um pouco de prática)

Cenário

• Avaliação de impacto da produção científica é tema de constante discussão na comunidade acadêmica

• Índices tradicionais de impacto são alvo de questionamentos e críticas sobre a sua validade e atualidade

• Surgimento de novas práticas e ferramentas para a comunicação acadêmica

• Produção acadêmica cada vez mais vinculada aos meios eletrônicos no que tange à produção, publicação, disseminação e validação

• Comunidade acadêmica busca maneiras alternativas de medir, avaliar e dar significado à produção acadêmica

IMPACTO(efeito)

(alcance)

(influência)

(valor)

Métricas de impacto

• Para ser utilizado, deve ser medido

• Para ser entendido, deve ser contextualizado

artigo

periódico

autor

instituição níveis

Métricas de artigo

• Contagem de citações

“Na ciência, o fato de um artigo ter sido publicado não é suficiente. Para provar o seu impacto, um artigo precisa de outros artigos posteriores que o ratifiquem.”

Bruno Latour, “Ciência em Ação”

Métricas de periódico

• Impact factor

• Immediacy index

• Cited half-life

• Eigenfactor and Article Influence

• SCImago Journal Ranking (SJR)

• h5-index

• h5-median

• Taxa de aceitação

• Assinaturas, circulação, acervo em bibliotecas

Métricas de autor

• H-Index

• i10-Index

• Publish or Perish

Métricas institucionais

• Essencial Science Indicators Ranking

• SCImago Institutions Ranking

• Snowball Metrics

Em resumo...

Fonte: MyRI, Product Decision chart – What do you want to do? Disponível em: www.ndlr.ie/myri

“No one can read everything. We rely on filters to make sense of the scholarly literature, but the narrow, traditional filters are being swamped. However, the growth of new, online scholarly tools allows us to make new filters; these altmetrics reflect the broad, rapid impact of scholarship in this burgeoning ecosystem. We call for more tools and research based on altmetrics.”

Jason Priem, Dario Taraborelli, Paul Groth and

Cameron Neylon, “altmetrics: a manifesto”

altmetrics:

“a criação e estudo de novas métricas baseadas na web social para analisar e informar atividades acadêmicas”

altmetric.org

Indicadores

Bibliometria

Geração de indicadores a partir de dados bibliográficos e de

citação

Altmetria

Geração de indicadores a partir de dados de

ambientes e ferramentas na web

Article-level Metrics (ALM)

• ALM é muitas vezes confundido com altmetrics

• ALM busca medir o impacto de um artigo usando fontes de dados tradicionais e alternativas

• Incorporar fontes de dados alternativas fornece uma imagem mais rica sobre como esse artigo está sendo discutido, compartilhado e usado

ALM vs. altmetrics

ALMs = nível de

agregação de dados

Altmetrics = tipo de fontes

de dados

IMPACTO

USODownloads

VisualizaçõesREVISÃO POR

PARESOpinião de

especialistas

CITAÇÕES

INTERAÇÃOFavoritos

ComentáriosCompartilhamentos

Adaptado de altmetrics.org

Múltiplas dimensões

Métricas alternativas

• Para ser considerado, deve ser medido

• Para ser entendido, deve ser contextualizado

produto

periódico

autor

instituição níveis

O que se mede?

Adaptado de: KONKIEL, S. Altmetrics: A 21st-Century Solution to Determining Research Quality. Online searcher, v. 37, n. 4, p. 10-15, 2013; e TANAMBAUM, G. Article-Level metrics: a SPARC primer. 2013.

Métrica Descrição Fontes

Views / Downloads Downloads ou visualizações na web e em

sites de mídia social

Figshare, Slideshare, Dryad,

Facebook, YouTube, LinkedIn

Shares / Mentions Post público para compartilhar notícias de um

artigo ou resultado de pesquisa

Twitter, Topsy, Facebook,

reddit, artigos de notícias, blog

posts, Google+, YouTube,

Figshare, Mendeley

Saves / Captures Salvo em um site de bookmark social ou

marcado como favorito em um site de mídia

social ou gestor de referência

Mendeley, CiteULike,

Delicious, Github, Twitter, and

Slideshare

Reviews / Social Media Discutido com inclusão de um comentário

adicional

Faculty of 1000 (F1000), blog

posts, comentários de artigos,

comentários no Facebook

Adaptations Criação de trabalhos derivados usando um

artigo ou outro resultado de pesquisa

Github

Cites Citações em literatura acadêmica Pubmed, Scopus, Web of

Science

Métricas de produto

• Métricas de uso:

• Clicks / Visualizações

• Downloads

• Métricas de captura:

• Bookmarks

• Favoritos

• Salvo / Lido

• Menções:

• Blog

• Comentários

• Resenhas

• Mídia social:

• Curtidas

• Compartilhamento

• Tweets

• Pioneira no desenvolvimento e uso de Article-Level Metrics

• ALM disponível para todos os artigos publicados na PLOS. Rastreia

uso, citações e atividade social na web.

• Inclui visualizações em HTML, downloads de PDFs e XML, uso no

PubMed Central, citações em bases de dados e mecanismos de

busca externos (incluindo Google Scholar e Scopus), Facebook,

Twitter, blogs, e comentários no próprio site.

• Monitora a influência dos artigos a curto, médio e longo prazo

• Indicadores: estatísticas de uso, compartilhamentos sociais, bookmarks acadêmicos, citações acadêmicas ou não

• Audiências: público em geral e acadêmico

• Dimensões: atenção, autopromoção e impacto

• Adotada também por outros editores, instituições e publicações (ex: OJS/PKP)

• API permite usar e melhor desenvolver a ferramenta de ALM construída pela PLOS.

• Altmetric.com rastreia menções de produtos científicos em sites de

mídia social, jornais, blogs e outras fontes, e registra a resposta

online a esses produtos

• Empresa com fins de lucro

• Adotada por diversos editores, bases de dados e periódicos

• Altmetric score indica a atenção recebida por um determinado item,

ponderando quantidade e “qualidade” da menção

• Três fatores principais: número de menções, onde foi feita a menção

e frequência de menções do autor

Number = score

Blue = TwitterYellow = blogsRed = news

Altmetric score

Altmetric score

• Maioria dos artigos tem score 0

• Média de 30-40% dos artigos mencionados pelo menos uma vez

• Dados incompletos para artigos publicados antes de julho de 2011

Produtos

• Altmetric Explorer

• Altmetric for Institutions

• API

• Bookmarklet

• Badges

Exemplo com artigo de autores da USP

Prática #1 – Instalar e usar o Altmetric Bookmarklet

Prática #2 – Usar o Altmetric Explorer para descobrir o score de artigos publicados em periódicos da Fiocruz

Métricas de periódico

“Até agora, nenhuma métrica alternativa desafiouseriamente o fator de impacto […]. Dito isso, à medida que[números de] visualizações e downloads de artigos se tornem mais comuns, é possível que métricas de periódicobaseadas em métricas de artigo agregadas comecem a seruma alternativa útil para ver a frequencia com que osusuários estão interagindo com o conteúdo do periódico.”

Roemer & Borchardt, “Meaningful metrics: a 21st-Century Librarian’s Guide to Bibliometrics, Altmetrics and Research Impact

Editores que firmaram parcerias para incluir altmetrics em seus artigos online:

• Elsevier• BioMed Central• Nature• Springer• Emerald• Wiley• EBSCO• High Wire Press • Ingenta• Taylor & Francis

Vantagens para editores

• Revistas focadas em nichos específicos

• Revistas que não possuem cálculo de FI

• Revistas destinadas a um público mais amplo que o acadêmico

• altmetrics podem ajudar a justificar a importância do periódico e necessidade de mais recursos

Métricas de autor

• Funcionam como perfil online do pesquisador

• Permite monitorar e compartilhar suas métricas emdiferentes fontes

• ImpactStory

• PlumX

• ResearchGate score

• ImpactStory é uma ferramenta online que permite aos

pesquisadores descobrir e compartilhar os diversos impactos de

seus produtos de pesquisa, de artigos a posts em blogs,

datasets, softwares, entre outros.

• Voltada para pesquisadores, permite importação de registros de

outros sites e inserção manual de identificadores de artigo/autor.

• Assinatura mensal (US$10) ou anual (US$60)

• Métricas abertas e contextualizadas: classificadas por audiência

e por tipo de engajamento – citações, recomendações,

discussões, etc.

Prática #3 – Criar um perfil no ImpactStory e adicionar seus produtos

de pesquisa

Métricas institucionais

• Mesmo conjunto de dados baseados em métricas de artigo, agregados por instituição

• Segmento com potencial de crescimento, mas ainda com baixa adoção

• PlumX Group Metrics

• Altmetric for Institutions

• Usado por universidades e institutos de pesquisa como um meio

de aferir a produtividade de departamentos e grupos

• Disponível por assinatura. Adquirido pela EBSCO em 2014.

• Inclui métricas relacionadas a produtos, grupos, pesquisadores,

laboratórios, departamentos e publicações.

• Permite que instituições acompanhem a influência de seus

pesquisadores, rastreando mais de 20 diferentes tipos de

'artefatos', incluindo artigos de periódicos, livros, vídeos,

apresentações, trabalhos de conferência, códigos, etc.

for Institutions

• Acesso a toda a base de dados do Altmetric.com em uma interface

semelhante a Altmetric Explorer

• Permite agrupar artigos por autor, departamento ou instituição, usar

filtros e receber alertas

• Disponível somente por assinatura institucional

Enfim...

Prós

• Complemento aos métodos tradicionais de avaliação

• Diversidade: métricas diversas, produtos diversos, captura

múltiplas dimensões do impacto científico

• Velocidade: Apuração quase imediata da atenção recebida por

um trabalho científico

• Colaboração: participação em discussões sobre o artigo em

blogs e sites de mídia social

• Visibilidade: permite acompanhar a repercussão online dos

trabalho e entender melhor sua audiência

• Implementação: dados abertos e múltiplas ferramentas

disponíveis para desenvolvimento

Contras

• Heterogeneidade e efemeridade das fontes, indicadores e ferramentas

• Falta de credibilidade: medida de impacto ou de popularidade?

• Métodos limitados de identificação única de artigos

• Dificuldades técnicas e tecnológicas para implementação

• Direcionamento das fontes de coleta de citações

• Possibilidade de manipulação dos dados

• Necessidade de contexto/significado

• Desafio na adoção e uso por universidades e órgãos de fomento

Para pensar...

• O atual ciclo de pesquisa não termina com a publicação, mas com o compartilhamento e medição do impacto

• altmetrics permitem que o autor/pesquisador/editor veja onde o trabalho está sendo visualizado, compartilhado e discutido na web

• É responsabilidade do autor/editor promover a visibilidade e o uso de seu trabalho

Leitura adicional

Research Impact & Visibility: Traditional and altmetrics

http://libguides.library.uu.nl/researchimpact/altmetrics

Altmetrics in action: examples and feedback from data-savvy researchers

http://www.altmetric.com/blog/altmetrics-in-action-examples-and-feedback-from-data-savvy-researchers/

Exploring altmetrics in an emerging country context

http://figshare.com/articles/Exploring_altmetrics_in_an_emerging_country_context/1041797

Andréa Gonçalves do Nascimento

aandreafg@gmail.com