16 Noviembre 2016

Métricas 2.0, Bibliotecas y Bibliotecarios

Isidro F. AguilloCybermetrics Lab. IPP-CSICisidro.aguillo@csic.es@isidro.aguillo

Webinar patrocinadopor Luthiers de Webs

16 Noviembre 2016

Métricas 2.0, Bibliotecas y Bibliotecarios

Isidro F. AguilloCybermetrics Lab. IPP-CSICisidro.aguillo@csic.es@isidro.aguillo

PROGRAMA

Ciencia 2.0 Ciencia abierta: Qué es y por qué es importante

Más y mejor evaluación es necesaria

Métricas 2.0 Más fuentes, nuevas fuentes, indicadores y datos abiertos

Los nuevos bibliómetras: DORA, Manifiesto de Leiden

BibliotecasBibliotecarios

Una advertencia: abandonar el voluntarismo y la improvisación

Servicios y productos: Propuestas prácticas

CIENCIA 2.0

EvaluaciónMétricas 2.0

Nuevos actoresCiencia ciudadana

Nativos digitales

Difuminandolas fronteras entre la

comunicación formal e Informal

Integrandotodo el ciclo de la

investigación y sus actores

Interconectando datos, técnicas,

resultados en abiertoBig Data

Linked Data

Open DataReproducibilidad

Acceso AbiertoTransparencia

MÉTRICAS 2.0• Licencias flexibles• Integradas: CRIS o similarAbiertas

• Bibliométricas• No bibliométricasNuevas fuentes

• De las JLM a las ALM• Perfiles

Cambio de paradigma

• “Size independent”• La nueva autoríaMás indicadores

CAMBIO DE PARADIGMA

• Factor de Impacto

• SJR/SNIP

JLMMÉTRICAS DE

REVISTAS

• Citas• Alt-metrias• Uso

ALMMÉTRICAS DE

ARTÍCULOS • Autores• Instituciones

PERFILES

CAMBIO DE PANORAMA: NUEVAS FUENTES, OTRAS FUENTES

Visitantes Ranking Web of Universities

NUEVOS INDICADORES (I)

http://www.biblioteconomia-documentacion-española.infoec3.es/layout.php?id=autores

NUEVOS INDICADORES (II)

http://www.scholar-mirrors.infoec3.es/layout.php?id=authors

SUPERANDO EL “PUBLICA O PERECE”

Excelencia Más calidad, menos cantidad

Incrementar la visibilidad para aumentar el impacto

Publicar en abierto Discriminación positiva

También datos, herramientas, “peer review”, información adicional

Supremacía de la cita entre pares

Incluso órdenes de magnitud respecto a otros indicadores

Por que hay que cuestionar algunas Altmétricas (no todas)

RECONOCIENDO NUEVOS TIPOS DE AUTORÍA

Autor Líder y liderazgo

Otros roles: co-autoría, recolector y/o analista de datos, técnico, …

Contribuciones “informales”: Divulgador, desarrollador de software, …

OtrosAutores

Evaluador (sensu lato, no solo revisor de trabajos)

Editor de productos y servicios métricos (bibliómetra, …)

Gestor (proyectos, redes, editor, repositorios, tutor, …)

OtrasActividades Fuera de la academia (impacto social, cultural, político, económico,

medioambiental,…)

UN AUTOR ES UN AUTOR, UNA CITA ES UNA CITA

INFORME

LIBRO

PRE-PRINT

INFORMECITAS

EL BIBLIOTECARIO Y LAS MÉTRICAS

DORA

Leiden Manifesto

Los bibliotecarios son la mayor comunidad

bibliométrica

DORA y MANIFIESTO DE LEIDEN

http://www.ascb.org/dora/

http://www.leidenmanifesto.org/

PRODUCTO COMO SERVICIO

Abandonar improvisación

Conocer demandas específicas de usuarios (“bottom-up”). Ejemplos: - Edad académica (solicitada por investigadores junior) - Género (necesario para estimar y paliar brechas)Necesidades de evaluación (“top-down”). Ejemplos: - Normalización (identificadores “forzados”) - Impacto, visibilidad, excelencia (más y mejores indicadores)

Diseñar un proceso Esfuerzo colectivo (incluyendo cooperación exterior: redes)

Abierto al exteriorAbierto a distintos niveles de edición - Super-usuarios y usuarios finales

ADVERTENCIAS CONTRA …

Voluntarismo Servicios individualizados, muy exigentes en recursos

Criterios cambiantes, errores sistémicos

Indicadores compuestos Conocimiento experto para designar componentes y pesos

Terceras partes sesgadas y opacas

Soluciones “in-house” Estabilidad dificulta evolución

Software propio (lento desarrollo) vs externo (inflexible, caro)

INTEGRACIÓN

Servicios propios

Control de fuentes, variables y productos/servicios finales

Control de calendarios

Fuentes propias Acceso a información privilegiada

Control de calidad por usuario final

Proveedores externos Negociar licencias personalizadas

Disponibilidad de APIs

MENDELEY (& SCOPUS) API

BUENAS PRACTICAS

CRIS Servicio en abierto permanentemente actualizado,

..que recoja toda la actividad

..y su impacto

Perfiles Autores: Portafolio 2.0 abierto al interesado

Grupos

Métricas Varias fuentes, múltiples indicadores

Indicadores relativos (niveles local, disciplinar, geográfico)

EL FUTURO ES CRIS …

UN MODELO BÁSICO

Aspectospersonale

sIdentificador

Edad académica

Disciplina

Género

Perfil de actividad

Liderazgo

Índice de co-autoría

% cooperación internacional

Resultados

Excelencia(top 10, 5 o 1%)

Primer Cuartil

Índice h(y/o familia)

Otrospatentes, …

Impacto

Total de citas

% Autocitas

Altmétricas

VISUALIZACIONES

Datos Histogramas, Diagramas de lineas

Radar

Mapas

Perfiles Redes de coautorías

Redes de citaciones, menciones, enlaces

Temas Mapas conceptuales

Nubes de tags

CRIS VISUAL

http://repo.bg.pw.edu.pl/index.php/en/

VISUALIZACIONES RADAR

https://www.elsevier.com/__data/assets/pdf_file/0016/53026/Elsevier_BIS_2013_web_Dec2013-2.pdf

INDICADORES RELATIVOS

Isidro F. Aguillo 56 432 7.71 2 (h>=38)Autor/Disciplina-País 2.2% 3.8% 105% 5.3%

PERFILES: IMPACTSTORY

ALTMETRIC≠ALTMETRÍA

MÁS INDICADORES: PLUM

DECISIONES CUESTIONABLES (O NO)

SUGERENCIAS

Controversia Mantener CRIS y Repositorios conectados, pero independientesPromover anonimización de perfiles en informes de evaluación

Estándares Aceptables: Identificadores (ORCID)Necesarios: DOIInnecesarios: Handle

Privacidad Compromiso institucional e individual

RESUMIENDOProductos y Servicios

Métricos deben serPÚBLICOS y ABIERTOS

El bibliotecario debe abandonar labores

oportunistas, individualistas y

voluntaristasen favor de

sistemas integrados, exhaustivos, actualizados,

rigurosos, interactivos, como los CRIS

FUENTES eINDICADORES

Abandonar monopolios de fuentes incompletas

y/o sesgadasConstruir perfiles con descripciones tanto cualitativas como

cuantitativasRedefinir y ampliar autoría e impacto

Introducir indicadores relativos

CIENCIA 2.0necesita

MÉTRICAS 2.0

Bibliotecarios académicos

son ya la comunidad (biblio)métrica más

numerosa e importante

Deben asumir roles más importantes en los

procesos de evaluación

http://socialbiblio.com info@socialbiblio.com

SaCSbeoAAAAJ 124106

isidro-f-aguillo

A-7280-2008

0000-0001-8927-4873

IsidroAguillo

3481717

@isidroaguillo

6507380175

¡MUCHAS GRACIAS!