Indicadores de produção em pesquisa

Solange A. SantanaBiblioteca EEFE-USP

São Paulo2016

Indicadores de Produção em Pesquisa

I Simpósio de Pesquisa Escola de Educação Física e Esporte da Universidade de São Paulo

TÓPICOS


Qualis Periódicos

Fator de Impacto

Altmetrias

Índice H

Considerações


De acordo com a Organização para a Cooperação e Desenvolvimento Econômico (OCDE), indicadores são “uma série de dados definidos para responder perguntas sobre um fenômeno ou sistema dado”.

São variáveis cuja função é descrever e mensurar certas características de um fenômeno ou sistema, utilizando-se dados quantitativos ou qualitativos, verificados por meio da análise do próprio fenômeno ou sistema.



Inseridos no sistema de C&T, segundo a OCDE (1998), os indicadores são

“uma série de dados definidos para responder perguntas sobre o sistema de C&T, sua estrutura interna, sua relação com a economia, o meio ambiente e a sociedade e a medida em que satisfaz as metas daqueles que o administram, trabalham nele ou estão afetados de alguma outra maneira por seus efeitos” (ORGANIZAÇÃO..., p. 80).

O uso de indicadores na área de C&T resulta da busca por uma medição objetiva das diferentes dimensões da ciência.

Eles devem proporcionar a possibilidade de medição das ações que envolvem a geração, difusão, transmissão e aplicação de conhecimentos científicos e tecnológicos, que são relacionadas diretamente com o desenvolvimento científico e tecnológico.


Ohayon (1990), apresenta uma classificação de indicadores.

Neste modelo, são definidos indicadores de:

- Recursos (inputs)- Dinâmica interna (processos)- Resultados diretos (outputs diretos)- Produção (científica e técnica)- Utilização de resultados e de efeitos


A determinação de indicadores de produção é uma tarefa complexa, já que muitos produtos em C&T possuem aspectos intangíveis, o que torna sua quantificação muito difícil. No universo científico, o principal produto é o conhecimento, gerado, transmitido e modificado, com agregação de novas ideias.

-> Indicadores bibliométricos e de patentes

Exemplos: índices de publicações, frequência de citações, impacto científico


-> Sistemas de avaliação da produção em pesquisa, formulados a partir da seleção de um conjunto de indicadores apropriados, a fim de fornecer respostas que justifiquem não somente os recursos financeiros empregados, mas também as escolhas feitas, como as áreas científicas de maior potencial ou regiões mais carentes de desenvolvimento científico e tecnológico.


TÓPICOS


Qualis Periódicos

Fator de Impacto

Altmetrias

Índice H

Considerações

O Qualis-Periódicos é um sistema usado para classificar a produção científica dos programas de pós-graduação no que se refere aos artigos publicados em periódicos científicos.

Tal processo foi concebido para atender as necessidades específicas do sistema de avaliação e é baseado nas informações fornecidas por meio do aplicativo Coleta de Dados. Como resultado, disponibiliza uma lista com a classificação dos veículos utilizados pelos programas de pós-graduação para a divulgação da sua produção.

A classificação é realizada pelos comitês de consultores de cada área de avaliação seguindo critérios previamente definidos pela área e aprovados pelo Conselho Técnico-Científico da Educação Superior (CTC-ES).


Os periódicos são classificados em oito estratos: A1, A2, B1, B2, B3, B4, B5 e C, sendo A1 a classificação mais elevada, enquanto C indica peso zero.

Em geral é utilizado o fator de impacto da base Journal Citation Reports (JCR), da Thomson Reuters.

Para cada área a classificação são adotados critérios específicos e a cada três anos o método de classificação pode ser alterado.



ÁREA 21 - EDUCAÇÃO FÍSICA, FISIOTERAPIA, FONOAUDIOLOGIA E TERAPIA OCUPACIONAL


ÁREA 21 - EDUCAÇÃO FÍSICA, FISIOTERAPIA, FONOAUDIOLOGIA E TERAPIA OCUPACIONAL

TÓPICOS


Qualis Periódicos

Fator de Impacto

Altmetrias

Índice H

Considerações


Em 1955, Eugene Garfield publicou um artigo na revista Science, onde discutiu pela primeira vez a ideia de um Fator de Impacto com base em citações.

Em 1964, ele e seus parceiros publicaram o Science Citation Index (SCI). No mesmo período, Irving H. Sherman e Garfield criaram o Journal Impact Factor (JIF), com a intenção de usá-lo para selecionar revistas para o SCI. Hoje, as ferramentas correspondem ao Journal Citation Reports (JCR) e Web of Science (WoS), da Thomson Reuters.

Atualmente, o JCR abrange cerca de 10 mil periódicos em ciência e tecnologia e cerca de 3 mil periódicos em ciências sociais.

Para o cálculo do Fator de Impacto de um periódico, leva-se em consideração o número de citações recebidas pelos artigos publicados no periódico nos dois (ou cinco) anos anteriores à avaliação, dividido pelo número de artigos publicados no período.

TÓPICOS


Qualis | Qualis Periódicos

Fator de Impacto

Altmetrias

Indicadores de Produção em Pesquisa no contexto da EF

Índice H

Considerações finais


Criado em 2005 por George Hirsch, o índice h visa quantificar a produtividade e o impacto de cientistas baseando-se nos seus artigos mais citados.

O índice h corresponde ao número de artigos com citações maiores ou iguais a esse número.

Uma das principais críticas ao índice diz respeito à ênfase demasiada a um indicador de desempenho, sem levar em conta outros aspectos da produção científica, que poderia induzir universidades e agências de fomento a tomar decisões simplistas ou equivocadas.

Os limites do índice H. Pesquisa Fapesp, p.35-39, 2013. Disponível em: <http://revistapesquisa.fapesp.br/wp-content/uploads/2013/05/035-039_IndiceH_207.pdf>. Acesso em 14 nov. 2016

http://revistapesquisa.fapesp.br/wp-content/uploads/2013/05/035-039_IndiceH_207.pdf



TÓPICOS


Qualis Periódicos

Fator de Impacto

Altmetrias

Índice H

Considerações


As altmetrias ou métricas alternativas podem ser definidas como o estudo e uso de medidas de impacto acadêmico com base na atividade de ferramentas e ambientes online.

Visam medir as diferentes formas e padrões de significado e uso dos produtos científicos, olhando não apenas para a publicação em veículos tradicionais, mas também o processo mais amplo de disseminação em ambientes emergentes (Spinak, 2014).

SPINAK, E. O que podem nos fornecer as “métricas alternativas” ou altmetrias. SciELO em Perspectiva. Disponível em: <http://blog.scielo.org/blog/2014/08/07/o-que-podem-nos-fornecer-as-metricas-alternativas-ou-altmetrias/>. Acesso em: 14 nov. 2016


Hoje, os principais provedores de serviços altmétricos são:

-> Altmetrics.com (Macmillan Publishers): o mais importante provedor com mais de 4.000 clientes e que também usa SciELO para sua coleção de periódicos brasileiros.

-> Impactstory.org (Sloan Foundation).

-> PlumAnalytics.com (recentemente adquirida pela Ebsco).


Exemplo: Altmetrics - SciELO


Adie (2014) aponta que o desafio desta nova ferramenta é que os dados altmétricos são muito transitórios e difíceis de recompilar e, atualmente, não se tem interpretações claras.

-> Ausência de um marco teórico.

ADIE, E. Taking the alternative mainstream. EPI, v. 23, n. 4, p. 349-351, 2014. Disponível em:http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,1,12;journal,1,96;homemainpublications,1,1

>. Acesso em 14 nov. 2016

http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,1,12;journal,1,96;homemainpublications,1,1

http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,1,12;journal,1,96;homemainpublications,1,1

As altmetrias apresentam desafios a equacionar, entre eles:

-> recompilação de dados: cobertura, diferentes idiomas, ambiguidades.

-> epistemologia: qual base teórica poderia ser estabelecida para interpretar os dados obtidos por algoritmos de máquinas para tomada de indicadores consistentes e confiáveis.

-> Se analisarmos a história do desenvolvimento da bibliometria e cienciometria clássica, observa-se que as discussões teóricas para chegar a uma base de consenso de ferramentas e interpretações levaram mais de vinte anos. Ainda assim, um dos indicadores mais utilizados, o Fator de Impacto segue, todavia, levantando suspeitas e resistências.


TÓPICOS


Qualis Periódicos

Fator de Impacto

Altmetrias

Índice H

Considerações


Parâmetro Vantagens Desvantagens

Número total de artigos Mede a produtividade Não mede a importância ou impacto dos artigos/ Publicações fatiadas.

Número total de citações Mede o impacto total do pesquisador

Insuflado por pequeno número de artigos de grande visibilidade / Autocitações / Citações cruzadas.

Citações por artigo Permite a comparação de cientistas

Privilegia a baixa produtividade e penaliza a alta produtividade

Quadro 1 - Vantagens e desvantagens de outros indicadores de produção


Periódico <-> ArtigoMétricas tradicionais <-> Altmetrias

CENÁRIO


CONSIDERAÇÕES

-> Os indicadores apresentam limitações. A combinação de alguns desses, associada à avaliação por pares, é certamente a melhor forma de avaliação objetiva.

-> Os indicadores de produção em pesquisa têm sido utilizados em grande escala para avaliação da produtividade e qualidade de pesquisadores e periódicos. -> Quando empregados como recurso para análise do estágio da produção científica, podem auxiliar a mapear o panorama geral da pesquisa em um determinado país e também identificar o nível de desenvolvimento científico em determinadas regiões, fornecendo uma estimativa aproximada do avanço da pesquisa de modo geral, ou de uma determinada área de conhecimento. -> No Brasil, o grande peso que a produção científica tem na avaliação dos programas “stricto-sensu” também se expande para outras esferas, como as demais atividades de pesquisa e ensino realizadas pelos docentes no cenário universitário. -> Necessidade de analisar as limitações dos indicadores de produção e suas implicações para a avaliação do desenvolvimento da pesquisa nacional.


REFERÊNCIAS

ADIE, E. Taking the alternative mainstream. EPI, v. 23, n. 4, p. 349-351, 2014. Disponível em: <http://elprofesionaldelainformacion.metapress.com/app/home>. Acesso em: 14 nov. 2016

ORGANIZAÇÃO PARA A COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO. Manual de Oslo: la medición de las actividades científicas y técnicas. Caracas: Nueva Sociedad, 1998.

OHAYON, P. Quadro metodológico para implementação de um sistema de indicadores da avaliação na FAPERJ. Simpósio Nacional de Pesquisa em Administração. 20 a 30 de outubro de 1991. Anais... Rio de Janeiro, 1991. p. E 81.

SPINAK, E. O que podem nos fornecer as “métricas alternativas” ou altmetrias. SciELO em Perspectiva. Disponível em: <http://blog.scielo.org/blog/2014/08/07/o-que-podem-nos-fornecer-as-metricas-alternativas-ou-altmetrias/>. Acesso em: 14 nov. 2016

MEADOWS, A. J. A comunicação científica. Brasília: Briquet de Lemos, 1999.

Muito obrigada!

Solange A. SantanaBiblioteca da EEFE-USP

[email protected]

São Paulo2016
