Indicadores em escala nacional:discussão conceitual e possibilidades

para a PC&T brasileira

Rogério Mugnaini

Indicador: definições

Indicadores proveem informação indireta do fenômeno ou evento a que eles estão

aplicados. Um indicador é uma medida de um item usado para prover informação de outro, item imensurável (STEAD apud HOLBROOK,

1992, p. 264).

Indicador: definições

Chaparro (1996) explica que indicadores complementam estatísticas (medidas

estáticas), ao passo que focam a dinâmica do processo de desenvolvimento da C&T a partir da análise conjunta de variáveis e verificando

sua influência no processo.

Indicador: definições

Mais precisamente, um indicador em C&T é, em analogia a um indicador social ou econômico, uma medida em geral quantitativa usada para

substituir, quantificar ou operacionalizar dimensões relacionadas à avaliação do

processo e grau de desenvolvimento científico e tecnológico (JANNUZZI, 2001 e 2002).

Indicadores e as políticas nacionais

(Mugnaini et al., 2004)

Indicadores de C&T propostos no PADCT III

Cadeia de avaliação dos esforços e resultados de PC&T

(Mugnaini et al., 2004)

Princípios do indicador

Excellence in Research for Australia

(AUSTRALIAN RESEARCH COUNCIL, 2008)

Princípios dos indicadores

1. Quantitativo

– Medidas objetivas com metodologia definida que produzirá

resultados sempre confiáveis, independente de quando ou por quem

os princípios são aplicados;

2. Reconhecido internacionalmente

– Considerando que nem todos os indicadores permitirão

comparabilidade internacional direta, os mesmos devem ser medidas

de qualidade de pesquisa reconhecidas internacionalmente;

(AUSTRALIAN RESEARCH COUNCIL, 2008)

Princípios dos indicadores

3. Comparável a indicadores usados por outras áreas

– Devem ser capazes de identificar níveis comparáveis de

qualidade de pesquisa entre as áreas;

4. Capaz de ser usado para identificar excelência

– Devem ser capazes de avaliar a qualidade da pesquisa,

e quando necessário, focado em identificar excelência;

(AUSTRALIAN RESEARCH COUNCIL, 2008)

Princípios dos indicadores

5. Relevante para pesquisa

– Devem ser relevantes à componente de pesquisa de

qualquer disciplina;

6. Reprodutível e verificável

– Devem ser baseados em metodologias transparentes e

disponíveis publicamente, ao ponto de instituições

poderem reproduzi-los por si mesmas;(AUSTRALIAN RESEARCH COUNCIL, 2008)

Princípios dos indicadores

7. Temporal

– Devem ser específicos a um período de tempo particular

conforme o período de referência;

8. Impacto contextual

– Devem sugerir respostas/conclusões numa direção desejável

e não resultar em consequências perversas indesejáveis;

– Devem limitar seu escopo para impedir que grupos de

interesses ou indivíduos manipulem o sistema a seu favor.(AUSTRALIAN RESEARCH COUNCIL, 2008)

O que se deve esperar dos indicadores

Van Raan (1993) elenca alguns grupos de problemas metodológicos:

Validade e confiança relacionadas à: • Aplicabilidade - A espera de que os indicadores sanem as necessidades

dos usuários e que eles meçam o que foram designados para medir, se referindo a validade. Na questão da segurança, espera-se que eles produzam os mesmos resultados quando recalculados. Diferenças podem advir de bases de dados utilizadas para construção dos indicadores.

• Precisão e significância estatística de valores numéricos calculados e, em particular, de tendências de indicadores; e relatividade - Não há um padrão para comparação dos indicadores. Não se sabe o significado de magnitudes altas ou baixas (o autor diz que uma solução prática é a comparação com a média mundial, por exemplo).

Fonte de dados dos indicadores cientométricos

• Tipos de fontes de informação:

– Bases de dados de periódicos;

– Bases de dados de currículos;

– Sistemas de bases de dados institucionais;

– Bases de dados das agências de fomento.

Bases de dados de periódicos Vantagens

o Agregação de periódicos; o Estabelecimento de parâmetros de qualidade,

proporcionando benchmarking; o Garante as informações do artigo.

Desvantagens o Seu escopo de ação não chega ao nível dos autores; o Não garante a informação de autoria, nem mesmo das

referências bibliográficas do artigo.

Iniciativas o Author finder (Web of Science): efetiva, mas para buscas

pontuais; o Researcher and Contributor ID (Orcid): recente e

promissora.

Bases de dados de currículos Vantagens

o Contempla a produção do autor; o Contempla os vários tipos de documento; o Agrega outras informações sobre a carreira acadêmica

(bancas, orientações, projetos, cargos administrativos, atividades de extensão).

Desvantagens o Veracidade/validação da informação (auto-

preenchimento); o Informação incorreta.

Iniciativas o Crescente utilização em estudos cientométricos, vindo a

ser conhecida mundialmente; o Script Lattes.

(SILVA & SMIT, 2009)

(LANE, 2010 , p.489)

Sistemas de bases de dados institucionais

Vantagens o Contempla a produção do autor; o Garante a utilização de dados da carreira acadêmica; o Possibilita a análise das condições de trabalho.

Desvantagens o Depende da iniciativa do pesquisador; o Limita-se aos dados do currículo, que são auto-

preenchidos.

Iniciativas o Integração com a Plataforma Lattes.

Bases de dados das agências de fomento

Vantagens o Seleciona a produção da pós-graduação; o Permite identificar a área de atuação do pesquisador,

assim como a linha de pesquisa; o Possibilita a análise da comunidade científica nacional.

Desvantagens o Limita-se aos dados do currículo, que são auto-

preenchidos.

Iniciativas o Coleta Capes.

Possibilidades para a consolidação das fontes

• Identificação de bancos de autoridade de cada fonte de informação;

• Integração de informações dos diferentes sistemas, de modo a minimizar vieses;

• Definição de aspectos do Sistema de C&T a se mensura;

• Proposição, teste e validação de indicadores.

Referências bibliográficas• AUSTRALIAN RESEARCH COUNCIL. ERA Indicator Principles. Canberra: Commonwealth of

Australia, 2008. http://www.arc.gov.au/pdf/ERA_Indicator_Principles.pdf Accessed 10 March 2009

• CHAPARRO, F. Introduction: some reflections on science and technology indicators. Research Evaluation, v. 6, n. 3, p. 175-178, 1996.

• HOLBROOK, J. A. D. Why measure science? Science and public policy, vol. 19, n. 5, p. 262-266, out. 1992.

• JANNUZZI,P.M. Indicadores Sociais no Brasil: conceitos, fontes de dados e aplicações. Campinas: Ed. Alínea, 2002. 141 p.

• JANNUZZI,P.M. Considerações sobre o uso, mau uso e abuso de indicadores sociais na avaliação de políticas públicas municipais. Revista de Administração Pública, Rio de Janeiro, v.36, n.1, p.51-72, 2002.

• Lane, J. Let´s make science metrics more scientific. Nature, v. 464,p. 488-489, 2010.• MUGNAINI, R.; JANNUZZI, P.; QUONIAM, L. Indicadores bibliométricos da produção científica

brasileira: uma análise a partir da base Pascal. Ciência da Informação, Brasilia, v. 33, n. 2, p. 123-131, 2004

• SILVA, F. M.; SMIT, J. W. Organização da informação em sistemas eletrônicos abertos de Informação Científica & Tecnológica: análise da Plataforma Lattes. Perspectivas em ciência da informação. 14: 77-98, 2009.

• VAN RAAN, A. F. J. Advanced bibliometric methods to assess research performance and scientific development: basic principles and recent practical applications. Research Evaluation, vol. 3, n. 3, p. 151-166, dez. 1993.

Obrigado!

Rogério Mugnainimugnaini@usp.br