Avaliação da produção científica brasileira: contextualização e indicadores Rogério Mugnaini Workshop Fiocruz, 16 de nov. de 2010

Workshop Fiocruz, 16 de nov. de 2010

Avaliaçãoda produção científica brasileira:

contextualização e indicadores

Rogério Mugnaini


Sumário

• Contexto– Fluxo da Comunicação Científica

divulgação > publicação > avaliação

• Caminhos... (indicadores são suficientes?)– Artigo científico

prioridade > evolução do processo de avaliação

– Periódico científicofunções > categorias > níveis > avaliação

– Bases de dadoscritérios > características > usos > repercussões

– Indicadoreslimitações (bases de dados, periódicos, audiência) > diversidade das

áreas

Novo

conhecimento

Div

ulga

ção

Aceitação pela com

unidade científica

Acei

taçã

o

Fluxo da Comunicação Científica: divulgação

(Noronha, 2010)

NOVO CONHECIMENTO

COMUNICAÇÃO

INFORMAL

e FORMAL

INDEXAÇÃORECUPERAÇÃODIVULGAÇÃO

PESQUISADOR

CONHECIMENTOINTERESSE

ESCOLHA/DELIMITAÇÃO

TEMA

BUSCAREDAÇÃO

•correspondências•contatos pessoais•colégio invisível•reuniões•comun. em congressos

•e-mail•grupo de discussão•chat•teleconferência•open archives

Buy

Sm

artD

raw

!- p

urch

ased

cop

ies

prin

t thi

s

docu

men

t with

out a

wat

erm

ark

.

Vis

it w

ww

.sm

artd

raw

.com

or

call

1-8

00-7

68-3

729

.

Buy

Smar

tDra

w!-

purc

hase

d co

pies

prin

t thi

s

docu

men

t with

out a

wat

erm

ark

.

Visi

t ww

w.s

mar

tdra

w.c

om o

r cal

l 1-

800-

768-

3729

.

Buy SmartDraw!- purchased copies print this

document without a watermark .

Visit www.smartdraw.com or call 1-800-768-3729.


document without a watermark.

Visit www.smartdraw

.com or call 1-800-768-3729.

Buy SmartDraw!- p

urchased copies print this

document without a waterm

ark.

Visit www.smartd

raw.com or call 1-800-768-3729.

Buy S

martD

raw!- purchased copies print this

document w

ithout a waterm

ark.

Visit w

ww

.smartdraw

.com or call

1-800

-768-3729

.


document without a watermark.

Visit www.smartdraw.com or call 1-800-768-3729.

Buy Sm

artDraw

!- purchased copies print this

document w

ithout a waterm

ark.

Visit ww

w.sm

artdraw.com

or call 1-800-768-3729.

Bibliotecas

Sistemas de

Informações

•Impressa

•eletrônica

•livros•periódicos•anais de congressos•relatórios técnicos•revisões de literatura•bibliografias•teses e dissertaçãoes

•documentos (artigos, livros, teses etc.)•eletrônicos-textos integrais na Internet

• bases de dados (referenciais, bibliográficas, texto completo... • open access • bibliotecas virtuais

•adequado/capacitado•tempo/recurso•material disponível•assuntos não esgotados

“BRAINSTORM”Para quem? O quê? Como?

•seleção de fontes (prim. sec.)•base de dados refer./textuais•localização/obtenção doc.•apontamentos

INPUT

‘

OUTPUT

(Noronha, 2010)

Fluxo da Comunicação Científica: publicação

Progs. Pós-Grad

Periódicos

Artigos

Fluxo da Comunicação Científica : avaliação


PCT

Base de dados

Periódicos

Caminhos....?


O fluxo da comunicação científica está conformado pela PCT!

O sistema de avaliação top-down precisa de uma reação botton-up!!!

Os indicadores precisam ser contextualizados, ou até mesmo

substituídos!!!

Progs. Pós-Grad

Periódicos

Artigos

Fluxo da Comunicação Científica : avaliação

Periódicos

Bases de

dados

Pol. Cient.

e Técn.


Caminhos....?


Se a PCT precisa de orientação, estamos falando de orientar pessoas!

Pessoas que compõem as comissões de área.

As revistas têm história, são instituições estabelecidas do sistema de C&T.

Mas, e os indicadores? São sensíveis às especificidades das áreas e à história das revistas?

De que maneira as bases de dados contribuem com os periódicos?

Artigo científico: prioridade


A adoção do artigo como principal veículo para comunicação científica se apóia na certificação dos pares, que acompanhou as primeiras publicações desde sua instituição. Os árbitros por pertencerem à mesma área de conhecimento são tidos como hábeis no julgamento, conforme critérios estabelecidos pela própria comunidade.

Spagnolo (apud DAVYT; VELHO, 2000) afirma que esse processo se adequou perfeitamente à estrutura de autoridades científicas por ter sido formado por ela mesma, mas que realiza a difícil tarefa de ligar a descoberta científica ao programa de recompensa e recursos (CHUBIN; HACKETT apud DAVYT; VELHO, 2000).

Análise por pares• Desde 1945

• Micro análises

• Custo elevado

• Informação dispendiosa

• Subjetividade (influência pessoal)

Análise quantitativa• Década de 70

• Macro análises

• Bases de dados

• Informação disponível

• Redução (perda de informação)

(Martin, 1996; Holbrook, 1992; Bordons e Zulueta, 1999; Davyt e Velho, 2000)

Artigo científico: evolução do processo de avaliação


Periódico científico: funções

Funções do periódico científico (MULLER, 1999):estabelecimento da ciência "certificada";canal de comunicação entre os cientistas e de divulgação mais ampla da

ciência;arquivo ou memória científica, e; registro da autoria da descoberta científica.

“El desempeño de estas funciones permiten la construcción, difusión y depuración del conocimiento científico, con lo cual las publicaciones periódicas se convierten en el ejemplo más representativo de que la "ciencia se nutre de la ciencia" (Ríos, 2000 apud LÓPEZ ORNELAS; CORDERO ARROYO, 2005)


Periódico científico: categorias


Limitação geográfica e suas categorias (BARBALHO, 2005):

Internacionais: publicações que disseminam resultados de

pesquisas de interesse da comunidade científica internacional;

Nacionais: títulos que divulgam resultados de pesquisa de

interesse nacional e regional;

Locais: publicações que atendem e divulgam resultados de

pesquisas de determinadas instituições ou comunidades

científicas, objetivando assegurar a memória institucional.

Periódico científico: níveis


Day (1998) divide os periódicos em três níveis: (apud LÓPEZ ORNELAS; CORDERO ARROYO, 2005)

Publicações sob responsabilidade de associações científicas reconhecidas pela comunidade

internacional. Estas publicações normalmente contam com cotas de seus sócios, deste modo

os seus custos são menores (inclusive para assinaturas) e as mesmas têm maior presença;

Publicações editadas e comercializas por grandes editores internacionais. Este respaldo eleva

seus custos, inclusive para submissão de textos, mas apresentam como principal vantagem a

grande circulação, e conseqüentemente impacto;

Publicações sob responsabilidade de instituições públicas, e o maior exemplo deste caso são

as publicações vinculadas as universidades. Estas, devido a sua dependência lógica a estrutura

administrativa das instituições a que pertencem são as que apresentam os maiores

problemas, como dependência e restrições a verbas, trocas de funcionários, problemas de

divulgação e distribuição, entre outros que afetam principalmente a periodicidade destes

periódicos.

Periódico científico: avaliação


O modo pelo qual a natureza gradual da classificação de periódicos foi substituída por um discurso baseado em uma

divisão faz parte da transformação da natureza do poder científico. Devido à distinção entre nacional e internacional,

a estrutura hierárquica dos periódicos científicos é uma hierarquia de dois níveis. No topo impera um único conjunto

de periódicos; abaixo da divisão estão conjuntos de periódicos que desfrutam de diversos graus de visibilidade

ou, devo dizer, invisibilidade (GUÉDON, 2010, p.5)

Bases de dados: critérios


A constituição de uma base de dados de revistas, considerando o crescimento contínuo do número de revistas científicas, implica, por sua vez, não apenas a reunião, mas seleção de um determinado grupo de revistas.

Tal seleção deverá considerar características de:

• Qualidade científica, • Qualidade editorial,• Periodicidade, • Normalização.

Estes e outros critérios são considerados para definição de uma coleção, que traz em si mesma um objetivo específico.

• Concepção– Bases bibliográficas - recuperação da informação

• Seleção– Temáticas - multidisciplinares - internacionais / locais

• Avaliação– Ingresso - permanência

• Cobertura

Bases de dados: características


Indicadores: limitações das bases de dados

Posições das formas citadas referentes ao título da revista Memórias do Instituto Oswaldo Cruz no ranking da base SciELO Brasil, considerando todos os anos

Mugnaini (2006)

Posição no

ranking de títulos corrigido

s Título padronizado Nº de citações

1MEMORIAS DO INSTITUTO OSWALDO

CRUZ 4.654Posição

no ranking

sem correção Título citado Nº de citações

6 MEM INST OSWALDO CRUZ 2.712

37MEMORIAS DO INSTITUTO OSWALDO

CRUZ 1.127122 MEM. INST. OSWALDO CRUZ 581

6.074 MEM. INST. OSWALDO CRUZ. 126.479 MEMS INST. OSWALDO CRUZ 116.709 MEM INST OSWALDO CRUZ 94 (SUPPL. 107.408 MEMORIAS INSTITUTO OSWALDO CRUZ 97.494 MEMORIAS DO INSTITUTO OSWALDO 9

7.512MEMORIAS DO INSTITUTO OSVALDO

CRUZ 9

9.309MEMORIAS DO INSTITUTO OSWALDO

CRUZ, 79.697 MEM.INST. OSWALDO CRUZ 6

10.687 MEM. I. OSWALDO CRUZ 610.951 MEM INS OSWALDO CRUZ 611.087 MEM INST OSWALDO CRUZ 93 (SUPPL. 5


CRUZ, RIO DE JANEIRO 5


CRUZ 94 (SUPL 513.101 MEM INST OSWALDO CRUZ 91 413.601 MEM INSTITUTO OSWALDO CRUZ 413.677 MEM INST OSW CRUZ 413.779 MEM INST OSWALDO CRUZ 413.844 INST OSWALDO CRUZ 414.390 MEM. DO INST. OSWALDO CRUZ 414.988 MEM INST. OSWALDO CRUZ 415.275 MEM INST OSWALDO 416.604

–19.803 6 variações com freqüência 3 1821.921

–30.140 16 variações com freqüência 2 3231.211

–84.790 52 variações com freqüência 1 52

Total 4.654

Indicadores: limitações dos periódicos


Núcleo de Bradford no tema “epidemiologia” na base Medline.

(Mugnaini et al., 2009)

Total de artigos Autores AL&C

1992-19961997-20012002-20061992-19961997-20012002-2006

1a zona 73 81 115 8 8 14

Total 3,822 3,955 4,362 303 439 777

# of journals

Indicadores: limitações dos periódicos


País de afiliação e país de publicação no tema “epidemiologia” na base Medline (Mundo, AL&C e 10 países mais produtivos AL&C).


0% 20% 40% 60% 80% 100%

World

LA&C

Brazil

Jamaica

Mexico

Chile

Venezuela

Argentina

Colombia

Peru

Uruguay

Cuba

Domestic LA&C* SPAIN UNITED STATES ENGLAND other

Indicadores: história dos periódicos


Consumo de informação, pela Revista de Saúdo Pública – período de 1967-2006.


(Mugnaini & Población; 2007)

0%

25%

50%

75%

100% rev_ISI

rev_SciELO/ISI

rev_SciELO

rev_outr

rev_BRA

livro_outr

livro_cap

livro

anais

tese

SciELO Brasil: Coleção com100% de revistasBrasileiras (150)

?6 mil

Tamanho da audiência potencial

MacRoberts; MacRoberts, 1996

Indicadores: limitações da audiência


Gráfico AA1: Citações a 39 revistas SciELO (Ciências da Vida) - ano de

2004

spmj

rlae

rimtsp

rhc

rsp

rn

rsbmt

ramb rbp

rboto rbhh

rbgo rbepid

rbb

rb

ne

mioc jped

jbpml

isz

hb

hcsm gmb

csc

csp

bjpp

bjm bjmbr

bjid bjb babt

anp

ag

abo

abem

abc

aabc

acb

abb

citsAll_ISI

FI_ISI

IndInf_ISI

IndInf

0

citsAll

0

FI

0

-0,7

-0,35

0

0,35

0,7

1,05

-0,25 0 0,25 0,5 0,75 1

3

1

2

4

Fator 1

Fator 2

Mugnaini (2006)


Grupo 2 (citado)

Colaboração (artigo citado) Total

Nacional Internacional Autor único Sem identif.

País de afiliação (autor citante)

Freq. % Freq. % Freq. % Freq. % Freq. %

Brasil 1.766 36,4 631 14,3 100 18,2 365 50,8 2862 27,2 Estados Unidos 872 18,0 1.007 22,8 105 19,2 70 9,7 2054 19,5 Inglaterra 200 4,1 276 6,2 30 5,5 34 4,7 540 5,1 França 224 4,6 244 5,5 25 4,6 31 4,3 524 5,0 Alemanha 187 3,9 226 5,1 34 6,2 16 2,2 463 4,4 Argentina 101 2,1 172 3,9 9 1,6 21 2,9 303 2,9 Espanha 109 2,2 123 2,8 26 4,7 11 1,5 269 2,6 Canadá 99 2,0 121 2,7 17 3,1 13 1,8 250 2,4 Japão 75 1,5 113 2,6 18 3,3 8 1,1 214 2,0 Itália 87 1,8 72 1,6 22 4,0 7 1,0 188 1,8 Austrália 78 1,6 88 2,0 3 0,5 12 1,7 181 1,7 Venezuela 56 1,2 83 1,9 10 1,8 10 1,4 159 1,5 México 69 1,4 78 1,8 6 1,1 6 0,8 159 1,5 Suíça 56 1,2 68 1,5 3 0,5 8 1,1 135 1,3 Colômbia 28 0,6 71 1,6 8 1,5 7 1,0 114 1,1

Subtotal 4.007 82,6 3.373 76,4 416 75,9 619 86,2 8415 79,9 Outros 843 17,4 1.044 23,6 132 24,1 99 13,8 2118 20,1

Total 4.850 100,0 4.417 100,0 548 100,0 718 100,0 10533 100,0

Citações internacionais a revistas SciELO, segundo país de afiliação dos autores citantes e tipo de colaboração do artigo citado Mugnaini (2006)

Indicadores: diversidade das áreasCitações internacionais a revistas SciELO, segundo país de afiliação dos autores citantes e tipo de colaboração do artigo citado

(Mugnaini, Meneghini & Packer, 2007)

book

thesis

Agricultural Sciences

Applied Social Sciences

Biological Sciences

Engineering

Exact and Earth Sciences

Health Sciences

Human Sciences

Linguistics, Letters and

Arts

article

proceedings

-1

-0,5

0

0,5

1

1,5

2

-1,5 -1 -0,5 0 0,5 1 1,5 2

Factor1

Fac

tor2

Indicadores: diversidade das áreasDistribuição dos pesquisadores brasileiros, segundo tendência de publicação nacional/internacional (fonte: Plataforma Lattes) (Leite, Mugnaini & Leta; 2009)

0% 20% 40% 60% 80% 100%

Earth Sciences

Biology

Engineering

Health Sciences

Agriculture

Humanities

Social Sciences

Linguistic and Arts

Int Mostly Int Nat_Int Mostly Nat Nat

Indicadores: diversidade das áreas

Comparação do índice h dos pesquisadores das academias de ciência do Brasil e EUA, segundo área

(Mugnaini, R.; Packer, A.L.; Meneghini, R., 2008)

Caminhos....!!!


Se a PCT precisa de orientação, estamos falando de orientar pessoas!

Pessoas que compõem as comissões de área.

As revistas têm história, são instituições estabelecidas do sistema de C&T.

Mas, e os indicadores? São sensíveis às especificidades das áreas e à história das revistas?

De que maneira as bases de dados contribuem com os periódicos?

Obrigado !!!

Rogério Mugnaini

[email protected]

mailto:[email protected]

Documents

Avaliação da produção científica brasileira: contextualização e indicadores Rogério Mugnaini Workshop Fiocruz, 16 de nov. de 2010