27
A avaliação de A avaliação de propostas em propostas em Psicologia e o CA do Psicologia e o CA do CNPq: critérios, CNPq: critérios, resultados, problemas resultados, problemas e perspectivas e perspectivas Maria Lucia Seidl de Moura Maria Lucia Seidl de Moura UERJ UERJ

A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

Embed Size (px)

Citation preview

Page 1: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

A avaliação de A avaliação de propostas em propostas em

Psicologia e o CA do Psicologia e o CA do CNPq: critérios, CNPq: critérios,

resultados, problemas resultados, problemas e perspectivase perspectivasMaria Lucia Seidl de MouraMaria Lucia Seidl de Moura

UERJUERJ

Page 2: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

2

O desenvolvimento e a O desenvolvimento e a aplicação de critériosaplicação de critérios

Trabalhos anteriores às reuniões:Discussão via internet de critérios, suas vantagens e problemas.Análise dos critérios das diferentes áreas.Levantamento de dados nos Currículos dos pesquisadores do sistema pelos técnicos do CNPq, a partir das indicações do CA.Preparação de fichas individuais.Levantamento e análise da produtividade.Informações sobre a demanda e propostas da reunião.

Page 3: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

3

Durante as reuniõesDurante as reuniõesDiscussão inicial a partir da síntese das discussões via e-mail.Trabalho em duplas ou pequenos grupos.Reuniões para discussão dos julgamentos que estão sendo feitos, calibramento, e primeiras sugestões de parecer. Reunião final de relato caso a caso, discussão e decisão sobre parecer (favorável ou desfavorável) a partir de critérios de qualidade da proposta e produtividade do solicitante.Estabelecimento de hierarquia de prioridades, a partir de critérios definidos.

Page 4: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

4

O bolsista de produtividade na área de O bolsista de produtividade na área de psicologia: dpsicologia: definição de perfis e critérios de efinição de perfis e critérios de

enquadramentoenquadramentoRequisito fundamental para ingresso e

manutenção no sistema de bolsistas de PQ

Mérito técnico-científico do projeto de pesquisa,

avaliado com base nos pareceres dos consultores ad hoc.

Page 5: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

5

Relevância científica, originalidade, avanço em relação a trabalhos anteriores e coerência com linha(s) de pesquisa do pesquisador.Amplitude e atualidade da revisão da literatura.Consistência da fundamentação teórica.Rigor e explicitação do planejamento metodológico.Coerência entre os elementos técnicos (objetivos, metas, cronograma e recursos).

Indicadores para a avaliação do mérito do projeto

Page 6: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

6

Dimensões para avaliação do ingresso, permanência e

enquadramento do bolsista:

a produção científica (publicações); a contribuição para a formação de recursos humanos (orientações); a inserção na área de conhecimento (atuação voltada para a coletividade, em atividades relevantes para o desenvolvimento científico da Psicologia, que extrapolam os níveis individuais de produção).

Page 7: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

7

Indicadores e escores Indicadores e escores de produtividadede produtividade

Produção científica:Produção científica: Peso 6, no escore geral de produtividade

artigos publicados em periódicos livros (autoria, co-autoria, organização) e capítulos de livros; (considerando-se indicadores como a abrangência nacional da editora, existência de corpo editorial ou processo editorial; quantidade de artigos em uma mesma obra organizada pelo pesquisador).trabalhos completos publicados em anais de congressos (nacionais e internacionais, com avaliação de mérito e com número de páginas que o diferenciam de um resumo expandido)     

Page 8: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

8

OrientaçõesOrientações:

Peso 4, no escore geral de produtividade

Iniciação científica;

Mestrado;

Doutorado

Page 9: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

9

Inserção na área:Inserção na área:Participação em diretorias de sociedades científicas;Participação em comitês de agências de fomento;Participação em corpo editorial de periódicos qualificados;Assessoria para agências de fomento;Editoria de periódicos científicos;Parceria em equipes de pesquisa nacionais e/ou internacionais;

Page 10: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

10

Participação regular em eventos nacionais e internacionais como convidado para proferir conferência, coordenar mesa ou simpósio;

Organização de eventos científicos de relevância;

Participação como membro externo em bancas de mestrado e doutorado;

Coordenação de GT em congressos da área.

Page 11: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

11

Categoria IICategoria IIPesquisador doutor, titulado no mínimo há dois anos, que acumulou, ao longo dos últimos cinco anos, uma produção científica regular que se traduz em publicações em periódicos qualificados (nacionais ou internacionais), presença nos principais eventos científicos da área/subárea, com apresentação de comunicações registradas sob a forma de resumos e/ou trabalhos completos. Esse pesquisador revela estar dando continuidade às investigações iniciadas durante o seu curso de doutorado, quando pertinente.

Page 12: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

12

Pesquisador II (cont.)Pesquisador II (cont.)Tal continuidade deverá evidenciar os passos iniciais da construção de uma linha de pesquisa promissora e relevante para a área/subárea. O pesquisador deverá nuclear alunos de iniciação científica e, com eles, apresentar trabalhos em eventos científicos. Quando a instituição oferecer curso de pós-graduação stricto sensu, deverá estar orientando dissertações. Os patamares médios de produção do grupo de pesquisadores II, atualmente no sistema do CNPq, encontram-se na Tabela anexa.

Page 13: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

13

Categoria I - Nível DCategoria I - Nível DPesquisador, titulado no mínimo há cincocinco anos, que acumulou uma produção científica regular que se traduz em publicações em periódicos qualificados (nacionais ou internacionais), presença nos principais eventos científicos da área/subárea, com apresentação de comunicações registradas sob a forma de resumos e/ou trabalhos completos, quando for o caso. Esse pesquisador revela estar construindo uma linha de pesquisa consistente, com projetos que trazem avanços consecutivos a estudos que foram realizados.

Page 14: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

14

A consolidação dessa linha de pesquisa é o principal fator que diferencia este pesquisador do pesquisador nível II. Deverá estar liderando ou co-liderando grupos de pesquisa no âmbito da instituição em que se insere, nucleando alunos de iniciação científica e de mestrado (quando existente na instituição). Começa a construir redes de interação com outros pesquisadores, participando de bancas de pós-graduação fora da instituição. Os patamares médios de produção do grupo de pesquisadores I-D, atualmente no sistema do CNPq, encontram-se na Tabela anexa.

Pesquisador ID (cont.)Pesquisador ID (cont.)

Page 15: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

15

Categoria I Nível CCategoria I Nível CTrata-se de pesquisador doutor, titulado há no mínimo setesete anos, que acumulou uma produção científica regular que se traduz em publicações em periódicos qualificados (nacionais ou internacionais), presença nos principais eventos científicos da subárea, com apresentação de comunicações registradas sob a forma de resumos e/ou trabalhos completos. A participação em eventos científicos já revela maior reconhecimento da sua contribuição a uma temática ou área de pesquisa pela comunidade, o que se traduz em participação em simpósios e mesas-redondas, além da apresentação de relatos de pesquisa.

Page 16: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

16

Pesquisador IC (Cont.)Pesquisador IC (Cont.)Tendo uma ou mais linhas de pesquisa já consolidadas, o pesquisador já se articula com pesquisadores de outras instituições, integrando grupos de pesquisas consolidados. A inserção na atividade de formação de novos pesquisadores deve continuar, de forma mais intensa, nos níveis de iniciação científica e mestrado e já poderá estar inserido na formação de novos doutores, nas instituições que oferecem esse nível de formação. Os patamares médios de produção do grupo de pesquisadores I-C, atualmente no sistema do CNPq, encontram-se na Tabela anexa.

Page 17: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

17

Categoria I Nível BCategoria I Nível BPesquisador doutor, titulado há no mínimo dez anos, com uma trajetória de pesquisa claramente consolidada e com indicadores de que a sua liderança não se restringe à instituição ou grupo de pesquisa em que se insere. Deverá ter acumulado uma produção científica regular que se traduz em maiores índices de publicações em periódicos qualificados (nacionais ou internacionais) assim como de participação ou organização de livros. Deverá manter a presença nos principais eventos científicos da área não apenas com apresentação de comunicações e/ou trabalhos completos, mas coordenando simpósios, mesas redondas ou proferindo conferências.

Page 18: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

18

Pesquisador IB (Cont.)Pesquisador IB (Cont.)Deverá estar liderando grupos de pesquisa locais ou tendo papel destacado em grupos de abrangência nacional ou internacional, construindo redes que concretizam trabalhos em parceria. Espera-se do pesquisador neste nível sinais de liderança que se expressem na participação em sociedades científicas, comitês de fomento, organização de eventos de abrangência regional ou nacional e assessorias científicas diversas. A inserção na atividade de formação de novos pesquisadores deve continuar, de forma mais intensa, nos níveis de iniciação científica, mestrado e doutorado nas instituições em que tal nível de formação exista.

Page 19: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

19

Categoria I Nível ACategoria I Nível APesquisador doutor, titulado há no mínimo dez anos, com uma carreira consolidada e com reconhecida visibilidade na área/subárea em que se insere, sendo tomado como uma referência em termos das contribuições trazidas em vários planos – da produção científica, da formação de novos pesquisadores e de consolidação da psicologia no país. A diferença entre o pesquisador I-A dos demais níveis I, apóia-se, sobretudo, em indicadores de liderança desempenhada na área/subárea (o que se expressa em participação em sociedades científicas, comitês diversos, organização de eventos, nucleação de grupos de pesquisa, entre outros).

Page 20: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

20

Pesquisador IA (Cont.)Pesquisador IA (Cont.)Insere-se em redes de pesquisadores, nacionais e/ou internacionais, o que o leva a estar presente em eventos significativos da área. Tal trajetória o mantém com níveis elevados de produtividade científica e acadêmica. Quanto à produção científica, deve manter a regularidade, com publicações em periódicos qualificados. Espera-se que a trajetória de pesquisa constitua base para a produção e/ou organização de livros publicados por editoras de reconhecida qualidade. Quanto à formação de novos pesquisadores, a maior participação na formação de doutores não pode excluir a formação de mestres e a iniciação científica.

Page 21: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

21

Fórmulas para cálculo dos Fórmulas para cálculo dos indicadoresindicadores

ARTQ – artigos qualificados: (at.int.a+at.int.b+at.nac.a+at.nac.b)

ARTNQ – artigos não qualificados (at.int.c+at.nac.c+at.loc.a+at.loc.b+at.loc.c+outros)

PESPUB – peso das publicações ((artq * 4) + (artnq * 2) + (prlivtot * 3) + totanais)/10

PESPUB1 – peso das publicações 1 ((artq * 5) + artnq + (prlivtot * 3) + totanais)/10

(diminui o peso dos artigos não qualificados, aumentando o de qualificados)

PESFORM – peso da formação ((disorit *4)+( tesorit *6))/10)PESFORM1 – peso da formação 1 ((disorit * 4)+(tesorit *

5)+iniorit)/10 (acrescenta IC)

Page 22: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

22

PRODGER – produtividade geral ((pespub*6) + (pesform*4))/10

PRODGER1 – produtividade geral 1 ((pespub1*6) + (pesform*4))/10

PRODGER 2 – produtividade geral 2 ((pespub1*6) + (pesform1*4))/10

Page 23: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

23

Tabela 1Distribuição dos casos de recomendação de promoção de

nível

NívelNível NN PorcentagemPorcentagem

21D 13 13,5

1D1C 6 15,0

1C1B 6 24,0

1B1A 3 15,7

Total(N=201)

28 13,9

Page 24: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

24

Tabela 2Distribuição dos casos que mostram tendência a

rebaixamento ou exclusão do sistemaNível N Porcentagem

2 4 (95) 4,1

1D 5 (40) 12,5

1C 7 (25) 28,0

1B 4 (19) 21,0

1A 3 (22) 13,6

Total 23 (201) 11,4

Page 25: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

25

Figura 1 – Distribuição de produtividade por níveis de bolsa PQ (total acumulado nos últimos

cinco anos)

17,6

10,0

6,9

1,1

41,4

36,4

27,225,623,7

19,518,4

14,215,5

13,7

8,2 9,5

3,3 3,21,2 2,6

0

10

20

30

40

50

I-A I-B I-C I-D II

Prod. Total

Artigos

Livros

Anais

Page 26: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

26

Nívelbolsa

Prod. Cienti

f.Total

Artigos % qualif

Livros e

Cap.

Trab.Compl.

Total orient.

TotalMestr.

TotalDout.

Total IC

Cog 27,1 18,9 56,92

6,4 2,2 21,5 8,4 2,5 4,8

Des 25,5 14,7 66,59

10,10

1,5 16,8 5,4 2,3 4,9

Ens 37,9 18,9 66,55

16,0 4,2 26,5 7,6 2,9 6,2

Exp 18,3 12,7 58,73

4,5 1,2 18,6 4,7 2,2 5,2

Fund 34,5 34,5 34,5 34,5 34,5 34,5 34,5 34,5 34,5

Org 24,1 11,2 58,19

8,4 5,1 19,6 7,4 1,7 3,2

Soc 23,9 12,4 52,68

10,0 1,7 23,3 9,3 2,0 4,9

Trat 25,7 13,2 52,14

11,7 1,1 22,0 8,2 3,7 4,5

Page 27: A avaliação de propostas em Psicologia e o CA do CNPq: critérios, resultados, problemas e perspectivas Maria Lucia Seidl de Moura UERJ

27

Obrigada!Obrigada!

[email protected]