Ficha de Avaliação da Pós-Graduação em Saúde Coletiva triênio 2007-2009 Grupo de trabalho Ethel Leonor Noia Maciel Hillegonda Maria D. Novaes Paulo Capel

Ficha de Avaliação da Ficha de Avaliação da Pós-Graduação em Saúde ColetivaPós-Graduação em Saúde Coletiva

triênio 2007-2009triênio 2007-2009

Grupo de trabalhoEthel Leonor Noia MacielHillegonda Maria D. NovaesPaulo Capel Narvai

Outubro de 2008

A avaliação dos PPG pode ser pensada em A avaliação dos PPG pode ser pensada em três componentes três componentes

articulados articulados correspondem aos quesitos da ficha de avaliação.correspondem aos quesitos da ficha de avaliação.

1. Primeiro componente 1. Primeiro componente chamados chamados pré-requisitospré-requisitos para para

funcionamento: funcionamento:

- - proposta do programa proposta do programa e as e as

- - características do corpo características do corpo docentedocente (15%)(15%)

2. Segundo componente 2. Segundo componente resultadosresultados

coberta pelos coberta pelos cincocinco indicadores que fazem parte do indicadores que fazem parte do SIRSIR

(corresponde aos quesitos (corresponde aos quesitos corpo discente corpo discente

e e produçãoprodução intelectualintelectual da ficha de avaliação da ficha de avaliação (70%)(70%)

3. Terceiro componente 3. Terceiro componente avaliação avaliação qualiquali produtos não biblio produtos não biblio

(inserção social e qualidade da proposta do PPG (inserção social e qualidade da proposta do PPG (15%)(15%)

A avaliação da CAPES A avaliação da CAPES triênio 2007-2009triênio 2007-2009

Nova Sistemática de AvaliaçãoNova Sistemática de Avaliação

Análise das pré-condições de funcionamento:

proposta do programa e corpo docente


Fonte: Barata, 2008




Classificação ANUAL preliminar com base em resultados:

uso de 7 indicadores quantitativos

gerados pelo Sistema de Indicadores de Resultados

(SIR)


Fonte: Barata, 2008

Sistema de Indicadores de Resultados (SIR)Sistema de Indicadores de Resultados (SIR)

1. Orientações de teses e dissertações concluídas no período em relação

ao corpo docente permanente

2. Participação de discentes autores na produção científica do programa

3. Qualidade das teses e dissertações (dos periódicos de publicação)

4. Distribuição de publicações qualificadas em relação ao corpo docente

5. Produção técnica

6. Publicações qualificadas do programa (per capita)

7. Inserção social e impacto do programa


Fonte: Barata, 2008




Classificação ANUAL preliminar com base em resultados:

uso de 7 indicadores quantitativos

gerados pelo Sistema de Indicadores de Resultados (SIR)

Avaliação qualitativa TRIENAL, por pares:

feita pela Comissão de Avaliação

base: Ficha de Avaliação (5 quesitos)


Fonte: Barata, 2008

Mudanças na Ficha de Avaliação


2004-2006Quesitos pesos

2007-2009Quesitos pesos pesos Fórum

I - Proposta do programa 0

II – Corpo docente 30% III – Corpo discente 30%

IV – Produção intelectual 30%

V – Inserção social 10%

VI - Atribuição de conceitos 6 e 7

Eliminatória1 0 0 20% 15% 15% 35% 35% 30% 35% 35% 40%

10% 15% 15% † ?? ??

1 Se atingir conceito menor que 3


2007-2009

Item 1

Coerência, consistência, abrangência e atualização das áreas de concentração, linhas de pesquisa e projetos em andamento;

Indicador pesos• Avaliar adequação, coerência e quantidade dos

PP com as respectivas LP • Avaliar adequação, coerência e quantidade das LP

com as respectivas AC• Avaliar adequação, coerência e quantidade de

disciplinas oferecidas em relação às LP e AC

• Avaliar consistência ementas, assim como coerência e atualização das bibliografias

Avaliar as presença de disciplinas de fundamentação metodológica

• Avaliar o planejamento do programa quanto a desenvolvimentos futuros

• 50%

1 Muito Bom, Bom, Regular, Fraco, Deficiente

Quesito I - Proposta do programa 3 itens


2007-2009

Item 2Planejamento do programa com vistas a seu desenvolvimento futuro, contemplando os desafios internacionais da área na produção do conhecimento,

Indicador pesos

Item 2 Análise qualitativa1

● Adequação das propostas do programa às necessidades regionais

● Propostas para enfrentar os desafios da área tanto em relação à formação quanto à produção de conhecimentos

● Propostas de qualificação do corpo docente 30%




2007-2009

Item 3

Infra-estrutura para ensino, pesquisa e extensão.

Indicador pesos

Análise qualitativa1.Avaliar a existência, a adequação e a suficiência de:● Laboratórios com condições para a realização das

Teses e Dissertações● Biblioteca que permita o acesso rápido às

informações, com ênfase nos periódicos● Recursos de informática disponíveis para alunos

e docentes● Recursos próprios para a realização de suas

atividades, bem como a capacidade de captação de recursos para o desenvolvi-

mento para suas atividades de pesquisa 20%












Eliminatória1 0 20% 15% 35% 35% 30% 35% 35% 40%

10% 15% 15% † ?? ??


Quesito II – Corpo Docente: CAPES 20%, Fórum 15% 5 itens


Item 1

pesos

Formação (titulação, diversificação na origem de formação, aprimoramento e experiência, adequação à proposta do Programa) 15% (Fórum 15% (Fórum 10%10%)

Indicador Análise qualitativa 1 - Verificar se todo o corpo docente é

composto por doutores com formação ou atuação na área:● Avaliar se as áreas de formação acadêmica e atuação dos

docentes permanentes são adequadas à Proposta do Programa (AC, LP e PP)

● Avaliar se as áreas e a diversificação da formação do corpo docente é adequada e não endógena;· Avaliar o

nível de experiência do corpo docente, inclusive sua projeção nacional e internacional

● Avaliar se o corpo docente tem atraído alunos para estágios pós-doutorais (quando aplicável)

● Bolsa Produtividade (será considerado um bônus para o programa)

● Percentual de docentes nas condições de visitantes em outras IES nacionais e internacionais, de consultores

técnico- científicos de instituições públicas, privadas e órgãos de fomento; de pareceristas, corpo editorial e editor de

periódicos especializados nacionais e internacionais1 Muito Bom, Bom, Regular, Fraco, Deficiente


Item 2

pesos

Adequação da dimensão, composição e dedicação do corpo docente permanente para o desenvolvimento das atividades de ensino, orientação.

25%

Indicador

Referencial para Análise Quantitativa1

• Proporção de docentes permanentes com atividades de ensino, pesquisa, orientação e formação de mestres e doutores:

– MB – 80 % ou mais;– B – 70 a 79 %;– R – 60 a 69 %;– F – 50 a 59 %– D – menos de 50 %.

Quesito II – Corpo Docente CAPES 20%, Fórum 15% 5 itens



Item 2 pesos

Adequação da dimensão, composição e dedicação do corpo docente permanente para o desenvolvimento das atividades de ensino, orientação.

25%

(Fórum item 2 + 3: 40%)

Indicador

Referencial para Análise Qualitativa1

avaliar, quanto aos orientadores permanentes: ● o tipo e o nível de atuação nas atividades de ensino, pesquisa,

e orientação, de publicação e de formação (M e D)● a estabilidade, considerando o impacto gerado nas atividades

de ensino, de pesquisa e de orientação de reduções, incorporações e substituições de docentes

● a adequação do percentual em tempo integral e com vínculo institucional (60% dos permanentes)

● participação equitativa na oferta das disciplinas que compõem a estrutura curricular do Programaavaliar, quanto aos orientadores colaboradores e docentes visitantes:

● o grau de dependência do programa dessa atuação (Não há limite para colaboradores e visitantes, mas a maioria das atividades de ensino, pesquisa e

orientações deve estar a cargo de permanentes)




Item 3

pesos

Distribuição entre os docentes das atividades de orientação, pesquisa e ensino

25%25%

Indicador

● Avaliar se todos ou a maioria os

docentes participam das atividades

de ensino, orientação e pesquisa de

forma equilibrada.


Muito Bom, Bom, Regular, Fraco, Deficiente


Item 4

pesos

Participação dos docentes nas atividades de ensino e pesquisa na Graduação ou na pós-graduação senso lato, com atenção tanto à repercussão que essas atividades possam ter sobre a formação de futuros ingressantes na PG quanto na formação de profissionais mais capacitados. 20% (Fórum 25%)

Indicador

● Avaliar o nível de envolvimento do corpo

docente com atividades de ensino, iniciação

científica e orientação de trabalho de conclusão

de curso em nível de graduação ou pós-

graduação lato sensu.

• Obs: a inserção de estudantes de

Iniciação Científica no Programa será

muito valorizada.




Item 5

pesos

Proporção do corpo docentes com importante captação de recursos para pesquisa (Agencias de Fomento, Bolsa de Produtividade, Financiamentos Internacionais, Convênios, etc)

15% (Fórum 25%)

Indicador

● Avaliar capacidade do corpo docente do Programa captar recursos financeiros (agências de fomento à pesquisa; instituições pública e privada; indústrias ou similares) para a execução de projetos de pesquisa e de desenvolvimento

● Descrição dos projetos, fonte financiadora e valores obtidos durante o período da avaliação

● Avaliar adequação dos projetos à proposta do programa

● Proporção de docentes com bolsa de produtividade em pesquisa (Bônus)






2007-2009Quesitos pesos pesos GT






Eliminatória1 0 0 20% 15% 15% 35% 35% 30% 35% 35% 40%

10% 15% 15% † ?? ??



Item 1

pesos Quantidade de teses e dissertações defendidas no período de avaliação em relação ao corpo docente permanente e à dimensão do corpo discente.

20%20%

(Fórum: item 1+4: 30%)

IndicadorAvaliar a proporção de:

● teses e dissertações concluídas em relação ao corpo docente permanente

● titulações em relação à dimensão do corpo discente.

Referenciais para Análise Quantitativa:● Proporção de docentes permanentes com alunos

titulados: MB – 80% ou mais; B – 60% a 79%;

R – 40 a 59%; F/D – menos de 39%;● Proporção de alunos titulados em relação à

dimensão do corpo discente (considerar a variação CD no ano-triênio):

MB – 30 % ou mais; B - 25- 29%; R - 20-24%; F - 15 a 19%; D – menos de 15%


Quesito III – Corpo Discente CAPES 35%, Fórum 30% 4

itens


Item 2

pesos

Distribuição das orientações das teses e dissertações defendidas no período de avaliação em relação ao corpo docente permanente e à dimensão do corpo discente.

20%

(Fórum: 15%)

Indicador

b) Análise qualitativa1

· Avaliar a proporção entre o no. de orientandos e o no. de orientadores, bem como a

distribuição eqüitativa (incluir os orientandos de outros Programas

da mesma IES e de outras IES)

· Observações:

- A Grande Área de Saúde considera desejável que, em média, o programa contemple 5 orientandos

por orientador- O número de orientandos deve ser compatível com a

experiência, produção intelectual e disponibilidade do orientador 1 Muito Bom, Bom, Regular, Fraco, Deficiente


itens


Item 3

pesos

Qualidade das teses e dissertações e da produção de discentes autores da pós-graduação e da graduação (no caso de IES com curso de graduação na área ou programa de IC) na produção científica do programa, aferida por publicações e outros indicadores pertinentes

50%0% (Fórum: 50%)

Indicador

● Avaliar a proporção de discentes e egressos autores com publicações em relação à dimensão do corpo discente

● Avaliar a produção do corpo discente em eventos científicos: trabalhos apresentados, resumos em anais, etc.

● Qualificar a produção discente com base no qualis periódico, qualis livro e qualis eventos da área

(índice=[número de publicações com autoria discente no triênio]/[número de Te/Diss concluídas no triênio])§ MB – 30% ou mais; § B – 25% a 29% ;§ R – 20% a 24%; § F – 15% a 19%; § D – menos de 15%.

Quesito III – Corpo Discente 35% 3 itens



Item 4

Eficiência do programa na formação de mestres e doutores

10%0% (Fórum: 10%)

Indicador

Avaliar:● o tempo médio de titulação de bolsistas em

nível de mestrado e do doutorado

● a existência de bolsas de doutorado sanduíche

● o fluxo de entrada e saída dos alunos no programa



itens










Eliminatória1 0 0 20% 15% 15% 35% 35% 30% 35% 35% 40%

10% 15% 15% † ?? ??


Quesito IV – Produção Intelectual CAPES 35%, Fórum 40% 3 itens


Item 1 pesos

– Produção qualificada (qualis periódico e qualis livro) do corpo docente permanente em relação à dimensão do corpo docente

40%40%(Fórum: 40%)(Fórum: 40%)

Indicador

► Referencial para análise quantitativa:

NÚMERO TOTAL de publicações do PPG no triênio (cada produto deve ser contabilizado apenas 1 vez no programa, mesmo que tenha a autoria de mais de um docente). No numerador são somados os produtos e no denominador são considerados 80% dos permanentes.

Critérios de qualificação baseados na ponderação obtida segundo o indexador adotado e em pontos de corte a serem estabelecidos. Durante a avaliação de acompanhamento será valorizada a tendência apresentada na produção em relação ao último triênio.

Qual será a nova relação

Conceito/Publicação ?



Item 2 pesos

– Distribuição de publicações

qualificadas em relação ao corpo docente do Programa

40%40%

(Fórum: 40%)

Indicador pesos

► Referencial para análise quantitativa:

Será contabilizada a produção de cada docente, sem descontar os artigos em co-autoria com outros docentes do programa. Estes produtos podem ser contabilizados na forma de artigos em periódicos, livros e capítulos de livros categorizados segundo os respectivos Qualis. Pelo menos 80% dos docentes devem alcançar detreminado patamar de pontuação compatível com o perfil de nota. Será valorizada a tendência apresentada na produção em relação ao último triênio.

Qual será a nova relação

Conceito/Publicação ?



Item 3 pesos

– Produção técnica, patentes, produtos

20%20%(Fórum: 20%)

► Neste item serão consideradas as produções técnicas do corpo docente permanente incluindo documentos elaborados para agências internacionais, instituições nacionais, estaduais e municipais relacionadas com a formulação, implementação e avaliação da política de saúde, desde que tenham sido publicadas em meio impresso ou eletrônico.

► Outras produções técnicas não bibliográficas serão consideradas no quesito inserção social. Os programas que por sua característica de composição do corpo docente não apresentarem este tipo de produção terão os pontos correspondentes redistribuídos pelos outros dois itens do quesito











Eliminatória1 0 0 20% 15% 15% 35% 35% 30% 35% 35% 40%

10% 15% 15% † ?? ??


Quesito V – Inserção social CAPES 15%, Fórum 15% 3 itens


2007-2009

Item 1 pesos

- Inserção e impacto regional e (ou) nacional do PPG

30%(Fórum 40%)

Indicador

Análise qualitativa1

● Avaliar a inserção do Programa no contexto regional, nacional e internacional, observando suas atividades de extensão, convênios com entidades públicas e privadas

Impacto educacional: contribuição ensino (fundamental, médio, técnico, graduação) com propostas inovadoras, materiais didáticos.

Impacto social: formação de RH para a Administração Pública ou sociedade civil, contribuindo para o aprimoramento da gestão e uso da C&T

Impacto cultural: RH e políticas culturaisImpacto tecnológico/econômico: desenvolvimento micro-

regional, regional e nacional, disseminação de conhecimentos e tecnologias.




2007-2009

Item 2-Integração e cooperacão com outros programas e centros de pesquisa da área com vistas ao desenvolvimento da pesquisa e PG

55%(Fórum 40%)

Indicador Análise qualitativa1

● Avaliar a existência de atividades de cooperação e integração sistemáticos (ex. MINTER, DINTER, PROCAD, PQI ou outros convênios com outros PPG)

observação: os PPGs podem figurar na condição de

coordenador ou associado




2007-2009

Item 3

-Visibilidade e transparên- cia do programa: a) pági- na WEB; e b) acesso a Tese/Dissertação

15%(Fórum 20%)

IndicadorAnálise Qualitativa1

● Avaliar analisando as páginas WEB e as facilidades de acesso às bases on-line de teses e dissertações











Eliminatória1 0 0 20% 15% 15% 35% 35% 30% 35% 35% 40%

10% 15% 15% † ?? ??


Quesito VI – ATRIBUIÇÃO DE NOTAS 6 E 7 3 itens


Elegíveis: Programas que atendam aos critérios de excelência nos itens 4.1 e 4.2 do quesito IV – Produção intelectual

Critérios:1) Solidariedade: Os programas devem demonstrar sua ccoperação com programas com

nota 3 ou 4 ou com gripos que ainda não têm curso de PG senso estrito2) Nucleação: Os programas devem demonstrar a participação de egressos em atividades

de ensino de graduação, pós-graduação e pesquisa em outras IES com menor grau de desenvolvimento

3) Liderança: Os programas devem demonstrar sua liderança na área em: atração de alunos de diferentes regiões e países, proporção de docentes participando em Comitês de agências de fomento nacionais e internacionais, proporção de docentes participandp em associações científicas nacionais e internacionais, participação de docentes em cargos relevantes para a política nacional em saúde, educação e C&T

4) Internacionalização do programa: Os programas devem demonstrar seu grau de internacionalização segundo critérios especificados (% professores visitantes, %´pós-doutorado, intercâmbios, eventos científicos, financiamentos, corpos editorias, associações e projetos de pesquisa internacionais


Fonte: Barata, 2008


Conceitos

Migra-se da idéia de média aritmética das notas dos quesitos para a idéia de perfil:

Curso 5 nota cinco nos quesitos III e IV e em pelo menos mais dois (Quesitos I, II ou V)


Fonte: Barata, 2008


Conceitos



Curso 4 nota quatro nos quesitos III e IV e em pelo menos mais dois (Quesitos I, II ou V)


Fonte: Barata, 2008


Conceitos




Curso 3 nota três nos quesitos III e IV e em pelo menos mais dois (Quesitos I, II ou V)


Fonte: Barata, 2008


Conceitos





Curso 6 ou 7 nota cinco em todos os quesitos


Fonte: Barata, 2008


Conceitos






Corpo Discente

Produção intelectual


Fonte: Barata, 2008


Conceitos


Curso 5 nota cinco nos quesitos III e IV e em pelo menos mais dois

(Quesitos I, II ou V)




Corpo Discente

Produção intelectual

Inserção Social

Corpo Docente

Proposta do Programa

Documents

Ficha de Avaliação da Pós-Graduação em Saúde Coletiva triênio 2007-2009 Grupo de trabalho Ethel Leonor Noia Maciel Hillegonda Maria D. Novaes Paulo Capel