ABORDAGEM CENTRADA EM ESPECIALISTAS

Capítulo 8

Objetivos

• Apresentar as vantagens da avaliação por especialistas.

• Apontar situações nas quais o parecer de especialistas é um método legítimo de avaliação.

• Apresentar critérios para escolha de especialistas.

• Descrever as principais diferenças entre sistemas informais e formais de pareceres de especialistas.

• Descrever os principais pontos fortes e limitações da abordagem de avaliação por especialistas.

Características• Depende de conhecimentos especializados de profissionais que

julgam instituições (ex: Sinais, avaliação das condições para criação e credenciamento de cursos novos cursos), programas (programas de pós-graduação), produtos (Capes – Qualis Periódicos e Livros) ou atividades (CNPq projetos, teses).

• A estratégia básica de avaliação está baseada em juízos subjetivos

do avaliador.

• Equipes de especialistas ou avaliações independentes são bastante utilizadas.

• Outra estratégia de avaliação são as visitas para avaliação in loco.

Tipos de avaliação

1. Sistemas formais de pareceres de profissionais reconhecidos.

2. Sistemas informais de pareceres de profissionais reconhecidos.

3. Pareceres ad hoc de grupos altamente qualificados.

4. Pareceres ad hoc de profissionais altamente qualificados

Tipos de avaliaçãoTIPO DE

AVALIAÇÃOESTRUTURA PADRÕES

PÚBLICOSPERIODICIDAD

EOPINIÕES DE

VÁRIOS ESPECIALISTA

S

SITUAÇÃO AFETADA

PELOS RESULTADOS

Sistema formal de pareceres

Sim Sim Sim Geralmente Geralmente

Sistema informal de pareceres

Sim Raramente Às vezes Sim Geralmente

Parecer ad hoc grupal

NãoSim

NãoSim

NãoSim

SimSim

Às vezesSim

Parecer ad hoc

individual

NãoSim

NãoSim

Não NãoÀs vezes

(dois)

Às vezes

Sistema Formal1. É estruturado e organizado para propiciar pareceres periódicos

(Ex: acompanhamento anual e avaliação trienal de Programas de pós-graduação da CAPES).

2. São aplicados padrões públicos e instrumentos de avaliação para formulação dos pareceres (padrões derivados do desempenho dos programas e instrumentos validados pelas áreas e estabelecidos formalmente pelo CFE).

3. Periodicidade predeterminada (de três em três anos).

4. Incluem visitas, quando recomendado pela área.

5. Incluem auto-avaliações.

Sistemas informais

• Possuem diretrizes e procedimentos estruturados.• Empregam vários profissionais.• Utilizados nos EUA para avaliação de desempenho

de professores e acompanhamento de estudantes e emissão de pareceres informais sobre artigos.

Pareceres ad hoc de grupos e indivíduos especializados

• Pareceres emitidos por profissionais altamente especializados.

• Avaliações com periodicidade irregular e de acordo com as circunstâncias e demanda.

• No CNPq, os pareceres ad hoc são formulados de acordo com quesitos de avaliação aprovados pela comunidade científica e incluídos em instrumentos específicos de avaliação (de projetos de pesquisa, pedidos de bolsas e de auxílios).

• Os avaliadores são bolsistas do CNPq que obrigatoriamente assumem o compromisso de avaliar trabalhos durante a vigência da bolsa.

• Os pareceres são feitos por avaliadores independentes. Os comitês de área de conhecimento emitem pareceres “finais”sobre os projetos. Instâncias superiores do CNPq tomam as decisões finais sobre o financiamento de bolsas e auxílios.

O Connoisseur• O connoiseur é um artista da avaliação.

• Ele tem percepção das qualidades da entidade ou objeto avaliado e das relações entre elas.

• O talento dele é saber para o que olhar na avaliação.

• A analogia do provador de vinho é utilizada para mostrar como a experiência, o paladar refinado e a memória gustativa desse profissional possibilitam-lhe distinguir qualidades sutis (corpo, cor, acidez, buquê, sabor residual, etc)e emitir julgamentos de valor não baseados em preferências pessoais.

• O avaliador é o instrumento de avaliação. A coleta, a análise e o julgamento ficam encobertos na cabeça do avaliador. A validade da sua avaliação depende da experiência e percepções do avaliador.

Uso da Abordagem

• Credenciamento e recredenciamento de cursos de graduação.

• Avaliação de programas de pós-graduação. • Avaliação de livros e periódicos científicos e

outros produtos educacionais.• Avaliação de projetos de pesquisa para fomento.• Avaliação de teses, dissertações e monografias.• Avaliação de pedidos de apoio financeiro e bolsas

de pesquisa.

Pontos Fortes• Enfatizam o importante papel do parecer de especialistas no processo

avaliativo e mostram a necessidade de decidir sobre o grau de explicitação de padrões de avaliação.

• Estimulam a excelência com desenvolvimento de critérios e diretrizes para avaliar programas ou produtos. (Ex: Capes no Qualis Periódicos e avaliação de programas de pós-graduação, Sinais).

• Estimulam a melhoria de programas e instituições por meio de auto-avaliação e avaliação externa constantes.

• Asseguram a comunidades específicas e ao público em geral que uma instituição ou programa tem objetivos claros e apropriados e condições de realizar o que se propõe a fazer.

• Aconselham e oferecem assessoria a instituições estabelecidas e em desenvolvimento.

• Protegem as instituições de abusos que poderiam por em risco sua eficiência ou liberdade acadêmica. (Ex: definição da titulação necessária ao corpo docente e do regime de trabalho do corpo docente – evitar o professor “horista” sem qualificação par ao ensino e a pesquisa).

Pontos fracos• Preocupação com a credibilidade e com o cinismo

público diante da avaliação das próprias atividades (pesquisadores avaliando pesquisa, educadores avaliando educação).

• Podem gerar protecionismo.• Envolvem altos custos (viagens para visitas e para

reunião de grupos de avaliadores).• Pareceres podem ser incestuosos e sujeitos a conflitos

de interesses.• Problema de sigilo e receio de publicar pareceres

individuais.• Necessidade de preparo especial para avaliar .