Qualidade e rankings: Alinhamento ou desalinhamento Pedro Lourtie Instituto Superior Técnico, UTL, Portugal XII Encontro de Reitores Grupo de Tordesilhas

Qualidade e “rankings”:Alinhamento ou desalinhamento

Pedro LourtieInstituto Superior Técnico, UTL, Portugal

XII Encontro de ReitoresGrupo de Tordesilhas

Universidade de Lisboa, 17-18 Novembro 2011

Tópicos

• Introdução• Criatividade e diversidade• Processo de ensino-aprendizagem• Analogia (Educação / Garantia da Qualidade)• Qualidade• Missões, objectivos e recompensas• Rankings• Conclusão

Pedro LourtieQualidade e “rankings”: Alinhamento ou desalinhamento

Introdução• Ponto de partida:– Pedro Lourtie, ‘Quality assurance alignment’, in

Creativity and diversity: Challenges for quality assurance beyond 2010, EUA Case Studies 2010• Selecção de artigos do 4th European Quality Assurance Forum,

Novembro de 2009

• Também publicado como: П. ЛОУРТИ, ‘ОБЕСПЕЧЕНИЕ КАЧЕСТВА ДОЛЖНО БЬІТЬ ПРИВЕДЕНО В СООТВЕТСТВИЕ С МИССИЕЙ УЧЕБНОГО ЗАВЕДЕНИЯ’, in The Bologna Process: resume of the decade, Ministry of Education and Science of the Russian Federation, 2011

– Mais desenvolvimento sobre rankingsPedro LourtieQualidade e “rankings”: Alinhamento ou desalinhamento

Introdução• Garantia da Qualidade:– Que critérios e procedimentos de avaliação?

– Que consequências e sistema de recompensas?

• Objectivo: Instituições de Ensino Superior de qualidade, criativas e diversas

• Diversidade de contextos:– Ambiente (legal, cultural, ...)

– Públicos (jovens, menos jovens, com percursos de vida diversos, ...)

– MissõesPedro LourtieQualidade e “rankings”: Alinhamento ou desalinhamento

Introdução• Promoção de IES criativas:

– Risco do sistema de garantia de qualidade abafar a criatividade e normalizar a diversidade

– Alinhamento do sistema de garantia da qualidade com a missão institucional

– Recompensas do sistema de garantia da qualidade pela criatividade e diversidade

• Analogia entre ensino-aprendizagem e garantia da qualidade

• Rankings:– Avaliação com critérios estandardizados/limitados

– Desalinhamento entre critérios e missões institucionais


Criatividade e diversidade• Projecto de criatividade (EUA, 2007):– Definição difícil: o que não é criatividade

– Progresso depende da criatividade

• Finalidades do Ensino Superior (Comunicado de Londres, Processo de Bolonha, 2007):– Preparar cidadãos para vida numa sociedade democrática

– Preparar carreiras futuras e desenvolvimento pessoal

– Manter base alargada e avançada de conhecimento

– Estimular investigação e inovação


Criatividade e diversidade• O que se pede ao ensino superior:– Novas/melhores soluções

– Educação de aprendentes com antecedentes e objectivos diversos

– Qualidade e criatividade

• Qualidade:– Implica respostas adequadas

– Requer criatividade e diversidade


Processo de ensino-aprendizagem• John Biggs, Teaching for Quality Learning at University

• Alinhamento construtivo na formação implica coerência entre:– Objectivos de aprendizagem

– Processo de ensino-aprendizagem

– Avaliação dos aprendentes

• Motivação dos estudantes:– Aprender: motivação intrínseca

– Aprovação/diploma (motivação extrínseca, mais frequente)


Processo de ensino-aprendizagem• Bons resultados implica atingir objectivos

implícitos na avaliação• Bons resultados com alinhamento construtivo,

significa atingir os objectivos• Nem todas as formas de avaliação são

adequadas para os objectivos de aprendizagem:– Avaliação descontextualizada (exp. exames escritos)

serve conhecimento declarativo– Avaliação de desempenho (exp. projectos) para

competências váriasPedro LourtieQualidade e “rankings”: Alinhamento ou desalinhamento

Analogia

Pedro Lourtie

Educação dos estudantes Garantia da QualidadeObjectivos de aprendizagem Missão e objectivos institucionais

Ensino-aprendizagem Organização e procedimentos

Avaliação dos estudantes(formativa ou sumativa)

Avaliação(com ou sem sist. de recompensas)

Nota, aprovação, diploma Recompensas (e.g. acreditação)

Motivação pessoal e/ouorientada pela avaliação

Objectivos Institucionais e/ou orientados para as recompensas

Avaliação descontextualizada Indicadores gerais

Avaliação de desempenho Avaliação em contexto

Qualidade e “rankings”: Alinhamento ou desalinhamento

Qualidade• Robert Pirsig, Zen and the Art of Motorcycle

Maintenance, An inquiry into Values (1974):– “Because definitions are a product of rigid, formal

thinking, quality cannot be defined.”– “But even though Quality cannot be defined, you

know what Quality is!”– “If we do define it we are defining something less

than Quality itself.”


Missões, objectivos e recompensas

• Quem define a missão e os objectivos?– Não apenas a instituição (padrões comuns)– Não apenas externamente (para criatividade e

diversidade)

• Diversidade das missões institucionais implica critérios que não sejam só indicadores fixos e quantitativos


Missões, objectivos e recompensas• Sistema de recompensas:– Acreditação– Reconhecimento público ou por pares, prestígio– Financiamento (?)

• Pressão para satisfazer critérios• Avaliação e recompensas devem considerar

e valorizar todas as missões institucionais


Rankings• Rankings são uma forma de avaliação:– Baseada indicadores limitados, largamente disponíveis

– Supõe uma IES esquemática/caricatural

• Sistema de recompensa dos rankings:– Oferece reconhecimento público ou de pares

– Depende da credibilidade do promotor

– Supõe resultados plausíveis

• Os rankings põem em causa a diversidade e a criatividade


Rankings• Rankings: critérios fixos/seriação– Ranking de Xangai (Academic Ranking of World

Universities)

– Times Higher Education World University Ranking

• Multirankings: escolha de critérios pelo utilizador– CHE/die Zeit University Ranking (Centre for Higher

Education), desde 1998

– U-Multirank (European Multidimensional University Ranking System), Projecto/estudo de viabilidade, 2011


Rankings• Global Forum, Rankings and Accountability in

Higher Education: Uses and misuses, UNESCO / OCDE (IMHE) / Banco Mundial, Paris, Maio 2011– Notícia do World News Report: International

rankings of higher education institutions are here to stay, but classifications should evolve to give information that is more relevant to the needs of users such as universities, students and policy-makers, fits local situations and contributes to the growth of world-class higher education systems rather than a few world-class universities.


Rankings• Global Forum (cont.)– Notícia do Nouvel Observateur:• Título: Attention, l’abus de palmarès nuit

gravement a l’université!• Convite da UNESCO a jornalistas, após o fórum,

com o objectivo de “tocar a campainha de alarme nos meios ‘bem informados’ e tentar organizar um contra-fogo à explosão dos rankings internacionais e aos seus efeitos nocivos”


Rankings• Andrejs Rauhvargers, Global University Rankings

and their Impact, EUA, 2011:– Rankings so far cover only some university missions.– “There is no such thing as an objective indicator” (…).

The lack of suitable indicators is most apparent when measuring university teaching performance (…)

– At present, it would be difficult to argue that the benefits (…) are greater than the negative effects (…)

– Higher education policy decisions should not be based solely on rankings data.


Conclusão• Diversidade de missões e objectivos das

universidades para adequação a contextos diferentes

• Avaliação e sistema de recompensas devem valorizar criatividade e diversidade

• Alinhamento da Garantia da Qualidade:– Missões e objectivos

– Organização e procedimentos

– Avaliações e sistema de recompensaPedro LourtieQualidade e “rankings”: Alinhamento ou desalinhamento

Conclusão• Dificuldade em definir qualidade– But even though Quality cannot be defined, you

know what Quality is!

• Rankings devem ser usados com cuidado– Attention, l’abus de palmarès nuit gravement a

l’université!

• Nova geração de multirankings?• O meu neto mais velho, à procura de ranking– Avô, o que é maior, o elefante ou a girafa?


Obrigado pela atenção!


Documents

Qualidade e rankings: Alinhamento ou desalinhamento Pedro Lourtie Instituto Superior Técnico, UTL, Portugal XII Encontro de Reitores Grupo de Tordesilhas