Como a avaliação pode condicionar a qualidades das aprendizagens?

Helder Sousa

Sumário 1. Aprendizagens de qualidade no contexto educativo atual: estamos todos de acordo?

2. Uma escola do Séc. XXI com uma avaliação do Séc. XIX/XX não funciona

3. Os malefícios e as potencialidades da avaliação (interna) no processo pedagógico

4. Que legislação temos e como é usada para justificar a prática docente?

5. Notas finais

1. Aprendizagens de qualidade no contexto educativo atual: estamos todos de acordo?

1. Complex Problem Soving2. Critical Thinking3. Creativity4. People Management5. Coordinating with Others6. Emotional Intelligence7. Judgement and Decision Making8. Service Orientation9. Negotiation10. Cognitive Flexibility

O que podemos entender hoje por aprendizagens significativas

5

Tudo o que sabemos, o que sabemos fazer e que sabemos ser depois de esquecer tudo o que a nossa memória não reteve ou não vai reter a médio prazo

Tudo o que imaginamos poder vir a ser essencial saber e saber fazer para ter sucesso num mundo em que muitas das profissões que os nossos alunos vão

ter não as conseguimos sequer hoje imaginar

Ou, numa perspetiva mais desafiante …

Metodologias e processos de ensino e de aprendizagem

Flexibilização curricular

Aprendizagens essenciais

As Aprendizagens Essenciais (AE) são documentos (…) conducentes ao desenvolvimento das competências inscritas no Perfil do Aluno

Flexibilização Curricular – Este projeto (…) visa a promoção de melhores aprendizagens indutoras do desenvolvimento de competências de nível mais elevado (…)

Gestão do tempo Gestão do currículo

Princípios e Valores

As áreas específicas dos diferentes domínios curriculares devem funcionar em articulação com as áreas transversais

inscritas no Perfil do Aluno

Princípios e valores … implicam

Avaliação válida, rigorosa e adequada aos seus propósitos (diversidade de instrumentos e de finalidades)

Feedback de qualidade

Trabalho colaborativo (alunos e professores)

Aprendizagens significativas

2. Uma escola do Séc. XXI com uma avaliação do Séc. XIX/XX não funciona

Também tivemos um 25 de abril na avaliação das aprendizagens!

Acabou a ditadura do TESTE!

Viva a democracia da maioria absoluta do «partido» do TESTE, cujo líder, desde sempre, dá pelo nome de Sr. SUMATIVO

«As práticas de avaliação formativa estão longe de fazer parte da vida pedagógica das escolas. A grande maioria dos professores reconhece a sua relevância e importância para ajudar os alunos a aprender, mas utiliza uma diversidade de argumentos que justificam a inconsistência entre as suas conceções a as suas práticas.(…)A avaliação tende a ser pouco rigorosa e pouco diversificada. Os testes prevalecem. (…) a avaliação formativa é pouco frequente e mais baseada na intuição dos professores do que na recolha deliberada e propositada de informação.(…)As conceções e práticas de avaliação dos professores parecem estar fortemente dependentes da cultura avaliativa existente nas escolas e na sociedade.(…)O objeto de avaliação por excelência é o conhecimento das matérias curriculares avaliado através de testes …»

Domingos Fernandes: Investigação e Teoria da Atividade, 2009

Projeto PROMEDDa análise dos critérios de ponderação da classificação interna de 124 escolas participantes na iniciativa, prevalecia a aplicação de 1 ou 2 testes sumativos por período e o peso dos resultados dos testes em nenhum caso era inferior a 50% (nas disciplinas «ditas» académicas)

Projeto PROMED: GAVE 2010/2011

Assessment for learning is not systematically used in Portuguese schools. There is little emphasis in assessment practices on providing student feedback and developing teacher-student interactions about student learning. In classroom and schools, the formative seems to be increasingly displaced by the summative and a focus on the generation of summative scores.

OECD Reviews of Evaluation and Assessment in Education: Portugal 2012

Respostas a questionário aplicado a 865 de professores de 31 escolas públicas e privadas confirmam (mais de 85% das respostas) que os resultados dos testes representam, mais de 50% do peso da classificação interna final.

Amostra por conveniência. Taxa de participação média por escola 76,4%. Dados recolhidos entre março de 2018 e setembro de 2019.

12

Algumas limitações do uso de testes sumativos como instrumentos dominantes na avaliação interna

Condicionam a metodologia de ensino e ao mesmo tempo são o corolário dessa metodologia (aula ainda demasiado centrada na ação do professor)

Condicionam a forma como se aprende (ou melhor se estuda):• o ritmo de estudo, em função do calendário dos testes;• o que se estuda (a matéria que «sai» no teste); como

se estuda (foco na memorização)

Testes sumativos

3. Os malefícios e as potencialidades da avaliação (interna) no processo pedagógico

13

A construção dos testes (e a sua classificação) é, em regra, um processo individual: questões de qualidade técnica que podem afetar a validade dos resultados não são de ignorar, mas são um verdadeiro buraco negro!

Resultados: como são tratados e usados no contexto global do processo de avaliação? Que feedback para os alunos e que feedforward para os professores?

Testes sumativos

Algumas limitações do uso de testes sumativos como instrumentos dominantes na avaliação interna

Testes sumativos

O destino final dos

resultados!

15

Os resultados cristalizam na grelha EXCEL e alimentam uma média com forte impacto na classificação final (dos períodos e do ano letivo)

O contexto SUMATIVO formal impera no uso dos resultados (a noção de sumativo informal é desconhecida)Testes

sumativosA PROGRESSÃO na aprendizagem constitui uma dimensão «maltratada» no contexto da aprendizagem e da avaliação

A «batota» das aulas de preparação para o teste e a inutilidade das aulas de «entrega e correção dos testes»: quem aprende o quê com este prática?

Algumas limitações do uso de testes sumativos como instrumentos dominantes na avaliação interna

Anderson, L.W. (Ed.), A taxonomy for learning, teaching, and assessing: A revision of Bloom's Taxonomy of Educational Objectives

O objeto de avaliação está, em regra, confinado a segmentos do programa e os itens apontam para a mobilização de processos cognitivos e dimensões do conhecimento nos níveis mais baixos das taxonomias (a confirmar)

Testes sumativos

Teste em duas fasesTestes em pares

Trabalhos de grupoApresentações orais

RelatóriosDebates

Portefólios …

Chegou a hora da «coligação» dos mais fracos chegar ao poder!

Ferramentas digitaisAnderson, L.W. (Ed.), A taxonomy for learning, teaching, and assessing: A revision of Bloom's Taxonomy of Educational Objectives

A tomada de decisão sobre a distribuição das cotações também conta

0

5

10

15

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

CotaçãoReal-Prova 635

Cotação ajustada-Prova 635

Indicadores PROVA REAL PROVA COM COTAÇÃO AJUSTADA

Média 11,5 11,9Nº de alunos internos com classificação <9,5 11429 10506

0

1000

2000

3000

4000

5000

6000

7000

8000

0-44 45-74 75-94 95-114 115-144 145-174 175-200

Total Res. Ajustado

Nº de alunos

Exame Final – Matemática 635, 1ª fase 2017

19

… é um processo chave para o sucesso educativo e académico de cada aluno

Algumas limitações do uso de testes sumativos como instrumentos dominantes na avaliação interna

Progressão na aprendizagem

… implica que cada aluno seja capaz de, progressivamente, processar o conhecimento disponível, recorrendo a operações mentais de complexidade crescente

… pode ser entendida como a capacidade de demonstrar, num dado momento, o grau de complexidade e de profundidade a que cada aluno consegue processar a informação, o que deve sustentar a categorização do seunível de desempennho, avaliado de forma sumativa

4. Que legislação temos e como é usada para justificar a prática docente?

O que nos diz a legislação mais recente sobre avaliação das aprendizagens:

• Decreto-Lei nº 55/2018;

• Portaria nº 223-A/2018;

• Portaria nº 226-A/2018.«BUGS»

vs. Orientações de elevada qualidade pedagógica

Art.º 22.º, n.º 1 Art.º 24.º, n.º 1

A avaliação sumativa traduz a necessidade de, no final de cada período, informar os alunos e os encarregados de educação sobre o estado de

desenvolvimento das aprendizagens

Portaria 223-A/2018, 3 de agosto

Portaria 226-A/2018, 7 de agosto

Art.º 22.º, n.º 1 Art.º 24.º, n.º 1

A avaliação sumativa consubstancia um juízo global sobre as aprendizagens desenvolvidas pelos alunos

?A avaliação de final de período, para ser coerente com o restante quadro legal vigente, apenas pode assumir uma dimensãoFORMATIVA

«BUG N.º1»

«BUG N.º2»

Portaria 226-A/2018, 7 de agosto, Art.º 32.º, N.º 2

CFD = (7 CIF + 3 CE)/10

CFD = Classificação final da disciplinaCIF = Classificação interna final, obtida pela média aritmética

simples, arredondada às unidades, das classificaçõesanuais de frequência …

CE = Classificação de Exame Final

?Como a CFD incorpora a CE, que é globalizante, e a avaliaçãosumativa «consubstancia um juízo global sobre as aprendizagensdesenvolvidas pelos alunos», não faz sentido nem é coerente que a CIF também não o seja

Progressão na aprendizagem?

4

6

8

10

12

14

16

T1 T2 P1 T3 T4 P2 T5 T6

10 A

NO T1 T2 P1 T3 T4 P2 T5 T6

11 A

NO CIF

EXAM

E

CFD

Aluno «Flat» Aluno P

Classif.Um começo «menos bom» persegue o aluno até ao final do ES

A dificuldade em incorporar a progressão na atribuição da CF pode explicar-se pela suspeita da fragmentação do objeto de avaliação de muitos testes

A classificação final do 10.º ano (ou do 11.º ano, numa disciplina trienal) nunca deveria ser incorporada numa média aritmética para determinar a CIF

Combina modalidades e finalidades sumativa e formativa

Prevê a utilização de procedimentos, técnicas e instrumentos de recolha de informação diversificados,adequados à diversidade de aprendizagens e às caraterísticas dos destinatários

Assume a avaliação formativa como contínua e sistemática

Indica que deve ser assegurado o reajustamento de práticas educativas para a promoção do sucesso educativo

Define a adoção de medidas que contribuam para a aprendizagem de todos os alunos

Orientações de elevada qualidade

pedagógica

Orientações de elevada qualidade

pedagógica

Prevê o envolvimento dos alunos como intervenientes na autorregulação da avaliação interna

Define que, no âmbito da avaliação formativa, se privilegie a regulação do ensino e das aprendizagens, através da recolha de informação que permita conhecer a forma como se ensina e como se aprende,…

Estabelece como referenciais para a avaliação das aprendizagens as AE, considerando ainda o peso relativo das áreas de competência e importância relativa dos domínios constantes do Perfil de Saída do Aluno no Final da Escolaridade Obrigatória

5. Notas finais

Alguns mitos e convicções sobre a avaliação das aprendizagens

Os exames, os grandes culpados! FALSO

Os testes são a forma mais justa, mais rigorosa e objetiva de avaliar os alunos

FALSO

Fazer testes ajuda a preparar os alunos para os exames? Depende

A imprescindibilidade de assegurar um feedbackoportuno (tempo real) e de qualidade

A avaliação da produção escrita em contexto de provas nacionais

0 20 40 60 80

Género/Formato textual

Tema e pertinência dainformação

Organização e coesão textuais

Correção linguística

% de acerto médio

Alguns resultados das provas de Português do 12º ano (final do ensino obrigatório) – Item de EscritaProvas de 2014 a 2018, 1ª fase dos Exames Nacionais

0 5 10 15

Género/Formato textual

Tema e pertinência dainformação

Organização e coesão textuais

Correção linguística

% de resposta com crédito máximo

Uma preocupação numa sociedade que quer apostar na excelência

SForças

WFraquezas

OOportunidades

TAmeaças

Saber acumulado e partilhado sobre a problemática da avaliação das aprendizagens

Sistema de geração e partilha de informação sobre resultados dos alunos robusto e capaz de proporcionar feedback de qualidade para os professores

Dinâmica e aparente vontade de mudança

Lacunas ao nível da formação inicial e contínua dos professores no domínio da avaliação

Falta de cultura organizacional nas escolas (dificuldade em a fazer consolidar); falta de estabilidade do corpo docente

Insuficiente investigação educacional, em especial na avaliação, passível de poder ser generalizada

Contexto social favorável ao debate público sobre questões da educação, em geral, e da avaliação, em particular

Generalização urgente de ferramentas digitais em sala de aula e na avaliação (interna e externa), capazes de potenciar boas aprendizagens e oportunidades de feedback em tempo real

Cultura de avaliação cristalizada na sociedade

Hábitos e rituais nas práticas dos professores profundamente instalados; receio de sair da zona de conforto

Acesso ao ensino superior (constante ameaça à qualidade da aprendizagem no ES)

Indecisão política ou decisões tecnicamente desadequadas

What matters is not the absorption and regurgitation either of facts or of pre-digestedinterpretation of facts, but the development ofpowers of the mind or ways of thinking whichcan be applied to new situations and newpresentations of facts as they arise.

Alec Peterson, 1972

Muito Obrigado

Helder Sousa

helder.sousa.ac@gmail.com

Referências bibliográficas

Anderson, L.W. (Ed.), Krathwohl, D.R. (Ed.), Airasian, P.W., Cruikshank, K.A., Mayer, R.E., Pintrich, P.R., Raths, J., & Wittrock, M.C. (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom's Taxonomy of Educational Objectives. New York: Longman.

Assessment Reform Group (2002). “Assessment for learning: 10 principles”. https://www.aaia.org.uk/content/uploads/2010/06/Assessment-for-Learning-10-principles.pdf (acedido em janeiro de 2018)

Black, P., & Harrison, C. (2001). “Feedback in questioning and marking: The science teacher's role in formative assessment”. The School Science Review, 82(301), 55-61.

Brookhart, S. (2011). Grading and learning: practices that support student achievement. Bloomington, IN: Solution Tree Press.Brookhart, S. (2017). How to use grading to improve learning. Alexandria, VA: ASCD.Bughin, J. et.al. (2018). Skill Shift Automation and Future of the Workforce (Discussion Paper). McKinsey Global Institute Butler, R. (1998). “Enhancing and undermining intrinsic motivation: the effects of task-involving and ego-involving evaluation on interest

and performance”. British Journal of Educational Psychology, 58, 1-14.Fernandes, D. (2009). “Investigação e teoria da actividade”. Sísifo, Revista de Ciências da Educação, nº9, maio/agosto 2009, 87-99Gipps, C. (1994a). Beyond Testing: Towards a Theory of Educational assessment. London: The Falmer Press. Harlen, W. (2006). On the Relationship Between Assessment for Formative and Summative Purposes. In J. Gardner (Ed.) Assessment and

Learning. (pp. 103-117) Londres: SAGE Publications.Hattie, J., & Timperley, H. (2007). “The power of feedback”. Review of Educational Research, 77(1), 81-112.Karpicke, J. (2012). “Aprendizagem com base na recuperação: a recuperação activa promove uma aprendizagem significativa”. In A

avaliação dos Alunos. Lisboa: FFMS, pp. 17-37.

Referências bibliográficas

Kim, H. & Care, E. (2018). “Learning progressions: Pathways for 21st century teaching and learning”. Retirado de https://www.brookings.edu/blog/education-plus-development/2018/03/27/learning-progressions-pathways-for-21st-century-teaching-and-learning/, setembro, 2019

James, D., & Warwick, I (Eds). How should we test our students? Retirado de https://www.crcpress.com/rsc/downloads/Snapshot_How_should_we_test_our_students.pdf

Manatos, M.J & Melo, R. Q. (2018). Reshaping Schools for a T-World. Plataforma para o Crescimento Sustentável, Wilfried Martens Centre for European Studies

Mansell, W. (2007). Education by Numbers. The Tyranny of testing. London. Politico’s PublishingOECD (2013). Synergies for better learning. An international perspective on evaluation and assessment. Retirado de

http://dx.doi.org/10.1787/9789264190658-en, outubro 2014OECD Future of Education and Skills 2030. Concept Note. OECD 2019Santiago, P. et al. (2012), OECD Reviews of Evaluation and Assessment in Education: Portugal 2012, OECD Publishing.

http://dx.doi.org/10.1787/9789264117020-en, maio 2015Smith, W. (Eds) (2016). The Global Testing Culture. Shaping education policy, perceptions and practice. Symposium Books.Stiggins, R. (2002). “Assessment crisis: the absence of assessment for learning”. Phi Delta Kappan, 83: 10, 758-765.Stobart, G. (2008). Testing Times. N.Y.: Routledge. Wiggins, G. (1998). Educative Assessment: Designing Assessments to Inform and Improve Student Performance. EUA: Jossey-Bass.