Avaliações Internacionaisde Alunos em Larga EscalaO Desafio do PISA 2015

João Marôco, Ph. D. (PISA 2015 NPM)

joao.maroco@iave.pt

O que é o PISA?

Programme for International Student Assessment …… avalia se os alunos de 15 anos, em todas as modalidades de educação e formação, conseguem mobilizar os seus conhecimentos e competências de leitura, matemática ou ciências na resolução de situações relacionadas com o dia a dia das sociedades contemporâneas.

O que é o PISA?

Domínios de Avaliação (OCDE, 2016):

LITERACIA CIENTÍFICA

«Capacidade de um indivíduo para se envolver em questões sobre ciência e compreender ideias científicas, como um cidadão reflexivo, sendo capaz de participar num discurso racional sobre ciência e tecnologia».

LITERACIA LEITURA

«Capacidade de um indivíduo compreender, utilizar, refletir e se envolver na leitura de textos escritos, com a finalidade de atingir os seus objetivos, de desenvolver os seus conhecimentos e o seu potencial e de participar na sociedade».

LITERACIA MATEMÁTICA

«Capacidade de um indivíduo formular, aplicar e interpretar a matemática em contextos diversos e formular juízos e decisões fundamentadamente, como cidadão participativo, empenhado e reflexivo».

Formular Aplicar Interpretar Localizar Interpretar Avaliar Explicar Avaliar Interpretar3

RESOLUÇÃO COLABORATIVA DE PROBLEMAS

«Capacidade de um individuo para trabalhar com duas ou mais pessoas para tentar resolver um problema».

Interagir Colaborar Resolver

O teste PISA

33%

33% 22%

4%4%

4%

DESIGN do TESTE:Tempo de testagem para todos os domínios: 13h 30min.

Duração do Teste: 2 h - Itens omissos planeados/Design matricial múltiplo (planned missingness)

( + 30 min. Student Questionnaire)

Em cada edição PISA: Domínio Principal + Domínios secundários

2015: • Domínio principal – Ciências – 1 h teste – todos os alunos• Domínios secundários – Proporções diferentes de alunos – 1 h• 66 versões de testeQuestionários aos alunos, professores e enc. de educação

• Itens de seleção e construção• Fontes e suportes variados (textos, mapas, gráficos, tabelas, figuras e simulações em computador• 3 Domínios clássicos (Ciências, Leitura, Matemática) + 1 novo domínio (resolução colaborativa de problemas)

O teste PISA

A Literacia Matemática no PISA 2015

Processos matemáticos

Formular matematicamente as situações Aplicar conceitos, factos, procedimentos

e raciocínio matemáticos Interpretar, aplicar e avaliar resultados

matemáticos

Conteúdosmatemáticos

Variações e relações Espaço e forma Grandezas Incerteza e dados

Contextos

Individual Ocupacional Societal Científico

CAPACIDADES FUNDAMENTAIS

1. Comunicação;2. Matematização;3. Representação;4. Raciocínio e argumentação;5. Conceção de estratégias de

resolução de problemas;6. Utilização de linguagem

simbólica, formal e técnica e de operações;

7. Utilização de ferramentas matemáticas

IAVE (2016); OCDE (2016)

O teste PISA 2015

PORTUGAL

Formato tradicional do PISA:

Papel-e-Lápis

Exemplo de item de

Ciências

O teste PISA 2015

PORTUGAL

Formato tradicional do PISA:

Papel-e-Lápis

Exemplo de item de

Matemática

O teste PISA 2015NOVO FORMATO: Computer Based Assessment

(Avaliação em Computador)

O teste PISA 2015CBA

Exemplo de item de seleção complexaMatemática

10

O teste PISA 2015CBA

Exemplo de item de construçãoMatemática

11

O teste PISA 2015

CBA

Exemplo de item interativo deCiências

12

Novos Desafios para o PISA: CBA vs. PBA

A avaliação em computador tem várias vantagens:• Logística;• Codificação automática;• Fiabilidade de resultados;• Supervisão em tempo real;• Disponibilidade de Resultados;• Itens interativos e simulação de dados;…• Custos financeiros.

Evolução do PISA: Paper Based Assessment Computer Based Testing Computer Adaptive Testing

Novos Desafios para o PISA: CBA vs. PBA

Leitura Matemática Ciências Leitura Matemática Ciências

PBA CBA

Problemas com o CBA? INVARIÂNCIA DE MODO?Como “ligar” os resultados dos ciclos PBA vs. CBA?

• Testes CBA têm validade e fiabilidade?

INVARIÂNCIA DE MODO:

• Os itens/testes em PBA vs. CBA:

1. Têm o mesmo índice de dificuldade?2. Têm o mesmo índice de discriminação?

• Existe efeito de “modo” nos resultados e comparação de países PBA vs. CBA?

• É possível “ligar” os resultados (itens trend) dos ciclos PBA com os novos ciclos CBA?

Novos Desafios para o PISA: CBA vs. PBA

Estudo PilotoINVARIÂNCIA DE MODO (2014):

Trend

PBA (23%)

CBA(35%)

CBA(42 %)

New & CPS

AMOSTRA: 53 Paísesn 2000/país

25-30 escolas/paísni 70 alunos/escola

2 salas em simultâneo (PBA + CBA)

1 sala ou outro período do dia.

von Davier & Sakamoto (ETS), Com. Pess., Novembro 2014]

Nota: A dimensão das amostras nacionais (n=1000-2000) é demasiado pequena para inferências válidas por país.

Novos Desafios para o PISA: CBA vs. PBA

Invariância de modo PBA vs. CBA?RESULTADOS:

Domínio Médias Internacionais (P+)

CBA PBA CBA - PBA

Matemática 0,45 0,47 -0,02

Leitura 0,60 0,59 +0,01

Ciências-Trend 0,49 0,50 -0,01

Ciências-New (FT Test) 0,41 - -

Teoria Clássica de Testes:P+: proporção de respostas corretas; ou média relativa dos scores dos itens politómicos

… CBA ligeiramente mais difícil; diferenças de P+ irrelevantes entre os dois modos!

Novos Desafios para o PISA: CBA vs. PBA

Invariância de modo PBA vs. CBA?RESULTADOS:

Taxa de Não Respostas (318 itens, aplicados em 45 países com CBA & PBA):

2015 Média Internacional

Formato CBA PBA CBA - PBA

% não-respostas 4,7 5,2 -0,5

Efeito de Omissão 2,0 2,6 -0,6

Efeito de Omissão: P+ (calculados com ‘não respostas’ como erradas) - P+ (não considerando as ‘não respostas’)Efeito de Omissão forte: > 5%

(P+: proporção de respostas corretas; ou média relativa [M/maxscore] dos scores nos itens politómicos)

CBA: reduz ligeiramente a % não respostas e efeito de omissão.

2015Formato CBA PBA

Nº itens (média/país) comEfeito de Omissão forte

32,5 44,5

Novos Desafios para o PISA: CBA vs. PBA

Invariância de modo PBA vs. CBA?RESULTADOS:

Teoria Clássica de Testes:Efeito de Posição (a posição dos blocos de itens afeta a P+?)

CBA reduz efeito da localização dos itens no teste …

CBA (2015) Posição1 Posição2 Posição3 Posição4 Pos.4 – Pos.1

Matemática 0,439 0,454 0,432 0,427 -0,012

Leitura 0,575 0,580 0,566 0,544 -0,031

Ciências 0,409 0,418 0,401 0,385 -0,024

PBA (2009) Posição1 Posição2 Posição3 Posição4 Pos.4 – Pos.1

Matemática 0,411 0,401 0,384 0,371 -0,040

Leitura 0,581 0,557 0,532 0,499 -0,083

Ciências 0,490 0,478 0,457 0,435 -0,055

Novos Desafios para o PISA: CBA vs. PBA

Invariância de modo PBA vs. CBA?RESULTADOS:

Teoria de Resposta ao ItemComparação entre os itens PBA vs. CBA mixed IRT models (Rasch/PCM, 2PL/GPCM)

0

1

2

3

0 1 2 3

Dis

crim

inaç

ãoC

BA

(a)

Discriminação PBA (a)

CMC Computer Human SMC

r ()=0,89r ()=0,89r ()=0,90r ()=0,94

-3

-2

-1

0

1

2

3

-4 -2 0 2 4

Difi

culd

ade

CB

A (b

)Dificuldade PBA (b)

CMC Computer Human SMC

r ()=0,94r ()=0,96r ()=0,94r ()=0,93

Correlações fortes entre parâmetros de discriminação (a) e dificuldade (b) das CCI por tipologia de codificação do item…

Novos Desafios para o PISA: CBA vs. PBA

Invariância de modo PBA vs. CBA?RESULTADOS:

Teoria de Resposta ao ItemComparação entre os itens PBA vs. CBA mixed IRT models (Rasch/PCM, 2PL/GPCM)

Correlações fortes entre parâmetros de discriminação (a) e dificuldade (b) das CCI por domínio…

Domínio Parâmetro de Discriminaçãor (aPBA, aCBA)

Parâmetro de Dificuldader (bPBA, bCBA)

Matemática 0,91 0,95

Leitura 0,89 0,94

Ciências 0,94 0,93

Todos os domínios 0,91 0,94

Novos Desafios para o PISA: CBA vs. PBA

300

350

400

450

500

550

600

650

300 350 400 450 500 550 600 650

PBA

CBA

0

0

1000

1000////

1 : 1

Correlação entre as pontuações médias por domínio CBA vs. PBA

MATEMÁTICA (r = 0,97; b = 1,05)

CIÊNCIAS (r = 0,97; b = 1,06) LEITURA (r = 0,96; b = 0,98)

Invariância de modo PBA vs. CBA?RESULTADOS:

Novos Desafios para o PISA: CBA vs. PBA

Invariância de modo PBA vs. CBA?CONCLUSÕES:

Novos Desafios para o PISA: CBA vs. PBA

• CBA reduz a taxa de não respostas• Itens CBA ligeiramente mais difíceis que PBA (diferenças irrelevantes entre P )• CBA reduz Efeito de Omissão• CBA reduz Efeito de Posição dos itens/blocos no teste …• Comparabilidade dos itens trend entre 2000-2012 (PBA) e 2015 (CBA trend)• Correlações entre os parâmetros de dificuldade e discriminação das ICC para PBA e CBA elevadas

no geral, por tipologia de item e por domínio (r =0,89-0,95)• Correlações elevadas entre domínios estimados em PBA vs. CBA (r =0,96-0,97)

• Mixed multigroup IRT (RM/PCM; 2PL/GPCM) permitem manter a continuidade da série PISA (2000-2015-…)

• Não há efeito de modo de aplicação (PBA vs. CBA) relevante quer de acordo com a TCT quer com a TRI (invariância de modo)

• Entre PBA e CBA são esperados 75-85% parâmetros comuns por domínio; i. e. ~ 4-5 clusters em 6 clusters trend comuns: uma ligação mais forte do que a observada em ciclos anteriores!

PISA 2015

PISA 2015

72 Países e economias: 17 565 escolas

509 000 alunos

143 000 enc. de educação

95 000 professoresPAÍSES MEMBROS DA OCDE: PAÍSES E ECONOMIAS NÃO MEMBROS DA OCDE:

Austrália, Áustria, Bélgica, Canadá, Chile, República Checa,Dinamarca, Estónia, Finlândia, França, Alemanha, Grécia,Hungria, Islândia, Irlanda, Israel, Itália, Japão, Letónia,Luxemburgo, México, Holanda, Nova Zelândia, Noruega,Polónia, Portugal, República Eslovaca, Eslovénia, República daCoreia, Espanha, Suécia, Suíça, Turquia, Reino Unido, EstadosUnidos da América.

Albânia, Argélia, Argentina, Brasil, Bulgária, as provinciais de Beijing-Shangai-Jiangsu-Guandong da China [reportadas como B-S-J-G(China)], Hong Kong (China), Macau (China), Colômbia, Costa Rica,Croácia, Chipre, República Dominicana, Geórgia, Indonésia, Jordânia,Cazaquistão, Kosovo, Líbano, Lituânia, Antiga República Jugoslava daMacedónia, Malásia, Malta, Moldávia, Montenegro, Peru, Catar,Roménia, Federação Russa, Singapura, Taipé Chinês, Tailândia,Trindade e Tobago, Tunísia, Emirados Árabes Unidos, Uruguai.Vietname.(países em itálico – PBA)

Quem participou

Escolas/alunos selecionadas por amostragem aleatória multietapa: 1ª. Etapa: aleatória estratificada (NUTS III e Natureza Administrativa); 2ª. Etapa: aleatória simples (alunos com idades entre 15 anos e 3 meses e 16 anos e 2 meses a frequentar pelo menos o 7.º ano ou equivalente em todas as modalidades de educação e formação)

246 (222 públicas + 24 particulares e cooperativas)(Taxa Amostragem: 24%)

4228 (M = 46,7 anos; 72% ♀)

7325 (M = 15,8 anos; 50% ♂) (Taxa Amostragem: 7,5%)

R. A. Açores: 21% (sobreamostragem)A. M. Lisboa: 18%A. M. Porto: 13%Outras NUTS III: 1 - 4,5 %

6881 Encarregados de educação

PISA 2015Amostra Nacional

459

501

470

498

454

492

400

420

440

460

480

500

520

540

2000 2003 2006 2009 2012 2015

Pont

uaçã

o na

Esc

ala P

ISA

Ano

Ciências Leitura Matemática1000

0

OCDE

Portugal

n

PISA 2015Resultados Nacionais

400 450 500 550READ Score

PORTUGAL

400 450 500 550MATH Score

450 475 500 525 550SCIE Score

PISA 2015Resultados Regionais (NUTS III)

Obrigado pela atenção!

joao.maroco@iave.pt