A AVALIAÇÃO EM MATEMÁTICA DO SAETHE · Prof. Glauker Amorim Prof. Glauker Amorim • Professor do Departamento de Matemática da Universidade Federal de Juiz de Fora ... Matemática

A AVALIAÇÃO EM MATEMÁTICA DO SAETHE

GLAUKER AMORIM

A AVALIAÇÃO EM MATEMÁTICA

REFLEXÕES SOBRE O DESENVOLVIMENTO

DA APRENDIZAGEM – E A ELABORAÇÃO DE PLANOS DE DIVULGAÇÃO E

INTERVENÇÃO

Prof. Glauker Amorim


• Professor do Departamento de Matemática da

Universidade Federal de Juiz de Fora


• Consultor Ad Hoc do INEP/MEC

• Pesquisador Associado do CAEd

Como vocês planejam orientar e o que pretendem sugerir aos diversos agentes para que possam colher melhores

resultados numa próxima avaliação do SETHE?




423,7

“Medir o conhecimento” em Matemática:

Teoria Clássica do Teste - TCT



Desempenho: Desempenho:

Teste 1 Teste 2

12 acertos em 20 questões 15 acertos em 20 questões

12/20 15/20

60% 75%


Medir a temperatura corporal de uma pessoa


Índice de dificuldade de um item - TCT

Ordenadas pelo desempenho no teste

36

16Índice de dificuldade do item = 16/36 = 0,444


Capacidade de discriminação de um item - TCT

Ordenados pelo desempenho no teste

27% 27%

Percentual de pessoas desse grupo que acertaram o itemEx: 23% ou 0,23

Percentual de pessoas desse grupo que acertaram o itemEx: 85% ou 0,85

Índice de discriminação desse

item é: 0,85 – 0,23 = 0,62


1. Resultados dependem do particular conjunto de questõesque compõem o teste e dos indivíduos que a fizeram, ou seja, asanálises e interpretações estão sempre associadas à prova comoum todo e ao grupo de indivíduos que participou do teste.

Problemas da Teoria Clássica do Teste (TCT)

2. Comparação entre indivíduos ou grupos de indivíduos somente é possível quando eles são submetidos às mesmas provas.

TRI


Teoria da Resposta ao Item


1. Muda o foco de análise do teste como um todo para a análise de cada item.

Teoria da Resposta ao Item

2. Conjunto de modelos matemáticos que relacionam um oumais traços latentes (não observáveis) de um indivíduo com aprobabilidade deste dar uma certa resposta a um item.

3. Traço latente: habilidade/proficiência em Matemática, em Português, grau de depressão, etc.


4. A probabilidade de uma certa resposta a um item é modelada como função da proficiência do aluno e de parâmetros que expressam certas propriedades dos itens.

5. Quanto maior a proficiência do respondente, maior aprobabilidade do respondente “acertar” o item (modeloacumulativo).

6. Propriedade importante: os parâmetros dos itens e as proficiências dos indivíduos são invariantes, exceto pela escolha de origem e escala.


Matriz de ReferênciaDescreve o objeto da avaliação.Ela é o referencial das competências e habilidades que se espera que os estudantes desenvolvam nas diversas áreas e etapas de ensino

CompetênciasSão determinadas pela capacidade de mobilizar uma série de recursos cognitivos em situações ou contextos diversos. É formada por um conjunto de habilidades

HabilidadesEstá ligada ao princípio da ação, ao saber fazer alguma coisa

ItemÉ uma questão calibrada estatisticamente e que avalia uma habilidade

ProficiênciaÉ uma síntese numérica do domínio apresentado pelo aluno em relação a determinada competência


Diretrizes Curriculares

Estrutura de um item de múltipla escolha

Texto-base

Enunciado (ou comando)

Alternativas de resposta

Justificativas


)b(ae1

1)c1(c)c,b,a,|1X(P

Parâmetros do item

Proficiência do avaliando

Variável dicotômicaProbabilidade de acertar o

item, dados a proficiência do avaliando

e os parâmetros

do item

Modelo TRI unidimensional a três parâmetros



Curva Característica do Item (CCI)

Curva de Informação do Item (CII)

Desenho Psicométrico do Teste

TRI apresentação.ggb

Função Informação.ggb

Desenho_psicometrico_do_teste.ggb

111001001⁞0100

Questão 2

Questão 1

Questão 3

Questão 5

Questão 4

Questão 7

Questão 6

Questão 9

Questão 8

Questão 42

Questão 43

Questão 44

Questão 45

⁞

Aluno 1 Aluno 2

110011010⁞0000

Aluno n

101111000⁞0101

⋱

⋯


111001001⁞0100

110011010⁞0000

101111000⁞0101

⋱


111001001⁞0100

110011010⁞0000

101111000⁞0101

⋱Matriz formada por:• 45 linhas• n colunas



a = ? b = ? c = ?




Proficiência

Proficiência.ggb


Item 1

Item 2

Item 3

Item 4

Item 5

Item 6

Item 7

Item 8

Item 9

Item 10

Item 11

Item 12Item 13

Item 19

Item 14

Item 18

Item 15

Item 17

Item 16

Item 20

Item 21

Item 22

Item 23

Item 24

Teste 1 Teste 2

780

75,0% 63,3%



300 400 500 600 700 800 900 1000200

Item 1

Item 17

Item 44

Item 19

Item 21

Item 5

Item 35

Item 33

Item 41

Item 7

Item 11

318 961


ENEM 2011


297

442145

ENEM 2011


280

852

43

ENEM 2011


395

501106

ENEM 2011


322

957

ENEM 2011


ENEM 2016


Uso dos resultados da avaliação

O risco de se comparar médias:

Turma Notas

A 5 5 5 5 5 5 5 5 5 5

B 0 0 0 0 0 10 10 10 10 10

Turma Média

A 5

B 5

Turma Desvio padrão

A 0

B 5




Média de proficiência:

20

5

21

0

21

5

22

0

20

0

23

52

40

25

52

60

23

0

29

03

00

31

03

20

28

0

34

0

35

0

36

0

37

5

33

0

27

6

40

0

27

9,5




Desafio:

Promover ganhos de proficiência que sejam capazes de reduzir a presença de alunos nos padrões mais baixos da escala, aumentado, consequentemente, a presença dos alunos nos padrões mais elevados da escala.


82,780,377,178,1

64,267,8

46,7

66,1

49,6

56,2

62,668,5

23,9

35,9

72,8

48,750,9

60

50,154,5

64

86,3

38,1

D01 D04 D05 D06 D07 D09 D10 D11 D17 D19 D20 D23 D27 D31 D34 D35 D36 D38 D40 D41 D49 D50 D51

Matemática 8EF – Percentual de acerto por descritor



Por que pode não ser produtivo priorizar as atividades didáticas voltadas aos descritores nos quais os alunos apresentaram mais baixo desempenho no teste?

D27D27D27



Por que pode não ser produtivo priorizar as atividades didáticas voltadas aos descritores nos quais os alunos apresentaram mais baixo desempenho no teste?

D27D27D27


Como reduzir o número de alunos nos padrões mais baixos?











157,5

Descritor: D01

Percentual de acerto: 96%



246,3

Descritor: D34Percentual de acerto: 57,9%


261,25

Descritor: D40Percentual de acerto: 42%



279,8

Descritor: D35Percentual de acerto: 48%


304,883




347,571

Descritor: D27

Percentual de acerto: 12,9%


342,02



437,33

Descritor: D20

Percentual de acerto: 31,6%


Sentença descritora de um item

É uma frase que retrata o mais fielmente possível a tarefa proposta pelo item. É estruturada em quatro partes: • uma operação cognitiva, ou processo mental; • o objeto do conhecimento, ou tópico de conteúdo utilizado

pelo item; • o complemento do objeto do conhecimento onde se apresenta

as nuances do item em relação ao objeto do conhecimento; • o contexto ou situação, detalhando de que forma o item é

apresentado ao aluno.


Sentença descritora: Calcular a medida da área de um círculo, a partir do comprimento de seu diâmetro, que se encontra destacado em uma figura, em um contexto extra matemático.


1ª Atividade

Redigir as sentenças descritoras para os outros 7 itens apresentados


2ª Atividade

Identifique em quais unidades de quais anos escolares são abordados os temas relacionados à habilidade apresentada pelo descritor D27.


3ª Atividade

Elaborar um item do descritor D35








4ª Atividade

O que priorizar nessa escola para que os resultados em Matemática o 8EF no próximo SAETHE sejam significativamente melhores?


Referências Bibliográficas

Tavares, H.R., Andrade, D.F.(2006). Item response theory for longitudinal data; item and population ability parameters estimation. Test 15(1), 97-123.

Beaton, A.E., Allen, N.L. (1992). Interpreting scales through scale anchoring.Journal of Educational Statistics, 17, 191-204.

Kolen, M.J., Brennan, R.L. (2004). Test Equating: Methods and Practices (2nd ed.). New York: Springer.

Ware, J.E., Bjorner, J. B., Kosinski, M. (2000). Practical Implications of Item Response Theory and Computerized Adaptive Testing. A Brief Summary ofOngoing Studies of Widely Used Headache Impact Scales. Medical Care, v.38.

Lord, F.M., Norvick, M.R. (1968). Statistical Theories of Mental Test Score. Reading: Addison-Wesley.


Referências Bibliográficas

Lord, F.M. (1980). Applications of Item Response Theory to Practical TestingProblems. Hillsdale: Lawrence Erlbaum Associates.

Hambleton, R.K., Swaminathan, H., Rogers, H.J. (1991). Fundamentals of ItemResponse Theory. Newburry Park: Sage Publications.

Andrade, D.F., Tavares, H.R., Cunha, R.V. (2000). Teoria da Resposta ao Item:Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística.


Bom trabalho a todos!

Contato: [email protected]

Documents

A AVALIAÇÃO EM MATEMÁTICA DO SAETHE · Prof. Glauker Amorim Prof. Glauker Amorim • Professor do Departamento de Matemática da Universidade Federal de Juiz de Fora ... Matemática