14
Investigating the assessment of learners’ participation in asynchronous conference of an online course Mariano Pimentel Tatiana Escovedo Hugo Fuks Carlos José P. Lucena {mariano, tatiana, hugo, lucena}@inf.puc-rio.br http://groupware.les.inf.puc-rio.br ICDE, Rio de Janeiro, 4 Setembro 2006

Investigating the assessment of learners’ participation in asynchronous conference of an online course Mariano Pimentel Tatiana Escovedo Hugo Fuks Carlos

Embed Size (px)

Citation preview

Investigating the assessment of learners’ participation in asynchronous

conference of an online courseMariano PimentelTatiana Escovedo

Hugo FuksCarlos José P. Lucena

{mariano, tatiana, hugo, lucena}@inf.puc-rio.brhttp://groupware.les.inf.puc-rio.br

ICDE, Rio de Janeiro, 4 Setembro 2006

ICDERio de Janeiro, 4 Setembro 2006

Assessment of learners’ participation in asynchronous conference

Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 2 / 14

Ambiente AulaNetLES / PUC-Rio, desde 1997 - http://www.eduweb.com.br

ICDERio de Janeiro, 4 Setembro 2006

Assessment of learners’ participation in asynchronous conference

Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 3 / 14

Avaliação pelo AulaNetEnsino Tradicional Aprendizagem Colaborativa

Estudo isolado Estudo em grupoProfessor – autoridade Professor – orientador

Aprendizagem reativa, passiva Aprendizagem ativa, investigativa

Memorização de informações Discussão e construção do conhecimento

Avaliação: pontual, somativa e realizada pelo professor

Avaliação: continuada, formativa erealizada colaborativamente

Sala de aula Ambientes online

Exame Acompanhamento da ParticipaçãoProvas com questões: - Discursiva - Múltipla Escolha - Verdadeiro ou Falso

correçãoautomática

Relatórios: - Participação na Conferência, Debate - Competência nos tópicos do curso

ICDERio de Janeiro, 4 Setembro 2006

Assessment of learners’ participation in asynchronous conference

Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 4 / 14

Avaliação pelo AulaNet

Serviços AulaNet 2.1

D ebateC onferênciaC orreio p/ Turm a

C orre io paraParticipante

B ate- papo

COMUNI CA ÇÃ OAssíncrona Síncrona

I nform ações

Acom panham .da Participação

Tarefas

COORDENA ÇÃ OCOOPERA ÇÃ O

MensagemI nstantânea

Aulas

D ocum entação

B ibliografia

W ebliografiaD ownload

Av isos

Exam e

Pesq. O pinião

Acom panham .da Navegação

C ertificado

C o- autoria

Educação a DistânciaMétodo de ensino tradicionalEducação OnlineAprendizagem Colaborativa

ICDERio de Janeiro, 4 Setembro 2006

Assessment of learners’ participation in asynchronous conference

Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 5 / 14

TIAE: um curso online

• TIAE (Tecnologia de Informação Aplicada à Educação): online desde 1998.2 pelo AulaNet (16 edições), DI / PUC-Rio possibilita a pesquisação relacionada ao AulaNet

Leituras (serv iço A ulas e pesquisas W eb)S exta S ábado D om ingo

S em inário (C onferências)

D ebate

S egunda Terça Q uarta Q uinta

13 às 14hs

12hs 14hs

ICDERio de Janeiro, 4 Setembro 2006

Assessment of learners’ participation in asynchronous conference

Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 6 / 14

Seminários do TIAE

ICDERio de Janeiro, 4 Setembro 2006

Assessment of learners’ participation in asynchronous conference

Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 7 / 14

Como avaliar a participação em conferências assincr.?Devemos avaliar a participação do aprendiz?

• Preconceitos usuais: A participação deveria ser espontânea, livre-participação... mas verificou-se que: sem avaliação, ninguém participa adequadamente

A avaliação expõe - inibe - oprime a participação do aluno... mas verificou-se que: com avaliação, os alunos sentem que seu trabalho

está sendo valorizado

• Problemas reais: Avaliação é difícil: subjetividade Avaliação de qualidade é caro: tempo e esforço Avaliação assusta: requer mudança de atitude do aprendiz

ICDERio de Janeiro, 4 Setembro 2006

Assessment of learners’ participation in asynchronous conference

Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 8 / 14

TIAE: evolução do método de avaliação nos seminários

0,3

1,0

3,03,2

3,02,6

2,4

0,1 0,2

2,8 2,8

3,8 3,73,4

0

1

2

3

4

1998.1 1998.2 1999.1 1999.2 2000.1 2000.2 2001.1 2001.2 2002.1 2002.2 2003.1 2003.2 2004.1 2004.2 2005.1Quan

tidad

e de

men

sage

ns p

or

apre

ndiz

por s

emin

ário

Avaliação não-sistemátic a

Atr ibuiç ão de c onceitoCategor ização das mensagens

Seminários realizados no serviço C onferênc iaEstruturação da disc ussão inspirada no modelo IB IS

Definiç ão de 3 questões por seminár io

Qualidade ponderada pela quantidade (4 a 6 mensagens por seminár io)

Mínimo de 2 mensagens até a metade do seminário

Parti

cipaç

ão a

tiva

eco

m q

ualid

ade

ICDERio de Janeiro, 4 Setembro 2006

Assessment of learners’ participation in asynchronous conference

Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 9 / 14

Avaliação da Participação: Nota-Conceito

8.1

9.0 8.9

7.8

9.1

7.6 7.3

6.0

9.2

0.0

1.0

2.0

3.0

4.0

5.0

6.0

7.0

8.0

9.0

10.0

1998.1 1998.2 1999.1 1999.2 2000.1 2000.2 2001.1 2001.2 2002.1 2002.2 2003.1 2003.2 2004.1

Edições do curso TIAE

Not

a m

édia

das

men

sage

nsdo

s se

min

ário

s

0

2

4

6

8

10

1 2 3 4 5 6 7 80

2

4

6

8

10

1 2 3 4 5 6 7 80.0

2.5

5.0

7.5

10.0Bo m =

Reg u la r =

F raco =

Pé ssim o =

Mensagens Seminários Seminários

Nota

b. Evo lução da média das notas de um aprendiz nos sem inários

a. Evolução das notas das m ensagens de um aprendiz

c. Evolução da m édia das notas das m ensagens de uma turm a

O método de avaliaçãotornou-se mais rigoroso,gerando notas menores(embora a qualidade dasmensagens tenhaaumentado)

ICDERio de Janeiro, 4 Setembro 2006

Assessment of learners’ participation in asynchronous conference

Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 10 / 14

Avaliação da Participação: Comentários

320

52

518

138109

146

187

254

188

6437

204

347

1075752

1312110

100

200

300

400

500

1998.1 1998.2 1999.1 1999.2 2000.1 2000.2 2001.1 2001.2 2002.1 2002.2 2003.1 2003.2 2004.1

Edições do curso TIAE

Qua

ntid

ade

méd

ia d

e pa

lavr

as

das

men

sage

ns n

os s

emin

ário

s

comentáriosdos m ediadores

mensagens dosaprendizes

“A simples atribuição de conceito é irritante, ditatorial e pedagogicamente inadequada. (...) Isto é o que tenho criticado: a falta de critérios de avaliação. Se compreendesse melhor estes critérios, poderia agir mais adequadamente com o grupo. Ao menos, agir mais de acordo com o que é esperado. Não sou contra a avaliação. O que sou contra é não entender porque sou avaliado assim e não assado.” (Aprendiz TIAE 2000.1)

“O método de avaliação em IBW [Instrução Baseada na Web] consiste em avaliar não só a participação como a opinião dos aprendizes, o que seria uma forma de avaliação subjetiva e duvidosa. Como o facilitador avaliador pode fazer uma avaliação justa do conhecimento adquirido por seus aprendizes?” (Aprendiz TIAE2002.2)

ICDERio de Janeiro, 4 Setembro 2006

Assessment of learners’ participation in asynchronous conference

Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 11 / 14

Avaliação da Participação: Critérios

320

52

518

138109

146

187

254

188

6437

204

347

1075752

1312110

100

200

300

400

500

1998.1 1998.2 1999.1 1999.2 2000.1 2000.2 2001.1 2001.2 2002.1 2002.2 2003.1 2003.2 2004.1

Edições do curso TIAE

Qua

ntid

ade

méd

ia d

e pa

lavr

as

das

men

sage

ns n

os s

emin

ário

s

comentáriosdos m ediadores

mensagens dosaprendizes

Avaliação baseada em critérios:• Adequação• Conteúdo• Articulação• Linguagem

Catolagação de 50 problemas usuais

Critérios de avaliação diminuem a subjetividadeProblemas:• Professores escrevem mais que os alunos• A avaliação parece ser rigorosa demais• A avaliação torna-se muito cara (tempo médio de avaliação: 30 minutos por mensagem)

ICDERio de Janeiro, 4 Setembro 2006

Assessment of learners’ participation in asynchronous conference

Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 12 / 14

Avaliação da Participação: Avaliação Quantitativa

a) Quantidade I rrelevanteA q u a n tid a d e d e m e n s a g e n s

n ã o in fl u e n cia a n o ta ( a va lia çã oa p e n a s q u a lita tiva )

b) Quantidade Mínim aO p e s o a u m e n ta co m a

q u a n tid a d e d e m e n s a g e n sa té a tin g ir u m m á x im o

c) Quantidade Máx im aO p e s o a u m e n ta a té a tin g iru m m á x im o d e m e n s a g e n se d im in u i a o a fa s ta r- s e d e le

d) Quantidade ModeradaO p e s o m á x im o é a tin g id o

e n tre u m in te rva lo d aq u a n tid a d e d e m e n s a g e n s

M

1

M

1

M

1

N

m e n s a g e n s

m e n s a g e n sm e n s a g e n s

P e s o

m e n s a g e n s

1

P e s o

P e s o

P e s o

1 1 1

0000

0.5

0.8

0.1

0.3

0.7

0.5

0.9

0.2

0.0

0.5

1.0

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Quantidade de mensagens do aprendiz no seminário

Peso

4.Regular > 2.Bom(7.5*1 > 10*5)

1.Bom = 3.Péssimo(10*0.2 > 2.5*0.8)

Resultados:• Aumento da Quantidade de mensagens sem cair a Qualidade• Participação mais homogênea entre aprendizes• Participação mais constante entre seminários

Nos seminários TIAE,ponderação entre qualidade e quantidade:Não ajuda o grupo quem:

• só fala besteira (“achismo”)• só lê ou fala pouco (aluno-ouvinte)• fala demais (monopoliza a discussão)

ICDERio de Janeiro, 4 Setembro 2006

Assessment of learners’ participation in asynchronous conference

Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 13 / 14

Avaliação da Participação: lições aprendidas

• Avalie, ainda que apenas com notas• Apresente Comentários, pois orientam os aprendizes• Use critérios de avaliação, pois reduzem a subjetividade• Evite comentários muito extensos:

exige muito tempo dos mediadores aprendizes ficam com a impressão de que a avaliação é muito rigorosa

• Pondere a qualidade pela quantidade

→ Avaliação Colaborativa (requer suporte computacional)

Investigating the assessment of learners’ participation in asynchronous

conference of an online courseMariano PimentelTatiana Escovedo

Hugo FuksCarlos José P. Lucena

{mariano, tatiana, hugo, lucena}@inf.puc-rio.brhttp://groupware.les.inf.puc-rio.br

ICDE, Rio de Janeiro, 4 Setembro 2006