Upload
hugo-calix
View
222
Download
1
Embed Size (px)
Citation preview
Investigating the assessment of learners’ participation in asynchronous
conference of an online courseMariano PimentelTatiana Escovedo
Hugo FuksCarlos José P. Lucena
{mariano, tatiana, hugo, lucena}@inf.puc-rio.brhttp://groupware.les.inf.puc-rio.br
ICDE, Rio de Janeiro, 4 Setembro 2006
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 2 / 14
Ambiente AulaNetLES / PUC-Rio, desde 1997 - http://www.eduweb.com.br
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 3 / 14
Avaliação pelo AulaNetEnsino Tradicional Aprendizagem Colaborativa
Estudo isolado Estudo em grupoProfessor – autoridade Professor – orientador
Aprendizagem reativa, passiva Aprendizagem ativa, investigativa
Memorização de informações Discussão e construção do conhecimento
Avaliação: pontual, somativa e realizada pelo professor
Avaliação: continuada, formativa erealizada colaborativamente
Sala de aula Ambientes online
Exame Acompanhamento da ParticipaçãoProvas com questões: - Discursiva - Múltipla Escolha - Verdadeiro ou Falso
correçãoautomática
Relatórios: - Participação na Conferência, Debate - Competência nos tópicos do curso
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 4 / 14
Avaliação pelo AulaNet
Serviços AulaNet 2.1
D ebateC onferênciaC orreio p/ Turm a
C orre io paraParticipante
B ate- papo
COMUNI CA ÇÃ OAssíncrona Síncrona
I nform ações
Acom panham .da Participação
Tarefas
COORDENA ÇÃ OCOOPERA ÇÃ O
MensagemI nstantânea
Aulas
D ocum entação
B ibliografia
W ebliografiaD ownload
Av isos
Exam e
Pesq. O pinião
Acom panham .da Navegação
C ertificado
C o- autoria
Educação a DistânciaMétodo de ensino tradicionalEducação OnlineAprendizagem Colaborativa
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 5 / 14
TIAE: um curso online
• TIAE (Tecnologia de Informação Aplicada à Educação): online desde 1998.2 pelo AulaNet (16 edições), DI / PUC-Rio possibilita a pesquisação relacionada ao AulaNet
Leituras (serv iço A ulas e pesquisas W eb)S exta S ábado D om ingo
S em inário (C onferências)
D ebate
S egunda Terça Q uarta Q uinta
13 às 14hs
12hs 14hs
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 6 / 14
Seminários do TIAE
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 7 / 14
Como avaliar a participação em conferências assincr.?Devemos avaliar a participação do aprendiz?
• Preconceitos usuais: A participação deveria ser espontânea, livre-participação... mas verificou-se que: sem avaliação, ninguém participa adequadamente
A avaliação expõe - inibe - oprime a participação do aluno... mas verificou-se que: com avaliação, os alunos sentem que seu trabalho
está sendo valorizado
• Problemas reais: Avaliação é difícil: subjetividade Avaliação de qualidade é caro: tempo e esforço Avaliação assusta: requer mudança de atitude do aprendiz
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 8 / 14
TIAE: evolução do método de avaliação nos seminários
0,3
1,0
3,03,2
3,02,6
2,4
0,1 0,2
2,8 2,8
3,8 3,73,4
0
1
2
3
4
1998.1 1998.2 1999.1 1999.2 2000.1 2000.2 2001.1 2001.2 2002.1 2002.2 2003.1 2003.2 2004.1 2004.2 2005.1Quan
tidad
e de
men
sage
ns p
or
apre
ndiz
por s
emin
ário
Avaliação não-sistemátic a
Atr ibuiç ão de c onceitoCategor ização das mensagens
Seminários realizados no serviço C onferênc iaEstruturação da disc ussão inspirada no modelo IB IS
Definiç ão de 3 questões por seminár io
Qualidade ponderada pela quantidade (4 a 6 mensagens por seminár io)
Mínimo de 2 mensagens até a metade do seminário
Parti
cipaç
ão a
tiva
eco
m q
ualid
ade
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 9 / 14
Avaliação da Participação: Nota-Conceito
8.1
9.0 8.9
7.8
9.1
7.6 7.3
6.0
9.2
0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
8.0
9.0
10.0
1998.1 1998.2 1999.1 1999.2 2000.1 2000.2 2001.1 2001.2 2002.1 2002.2 2003.1 2003.2 2004.1
Edições do curso TIAE
Not
a m
édia
das
men
sage
nsdo
s se
min
ário
s
0
2
4
6
8
10
1 2 3 4 5 6 7 80
2
4
6
8
10
1 2 3 4 5 6 7 80.0
2.5
5.0
7.5
10.0Bo m =
Reg u la r =
F raco =
Pé ssim o =
Mensagens Seminários Seminários
Nota
b. Evo lução da média das notas de um aprendiz nos sem inários
a. Evolução das notas das m ensagens de um aprendiz
c. Evolução da m édia das notas das m ensagens de uma turm a
O método de avaliaçãotornou-se mais rigoroso,gerando notas menores(embora a qualidade dasmensagens tenhaaumentado)
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 10 / 14
Avaliação da Participação: Comentários
320
52
518
138109
146
187
254
188
6437
204
347
1075752
1312110
100
200
300
400
500
1998.1 1998.2 1999.1 1999.2 2000.1 2000.2 2001.1 2001.2 2002.1 2002.2 2003.1 2003.2 2004.1
Edições do curso TIAE
Qua
ntid
ade
méd
ia d
e pa
lavr
as
das
men
sage
ns n
os s
emin
ário
s
comentáriosdos m ediadores
mensagens dosaprendizes
“A simples atribuição de conceito é irritante, ditatorial e pedagogicamente inadequada. (...) Isto é o que tenho criticado: a falta de critérios de avaliação. Se compreendesse melhor estes critérios, poderia agir mais adequadamente com o grupo. Ao menos, agir mais de acordo com o que é esperado. Não sou contra a avaliação. O que sou contra é não entender porque sou avaliado assim e não assado.” (Aprendiz TIAE 2000.1)
“O método de avaliação em IBW [Instrução Baseada na Web] consiste em avaliar não só a participação como a opinião dos aprendizes, o que seria uma forma de avaliação subjetiva e duvidosa. Como o facilitador avaliador pode fazer uma avaliação justa do conhecimento adquirido por seus aprendizes?” (Aprendiz TIAE2002.2)
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 11 / 14
Avaliação da Participação: Critérios
320
52
518
138109
146
187
254
188
6437
204
347
1075752
1312110
100
200
300
400
500
1998.1 1998.2 1999.1 1999.2 2000.1 2000.2 2001.1 2001.2 2002.1 2002.2 2003.1 2003.2 2004.1
Edições do curso TIAE
Qua
ntid
ade
méd
ia d
e pa
lavr
as
das
men
sage
ns n
os s
emin
ário
s
comentáriosdos m ediadores
mensagens dosaprendizes
Avaliação baseada em critérios:• Adequação• Conteúdo• Articulação• Linguagem
Catolagação de 50 problemas usuais
Critérios de avaliação diminuem a subjetividadeProblemas:• Professores escrevem mais que os alunos• A avaliação parece ser rigorosa demais• A avaliação torna-se muito cara (tempo médio de avaliação: 30 minutos por mensagem)
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 12 / 14
Avaliação da Participação: Avaliação Quantitativa
a) Quantidade I rrelevanteA q u a n tid a d e d e m e n s a g e n s
n ã o in fl u e n cia a n o ta ( a va lia çã oa p e n a s q u a lita tiva )
b) Quantidade Mínim aO p e s o a u m e n ta co m a
q u a n tid a d e d e m e n s a g e n sa té a tin g ir u m m á x im o
c) Quantidade Máx im aO p e s o a u m e n ta a té a tin g iru m m á x im o d e m e n s a g e n se d im in u i a o a fa s ta r- s e d e le
d) Quantidade ModeradaO p e s o m á x im o é a tin g id o
e n tre u m in te rva lo d aq u a n tid a d e d e m e n s a g e n s
M
1
M
1
M
1
N
m e n s a g e n s
m e n s a g e n sm e n s a g e n s
P e s o
m e n s a g e n s
1
P e s o
P e s o
P e s o
1 1 1
0000
0.5
0.8
0.1
0.3
0.7
0.5
0.9
0.2
0.0
0.5
1.0
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Quantidade de mensagens do aprendiz no seminário
Peso
4.Regular > 2.Bom(7.5*1 > 10*5)
1.Bom = 3.Péssimo(10*0.2 > 2.5*0.8)
Resultados:• Aumento da Quantidade de mensagens sem cair a Qualidade• Participação mais homogênea entre aprendizes• Participação mais constante entre seminários
Nos seminários TIAE,ponderação entre qualidade e quantidade:Não ajuda o grupo quem:
• só fala besteira (“achismo”)• só lê ou fala pouco (aluno-ouvinte)• fala demais (monopoliza a discussão)
ICDERio de Janeiro, 4 Setembro 2006
Assessment of learners’ participation in asynchronous conference
Mariano Pimentel, Tatiana Escovedo,Hugo Fuks e Carlos J. P. Lucena 13 / 14
Avaliação da Participação: lições aprendidas
• Avalie, ainda que apenas com notas• Apresente Comentários, pois orientam os aprendizes• Use critérios de avaliação, pois reduzem a subjetividade• Evite comentários muito extensos:
exige muito tempo dos mediadores aprendizes ficam com a impressão de que a avaliação é muito rigorosa
• Pondere a qualidade pela quantidade
→ Avaliação Colaborativa (requer suporte computacional)
Investigating the assessment of learners’ participation in asynchronous
conference of an online courseMariano PimentelTatiana Escovedo
Hugo FuksCarlos José P. Lucena
{mariano, tatiana, hugo, lucena}@inf.puc-rio.brhttp://groupware.les.inf.puc-rio.br
ICDE, Rio de Janeiro, 4 Setembro 2006