Using a wiki to evaluate individual contribution to a collaborative learning project

Tradução: Débora Cunha (Nov-2011)

Utilizando a wiki para avaliar a contribuição individual num projecto de

aprendizagem colaborativo

G. Trentin

Introdução

Ambientes educacionais tradicionais são frequentemente caracterizados por um processo pelo

qual o professor atribui uma atividade de aprendizagem que geralmente é realizada de forma

autónoma pelo aluno. No entanto, isso retira do processo de aprendizagem uma quantidade

justa de sua dimensão social (Bornstein & Bruner, 1989; Sullivan 1994). Assim, a ideia de

promover estratégias de aprendizagem colaborativa apresenta-se como um dos meios de

reforçar essa dimensão através da criação de as condições para o desenvolvimento cognitivo

do indivíduo como resultado da interação do grupo (Treleaven & Cecez- Kecmanovic 2001;

Garrison 2003).

Na área específica da aprendizagem colaborativa em rede (Haughey & Anderson, 1998;

Trentin 2006), estas estratégias são freqüentemente implementadas através da atribuição de

um grupo de alunos com a tarefa de descobrir de forma colaborativa a solução para um

determinado problema (resolução de problemas de forma colaborativa) ou o desenvolvimento

de um texto escrito (co-escrita), com base em um argumento dado (Trentin, 2004). Agora as

atividades on-line podem se beneficiar muito de enormes possibilidades oferecidas pelo

software social (Malloch 2005; Alexander 2006). Estes incluem wikis, que são caracterizadas

por uma variedade única e poderosa de partilha de informações e recursos de colaboração que

oferecem vantagens importantes, como permitir que os alunos estejam ativamente envolvidos

na construção do seu próprio conhecimento (Boulos et al. 2006), bem como melhorar os

processos de co-escrita (Parker & Chao 2007) facilitando seu acompanhamento. Por exemplo,

algumas dessas facilidades incluem a possibilidade de:

• implementar escrita colaborativa distribuída (Lowry et al, 2004a.); e

• explorar algumas funções incorporados na wiki (nº de versões, tags, comentários, links) para

apoiar o acompanhamento das atividades dos alunos e seu nível de contribuição para o

trabalho colaborativo.


Esta última facilidade é significativa, como professores, muitas vezes temos a dificuldade na

avaliação ao propor atividades de co-escrita para seus alunos (Shen et al 2004.; Swan et al.

2006). O problema não reside apenas na avaliação ao nível de aprendizagem produzidos pelo

próprio processo, mas também na aferição do grau real ao qual o indivíduo tem participado

ativamente e contribuiu para a construção do trabalho escrito (Macdonald 2003; Collazos et

al., 2004).

Este trabalho tem como objetivo fornecer uma solução para este problema apresentando e

analisando uma abordagem metodológica para a organização da co-escrita com base no uso

da wiki como um meio para a gestão da avaliação da colaboração nos processos de

aprendizagem.

Co-escrita e aprendizagem colaborativa

O desenvolvimento colaborativo de um texto escrito transforma o aluno comum, o trabalho

solitário escrito em um processo coletivo, gerando fortes benefícios ao nível social e nível

cognitivo (Clifford, 1992; Sullivan, 1994). Na verdade, os processos da co-escrita (Hale &

Wyche-Smith, 1988; Guerrero et al. 2003) não oferecem uma excelente oportunidade apenas

para a prática de leitura e escrita, mas também para estimular a reflexão, partilha de

conhecimento e pensamento crítico (Brown & Palincsar 1989; Scardamalia & Bereiter 2003).

Em suma, eles oferecem uma oportunidade para aprimorar conhecimentos e habilidades

através de um processo de forte conotação social (Cooper et al. 1994;.Picciano 2002; Stahl

2006). Além disso, a co-escrita que é feita on-line é quase sempre feita de forma assíncrona, e

é mediada e indireta (Weng & Gennari 2004). Portanto, os alunos tem maiores oportunidades

de refletir profundamente sobre o que ler e escrever ao responder aos interlocutores, além de

praticar as suas competências linguísticas (Flower, 1996).

Isto pode ampliar o senso dos alunos que podem adquirir múltiplas interpretações do mesmo

tema de estudo ou ponto de discussão (Cunningham, 1991). Isso também sublinha o fato de

que as interpretações podem convergir ou divergir, destacando a complexidade das inter-

relações naturais dentro dos domínios do conhecimento.

Além dos aspectos cognitivos, também vale a pena considerar a importância de dominar as

técnicas de co-escrita, que são cada vez mais necessária no mundo do trabalho. Em muitas

profissões, documentos, relatórios, diretrizes, propostas de projetos como são escritos em


colaboração utilizando tecnologias de rede (Lowry et al. 2004b). No entanto, enquanto a co-

escrita oferece vantagens claras para o processo de aprendizagem, ela também

apresenta obstáculos na avaliação de cada aluno:

•contribuição para o desenvolvimento do artefato produzido pelo grupo, e

•nível de progresso em alcançar os objetivos educacionais do curso.

Estas questões representam as questões-chave de pesquisa que têm estimulado o estudo e a

experimentação relatado neste trabalho.

Wikis, co-escrita e avaliação

A literatura relata muitas experiências no uso de wikis na educação (Byron 2005; Notari 2006;

Parker & Chao 2007). Vários destes têm abordado o problema de avaliar o conteúdo que os

alunos tenham desenvolvido e o nível de aprendizagem/competências alcançado no seu

desenvolvimento (Bruns & Humphreys 2005; Hamer 2006). Por outro lado, parece que a

avaliação da área a respeito do processo de colaboração realizado por alunos ainda não foi

totalmente resolvido.

O objetivo desta pesquisa foi, portanto, definir e testar uma nova abordagem metodológica

para a organização da co-escrita via wiki, que permite a avaliação e monitoramento da

aprendizagem colaborativa. A pesquisa tem centrado em duas sucessivas edições (2005-2006 e

2006-2007) de um curso online sobre Network Technology E Desenvolvimento de Recursos

Humanos (NT&HRD) na Faculdade de Ciências Políticas da Universidade de Turim, e envolveu

cerca de 30 estudantes.

Por que escolher wikis para co-escrever?

Um dos módulos NT&HRD prevê a colaboração no desenvolvimento de uma tese de curta

duração. Em anos anteriores, esta atividade era realizada utilizando o método tradicional de

interagir por meio de conferência por computador e partilha das contribuições individuais

como arquivos anexados. Este processo exige um editor "central" disposto a assumir a tarefa

de recolher as contribuições e moldar o documento final de acordo com indicações do grupo.

No entanto, este apresentou três desvantagens principais:

•sobrecarga excessiva para um membro do grupo, ou seja, o editor;


• o perigo de que cada membro do grupo concentra-se apenas em um ramo do

conhecimento cobertas no final do trabalho colaborativo, e

• dificuldade em avaliar a medida em que cada membro do grupo tinha examinado

criticamente o trabalho em geral, além de realizar o seu contributo na tarefa

individualmente.

Posteriormente, foi decidido em edições posteriores para usar uma wiki como um ambiente

de co-escrita, explorando o potencial que se ofereceu para:

• Redistribuir a responsabilidade para a edição global do documento a todos

os membros do grupo;

• estimular cada participante, através da organização específica do trabalho de grupo,

para colaborar nas várias fases em produção da obra geral, e

• estabelecer um mecanismo de avaliação com base na análise das interações entre os

participantes, na avaliação em produções de cada indivíduo e sobre a estruturação do

trabalho final - tarefas realizadas usando dados a partir de opções da wiki padrão

(comentários, links, etiquetas, versões).

PBWiki (http://www.pbwiki.com) foi adotado para a experimentação, uma escolha feita

exclusivamente com base que esta aplicação é gratuita, que permite password de

acesso e além de ser um clássico e editor WYSIWYG.

Da centralização à edição distribuída

Usando abordagens de hipertexto para escrita colaborativa pode quase inteiramente evitar a

necessidade existir um editor com o fardo único de gerir as diferentes versões do

desenvolvimento do texto escrito. Em comparação com outras aplicações de hipertexto, como

ToolBook, HTML editores, PowerPoint, etc, as wikis oferecem vantagens especiais, acima de

tudo a possibilidade de “escrita distribuída”(Hart-Davidson et al. 2006). Assim como sua

escrita, os estudantes podem ir vendo suas próprias páginas em tempo real, além de poder ver

as páginas que os outros têm publicado e vinculado hipertextualmente, sem ter que esperar

por um editor para montar as diversas peças desenvolvidas individualmente em diferentes

computadores pessoais. Além disso, ser capaz constantemente de verificar o estado da obra,

http://www.pbwiki.com/


do progresso, estimula os estudantes para encontrar outros links de hipertexto e ideias para o

desenvolvimento de sua própria parte do trabalho.

Regras gerais para a edição distribuída

A co-escrita exige regras gerais a serem definidas para a elaboração o documento partilhado

(Lowry et al., 2004b). O objetivo não é só garantir a homogeneidade estilística do documento

final, mas também para definir estratégias eficazes para atingir os objetivos de aprendizagem

que se pretende atingir.

Em termos de estilo, os alunos são convidados a concordar com regras tipográficas, tais como

os formatos a serem utilizados para os caracteres e parágrafos, os nomes dos links (retorna ao

índice geral, ao início da seção gerida por cada aluno e assim por diante) e sua posição no

texto.

Quanto à estratégias de co-escrita, estas são geralmente definidas pelo professor porque não

há um objetivo envolvido na educação (Cohen 1994; Felder & Brent, 2001).

No NT&HRD, por exemplo, o objetivo é desenvolver a capacidade dos alunos em resumir os

assuntos que estão sendo estudados e identificar os muitos vínculos conceituais entre os

possíveis. Portanto, os alunos são aconselhados a usar uma espécie de estratégia top-down e

escrever o resumo de cada disciplina em não mais de 20 linhas por página. Se quisessem

escrever uma descrição exaustiva e não existir espaço suficiente, devem destacar links no

texto que direcionem às páginas adicionais com um exame detalhado dos conceitos

correspondentes. Este processo pode ser repetido para não mais do que três níveis de

profundidade a partir da home page.

Para se beneficiar plenamente das possibilidades oferecidas pela wiki para co-escrita e

avaliação de aprendizagem colaborativa, os trabalhos dos alunos devem ser organizados de

modo que todos estejam motivados a desempenhar um papel em cada fase de

desenvolvimento da escrita partilhada. A metodologia adotada no curso NT&HRD é ilustrada

aqui, ponto por ponto:


Fig. 1 - Elaboração de grupos de páginas associados com cada seção do texto.

1. Um estudo individual de materiais recomendados – Tendo sido dado o tema para uma

tese curta, são fornecido aos alunos uma lista de materiais recomendados para

estudo.

Alguns destes podem ser encontrados em repositório on-line do curso (artigos,

capítulos de livros, etc), enquanto outros pode ser obtido diretamente na Web usando

um conjunto de palavras-chave fornecidas pelo professor.

2. Co-planejamento da estrutura geral do hipertexto e divisão do trabalho – Depois do

estudo dos materiais, é que o grupo elabore de forma colaborativa (em um fórum) a

estrutura geral do hipertexto (seções e subseções de primeiro nível) e definir o layout

da home page da wiki. Então o trabalho é dividido entre os membros do grupo.

3. Desenvolvimento das várias partes da wiki - Trabalhando individualmente, os

membros do grupo desenvolvem a seção do texto que lhes é atribuído e, desta

maneira criam as ramificações seguintes dos documentos de hipertexto acima

mencionados como abordagem top-down. Para escrever cada página, eles são

aconselhados a realizar etapa por etapa (de "substância" a "forma"): escrever o


resumo; marcar as palavras que servirão de links para às páginas com conteúdos

detalhados, e formatar a página.

4. Links para páginas criadas por outros - Para evitar que os alunos concentrem-se

exclusivamente em sua parte do texto, eles são obrigados a procurar em todo o

hipertexto para encontrar as páginas compiladas por outros que podem ser

conceitualmente ligados a uma ou mais páginas em seu próprio grupo de páginas (Fig.

1). Obviamente, esta atividade faz com que os alunos analisem as ligações conceituais

ao longo o trabalho e promove uma visão geral mais completa do assunto. Os alunos

são encorajados a executar a tarefa, enquanto estão desenvolvendo suas páginas, não

deixando esta tarefa para ser realizada em último lugar. A leitura das páginas de co-

autores, faz com que os alunos não só tenham novas ideias e sugira melhorias para o

seu próprio texto, mas também ajuda a evitar duplicações, especialmente quando dois

ou mais alunos trabalham sobre o assunto conceitualmente próximo. Isso também

leva a uma transformação gradual na estrutura hierárquica do hipertexto (Fig.1) para

reticular (Fig.2).

5. Peer review - Uma vez que as diferentes seções do documento partilhado foram sido

escritas, os alunos são solicitados a realizarem a revisão por pares para todas as

páginas e sugerir aos colegas melhorias para os textos. Neste caso, o objectivo – além

da mencionada no ponto 4 é o de incentivar a interação entre o autor (o aluno que

gerou a página) e os utilizadores (todos os outros alunos que o acedem) sobre o tema

escolhido (Thompson, 1988). Esta interação é facilitada pela função 'comentários'

associados a cada página da wiki, através do qual diálogos curtos podem ocorrer entre

os diferentes contribuintes/utilizadores do hipertexto.


Fig. 2 – Criação de links e eliminação de duplicações de texto.

A avaliação da aprendizagem colaborativa

No curso NT&HRD, a avaliação da aprendizagem colaborativa é baseada em três elementos

fundamentais:

• O nível de aprendizagem (consecução dos objectivos definidos) - este é centrado na avaliação

qualitativa das páginas da wiki produzidas por cada estudante (precisão, pertinência,

completude, o uso da terminologia, etc.), a importância dos links conceituais entre as suas

próprias páginas e aquelas desenvolvidas por outros estudantes, a capacidade de discutir e

argumentar durante as interações on-line em fóruns (no planeamento colaborativo da

estrutura do hipertexto) e pelos comentários postados nas páginas da wiki durante a revisão

por pares.

• Os produtos desenvolvidos individualmente ou em colaboração pelos estudantes - esta

avaliação é realizada pelos professores, bem como pelos próprios alunos. O professor avalia o

produto global em termos de coerência com a tarefa atribuída, estruturas conceituais,

precisão, completude, homogeneidade estilística, fontes de referências, etc. Os estudantes são


obrigados a dar uma avaliação qualitativa sobre as partes desenvolvidas por todos os outros

membros do grupo (avaliação do produto por pares).

• O processo colaborativo seguido pelos estudantes na realização das atividades on-line - o

foco aqui centraliza-se em níveis individuais de contribuição e na interação com o grupo no

desempenho colaborativo da tarefa. Uma vez que este diz respeito diretamente ao tema

central da experimentação, será tratado em pormenor na segunda parte do artigo.

Avaliação do processo de colaboração e níveis de contribuição

A abordagem de avaliação da contribuição do indivíduo no processo de colaboração baseia-se

na complementaridade entre a análise das interações online, análise dos dados a partir de

informações na wiki e a avaliação dos pares de estudantes. Antes de dar uma descrição

detalhada do método adoptados e das ferramentas utilizadas para a sua aplicação, vale a pena

apontar que:

•as tabelas abaixo, foram utilizadas para calcular os diferentes índices de contribuição e

participação, foram preparadas utilizando folhas de cálculo do Excel e anotadas com rotinas

simples para os parâmetros de cálculo (a ser discutido mais tarde) e para as projeções gráficas;

e

•os dados contidos nas tabelas foram extraídos manualmente, uma abordagem que pode levar

a algumas críticas porque é um procedimento demorado para o professor.


Fig.3 - Tabela utilizada para classificar as mensagens trocadas no fórum.

Avaliação individual da contribuição do aluno

O nível de contribuição de cada estudante leva em consideração quatro fatores-chave que

consideram a sua participação ativa:

•no fórum utilizado para a fase de planeamento;

•na revisão por pares;

•no desenvolvimento das ligações wiki, e

•no desenvolvimento do conteúdo.

1. A contribuição na discussão em um fórum durante o planejamento colaborativo da

estrutura geral do documento - avaliação é realizada por cada grupo de mensagens de

alunos em três categorias principais: (a) mensagens contribuindo para o conteúdo dos

trabalhos do grupo (peso 3); (b) mensagens que envolvam coordenação/co-decisão (peso

1,5); e (c) todas as outras mensagens (peso 0,5). A Figura 3 mostra o layout da tabela

utilizada para o levantamento de dados.

A categorização das mensagens pode não ser tão refinada como muitos outros relatados na

literatura (Henri 1982; Gunawardena et al. 1997; Bocconi et al. 2000; Ho 2004), mas tem a


vantagem de proporcionar um meio fácil para fazer uma avaliação rápida e global da

contribuição de cada estudante para a interação colaborativa online.

A avaliação da contribuição do indivíduo para o fórum de discussão é calculada como:

Pforum = 3. A% +1,5.B% + 0,5⋅C% (1)

Por exemplo, o estudante que enviou 12% em mensagens de contribuição, 8% em mensagens

de coordenação/co-decisão e 15% de outras mensagens é dado a seguinte marca:

Pforum = 3⋅0,12 +1,5⋅0,08+ 0,5⋅0,15 = 0,56 (2)

Este valor é então normalizado em 100, com referência para a nota mais alta no grupo.

Continuando com o exemplo, supondo que 0,87 é a nota mais alta obtida por um membro do

grupo, então:

Pforum, norma = 64,4 (3)

Para verificar a confiabilidade dos valores obtidos (1), os próprios estudantes foram solicitados

a avaliar a contribuição dos seus pares na colaboração no fórum, expressa em valores de 0-5.

O gráfico da figura 4 compara as avaliações calculadas com a fórmula (1) (normalizada a 5)

para o resultado da avaliação pelos pares.

Como a comparação mostra concordância entre o cálculo objetivo e a avaliação subjetiva

(avaliação pelos pares), o cálculo ponderado pode ser considerado confiável, pelo menos neste

estudo de caso.


Fig.4 - Comparação entre pontuação e avaliação calculada pelos pares, relacionadas com o fórum de

interação.

2. Contribuição para revisão por pares - Trata-se de avaliar os comentários que cada

estudante fez durante a avaliação por pares das páginas dos colegas. Neste caso, a

avaliação é realizada pela pessoa que recebeu os comentários sobre as suas próprias

páginas: a pontuação de 0 a 5 é atribuído a cada comentário recebido de acordo com quão

útil o autor encontrou como feedback.

No final, o feedback de cada aluno com os pontos são calculados e a média é calculada.

Para apoiar o levantamento de dados, uma matriz específica (“matriz revisão por pares”) é

usada quando:

•as linhas correspondem aos autores que expressam uma opinião sobre a eficácia do

feedback que recebemos de revisores;

•as colunas indicam os revisores, e

•a linha/coluna indicam intersecções do relatório de avaliação (pontuados em uma

escala de Likert de 5 pontos) pelo ith autor com base em observações feitas em

relação a suas páginas pelo revisor jth, a avaliação considera tanto o número de bons

comentários como a sua eficácia global.

Também neste caso, a média é então normalizado para 100. Por exemplo, supondo que o

aluno tem uma média de 3,6 e a maior média obtida por um membro do grupo é 5,então:

P revisão por pares, norma = 72 (4)


3. Contribuição para as ligações do hipertexto final - Isso se refere ao número de links que o

estudante fez individualmente entre seu grupo de páginas e outros grupos de outros

autores. Assim, o número total de ligações é considerado e comparados com o número

total de ligações entre os diferentes grupos da wiki. No entanto, menos peso é dado a essa

avaliação do que a anterior àquelas já que o número de links depende muitas vezes do

grau de parentesco conceitual dos temas tratados com as páginas do autor para o resto

das páginas encontrados na wiki. Como conseqüência, um grupo (cluster), até mesmo um

de grande qualidade, pode não prestar-se a ligação com outras partes do hipertexto. Além

do mais, nem todos os links definidos pelos estudantes, necessariamente, poderão ter

qualquer real importância conceitual.

O valor obtido é então normalizado para 100. Por exemplo, supondo que o estudante

iniciou 11 ligações a partir de seu grupo de páginas para outros grupos de páginas e que o

número total de links entre os grupos de páginas é de 62, então:

Plinks, norma = 17,74 (5)

4. Contribuição em termos de conteúdos desenvolvidos - Este é calculado considerando o

número de páginas e o número total de caracteres produzido por cada estudante. Aqui,

novamente, menos peso é dado a essa avaliação do que aos anteriores (pontos 1, 2), pois

é uma avaliação quantitativa e não qualitativa das contribuições escritas de cada aluno.

Novamente, o valor é então normalizado para 100. Por exemplo, supondo-se que existem

77 páginas e um estudante produziu 6 delas, então:

Ppp, norma = 7,8 (6)


Fig. 5 – Comparação dos resultados de dois contribuintes diferentes

Continuando com o exemplo, supondo que há 15.400 palavras na wiki e 1400 foram

produzidas pelo estudante em questão, a contribuição normalizada a 100 é:

P words, norma = 9,1 (7)

No final, a pontuação atribuída será:

Pcontent, norma = Ppp, norma + Pwords, norma = 16,9 (8)

Atribuição de peso

A normalização dos valores a 100 é meramente indicativa e outro valor de referência poderia

ter sido usado. O que é importante é que mais peso neste procedimento é atribuído às

contribuições relacionadas com os pontos (1) e (2) - interação no fórum para o co-

planejamento do texto e revisão por pares - do que (3) e (4). Isso reflete a maior importância

atribuída ao diálogo colaborativo como uma parte do processo de colaboração.


Cálculo do nível de contribuição individual

No final, para obter o valor correspondente a avaliação global do nível de contribuição de um

determinado estudante quanto ao trabalho em grupo, a pontuação (normalizada) em cada

avaliação acima mencionada é totalizada, assim:

Ptot = (9)

Por exemplo, a Fig. 5 compara os resultados de uma média de um contribuinte (Si) com os

resultados do contribuinte (SJ), que obteve a maior pontuação total. Como já mencionado, a

diferença nos resultados é principalmente determinada pela soma dos dois primeiros valores

(135,8 vs. 184,6) e muito menos pela soma dos dois segundos (34,6 vs.37,8). No entanto, isso

não significa que a contribuição em termos de links e páginas inseridas deva ser

desconsiderada, mas sim que ela deve ser avaliada como um elemento de qualidade do

produto e não como um indicador do nível de contribuição dos alunos, que é o objeto deste

artigo.

Avaliação do nível de colaboração dentro do grupo

Avaliação do nível de colaboração dentro do grupo é baseada na combinação das avaliações

individuais referida na seção anterior. Ela depende de três fatores principais:

• distribuição de contribuições durante o fórum de colaboração no planejamento da

estrutura do documento;

• contribuição para a revisão por pares, e

• contribuição para a ligação do hipertexto final.


Fig.6 – Projeção da tabela de incidência relacionados com a interação do fórum.

1. Distribuição de contribuições durante o fórum de colaboração para planejamento da

estrutura do documento – Esta tabela de avaliação utilizada tem incidência para gravar as

interações entre os participantes em um grupo de discussão. Uma tabela de incidência é

uma grelha com emissor/receptor (S/R) de dupla entrada (Mackenzie 1966). Havia tantas

tabelas de frequência utilizadas para a avaliação, quantas categorias de mensagens

indicado na Fig. 3. Supondo que existem n participantes, a tabela irá medir n por n, e cada

célula representará o número de vezes que cada participante interagiu com outro membro

do grupo. Os sub-totais de cada coluna representam o número de emissões de mensagem

e os sub-totais de cada linha o número de recepções. Da tabela total geral representa o

número de comunicações que tiveram lugar dentro do grupo. A utilização dos dados

coletados na tabela, é possível construir uma série de projeções gráficas que ajudam na

compreensão em que grau que a comunicação é transmitida em todo o grupo ou centrada

em alguns indivíduos.

Vamos considerar, por exemplo, o gráfico mostrado na Figura 6, que se refere às

mensagens relativas ao conteúdo dos trabalhos em grupo dentro de uma das duas do


curso NT&HRD usado aqui como um estudo de caso. O eixo X indica os participantes como

remetentes, este eixo mostra as mesmas pessoas como receptores, enquanto que o eixo Z

informa o número de comunicações.

Utilizando a tabela de incidência, o índice de centralidade (Mackenzie 1966) também pode

ser estudado, que mede a comunicação em torno de um ou mais participantes. O índice,

neste caso, foi 0,421, o que implica a interação bem distribuída embora centrada em torno

de um sub-grupo dos participantes.

2. Contribuição de revisão por pares - Essa avaliação é com base no número total de

comentários feitos por alunos durante a revisão por pares e da eficácia das sua

contribuição. Para avaliar a revisão global do grupo pelos pares, a "matriz de revisão por

pares" foi usada para produzir uma projeção no gráfico correspondente. O gráfico da

Figura 7 apresenta um exemplo considerado no curso NT&HRD. Apesar de existirem

muitos comentários, neste caso particular, apenas alguns foram creditados com um valor

alto. Em outras palavras, uma boa quantidade de interatividade ocorreu, mas a interação

não carrega muito significado.

De fato, uma análise dos comentários feitos sobre as páginas da wiki tem mostrado que

muitos foram apreciações do trabalho de um colega, em vez de sugestões eficazes sobre

como modificar e melhorar.


Fig.7 – Projeção relativa aos comentários de avaliação.

3. Contribuição para as ligações finais do hipertexto – Excepto em termos de participar

ativamente no planejamento do hipertexto, no desenvolvimento de páginas e envio de

comentários construtivos, o nível de contribuição também leva em conta os links do

hipertexto. A razão para isto é que cada link de hipertexto transmite uma contribuição

cognitiva, ou seja, a conexão conceitual entre dois ou mais sub-domínios pertencentes ao

mesmo domínio cognitivo. O nível das ligações da wiki é avaliado o número de links

indicado pela wiki, ou seja, o número de ligações direcionados para uma determinada

página. Tal como acontece com a interação no fórum, é possível criar uma tabela de

incidência (ligando/páginas ligadas) como um meio para a realização de uma análise de

rede de ligações do hipertexto.


Fig. 8 – Rede de conexões entre os grupos de páginas diferentes do hipertexto.

Na Fig.8,

•os pontos numerados correspondem aos grupos de páginas desenvolvido por cada

estudante, e neste sentido as linhas referem-se a conexão entre qualquer página do

grupo N e qualquer outra página do grupo M, e

•As linhas em negrito correspondem a uma ligação recíproca (para fora para dentro).

A figura mostra a distribuição bastante uniforme das ligações do hipertexto com a exceção dos

grupos 4, 9 e 11. O baixo número de ligações pode não ser necessariamente devido à falta do

cuidado do estudante na busca de conexões entre as suas próprias páginas e outras, que

muitas vezes depende da falta de proximidade conceitual entre os temas abordados nos

respectivos grupos.

Conclusões da pesquisa e desenvolvimentos

Como apontado por Rowntree (1981), o planeamento de uma atividade de avaliação implica a

definição de alguns aspectos-chave tais como os objectivos da avaliação em si, os meios e

ferramentas para realizá-la e a forma de analisar os resultados obtidos. Estes aspectos devem

ser tidos em conta durante o processo de design instrucional como garantia que, durante a

realização da atividade educativa, os métodos de pesquisa e ferramentas acima mencionados

podem ser aplicados para cumprir a meta de avaliação. No caso da aprendizagem colaborativa


baseada em co-escrita, há pelo menos três elementos a serem avaliados: o produto de co-

escrita, o processo implementado pelo grupo e a aprendizagem dos conteúdos disciplinares.

A avaliação do produto e nível de conhecimento realizados pelos estudantes podem ser

realizados de forma satisfatória com as abordagens tradicionais com base na análise

qualitativa tanto do texto co-produzido e contribuições escritas de cada aluno. O problema

surge na avaliação do processo de co-escrita, em especial no nível da contribuição que o

indivíduo fez ao grupo e à distribuição/centralização do processo de colaboração.

Por esta razão, é habitual para os professores adotarem estratégias de aprendizagem

colaborativa para construir suas próprias tabelas e fórmulas simples para facilitar o

acompanhamento de participação e interação de seus estudantes durante o trabalho em

grupo. A partir desta observação, a pesquisa aqui descrita teve como objetivo contribuir para

codificar uma possível metodologia para gerir a avaliação do processo da aprendizagem

colaborativa.

A metodologia proposta aborda a questão por referência cruzada que pode ser rastreada por

software social usado para co-escrever com a avaliação realizada pelos pares dentro do grupo.

Para este efeito, a atividade de co-escrita foi organizada para facilitar os levantamentos

necessários para a aplicação da metodologia de avaliação proposto. As conclusões que podem

ser extraídas a partir de experimentação de campo com respeito a metodologia tem duas

perspectivas diferentes, o do estudante e do grupo como um todo. Especificamente, verificou-

se que:

• avaliar o nível de contribuição da participação de cada estudante sobre a base de

ambos os dados objetivos (número de mensagens e a quantidade de material

produzido) e dados subjetivos (avaliação de professores e avaliação pelos pares)

revelou-se eficaz, em particular sobre o processo de diálogo colaborativo: interação no

fórum para o co-planejamento do texto e a revisão por pares. Assim, as tabelas e

parâmetros de cálculo usado podem ser considerados válidos não apenas para

atividades de co-escrita, mas em geral, para qualquer atividade de comunicação

assíncrona, e

•avaliar o nível de colaboração em grupo é facilitado pelo uso combinado de projeções

3D em gráfico e técnicas de análise de rede. As projeções são mais eficazes para


destacar a intensidade das inter-relações (tanto na interação entre os participantes e

entre as ligações entre as páginas do hipertexto), enquanto as técnicas de análise de

rede são mais úteis na representação de seu nível de ligações.

A aplicação do método aqui proposto também se mostrou ser um bom teste base para ajudar

os professores a entender as dificuldades na maneira de organizar a co-escrita para seus

alunos e como estes podem influenciar a avaliação na participação individual/contribuição dos

trabalhos do grupo de acção global e do produto final desenvolvido colaborativamente.

O uso da metodologia proposta, portanto, ajuda o professor a entender um plano de co-

escrita, para que todos os alunos sejam motivados a participar ativa e colaborativamente.

Os resultados da experimentação podem ser considerados como positivos, embora os

procedimentos e as ferramentas utilizadas ainda exijam refinamento, especialmente para

reduzir as exigências de tempo e mão de obra para processamento dos inquéritos.

A pesquisa realizada identificou algumas funcionalidades que poderiam ser incorporados em

ambientes wiki para automatizar parte da análise quantitativa das ações executadas por

membros do grupo de aprendizagem. A ideia é automatizar algumas das actividades

relacionadas com construção de tabelas de frequência e avaliação pelos pares, e este poderia

ser um tema de pesquisa de desenvolvimento futuro. Por exemplo, ao professor poderia ser

dada a oportunidade para marcar as mensagens do fórum e categorizá-las de modo que as

respectivas tabelas de incidência poderiam ser geradas automaticamente com cálculos

ponderados. Formas de análise automática da base de dados da wiki também vão sendo

exploradas para permitir recuperar e mapear (tabulação e gráficos) as ligações recíprocas

entre as páginas. Esta análise também poderia ser útil para a avaliação quantitativa das

interações entre os contribuintes por possibilitar a geração automática de uma incidência

específica para comentários via cruzamento do nome de um autor de página com os

comentários de decisões sobre que página.

Em conclusão, o desenvolvimento futuro da pesquisa descrita neste artigo implicará 'equipar'

um motor wiki de propósito geral com funções específicas relacionadas com o processo de

avaliação de interações colaborativas. Isto levará a um wiki de propósito específico para ser

usado como um suporte para o ensino baseado na aprendizagem colaborativa.

Education

Using a wiki to evaluate individual contribution to a collaborative learning project