Uso de agentes de interface para auxiliar a avaliação formativa no ambiente TelEduc Ricardo Luís...

Uso de agentes de interface para Uso de agentes de interface para auxiliar a avaliação formativa no auxiliar a avaliação formativa no

ambiente TelEducambiente TelEduc

Ricardo Luís Lachi

Joice Lee Otsuka

Heloisa Vieira da Rocha

UNICAMP

Universidade Estadual de Campinas

Instituto de Computação

Tópicos

• Introdução– Avaliação formativa

• Pesquisas em andamento– Suporte a avaliação formativa no ambiente TelEduc

• Agente de seleção construído– Processo de aprendizagem

• Considerações finais

• Avaliação formativa:– Contínua

– Atua diretamente no processo de ensino-aprendizagem

• Cursos a distância:– maior percepção do comportamento e

desempenho do aluno

– autenticação da identidade do aluno: familiarização com o estilo e habilidades do mesmo

Introdução

• Ambientes de EaD• Compostos de diversas ferramentas de comunicação• Todas as interações das ferramentas são registradas• Extrair dados relevantes para a avaliação formativa

Introdução

Análise demanda muito trabalho e tempo do professor

Pesquisas em andamento

• Projetos do grupo TelEduc (escopo avaliação):

• Desenvolvimento de uma Ferramenta de suporte à Avaliação em Ambientes de Ensino a Distância

thaisa.ferreira@ic.unicamp.br

• Desenvolvimento de uma Ferramenta de Testes Objetivos para Ambientes Computacionais de EaD

carmen.freitas@ic.unicamp.br

Pesquisas em andamento

• O uso de agentes de interface no gerenciamento de informações em ambientes de EaD

ricardo.lachi@ic.unicamp.br

• Um Modelo Baseado em Agentes de Interface para o Suporte à Avaliação Formativa em Ambientes de Educação a Distância

joice@ic.unicamp.br

Pesquisas em andamento

• Utilização de agentes de interface:

• Aprendem observando e monitorando as ações dos usuários em uma interface, atuando como assistentes pessoais, colaborando com o usuário (Maes, 1995)

• Agente desenvolvido:

• Uma ferramenta baseada em agentes de interface, desenvolvida para diminuir a sobrecarga do professor na análise de registros de sessões bate-papo do TelEduc

Agente de interface construído

Há inúmeras ferramentas de comunicação no TelEduc

Construiu-se o agente focando a ferramenta de bate-papo

É a ferramenta mais desestruturada dentre todas as existentes.

Nas outras é possível algum tipo de estruturação

Ex.: no Fórum de Discussões é possível organizar as mensagens por tópicos

Descrição do problema

• Descrição do problema especificamente para a ferramenta de bate-papo:

- selecionar um conjunto de mensagens de uma sessão de bate-papo registrada no ambiente TelEduc que seja relevante para um determinado professor

Agente construído Processo de aprendizagem

men

sagens

Statu

s das

men

sagens

Tabela

• Inicialmente, é apresentado o registro de uma sessão de bate-papo ao usuário

• Não há nenhum dado na base de conhecimentos

do agente

• O agente vai observar o usuário selecionando as mensagens

Agente construídoProcesso de aprendizagem

Etapa 1: O usuário deverá selecionar o conjunto de mensagens que considera relevantes

Clicando no link de status correspondente à mensagem que quer selecionar

Agente construídoProcesso de aprendizagem

Ao clicar em uma mensagem para selecioná-la é aberta uma janela com os motivos que o usuário pode indicar como causa da seleção da mensagem

Agente construídoProcesso de aprendizagem

Opções de seleção:

- Remetente

- Entonação da fala

- Destinatário

Mensagem selecionada

Agente construídoProcesso de aprendizagem

Palavras selecionadas da mensagem

- É apresentada a mensagem inteira

- Verificado se a palavra selecionada realmente consta na mensagem original (não foi alterada pelo usuário)

Agente construídoProcesso de aprendizagem

A forma de relacionamento entre as palavras selecionadas

Opções:

• Confirmar a seleção da mensagem • Não confirmar a seleção da mensagem

Agente construídoProcesso de aprendizagemMensagem foi selecionada:

• Cor de fundo da mensagem alterada

• Legenda indicando o número de mensagens selecionadas pelo usuário

Agente construídoProcesso de aprendizagem

Essa etapa 1 é denominada aprendizagem por observação

Fim da Etapa 1: seleção de uma mensagem por parte do usuário

Ao final dessa etapa o agente armzenou os dados selecionados em sua base de conhecimentos

Agente construídoProcesso de aprendizagemE assim continua

sucessivamente:

• O usuário vai selecionando as mensagens que considera interessantes até o momento em que resolve pedir para o agente selecionar as mensagens para ele

Análise do agente

Palavra

1

Palavra

2

Palavra

3

mInha

Base de conhecimentos

Agente construído

Calcula uma probabilidade com base na freqüência das palavras presentes na base de conhecimentos

Técnica de classificação Bayesiana

Decide se seleciona

ou

Não uma mensagem

Agente construído Interface

Mensagem selecionada pelo usuário

Mensagem selecionada pelo agente

Nº mensagens selecionadas pelo usuário

Nº mensagens selecionadas pelo agente

O agente apresenta um conjunto de mensagens que analisou e considerou relevantes para o usuário com base nos dados que possui armazenados na sua base de conhecimentos

Agente construídoProcesso de aprendizagem

Etapa 2: O usuário refina a seleção apresentada pelo agente !

A partir desse momento, o usuário pode refinar a seleção apresentada pelo agente

Agente construídoProcesso de aprendizagem

Participante que selecionou a mensagemOpções de seleção:

- Remetente

- Entonação da fala

- Destinatário

Agente construídoProcesso de aprendizagem

Palavras que foram

indicadas anteriormente pelo usuário

Agente construídoProcesso de aprendizagem

A essa etapa 2 é dado o nome de aprendizagem via feedback direto do usuário

Pode-se pedir para o agente analisar novamente a sessão e assim segue o processo: usuário refina, agente re-analisa, usuário refina, agente re-analisa, ...

Considerações finais• Testes preliminares apontam resultados positivos:

• Entre 65% a 75% das mensagens selecionadas pelo agente são relevantes para o usuário

• Pode ser estendido às outras ferramentas de comunicação

• Grupo TelEduc (escopo avaliação):• Prover suporte ao professor na identificação, seleção e análise de dados relevantes à avaliação formativa

Contatos

• E-mails para contato:

• Ricardo Luís Lachi: ricardo.lachi@ic.unicamp.br

• Joice Lee Otsuka: joice@ic.unicamp.br

• Heloisa Vieira da Rocha: heloisa@ic.unicamp.br

• Grupo de pesquisa TelEduc: http://www.nied.unicamp.br/~grupoteleduc

• Ambiente TelEduc: http://teleduc.nied.unicamp.br