Embed Size (px)
Citation preview
Universidade Federal da Paraíba
Centro de Informática
Programa de Pós-Graduação em Informática
Aplicação de Learning Analytics para Modelagem do Aluno de
acordo com a Taxonomia de Bloom Revisada
Janalívia do Nascimento Carneiro
Dissertação submetida à Coordenação do Curso de Pós-Graduação em
Informática da Universidade Federal da Paraíba como parte dos requisi-
tos necessários para obtenção do grau de Mestre em Informática.
Área de Concentração: Ciência da Computação
Linha de Pesquisa: Sinais, Sistemas Digitais e Gráficos
Prof. Dr. Clauirton Siebra (Orientador)
Profa. Dra. Danielle R.D. Silva (Co-orientadora)
João Pessoa, Paraíba, Brasil
c©Janalívia do Nascimento Carneiro, 01 de Maio de 2018
C289a Carneiro, Janalivia do Nascimento.
Aplicação de Learning Analytics para Modelagem do Aluno
de acordo com a Taxonomia de Bloom Revisada / Janalivia
do Nascimento Carneiro. - João Pessoa, 2018.
76 f. : il.
Orientação: Clauirton de Albuquerque Siebra.
Coorientação: Danielle R D da Silva.
Dissertação (Mestrado) - UFPB/CI.
1. Educação Adaptativa, Sistemas de Aprendizagem Adap.
I. Siebra, Clauirton de Albuquerque. II. da Silva,
Danielle R D. III. Título.
UFPB/BC
iii
ResumoOs Ambientes Virtuais de Aprendizagem (AVAs) são recursos de tecnologia educacional,
que fornecem uma alternativa para maximizar a capacidade da educação virtual online.
No entanto, a grande maioria dos AVAs são utilizados de modo passivo, principalmente
para transmitir documentos multimídia e fornecer formas de avaliar os alunos através de
questionários e envios de atividade, não oferecendo um material instrucional personalizado
para os diferentes tipos de aluno. Um exemplo de tais sistemas é o Ambiente de Apren-
dizagem Dinâmico Orientado a Objetos Modulares (Moodle). Uma possível maneira de
abordar esse problema é através do uso de Sistema de Aprendizagem Adaptativo, do inglês
Adaptive Learning System (ALS). Os sistemas ALSs levam em consideração as informações
acumuladas em modelos individuais dos aprendizes para poder se comportar diferentemente
para estudantes diferentes. A modelagem de alunos desempenha um papel crucial em um
ALS, pois fornece informações sobre o perfil de aprendizagem dos alunos, o que permite
que os sistemas sejam altamente individualizados. A adaptação do sistema pode se dar
de diferentes formas e níveis, oferecendo aprendizagem personalizada. Este trabalho de
pesquisa propõe um modelo adaptativo que leva em consideração os perfis cognitivos dos
aprendizes. O modelo proposto utiliza uma combinação de Learning Analytics, técnica de
extração de dados acadêmicos com o objetivo de prover visualização sobre o processo de
ensino-aprendizagem, para prover uma representação do perfil de aprendizagem do aluno,
de acordo com a Taxonomia de Bloom Revisada, que é uma metodologia para classificação
dos diferentes níveis de cognição humana de pensamento, aprendizagem e compreensão.
Através da aplicação de Learning Analytics, a trajetória de aprendizagem do aluno será
avaliada de modo dinâmico utilizando-se os indicadores da Taxonomia de Bloom Revisada,
que podem servir de base para uma posterior adaptação do nível da aprendizagem oferecida
aos diferentes níveis de aprendizagem dos alunos.
Palavras-chave: Educação Adaptativa, Sistemas de Aprendizagem Adaptativos, Modelos
do Aluno, Learning Analytics, Taxonomia de Bloom Revisada.
iv
AbstractVirtual Learning Environments (VLEs) are educational resources resulting from tech-
nological development which can be an alternative to maximize the capacity of virtual
online education. However, the vast majority of learning environments that are available
to students are used in a passive way, mainly to transmit multimedia documents (videos,
audios, texts, images, etc.) and provide ways to evaluate students through questionnaires
and activity submissions, not offering a customized instructional material for the different
types of student. An example of such systems is the Modular Object Oriented Dynamic
Learning Environment (Moodle). One possible way to address this problem is through the
usage of Adaptive Learning System (ALS). ALS systems take into account the information
accumulated in individual learners’ models in order to behave differently for different
kinds of students. Student modeling plays a crucial role in an ALS because it provides
information about the student’s learning profile, which allows the systems to be highly
individualized. The adaptation of the system can happen in different ways and levels,
offering personalized teaching. This research proposes an adaptive model that takes into
account the cognitive profiles of the learners. The proposed model uses a combination
of Learning Analytics (LA), which is a technique for extracting academic data in order
to provide visualization about the learning process, to provide a representation of the
student’s learning profile, according to the Revised Bloom Taxonomy (RBT), which is
a framework for classifying the different levels of human cognition of thought, learning
and understanding. Through the application of LA, the learner’s learning trajectory will
be evaluated dynamically using the indicators of the RBT, which later on can be used as
basis for adaptation of the teaching level offered to the different learning level of the students.
Keywords: Adaptive Education, Adaptive Learning Systems, Student Models, Learn-
ing Analytics, Revised Bloom Taxonomy.
v
AgradecimentosAgradeço primeiramente a Deus, por mais essa oportunidade de aprendizado e por Sua pre-
sença em minha vida. Minha imensa gratidão ao meu esposo Luca e minha filha Laila por
todo amor, paciência e compreensão e ajuda nas horas em que precisei me ausentar nesses
dois anos de curso. Agradeço à meus orientadores, os professores Clauirton e Danielle,
primeiramente por sua amizade, parceria, estímulo e disponibilidade e também por seus di-
recionamentos durante essa pesquisa. Minha imensa gratidão à minha família, em especial
a meus pais, Adeilda e Benedito e a meus irmãos Benedito Júnior e Benilda, pelo apoio e
incentivo, e amigos, principalmente a Nadja, Fernanda, Camila e Clistenes por seu compan-
heirismo. Agradeço aos professores da banca de qualificação, os professores Eudisley dos
Anjos e Thereza Padilha por sua contribuição à esta pesquisa. Agradeço também aos pro-
fessores que disponibilizaram os dados de suas disciplinas para nosso estudo de caso desta
pesquisa, e a Hercílio que tornou possível a entrega desses dados. Agradeço a Tarsio, meu
colega de pesquisa, pelas partilhas de conhecimento. Meus agradecimentos também aos pro-
fessores do PPGI por seus valiosos ensinamentos e também secretária do PPGI Maria Alice
por ter sido sempre atenciosa e prestativa e por fim, a todos os que contribuíram para a re-
alização desta pesquisa. Se por acaso esqueci de mencionar alguém, mesmo assim, o meu
muito obrigada.
vi
Conteúdo
1 Introdução 1
1.1 Contexto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Motivação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.3 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.1 Objetivo Geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.2 Objetivos Específicos . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 Metodologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.5 Publicações deste projeto de pesquisa . . . . . . . . . . . . . . . . . . . . 7
1.6 Estrutura da Dissertação . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 Fundamentação Teórica 9
2.1 Sistema de Aprendizagem Adaptativo . . . . . . . . . . . . . . . . . . . . 9
2.2 Modelo do Aluno . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Taxonomia de Bloom . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.4 Taxonomia de Bloom Revisada . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4.1 Verbos RBT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.5 Business Intelligence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.6 Learning Analytics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.7 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3 Revisão da Literatura 19
3.1 Revisão Sistemática em ALS . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.1.1 Resultados da Revisão em ALS . . . . . . . . . . . . . . . . . . . 21
3.1.2 Discussões da Revisão em ALS . . . . . . . . . . . . . . . . . . . 24
vii
CONTEÚDO viii
3.1.3 Conclusões da Revisão Sistemática em ALS . . . . . . . . . . . . . 25
3.2 Comparação e escolha de abordagens de modelos do estudante . . . . . . . 26
3.3 Revisão da Literatura sobre RBT . . . . . . . . . . . . . . . . . . . . . . . 27
3.4 Revisão da Literatura sobre LA . . . . . . . . . . . . . . . . . . . . . . . . 28
3.4.1 Revisões e Mapeamentos sistemáticos em LA . . . . . . . . . . . . 29
3.4.2 Estudos sobre a aplicação de LA em AVAs . . . . . . . . . . . . . 30
3.5 Estudo sobre características de LA no Moodle . . . . . . . . . . . . . . . . 31
3.5.1 Análise comparativa LA plugins Moodle . . . . . . . . . . . . . . 32
3.5.2 Moodle LA Plugins . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.5.3 Descobertas revisão LA Moodle . . . . . . . . . . . . . . . . . . . 35
3.5.4 Conclusões da Revisão Sistemática LA Moodle . . . . . . . . . . . 35
3.6 Trabalhos Relacionados . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4 Proposta da Modelagem Analítica 37
4.1 Modelo Proposto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2 Desenvolvimento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.2.1 Dados do Aluno . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2.2 Dados do Ambiente . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.2.3 Dados de Uso do ambiente educacional . . . . . . . . . . . . . . . 41
4.3 Analisador . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.3.1 Ambiente de Construção do Analisador . . . . . . . . . . . . . . . 44
4.4 Modelo Dimensional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.5 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
5 Resultados 48
5.1 Ambiente do Estudo de Caso . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.1.1 Expansão da lista de verbos RBT para o curso LC-EAD . . . . . . 49
5.1.2 Classificação de Questões de acordo com a RBT . . . . . . . . . . 50
5.2 Distribuição de Questões por nível RBT . . . . . . . . . . . . . . . . . . . 52
5.2.1 Grupos de Alunos . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.3 Estudos de Caso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
5.3.1 Utilização do Modelo . . . . . . . . . . . . . . . . . . . . . . . . . 56
CONTEÚDO ix
5.3.2 Ferramenta de BI Qlik Sense . . . . . . . . . . . . . . . . . . . . . 57
5.3.3 Aluno 133 - Nota acima da média . . . . . . . . . . . . . . . . . . 57
5.3.4 Aluno 58 - Nota abaixo da média . . . . . . . . . . . . . . . . . . 60
5.4 Validação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.5 Discussões sobre a Aplicação do Modelo . . . . . . . . . . . . . . . . . . 64
5.6 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
6 Conclusão 66
6.1 Considerações . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
6.2 Contribuições e Conclusão . . . . . . . . . . . . . . . . . . . . . . . . . . 66
6.3 Discussão dos Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
6.4 Desafios Encontrados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
6.5 Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
Referências Bibliográficas . . . . . . . . . . . . . . . . . . . . . . . . . . 76
Lista de Símbolos
AVA : Ambiente Virtual de Aprendizagem
ALS : Adaptive Learning System
API : Application Programming Interface
BI : Business Intelligence
BKT : Bayesian Knowledge Tracing
EAD : Educação a Distância
EDM : Educational Data Mining
FSLSM : Felder-Silverman Learner Style Model
IA : Inteligência Artificial
KC : Knowledge Component
LC : Licenciatura em Computação
LA : Learning Analytics
LALA : Learning Analytics Latin America
LIP : Learner Information Packaging
MDA : Model Driven Assessment
MOOC : Massive Open Online Courses
MOODLE : Ambiente de Aprendizagem Dinâmico Orientado a Objetos Modulares
x
xi
PIAT : Personal Intelligent Assessment using Test
RBT : Revised Bloom Taxonomy
TNPS : Techno Neuro Pedagogy System
Lista de Figuras
1.1 Mapa da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1 Perfil e Modelo do aluno em ALS . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Pirâmide Níveis Cognitivos Bloom . . . . . . . . . . . . . . . . . . . . . . 14
3.1 Componententes do Sistema de LA Moodle. Fonte: [Dalton 2018] . . . . . 32
3.2 Arquitetura API LA Moodle. Fonte: [Moodle 2016] . . . . . . . . . . . . . 32
4.1 Modelo proposto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.2 Alunos do Curso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.3 Questões . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.4 Questionário acertado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.5 Arquitetura do Analisador . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.6 Tabelas RBT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.7 Modelo Dimensional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
5.1 Distribuição de Questões RBT por todas as Disciplinas . . . . . . . . . . . 52
5.2 Distribuição de Questões RBT contidas em Avaliações . . . . . . . . . . . 52
5.3 Distribuição Questões RBT por Disciplina . . . . . . . . . . . . . . . . . . 53
5.4 Distribuição Questões Avaliações RBT por Disciplina . . . . . . . . . . . . 53
5.5 Distribuição Questões Avaliações RBT Acertadas por disciplina . . . . . . 54
5.6 Gráfico grupo média alta . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.7 Gráfico grupo média baixa . . . . . . . . . . . . . . . . . . . . . . . . . . 56
5.8 Aluno133 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.9 Percentual Acertos Aluno 133 - Qlik Sense . . . . . . . . . . . . . . . . . 59
5.10 Nota Aluno 58 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
xii
LISTA DE FIGURAS xiii
5.11 Situação Aluno 58 - Qlik Sense . . . . . . . . . . . . . . . . . . . . . . . . 61
5.12 Acertos aluno 133 em duas disciplinas - Qlik Sense . . . . . . . . . . . . . 63
Lista de Tabelas
2.1 Matriz Bidimensional RBT - Fonte: [ANDERSON et al., 2001] . . . . . . . 13
3.1 Resultados da Revisão Sistemática ALS . . . . . . . . . . . . . . . . . . . 21
4.1 Propriedades Estados Questões . . . . . . . . . . . . . . . . . . . . . . . . 41
5.1 Lista de verbos RBT-LC-EAD . . . . . . . . . . . . . . . . . . . . . . . . 50
5.2 Exemplos da classificação de questões . . . . . . . . . . . . . . . . . . . . 51
xiv
Capítulo 1
Introdução
Este capítulo contextualiza nossa pesquisa, apresentando os objetivos e etapas em que ela foi
conduzida.
1.1 Contexto
A área de estudo da nossa pesquisa está relacionada com Aprendizagem Adaptativa, que
pode ser definida como aprendizagem que se adapta ao nível de aprendizagem do aluno.
Essa área de pesquisa também pode ser definida como o desenvolvimento de vários mo-
delos, métodos e ferramentas que suportem a adaptação e personalização do conteúdo de
ensino de acordo com o perfil de diferentes estudantes, através da associação de conceitos
de Psicologia, Pedagogia e Ciência da Computação [Lane e Roschelle 2014].
1.2 Motivação
De acordo com as Nações Unidas, a qualidade da educação é um dos principais problemas
globais, juntamente com o aumento da desigualdade, segurança alimentar / da água, crise de
refugiados (mais de 65 milhões), qualidade da saúde, mudanças climáticas, privacidade de
dados e outros [Dougiamas 2017].
Atualmente, a realização de aulas com várias dezenas de estudantes e apenas um pro-
fessor é comum em muitas faculdades e universidades. Essa falta de recursos na educação
torna o ensino individual muito desafiador. O Ambiente Virtual de Aprendizagem (AVA) é
1
1.2 Motivação 2
um dos recursos que veio com o desenvolvimento tecnológico, sendo uma alternativa para
maximizar a capacidade da educação virtual. No entanto, a grande maioria dos ambientes
de aprendizagem que estão disponíveis para os alunos são usados de modo passivo, princi-
palmente para armazenar documentos multimídia (vídeos, áudios, textos, imagens, etc.) e
fornecer formas de avaliar esses alunos, não oferecendo suporte adaptativo, de acordo com o
perfil dos alunos [Segedy, Loretz e Biswas 2013]. Um exemplo de tais ambientes é o Ambi-
ente de Aprendizagem Dinâmico Orientado a Objetos Modulares, do inglês Modular Object
Oriented Dinamic Learning Environment (Moodle). Apesar de incorporar algumas ferra-
mentas básicas de adaptação da aprendizagem, o Moodle não oferece adaptação automática
dos conteúdos ao perfil de cada aprendiz. Um exemplo de adaptatividade básica presente no
Moodle é o "activity locking”, que permite ao professor/tutor de um curso ocultar ou apre-
sentar determinados recursos e atividades, adaptando desta forma, a estrutura do curso ao
seu público-alvo. [Bechara e Haguenauer 2010].
Exibir o conteúdo educacional, de acordo com as necessidades dos alunos, ainda é um
desafio. Desta forma, existe uma barreira para que os estudantes atinjam o seu potencial
devido à falta, por exemplo, de tarefas de aprendizagem personalizadas de acordo com o nível
de proficiência de cada aluno [Andersen et al. 2016]. De fato, vários estudos mostram que o
ensino personalizado é o principal aspecto para alcançar o potencial de aprendizagem de um
aluno [Andersen et al. 2016]. Uma possível maneira de abordar esse problema é através do
uso de Sistema de Aprendizagem Adaptativos, do inglês Adaptive Learning System (ALS).
Os sistemas ALS são sistemas que levam em consideração as informações acumuladas em
modelos individuais dos alunos para poder se comportar de modo diferente para estudantes
diferentes [Bechara e Haguenauer 2010]. O modelo do aluno desempenha um papel crucial
em um ALS, pois fornece informações sobre o perfil de aprendizagem dos alunos, o que
permite que os sistemas sejam altamente individualizados [Li et al. 2010].
Assim como outros trabalhos de pesquisa na literatura (apresentados no capítulo 3), a
presente pesquisa tem como foco principal a modelagem do perfil cognitivo de aprendiza-
gem do aluno. O modelo do aluno é a estrutura de dados que pode representar fatores não
somente relacionados a inteligência do aluno, como por exemplo, as preferências dos alunos
e o perfil cognitivo de aprendizagem dos alunos. Esse modelo pode representar também a
trajetória de aprendizagem do aluno, como também representar as características dinâmicas
1.2 Motivação 3
e estáticas do aluno no processo de aprendizagem. Sua função é fornecer os dados do an-
damento do aprendizado para o sistema de aprendizagem adaptativa, a fim de conduzir a
tomada de decisão estratégica de aprendizado [Li et al. 2010]. Por essas razões, um estudo
e elaboração de um modelo do aluno robusto são de fundamental importância para que edu-
cação personalizada possa ser oferecida ao aluno. Dentre as abordagens de modelagem do
aluno existentes, duas abordagens foram selecionadas pelo presente estudo para auxiliar na
representação do perfil cognitivo de aprendizagem do aluno, são elas: (1) Learning Analy-
tics (LA), que é uma técnica de extração de dados acadêmicos com o objetivo de prover
visualização sobre o processo de aprendizagem e (2) Taxonomia de Bloom Revisada, do in-
glês Revised Bloom Taxonomy (RBT), que é uma taxonomia que apresenta um framework
para classificação dos diferentes níveis de cognição humana de pensamento, aprendizagem
e compreensão. Esses conceitos serão apresentados no capítulo 2. Em nosso estudo, o perfil
de aprendizagem do aluno representa o estágio de desenvolvimento cognitivo do aluno, de
acordo com RBT. O modelo proposto utiliza a combinação das abordagens de LA e RBT.
Esse modelo será apresentado no capítulo 4.
Na Universidade Federal da Paraíba (UFPB), existem atualmente quatorze cursos ofer-
tados na modalidade Educação a Distância (EAD) desde 2008. O curso de Licenciatura em
Computação é um deles e está sendo ofertado na modalidade EAD desde 2013. O Moodle
é o AVA utilizado nos cursos EAD da UFPB, de modo que esta instituição já dispõe de uma
grande base de dados dos estudantes. Esses dados foram utilizados para extração de informa-
ção relativa às trajetórias de aprendizagem dos alunos desse curso. As informações obtidas
possibilitaram um estudo efetivo do perfil de aprendizagem desses alunos. Para esta pesquisa
foram disponibilizados dados de duas disciplinas do curso de Licenciatura em Computação
(LC), modalidade EAD, que daqui para a frente chamaremos de LC-EAD. As disciplinas que
iremos analisar serão Introdução a Programação e Matemática Elementar, por apresentarem
uma quantidade elevada de retenção e reprovação. Os dados dessas disciplinas do curso
serão utilizados no estudo de caso apresentado no capítulo 5.
Esta pesquisa apresenta como problema, elaborar um modelo capaz de representar o per-
fil de aprendizagem de aprendizagem cognitiva do aluno no contexto do curso LC-EAD.
Pois, é a partir do conhecimento do perfil de aprendizagem do aluno, que educação perso-
nalizada pode ser oferecida, contribuindo para que o aluno alcance seu potencial de apren-
1.3 Objetivos 4
dizagem. A hipótese é que é possível caracterizar os alunos criando perfis de aprendizagem,
através da utilização das abordagens de modelagem Learning Analytics e Taxonomia de
Bloom Revisada.
Esta dissertação descreve a metodologia utilizada para investigar como modelar o per-
fil de aprendizagem cognitivo do aluno remoto e para a construção do mesmo. O modelo
proposto se baseia na extração e análise das trajetórias de aprendizagem do aluno em um
ambiente de ensino e aprendizagem na Web, tendo como estudo de caso o curso de LC-EAD
no Moodle.
1.3 Objetivos
O objetivo deste estudo é propor um modelo de perfil cognitivo do aluno para representar
sua trajetória de aprendizagem em cursos EAD. Após investigação dos modelos usados em
ALS atualmente, nos aprofundaremos nas abordagens de Learning Analytics e na Taxonomia
Revisada de Bloom para implementar um novo modelo do aluno.
1.3.1 Objetivo Geral
Desenvolvimento de um modelo para representação do perfil cognitivo de aprendizagem do
aluno, a partir da extração de dados que representam sua trajetória de aprendizagem.
1.3.2 Objetivos Específicos
Os objetivos específicos estão definidos de acordo com as seguintes perguntas de pesquisa
que buscamos responder: (1) “Como conhecer o perfil de aprendizagem do aluno ?”;(2)
“Como automatizar o diagnóstico do perfil cognitivo de aprendizagem do aluno remoto no
curso no Moodle”? Para responder a essas perguntas, apresentamos os seguintes objetivos
específicos para esta pesquisa:
• Identificação dos indicadores associados às trajetórias de aprendizagem que podem ser
extraídos a partir da observação dos dados do aluno que podem levar ao conhecimento
sobre o perfil cognitivo de aprendizagem do aluno;
1.4 Metodologia 5
• Investigação das possíveis técnicas computacionais capazes de gerar um modelo de
representação do perfil cognitivo de aprendizagem do aluno;
• Utilização do modelo proposto, tendo como estudo de caso algumas disciplinas do
curso LC-EAD.
1.4 Metodologia
Visando delinear de forma lógica e cronológica os procedimentos metodológicos desta pes-
quisa, as etapas desta pesquisa serão detalhadas a seguir. A primeira fase desta pesquisa,
denominada de fase exploratória, foi constituída dos seguintes passos:
1. Desenvolvimento de uma revisão sistemática da literatura relacionado à Aprendizagem
Adaptativa em AVAs, visando a identificação do estado da arte nessa área (capítulo 3,
seção 3.2);
2. Análise detalhada e seleção da modelagem do aluno, que resultou na escolha das abor-
dagens de modelagem LA e RBT (capítulo 3, seção 3.3);
3. Revisão da literatura em RBT, visando identificar como essa taxonomia tem sido apli-
cada nas pesquisas atuais (capítulo 3, seção 3.4);
4. Revisão da literatura em LA, visando identificar como essa abordagem vem sido utili-
zada nas pesquisas atuais (capítulo 3, seção 3.5);
5. Estudo do Moodle, a fim de determinar as características do ambiente Moodle que
possibilitam a modelagem do aluno através das abordagens escolhidas e também dos
dados disponíveis sobre a trajetória de aprendizagem do aluno do curso LC-EAD nesse
ambiente (capítulo 3 e 4);
6. Estudo sobre os recursos de LA do Moodle (capítulo 3, seção 3.6)
7. Construção do modelo proposto (capítulo 4)
A segunda fase desta pesquisa, denominada de projeto, construção e análise, foi consti-
tuída dos seguintes passos:
1.4 Metodologia 6
1. Análise manual dos verbos RBT do curso LC-EAD, a fim de identificar a ocorrência
dos verbos da lista RBT nas questões de avaliações das disciplinas do curso em questão
(capítulo 5, seção 5.1.1);
2. Construção da lista de verbos RBT-LC-EAD contendo os verbos RBT identificados no
passo anterior, realizada manualmente através do resultado do passo anterior (capítulo
5, seção 5.1.1);
3. Projeto da base de dados do modelo, especificando os dados necessários para a repre-
sentação do perfil do aluno (capítulo 4, seção 4.4);
4. Desenvolvimento da base de dados do modelo, realizada em um primeiro momento,
através da importação de quatro disciplinas, bem como dos alunos participantes das
mesmas, do curso LC-EAD, que foram disponibilizadas como fonte de análise para
esta pesquisa, e posteriormente através da criação das tabelas de acordo com o projeto
realizado no passo anterior (capítulo 4);
5. Formatação dos dados obtidos para armazenamento no modelo dimensional apresen-
tado neste capítulo;
6. Scripts de extração dos dados do Moodle, para alimentar as tabelas que formam o
modelo do aluno construído;
7. Categorização de questões RBT na fase exploratória, esse passo serviu como base para
a observação do perfil cognitivo do aluno, pois para essa observação, as respostas do
aluno às questões categorizadas foram levadas em consideração (capítulo 4);
8. Extração dos acertos dos alunos, visando identificar questões de avaliações acertadas
pelo aluno (capítulo 4);
9. Categorização RBT dos acertos dos alunos, visando identificar os níveis RBT equiva-
lentes das questões de avaliações acertadas pelo aluno (capítulo 4);
10. Discussão e análise de resultados, que foi realizada após a extração e observação das
informações obtidas do modelo do aluno (capítulo 5).
1.5 Publicações deste projeto de pesquisa 7
A figura 1.1 ilustra as etapas desta pesquisa de forma compacta.
Figura 1.1: Mapa da Pesquisa
1.5 Publicações deste projeto de pesquisa
O presente trabalho já obteve alguns de seus resultados formalmente reconhecidos. O ma-
peamento sistemático sobre Modelagem em ALS foi publicado assim como o estudo com-
parativo dos modelos utilizados atualmente em ALS, contendo a proposta de abordagem de
modelagem que será apresentada nesta dissertação.
Carneiro, J., R.D. da Silva, D., Siebra C., An Analysis on Student Profiles in Learning
Virtual Environments. 2017 XII Latin American Conference on Learning Objects and Tech-
nology (LACLO). IEEE Conference Proceedings LACLO, 2017.
Carneiro, J., R.D. da Silva, D., Gomides, T., Siebra C., An Study on the Use of Student
Models as Support to Virtual Adaptive Learning. Sánchez, J. (2017) Editor. Nuevas Ideas
1.6 Estrutura da Dissertação 8
en Informática Educativa, Volumen 13, p. 391 - 396. Santiago de Chile. ISBN: 978-956-19-
1043-0
1.6 Estrutura da Dissertação
Esta dissertação está organizada da seguinte forma. No Capítulo 2 é realizada uma apre-
sentação dos principais conceitos relacionados a nossa pesquisa. No Capítulo 3 a revisão
da literatura relacionada a esta pesquisa é apresentada. No Capítulo 4 exploramos de modo
aprofundado a proposta deste trabalho. No Capítulo 5 são apresentados os resultados e dis-
cussões. No capítulo 6 são oferecidas as conclusões e os apontamentos para futuras pes-
quisas. No presente capítulo apresentamos a motivação, os objetivos e as publicações deste
projeto de pesquisa.
Capítulo 2
Fundamentação Teórica
O capítulo anterior introduziu nossa pesquisa, contextualizando e apresentando a motivação
e objetivos da mesma. Este capítulo apresenta as referências teóricas na qual esta pesquisa
se baseia.
2.1 Sistema de Aprendizagem Adaptativo
O Sistema de Aprendizagem Adaptativa, do inglês Adaptive Learning System (ALS) é uma
classe importante de sistemas de educação a distância. Os sistemas ALS vem se tornando
uma tendência em sistemas de e-learning por sua enorme capacidade de oferecer persona-
lização das trajetórias de aprendizagem, de acordo com as necessidades, pré-requisitos e
características de aprendizagem dos alunos. A maioria dos ALS constroem um modelo de
aprendizagem baseado nas características do aprendiz. Este modelo é utilizado como base
para oferta de material instrucional específico para o aluno, de acordo com o modelo cons-
truído anteriormente, o que cria no final, uma trajetória de aprendizagem específica para cada
aluno [Elghouch et al. 2015].
Sistemas adaptativos são diferentes de sistemas inteligentes no que se refere aos seus
objetivos. Os sistemas adaptativos são aqueles que buscam ser diferentes para estudantes
diferentes, levando em consideração as informações acumuladas em modelos individuais
dos aprendizes. Já os sistemas inteligentes são aqueles que aplicam técnicas do campo da
Inteligência Artificial (IA) para oferecer um apoio mais amplo e melhor aos usuários de sis-
temas educativos baseados na web. As diferentes tecnologias de adaptação por hipermídia
9
2.2 Modelo do Aluno 10
e sistemas web adaptativos são: (1) Seleção adaptativa de conteúdo, onde o sistema pode
adaptativamente selecionar e priorizar os itens mais importantes quando o usuário realizar
a busca de uma informação relevante; (2) Navegação adaptativa, onde o sistema pode ma-
nipular os links para oferecer um apoio adaptativo à navegação, quando o usuário navegar
de um item para outro. A navegação adaptativa pode guiar os aprendizes tanto direta como
indiretamente. Na orientação direta, por exemplo, os sistemas podem adaptativamente ocul-
tar, ordenar ou comentar links; (3) Apresentação adaptativa, onde o sistema pode apresentar
seu conteúdo adaptativamente quando o usuário alcançar uma página específica [Bechara e
Haguenauer 2010].
2.2 Modelo do Aluno
A construção do modelo do aluno é uma questão de central importância no planejamento de
sistemas ALS adaptativos, pois esse modelo é o núcleo de um ALS. O modelo do aluno é a
estrutura de dados que pode representar fatores não somente relacionados a inteligência do
aluno, como por exemplo, as preferências dos alunos e o perfil cognitivo de aprendizagem
dos alunos. Esse modelo pode representar também a trajetória de aprendizagem do aluno,
como também representar as características dinâmicas e estáticas do aluno no processo de
aprendizagem. Sua função é fornecer os dados do andamento do aprendizado para o sistema
de aprendizagem adaptativa, a fim de conduzir a tomada de decisão estratégica de aprendi-
zado [Li et al. 2010].
O estudo em [Greer e McCalla 1994] apresenta duas classificações para os modelos de
aluno. De acordo com essas classificações, existem basicamente dois tipos de modelo do
aluno: modelo implícito e modelo explícito. O modelo de aluno explícito é uma representa-
ção do aluno no sistema de aprendizagem que é usado para direcionar a tomada de decisões
instrucionais. Um modelo de estudante implícito é estático, no sentido de que o modelo de
estudante se reflete no design de decisões inerentes ao sistema e são derivadas do ponto de
vista de um designer. Por sua vez, um modelo de aluno explícito é dinâmico. No modelo
explícito, uma representação do aluno é usada para conduzir as decisões de instrução. Com
base nessas definições, a principal diferença entre os modelos implícito e explícito é que o
modelo explícito se baseia principalmente em um modelo de aluno, enquanto o implícito, se
2.3 Taxonomia de Bloom 11
baseia principalmente no ponto de vista do especialista que projetou o sistema.
As terminologias: o modelo do aluno e o perfil do aluno são usados de forma intercam-
biável, porém eles apresentam uma sutil diferença. O perfil do aluno contém informações
pessoais sem inferência ou interpretação, já o modelo do aluno tem um nível mais alto do que
o perfil, pois ele expressa uma visão geral abstrata do aluno. Além disso, o modelo é capaz
de deduzir informações adicionais sobre o aluno do modelo [Nguyen e Do 2008]. A figura
2.1 ilustra as características dessas terminologias em sistemas adaptativos de aprendizagem.
Figura 2.1: Perfil e Modelo do aluno em ALS
Fonte: [Nguyen e Do 2008]
2.3 Taxonomia de Bloom
A Taxonomia dos Objetivos Educacionais, conhecida também por Taxonomia de Bloom é
um framework para classificar declarações do que se espera ou pretende que os alunos apren-
dam como resultado da instrução. Esse framework foi concebido como meio de facilitar o
intercâmbio de itens de avaliação entre professores de várias universidades, a fim de criar
bancos de itens de avaliação, cada um medindo o mesmo objetivo educativo. A Taxonomia
de Bloom apresenta um modelo que classifica os diferentes níveis de cognição humana de
pensamento, aprendizagem e compreensão. Ela foi criada nos anos 50 pelo psicólogo edu-
cacional Benjamim Bloom e seus colegas. Além de facilitar o intercâmbio de questões de
testes, essa taxonomia objetiva ajudar no planejamento, organização e controle dos objetivos
de aprendizagem [Anderson e Krathwohl 2001].
Na Taxonomia de Bloom, os objetivos educacionais foram divididos em três domínios:
2.4 Taxonomia de Bloom Revisada 12
cognitivo, afetivo e psicomotor. A classificação hierárquica dos processos cognitivos está
dividida em seis níveis de complexidade, que são: (1) Avaliação, (2) Síntese, (3) Análise, (4)
Aplicação, (5) Compreensão e (6) Conhecimento. Para cada categoria desta Taxonomia é
exibida uma lista de verbos imperativos relacionados que são usados como suporte ao plane-
jamento sistêmico dos cursos e ou disciplinas na estruturação dos seus objetivos, estratégias
e avaliações [Costa et al. 2013].
A Taxonomia de Bloom do domínio cognitivo fornece um framework pedagógico para
determinar quão difícil cognitivamente é uma questão. Usando esse framework, se pode
determinar se as habilidades cognitivas atuais de um aluno são apropriadas para a tarefa que
o aluno está executando. [Peckham e McCalla 2012].
2.4 Taxonomia de Bloom Revisada
No final dos anos 90, a Taxonomia de Bloom foi revisada por Anderson e Krathwohl [Ander-
son e Krathwohl 2001] para torná-la relevante para a aprendizagem no século XXI. A nova
versão da taxonomia é conhecida como Taxonomia de Bloom Revisada, do inglês Revised
Bloom Taxonomy (RBT). Segundo os autores, mesmo mantendo parte da estrutura original,
a taxonomia revisada é mais adequada para suportar as novas formas de aprendizagem e
consequentemente tirar um melhor proveito de objetivos educacionais.
Em [Jesus e Raabe 2009], as principais características da RBT são explicadas, como a
seguir. A RBT consiste em duas dimensões: (1) A dimensão do conhecimento, que abrange
as subcategorias da categoria conhecimento na taxonomia original, (2) A dimensão dos pro-
cessos cognitivos que abrange as seis categorias da taxonomia original. As mudanças mais
significativas do processo cognitivos foram:
• as seis categorias foram renomeadas, para melhor representar a forma como são utili-
zadas pelos docentes na definição de seus objetivos;
• os aspectos verbais utilizados nas categorias Conhecimento e Compreensão foram
mantidos, porém, renomeados, Conhecimento tornou-se Lembrar e Compreensão foi
mudado para Entender;
• a categoria Síntese tornou-se Criar. Aplicação, Análise, e Avaliação tornaram-se res-
2.4 Taxonomia de Bloom Revisada 13
pectivamente Aplicar, Analisar e Avaliar;
• as categorias Síntese e Avaliação (Criar e Avaliar) foram trocadas de lugar.
A matriz bidimensional que representa a RBT pode ser visualizada na tabela 2.1. Essa ta-
bela deve ser utilizada com o intuito de melhor estruturar os objetivos educacionais e auxiliar
os educadores na melhor elaboração do planejamento e na escolha adequada de estratégias
e tecnologias educacionais. Na matriz bidimensional, a coluna vertical corresponde à di-
mensão conhecimento a coluna horizontal corresponde ao processo cognitivo. Os objetivos
são inseridos nas células, formadas pela intersecção das dimensões. Um mesmo objetivo
pode ser inserido em mais de uma célula e o preenchimento de todas as células consecu-
tivas não é necessário, como ilustra a situação hipotética representada na tabela. Um dos
desafios para se utilizar esse modelo é a dificuldade que alguns educadores encontram na
utilização adequada da matriz proposta. Os verbos de ação da taxonomia original podem ser
perfeitamente inseridos nas categorias correspondentes; entretanto para descrever como será
alcançado esse objetivo, como também para a escolha das estratégias e tecnologias educa-
cionais, deve-se pensar no gerúndio do verbo. Pensando os objetivos em termos de verbos,
substantivos e gerúndios possibilita a escolha de estratégias, conteúdos e instrumentos de
avaliação eficazes e efetivos. A montagem da matriz deve se iniciar a partir da definição dos
objetivos específicos da disciplina, curso ou conteúdo [Ferraz e Belhot 2010].
Tabela 2.1: Matriz Bidimensional RBT - Fonte: [ANDERSON et al., 2001]
Observe a figura 2.2, onde a as habilidades cognitivas estão representadas. Na base da
pirâmide está ilustrada a habilidade mais básicas e no topo, a mais avançada. Para que o
aluno possa desenvolver uma certa habilidade de nível mais alto, ele deverá ter o domínio de
habilidades de níveis inferiores a qual ele deseja atingir [Santos 2016].
2.4 Taxonomia de Bloom Revisada 14
Figura 2.2: Pirâmide Níveis Cognitivos Bloom
O que torna a utilização da Taxonomia de Bloom um instrumento adequado para ser
utilizado no ensino de terceiro grau é que ela, nos últimos anos, foi avaliada e atualizada
considerando os avanços estratégicos e tecnológicos incorporados ao meio educacional [Fer-
raz e Belhot 2010]. Esta pesquisa se foca apenas no domínio cognitivo da RBT, pois o estilo
cognitivo tende a estar muito próximo da personalidade, se comparado com outros tipos de
estilos. O perfil cognitivo é definido como as formas de cognição da informação, como por
exemplo se o aprendiz tende a dividir a informação em partes, ou tenderá a agrupar a in-
formação, ou ainda ir direto às conclusões a respeito da informação ou, ao contrário, ser
reflexivo sobre o assunto [Souto 2003].
2.4.1 Verbos RBT
Anderson e Krathwohl [Anderson e Krathwohl 2001] criaram uma lista de verbos para cada
nível cognitivo dentro da RBT, de modo que tais verbos direcionam o modo como uma
questão deve ser respondida [Peckham e McCalla 2012].
Baseados em [Ferraz e Belhot 2010], exemplos de verbos pertencentes a cada categoria
da RBT são listados a seguir:
• Lembrar - enumerar, definir, descrever, identificar, denominar, listar, nomear, combi-
nar, realçar, apontar, relembrar, recordar, relacionar, reproduzir, solucionar, declarar,
distinguir, rotular, memorizar, ordenar e reconhecer;
• Entender - alterar, decodificar, defender, definir, descrever, distinguir, discriminar, es-
timar, dar exemplos, ilustrar, inferir, reformular, prever, classificar, discutir, identificar,
2.5 Business Intelligence 15
reconhecer, redefinir, selecionar;
• Aplicar - aplicar, alterar, organizar, prever, produzir, usar, esboçar, escolher, escrever,
praticar;
• Analisar - analisar, reduzir, classificar, comparar, contrastar, determinar, deduzir, dia-
gramar, distinguir, diferenciar, identificar, ilustrar, apontar, inferir, subdividir, calcular;
• Avaliar - Avaliar, comparar, concluir, contrastar, criticar, justificar, relatar, resolver,
validar, julgar;
• Criar - categorizar, combinar, compilar, compor, conceber, construir, criar, desenhar,
elaborar, estabelecer, explicar, formular.
2.5 Business Intelligence
Antes de apresentar o conceito de Learning Analytics é necessária uma introdução sobre
o tema Business Intelligence. Ralph Kimball[Kimball et al. 1998] define Business Intelli-
gence(BI) como "cópia dos sistemas transacionais, especialmente estruturados para consul-
tas e análises”. Outra definição clara e concisa de BI está em [J.Power e Sharda 2015], onde
os autores dizem que BI é: "sistema de suporte à decisão baseado em dados. Para entender
melhor o funcionamento de um BI iremos introduzir algumas definições relacionados com o
tema.
Os Sistemas de Processamento de Transações em Tempo Real, do inglês textitOn-Line
Transaction Processing (OLTP) são sistemas de bases de dados operacionais criados para re-
gistar todas as operações que fazem parte do dia a dia de uma instituição, como por exemplo,
matrículas, oferta de disciplina, encomendas, faturas, vendas, etc.
O papel principal desses sistemas é assegurar a consistência dos dados. A maioria dos
sistemas transacionais tem uma infraestrutura baseada em bases de dados relacionais, especi-
almente concebidas para o bom funcionamento desses sistemas. O modelo de dados em que
esses sistemas são baseados é representado no diagrama Entidade-Relacionamento (ER), que
conduz a uma estrutura normalizada, em quais as informações relativas a uma determinada
entidade são armazenadas em uma única tabela, e a ligação entre as entidades é feita através
de relacionamentos.
2.5 Business Intelligence 16
O modelo relacional, e os princípios que implementa, provou ser uma solução muito
boa para sistemas transacionais, sendo implementados e utilizados mesmo atualmente, pela
maioria das organizações. Esses sistemas reúnem informações em um único lugar, remo-
vendo a redundância quando possível, para que os dados possam ser facilmente encontrados
e atualizados, para suportando o grande número de transações diárias [Costa 2012].
Em contrapartida, os Sistemas de Processamento Analítico On-Line, do inglês textitOn-
line Analitical Processing(OLAP) são direcionados para dar suporte a decisão nas organiza-
ções, e, portanto, são considerados sistemas analíticos, cuja característica principal é apre-
sentar informação consolidada, histórica e resumida. Um sistema de BI baseia-se, em 90%
dos casos, sobre a implementação de um banco de dados diferente do transacional, que se
chama Modelo Dimensional [Nedelcu 2013].
Em [Kimball et al. 1998], o Modelo Dimensional é definido como uma disciplina espe-
cífica para modelagem de dados que apresenta uma modelagem alternativa ao modelo E-R.
O modelo dimensional contém as mesmas informações do modelo E-R, porém diferencia-se
deste no modo como os dados são empacotados. No modelo dimensional os dados são empa-
cotados em um formato simétrico, cujo design objetiva facilitar o entendimento do usuário,
aumentar as performances das consultas e aumentar à resiliência a mudanças. Os principais
componentes do Modelo Dimensional são: (1) tabelas de fatos e (2) tabelas de dimensões,
cujas características são explicadas a seguir.
• Tabela de fatos - tabela principal de um modelo dimensional que contém as medidas do
negócio que se deseja analisar. Essa tabela representa um relacionamento vários para
vários com as tabelas de dimensões e possuem um conjunto de duas ou mais chaves
estrangeiras para unir com suas respectivas tabelas de dimensões.
• Tabela de dimensões - tabelas acompanhantes da tabela de fatos cuja chave primária
serve como base para referência de integridade com a tabela de fatos.
"Datawarehouse é a fonte de consultas de uma organização"[Kimball et al. 1998]. O
Datawarehouse é um repositório de dados preparado especialmente para dar apoio as deci-
sões. As informações contidas nele são extraídas de bancos de dados transacionais através
de Operações de Extração Transformação e Carga, do inglês Extract, Tranform and Load
(ETL).
2.6 Learning Analytics 17
As operações ETL extraem os dados que são necessários para análise e os transformam
para carga, efetuando limpeza e transformação desses dados para que eles sejam compatíveis
e relevantes, para o fim a que se destinam, e enfim os gravam nos datawarehouses [Costa
2012].
2.6 Learning Analytics
Learning Analytics (LA) é descrito em [Valdiviezo-Diaz et al. 2015] como sendo um projeto
de Business Intelligence, no domínio educacional, que utiliza diversos dados de organizações
educacionais (dos estudantes, do processo de aprendizagem, etc.) para construir modelos
educacionais. LA refere-se à interpretação de uma grande variedade de dados coletados de
estudantes (ou produzido por eles), a fim de avaliar seu desenvolvimento acadêmico, prever
seu sucesso futuro e identificar problemas potenciais. LA é diferente do campo de Mineração
de Dados Educacionais, do inglês Educational Data Mining (EDM). Embora considerado
como um campo interdisciplinar, EDM é normalmente mais relacionada a pesquisas desen-
volvidas no âmbito da ciência da computação. De acordo com [Romero e Ventura 2012],
a EDM está interessada no desenvolvimento, investigação e aplicação de métodos informa-
tizados para detectar padrões em grandes conjuntos de dados educacionais. Algumas das
diferenças e semelhanças entre EDM e LA são que, ambos os campos buscam a melhoria da
qualidade da análise de dados educacionais em larga escala e visam apoiar tanto a pesquisa
básica como as práticas educacionais. No entanto, esses campos diferem no fato de que EDM
enfatiza a redução de dados para componentes e análises destes componentes individuais e as
relações entre eles (abordagem reducionista), enquanto que o LA procura entender o sistema
como um todo (abordagem holística).LA se concentra em ajudar professores e estudantes a
atingir seus objetivos de ensino e aprendizagem [Santos et al. 2017], sendo assim LA é a
área que interessa à esta pesquisa.
Os três conceitos principais de BI que é preciso apresentar são: alvos (targets), indica-
dores (indicators) e como eles são analisados a partir de um processo de LA baseado em BI.
Normalmente, os alvos são as questões estratégicas que a organização deve responder, por
exemplo, "É possível identificar o perfil cognitivo de aprendizagem do aluno ?". Os alvos de-
finem os indicadores a serem obtidos. Os indicadores em um sistema de BI normalmente são
2.7 Considerações Finais 18
obtidos de tarefas de extração de dados. O principal aspecto aqui é especificar os principais
indicadores para a construção do modelo, que permitem analisar os alvos.
De acordo com [Chauhan e A. 2017], existem duas formas principais de suporte LA para
os usuários de um AVA: (1) visualização e (2) recomendação. A visualização fornece aos
alunos autoreflexão e fornece aos professores/tutores ajuda para interpretar as informações
para a tomada de decisões. Recomendação, sobre quais recursos podem ser mais adequados
para o aprendizado dos alunos, pode ser fornecida por recomendadores automáticos ou sis-
temas adaptativos sem exigir qualquer interferência de aluno ou instrutor. Esta pesquisa se
foca no suporte que LA pode oferecer para os professores/tutores, com o objetivo de fornecer
visualização sobre a trajetória de aprendizagem dos alunos.
2.7 Considerações Finais
Este capítulo apresentou os conceitos teóricos relacionados com esta pesquisa, como também
introduziu a relevância das abordagens de LA e RBT para esta pesquisa. O estudo sobre essas
abordagens será aprofundado no capítulo 3, através de uma revisão da literatura sobre cada
um desses temas, que irão compor a modelagem de aluno proposta no capítulo 4.
Capítulo 3
Revisão da Literatura
Este capítulo aborda tanto a fundamentação teórica quanto os trabalhos relacionados. Este
capítulo apresenta a revisão da literatura abordando os temas ALS, LA e RBT. Essa revisão
foi realizada nas seguintes etapas: (1) Revisão sistemática sobre o estado da arte em Sistemas
Adaptativos de Aprendizagem; (2) Comparação e escolha de abordagens de modelos do estu-
dante para nossa proposta; (3) Revisão da literatura sobre trabalhos relacionados a RBT; (4)
Revisão da literatura sobre trabalhos relacionados a LA; (5) Estudo sobre as características
de LA disponíveis no Moodle.
3.1 Revisão Sistemática em ALS
Nossa revisão da literatura iniciou-se com uma revisão sistemática sobre sistemas ALS. Os
estudos obtidos nessa etapa foram analisados e comparados no que se refere aos modelos
de estudantes utilizados em tais sistemas. Após esta análise, duas abordagens de modelos
estudantis (LA e RBT) foram escolhidos para nossa proposta de pesquisa, o que gerou a
necessidade de uma revisão da literatura sobre as duas abordagens. Durante a realização
da revisão sistemática em LA, o Moodle lançou sua versão 3.4 com suporte a LA, o que
motivou um estudo sobre o suporte para LA no Moodle, visto que este é ambiente no qual
o estudo de caso desta pesquisa foi realizado. Nossa revisão sistemática relacionada com os
Sistemas de Aprendizagem Adaptativa foi realizada com o objetivo de encontrar respostas
para as seguintes questões de pesquisa:
• QP1: Quais são os modelos propostos para modelar o perfil do aluno?
19
3.1 Revisão Sistemática em ALS 20
• QP2: Quais são as técnicas computacionais utilizadas para determinar o perfil de
aprendizagem do aluno em ambientes virtuais de aprendizagem?
• QP3: Quais os tipos de recomendações ou ações do sistema após a determinação do
perfil do aluno?
Essa revisão foi realizada em três fases (planejamento, realização e análise de resultados),
de acordo com os seguintes critérios:
• Fase 1 - Seleção dos estudos obtidos pela string de busca
– estudos que contêm a string de busca pré-definida no título ou resumo
– escritos em Inglês
– datados entre 2011 e 2016
– e que não são editoriais, prefácio, discussões, comentários, sumários de tutoriais,
workshops, resumos, painéis ou cópias;
• Fase 2 - Análise do título e resumo
– checagem rápida dos estudos para verificar se eles realmente cobrem aspectos da
nossa área de pesquisa. Consideramos apenas estudos primários. Isso significa
que revisões informais ou sistemáticas não são consideradas para a próxima fase;
• Fase 3 – Análise da Relevância
– texto completo, que pôde ser recuperado na base, é analisado durante a extração
de dados para verificar se o estudo traz bastante informação para responder pelo
menos duas das questões de pesquisa.
Esses critérios foram utilizados para filtrar os estudos recuperados nos seguintes mecanis-
mos de busca: ACM Digital Library e o IEEE Xplore Digital Library, que são os principais
mecanismos de busca em tecnologia; e no WebOfScience que reúne pesquisas em diversas
áreas.
A string de pesquisa utilizada foi a seguinte:
3.1 Revisão Sistemática em ALS 21
((adaptive OR customized OR personalized) AND (learning OR education) AND (course
OR environment) AND (on-line OR virtual) AND (student OR learner) AND (intelligence OR
cognitive) AND ("profile"OR "model"OR "technique"))
É importante enfatizar que, o objetivo aqui foi selecionar artigos considerando sua re-
levância para nossa análise. Todos os artigos nas revisões sistemáticas foram publicados,
assim, a qualidade é teoricamente garantida pela revisão por pares. Em outras palavras, a
avaliação de significância, sobre o objetivo da revisão sistemática, foi destinada a garantir
que os artigos incluídos estivessem realmente focados na aprendizagem adaptativa e conti-
vessem detalhes suficientes para responder às questões de pesquisa pré-definidas.
3.1.1 Resultados da Revisão em ALS
Os resultados da revisão são mostrados na tabela 3.1. Essa tabela mostra que 96 artigos
foram retornados inicialmente. Dos documentos que poderiam ser recuperados dos bancos
de dados, apenas 12 foram realmente importantes para nossa análise.
A seguir, apresentamos as respostas para as perguntas QP1 e QP2 para alguns dos estudos
obtidos. A resposta à questão de pesquisa QP3 também é mostrada para alguns estudos
da revisão. Neste contexto, alguns dos modelos de estudantes dos artigos analisados são
mostrados abaixo.
Tabela 3.1: Resultados da Revisão Sistemática ALS
Considerando as respostas a QP1, o trabalho apresentado em [Eagle et al. 2016] uti-
3.1 Revisão Sistemática em ALS 22
liza uma variação do modelo Traceamento do Conhecimento Bayesiano, do inglês Bayesian
Knowledge Tracing (BKT), modelo que divide o currículo de ensino em diferentes unida-
des, chamadas de Componentes do Conhecimento, do inglês Knowledge Component (KC), e
aplica parâmetros para estimar a probabilidade do estudante haver aprendido ou não um de-
terminado KC. A variação proposta difere do padrão BKT porque individualiza estimativas
de parâmetros para aprendizes em vez de individualizar parâmetros para os KC. Na variação
do BKT mostrado, chamado Individualized BKT, os pesos de diferenças individuais (IDW)
por aluno, através de seu desempenho em atividades anteriores em um curso online, são
incorporados no modelo. Este estudo analisa quão bem os parâmetros de BKT podem ser in-
dividualizados com base no desempenho anterior dos alunos na leitura de texto instrucional,
realização de uma avaliação realizada previamente e conclusão de uma lição anterior. O es-
tudo em [Wang et al. 2016] também utiliza variações do modelo BKT. Neste estudo, o BKT
Multi-granulado e o BKT Histórico são apresentados para modelagem de KC nesses mode-
los. O BKT Multi-granulado é usado para modelar a hierarquia entre os KCs, enquanto o
BKT Histórico captura as relações entre vários envios de questionários, considerando vários
envios para um questionário e cada envio é considerado como uma fatia de tempo.
Em resposta a QP1, O estudo em [Al-Rajhi, Salama e Gamalel-Din 2014] propõe um
modelo para avaliação eletrônica chamado de Avaliação Pessoal Inteligente usando Teste,
do inglês Personal Intelligent Assessment using Test (PIAT), com o objetivo de descobrir
os conhecimentos e habilidades prévios do aluno. O PIAT é baseado no Modelo de Es-
tilo de Aprendizagem Felder-Silverman, do inglês Felder-Silverman Learning Style Model
(FSLSM) [Graf et al. 2006] e na RBT [Anderson e Krathwohl 2001]. Enquanto o FSLSM
é utilizado como base para descrever o estilo de aprendizagem de um aluno considerando
suas preferências em três dimensões: entrada (visual / verbal), percepção (sensível / intui-
tiva), compreensão (sequencial / global); A teoria RBT é usada para determinar o domínio
cognitivo do aluno em um determinado assunto.
Respondendo QP1, em [Segedy, Loretz e Biswas 2013], um modelo chamado Avaliação
Guiada à Modelo, do inglês Model Driven Assessment (MDA) é apresentado. A parte cogni-
tiva do MDA consiste em 3 classes de processos cognitivos, para interpretar e acessar como
os alunos usam as ferramentas do sistema para construção / avaliação de soluções. São eles:
(1) busca/aquisição de informação, (2) construção de soluções e (3) avaliação de soluções.
3.1 Revisão Sistemática em ALS 23
Neste modelo, as variáveis para o sistema de classificação do usuário são representadas por
duas métricas, calculadas para cada classe de processos cognitivos de cada aluno: (1) "uso de
habilidade", que é a média numérica das questões de avaliação, questionários e explicações
feitas pelo usuário por minuto; e (2) "efetividade", que significa a porcentagem de ações que
ajudaram o aluno a atingir o objetivo da tarefa.
Em resposta a QP1, o estudo [Silva-Lopez et al. 2015] apresenta o sistema instrucional
chamado de Sistema de Pedagogia Tecno Neuro, do inglês Techno Neuro Pedagogy Sys-
tem (TNPS) para uma determinação do estilo de aprendizagem e pensamento do aluno. A
determinação do estilo de aprendizagem do aluno (visual, auditivo e cinestésico), nesse sis-
tema, baseia-se na teoria de programação VARK Neurolinguística [Fleming 2001], enquanto
a determinação do estilo de pensamento estudantil é baseada na teoria neurocientífica Total
Brain [Herrmann 1989], que propõe a divisão do cérebro em quatro quadrantes (software,
processos, relacionais e criativos).
Considerando QP1, no estudo [Andersen et al. 2016], o comportamento do aluno é mo-
delado utilizando a técnica de seleção do nó vizinho, com base em estimativas empíricas da
curva de aprendizado dos alunos. O nível de habilidade é uma aproximação do conhecimento
do aluno e é representado como um valor decimal.
Respondendo QP1, no trabalho de [Kostadinova, Totkov e Indzhov 2012], é mostrada
uma modelagem explícita de alunos que é baseada em demarcações pré-estabelecidas das
habilidades cognitivas com componentes da dimensão de conhecimento dentro da RBT [An-
derson e Krathwohl 2001]. Nessa abordagem adaptativa, o modelo de aluno armazena a
pontuação obtida pelo estudante na realização de tarefas pré-determinadas pela RBT.
Considerando as resposta a QP1 e QP2, o estudo em [Chellatamilan e Suresh 2012] tam-
bém usa o modelo de aluno explícito para apoiar a classificação e recuperação de objetos de
aprendizagem de diferentes repositórios de acordo com as preferências do aluno. Nesse es-
tudo, o classificador Naive Bayes (classificador probabilístico baseado no Teorema de Bayes)
é utilizado para a classificação de objetos de aprendizagem, sob a abordagem de aprendizado
de máquina supervisionado. O classificador considera os seguintes elementos de metadados
do objeto de aprendizagem :( 1) Título / Tópico; (2) palavra-chave; (3) Resumo/Descrição.
Respondendo QP1 e QP3, outro exemplo de modelagem explícita de estudantes é descrito
em [Bremgartner e Netto 2012], onde um modelo de ontologia baseada em competência,
3.1 Revisão Sistemática em ALS 24
derivado do padrão Learner Information Packaging (LIP) é apresentado. O padrão LIP é,
segundo os autores, o padrão mais utilizado atualmente para descrever o histórico dos alunos
em AVAs. A ontologia desenvolvida é usada para apoiar um sistema no qual as competências
do aluno são formadas por um conjunto de habilidades específicas para cada assunto que o
aluno está aprendendo. Essa solução adaptativa é capaz de identificar problemas que o aluno
está enfrentando e oferecer apoio na forma de sugerir um colega que já tenha a competência
esperada e seja capaz de ajudar com esse assunto.
Em resposta a QP1, no estudo [Hettiarachchi, Huertas e Mor 2014], é apresentado um
modelo de avaliação formativa, baseado no modelo formal JISC. O modelo JISC é um mo-
delo para avaliações de aprendizado que integra avaliações eletrônicas e aprendizado efetivo
através do feedback de cada aluno sobre suas habilidades e compreensões atuais no final de
cada módulo. As variáveis que ajudam na detecção do perfil do aluno são as respostas das
avaliações do aluno nas avaliações.
Como resposta a QP1, o estudo em [Valdiviezo-Diaz et al. 2015] sugere o uso de Lear-
ning Analytics para construir modelos educacionais. Esses modelos são divididos em mo-
delos descritivos e preditivos. O modelo descritivo utiliza variáveis como a quantidade de
tarefas definidas, quantidade de participação em chats, mensagens recebidas, quantidade de
comentários do professor para o aluno, etc., e o modelo preditivo usa variáveis como etnia,
gênero, estado civil, local de registo, etc.
3.1.2 Discussões da Revisão em ALS
Até pouco tempo atrás, a recuperação de dados de usuários por empresas e universidades
enfrentava muitas limitações, como a autenticidade dos dados, o tempo necessário e o es-
copo. A principal forma de coleta de dados era por meio da aplicação de questionários ou
entrevistas com um grupo representativo de partes interessadas. As informações extraídas
com mineração de dados são realmente precisas em termos de captura de comportamento
de usuário real e ininterrupto. Os dados coletados através da mineração de dados podem ser
comparados com a recuperação de dados observacionais em vez da recuperação de dados por
meio de métodos invasivos. Ele não substituirá entrevistas e questionários, mas fortalecerá a
percepção de possíveis inconsistências entre o entendimento do usuário e o comportamento
do usuário [Greller e Drachsler 2012].
3.1 Revisão Sistemática em ALS 25
O estudo em [Valdiviezo-Diaz et al. 2015] levanta uma pertinente discussão sobre ques-
tões de ética e segurança que devem ser consideradas para a coleta e análise de dados. Pois,
apesar de atualmente, a coleta de dados haver se tornado uma tarefa mais acessível com a
ajuda de projetos de mineração de dados, reunir esses dados não é uma tarefa simples, por-
que, razões de ética e segurança devem ser consideradas para a coleta de dados e análise de
dados. Um dos maiores desafios para as pesquisas em LA é a disponibilidade de conjuntos
de dados públicos acessíveis para avaliar seus métodos. Esse desafio se deve ao fato de que
a maioria dos dados dos alunos produzidos por instituições de ensino é protegida. Além
disso, a aplicação de LA na educação origina novas questões éticas e de privacidade, que
são assuntos extremamente sensíveis relacionados à coleta de dados e integração de bases
de dados educacionais. Ameaças à privacidade podem criar resistência a evolução em LA
e, para evitar esses problemas, é preciso elaborar regras e políticas para evitar o abuso do
uso de dados. Por exemplo, os dados devem ser anonimizados antes do uso. Outra questão
ética é a interpretação dos dados coletados, pois as conclusões retiradas da análise dos dados
podem gerar conflito entre os valores e interesses dos stakeholders associados. Por exem-
plo, se resulta dos dados obtidos que, crianças estrangeiras têm mais dificuldade em ler do
que crianças não estrangeiras, isso pode levar a uma variedade de decisões que podem ir da
criação de apoio extracurricular a classes separadas e até racismo.
3.1.3 Conclusões da Revisão Sistemática em ALS
Existe uma variedade de abordagens de modelagem de estudantes e algumas delas podem ser
encontradas em mais de um dos estudos acima mencionados, tais como, RBT [Kostadinova,
Totkov e Indzhov 2012] e [Al-Rajhi, Salama e Gamalel-Din 2014]; BKT [Eagle et al. 2016]
e [Wang et al. 2016]; e mineração de dados [Kardan e Conati 2015] e [Valdiviezo-Diaz et al.
2015].
Outra distinção entre os modelos é que alguns modelos concentram a análise do perfil
do aluno nas habilidades de aprendizagem do aluno, como no estudo [Kostadinova, Totkov
e Indzhov 2012]; enquanto outros se concentram mais no conteúdo do material de aprendi-
zagem, como no estudo [Chellatamilan e Suresh 2012]. Os dados pessoais do aluno também
são considerados para o modelo do aluno nos artigos [Al-Rajhi, Salama e Gamalel-Din 2014]
e [Valdiviezo-Diaz et al. 2015].
3.2 Comparação e escolha de abordagens de modelos do estudante 26
Soluções adaptativas para o Moodle estão presentes em cinco estudos [Bremgartner e
Netto 2012]; [Hettiarachchi, Huertas e Mor 2014]; [Kostadinova, Totkov e Indzhov 2012];
[Valdiviezo-Diaz et al. 2015] e [Chellatamilan e Suresh 2012] .
Apesar de o Moodle ser o AVA mais utilizado atualmente [Dougiamas 2017], não foi
identificada uma consistência na modelagem do aluno para este ou outro ambiente.
A área de educação adaptativa parece ainda estar aberta e pode oferecer muitas oportu-
nidades de pesquisa. Como forma de instigar a comunidade científica, apresentamos uma
direção de pesquisa que podem ser exploradas para avançar no estado da arte.
Uma direção possível é a criação de um modelo de aluno que registre o perfil de apren-
dizagem do aluno. Combinando os melhores aspectos dos modelos estudados, o modelo
de aluno, que será proposto no capítulo 4, será um modelo de estudante explícito que é
capaz de extrair informações observando a interação do estudante com o sistema e fatores
pré-existentes, como o nível cognitivo de aprendizagem do aluno.
3.2 Comparação e escolha de abordagens de modelos do
estudante
Uma característica de alguns modelos de estudantes é que a extração de dados que suporta o
modelo se concentra principalmente no feedback do aluno, como em [Hettiarachchi, Huertas
e Mor 2014]. Em vez disso, seria mais interessante se o perfil de aprendizagem do aluno
pudesse ser detectado dinamicamente através da observação de sua interação com o sistema,
como em [Silva-Lopez et al. 2015].
A abordagem adaptativa em [Kostadinova, Totkov e Indzhov 2012] concentra-se nas ha-
bilidades cognitivas dos estudantes combinadas com os objetivos de aprendizagem de acordo
com o RBT. O acúmulo de atividades digitais e o modelo hierárquico de objetivos de apren-
dizagem delimitam as dimensões dos processos cognitivos, bem como os componentes da
dimensão do conhecimento (conceitual, processual e metacognitivo) do RBT. As atividades
digitais de aprendizagem podem ser ordenadas em diferentes níveis cognitivos da taxonomia
de Bloom de acordo com seus níveis de dificuldade. Projetar um curso de acordo com essa
taxonomia é uma tarefa mais complexa do que se poderia pensar, porque, para atingir esse
objetivo, é necessário que os objetivos instrucionais, os objetivos de atitudes e os objetivos
3.3 Revisão da Literatura sobre RBT 27
de habilidades cognitivas sejam conhecidos antes do início do curso [Ferraz e Belhot 2010].
O perfil do aluno pode ser dinamicamente detectado através da observação de sua inte-
ração com o sistema, bem como, observando as características pessoais do aluno, conforme
demonstrado no estudo [Valdiviezo-Diaz et al. 2015], através de técnicas de mineração de
dados que facilitam a extração de dados.
Após examinar as soluções adaptativas do Moodle nos trabalhos do mapeamento siste-
mático em ALS, a combinação de dois modelos foi selecionada para formar uma base robusta
para o nosso modelo. Os modelos selecionados foram LA [Valdiviezo-Diaz et al. 2015] e
RBT [Kostadinova, Totkov e Indzhov 2012], porque a RBT tem se mostrado um instrumento
adequado para ser utilizado no ensino de terceiro grau por haver sido avaliada e atualizada
considerando os avanços estratégicos e tecnológicos incorporados ao meio educacional [Fer-
raz e Belhot 2010] enquanto LA pode oferecer suporte para os professores/tutores, no sentido
de oferecer visualização sobre a trajetória de aprendizagem dos alunos.
Desta forma, os modelos escolhidos vão se completar. O dinamismo da recuperação
dos dados do estudante oferecida pela abordagem de LA apoiará a cobertura dos aspectos
cognitivos do estudante de acordo com a RBT, na representação do perfil de aprendizagem
do estudante. Finalmente, nossa proposta é o desenvolvimento, verificação e implementação
da combinação das abordagens LA e RBT para o modelo do aluno, onde o banco de dados
multidimensional da abordagem de LA (apresentado no capítulo 4) será construído com base
na dimensão do domínio cognitivo da matriz RBT.
Após a escolha das abordagens de modelagem para esta pesquisa, uma revisão da litera-
tura sobre o estado da arte em LA e RBT, se fez necessário para um aprofundamento nestes
temas. Essas revisões serão exibidas nas seções seguintes.
3.3 Revisão da Literatura sobre RBT
A revisão sobre estudos relacionadas à aplicação de RBT em ALS resultou nos seguintes
estudos:
O estudo em [Peckham e McCalla 2012] utiliza clusterização multidimensional k-means
(técnica de mineração de dados) para determinar o conjunto de características positivas e
negativas na realização da tarefa de interpretação de textos. Nesse estudo, o aluno é avaliado
3.4 Revisão da Literatura sobre LA 28
em um ambiente contendo textos e questões de interpretação sobre o mesmo. Ao fim de
cada texto, o aluno responde questões de interpretação sobre o texto lido. As questões foram
desenvolvidas utilizando os verbos de ação da RBT.
Já o trabalho em [Costa et al. 2013] resulta na implementação um sistema para inserir
o processo de avaliação no Mapa de Dependências (MD), que é uma ferramenta constituída
de um conjunto de objetivos educacionais relacionados entre si, usando a hierarquia definida
na Taxonomia de Bloom. Esse sistema objetiva criar um ambiente que possa, utilizando
as ferramentas avaliativas já desenvolvidas em um AVA, classificar de forma cognitiva cada
uma dessas atividades e associá-las aos objetivos educacionais definidos no MD, durante
o planejamento do curso ou disciplina. Através desse sistema, o professor pode planejar o
desenvolvimento da disciplina, e ainda escolher as atividades avaliativas (Chat, Fórum, Esco-
lha, Glossário, Diário, Questionário, tarefa, etc.) que irá usar para que o aluno possa atingir
o objetivo educacional por ele definido. Em seguida o aluno é analisado no desempenho
das atividades classificadas, possibilitando o entendimento do professor sobre o que o aluno
estava compreendendo e se sua compreensão estava ou não conforme o objetivo educacional
traçado.
Por sua vez, a pesquisa em [Santos 2016] aplica a RBT para dar suporte a novas formas
de projetar cursos MOOC (Massive Open Online Courses). O resultado é a implementação
de uma plataforma e uma ferramenta pedagógica para guiar o professor no planejamento de
um curso que atinja os objetivos educacionais esperados.
Como pudemos observar, nos estudos acima citados, a preparação de um ambiente de
estudo contendo material instrucional de acordo com a RBT foi usado tanto para guiar o
professor na elaboração do curso online, como também como base para avaliação do per-
fil cognitivo do aluno em tais ambientes. Nenhum dos estudos aqui citados utiliza a RBT
para determinar o perfil de aprendizagem cognitivo do aluno em ambientes que não foram
construídos de acordo com as diretrizes dessa taxonomia.
3.4 Revisão da Literatura sobre LA
Existem alguns estudos que apresentam o estado da arte do Learning Analytics em sistemas
de aprendizagem em diferentes partes do mundo. Alguns desses estudos são mapeamentos
3.4 Revisão da Literatura sobre LA 29
ou revisões sistemáticas em LA e outros se referem à sistemas que implementam LA para
análise de dados. Os estudos resultantes dessa revisão são exibidos a seguir.
3.4.1 Revisões e Mapeamentos sistemáticos em LA
O estudo em [Santos et al. 2017], realiza um mapeamento sistemático de Learning Analytics
em países da América Latina. Nesse trabalho, a maioria dos artigos encontrados foram foca-
dos apenas em aspectos teóricos de LA e alguns deles analisam a aplicação e implantação de
ferramentas ou produtos LA. Há também um relatório Jisc, que apresenta uma revisão sobre
o uso de LA no ensino superior no Reino Unido e a prática internacional de LA [Sclater, Pe-
asgood e Mullan 2016]. O estudo em [Chauhan e Goel 2017] enfoca os recursos do Learning
Analytics nos Sistemas de Gestão de Aprendizagem para o aluno. Neste estudo, 11 plata-
formas de e-learning são analisadas de acordo com a presença de características específicas
de LA. Entre as plataformas selecionadas haviam duas plataformas de código aberto, que
eram Open edX e MooKIT; três AVAs que foram Canvas Network, Sakai e Moodle; e seis
plataformas proprietárias que foram edX, Coursera, Udacity, FutureLearn, NovoEd e Iver-
sity. Projetos de LA foram iniciados em diferentes países, como Estados Unidos, Austrália
e no Reino Unido com o objetivo de usar os dados de LA para melhorar a aprendizagem e
ensino [Sclater, Peasgood e Mullan 2016]. Também na América Latina, existe uma proposta
para criar uma rede Latino-Americana de Pesquisa relacionada ao Learning Analytics, Le-
arning Analytics Latin American (LALA). A LALA conta com a participação de 7 países
da América Latina (Argentina, Brasil, Chile, Colômbia, Equador, México e Venezuela) e
é representada por um grupo de pesquisadores de 13 instituições desses países. Essa rede
acadêmica compartilha um interesse comum que é encontrar soluções para problemas se-
melhantes através da gestão do conhecimento. O objetivo principal LALA é compartilhar
experiências com o uso de LA, como por exemplo, a identificação de padrões e estabele-
cer indicadores sobre as trajetórias de aprendizagem, que sejam capazes (juntamente com as
informações básicas e tradicionais) de servir para a predição de aspectos reprovação, baixo
rendimento, entre outros [Sprock et al. 2017].
3.4 Revisão da Literatura sobre LA 30
3.4.2 Estudos sobre a aplicação de LA em AVAs
Em [Furukawa et al. 2017], uma plataforma de análise de aprendizado para cursos on-line
foi desenvolvida para a maior instituição de ensino a distância do Japão, a Universidade
Aberta do Japão (OUJ). A OUJ oferece cursos online interativos no Moodle e desenvolveu
uma plataforma de LA para coletar e analisar dados educacionais referentes a esses cursos.
A plataforma de LA apresentada registra as notas das tarefas on-line, o tempo de leitura, o
número total de tempos de login, o número total de discussões on-line e assim por diante. Os
registros de aprendizagem são transferidos para o servidor de armazenamento da instituição
e são usados para a análise. A plataforma de LA desenvolvida também oferece um painel de
visualização desses dados para análise dos professores.
O estudo em [Okewu e Daramola 2017] enfoca a análise de aprendizagem no ensino su-
perior. O Sistema de Análise de Aprendizagem das Universidades da Nigéria (NULAS) se
foca em fornecer suporte para atividades-chave, como orientação acadêmica, planejamento
acadêmico e análise acadêmica. NULAS fornece as seguintes funcionalidades: (1) Serviços
de Informações - por exemplo, oferece informações sobre estatísticas de estudantes em um
curso, departamento, faculdade ou universidade; (2) Mineração de relacionamento entidade/-
conceito, por exemplo, ofertas assessoria em cursos que podem servir como pré-requisitos
para outros cursos; (3) Segmentação de dados/serviços de clusterização, por exemplo, agru-
pamento de alunos para ensino e aprendizagem eficientes; (4) Classificação de dados/servi-
ços de classificação, por exemplo, aconselhamento sobre o esquema apropriado de classifi-
cação para processamento de resultados; (4) Serviços de previsão/planejamento baseados em
dados, por exemplo, professores e alunos poderiam ser aconselhados sobre se um aluno pode
fazer um determinado grau dado seus hábitos de leitura, status financeiro, etc., com base em
dados observacionais passados.
Como visto acima, LA pode ser utilizada em diferentes tipos de sistemas, com diferentes
objetivos onde a obtenção e análise de dados relacionados a trajetória de aprendizagem dos
estudantes é o objetivo principal.
3.5 Estudo sobre características de LA no Moodle 31
3.5 Estudo sobre características de LA no Moodle
Em novembro de 2017 o Moodle lançou sua versão 3.4 com suporte a LA. Existem quatro
categorias principais de análise de aprendizado, que são: (1) descritiva (o que aconteceu?);
(2) preditiva (o que acontecerá depois?); (3) diagnóstica (por que isso aconteceu?); (4) pres-
critiva (faça isso para melhorar). O Moodle provê analítica descritiva e preditiva. Analítica
preditiva é oferecida nas formas de: (1) relatórios incorporados baseados em dados do ar-
quivo de log; (2) plugins de terceiros, que fornecem análise descritiva [Dalton 2018]. A
versão 3.4 do Moodle apresenta ainda os seguintes recursos de LA: (1) uma Interface de
Programação de Aplicativos, do inglês Application Programming Interface (API) para LA
incorporada no núcleo do Moodle, para dar suporte à construção de indicadores e modelos
de previsão para plugins de terceiros; (2) Dois modelos de previsão incorporados: ”Alunos
em risco de evasão” e "Sem ensino”; (3)um plugin padrão chamado Inspire, que oferece
analítica preditiva e implementa o modelo de previsão "Alunos em risco de evasão” [Moodle
2017]. O plugin Inspire fornece uma lista de alunos em risco de evasão. Os indicadores
de LA utilizados para essa predição são baseados no modelo Community of Inquiry [Gar-
rison, Anderson e Archer 1999]. Basicamente, os indicadores "medem"a participação dos
alunos nos indicadores selecionados, que são as atividades ofertadas pelo curso. Os dados
selecionados para os indicadores estão na tabela de logs do Moodle [Moodle 2016].
A API de LA desenvolvida pelo Moodle é um sistema aberto que pode se tornar a base
para uma ampla variedade de modelos e oferece suporte para analítica preditiva. Os modelos
podem conter indicadores (preditores), alvos (o resultado que estamos tentando prever), in-
sights (as previsões), notificações (mensagens enviadas como resultado de insights), e ações
(oferecidas aos destinatários das mensagens e podem ser indicadores por sua vez). Os prin-
cipais componentes da API de LA do Moodle podem ser visualizados na figura 3.1.
3.5 Estudo sobre características de LA no Moodle 32
Figura 3.1: Componententes do Sistema de LA Moodle. Fonte: [Dalton 2018]
A figura 3.2 mostra uma visão mais detalhada do funcionamento da API de LA do
Moodle. Nessa figura se pode ver os componentes amostras (samples), que são amostras das
coleções de dados do Moodle e analyser (analisador), responsável por criar os arquivos de
conjunto de dados que serão enviados para os processadores de previsão.
Figura 3.2: Arquitetura API LA Moodle. Fonte: [Moodle 2016]
3.5.1 Análise comparativa LA plugins Moodle
Paralelamente ao estudo do suporte a LA oferecidos pelo Moodle, surgiu a necessidade estu-
dar os plugins de LA já disponibilizados pelo Moodle. Esse esforço resultou em uma análise
comparativa entre os plugins de LA do Moodle, que apresentamos nesta seção.
3.5 Estudo sobre características de LA no Moodle 33
Além do plugin padrão Inspire a versão 3.4 do Moodle conta com plugins de LA, que
oferecem analítica descritiva, desenvolvidos por terceiros para diversos fins, diferentes ti-
pos e assuntos [Moodle 2018]. Os plugins de terceiros de LA para o Moodle, que foram
analisados neste estudo foram selecionados de acordo com os seguintes critérios:
• Plugins para análise de aprendizado;
• Disponíveis para a versão 3.4;
• Propósito relacionado ao papel administrativo;
• Plugins de terceiros.
A pesquisa de plugins, usando tais critérios, retornou 5 plugins, que serão descritos a seguir.
3.5.2 Moodle LA Plugins
Além da API para LA presente no Moodle e do plugin padrão Inspire, há também plugins
de terceiros que foram desenvolvidos para implementar LA no Moodle. Esses plugins são
oferecidos como relatórios, blocos e outros. Com o foco em ferramentas que suportam os
instrutores na tomada de decisões, os plugins para LA suportados na versão 3.4, que foram
selecionados de acordo com os critérios definidos acima, são descritos a seguir. A fonte da
documentação sobre os plugins foi o site oficial do Moodle, o repositório do Git Hub e a
documentação fornecida pelos desenvolvedores do plugin.
• Analytics Graphs - criado com o objetivo de gerar gráficos que servem como parâme-
tro para facilitar as decisões pedagógicas. Esse plugin coleta dados existentes sobre
a atividade do aluno no Moodle e os exibe em vários gráficos, fornecendo uma visu-
alização gráfica desses dados. Os indicadores de LA desse plugin são: Número de
pessoas que acessaram ou não algum conteúdo e que realizaram envios; Distribuição
de ocorrências; Quem enviou tarefas a tempo ou tarde; Quem estava ativo em uma
determinada hora do dia. Os gráficos podem ser classificados em Gráfico de Notas,
Gráfico de Acessos a Conteúdos, Gráfico de número de usuários ativos, Gráfico de
submissões de atividades e gráfico de distribuição de acessos [Schmitt 2018].
3.5 Estudo sobre características de LA no Moodle 34
• Attendance - Este plugin permite que os professores mantenham um registro de partici-
pação durante a aula, complementando o uso de métodos tradicionais e permitindo um
melhor monitoramento pelo professor e aluno. Existem quatro status que podem ser
atribuídos pelo professor a um estudante. Os status são "Presente", "Ausente", "Atra-
sado"ou "Dispensado". Além disso outros status podem ser adicionados. O professor
adiciona a participação como uma atividade de um curso e define em quais seções ha-
verá acompanhamento da participação. Os alunos também podem gravar sua própria
presença e vários relatórios diferentes estão disponíveis, se as sessões estiverem confi-
guradas para isso. Os indicadores desse plugin são os registros de presença (presente,
atrasado, dispensado, ausente, etc.) [Marsden 2018]. Este plugin é usado principal-
mente em ambientes de aprendizado do tipo "blended-learning” (combinação entre
aprendizado presencial e a distância) e permite ao professor acompanhar e fornecer a
nota para a participação dos alunos.
• Checkmark report - É uma extensão do módulo Checkmark (fornece informações so-
bre as atribuições preenchidas pelos alunos antes de uma aula) e mostra as notas de
um ou mais marcos de verificação em um formulário tabular. A visão geral mostra
algumas informações, que é a quantidade de marcos, as notas e a alocação percentual.
O relatório de marca de seleção oferece três tipos diferentes de visualizações para
as informações disponibilizadas. O primeiro é chamado visão geral e dá um gráfico
completo. O segundo é chamado de visão geral do aluno e nele os alunos podem ser
inspecionados individualmente. A terceira é chamada de visão do usuário e nela os
professores e os alunos têm um feedback imediato de seu status. Os indicadores desse
plugin são os marcos de verificação e as notas [Cooperation 2018].
• O plugin Exabis competence - Competence grids é um plugin de bloco que funciona
com o conceito de competências digitais. Este conceito permite que professores e alu-
nos documentem seu trabalho, construindo um perfil de competências e trabalhando
de forma colaborativa. No Exabis, os professores podem criar grades de competências
digitais no Moodle, compartilhar tarefas e materiais específicos no quadro pedagó-
gico com todos os alunos ou determinados alunos, proporcionando individualização.
O professor pode acompanhar o progresso do aluno avaliando as competências que o
3.5 Estudo sobre características de LA no Moodle 35
aluno ganhou ao concluir as atividades no Moodle. As competências podem ser ob-
tidas através da conclusão do curso, participação em questionários e avaliações. O
plugin utiliza os seguintes indicadores: competências interdisciplinares independentes
de disciplinas e escala de classificação para avaliação [Riepl 2017].
• Learning Plan - O Plano de Aprendizado é um plugin para facilitar o gerenciamento
do aprendizado organizacional. O plugin pode ser usado como um banco de dados
que contém informações sobre iniciativas de aprendizagem da organização. Também
pode ser usado como uma plataforma para organizar o aprendizado estrutural. Cada
Plano de Aprendizado contém informações como data de início e fim, os alunos e o
status do treinamento. Esta ferramenta reúne diferentes formas de aprendizado, como
aprendizagem a distância, aprendizagem presencial, aprendizagem no trabalho. Os
planos de aprendizagem podem conter um conjunto de cursos e pode ser atribuído a
um aluno individual ou a um grupo de alunos. O plugin Learning Plan utiliza o status
de progresso como indicador [LMS 2018].
3.5.3 Descobertas revisão LA Moodle
Após analisar os plugins de terceiros do Moodle e a API do Moodle para LA, os principais
aspectos serão destacados abaixo:
• Os plugins analisados fornecem ações na forma de email, relatório, notificação;
• A maioria dos plugins são projetados para funcionar no escopo de um curso, mas tam-
bém há plugins para diferentes escopos, por ex. Plano de Aprendizado, que funciona
no escopo de todo um treinamento (que pode conter um conjunto de cursos);
• O conceito de habilidades interpessoais não é popular, mas aparece no plugin Exabis; o
conceito de competências aparece em dois plugins: Exabis e Learning Plan; o conceito
de participação aparece em apenas um plugin, o plugin Attendance.
3.5.4 Conclusões da Revisão Sistemática LA Moodle
A partir da versão 3.4, o Moodle oferece cobertura para o Learning Analytics. Essa co-
bertura se dá das seguintes formas: (1) API específica para desenvolvimento de plugins de
3.6 Trabalhos Relacionados 36
terceiros, com suporte para analítica descritiva e preditiva; (2) dois modelos de previsão in-
corporados;(3) plugin padrão de predição (Inspire); (4) plugins de terceiros, que oferecem
analítica descritiva, já implementados. Dessa forma, com base na declaração em [Chauhan e
A. 2017], que LA em AVAs ainda estão em sua infância, é pertinente dizer que o Moodle é,
hoje em dia, o AVA com a maior cobertura LA. Apesar disso, até o momento de finalização
deste estudo, não foi encontrado nenhum plugin disponível para o Moodle que oferecesse su-
porte para nossa abordagem de representar o perfil cognitivo do aluno de acordo com a RBT,
sendo assim , no capítulo 4 uma proposta de modelo de LA para o objetivo desta pesquisa
será apresentada.
3.6 Trabalhos Relacionados
Dos resultados obtidos através da revisão da literatura, os seguintes estudos serviram de
inspiração para nossa pesquisa: RBT - [Costa et al. 2013], LA - [Valdiviezo-Diaz et al. 2015]
e a API de LA do Moodle. No que se refere a RBT utilizamos um algoritmo semelhante ao
do trabalho acima mencionado para realizar um levantamento dos verbos que aparecem na
descrição das questões de avaliações utilizadas nas disciplinas ministradas no curso LC-
EAD e relacioná-los aos verbos referentes a cada classe do domínio cognitivo da RBT. Do
estudo sobre LA, retiramos a abordagem de modelagem dimensional para LA e finalmente
do sistema de LA do Moodle veio a inspiração do modelo de LA para analítica descritiva.
Capítulo 4
Proposta da Modelagem Analítica
Este capítulo apresenta a proposta e desenvolvimento da modelagem analítica para represen-
tar o perfil cognitivo do aluno de acordo com a RBT, utilizando os paradigmas de LA.
4.1 Modelo Proposto
O modelo de aluno proposto foi inspirado no modelo de LA da API do Moodle, descrito
na seção 3.6, do capítulo 3. A API de LA está disponível apenas na versão 3.4 do Moodle
e a UFPB utiliza a versão 3.2 do Moodle para os cursos EAD. Por essa razão, o modelo
foi construído de modo que possa ser incorporado na API de LA do Moodle, mas também
é genérico o bastante para ser utilizado fora deste sistema. O modelo proposto apresenta
os seguintes elementos: (a) target: Avaliação do perfil cognitivo do aluno de acordo com
a RBT; (b) Indicadores: nível RBT das questões de questionários de avaliação, respostas
corretas dos alunos à essas questões, número de questões do questionário por nível RBT,
número de questões corretas por nível RBT; (c) Amostras: disciplinas do curso LC-EAD,
alunos matriculados, banco de questões, avaliações das disciplinas; (d) Analisador : descrito
na seção 4.5.
A figura 4.1 representa o modelo proposto.
37
4.2 Desenvolvimento 38
Figura 4.1: Modelo proposto
4.2 Desenvolvimento
Para melhor entender a obtenção dos dados necessários para o funcionamento do modelo
proposto, foi necessário o estudo dos dados do Moodle que serão utilizados para "alimentar”
o modelo. Em seu trabalho, [Souto,2003] apresenta a sugestão de se fazer a seguinte distin-
ção dos dados, para os Sistemas Adaptativos de Ensino e Aprendizagem na Web: (1) dados
do aluno; (2) dados do ambiente; e (3) dados de uso do ambiente educacional. Os dados do
aluno compreendem as características do mesmo e são representadas no modelo do aluno.
Os dados de uso do ambiente educacional são os dados referentes às interações do aluno com
esse ambiente e finalmente, os dados do ambiente são os dados que não se referem ao aluno,
mas com o ambiente de ensino. Para poder construir o modelo acima, um estudo da estrutura
de armazenamento do Moodle para dados do aluno, dados do ambiente de aprendizagem e
dados da interação do aluno com este ambiente fez-se necessário. O resultado do estudo
dos dados serviu de base para a extração dos dados que alimentaram o modelo dimensional.
4.2 Desenvolvimento 39
Para um melhor entendimento das descrições deste capítulo utilizaremos a palavra lista para
identificar os conjuntos de dados relativos à RBT e tabela para identificar os conjuntos de
dados do banco de dados. As tabelas do Moodle, que armazenam os dados essenciais para
nossa modelagem do perfil RBT cognitivo do aluno são apresentadas a seguir.
4.2.1 Dados do Aluno
Nossa obtenção de dados do aluno se inicia com a identificação dos alunos de um determi-
nado curso, como representados na figura 4.2, que demonstra as tabelas do Moodle onde
esses dados são armazenados.
Descrição das tabelas e seus conteúdos:
• tabela mdl_context -registra o contexto de curso, usuário, grupo etc., para efeito de
gerenciamento de permissão. Contexto 50 é o contexto de curso.
• mdl_user - registra os usuários do sistema
• mdl_enrol - registra os métodos de inscrições nos cursos (convidado, manual, etc.)
• mdl_user_enrolments - Registra o vínculo do usuário a regra de inscrição. Também
configura o período de validade da matrícula
• mdl_role_assignments - Registra a matrícula do usuário vinculado a um determinado
contexto (categoria de curso, curso, etc.) e a um determinado perfil (aluno, tutor, etc.).
• mdl_role - registra o perfil do usuário, perfil de aluno tem identificação 5
4.2 Desenvolvimento 40
Figura 4.2: Alunos do Curso
4.2.2 Dados do Ambiente
A tabela mdl_question_categories armazena as categorias de questões e contém a chave es-
trangeira da tabela mdl_context. Para poder extrair as questões de um curso, é necessário
consultar as seguintes tabelas :
As questões dos cursos podem ser vistas na figura 4.3.
Figura 4.3: Questões
Descrição das tabelas e seus conteúdos:
• tabela mdl_question - registra o banco de questões
4.2 Desenvolvimento 41
• mdl_question_categories - registra os usuários do sistema
• mdl_context - descrita na seção 4.1.1
4.2.3 Dados de Uso do ambiente educacional
Para que se possa entender melhor os critérios de seleção dos dados de uso do ambiente edu-
cacional, é preciso entender o funcionamento da question engine (mecanismo de perguntas)
do Moodle, no que se refere a mudança de estados [Moodle 2016]. Existem 16 estados em
que uma questão pode se encontrar. Cada estado de questão apresenta as propriedades que
podem ser vistas na tabela 4.1. O estado que representa as questões finalizadas e acerta-
das se chama "gradedright”. É esse estado que guiará a seleção das questões de avaliação
solucionadas corretamente pelos alunos.
Tabela 4.1: Propriedades Estados Questões
Os dados de uso do ambiente educacional são representados no Moodle pela figura 4.4,
que representa as questões resolvidas e acertadas pelos alunos dos cursos analisados.
4.2 Desenvolvimento 42
Figura 4.4: Questionário acertado
Descrição das tabelas e seus conteúdos:
• mdl_course - definida na seção 4.1.1
• mdl_user - definida na seção 4.1.1
• mdl_question - definida na seção 4.1.2
• mdl_quiz - as avaliações das disciplinas do curso LC-EAD são armazenadas na tabela
Quiz (mdl_quiz).
• mdl_quiz_slots - as questões que compõem as avaliações estão armazenadas nesta ta-
bela , mas para nossa análise, extraímos apenas as questões de avaliações que puderam
ser categorizadas de acordo com a RBT.
• mdl_question_attempt_steps - as questões de avaliações que utilizadas para análise
do perfil do aluno são aquelas que o mesmo respondeu corretamente. Essa infor-
mação está armazenada na tabela mdl_question_attempt_steps, mais precisamente no
campo "state", que deve ter o valor "gradedright". Essa tabela também armazena o
id do usuário que tentou resolver a questão e o id da tentativa de resposta (tabela
mdl_question_attempt)
• a tabela mdl_quiz_attempts - armazena as tentativas do aluno em responder as avalia-
ções
• mdl_question_usages - registra o link entre as tentativas de avaliações e as tentativas
de questões
4.3 Analisador 43
4.3 Analisador
O analisador aqui apresentado equivale ao componente analisador do modelo proposto na
seção 4.2. Esse analisador consiste no processo de categorização das questões e acertos
do aluno nos níveis RBT. A arquitetura desse processo pode ser visualizada na figura 4.5,
onde estão representados os personagens que interagem com o Moodle e o resultado dessa
interação. O funcionamento do analisador será explicado em seguida.
Figura 4.5: Arquitetura do Analisador
A figura 4.5 apresenta uma sequência de passos numerados que são detalhados a seguir.
O passo 1 representa a preparação do ambiente de aprendizagem (inserção das questões de
avaliações) por parte dos professores das disciplinas, o passo 2 representa a interação dos
alunos com o sistema (resposta às avaliações), o passo 3 representa a extração das ques-
tões utilizadas nas avaliações das disciplinas que, com base na lista RBT-LC-EAD, serão
categorizadas de acordo com os níveis RBT no passo 4. No passo 5, as questões que fo-
ram respondidas corretamente são extraídas do Moodle e serão inseridas na tabela Questões
Corretas. Nos passo 6 as questões corretas são recuperadas e no passo 7 essas questões se-
rão categorizadas pelo processo de categorização de questões corretas que busca o nível das
questões acertadas na tabela de questões RBT e as armazena na tabela Acertos RBT.
O funcionamento do analisador se dá do seguinte modo: Com a ajuda da lista de verbos
4.3 Analisador 44
da RBT (descrita na seção 2.6.1), uma lista de Verbos RBT-LC-EAD foi criada (apresentada
na seção 5.1.1). Essa lista é uma expansão da lista de Verbos RBT original, pois contém
verbos equivalentes àqueles da lista de verbos RBT, mas na forma em que esses verbos apa-
recem nas questões das disciplinas do curso LC-EAD (que em sua maioria apresentam o
modo verbal Imperativo). Com base na nova lista de verbos RBT-LC-EAD, um programa
de extração de questões para cada categoria RBT foi construído. Esse programa verifica se
os verbos da lista RBT-LC-EAD estão presentes no enunciado da questão. Uma vez encon-
trados, o programa armazena as questões e seu nível em uma outra tabela (Questões RBT)
que armazena as questões e os níveis correspondentes. Dessa forma, uma tabela que con-
tém somente questões categorizadas é criada (tabela Questões RBT). Em posse dessa nova
tabela de questões categorizadas, o programa busca as questões pertencentes às avaliações
dos cursos para a partir daí buscar as respostas dos alunos para essas avaliações. Quando o
programa encontra uma pergunta de avaliação respondida corretamente pelo aluno, essa in-
formação é armazenada em outra tabela (Questões Corretas). Em seguida a questão acertada
é buscada dentro da tabela de questões categorizadas e, se encontrada, é armazenada em ou-
tra tabela (Acertos RBT) que contém a identificação do curso, a identificação da avaliação, a
identificação do aluno, a identificação da questão acertada e o nível da questão acertada.
4.3.1 Ambiente de Construção do Analisador
Para a construção do analisador foram utilizadas as linguagens SQL e PHP. O servidor de
banco de dados que hospeda o Moodle e seus dados é do tipo MySQL. A extração dos
dados foi realizada através da utilização da linguagem SQL, utilizando a IDE ambiente
MySQL Workbench 6.3 CE e a linguagem PHP foi utilizada para conduzir o fluxo de re-
cuperação dos dados e inserção nas tabelas especificadas na seção 4.5. Os resultados ob-
tidos pelo processo acima, são armazenados nas tabelas da figura 4.6. Nessa figura, a
tabela tbl_nivel_rbt_quest armazena as questões e suas categorias RBT equivalentes, a ta-
bela tbl_questquiz_ok_aluno armazena as questões respondidas corretamente pelos alunos e
a tabela tbl_questquiz_nivaluno armazena as questões corretas, os níveis RBT de cada uma
delas e os alunos que as responderam.
4.4 Modelo Dimensional 45
Figura 4.6: Tabelas RBT
4.4 Modelo Dimensional
No capítulo 2 o conceito de modelo dimensional foi apresentado. O modelo dimensional
apresentado nesta seção reúne os dados necessários para que as informações relativas ao
progresso do aluno, de acordo com os níveis cognitivos da RBT possam ser visualizados
mais facilmente. Os dados necessários para o modelo do aluno foram armazenados nas
tabelas da figura 4.6. Essas tabelas representam o datawarehouse do nosso projeto de LA
e foram alimentadas através de operações ETL no banco de dados original do curso LC-
EAD do Moodle. Os dados oriundos do datawarehouse popularam o modelo dimensional
apresentado na figura 4.7.
4.5 Considerações Finais 46
Figura 4.7: Modelo Dimensional
4.5 Considerações Finais
O modelo proposto neste capítulo está preparado para fornecer analítica descritiva para o
Moodle. O funcionamento do modelo proposto neste capítulo será apresentado no estudo de
caso do capítulo 5. A identificação do que representa o modelo do aluno não foi fácil. Fazer
a correspondência da trajetória do aluno com a pirâmide da taxonomia de Bloom não foi
trivial porque a estrutura do curso não foi elaborada utilizando essa metodologia. Então para
viabilizar o percurso da pesquisa, o processo de correspondência da trajetória do aluno com
a pirâmide de níveis cognitivos RBT precisou ser simplificado. Essa simplificação foi reali-
zada através de uma análise dos acertos e erros do aluno. Essa simplificação teve como base
o que o Moodle traz de informações para que se possa avaliar o progresso de aprendizagem
dos alunos. Essa abordagem foi capaz de obter informações importantes, como por exem-
plo, foi possível identificar que no curso LC-EAD as avaliações estão específicas nos níveis
equivalentes aos mais baixos níveis da pirâmide RBT, que são o Lembrar e o Entender. As
avaliações das disciplinas analisadas não estão explorando a capacidade cognitiva dos alunos
nos níveis mais altos de aprendizagem cognitiva, de acordo com a RBT e não apresentam
um trabalho de desenvolvimento do processo cognitivo. Essas informações obtidas, através
4.5 Considerações Finais 47
do uso do modelo proposto nesta pesquisa já foram uma boa contribuição para o curso de
LC-EAD.
Capítulo 5
Resultados
Neste capítulo, serão apresentados os resultados do processo de análise do perfil cognitivo
do aluno que puderam ser obtidos através do modelo proposto.
5.1 Ambiente do Estudo de Caso
O cenário de análise dessa pesquisa consiste de quatro turmas do curso LC-EAD, que utiliza
o Moodle como AVA. O curso LC-EAD tem estrutura semelhante aos cursos presenciais ofe-
recidos pela UFPB. A cada semestre são oferecidas turmas das disciplinas que o aluno pode
se matricular. As disciplinas escolhidas para o estudo de caso foram Introdução à Progra-
mação e Matemática Elementar por apresentarem um alto índice retenção e reprovação. O
estudo de caso consiste em analisar o progresso dos alunos em sua trajetória de aprendizagem
no curso. A progressão do aluno foi analisada de acordo com sua progressão dentro dos ní-
veis cognitivos da RBT, como explanado no capítulo 2. O estudo de caso também abrangeu a
identificação dos níveis RBT das questões de avaliações oferecidas aos alunos que cursaram
as disciplinas. Os indicadores utilizados para essa análise foram: (1) nível RBT das questões
de questionários de avaliação; respostas corretas dos alunos à essas questões; (2) número
de questões do questionário por nível RBT; (3) número de questões corretas por nível RBT.
Para essa análise, o percentual de acerto por nível RBT dos alunos são considerados. Deste
modo, foi possível visualizar os níveis das questões de avaliações oferecidas, bem como o
desempenho dos alunos nas mesmas. É importante esclarecer que as turmas de Matemática
Elementar, dos períodos 2017.1 e 2017.2, bem como a disciplina de Introdução à Progra-
48
5.1 Ambiente do Estudo de Caso 49
mação, do período 2017.1 contém dados equivalentes a 1 (um) semestre letivo completo.
Porém, a disciplina de Introdução a Programação do período 2018.1 contém dados somente
do primeiro bimestre do curso, pois a disciplina ainda está em execução e no momento em
que a base de dados desta disciplina foi disponibilizada para esta pesquisa havia decorrido
dois meses do início da disciplina. Outro fator importante é que as questões de avaliações
do curso LC-EAD não foram construídas de acordo com a RBT, pois as avaliações do curso
não aplicam ainda nenhuma metodologia para criar suas avaliações. Durante esta pesquisa,
foi identificado que a estrutura em que as avaliações são organizadas e os dados referentes
essas atividades de avaliação no Moodle possibilitam a aplicação de LA e RBT para extrair
informações sobre o progresso do aluno em sua trajetória de aprendizagem e posteriormente,
possibilitam a criação do modelo do aluno que represente essa trajetória. As disciplinas são
identificadas como a seguir: (1) MPE-CPT-171 (Matemática Elementar 17.1), código iden-
tificador 5; (2) MPE-CPT-172 (Matemática Elementar 17.2), código 6; (3) IAP-CPT-171
(Introdução a Programação 17.1), código 7; IAP-CPT-181 (Introdução a Programação 18.1),
código 8.
5.1.1 Expansão da lista de verbos RBT para o curso LC-EAD
Como mencionado anteriormente, o objetivo deste estudo é analisar em que níveis da RBT
o aluno está alcançando em sua trajetória de aprendizagem, traçando assim seu perfil cog-
nitivo de aprendizagem. A análise do nível RBT das questões de avaliações das turmas
avaliadas, foi realizada através da observação dos questionários de avaliações. O enunci-
ado das questões que compunham esses questionários foi analisado em busca de verbos que
apresentassem equivalência aos verbos pertencentes aos níveis RBT. Em seguida as questões
que foram respondidas corretamente pelo aluno foram selecionadas e foi determinada a que
nível RBT elas correspondiam.
Como as disciplinas analisadas não foram construídas de acordo com as recomendações
da RBT, o primeiro desafio foi tentar encontrar uma correlação entre os verbos utilizados na
elaboração das questões e os verbos equivalentes a cada nível de processo cognitivo da RBT.
Para poder categorizar as questões de avaliações de acordo com a RBT, a lista de ver-
bos original da RBT, apresentada no capítulo 2, foi expandida para representar os verbos
utilizados no curso LC-EAD. Essa expansão gerou uma nova lista de verbos, que chamare-
5.1 Ambiente do Estudo de Caso 50
mos de lista de verbos RBT-LC-EAD, como mencionado no capítulo 4. A lista de verbos
RBT-LC-EAD está ilustrada na tabela 5.1.
Tabela 5.1: Lista de verbos RBT-LC-EAD
5.1.2 Classificação de Questões de acordo com a RBT
A classificação de questões ocorreu da seguinte forma: (1) de modo automático, por um
programa de computador construído especificamente para este fim, cujo funcionamento está
detalhado no capítulo 4, seção 4.4;(2) algumas questões, que não puderam ser categorizadas
de forma automática, foram categorizadas manualmente, através da avaliação de alguns pro-
fessores, como especialistas na área, através da análise de seu conteúdo, para enquadrá-las
no nível cognitivo equivalente; (3) as questões que foram categorizadas automaticamente
também tiveram seus conteúdos analisados pelos especialistas para verificar se seus enunci-
ados realmente correspondiam ao significado do verbo equivalente na tabela de verbos RBT.
Apesar disso, não foi possível garantir 100% a equivalência das mesmas às categorias RBT
porque o objetivo instrucional que o professor pretendia trabalhar, em específico, nessas
questões não é conhecido. Algumas questões não puderam ser categorizadas por não conte-
rem os verbos da lista RBT-LC-EAD em seu enunciado. Esse fato limitou a visualização do
progresso do aluno nos níveis RBT, visto que algumas das questões que foram utilizadas nos
questionários de avaliações das disciplinas continham questões sem equivalência aos níveis
RBT. Exemplos dessas questões podem ser visualizados na tabela 5.2.
A tabela 5.2 exibe exemplos dos resultados do processo de categorização de questões,
como a seguir:
• Questões classificadas automaticamente - Essas questões continham verbos equiva-
lentes aos verbos dos níveis RBT em seu enunciado e por isso foram identificadas
automaticamente pelo programa da seção 4.4, capítulo 4. Dentre esses exemplos, é
5.1 Ambiente do Estudo de Caso 51
possível visualizar um exemplo de expansão da lista de verbos RBT original, no nível
"Analisar", a forma verbal "Diferencie” foi estendida para a variação "Qual a dife-
rença";
• Questões categorizadas manualmente - Essas questões não continham, em seu enun-
ciado, verbos equivalentes aos níveis RBT, mas foram analisadas pelos especialistas
como contemplando o mesmo objetivo educacional dos níveis RBT e por isso puderam
ser categorizadas pelos especialistas nos níveis RBT equivalentes;
• Questões não categorizadas - essas questões não continham os verbos da tabela RBT
em seu enunciado e nem puderam ser classificadas manualmente por especialistas da
área por não apresentarem correspondência aos objetivos educacionais em níveis RBT.
Tabela 5.2: Exemplos da classificação de questões
5.2 Distribuição de Questões por nível RBT 52
5.2 Distribuição de Questões por nível RBT
No banco de dados do curso LC-EAD, disponível para nossa pesquisa, que conta com quatro
disciplinas, existem 1408 questões no total, das quais 659 foram categorizadas de acordo
com a RBT, o que significa dizer que 46,8% do total de questões do banco puderam ser
categorizadas de acordo com a RBT. A distribuição das 659, existentes no banco, por nível
está mostrada na figura 5.1.
Figura 5.1: Distribuição de Questões RBT por todas as Disciplinas
Das questões do banco, as que foram utilizadas em avaliações das disciplinas analisadas e
puderam ser categorizadas em níveis RBT formam um total de 204 questões, o que equivale
a 30,95% do total de questões que puderam ser categorizadas. Essas questões apresentam a
seguinte distribuição por nível (ver figura 5.2).
Figura 5.2: Distribuição de Questões RBT contidas em Avaliações
5.2 Distribuição de Questões por nível RBT 53
A distribuição das questões das disciplinas que puderam ser categorizadas em níveis RBT
apresentam a distribuição por nível e por disciplina como ilustrado na figura 5.3.
Figura 5.3: Distribuição Questões RBT por Disciplina
As disciplinas são identificadas do seguinte modo : MPE-CPT-171 (Matemática Elemen-
tar 17.1), MPE-CPT-172 (Matemática Elementar 17.2), IAP-CPT-171 (Introdução a Progra-
mação 17.1), IAP-CPT-181 (Introdução a Programação 18.1). Como se pode ver no gráfico
da figura 5.3, existem questões em todos os níveis RBT para todas as disciplinas. É impor-
tante observar que a quantidade de questões representadas varia de 0 a 160. Uma informação
que pode ser visualizada nesse gráfico é que as disciplinas MPE-CPT-171 e MPE-CPT-172
apresentam quase os mesmos percentuais de questões por nível.
A distribuição das questões, utilizadas em avaliações, que puderam ser categorizadas em
níveis RBT apresentam a seguinte distribuição por nível e por disciplina (ver figura 5.4).
Figura 5.4: Distribuição Questões Avaliações RBT por Disciplina
5.2 Distribuição de Questões por nível RBT 54
Como ilustrado na figura 5.4, as questões que foram utilizadas nas avaliações não se
representam em todos os níveis RBT para todas as disciplinas. Nessa figura, é possível ob-
servar que as avaliações têm buscado adicionar questões no nível cognitivo de aprendizagem
mais alto da RBT, que é o nível Criar, percebe-se que a disciplina Introdução a Programa-
ção tende a avaliar mais nesse nível de aprendizagem. Já a disciplina Matemática Elementar
tende a avaliar mais os nível Entender e Avaliar. É importante observar que a quantidade total
de questões RBT nas avaliações varia de 0 até 30. Isso significa que uma quantidade pequena
de questões categorizadas de acordo com a RBT foi inserida nas avaliações. Somente a dis-
ciplina MPE-CPT-172 apresenta questões de avaliações em todos os níveis da RBT. Apesar
disso, essa disciplina apresenta menores quantidades de questões de avaliações categorizadas
na maioria dos níveis, se comparada com a disciplina MPE-CPT-171, que apresenta questões
de avaliações em 5 níveis da RBT.
Das questões que foram utilizadas nas avaliações dos cursos, as que foram acertadas
pelos alunos mostram a distribuição por nível RBT como na figura 5.5.
Figura 5.5: Distribuição Questões Avaliações RBT Acertadas por disciplina
Como ilustrado na figura 5.5, as disciplinas MPE-CPT-171 e MPE-CPT-172 apresentam
acertos categorizados em três níveis RBT (Lembrar, Entender e Aplicar), sendo o maior nú-
mero de acertos no nível Entender, que foi também o nível onde havia o maior número de
questões de avaliações para essas disciplinas. Apesar de existirem questões nos níveis mais
altos Avaliar e Criar, os alunos das disciplinas de Matemática Elementar não conseguiram
acertar questões nesses níveis. A disciplina IAP-CPT-171 só apresenta acertos no nível Ana-
lisar. Nessa figura se pode observar que não foram encontrados acertos nos níveis mais altos
5.2 Distribuição de Questões por nível RBT 55
da RBT Avaliar e Criar, ou seja, mesmo que as avaliações contenham questões nos níveis
mais altos da RBT, os alunos não conseguiram acertar essas questões de avaliações. Para
a disciplina IAP-CPT-181 não houve acertos em nenhum nível da RBT, porém como men-
cionado anteriormente, esses dados equivalem somente ao primeiro bimestre do curso. Por
ser o curso que apresenta uma maior representatividade de acertos nos níveis RBT, o curso
MPE-CPT-171 foi escolhido para o estudo de caso.
5.2.1 Grupos de Alunos
Como mencionado anteriormente, o curso de Matemática Elementar, período 17.1 foi esco-
lhido por ser o que tem mais representação de questões corretas, por nível. Os alunos desse
curso foram divididos em dois grupos. Um grupo de alunos que apresenta nota acima da
média (maior ou igual a 7) e outro grupo que apresenta nota abaixo da média (menor do que
7). A representação dos acertos de cada grupo por categoria RBT pode ser visto nas figuras
5.6 e 5.7.
Figura 5.6: Gráfico grupo média alta
5.3 Estudos de Caso 56
Figura 5.7: Gráfico grupo média baixa
Como se pode observar nas figuras 5.6 e 5.7, o grupo de alunos que ficou com média
final maior ou igual a 7 teve um número maior de acertos nos níveis Entender e Aplicar do
que os alunos do grupo que ficou com média final abaixo de 7. Uma análise individual para
um aluno de cada grupo será exibida a seguir.
5.3 Estudos de Caso
O estudo de caso foi realizado através da representação de informações obtidas sobre o de-
sempenho do aluno em questões de avaliações de acordo com a RBT.
5.3.1 Utilização do Modelo
Como mencionado anteriormente neste documento, a análise da trajetória de aprendizagem
dos alunos foi realizada através de LA. Sendo LA um projeto de BI, como explicado no capí-
tulo 2, a aplicação do modelo proposto pôde usufruir dos benefícios da utilização de projetos
de BI, como por exemplo, a incorporação dos resultados são nativos às ferramentas de BI e
não precisam ser gerados por programas externos. Essas vantagens puderam ser claramente
percebidas no momento da geração de gráficos, pois sem a utilização da ferramenta de BI
esses gráficos poderiam ser obtidos manualmente, através de um programa de planilhas ele-
trônicas, como por exemplo o MS-Excel, ou ainda, através de um programa que coletasse os
dados e gerasse os gráficos automaticamente. No estudo de caso desta pesquisa, o modelo
5.3 Estudos de Caso 57
proposto foi aplicado na ferramenta Qlik Sense que será explicada na próxima seção.
5.3.2 Ferramenta de BI Qlik Sense
A ferramenta Qlik Sense Desktop é uma ferramenta de BI gratuita para visualização e des-
coberta de dados, facilitando a análise de dados e possibilitando a tomada de decisões de
negócios rapidamente [Qlik]. Essa ferramenta se conecta com o datawarehouse e extrai di-
retamente as informações de acordo com as definições do modelo. Os gráficos individuais
dos alunos foram gerados automaticamente com Qlik Sense. Os gráficos de análise indivi-
dual dos alunos 133 e 58, que serão mostrados e explicados a seguir, são resultado direto da
aplicação do modelo proposto nesta pesquisa.
A utilização do modelo pela ferramenta Qlik Sense se dá da seguinte forma. Foram
definidas medidas para representar os indicadores do modelo, essas medidas são os acertos
do aluno, o total de questões que ele respondeu corretamente e o percentual de acertos do
aluno. O detalhamento do funcionamento do modelo na ferramenta será mostrado após o
gráfico individual do aluno 133, a figura 5.9.
5.3.3 Aluno 133 - Nota acima da média
O aluno 133 pertence ao grupo de alunos com nota acima da média. Observemos o aluno
133 e sua média final na disciplina de Matemática Elementar, período 17.1 (identificada pelo
código 5) no Moodle (ver figura 5.8).
Figura 5.8: Aluno133
O aluno 133 tem seus percentuais de acertos por nível RBT representados nos gráficos
da figura 5.9, que foram gerados automaticamente pela ferramenta Qlik Sense Desktop com
os dados obtidos do modelo explicado na seção 4.4. Na figura, são exibidos dois gráficos e
uma tabela. A primeira linha da tabela apresenta o somatório das colunas Acertos e Total
Questões e o percentual de acertos do aluno, calculado a partir dos valores da primeira linha
5.3 Estudos de Caso 58
(Totais). Os percentuais por nível são exibidos nas linhas equivalentes a cada nível e são
calculados através da fórmula somatório de acertos do aluno/total de questões por nível *
100. Para chegar aos valores representados no gráfico de pizza, a ferramenta efetua alguns
cálculos automaticamente. Esses cálculos são realizados porque o somatório dos percentuais
obtidos em cada nível pode passar de 100%. Nesses casos a ferramenta equipara esses va-
lores a 100%. Para realizar essa proporcionalização, são efetuados cálculos de acordo com
os seguintes passos: (1) o valor máximo que cada nível de percentual pode alcançar (100%)
é multiplicado pela quantidade de níveis. Nesse caso, essa multiplicação resulta em 300%,
pois a quantidade de níveis é igual a 3; (2) o somatório dos valores percentuais de cada li-
nha é efetuado. Nesse caso, o resultado desse somatório é 291,7%); (3) o valor obtido no
passo (1) é dividido pelo valor obtido no passo (2), que resulta em 1,03 e equivale a 1%;
(4) o valor obtido no passo (3) é multiplicado pelo valor do percentual de cada nível; (5) o
resultado obtido no passo (4) é dividido pela quantidade de níveis (nesse caso = 3), obtendo
assim o percentual de níveis na proporção de 100% que é representado no gráfico. O gráfico
de colunas representa a quantidade de acertos em relação à quantidade de questões em cada
nível.
5.3 Estudos de Caso 59
Figura 5.9: Percentual Acertos Aluno 133 - Qlik Sense
5.3 Estudos de Caso 60
5.3.4 Aluno 58 - Nota abaixo da média
O aluno 58 pertence ao grupo dos alunos que ficou com nota abaixo da média, como se pode
visualizar na figura 5.10.
Figura 5.10: Nota Aluno 58
O aluno 58 tem seu nível de acertos representado no gráfico da figura 5.11.
5.3 Estudos de Caso 61
Figura 5.11: Situação Aluno 58 - Qlik Sense
5.3 Estudos de Caso 62
Analisando os percentuais de acertos dos alunos 133 e 58, podemos observar que o aluno
58 apresenta acertos nos níveis Entender e Aplicar. Já o aluno 133 apresenta acertos nos
níveis Entender, Lembrar e Aplicar e ainda, um maior número de acertos nesses níveis.
O aluno 133 cursou as disciplinas de Introdução a Programação e Matemática Elementar
no período 2017.1. Como ilustrado na figura 5.5, a disciplina de Introdução a Programação
do período 17.1 (código 6) tem representação de acertos no nível analisar. Sendo assim, o
percentual do nível de acertos do aluno 133, nas duas disciplinas, contém representações
nos quatro primeiros níveis da RBT, como pode ser visto nos gráficos da figura 5.12. Por
isso, quanto mais questões categorizadas nos níveis RBT, mais informação se pode obter da
distribuição de acertos dos alunos e uma melhor indicação do nível cognitivo onde ele se
encontra.
5.3 Estudos de Caso 63
Figura 5.12: Acertos aluno 133 em duas disciplinas - Qlik Sense
5.4 Validação 64
5.4 Validação
Como mencionado na seção 5.1.2, os resultados da etapa de categorização das questões de
acordo com a RBT foram validados através da consultoria dos especialistas da área. Os
resultados da etapa de modelagem dimensional e posteriormente, a utilização do modelo do
estudante obtido foram validados pela ferramenta Qlik Sense. Essa validação demonstrou
que, quando a modelagem está coerente, a ferramenta consegue extrair informações das
dimensões utilizadas automaticamente, através da conjugação de campos e/ou aplicação de
fórmulas, o que não acontece quando algum detalhe de implementação é omitido do modelo.
Um exemplo da contribuição obtida através da validação do modelo pela Qlik Sense foi
que através da utilização da ferramenta para o cálculo das "Medidas” ficou evidente que
estava faltando um campo que armazenasse a quantidade de questões por nível no escopo
das disciplinas. Esse campo foi adicionado na dimensão de Disciplinas e é utilizado para
calcular o percentual de acertos do aluno em um determinado nível.
5.5 Discussões sobre a Aplicação do Modelo
O modelo proposto nesta pesquisa pode ser utilizado para fornecer aos professores visualiza-
ção em relação ao nível de aprendizagem cognitivo dos alunos de suas disciplinas, de acordo
com a RBT. Através dessa visualização, os professores podem analisar o conteúdo de suas
disciplinas e verificar que níveis da pirâmide RBT estão sendo contemplados no conteúdo de
suas disciplinas e questões de avaliações. O objetivo final da aplicação do modelo é fornecer
dados relevantes para que o professor possa oferecer material instrucional personalizado aos
alunos. Uma vez que a disciplina esteja construída de acordo com as diretrizes RBT, o aluno
pode galgar os níveis da pirâmide ao longo de sua trajetória de aprendizagem. Em um am-
biente construído de acordo com a RBT pode ser implantado um ALS que poderá funcionar
identificado o aluno, bem como o nível RBT em que se encontra, para a partir daí decidir
automaticamente os níveis das questões/conteúdo que deverão ser mostrados os alunos em
um momento seguinte.
5.6 Considerações Finais 65
5.6 Considerações Finais
Neste capítulo, a aplicação do modelo proposto foi apresentada através da incorporação do
mesmo na ferramenta de BI, Qlik Sense, para demonstração individual da situação de al-
guns alunos do curso LC-EAD. A representação dos acertos das questões de avaliações foi
exibida de acordo com o nível na pirâmide RBT. Uma visualização geral das disciplinas ana-
lisadas do curso LC-EAD também foi apresentada no que se refere aos níveis das questões
de avaliações que foram abordadas de acordo com a RBT.
Capítulo 6
Conclusão
6.1 Considerações
Alinhados com a atual tendência dos Sistemas de Aprendizagem Adaptativos, de se apoi-
arem em um modelo de aluno que represente a trajetória de aprendizagem do aluno, nesta
dissertação, apresentamos a proposta de um modelo de processo para representar o perfil
cognitivo do aluno de acordo com a RBT. O capítulo 5 ilustrou como esse modelo pode ser
utilizado para gerar analítica descritiva para que os professores/tutores das disciplinas do
estudo de caso possam acompanhar o andamento do aluno na disciplina.
6.2 Contribuições e Conclusão
Considerando que não tínhamos nenhum conhecimento a priori a respeito do perfil de apren-
dizagem do aluno durante a execução de um processo de aprendizagem nas disciplinas do
cursos LC-EAD ofertados no AVA Moodle, uma das principais contribuições desta pesquisa
refere-se ao processo de descoberta de conhecimento sobre a trajetórias de aprendizagem do
aluno, assim também como uma análise do próprio curso LC-EAD, através da representação
de duas disciplinas.
Este processo iniciou pelo estudo e compreensão dos fundamentos psicopedagógicos que
sustentam teoricamente a RBT. Após isso, nossa investigação foi realizada, primeiramente,
através de uma análise exploratória e manual dos dados oriundos das questões de avaliação
do aluno. Essa investigação nos levou à compreensão do conhecimento necessário para mo-
66
6.2 Contribuições e Conclusão 67
delar o perfil cognitivo do aluno de EAD. Posteriormente, veio a construção do armazém de
dados contendo os acertos das avaliações realizadas pelo aluno, gerados durante mais de dois
semestres de duas disciplinas ofertadas no curso de Licenciatura da Computação com uma
amostra da população-alvo; seguiu através da análise exploratória das trajetórias de apren-
dizagem; e finalizou com a identificação dos atributos capazes de representar o nível de
aprendizagem cognitivo da população-alvo considerada, ou seja, o modelo de representação
do perfil cognitivo do aluno foi criado a partir da observação de sua trajetória de aprendi-
zagem durante um processo de ensino e aprendizagem a distância, através da plataforma
Moodle.
Através da modelagem obtida foi possível encontrar a resposta para a nossa questão de
pesquisa: “Como conhecer o perfil de aprendizagem do aluno de modo a poder oferecer ma-
terial instrucional personalizado ?”. A resposta encontrada foi que através da representação
dos níveis de aprendizagem cognitivos do aluno de acordo com a RBT é possível conhe-
cer o seu perfil cognitivo de aprendizagem, pois foi observado que quanto mais acertos em
níveis mais altos da RBT, maior a nota do aluno na disciplina. O processo de criação do
modelo proposto também nos ajudou a responder a outra questão de pesquisa que estávamos
buscando: “Como automatizar o diagnóstico do perfil de aprendizagem do aluno remoto no
curso de LC-EAD?”. A resposta a essa pergunta é outra importante contribuição desta pes-
quisa, pois como exibido no capítulo 5, através da utilização de LA o diagnóstico do perfil
do aluno pode ser realizado automaticamente. Outra contribuição importante desta pesquisa,
foi descobrir como o uso de LA pôde facilitar na análise dos dados. Na primeira fase desta
pesquisa, o processo de obtenção dos dados foi realizado em uma modelagem relacional, o
que também possibilita a extração dos dados para análise, porém de forma mais complexa
do que através da utilização da modelagem dimensional de LA. Através da aplicação de LA,
os dados podem ser mais facilmente e dinamicamente analisados, e através de uma ferra-
menta que dê suporte à modelagem dimensional, como a Qlik Sense, gráficos podem ser
automaticamente elaborados contendo os dados fornecidos tornando assim a visualização da
informação muito mais intuitiva.
Nosso trabalho se diferencia daqueles pesquisados na literatura, como por exemplo o
estudo em [Kostadinova, Totkov e Indzhov 2012], especialmente no que diz respeito ao
ambiente de avaliação das habilidades cognitivas dos alunos, pois em outros estudos os am-
6.2 Contribuições e Conclusão 68
bientes de ensino, onde os conteúdos pedagógicos são disponibilizados, já estão organizados
e desenvolvidos incorporando os objetivos educacionais segundo a Taxonomia de Bloom.
Outro diferencial desta pesquisa é a combinação das abordagens de LA e RBT, pois outros
estudos resultantes da revisão da literatura, como por exemplo [Valdiviezo-Diaz et al. 2015]
utilizam LA para extrair dados do log do Moodle, e não para se aprofundar em uma modela-
gem de uma característica tão importante do aluno como o perfil de aprendizagem cognitivo
do aluno, que pode ser provido através da RBT. Até mesmo os plugins de LA disponíveis no
Moodle, não oferecem uma visualização do perfil de aprendizagem do aluno e se limitem a
informar se o aluno está participando das disciplinas, ou ainda suas notas, o que não provê
uma forma de avaliação tão profunda quanto a modelagem desta proposta. A realização
do diagnóstico do aluno EAD a partir da análise de seu comportamento real, usando uma
abordagem de avaliação não-intrusiva é outro diferencial desta pesquisa. Sobre este aspecto,
a maioria dos sistemas avaliados, encontrados na literatura utilizam modelos implícitos do
aluno, como em [Silva-Lopez et al. 2015], que se apoiam principalmente no feedback do
aluno, através da aplicação de questionários ou aplicação de testes já formulados segundo a
RBT, para realizar a identificação do perfil cognitivo do aluno. Na nossa pesquisa, os dados
das avaliações do aluno foram extraídos do ambiente, sem que o aluno fosse submetido a ou-
tro tipo de sistema avaliativo e se baseiam nos níveis de aprendizagem reais do aluno durante
a execução de um processo de aprendizagem na Web.
A abordagem adotada em nossa investigação ainda nos permitiu contribuir em relação
aos novos projetos de Sistemas Educacionais a Distância sob os seguintes aspectos: (1)
expansão da lista de verbos do domínio cognitivo da RBT (2) modelagem do perfil cognitivo
de aprendizagem do aluno, identificando o nível de suas habilidades e processos cognitivos
segundo a RBT sem que o ambiente de aprendizagem tenha sido construído de acordo com
essa taxonomia.
A adaptação do conteúdo instrucional para o aluno, que pode ser obtida através do uso de
sistemas ALS não fez parte do escopo desta pesquisa por ter como condição necessária que
a estrutura das disciplinas, assim como a elaboração das questões de avaliação seja realizada
seguindo as diretivas da RBT, o que não acontece no momento atual no curso de LC-EAD.
6.3 Discussão dos Resultados 69
6.3 Discussão dos Resultados
Muitas das questões utilizadas para compor as avaliações das disciplinas se enquadraram
no grupo das disciplinas que não foram categorizadas, como pode ser visto na figura 5.2.
Esse fato prejudicou o resultado da análise, pois nem todos os acertos do aluno equivalem
a questões categorizadas nos níveis da RBT. Caso as disciplinas tivessem sido preparadas
seguindo a RBT este problema seria minimizado. Esta constatação é outra contribuição para
o curso de LC-EAD, pois demonstra quão importante é a aplicação de uma metodologia
como a RBT para auxiliar o progresso da trajetória de aprendizagem do aluno.
6.4 Desafios Encontrados
O primeiro desafio desta pesquisa foi a obtenção de dados reais para servir de base para
nossas análises. Felizmente, após longa espera as bases de dados de duas disciplinas do
curso LC-EAD foram disponibilizados para esta pesquisa.
Em seguida, já de posse de dados para análise, o outro desafio encontrado foi: Como
avaliar o aluno de acordo com os objetivos educacionais da RBT sem haver um ambiente
pré-formatado segundo essa taxonomia ? O fato de as questões não terem sido elaboradas
de acordo com a RBT dificultou essa análise, pois diversas das questões de avaliações que
foram respondidas corretamente pelos alunos, não correspondiam a nenhum nível RBT. Este
desafio foi o mais impactante para esta pesquisa, uma vez que ele representou uma ameaça a
validade deste estudo. Porém, apesar dessas limitações, foi possível visualizar o desempenho
do aluno nos níveis RBT.
No que se refere às avaliações, também foram encontrados desafios, pois alguns questio-
nários de avaliações não continham a quantidade de questões equivalentes ao total de níveis,
o que impossibilitou a análise dos percentuais de acertos de aluno por nível RBT no escopo
de uma avaliação específica.
Em relação à questão temporal, pelo fato de havermos trabalhado com as mesmas dis-
ciplinas, em períodos diferentes, não haviam dados necessários para a monitoração da evo-
lução do aluno ao longo do tempo (benefício conhecido das análises de dados que utilizam
BI), pois não foram encontrados alunos que tivessem se inscrito em disciplinas de períodos
6.5 Trabalhos Futuros 70
diversos.
6.5 Trabalhos Futuros
Apresentamos as seguintes direcionamentos a serem expandidos em futuras pesquisas: (1)
Expandir o modelo do aluno para poder obter mais informações por parte da ferramenta,
como por exemplo, monitoramento do aluno ao longo do tempo. A ideia é adicionar outros
elementos de avaliação que forneça uma visualização mais precisa do modo como os aluno
s estão sendo avaliados e a qualidade do resultado final obtido por esses alunos ao fim da
disciplina no curso de LC-EAD; (2) Trazer este estudo para a implementação formal de um
plugin de LA para analítica descritiva para o Moodle de acordo com o modelo proposto no
capítulo 4; (3) Criar um projeto de adaptação de conteúdo instrucional, adaptando os níveis
das questões de avaliação aos níveis dos alunos, de forma a apoiar os alunos a alcançar
níveis mais altos de aprendizado cognitivo dentro de sua trajetória de aprendizagem no curso
de LC-EAD.
Bibliografia
AL-RAJHI, L.; SALAMA, R.; GAMALEL-DIN, S. Personalized intelligent assessment mo-
del for measuring initial students abilities. In: Proceedings of the 2014 Workshop on Inte-
raction Design in Educational Environments - IDEE ’14. [S.l.]: ACM Press, 2014.
ANDERSEN, P. et al. Adaptive task assignment in online learning environments. In: Pro-
ceedings of the 6th International Conference on Web Intelligence, Mining and Semantics -
WIMS’16. [S.l.]: ACM Press, 2016.
ANDERSON, L.; KRATHWOHL, D. Taxonomy for learning, teaching and assessing: A
revision of Bloom’s Taxonomy of educational objectives. [S.l.: s.n.], 2001.
BECHARA, J. J. B.; HAGUENAUER, C. J. Por uma aprendizagem adaptativa baseada na
plataforma moodle / functional specifications on an adaptive learning environment based on
the moodle platform. Revista EducaOnline, v. 4, n. 1, 2010. ISSN 1983-2664. Disponível
em: <http://www.latec.ufrj.br/revistas/index.php?journal=educaonline>.
BREMGARTNER, V.; NETTO, J. F. de M. Improving collaborative learning by personaliza-
tion in virtual learning environments using agents and competency-based ontology. In: 2012
Frontiers in Education Conference Proceedings. [S.l.]: IEEE, 2012.
CHAUHAN, J.; A., G. A Feature-based Analysis of MOOC for Learning Analytics. IEEE
Conferences, Proceeding IC3 ’17, 9 2017.
CHAUHAN, J.; GOEL, A. A feature-based analysis of MOOC for learning analytics. In:
2017 Tenth International Conference on Contemporary Computing (IC3). [S.l.]: IEEE, 2017.
CHELLATAMILAN, T.; SURESH, R. Automatic classification of learning objects through
dimensionality reduction and feature subset selections in an e-learning system. In: 2012
71
BIBLIOGRAFIA 72
IEEE International Conference on Technology Enhanced Education (ICTEE). [S.l.]: IEEE,
2012.
COOPERATION, A. A. M. General plugins (Local): Checkmark report. 2018. Disponível
em: <https://moodle.org/plugins/local_checkmarkreport>.
COSTA, R. da et al. Ferramentas avaliativas disponíveis em um ambiente vir-
tual de aprendizagem usada no planejamento de um curso através do mapa de
dependências. In: Novas Tecnologias em Educação. [s.n.], 2013. Disponível em:
<http://seer.ufrgs.br/renote/article/viewFile/41633/26412>.
COSTA, S. da. Sistema de Business Intelligence como su-
porte à Gestão Estratégica. mathesis, 2012. Disponível em:
<https://repositorium.sdum.uminho.pt/bitstream/1822/25810/1/2012_MSc_S%C3%A9rgioCosta.pdf>.
DALTON, E. Moodle Learning Analytics Overview. 2018. Disponível em:
<https://moodle.org/analytics>.
DOUGIAMAS, M. Moodle for the next ten years. 6 2017. Conference. Presented at the Mo-
odleMoot Conference, Germany. Disponível em: <https://www.moodleworld.com/moodle-
for-next-ten-years-views-of-moodler-during-moodlemoot-germany-2017- mootde17/>.
EAGLE, M. et al. Predicting individual differences for learner modeling in intelligent tutors
from previous learner activities. In: Proceedings of the 2016 Conference on User Modeling
Adaptation and Personalization - UMAP’16. [S.l.]: ACM Press, 2016.
ELGHOUCH, N. et al. An application to index the didactic resources in an adaptive lear-
ning system (ALS). 2015 5th International Conference on Information & Communication
Technology and Accessibility (ICTA), dec 2015.
FERRAZ, A. P. do C. M.; BELHOT, R. V. Taxonomia de bloom: revisão teórica e apre-
sentação das adequações do instrumento para definição de objetivos instrucionais. Gestão &
Produção, FapUNIFESP (SciELO), v. 17, n. 2, p. 421–431, 2010.
FLEMING, N. Teaching and Learning Styles: VARK Strate-
gies. Neil D. Flemming, 2001. ISBN 978-0473079567. Disponí-
BIBLIOGRAFIA 73
vel em: <https://www.amazon.com/Teaching-Learning-Styles-VARK-
Strategies/dp/0473079569? SubscriptionId=0JYN1NVW651KCA56C102&tag=techkie-
20&linkCode=xm2&camp=2025&creative=165953&creativeASIN=0473079569>.
FURUKAWA, M. et al. Development of learning analytics platform for OUJ online courses.
In: 2017 IEEE 6th Global Conference on Consumer Electronics (GCCE). [S.l.]: IEEE, 2017.
GARRISON, D.; ANDERSON, T.; ARCHER, W. Critical inquiry in a text-based environ-
ment: Computer conferencing in higher education. The Internet and Higher Education, El-
sevier BV, v. 2, n. 2-3, p. 87–105, mar 1999.
GRAF, S. et al. Representative characteristics of felder-silverman learning styles: An empi-
rical model. In: International Conference on Cognition and Exploratory Learning in Digital
Age (CELDA 2006). [S.l.: s.n.], 2006. p. 235–242.
GREER, J. E.; MCCALLA, G. I. (Ed.). Student Modelling: The Key to Individualized
Knowledge-Based Instruction. [S.l.]: Springer Berlin Heidelberg, 1994.
GRELLER, W.; DRACHSLER, H. Translating learning into numbers: A generic framework
for learning analytics. Journal of Educational Technology & Society, v. 15, n. 3, p. 42–57,
2012.
HERRMANN, N. The Creative Brain. Brain Books, 1989. ISBN 978-
0944850022. Disponível em: <https://www.amazon.com/Creative-Brain-Ned-
Herrmann/dp/0944850022? SubscriptionId=0JYN1NVW651KCA56C102&tag=techkie-
20&linkCode=xm2&camp=2025&creative=165953&creativeASIN=0944850022>.
HETTIARACHCHI, E.; HUERTAS, M. A.; MOR, E. E-assessment in high-level cognitive
courses: Improving student engagement and results. In: 2014 14th International Conference
on Advances in ICT for Emerging Regions (ICTer). [S.l.]: IEEE, 2014.
JESUS, E. de; RAABE, A. Interpretações da taxonomia de bloom no contexto da progra-
mação introdutória. In: XX Simpósio Brasileiro de Informática na Educação. [S.l.: s.n.],
2009.
BIBLIOGRAFIA 74
J.POWER, D.; SHARDA, R. Business intelligence and
analytics. Wiley Online Library, 2015. Disponível em:
<https://onlinelibrary.wiley.com/doi/10.1002/9781118785317.weom070011>.
KARDAN, S.; CONATI, C. Providing adaptive support in an interactive simulation for lear-
ning. In: Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing
Systems - CHI ’15. [S.l.]: ACM Press, 2015.
KIMBALL, R. et al. The Data Warehouse Lifecycle Toolkit : Expert Methods for Designing,
Developing, and Deploying Data Warehouses. [S.l.]: Wiley, 1998. ISBN 0-471-25547-5.
KOSTADINOVA, H.; TOTKOV, G.; INDZHOV, H. Adaptive e-learning system based on
accumulative digital activities in revised bloom’s taxonomy. In: Proceedings of the 13th
International Conference on Computer Systems and Technologies - CompSysTech ’12. [S.l.]:
ACM Press, 2012.
LANE, C.; ROSCHELLE, J. AI Applications in Education. CIRCL Primer,
http://circlcenter.org/ai-applications-education/, 2014.
LI, Q. et al. Learner model in adaptive learning system. JOICS, v. 7, n. 5, p. 1137–1145,
2010.
LMS 3i L. Blocks: Learning plan. 2018. Disponível em:
<https://moodle.org/plugins/block_learning_plan>.
MARSDEN, D. Activities: Attendance. 2018. Disponível em:
<https://moodle.org/plugins/mod_attendance>.
MOODLE. Analytics. 2016. Disponível em: <https://docs.moodle.org/34/en/Analytics#Features>.
MOODLE. Overview of the Moodle question engine. 2016. Disponível em:
<https://docs.moodle.org/dev/Overview_of_the_Moodle_question_engine#The_state_of_a_question>.
MOODLE. Inspire. 2017. Disponível em: <https://docs.moodle.org/34/en/Inspire>.
MOODLE. moodleplugins. 2018. Disponível em: <https://moodle.org/plugins/>.
BIBLIOGRAFIA 75
NEDELCU, B. Business intelligence systems. IV, n. 4, 2013. ISSN 2069 - 3230. Disponível
em: <http://www.dbjournal.ro/14.html>.
NGUYEN, L.; DO, P. Learner model in adaptive learning. In: World Academy of Science,
Engineering and Technology 45. [S.l.: s.n.], 2008.
OKEWU, E.; DARAMOLA, O. Design of a learning analytics system for academic advising
in nigerian universities. In: 2017 International Conference on Computing Networking and
Informatics (ICCNI). [S.l.]: IEEE, 2017.
PECKHAM, T.; MCCALLA, G. Mining student behavior patterns in reading comprehension
tasks. In: EDM. [S.l.: s.n.], 2012.
QLIK. Qlik Sense desktop. Disponível em: <https://www.qlik.com/pt-br/products/qlik-
sense/desktop>.
RIEPL, A. Blocks: Exabis competencies - competence grids. 2017. Disponível em:
<https://moodle.org/plugins/block_exacomp>.
ROMERO, C.; VENTURA, S. Data mining in education. Wiley Interdisciplinary Reviews:
Data Mining and Knowledge Discovery, Wiley, v. 3, n. 1, p. 12–27, dec 2012.
SANTOS, H. L. dos et al. An initial review of learning analytics in latin america. In: 2017
Twelfth Latin American Conference on Learning Technologies (LACLO). [S.l.]: IEEE, 2017.
SANTOS, R. dos. INSERINDO A TAXONOMIA REVISADA DE BLOOM EM
UM MOOC. mathesis, 2016. Disponível em: <https://ppgcc.ufersa.edu.br/wp-
content/uploads/sites/42/2014/09/INSERINDO-A-TAXONOMIA-REVISADA-DE-
BLOOM- EM.pdf>.
SCHMITT, M. Blocks: Analytics graphs. 2018. Disponível em:
<https://moodle.org/plugins/block_analytics_graphs>.
SCLATER, N.; PEASGOOD, A.; MULLAN, J. Full report, Learning analytics in
higher education - A review of UK and international practice. 2016. Disponível em:
<https://www.jisc.ac.uk/reports/learning-analytics-in-higher-education>.
BIBLIOGRAFIA 76
SEGEDY, J. R.; LORETZ, K. M.; BISWAS, G. Model-driven assessment of learners in
open-ended learning environments. In: Proceedings of the Third International Conference
on Learning Analytics and Knowledge - LAK’13. [S.l.]: ACM Press, 2013.
SILVA-LOPEZ, R. B. et al. Techno neuro pedagogy system: An instructional design metho-
dology for customized online courses (virtual customized environment learning). In: 2015
International Conference on Computational Science and Computational Intelligence (CSCI).
[S.l.]: IEEE, 2015.
SOUTO, M. Diagnóstico on-line do Estilo Cognitivo de Aprendizagem do Aluno
em um Ambiente Adaptativo de Ensino e Aprendizagem na Web: uma aborda-
gem empírica baseada na sua trajetória de aprendizagem. Tese (Doutorado) —
Universidade Federal do Rio Grande do Sul, Porto Alegre, 2003. Disponível em:
<http://www.lume.ufrgs.br/bitstream/handle/10183/4837/000416006.pdf?sequence=1>.
SPROCK, A. S. et al. Latin-american network of learning analytics — LALA. In: 2017
Twelfth Latin American Conference on Learning Technologies (LACLO). [S.l.]: IEEE, 2017.
VALDIVIEZO-DIAZ, P. et al. A business intelligence model for online tutoring process. In:
2015 IEEE Frontiers in Education Conference (FIE). [S.l.]: IEEE, 2015.
WANG, Z. et al. Structured knowledge tracing models for student assessment on coursera.
In: Proceedings of the Third (2016) ACM Conference on Learning @ Scale - L@S ’16. [S.l.]:
ACM Press, 2016.
![[D3] Dieta Personalizada](https://img.document.onl/doc/110x75/55cf8595550346484b8fa6ff/d3-dieta-personalizada.jpg)
