Mineração de Dados Educacionais

  • View
    44

  • Download
    3

Embed Size (px)

Text of Mineração de Dados Educacionais

  • Uma introduo

    Minerao de Dados Educacionais

    Leandro Augusto da Silva

    prof.leandro.augusto@mackenzie.br

    Laboratrio de Big Data e Mtodos Analticos - BigMAAp

    Programa de Ps-Graduao em Engenharia Eltrica e Computao - PPGEEC

    Faculdade de Computao e Informtica FCI

    Universidade Presbiteriana Mackenzie - UPM

    Universidade Presbiteriana Mackenzie

  • Introduo

    Minerao de Dados (MD) uma rea de pesquisa multidisciplinar, envolvendo basicamente Banco de Dados, Estatstica e Aprendizagem de Mquina.

    A MD parte principal de um processo que tem como entrada uma Base de Dados e como sada um Conhecimento

    Ela divida em tarefas como predio, clusterizao e associao que devem ser escolhidas de acordo com analises exploratrias inicialmente feitas sobre os dados

    2

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Introduo

    Educational datamining (EDM) is an emerging interdisciplinary research area that deals with the development of methods to explore data originating in an educational context.

    Romero, C., & Ventura, S. (2010). Educational data mining: areview of the state of the art. Systems, Man, andCybernetics, Part C: Applications and Reviews, IEEETransactions on, 40(6), 601-618.

    Romero, C., & Ventura, S. (2007). Educational data mining: Asurvey from 1995 to 2005. Expert Systems with Applications,33(1), 135-146.

    3

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Tipos de Estudos

    Basicamente classificados pela origem dos dados:

    Histrico educacional do aluno

    Provenientes de ambientes de sala de aula comonotas, curriculos e etc;

    Deixados em registros de log de sistemascomputadorizados como Learning Management System (LMS), Intelligent Tutoring System (ITS) e Adaptive Educational Sypermedia System (AEHS).

    4

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Processo de KDD

    5

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Bases de Dados

    Importante envolver neste processo um especialista que conhece o problema e que possa auxiliar na escolha de bases de dados.

    Isto significa que podem ocorrer situaes onde ser necessrio utilizar mais de uma base de dados.

    E ainda, esta base poder representar dados organizados em uma tabela, os quais so chamados de estruturados ou podem estar em documentos descritos na forma de texto ou multimdia (imagem, vdeo e som) os quais so chamados de no estruturados.

    6

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Pr-processamento

    Etapas: Preparao

    rudos (noise data) ou outliers,

    inconsistncias ou valores faltantes

    (missing values).

    Seleo redundncia (de

    dados e de atributos)

    Transformao transformao de

    tipos de atributos normalizao de

    dados

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Tarefas da Minerao de Dados

    Tarefas da Minerao de dados:

    Anlise Preditiva Numrica: classificao de dados

    Categrica: regresso

    Anlise de Agrupamento (Clustering)

    Anlise de Regras de Associao

    8

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Anlise preditiva

    Conjunto de treinamento

    valor previsto

    (Conjunto) Teste

    9

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Anlise preditiva categrica

    Classificao de dados: Considere as imagens abaixo como sendo uma

    amostra de um conjunto de treinamento

    Carro Moto Caminho

    10Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Anlise preditiva categrica

    Agora considere que preciso decidir pela categoria de CNH para dirigir este novo meio de transporte

    Tipo B

    Tipo A

    Tipo C11

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Anlise preditiva categrica

    Tipo B

    Tipo A

    Tipo C

    Qual tipo de CNH???

    12

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Anlise Preditiva

    Processo de inferir um valor para uma situao nunca antes vista. Exemplos: Classificar potenciais estudantes em um determinados curso; Estimar o nmero de egressos, a partir de uma determinada

    campanha; Classificar o sentimento de alunos em fruns de discusso (Moodle)

    ou redes sociais; Classificar estudantes com dificuldade de aprenndiado; Classificar estudantes com potencial de evaso; Estimar o uso de recursos de ferramentas de LMS ( Moodle); Outros.

    13

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Anlise de Agrupamento

    No temos o atributo c

    Exemplar do CT

    14

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Anlise de Agrupamento

    Quantos grupos temos nestabase?

    15

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Anlise de Agrupamento

    No temos o atributo c no CT,

    mas o resultado do agrupamento podegerar esseconhecimento

    16

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Anlise de Agrupamento

    Processo de partio de um conjunto de dados heterogneos em grupos homogneos. Exemplos:

    Agrupar pessoas com habilidades semelhantes; Agrupar perfil de pessoas com caractersticas de consumo

    semelhantes; Agrupar alunos com desempenhos semelhantes em um conjunto

    de disciplinas; Identificar as variveis relevantes de cada agrupamento; Agrupar publicaes de fruns de discusso (Moodle) em contedo

    semelhante;

    Outros.

    17

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Regras de Associao

    X Y

    X Y

    SE X ENTAO Y

    X Y

    18

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Regras de Associao

    Usada para determinar quais itens tendem a ocorrer juntamente com outros itens. Exemplos: Quem opta por um curso X tem a chance de fazer

    uma atividade de extenso Y O desejo pelo curso X implica no desejo do curso

    Y O interesse pelo contedo X implica o desejo pelo

    contedo Y Outros exemplos como conhecemos da Amazon,

    Submarino e etc.

    19

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Discusso Final

    Nesta rea h um conflito de interesse pelo tema dividindo a audincia entre:

    Learning Analytics

    Educational Data Mining

    Mas nesse esentido, ainda outros nomes poderiam surgir como:

    Academic Analytics

    Educational Analytics

    20

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Conferncias e Revistas

    Internacionais: EDM - International Conference on Educational Data

    Mining (9a. edico em 2016)

    JEDM Journal of Educational Data Mining

    LAK - Learning Analytics and Knowledge (6a. edio em 2016)

    Journal of Learning Analytics

    Nacional: WMDE - Workshop de Minerao de Dados

    Educacionais (3a. Edio em 2016)

    21

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min

    era

    o d

    e D

    ado

    s Ed

    uca

    cio

    nai

    s

  • Ambientes (Gratuitos) de Desenvolvimento

    Weka

    Orange

    Rattle

    Ou usando pacotes

    R

    Python

    22

    Prof. Leandro Augusto prof.leandro.augusto@mackenzie.br FCI/PPGEEC/Mackenzie

    Min