TÓPICOS AVANÇADOS EM ENGENHARIA DE SOFTWARE

Engenharia de Computação

Professor: Rosalvo Ferreira de Oliveira Neto

Metodologias de Data Mining

Roteiro

CRISP-DM

SEMMA

Palpanas et al

Domain Driven Data Mining (D3M)

Conclusão

Introdução

No final da década de 90, a principal preocupação das empresas de mineração de dados estava na definição de processos / metodologias que pudessem orientar o desenvolvimento de aplicações de DM. As metodologias CRISP-DM e SEMMA são as mais populares, embora não tenham sido desenvolvidas pela comunidade cientifica.

CRISP-DM

Em 1996 um consórcio de empresas fornecedoras e consumidores potenciais de Data Mining criou uma metodologia não proprietária, chamada CRISP-DM (Cross-Industry Standard Process for Data Mining). A metodologia é composta por seis fases interdependentes.

CRISP-DM

CRISP-DM

1-Entendimento do negócio: a compreensão do negócio procura identificar os objetivos e as necessidades na perspectiva de negócio, e converter este conhecimento em uma tarefa de Data Mining. Na determinação dos objetivos do negócio, o primeiro passo é identificar as necessidades do cliente. Durante o entendimento do negócio, o analista de mineração de dados deverá identificar fatores importantes que poderão influenciar os resultados.

CRISP-DM 2-Entendimento dos dados: compreende a

identificação da informação que pode ser relevante para o estudo e uma primeira familiarização com o seu conteúdo, descrição, qualidade e utilidade. O entendimento dos dados tem como tarefa adquirir a informação com a qual se irá trabalhar, listando as suas fontes, o procedimento de leitura e os problemas preliminares detectados. A descrição dos dados descreve a forma como foram adquiridos, listando o seu formato, volume, significado e toda a informação relevante.

CRISP-DM

3-Preparação dos dados: consiste em um conjunto de atividades destinadas a obter os dados finais, a partir do qual será criado e validado o modelo. A seleção dos dados e a escolha dos atributos são partes desta fase. Outra fase é a integração que representa a junção de dados provenientes de várias tabelas, para criar uma visão única, onde está toda a informação necessária para a análise.

CRISP-DM

4-Modelagem: são selecionadas e aplicadas as técnicas de Data Mining mais apropriadas dependendo dos objetivos levantados no entendimento do negócio. A criação do modelo representa a fase central do projeto de KDD, onde uma técnica de modelagem é aplicada sobre o conjunto de dados.

CRISP-DM

5-Avaliação de desempenho: consiste na avaliação do modelo, revendo os passos seguidos anteriormente e verificando se os objetivos de negócio foram alcançados.

CRISP-DM

6-Distribuição dos resultados: é um conjunto de ações para utilizar os resultados do projeto dentro da organização. A distribuição dos resultados pode ser a produção de um relatório final até a instalação de um software com os resultados do projeto. Dependendo do estudo e dos dados, poderá ser necessária uma atualização periódica dos modelos.

SEMMA

A SEMMA significa Sample, Explore, Modify, Model, Assess, e se refere ao processo de realização de um projeto de DM. O Instituto SAS considera um ciclo com cinco etapas para o processo:

SEMMA

SEMMA

Sample - esta etapa consiste na amostragem dos dados, extraindo uma parte de um grande conjunto de dados grande o suficiente para conter a informação significativa, ainda pequeno o suficiente para manipular rapidamente;

SEMMA

Explore - este estágio consiste na exploração dos dados através de pesquisa de tendências e anomalias não previstas, a fim de ganhar a compreensão e idéias;

SEMMA

Modify - esta etapa consiste na modificação dos dados através da criação, seleção e transformação das variáveis para focar o processo de seleção do modelo;

SEMMA

Model - Esta etapa consiste na modelagem do dados por permitir que o software procura automaticamente por uma combinação de dados de forma confiável que prevê um resultado desejado

SEMMA

Assess - esta etapa consiste em avaliar os dados, avaliando a utilidade e confiabilidade dos resultados do processo de DM.

CRISP-DM vs SEMMA

No estudo de Azevedo, A. And Santos, M. F. (2008) é demonstrado que essas duas metodologias de mineração são implementações do processo de KDD descrito por Fayyad et al, 1996, conforme pode ser visto na tabela de resumo.

CRISP-DM vs SEMMA

Novas Metodologias

Tendência de envolvimento do conhecimento do domínio para apresentação dos resultados.

• Palpanas et al.

• Domain Driven Data Mining (D3M)

Palpanas et al.

Palpanas et al. - Enriquecimento do dados

O objetivo desta etapa é correlacionar os padrões minerados com outras informações relevantes de outras partes do sistema. Para atingir este objetivo, dados originais de outras partes do negócio são integrados aos resultados obtidos na fase de mineração de dados.

Domain Driven Data Mining (D3M)

Conclusão

N – Não Aborda; M – Menciona; A – Aborda; PA – Parcialmente Aborda

Atividade Fayyad CRISP-DM SEMA Palpanas D3M

Transformação de variáveis M M M M M

Construção de variáveis M M M M M

Documentação sobre as

variáveis

N M M N N

Identificação das variáveis

aposteriori

N N N N N

Homologação da visão completa N N N N N

Utilização de conhecimento do

domínio - Na fase de

transformação de variáveis

N N N N M

Utilização de conhecimento do

domínio - Na fase de avaliação

de desempenho

N N N M M