1

Capacidades do Data Warehouse

• O Data Warehouse(DW) tem como objetivo criar e manter uma base de dados analítica.

• As análises extremamente flexíveis obtidas através das operações OLAP (drill-down, roll-up, slice) são poderosas mais muito simples, tudo gira em torno de somas (fatos aditivos), médias (fatos semi-aditivos) e/ou contagens (fatos não-aditivos)

2

Limites do OLAP

• As operações Olap podem responder aos seguintes questionamentos:– Qual região vendeu mais? Qual diferença entre vendas

de determinado produto por região ou por vendedor?

• Olap não pode responder:– Qual o perfil dos compradores da região que mais

vendeu determinado produto?– Quais produtos que mais venderam em conjunto?– Quais os prováveis produtos que determinado cliente

irá escolher na próxima compra?

3

Data Mining

• Data Mining visa analisar dados também, só que com a utilização de métodos mais complexos, como conseqüência, os resultados são mais elaborados.– A Mineração de Dados é uma conjunto de

poderosas técnicas de análise para extração de conhecimentos a partir de séries de dados muito grandes, que podem ser de extraordinário valor para análises e decisões nas organizações

4

Relação DW e Data Mining

• Do ponto de vista de um DW, Data Mining pode ser vista como um aplicação cliente do DW. Como uma ferramenta de consulta OLAP ou uma ferramenta de relatórios, a ferramenta de Data Mining pode estar em uma máquina a parte e requisitando dados do DW

• Do ponto de vista de Data Mining, o DW é apenas uma coleção de dados organizada e sem problemas de qualidade, i.e., uma fonte de dados

5

Relação DW e Data Mining

• São independentes e podem ser utilizados em separado.

• As análises são complementares e não sobrepostas• Contudo, um ambiente de análise completo

necessita resultados de ambos, ou seja, o melhor é utilizar os dois em conjunto.

• Existe uma tendência de ter as duas formas de análise no mesmo ambiente

6

Exemplos de Aplicação

• Marketing– Mala direta de produtos para clientes que tem

possibilidade de comprar aquele produto

• Varejo– Produtos organizados nas prateleiras de forma que

o cliente ponha no carrinho de compra os produtos que vendem em conjunto

• Telecomunicações– Ligações fraudulentas de Celulares clonados

7

Exemplos de Aplicação

• Bancário– Liberação de empréstimos para clientes que tem

característica de bom pagador

• Científico– NASA cataloga imagem de satélites classifica eventos

similares nas imagens

• Acadêmico– Disciplinas de graduação que tem maior probabilidade

de serem cursadas em conjunto

8

KDD & Data Mining

• Descoberta de Conhecimento em Base de Dados (KDD)– “é o processo não trivial de identificação de padrões em

dados que sejam válidos, novos, potencialmente úteis e compreensíveis” [Fayyad 96]

– “é uma tarefa cujo uso de conhecimento é intensivo, consistindo de complexas interações, prolongadas no tempo, entre uma pessoa e um banco de dados, possivelmente suportada por um conjunto heterogêneo de ferramentas.” [Brachman 96]

9

KDD & Data Mining

• Data Mining – é uma etapa neste processo onde os recursos

computacionais são mais exigidos– Também chamada de Mineração de Dados e

Prospecção de dados» sondagem» pesquisa» avaliar» investigar» explorar

10

Condições

• Critérios que justificam adoção de KDD [Fayyad 96]– Práticos

• Impacto Potencial • Falta de Alternativa• Suporte Organizacional

11

Condições

• Critérios que justificam adoção de KDD [Fayyad 96]– Técnicos

• Quantidade de dados• Atributos Relevantes• Qualidade dos dados• Conhecimento acerca do domínio

12

Processo de KDD

• Abordagem utilizada– Dividida em etapas [Fayyad 96]

13

Processo de KDD

• Adriaans 97

14

Processo de KDD

• Terra 2000

15

Etapas do Processo

• Definição de Objetivos– Sempre o processo de KDD tem um objetivo

inicial, uma hipótese, que será comprovada ou rejeitada com utilização de exemplos de dados/conhecimento extraído

– Nem sempre o objetivo do processo é diretamente atribuído a um conjunto de dados do universo de discurso. Nestas situações existe o problema chamado de “concept assignment problem”. Por exemplo, como determinar o perfil dos melhores(?) clientes

16

Etapas do Processo

• Preparação dos Dados– A partir do objetivo podemos preparar um

conjunto de dados. • Seleção. Focar em um subconjunto

• Limpeza. Eliminar ruído

• Enriquecimento. Acrescentar dados externos

• Transformação/Codificação. Normalizar dados

– Grande parte da preparação é feita quando temos o DW!

17

Etapas do Processo

• Data Mining– Algoritmos específicos são utilizados para

extrair conhecimento– Existem vários tipos de análises realizadas

pelos algoritmos– Escolher uma análise nem sempre é uma tarefa,

principalmente onde há o “concept assignment problem”

18

Etapas do Processo

• Interpretação/Validação dos resultados– Muitas vezes temos uma quantidade de resultados de difícil

aplicação na etapa de Data Mining (muito grande ou muito pequena)

– A quantidade depende dos valores dos parâmetros escolhidos na análise

• Características desejáveis Result.(Conhecimento)– Correto– Compreensível– Interessante / Útil/ Novo

19

Data Mining

• Tarefas de Mineração/Classes de Problemas– Após criar um conjunto de dados é preciso definir

qual método de mineração será aplicado– Existem vários métodos que são agrupados em

“tarefas” ou “classes” semelhantes:• [Agrawal 93] : Associações, Classificação e Seqüência

• [Fayyad 96] : Link Analysis, Classificação, Agrupamento, Detecção de desvios, Sumarização,...

20

Métodos

• Em [Fayyad 96] é proposta uma divisão em mais alto nível dos métodos segundo a aplicação :– Descritivos

• Procuram criar um modelo para gerar uma representação descritiva dos dados. A partir desta representação podem ser tomadas as devidas ações

– Preditivos• Procuram criar modelos que permitam prever a situação

futura. Não focam necessariamente a compreensão humana do modelo extraído.

21

Algoritmos de Data Mining

• Existem muitos algoritmos que podem ser utilizados em Data Mining

• Em parte, estes algoritmos não são novos, mas sim originários de métodos estatísticos e de IA.

• Contudo, em Data Mining, estes algoritmos devem ser adaptados para que possam tratar uma grande quantidades de dados. Muitos algoritmos não podem ser utilizados

22

Associações/Link Analysis

• As regras de associações representam padrões onde a ocorrência de eventos em conjunto é alta. – Exemplo mais comum é o do supermercado :

• produtos que frequentemente são vendidos conjuntamente• folclore : cerveja e fralda saem em juntas em grande

quantidade de transações• Existem associações usuais por seu uso comum : pão e

manteiga, café e leite• As interessantes são as não usuais.

23

Seqüência

• São regras de associação que utilizam o fator tempo.

• Os dados de uma seqüência podem ser transformados para que sejam aplicados algoritmos de associação– Ex. Utilização do Cartão de Crédito:

• Quem compra um celular vai comprar um micro um tempo depois

24

Agrupamentos/Clustering

• Neste método os pares atributo/valor são analisados com o objetivo de criar grupos onde os valores são semelhantes.

• Existem vários registros (exemplos) que representam um evento

• Não são fornecidos rótulos para os exemplos.– Ex: Quais são os grupos que se comportam da

mesma maneira?

25

Classificação

• Neste método são procurados padrões que “classifiquem” elementos rotulados (exemplos)

• Os exemplos são fornecidos, juntamente com um conjunto de registros. O objetivo é descobrir quais valores justificam o exemplo.

• Podem ser utilizados para “compreender” os agrupamentos– Ex. qual a característica do agrupamento

26

Sumarização

• Os métodos de sumarização são, em geral, métodos estatísticos mais simples. – Ex. Média, Desvio, Correlação

• São muito parecidos com as possibilidades de análise fornecidas pelo OLAP.– Ex. Existe relação entre ações de empresas

diferentes ao longo do tempo?

27

Conclusões

• O processo tem muitas escolhas• Como saber se as escolhas foram corretas?

• Experiência do condutor do processo, o analista

• O Analista não é necessariamente um usuário final!!• O processo pode ser refeito em algumas partes

(iteratividade!!!)• Altamente Interativo, o usuário(especialista) é essencial

“background knowledge”