Data Mining, Data Warehousing e OLAP

Kamila T. LyraKarina C. S. Nishimura

Thiago P. ColonheziWilliam S. Soares

Data Warehouse Banco de dados de informações

empresariais. Processamento de consulta e não de

transações. Torna informações acessíveis e claras para o

uso. Consultas sem impacto nos dados

operacionais. Maneira de obter informações corporativas

para tomada de decisões.

Data WarehouseOrigem Anos 80 Bancos de dados comerciais para SADs No inicio eram apenas subconjuntos dos

dados operacionais que eram copiados para o banco de apoio a decisões regularmente.

Data WarehouseDefinições

“Data Warehouse é uma coleção de dados orientada por assuntos, integrada, variante no tempo, e não

volátil que tem por objetivo dar suporte aos processos de tomada de decisão.”

Inmon(1997)“Poder faz dinheiro. Conhecimento é poder. Data

Warehouse aumenta o conhecimento. Portanto, Data Warehouse faz dinheiro.”

Knowles (1996)

Data Warehouse X BD Operacional

Data warehouseArquitetura

Data WarehouseData Marts

Os Data Marts são subconjuntos de dados, dentro de um Data Warehouse, projetados para dar suporte a negócios de unidade organizacionais especificas (NIMER, 1998).

Data Warehouse Finalizando Data Warehouse é um ambiente adaptado

para apenas um objetivo. Desafios:

◦ Consultas claras e rápidas.◦ Disponibilizar metadados.

Sistemas de gestão: Business Intelligence◦ Núcleo do apoio á decisões.

OLAP (Online AnalyticalProcessing)

Keneth Iverson – 1962 “A Programming Language” - APL Necessidade de relatórios dinâmicos Tecnologia OLAP – década de 90. Popularidade

OLAP -Origem

Processamento Analítico Online◦ Manipular e analisar um grande volume de dados

sob múltiplas perspectivas Otimização de consulta e relatório BI- síntese de informações corporativas

◦ visões comparativas e personalizadas: Apresenta as informações via um modelo de dados

natural e intuitivo.◦ análises históricas; e ◦ elaboração de cenários.

OLAP - Definição

Tipos básicos de dados: ◦ Medidas:

Dados numéricos, como quantidades e médias Parâmetros utilizados na tomada de decisões dimensão especial utilizada para realizar

comparações.◦ Dimensões:

Uma unidade de análise que agrupa dados de negócio relacionados.

OLAP - Definição

Conceitos – chave:◦ Cubo: estrutura multidimensional de dados do

negócio.◦ Membro: subconjunto de uma dimensão.◦ Hierarquia: Uma estrutura em árvore lógica que

organiza os membros de uma dimensão.

OLAP - Definição

OLAP – Representação dos Dados

Conceitos-chave◦ Drill-up: diminuir o nível de detalhamento◦ Drill-down: aumentar o nível de detalhamento◦ Slice and Dice: reorganizar os dados

OLAP - Definição

OLAP - Multidimensionalidade Uma dimensão

Duas Dimensões

Três Dimensões

OLAP - Multidimensionalidade

Quatro Dimensões

OLAP - Multidimensionalidade

Exemplo: aplicações bancárias OLTP: Ponto de vista do cliente.

◦ inserção, alteração, remoção de dados individuais.

OLAP: Ponto de vista do Gerente.◦ Análise global de contas correntes com diversas

visões. Ex: Saber qual é o desempenho de contas correntes que

tenham cheque especial e tenham utilizado o valor máximo dos mesmos em um determinado período de tempo em algumas regiões.

OLAP e OLTP

MOLAP: os dados são armazenados em cubos multimensionais.

ROLAP: manipula os dados armazenados no banco de dados relacional para dar a aparência de funcionalidade slice and dice do OLAP tradicional.

HOLAP: combinação do MOLAP e ROLAP.

OLAP – Principais Tipos

São utilizados por gestores de qualquer nível da organização;

Análise, navegação e visualização de dados corporativos:◦ Alto desempenho◦ Consistente◦ Interativa◦ Dinâmica◦ Perspectivas diferentes

OLAP - Vantagens

Escolha de uma ferramenta OLAP inadequada pode ocasionar severas consequências para um projeto de datawarehouse.

Não existe nenhuma característica peculiar que dite como a ferramenta deve ser construída, qual tecnologia deva ser usada e que funcionalidades devem ser implementadas

OLAP - Desvantagens

Data Mining

◦ Grande disponibilidade de dados armazenados eletronicamente

◦ Existem informações úteis, invisíveis, nesses grandes volumes de dados;

◦ Aproveitar para prever um conhecimento futuro (ir além do armazenamento explícito de dados).

Introdução - Data Mining

◦ Data mining (mineração de dados), é o processo de extração de conhecimento de grandes bases de dados, convencionais ou não.

◦ Utiliza técnicas de inteligência artificial que procuram relações de similaridade ou discordância entre dados.

◦ Seu objetivo é encontrar, automaticamente, padrões, anomalias e regras com o propósito de transformar dados, aparentemente ocultos, em informações úteis para a tomada de decisão e/ou avaliação de resultados.

Data Mining

Evolução do Data MiningEvolução Perguntas Tecnologia disponível Características

Coleção de dados 1960

“Qual foi meu rendimento total nos últimos cinco anos ?”

Computadores, Fitas, discos

Retrospectiva, Dados estáticos como resposta

Acessos aos dados 1980

“Qual foi meu rendimento no Brasil no

último janeiro ?”

RDBMS, SQL,

ODBC

Restropectiva, dados dinâmicos a nível de registos como resposta

Data warehousing & suporte a

decisão 1990

“Qual foi meu rendimento no Brasil no último janeiro? Do sul

até o nordeste

Processamento analítico on-line, banco de dados multidimencionais, data

warehousing

Retrospectiva, dados dinâmicos

em múltiplos níveis como resposta

Data Mining Atualmente

“Porque alguns produtos são mais vendidos na

região sul ?”

Algoritmos avançados, computadores

multiprocessados, B.D. grandes e poderosos

Prospectivo, Informações

(perspectivas) como resposta.

◦ Seleção.

◦ Pré-processamento.

◦ Transformação.

◦ Data mining.

◦ Interpretação e Avaliação.

Processo – Data Mining

Processo - Data Mining• Seleção

• Selecionar ou segmentar dados de acordo com critérios definidos:

• Ex.: Todas pessoas que possuem ensino superior.

• Pré-processamento • Estágio de limpeza dos dados, onde informações julgadas

desnecessárias são removidas.• Reconfiguração dos dados para assegurar formatos

consistentes (identificação)•Ex. : graduação: “Graduação”, “Mestrado” ou

Doutorado.

Processo - Data Mining• Transformação

• Transforma-se os dados em formatos utilizáveis. Esta depende da técnica data mining usada.• Ex: rede neural converter valor literal em

valor numérico • Disponibilizar os dados de maneira usável e

navegável.

• Data mining• É a verdadeira extração dos padrões de

comportamento dos dados• Utilizando a definição de fatos, medidas de

padrões, estados e o relacionamento entre eles.

Processo – Data Mining• Interpretação e Avaliação• Identificado os padrões pelo sistema, estes são

interpretados em conhecimentos, os quais darão suporte a tomada de decisões humanas• Ex.: Tarefas de previsões e classificações

Indução◦ Regras indutivas

É o processo de olhar uma série de dados e, a partir dela gerar padrões;

Pode-se trabalhar com dados numéricos ou não; Hipóteses;

Técnicas

Árvores de decisão◦ Representação simples do conhecimento;◦ Utilização de regras condicionais;◦ A partir de um conjunto de valores decide SIM ou

NÃO.

Técnicas

Redes Neurais◦ É uma abordagem computacional que envolve

estruturas matemáticas com a habilidade de aprender;

◦ Elementos interconectados e possuem entrada e saída do processamento;

◦ São organizados em camadas que aprendem pela modificação da conexão

Técnicas

Redes Neurais

Técnicas

• Open Source: Implementada na linguagem JAVA.

• Classificação• Um classificador (ou modelo de classificação) é

utilizado para identificar a classe à qual pertence uma determinada observação de uma base de dados, a partir de suas características (seus atributos).

Ferramenta WEKA

Exemplo – Entrada de dados• O Software WEKA utiliza o arquivo .arff para a entrada de dados o qual

possui a seguinte estrutura:

@relation Censo @attribute Escolaridade {Graduacao, Mestrado, Doutorado}@attribute Idade {>30, <=30}@attribute Rido {Sim, Nao} @dataMestrado,>30,SimDoutorado,<=30,SimMestrado,<=30,NaoDoutorado,>30,SimGraduacao,<=30,NaoGraduacao,>30,Nao

Exemplo – Saida de dados

Arvore de Decisão

Matriz de Confusão=== Confusion Matrix ===

a b <-- classified as 4 5 | a = Sim 6 3 | b = Nao