Data warehouse 01 introdução

Prof. Rafael Pinheiro – [email protected]

DATA WAREHOUSE

OLTP

OLAP

ETL

/ ET

C

Datamining

Data Mart

“Eu presto atenção no que eles dizem mas eles não dizem nada”

Humberto Gessinger

Data Warehouse

DWCubo de decisão

Dashboard


DATA WAREHOUSE

Dado x Informação x Conhecimento x Sabedoria

O dado é um pingo de água.

Você está andando e sente um pingo, Você está andando e sente um pingo,

um segundo pingo, um terceiro pingo.

Aquilo não significa que é uma chuva,

pode ser um ar condicionado, pingando num dia de calor.


DATA WAREHOUSE


No momento em que você olha para o céu e

repara que existem nuvens e

que começa ver os primeirosque começa ver os primeiros

raios e sentir mais pingos,

complementa aquele conjunto de dados e

chega a uma informação: vai chover!


DATA WAREHOUSE


O conhecimento é quando você percebe

que com a chuva você vai se molhar e que com a chuva você vai se molhar e

não poderá ir a um compromisso ou poderá ficar resfriado.

Então, isso é um conhecimento.


DATA WAREHOUSE


A sabedoria é o que vai fazer com tudo isso.

Se você vai continuar andando no meio da chuva e Se você vai continuar andando no meio da chuva e

se molhar todo, ou vai se proteger em um abrigo e

deixar a chuva passar.


DATA WAREHOUSE


Dado: Conjunto símbolos e sinais

Informação: É a interpretação de um conjunto de

dados

Conhecimento: Modelo da realidade, construído

através da experiência, aprendizado e

comunicação

Sabedoria: Meta-conhecimento, ou seja, um conhecimento sobre o próprio conhecimento.


DATA WAREHOUSE


Dado: Sinal verde; Motoqueiro aproximando

Informação: Sinal verde posso passar; Motoqueiro tem que parar

Conhecimento: Motoqueiros apressados costumam não parar

Sabedoria: É melhor esperar o motoqueiro parar ou passar para depois eu atravessar


DATA WAREHOUSE

¿ E no mundo computacional ?

• Geralmente nossos dados estão em sistemas, banco de dados, planilhas, arquivos, etc.

• Mais comum: banco de dados relacional


DATA WAREHOUSE

¿ Onde estão meus dados ?


DATA WAREHOUSE

OLTP – Online Transaction Processing(Processamento de transações Online)

• Sistemas que registram transações operacionais:

�ERP�ERP

�Sistema bancário

�Sistema de vendas,

�Gestão hospitalar

�Gestão acadêmica

�Controle de serviços


DATA WAREHOUSE

Modelagem Entidade-Relacionamento(OLTP x ME-R)

• Modelo de abstração para descrever a organização dos dados em um Sistema de InformaçãoInformação

�Entidade

�Relacionamento

�Normalização (3NF)

�Integridade

�Banco de Dados Relacional


DATA WAREHOUSE

Diagrama Entidade Relacioanmento


DATA WAREHOUSE

Diagrama Entidade Relacioanmento

R/3: R/3: 14.000 tabelas

Linha RM:5.000 tabelas


DATA WAREHOUSE

¿ Consigo produzir informações ?

• Relatórios

• Consultas SQL

– Inner Join– Inner Join

– Left Join

– UNION

– IN, LIKE

– SubConsulta

– AVG, SUM, MAX, MIN


DATA WAREHOUSE

¿ E a velocidade do mundo atual ?


DATA WAREHOUSE

É preciso agilidade, facilidade, flexibilidadeBusiness Intelligence

• Forma gráfica, fácil compreensão e interpretação, fácil navegação

• Cubo de decisão

– Uma informação vista de vários ângulos

• Gráficos de sinalização

– Semáforo, Gauge (velocímetro), Pizza


DATA WAREHOUSE

OLAP – Online Analytical Processing(Processamento Analítico Online)

• Possibilidade de manipular e analisar uma grande quantidade de dados por várias perspectivasde dados por várias perspectivas

�Fácil análise

�Drill down

�Drill up


DATA WAREHOUSE

É preciso agilidade, facilidade, flexibilidadeDashboard/Cockpit


DATA WAREHOUSE

É preciso agilidade, facilidade, flexibilidadeDashboard/Cockpit


DATA WAREHOUSE

É preciso agilidade, facilidade, flexibilidadeBusiness Intelligence


DATA WAREHOUSE

É preciso agilidade, facilidade, flexibilidadeTomada de decisão


DATA WAREHOUSE

É preciso agilidade, facilidade, flexibilidadeTomada de decisão


DATA WAREHOUSE

¿ De onde buscar esses dados ?

• Banco de dados relacional?

�Consultas complexas

�Tratamento dos dados�Tratamento dos dados

�Compromete a performance OLAP e OLTP

�Pode ter dados que não estão no BD OLTP


DATA WAREHOUSE

Data Warehouse

• Armazém (repositório) de dados (Base de dados relacional)

• Dados/informações consolidadas• Dados/informações consolidadas

• Grande quantidade de dados

• Dados não mudam (exceto na carga)

• Modelagem que favorece o desempenho de consultas


DATA WAREHOUSE

Modelagem DimensionalOLAP X MD

• Modelo de dados voltado para performance de leitura (recuperação da informação)

• Não serão efetuados processos operacionais

• Não precisam estar Normalizados


DATA WAREHOUSE

Modelagem Dimensional

• Dois pilares:

�Fatos

�Dimensões�Dimensões

• Dois tipos:

�Estrela

�Floco de neve


DATA WAREHOUSE


• Fato: É a tabela (ou entidade) mais importante do negócio é nela que estão todas as métricas que se pretende analisar:as métricas que se pretende analisar:

– Vendas

– Consultas

– Notas

– Pagamentos

– Empréstimos


DATA WAREHOUSE


• Métricas: São os valores que queremos analisar.

– Vendas: Quantidade, Valor– Vendas: Quantidade, Valor

– Consultas: Quantidade, tempo de espera

– Notas: Valor, média

– Pagamentos: Quantidade, valor monetário

– Empréstimos: Quantidade, valor monetário, quantidade de parcelas


DATA WAREHOUSE


• Dimensões: São os pontos de vista (visão de análise) das métricas de um fato

– Vendas: Produto, loja, data– Vendas: Produto, loja, data

– Consultas: Especialidade, plano, faixa etária

– Notas: Disciplina, bimestre, curso

– Pagamentos: Fornecedor, data, tipo de gasto

– Empréstimos: Tipo de cliente, motivo, classe econômica, grau de instrução


DATA WAREHOUSE



DATA WAREHOUSE


• Fato é a tabela principal

• Dimensão são tabelas que se relacionam com • Dimensão são tabelas que se relacionam com a tabela fato (entidade relacionamento)


DATA WAREHOUSE

Modelagem Dimensional(Estrela - Star)


DATA WAREHOUSE

Modelagem Dimensional(Floco de neve – Snowflake)


DATA WAREHOUSE

Data Warehouse

• ¿ Então um Data Warehouse nada mais é que um Banco de Dados ?

Resposta: Sim. Mas com uma diferença, ele é modelado para ter uma excelente performance de consulta e contém dados consolidados de várias fontes.


DATA WAREHOUSE

¿ E o que é Data Mart ?

• É um subconjunto de dados dentro do Data Warehouse voltado para uma finalidade específica: Vendas, Financeiro, Contábil, RH, específica: Vendas, Financeiro, Contábil, RH, Acadêmico


DATA WAREHOUSE


DATA WAREHOUSE


DATA WAREHOUSE

ETL – Extract Transform and Load(ETC – Extração Transformação e Carga)

• É a fase de extração de dados de diversos sistemas, transformação desses dados conforme regras de negócios e por fim a carga dos dados em um Data Mart ou um Data Warehouse. Warehouse.

• É considerada uma das fases mais críticas do Data Warehouse e/ou Data Mart.

• Alguns consideram que ETL não são ferramentas e sim uma metodologia


DATA WAREHOUSE

ETL – Extract Transform and Load


DATA WAREHOUSE

¿ Afinal, o que é BI ?(Business Intelligence)

• É todo o processo de coleta, organização, análise, compartilhamento e monitoramento de informações que oferecem suporte a de informações que oferecem suporte a gestão de negócios.


DATA WAREHOUSE

Business Intelligence


DATA WAREHOUSE

Business Intelligence


DATA WAREHOUSE

O caso da Fralda e da Cerveja• Conta uma lenda urbana, que uma loja

descobriu que a maioria das vendas de fraldas que ocorriam de quinta a domingo, eram acompanhadas da compra de cervejas

• Os donos, então, colocaram as cervejas perto das fraldas e as vendas dispararam


DATA WAREHOUSE

O caso da Fralda e da CervejaDado

Informação (Padrão de comportamento)

Conhecimento

Sabedoria


DATA WAREHOUSE

Ops... tenho um tesouro nas mãos


DATA WAREHOUSE

¿ Posso procurar padrões de comportamento ?


DATA WAREHOUSE

Data Mining(Mineração de Dados)


DATA WAREHOUSE


• Data Mining ou Mineração de Dados consiste em um processo analítico projetado para explorar grandes quantidades de dados (tipicamente relacionados a negócios, mercado ou pesquisas científicas), na busca de padrões mercado ou pesquisas científicas), na busca de padrões consistentes e/ou relacionamentos sistemáticos entre variáveis e, então, validá-los aplicando os padrões detectados a novos subconjuntos de dados.

• O processo consiste basicamente em 3 etapas: exploração; construção de modelo ou definição do padrão; e validação/verificação.


DATA WAREHOUSE

• Data Mining é parte de um processo maior de conhecimento denominado Knowledge Discovery in Database (KDD).


• KDD consiste, fundamentalmente, na estruturação do banco de dados; na seleção, preparação e pré-processamento dos dados; na transformação, adequação e redução da dimensionalidade dos dados; no processo de Data Mining; e nas análises, assimilações, interpretações e uso do conhecimento extraído do banco de dados, através do processo de Data Mining.


DATA WAREHOUSE

Modelagem Entidade-RelacionamentoOLTP

Modelagem DimensionalOLAP

Data WarehouseDW


Cubo de decisão

ETL / ETC Extract Tranform and Load

Cockpit

Data Mart

“Nem tão longe que eu não possa crer, que um dia chego lá...”

Humberto Gessinger

Dashboard

Cockpit

Datamining


DATA WAREHOUSE

¿Dúvidas?

@_rpinheiro

www.facebook.com/rpinheiro2

www.linkedin.com/pub/rafael-pinheiro/24/31/b47

[email protected]

Technology

Data warehouse 01 introdução