DW Laboratorio

Data Warehouse Universidade Estadual de Campinas

1. My SQL verso ...

2. My SQL Workbench ...

3. Ver um gerador de grficos

Laboratrio pr-requisitos

2

1. Ambiente

2. Criao do DW

3. Criao das dimenses e cargas das tabelas

4. Primeiras consultas no DW

Laboratrio - incio

3

1. Ambiente

4

Banco de dados: : MySQL

2. Criao do DW

5

Conectar-se no MySQL Workbench e executar os scripts abaixo:

create_user_id.sql

create_databases.sql

create_dw_tables.sql

customer_sk.sql

more_customer_sk.sql

Os scripts acima esto no diretrio ..\L1.


6

No MySQL Workbench e executar os scripts abaixo:

create_customer_stg.sql e scd1.sql

Os scripts create_customer_stg.sql e scd1.sql iro

criar a tabela customer_stg e carregar a tabela de

dimenses customer_dim.



7


create_product_stg.sql, load_product_stg.sql e scd2.sql

Os scripts create_product_stg.sql, load_product_stg.sql

iro criar e carregar a tabela product_stg e o e

scd2.sql carregar a tabela de dimenses product_dim.



8

No MySQL Workbench e verificar os itens abaixo:

1. Volume de pedidos por cliente.

2. Soma dos valores de pedidos, verificando as

dimenses de data, de clientes e de pedidos.

3. Soma os valores de pedidos, verificando as dimenses

de data e ordens.

4. Valores das vendas e do nmero de encomendas para

cada ms.


9

No MySQL Workbench e verificar os itens abaixo:

5. Resumo anual de vendas, contendo Os valores dos

pedidos, o nmero de ordens, agregados por data, por

produto e a cidade do cliente.

6. Resumo das vendas mensais e o nmero de encomendas a

cada ms, cuja categoria seja Storage.

7. Ordens de venda de produtos com valores mensais

maiores que 75 mil.

5. Extrao

6. Transformao

7. Carga (Load)

Laboratrio - continuao

10

5. Extrao

11

O primeiro passo para carregar um DW a extrao de dados de uma fonte.

Pode-se fazer isso, lendo os dados diretamente da fonte ou solicitando uma carga da fonte para o DW.

Um fator importante sobre a extrao de dados o volume e a disponibilidade de dados nas bases de origem.

5. Simulando uma extrao para o DW

12


create_sales_order.sql, para criar a tabela SALES_ORDER.

push_data.sql, para dar carga nas tabelas ORDER_DIM e DATE_DIM, no banco DW e na tabela SALES_ORDER no banco SOURCE.

push_sales_order.sql, para dar carga na tabela fato SALES_ORDER_FACT, no banco SOURCE.

Consultar a tabela SALES_ORDER_FACT, para verificar os

resultados.


7. Carga (Load)

13

A carga o processo que armazena os dados no Data Warehouse.

Esse processo muitas vezes lento, devido aos grandes volumes e as restries nas janelas de atualizao.

7. Simulando uma carga no DW

14


truncate_tables.sql, para limpar as tabelas do DW.

pre_populate_date.sql, cria uma procedure para colocar datas

de incio e fim para a tabela DATA_DIM.

sales_order_initial.sql, para dar carga na tabela fato

SALES_ORDER, no banco SOURCE.

dw_initial.sql, para dar cargas nas demais tabelas do DW.

confirm_initial_population.sql, para consultar se a tabela

de vendas foi carregada corretamente.


6. Transformao

15

Transformao o processo de preparao dos dados.

A transformao pode envolver, adio de chaves, manuteno histrica, e tambm a integrao de mltiplas fontes, o tratamento de erros de fonte de dados.

6. Simulando transformaes no DW

16


17


shipping_address.sql, para incluir as novas colunas nas

tabelas CUSTOMER_DIM e CUSTOMER_STG.

order_quantity.sql, para incluir as novas colunas nas

tabela SALES_ORDER_FACT.

Aps a incluso das colunas, verificar na base de dados.



18


dw_regular_10.sql, limpa as tabelas do DW e refaz as cargas

utilizando as novas colunas adicionadas nas tabelas

CUSTOMER_DIM e CUSTOMER_STG.

add_sales_order_quantity.sql, carrega os dados utilizando a

nova coluna para a tabela SALES_ORDER, no banco SOURCE.

Aps a carga, verificar as tabelas na base de dados.


8. Dimenses Hierarquizadas

9. Esquemas Multi-Estrelas

10. Dimenses Consolidadas

Laboratrio - continuao

19

8. Dimenses Hierarquizadas

20

So dimenses que podem ter um ou mais nveis que so representados por colunas nas tabelas.

Exemplo: a dimenso de data pode ter uma hierarquia de quatro nveis: o nvel do ano, o nvel do trimestre, o nvel de ms, e o nvel de data.

8. Simulando dimenses hierarquizadas no

DW

21


grouping.sql, a consulta recupera o valor das vendas

agrupadas por produtos e os trs nveis de hierarquia da

dimenso de data (ano, trimestre e nome do ms).

drilling.sql, a consulta mostra a soma das ordens para

cada um dos nveis das dimenses data (nveis de ms,

quarter e ano).


9. Esquemas multi-estrelas

22

So esquemas que possuem mais de um schema estrela, estes esquemas tambm so conhecidos como constelao.

Muitas vezes so utilizados para permitir um detalhamento no processo de pesquisa.

9. Adicionando mais um esquema estrela no DW

23


third_star_tables.sql, script que criar duas tabelas uma

de dimenso FACTORY_DIM e outra de fatos PRODUCT_FACT.

factory_master.sql, script que ir criar a tabela

FACTORY_MASTER no banco de dados SOURCE.

factory_ini.sql, oscript que ir popular a tabela

FACTORY_DIM.


9. Adicionando mais um esquema estrela no DW

24


factory_stg.sql, script que criar a tabela de stage FACTORY_STG e

outra de fatos PRODUCT_FACT.

daily_production.sql, script que ir criar a tabela

DAILY_PRODUCTION, no banco de dados SOURCE e depois ir carregar a

dimenso PRODUCT_DIM.

production_regular.sql, ir popular as tabelas FACTORY_STG,

FACTORY_DIM e PRODUCT_FACT.

daily_production_data.sql, script que criar a tabela de stage

DAILY_PRODUCTION, no banco de dados SOURCE.


10. Dimenso consolidada

25

A consolidao de dimenses ocorre quando o nmero de dimenses do DW aumenta. Nesse caso pode-se encontrar alguns dados comuns em mais de uma dimenso.

Exemplo, o CEP, cidade e estado esto nas tabelas de clientes e dimenso dos endereos do cliente, e na dimenso da fbrica.

10. Consolidando uma dimenso no DW

26


Executar uma validao de CEPs nas dimenses

CUSTORMER_DIM, CUSTOMER_ZIP_CODE_DIM,

SHIPPING_ZIP_CODE_DIM e na tabela fato

SALES_ORDER_FACT.

10. Consolidando uma dimenso no DW

27


Executar uma validao de CEPs nas dimenses

CUSTORMER_DIM, CUSTOMER_ZIP_CODE_DIM,

SHIPPING_ZIP_CODE_DIM e na tabela fato

SALES_ORDER_FACT.

Documents

DW Laboratorio