Unidade IV Data Warehouse

Unidade IVUnidade IV

Data WarehouseData Warehouse

Introdução ao Data WarehouseIntrodução ao Data Warehouse Sistemas de Apoio à DecisãoSistemas de Apoio à Decisão Conceituação de Data WarehouseConceituação de Data Warehouse Principais CaracterísticasPrincipais Características

Arquitetura do Data WarehouseArquitetura do Data Warehouse Estrutura InternaEstrutura Interna GranularidadeGranularidade Data MartsData Marts

MetadadosMetadados Acesso aos DadosAcesso aos Dados Tipos de DWTipos de DW

Sistemas de Apoio à Sistemas de Apoio à DecisãoDecisão

Informação Informação Melhor recurso do qual uma empresa pode Melhor recurso do qual uma empresa pode

dispor para tomar decisões estratégicasdispor para tomar decisões estratégicas Obtida analisando Obtida analisando dados históricosdados históricos sobre sobre

vendas, produção, clientes, etc.vendas, produção, clientes, etc. Análise dos dadosAnálise dos dados

Fornece Fornece informaçõesinformações vitais para a vitais para a empresaempresa

Pode aumentar a competitividade da Pode aumentar a competitividade da empresaempresa

Era feita intuitivamente pelos gerentesEra feita intuitivamente pelos gerentes


Dificuldades para obter informaçãoDificuldades para obter informação Quantidade de dados a serem analisados Quantidade de dados a serem analisados

cresce com a expansão do negócio e com o cresce com a expansão do negócio e com o passar dos anospassar dos anos

Dados conflitantes vindos de fontes Dados conflitantes vindos de fontes diferentes podem gerar informações diferentes podem gerar informações desencontradasdesencontradas

Impossível para um ser humano manter e Impossível para um ser humano manter e analisar todos os dados analisar todos os dados

Informação não é mais mantida por gerentes Informação não é mais mantida por gerentes devido à mobilidade no mercado de trabalhodevido à mobilidade no mercado de trabalho


Sistemas de Apoio à Decisão (SAD)Sistemas de Apoio à Decisão (SAD) Usam dados históricos mantidos em um Usam dados históricos mantidos em um

banco de dados convencionalbanco de dados convencional Dados históricos são analisados usando Dados históricos são analisados usando

técnicas de técnicas de mineração de dadosmineração de dados para para obter informações usadas na tomada de obter informações usadas na tomada de decisõesdecisões

Estatísticas de venda, produção, Estatísticas de venda, produção, clientes, etc. podem ser levantadas e clientes, etc. podem ser levantadas e consideradas para tomar decisões consideradas para tomar decisões estratégicas de negócioestratégicas de negócio


Benefícios dos Sistemas de Apoio à DecisãoBenefícios dos Sistemas de Apoio à Decisão Determinar o mercado-alvo de um produtoDeterminar o mercado-alvo de um produto Definir o preço de um produto, criar promoções e Definir o preço de um produto, criar promoções e

condições especiais de compracondições especiais de compra Verificar a eficácia de campanhas de marketingVerificar a eficácia de campanhas de marketing Otimizar a quantidade de produtos no estoqueOtimizar a quantidade de produtos no estoque Responder rapidamente a mudanças no mercado e Responder rapidamente a mudanças no mercado e

determinar novas tendênciasdeterminar novas tendências

... ou seja, ganhar ... ou seja, ganhar eficiênciaeficiência e e lucratividadelucratividade


Problema: dados históricos não são Problema: dados históricos não são mantidos nos BDs da empresa mantidos nos BDs da empresa Volume de dados seria muito grandeVolume de dados seria muito grande Desempenho seria insatisfatórioDesempenho seria insatisfatório

Solução: criar um BD exclusivamente Solução: criar um BD exclusivamente para manter os dados históricospara manter os dados históricos Especializado para realizar poucas Especializado para realizar poucas

consultas sobre um grande volume de consultas sobre um grande volume de dadosdados

Surge o Surge o Data WarehouseData Warehouse (DW) (DW)


HistóricoHistórico Criado pela IBM na década de 60 com o Criado pela IBM na década de 60 com o

nome nome Information WarehouseInformation Warehouse Relançado diversas vezes sem grande Relançado diversas vezes sem grande

sucessosucesso O nome Data Warehouse foi dado por O nome Data Warehouse foi dado por

William H. Inmon, considerado o pai desta William H. Inmon, considerado o pai desta tecnologiatecnologia

Tornou-se viável com o surgimento de novas Tornou-se viável com o surgimento de novas tecnologias para armazenar e processar tecnologias para armazenar e processar uma grande quantidade de dadosuma grande quantidade de dados


O que é?O que é? Sistema que armazena dados históricos Sistema que armazena dados históricos

usados no processo de tomada de decisãousados no processo de tomada de decisão Integra os dados corporativos de uma Integra os dados corporativos de uma

empresa em um único repositórioempresa em um único repositório Para que serve?Para que serve?

Para criar uma visão única e centralizada Para criar uma visão única e centralizada dos dados que estavam dispersos em dos dados que estavam dispersos em diversos BDsdiversos BDs

Permite que usuários finais executem Permite que usuários finais executem consultas, gerem relatórios e façam análisesconsultas, gerem relatórios e façam análises


BDs usados nas aplicações de negócio BDs usados nas aplicações de negócio são chamados são chamados BDs operacionaisBDs operacionais

DW é um BD informacional alimentado DW é um BD informacional alimentado com dados dos BDs operacionais da com dados dos BDs operacionais da empresa empresa Disponibiliza Disponibiliza dadosdados atuaisatuais e a e a dadosdados

históricoshistóricos Dados podem serDados podem ser sumarizados sumarizados (condensados) (condensados)

para que sejam analisadospara que sejam analisados Contém também Contém também metadadosmetadados, que são dados , que são dados

sobre os dados armazenados no DWsobre os dados armazenados no DW


Então o Data Warehouse é apenas um BD Então o Data Warehouse é apenas um BD que contém também dados históricos?que contém também dados históricos?

Para que seja considerado um Data Para que seja considerado um Data Warehouse, um banco de dados deve:Warehouse, um banco de dados deve: Coletar dados de várias fontesColetar dados de várias fontes Dados coletados devem ser transformados Dados coletados devem ser transformados

para que haja uma visão única dos dadospara que haja uma visão única dos dados Dados devem ser usados por aplicativos para Dados devem ser usados por aplicativos para

obter informações que dêem apoio à decisãoobter informações que dêem apoio à decisão


BD BD OperacionalOperacional

Data Data WarehouseWarehouse

UsuáriosUsuários FuncionáriosFuncionários Alta Alta administraçãoadministração

UtilizaçãoUtilização Tarefas Tarefas cotidianascotidianas

Decisões Decisões estratégicasestratégicas

Padrão de Padrão de usouso

PrevisívelPrevisível Difícil de preverDifícil de prever

Princípio de Princípio de funcionamenfuncionamentoto

Com base em Com base em transaçõestransações

Com base em Com base em análise de análise de dadosdados

ValoresValoresdos dadosdos dados

Valores atuais Valores atuais

e voláteise voláteis

Valores Valores históricos e históricos e imutáveisimutáveis

DetalhamentDetalhamentoo

AltoAlto SumarizadoSumarizado

Organização Organização dos dadosdos dados

Orientado a Orientado a aplicaçõesaplicações

Orientado a Orientado a assuntoassunto

Principais CaracterísticasPrincipais Características

De acordo com a definição dada por De acordo com a definição dada por Inmon, um Data Warehouse deve ser:Inmon, um Data Warehouse deve ser: Orientado a assuntoOrientado a assunto IntegradoIntegrado Não-volátilNão-volátil Variável com o tempoVariável com o tempo


Orientação a assuntoOrientação a assunto Os dados em um DW são organizados de Os dados em um DW são organizados de

modo a facilitar a análise dos dadosmodo a facilitar a análise dos dados Dados são organizados por assunto e não Dados são organizados por assunto e não

por aplicação, como em BDs operacionaispor aplicação, como em BDs operacionais

AplicaçãoAplicaçãode Vendade Venda

AnáliseAnálisede Vendasde Vendas

Produtos

Histórico de Vendas

Estoque

Clientes


IntegraçãoIntegração Dados de um DW provém de diversas fontesDados de um DW provém de diversas fontes Dados podem ser sumarizados ou eliminadosDados podem ser sumarizados ou eliminados Formato dos dados deve ser padronizado para Formato dos dados deve ser padronizado para

uniformizar nomes, unidades de medida, etc.uniformizar nomes, unidades de medida, etc.

Produtos

Brasil Brasil

Produtos

USAUSAProdutos

Produtos

UK UK CCoonnvveerrssããoo

Peso (lb)Peso (lb)

Peso (kg)Peso (kg)

Peso (oz)Peso (oz)

Peso (gr)Peso (gr)

Data Data Warehouse Warehouse


Não-VolátilNão-Volátil Dados não são mais alterados depois de Dados não são mais alterados depois de

incluídos no DWincluídos no DW Operações no DWOperações no DW

Em um BD operacional é possível Em um BD operacional é possível incluir, alterar e eliminar dadosincluir, alterar e eliminar dados

Já no DW é possível apenas incluir Já no DW é possível apenas incluir dadosdados

Garante que consultas subseqüentes a Garante que consultas subseqüentes a um dado produzirão o mesmo resultadoum dado produzirão o mesmo resultado


Variável com o TempoVariável com o Tempo Os dados no DW são relativos Os dados no DW são relativos

a um determinado instante de tempoa um determinado instante de tempo

BDPreços

ProdutoProduto PreçoPreço

Caneta AzulCaneta Azul 0,500,50

Lápis PretoLápis Preto 0,300,30

...... ......

ProdutoProduto Jan/03Jan/03 Fev/Fev/0303

Mar/Mar/0303

Caneta AzulCaneta Azul 0,400,40 0,450,45 0,500,50

Lápis PretoLápis Preto 0,250,25 0,280,28 0,300,30

...... ...... ...... ......

DWPreços

Arquitetura do Data Arquitetura do Data WarehouseWarehouse

Sistemas de Extração Tradicionais Sistemas de Extração Tradicionais [Orr][Orr]

Dados Operacionais

Dados Informacionais

Sistemas deExtração

17


Sistemas baseados em Data Sistemas baseados em Data Warehouse Warehouse

[Orr][Orr] Dados Operacionais

Dados Informacionais

DataWarehouse

18


Principais tarefas efetuadas pelo DWPrincipais tarefas efetuadas pelo DW Obter dados dos BDs operacionais e externosObter dados dos BDs operacionais e externos Armazenar os dados Armazenar os dados Fornecer informações para tomada de Fornecer informações para tomada de

decisãodecisão Administrar o sistema e os dadosAdministrar o sistema e os dados

Principais componentes do DWPrincipais componentes do DW Mecanismos para acessar e transformar Mecanismos para acessar e transformar

dadosdados Mecanismo para armazenamento de dadosMecanismo para armazenamento de dados Ferramentas para análise de dadosFerramentas para análise de dados Ferramentas de gerênciaFerramentas de gerência

19

Estrutura InternaEstrutura Interna

Requisitos do DWRequisitos do DW EficienteEficiente

Grande volume de dados imutáveisGrande volume de dados imutáveis Processamento paralelo e/ou Processamento paralelo e/ou

distribuídodistribuído ConfiávelConfiável

Funcionamento do sistemaFuncionamento do sistema Resultado das análisesResultado das análises

ExpansívelExpansível Crescente volume de dadosCrescente volume de dados Maior número de fontes de dadosMaior número de fontes de dados 20


Em geral são usados BDs relacionais Em geral são usados BDs relacionais para armazenar os dados do DWpara armazenar os dados do DW Capazes de manter e processar grandes Capazes de manter e processar grandes

volumes de dadosvolumes de dados Otimizados para lidar com dados imutáveisOtimizados para lidar com dados imutáveis

As ferramentas de análise empregam:As ferramentas de análise empregam: Técnicas de mineração de dadosTécnicas de mineração de dados Inteligência artificial: redes neurais, Inteligência artificial: redes neurais, fuzzyfuzzy, ,

etc.etc. A Internet: A Internet: Web miningWeb mining, agentes móveis, , agentes móveis,

etc.etc. 21


BDs OperacionaisBDs Operacionais BDs ExternosBDs ExternosClientes OperacionaisClientes Operacionais

Clientes InformacionaisClientes Informacionais

Obtenção de Dados

Data Warehouse

Busca de Informações

Gere

ncia

men

to

22


Obtenção de DadosObtenção de Dados

SQL Server

Oracle

DB2

Arquivos

InterBase

23

Extrair Transformar

Carregar

Dados operacionais

Dados externos

Limpar Reconciliar Aprimorar Sumarizar Agregar

Organizar Combinar

várias fontes

Popular sob demanda

Data Warehouse


Busca de InformaçõesBusca de Informações

Localizar Analisar Catálogo de

informações Visualização

de negócios Modelos

Análise multi-dimensional

Data mining Consultas

e relatórios

Data Warehouse

Armazenar Dados

relacionais Cache Várias

plataformas

24

Gere

nc. d

e

Gere

nc. d

e

Pro

cesso

sPro

cesso

sTro

caTro

ca d

e M

en

sag

en

sd

e M

en

sag

en

s


Modelo de CamadasModelo de Camadas

Acesso aos DadosAcesso aos Dados

Data StagingData Staging


Acesso à InformaçãoAcesso à Informação

Dados OperacionaisDados OperacionaisDados ExternosDados Externos

Data Warehouse FísicoData Warehouse Físico

25


Funções das Camadas do DWFunções das Camadas do DW Dados Operacionais/Externos: fontes de Dados Operacionais/Externos: fontes de

dadosdados Acesso aos Dados: extrair dados dos BDsAcesso aos Dados: extrair dados dos BDs Data Staging: transformar e carregar dadosData Staging: transformar e carregar dados Data Warehouse Físico: armazenar dadosData Warehouse Físico: armazenar dados Acesso aos Dados: localizar dados para Acesso aos Dados: localizar dados para

análiseanálise Acesso à Informação: analisar dadosAcesso à Informação: analisar dados Troca de Mensagens: transportar dadosTroca de Mensagens: transportar dados Gerenc. de Processos: controlar atividadesGerenc. de Processos: controlar atividades

26

GranularidadeGranularidade

GranularidadeGranularidade Nível de detalhe dos dadosNível de detalhe dos dados De extrema importância no projeto do De extrema importância no projeto do

DWDW

Granularidade

Dados Dados detalhadosdetalhados

Nível médioNível médiode detalhede detalhe

Dados poucoDados poucodetalhadosdetalhados

27


Definir a granularidade adequada é vital Definir a granularidade adequada é vital para que o DW atenda seus objetivospara que o DW atenda seus objetivos Mais detalhes Mais detalhes Mais dados Mais dados Análise mais Análise mais

longa longa Informação mais detalhada Informação mais detalhada Menos detalhes Menos detalhes Menos dados Menos dados Análise Análise

mais curta mais curta Informação menos detalhada Informação menos detalhada Para evitar que se perca informação são Para evitar que se perca informação são

criados vários níveis de granularidadecriados vários níveis de granularidade

28


Dados x GranularidadeDados x Granularidade Dados AtuaisDados Atuais

Refletem acontecimentos recentesRefletem acontecimentos recentes Alto nível de detalhe (baixa granularidade)Alto nível de detalhe (baixa granularidade)

Dados SumarizadosDados Sumarizados (1 ou + níveis) (1 ou + níveis) Dados históricos condensadosDados históricos condensados Menor nível de detalhe (maior granularidade) Menor nível de detalhe (maior granularidade)

Dados AntigosDados Antigos Dados históricos mantidos em fita, CD, etcDados históricos mantidos em fita, CD, etc Alto nível de detalhe (baixa granularidade)Alto nível de detalhe (baixa granularidade)

29


Processo de Processo de sumarizaçãosumarização Aplica um novo esquema de modo a Aplica um novo esquema de modo a

condensar os dadoscondensar os dados Ex.: armazenar totais, médias, etc.Ex.: armazenar totais, médias, etc.

Processo de Processo de envelhecimentoenvelhecimento Transfere os dados antigos do HD para Transfere os dados antigos do HD para

fita, CD, etc.fita, CD, etc. Mantém o nível de detalhe para que Mantém o nível de detalhe para que

nenhuma informação seja perdidanenhuma informação seja perdida

30


Dados AtuaisDados Atuais

Dados Dados Ligeiramente Ligeiramente SumarizadosSumarizados

Dados Dados Altamente Altamente

SumarizadosSumarizados

Dados Dados AntigosAntigos

[Singh][Singh]

SumarizaçãoSumarização

EnvelhecimentoEnvelhecimento

31


Exemplo: Companhia Telefônica Exemplo: Companhia Telefônica [Inmon][Inmon]

Dados Dados DetalhadosDetalhados

Sumarização

Ligações feitas pelos clientes nos últimos 12 meses

Dados Dados SumarizadosSumarizados

Resumo das ligações feitas pelos clientes

Dados AntigosDados Antigos

Envelhecimento

Ligações feitas pelos

clientes

32


Exemplo: Companhia Telefônica Exemplo: Companhia Telefônica (cont.)(cont.)Dados Dados

DetalhadosDetalhadosDados Dados

SumarizadosSumarizadosDados AntigosDados Antigos

LigaçõesOrigemDestino

InícioFim

TarifaStatus

LigaçõesOrigemDestinoInícioFim

TarifaStatus

LigaçõesCliente

MêsPulsos

LongaDistValConta

NNoo de registros: de registros: ligações nosligações nos

últimos 12 mesesúltimos 12 meses

NNoo de registros: de registros: contas emitidascontas emitidaspela empresapela empresa

NNoo de registros: de registros: ligações efetuadasligações efetuadas

pela empresapela empresa33


Quanto menor a granularidade, mais Quanto menor a granularidade, mais detalhada é a informação disponíveldetalhada é a informação disponível No exemplo anterior, poderíamos determinar se No exemplo anterior, poderíamos determinar se

o cliente A ligou para B na semana passadao cliente A ligou para B na semana passada Também poderíamos verificar se A faz muitas Também poderíamos verificar se A faz muitas

chamadas de longa distânciachamadas de longa distância Durante o processo de sumarização, Durante o processo de sumarização,

algumas informações podem ser perdidasalgumas informações podem ser perdidas Não seria possível saber se A ligou para BNão seria possível saber se A ligou para B É possivel verificar o padrão de consumo de AÉ possivel verificar o padrão de consumo de A

34

Data MartsData Marts

Dados mantidos no DW são Dados mantidos no DW são separados por assunto em separados por assunto em subconjuntos de acordo com:subconjuntos de acordo com: A estrutura interna da empresaA estrutura interna da empresa O processo de tomada de decisãoO processo de tomada de decisão

Estes subconjuntos dos dados são Estes subconjuntos dos dados são chamados de chamados de Data MartsData Marts

Data Mart Vendas

Data Mart Marketing

Data Mart Produção

Data Mart Financeir

o

35


Um Data Mart desempenha o papel Um Data Mart desempenha o papel de um DW departamental, regional de um DW departamental, regional ou funcionalou funcional

Uma empresa pode construir seus Uma empresa pode construir seus Data Marts gradativamente a partir Data Marts gradativamente a partir do DWdo DW

Data Mart Am.

Latina

Data Warehouse

Data Mart EUA

Data Mart Europa

Data Mart Ásia

36


Dados podem ser repetidos em dois ou Dados podem ser repetidos em dois ou mais Data Martsmais Data Marts

Os mesmos dados podem estar Os mesmos dados podem estar representados com granularidade representados com granularidade diferentediferente

Ex:Ex: Vendas detalhadasVendas detalhadas

Vendas totais Vendas totais mensaismensais

37

Data Mart Vendas

Data Mart Financeir

o

MetadadosMetadados

Os Metadados são dados sobre os Os Metadados são dados sobre os dadosdados Para cada atributo mantido no DW há Para cada atributo mantido no DW há

uma entrada no dicionário de dadosuma entrada no dicionário de dados Os dados são processados, atualizados e Os dados são processados, atualizados e

consultados partindo dos metadadosconsultados partindo dos metadados Usuários ficam conhecendo a estrutura e Usuários ficam conhecendo a estrutura e

o significado dos dadoso significado dos dados No BD operacional, a estrutura e o No BD operacional, a estrutura e o

significado dos dados estão embutidos significado dos dados estão embutidos nas aplicações nas aplicações 38

MetadadosMetadados

Camadas de MetadadosCamadas de Metadados Metadados OperacionaisMetadados Operacionais

Definem a estrutura dos dados operacionaisDefinem a estrutura dos dados operacionais Metadados do DWMetadados do DW

Orientados por assuntoOrientados por assunto Informam como os dados do DW foram Informam como os dados do DW foram

calculados e como devem ser interpretadoscalculados e como devem ser interpretados Metadados do UsuárioMetadados do Usuário

Organizam os metadados do DW com base Organizam os metadados do DW com base em conceitos familiares ao usuário finalem conceitos familiares ao usuário final

39

MetadadosMetadados

Classificação em função dos dados descritosClassificação em função dos dados descritos Metadados de MapeamentoMetadados de Mapeamento

Como BDs operacionais são mapeados no DWComo BDs operacionais são mapeados no DW Metadados de SumarizaçãoMetadados de Sumarização

Como os dados foram sumarizados no DWComo os dados foram sumarizados no DW Metadados HistóricosMetadados Históricos

Como a estrutura dos dados vem mudandoComo a estrutura dos dados vem mudando Metadados de Padrões de AcessoMetadados de Padrões de Acesso

Como os dados do DW vem sendo acessadosComo os dados do DW vem sendo acessados Metadados de MiscelâneaMetadados de Miscelânea

40

MetadadosMetadados

Fontes de MetadadosFontes de Metadados Código fonte dos SBDs operacionaisCódigo fonte dos SBDs operacionais Diagramas CASE de BDs operacionais e do Diagramas CASE de BDs operacionais e do

DWDW Documentação dos BDs operacionais e do Documentação dos BDs operacionais e do

DWDW Entrevistas com usuários, administradores Entrevistas com usuários, administradores

e programadores dos BDs e do DWe programadores dos BDs e do DW O ambiente de DWO ambiente de DW

Freqüência de acesso aos dados, tempo Freqüência de acesso aos dados, tempo de resposta, controle de usuários, etc.de resposta, controle de usuários, etc. 41


Acesso em Duas CamadasAcesso em Duas Camadas

Fontes Fontes de Dadosde Dados

Servidor Servidor de DWde DW Data WarehouseData Warehouse

Fontes Fontes de Dadosde Dados

Servidor Servidor de DWde DW Data WarehouseData Warehouse

Servidor Servidor de Aplic.de Aplic.

Aplicação do UsuárioAplicação do Usuário

Aplicação do UsuárioAplicação do Usuário42

Acesso em Três CamadasAcesso em Três Camadas

Tipos de Data WarehouseTipos de Data Warehouse

DW baseado em ServidorDW baseado em Servidor Mainframe ou servidor de rede local (LAN)Mainframe ou servidor de rede local (LAN)

DW VirtualDW Virtual Reúne dados operacionais e dados históricos Reúne dados operacionais e dados históricos

mantidos em BDs – não há um DW centralmantidos em BDs – não há um DW central DW DistribuídoDW Distribuído

DW global reúne dados de vários DWs locaisDW global reúne dados de vários DWs locais DW baseado na WebDW baseado na Web

Dados provenientes da World Wide WebDados provenientes da World Wide Web

43

Documents

Unidade IV Data Warehouse