Upload
pasquale-focetola-neto
View
194
Download
0
Embed Size (px)
Citation preview
Arquitetura de Data WarehouseViso GeralProfa. Kelli de Faria [email protected]/10/2011 Business Intelligence
Ementa
Principais arquiteturas de suporte deciso Abordagem de Inmon x Kimball Componentes de um Data Warehouse Vantagens e desvantagens das arquiteturas Data Warehouse x Datamart Data Marts Dependentes x Independentes Abordagem de implementao Top-down e botton-up
22/10/2011
Business Intelligence
1
Principais Referncias
R. Kimball, L. Reeves, M. Ross, W. Thornthwaite, The Data Warehouse Lifecycle Toolkit: Expert Methods for Designing, Developing, and Deploying Data Warehouses, Wiley, 1998 R Kimball; M. Ross; W. Thornthwaite; Joy. Mundy; B. Becker The Data Warehouse Lifecycle Toolkit: Practical Techniques for Building Data Warehouse and Business Intelligence Systems., Wiley, 2008 R. Kimball, R. Merz, Data Webhouse, Willey, 2000.
22/10/2011
Business Intelligence
Principais Referncias
W.H. Inmon, Claudia Imhoff, Ryan Sousa, Corporate Information Factory, Prentice Hall, 2000. W.H. Inmon, D. Strauss, G. Neushloss, DW 2.0, Morgan Kaufmann, 2008. F.N.Machado, Tecnologia e Projeto de Data Warehouse, Ed. rica, 2008.
22/10/2011
Business Intelligence
2
Avaliao
Trabalhos individual ou em grupo PPT:
Desenhar a arquitetura de um ambiente de DW
Lgica e Fsica 5 min por aluno
DOC:
Inmon x Kimball
Tudo sobre eles e as suas respectivas propostas de arquitetura Comparaes Entre 10 e 15 pginas
22/10/2011
Prova individual no ltimo dia de aulaBusiness Intelligence
Reviso
EVOLUO DOS AMBIENTES DE SUPORTE DECISO22/10/2011 Business Intelligence
3
Sistemas de Suporte DecisoComponentes desta abordagem:
Problemas desta abordagem:
Solues:
Relatrios desenvolvidos sob demanda Alto tempo de resposta Pouca capacidade de anlise Impacto de desempenho do ambiente de produo
22/10/2011
Business Intelligence
Sistemas de Suporte DecisoComponentes desta abordagem:
Problemas desta abordagem: Baixa credibilidade nas informaes Baixa produtividade Inabilidade de transformar dado em informao
Solues:
22/10/2011
Business Intelligence
4
Sistemas de Suporte DecisoProblemas desta abordagem: Esforo Duplicado Mltiplas Tecnologias Relatrios Obsoletos Nenhum metadado Problemas com Qualidade do Dado no Processamento de Extrao Base de Tempo no comum Algoritmos de clculo diferentes Nveis de extrao diferentes Nveis de granularidade diferentes Nomes de campos diferentes Significados de campos diferentes Informao faltante Nenhuma regra de correo
Componentes:
Solues:
22/10/2011
Business Intelligence
Qual o estgio do SSD da sua empresa?
Business Intelligence
5
Arquitetura
Fornece planejamento, estrutura e padronizao necessrios para garantir integrao de vrios componentes, projetos e processos ao longo do tempo Estabelece framework, padres e procedimentos para o Data Warehouse num nvel corporativo The Data Warehousing Institute
22/10/2011
Business Intelligence
Componentes Tpicos de DW
22/10/2011
Business Intelligence
6
Referncias
ARQUITETURAS DE DW
22/10/2011
Business Intelligence
Ralph Kimball (2002)Elementos bsicos
22/10/2011
Business Intelligence
7
Ralph Kimball (2005)Back and Front Room
22/10/2011
Business Intelligence
Ralph Kimball (2006)Microsoft BI Toolset
22/10/2011
Business Intelligence
8
Bill Inmon (2001)Corporate Information Factory
22/10/2011
Business Intelligence
Bill InmonCorporate Information Factory and the Web
22/10/2011
Business Intelligence
9
Data Marts Independentes
22/10/2011
Business Intelligence
Data Marts Dependentes
22/10/2011
Business Intelligence
10
Abordagens de ImplementaoTop-down Botton-up Combinada/Hbrida
22/10/2011
Business Intelligence
Data Webhouse
22/10/2011
Business Intelligence
11
Precursores
KIMBALL X INMON
22/10/2011
Business Intelligence
Componentes da ArquiteturaBill Inmon considera:
Ralph Kimball considera:
Camada de transformao e integrao Data warehouse corporativo ODS Data Mart Exploration DW Dados usados com menos freqncia, arquivados Metadado
Data staging area Coleo de DMs = DW ODS Data Mart Star schema usado para tudo Dados arquivados Metadado
24
12
Onde Inmon e Kimball concordam
necessria uma arquitetura Dimenses compartilhadas e medidas definidas atravs de todas as reas da empresa O esquema estrela til para apresentar informaes aos usurios Construir o DW iterativamente Metadado fundamental Implementao de processo de ETL automtico
25
ODS
OPERATIONAL DATA STORE
22/10/2011
Business Intelligence
13
ODS (Inmon)
Uma estrutura hbrida projetada para apoiar tanto processamento operacional transacional quanto processamento analtico. Base de dados integrados, voltil, retrato instantneo do negcio. Estrutura til para relaes de um-para-um entre o setor de marketing e cliente, e para reas onde apenas as transaes mais recentes so importantes.Just as the data warehouse is the central point of integration for business intelligence, the operational data store becomes the central point of data integration for tactical decision making. It is a perfect complement to the strategic decision-making processes provided through the data warehouse/data mart constructs. 27
ODS (Kimball)
Depsito de dados histrico, frequentemente alimentado, de dados detalhados e integrados, constituindo-se no nvel atmico do ambiente de DW.
Arquitetura Original22/10/2011 Business Intelligence
Arquitetura Proposta
14
Arquiteturas de DW
OUTRAS
22/10/2011
Business Intelligence
DW Federado
Prov uma interface que torna o DW Federado semelhante a um grande DW, mas que na realidade, apenas adiciona camadas sobre os DWs existentes, possibilitando a execuo de consultas sobre um grande Data Warehouse virtual (Huber et. al. 2001). Ambientes federados favorecem a integrao de informaes em ambientes heterogneos, autnomos e distribudos, caractersticos de situaes que envolvem diversas organizaes autnomas, com objetivos comuns.
22/10/2011
Business Intelligence
15
DW Federado Anand(1997)
Esquema materializado
22/10/2011
Business Intelligence
DW Federado Mangisengi e Ruber (2001)
Esquema no materializado
22/10/2011
Business Intelligence
16
Data Warehouses Distribudos
Tipos: Distribudos
geograficamente tecnologicamente
Com DW locais e globaisFisicamente so vrios, mas logicamente apenas um
Distribudos
Evoluo
independente
Vrios DW cresceram sem coordenao, por motivos polticos ou diferenas organizacionaisBusiness Intelligence
22/10/2011
Data Warehouses Distribudos
22/10/2011
Business Intelligence
17
DW 2.0 (Inmon, 2008)Principais caractersticas: Patenteado! Ciclo de vida do dado Contempla dados noestruturados Metadado faz parte da arquitetura
22/10/2011
Business Intelligence
Arquiteturas de DW
OUTROS ASPECTOS
22/10/2011
Business Intelligence
18
Nveis de dados da arquitetura do CIF (Inmon)
Conseqncia das diferenas entre os dados primitivos e derivados.
22/10/2011
Business Intelligence
Nveis de dados da arquitetura do CIF (Inmon)
22/10/2011
Business Intelligence
19
Mais componentes de um Ambiente de DW1. Repositrio de Metadados 2. Ferramentas de Projeto CASE
3. Ferramentas de Extrao, Transformao e Carga (ETL)4. Ferramentas para Qualidade e Limpeza 5. Ferramentas para Replicao 6. Provedores de Interfaces de BD ODBC/OLE 7. Ferramentas de Gateway para BD Legados 8. Bancos de Dados Relacionais 9. (Bancos de Dados No-Relacionais Legados) 10. Bancos de Dados Multidimensionais
39
Mais componentes de um Ambiente de DW11. Ferramentas OLAP 12. Ferramentas de Relatrio e Consulta 13. Ferramentas de Data Mining 14. Cross-Platform Batch Schedulers 15. Ferramentas de Monitoramento e Controle 16. Pacotes de Aplicao para Data WarehouseTodos estes componentes manipulam/ geram metadados40
20