59
Versão: 2.0 www.marcelosincic.com.br Página 1 de 59 www.marcelosincic.com.br Reprodução e distribuição livre Olá, Criei esta apostila para ajudar um grupo de angolanos a aprender OLAP, mas servirá para quem quer aprender sobre esta. O conteudo é basico e indicado a iniciantes. Perfil Microsoft: https://www.mcpvirtualbusinesscard.com/VBCServer/msincic/profile Marcelo Sincic trabalha com informática desde 1988. Durante anos trabalhou com desenvolvimento (iniciando com Dbase III e Clipper S'87) e com redes (Novell 2.0 e Lantastic). Hoje atua como consultor e instrutor para diversos parceiros e clientes Microsoft. Recebeu em abril de 2009 o prêmio Latin American MCT Awards no MCT Summit 2009, um prêmio entregue a apenas 5 instrutores de toda a América Latina (http://www.marcelosincic.eti.br/Blog/post/Microsoft-MCT-Awards-America- Latina.aspx). Recebeu em setembro de 2009 o prêmio IT HERO da equipe Microsoft Technet Brasil em reconhecimento a projeto desenvolvido (http://www.marcelosincic.eti.br/Blog/post/IT-Hero-Microsoft-TechNet.aspx). Em Novembro de 2009 recebeu novamente um premio do programa IT Hero agora na categoria de especialistas (http://www.marcelosincic.eti.br/Blog/post/TechNet-IT-Hero-Especialista-Selecionado-o-nosso-projeto-de-OCS- 2007.aspx). Acumula por 5 vezes certificações com o título Charter Member, indicando estar entre os primeiros do mundo a se certificarem profissionalmente em Windows 2008 e Windows 7. Possui diversas certificações oficiais de TI: MCITP - Microsoft Certified IT Professional Database Administrator SQL Server 2008 MCITP - Microsoft Certified IT Professional Database Administrator SQL Server 2005 MCITP - Microsoft Certified IT Professional Windows Server 2008 Admin MCITP - Microsoft Certified IT Professional Enterprise Administrator Windows 7 Charter Member MCITP - Microsoft Certified IT Professional Enterprise Support Technical MCPD - Microsoft Certified Professional Developer: Web Applications MCTS - Microsoft Certified Technology Specialist: Windows 7 Charter Member MCTS - Microsoft Certified Technology Specialist: Windows Mobile 6. Charter Member MCTS - Microsoft Certified Technology Specialist: Windows 2008 Active Directory Charter Member MCTS - Microsoft Certified Technology Specialist: Windows 2008 Networking Charter Member MCTS - Microsoft Certified Technology Specialist: System Center Configuration Manager MCTS - Microsoft Certified Technology Specialist: System Center Operations Manager MCTS - Microsoft Certified Technology Specialist: Exchange 2007 MCTS - Microsoft Certified Technology Specialist: Windows Sharepoint Services 3.0 MCTS - Microsoft Certified Technology Specialist: SQL Server 2008 MCTS - Microsoft Certified Technology Specialist: .NET Framework 3.5, ASP.NET Applications MCTS - Microsoft Certified Technology Specialist: SQL Server 2005 MCTS - Microsoft Certified Technology Specialist: Windows Vista MCTS - Microsoft Certified Technology Specialist: .NET Famework 2.0 MCDBA – Microsoft Certified Database Administrator (SQL Server 2000/OLAP/BI) MCAD – Microsoft Certified Application Developer .NET MCSA 2000 – Microsoft Certified System Administrator Windows 2000 MCSA 2003 – Microsoft Certified System Administrator Windows 2003 Microsoft Small and Medium Business Specialist MCP – Visual Basic e ASP MCT – Microsoft Certified Trainer SUN Java Trainer – Java Core Trainer Approved IBM Certified System Administrator – Lotus Domino 6.0/6.5

Introdução a Data Warehouse e OLAP.pdf

Embed Size (px)

Citation preview

Page 1: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 1 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Olá,

Criei esta apostila para ajudar um grupo de angolanos a aprender OLAP, mas servirá para quem quer

aprender sobre esta. O conteudo é basico e indicado a iniciantes.

Perfil Microsoft: https://www.mcpvirtualbusinesscard.com/VBCServer/msincic/profile

Marcelo Sincic trabalha com informática desde 1988. Durante anos trabalhou com desenvolvimento (iniciando com Dbase III e Clipper S'87) e com redes (Novell 2.0 e Lantastic).

Hoje atua como consultor e instrutor para diversos parceiros e clientes Microsoft.

Recebeu em abril de 2009 o prêmio Latin American MCT Awards no MCT Summit 2009, um prêmio entregue a apenas 5 instrutores de toda a América Latina (http://www.marcelosincic.eti.br/Blog/post/Microsoft-MCT-Awards-America-Latina.aspx).

Recebeu em setembro de 2009 o prêmio IT HERO da equipe Microsoft Technet Brasil em reconhecimento a projeto desenvolvido (http://www.marcelosincic.eti.br/Blog/post/IT-Hero-Microsoft-TechNet.aspx). Em Novembro de 2009 recebeu novamente um premio do programa IT Hero agora na categoria de especialistas (http://www.marcelosincic.eti.br/Blog/post/TechNet-IT-Hero-Especialista-Selecionado-o-nosso-projeto-de-OCS-2007.aspx).

Acumula por 5 vezes certificações com o título Charter Member, indicando estar entre os primeiros do mundo a se certificarem profissionalmente em Windows 2008 e Windows 7.

Possui diversas certificações oficiais de TI: MCITP - Microsoft Certified IT Professional Database Administrator SQL Server 2008 MCITP - Microsoft Certified IT Professional Database Administrator SQL Server 2005 MCITP - Microsoft Certified IT Professional Windows Server 2008 Admin MCITP - Microsoft Certified IT Professional Enterprise Administrator Windows 7 Charter Member MCITP - Microsoft Certified IT Professional Enterprise Support Technical MCPD - Microsoft Certified Professional Developer: Web Applications MCTS - Microsoft Certified Technology Specialist: Windows 7 Charter Member MCTS - Microsoft Certified Technology Specialist: Windows Mobile 6. Charter Member MCTS - Microsoft Certified Technology Specialist: Windows 2008 Active Directory Charter Member MCTS - Microsoft Certified Technology Specialist: Windows 2008 Networking Charter Member MCTS - Microsoft Certified Technology Specialist: System Center Configuration Manager MCTS - Microsoft Certified Technology Specialist: System Center Operations Manager MCTS - Microsoft Certified Technology Specialist: Exchange 2007 MCTS - Microsoft Certified Technology Specialist: Windows Sharepoint Services 3.0 MCTS - Microsoft Certified Technology Specialist: SQL Server 2008 MCTS - Microsoft Certified Technology Specialist: .NET Framework 3.5, ASP.NET Applications MCTS - Microsoft Certified Technology Specialist: SQL Server 2005 MCTS - Microsoft Certified Technology Specialist: Windows Vista MCTS - Microsoft Certified Technology Specialist: .NET Famework 2.0 MCDBA – Microsoft Certified Database Administrator (SQL Server 2000/OLAP/BI) MCAD – Microsoft Certified Application Developer .NET MCSA 2000 – Microsoft Certified System Administrator Windows 2000 MCSA 2003 – Microsoft Certified System Administrator Windows 2003 Microsoft Small and Medium Business Specialist MCP – Visual Basic e ASP MCT – Microsoft Certified Trainer SUN Java Trainer – Java Core Trainer Approved IBM Certified System Administrator – Lotus Domino 6.0/6.5

Page 2: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 2 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Introdução a Data Warehouse e OLAP

Dados no formato relacional são muito ageis para as tarefas do dia a dia, mas muito lentos para consultas análiticas.

Isto se dá em virtude de dados relacionais serem utilizados para controle de entidades, seja quais forem, e portanto

contem uma lista de atributos, as colunas, e os itens que são as linhas. Mas para análise de dados o ideal é a visualização

invertida, ou seja, os atributos serem as linhas e os itens nas colunas, como o exemplo abaixo demostra:

Cliente Produto Quantidade

ABC Camisa 20

ABC Calça 10

XYZ Camisa 30

XYZ Calça 20

Tabela no formato relacional (OLTP)

Produto ABC XYZ

Camisa 20 30

Calça 10 20

Tabela no formato análitico (OLAP)

Note que os dados são os mesmos, mas a forma de apresentação mudou e garantiu que uma análise mais apurada fosse

desenvolvida, como por exemplo, a soma das vendas por produto, onde anteriormente só era possivel ver as vendas

totais.

Esta realocação das linhas em colunas e das colunas em linhas recebe o nome de cross-join (referência cruzada). Este

modelo de planilhas é chamado de Pivot Table .

Os dados cruzados na segunda planilha é o obtido por utilizar produtos que transformem os dados relacionais OLTP

(Online transaction process) em dados OLAP (Online analisys process). Estra transformação de dados é armazenada em

um objeto cubo. Os cubos contem os dados em formato cross-join e utilizando uma ferramenta pivot table como o Excel

podemos montar tabelas em formato livre, como veremos mais adiante.

Segue uma lista dos termos utilizados até o momento e que não podemos esquecer:

Page 3: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 3 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

• OLAP – Online analisys process. Programa que permite transformar os dados relacionais (OLTP) em dados

consolidados utilizando cross-join e gerando os cubos com os cruzamentos. A arquitetura OLAP é otimizada para

consolidação e leitura, não permitindo gravação ou alterações.

• OLTP – Online transaction process. São os servidores de banco de dados utilizados comercialmente desde

Microsoft SQL Server, Oracle ou mesmo Access e Excel, já que todos estes tem os dados otimizados para

operações de leitura e gravação constante. Sua desvantagem é a dificuldade em gerar dados consolidados em

tempo hábil.

• Data Warehouse – Repositório de cubos gerados para análise.

• Pivot Table – Programa visualizador dos cubos, permitindo montar visões e tabelas dinamicamente arrastando

os dados em colunas e linhas. Um bom programa para esta tarefa é o Excel.

• Cross-Join – Processo onde se faz a junção dos dados e transforma-se as colunas em linhas e as linhas em

colunas gerando dados cruzados.

• Cubo – Dados resultantes do processo de OLTP com o cross-join que são manipulados pelo pivot table.

Page 4: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 4 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

OLAP no Microsoft SQL Server 2005

No SQL Server 2005 é possível trabalhar todos os recursos de OLAP por utilizar suas ferramentas de transformação de

dados para gerar staging tables, tabelas transitórias com dados de várias fontes, ou então diretamente nos cubos.

Esses dois processo estão exemplificados abaixo:

Modelo 1: Geração dos dados OLAP utilizando tabelas unificadas

Modelo 2: Geração dos dados OLAP utilizando diretamente as tabelas fontes OLTP

No primeiro modelo vemos que os dados em diversas fontes geraram uma fonte de dados secundária, que servirá para

gerar os cubos análiticos.

Data warehouse (OLAP Service) Oracle

ou SQL

Excel

ou

Access

Staging

tables Data Marts Cubo

Cubo

Data warehouse (OLAP Service)

Oracle

ou SQL

Excel

ou

Access

Data Marts Cubo

Cubo

Page 5: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 5 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Este processo é feito por uma ferramenta do SQL Server chamada de SSIS (SQL Server Intergration Service) que permite

alterar os dados fontes em qualquer formato para um formato único. Por exemplo, é possivel com este recurso

transformar dados em Excel relacionando com tabelas em Oracle ou outra fonte e gerar uma tabela única.

O segundo modelo apresentado utiliza apenas o OLAP Services que também permite a integração de dados

heterogênios para formar uma única fonte de dados aos cubos analíticos.

O serviço OLAP do SQL Server 2005 alêm disso permite também a visualização imediata dos cubos em pivot tables,

agendamento das atualizações dos cubos e segurança ao acesso dos dados.

O serviço OLAP tambem permitirá trabalhar com diversos tipos de armazenamento dos cubos, conforme a tabela a

seguir:

Modelo Armazenamento Comentários

HOLAP Hibrido. As agregações (cubos) ficam no OLAP

Services e os dados fonte continuam residindo no

OLTP.

Modelo mais utilizado,

ocupando relativamente

pouco espaço e utilizando a

base OLTP apenas quando

usuário pede detalhes.

MOLAP Nativo. Tanto aos cubos quanto os dados fonte

ficam gravados no OLAP.

Ocupa muito espaço,

principalmente com grandes

databases já que duplica a

fonte dos dados. Sua

vantagem é a performance.

ROLAP Relacional. O OLAP mantem apenas as estruturas e

definições, a cada consulta ao cubo ele tem que ser

inteiramente processado.

O processamento se torna

muito lento, principalmente

quando são feitas muitas

consultas ao cubo. Sua

vantagem é pouco espaço

ocupado.

Nota: Não trataremos do SSID por se tratar de uma ferramenta de desenvolvimento complexa e não

faz parte do OLAP Services e sim do SQL Server 2005.

Page 6: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 6 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Instalação do OLAP Services

A instalação do serviço de OLAP da Microsoft é feita no próprio setup do SQL Server, já que apesar de ser um serviço

sepaado do SQL Server é parte do produto.

Para fazer a instalação do OLAP no mesmo momento em que se instala o SQL Server basta escolher na lista de

componentes o Analisys Services.

Se a instalação do OLAP for feita após a instalação do SQL Server, utilize a opção Adicionar/Remover Programas do

painel de controle do Windows e clique no botão Alterar do SQL Server.

Em qualquer uma das situações a tela abaixo mostra o componente (feature) do OLAP sendo incluida na instalação.

Tela de instalaçao do SQL Server para inclusão do serviço OLAP

Ao incluir o serviço de OLAP é gerado no SQL Server um database que tem por função ser um Metadata Repository, ou

repositório de dados metafóricos, onde as configurações do serviço ficam armazenadas.

Page 7: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 7 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Com a instalação do serviço de OLAP serão acrescentados no menu iniciar do grupo SQL Server um novo subgrupo

Analisys Services e um atalho para o Business Inteligence Development Studio:

Alteração no menu Iniciar após a instalação do OLAP

O subgrupo Analisys Services contem apenas um wizard para distribuição das configurações de um cubo para outro

servidor. Já o atalho para o BI Studio executa o Visual Studio 2005, ambiente integrado de desenvolvimento que é

utilizado para todas as linguagens da Microsoft, inclusive o Office e o SQL Server.

Ao chamar o BI Studio notará que na tela de apresentação irá constar o SQL Server como embutido nos projetos que

podem ser criados.

Tela de apresentação do BI Studio com as linguages e os serviços do SQL

Ao clicar em novo projeto no Visual Studio poderá criar diversos projetos específicos do SQL Server, entre eles os

projetos de OLAP (Analisys services).

Page 8: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 8 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Lista dos projetos SQL Server no Visual Studio 2005

Os dois primeiros tipos de projetos se referem ao OLAP, o primeiro um novo projeto e o segundo para importar projetos

criados no SQL Server 2000.

Com estas opções instaladas verifique no painel de serviços das ferramentas administrativas do Windows se o serviço

OLAP está instalado e executado.

Se o serviço não estiver iniciado bastará iniciá-lo agora. Caso o serviço acuse erros verifique no Event Viewer do

Windows a mensagem que ele gerou para resolver o problema.

Com o serviço iniciado e rodando, bem como as ferramentas do BI Studio acusando o Analisys Services é sinal de que

toda a instalação ocorreu com sucesso.

Page 9: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 9 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Serviços do SQL Server incluindo o Analisys Services

Page 10: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 10 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Administrando o SSAS

A administração do servidor SQL Server Analisys Service é feita no mesmo console de gerenciamento do SQL Server, o

SQL Server Management Studio.

Por este console podemos deletar e criar scripts para cada um dos objetos, mas não criá-los (exceto Roles), tarefa que

cabe ao SQL Server Business Intelligence Development Studio.

Abrindo o SSAS pelo console SQL Server Management Studio

Page 11: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 11 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Visualização dos objetos do SSAS

Page 12: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 12 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Criando um Projeto OLAP

Para criar um projeto OLAP é utilizada a interface visual do Microsoft Visual Studio 2005 como já comentados nos

tópicos anteriores.

A chamada é feita no menu Iniciar na lista de programa dos SQL Server 2005 no atalho SQL Server Business Intelligence

Development Studio e teremos a interface do Visual Studio 2005 em branco.

Clique em File -> New -> Project e terá a tela a seguir, onde os projetos OLAP aparecem dentro dos modelos de Business

Intelligence Projects.

Tela de inicialização de um novo projeto no Visual Studio 2005

Page 13: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 13 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

O passo seguinte é escolher o projeto Analisys Services Project, colocar o nome e o caminho do projeto no disco, onde

por padrão são criados diretório dentro de Meus Documentos.

Projeto com tipo, nome e localização definida

No canto direito da tela principal é possivel agora ver os componentes de uma solução OLAP, como a figura abaixo

representa, que é chamada de propriedades do projeto (Project Properties).

Page 14: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 14 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Janela Propriedades do Projeto

Segue a definição de cada uma das pastas que compõe um projeto OLAP:

Pasta do Projeto Descrição

Data Sources São os diferentes locais de onde os dados poderão vir, tambem

chamados de conexões.

Data Source Views As consultas que baseadas nos Data Sources criados permitiram o uso,

permite a integração das várias bases para formar um único repositório

homogênio.

Cubes Definição das consultas.

Dimensions Atributos que serão utilizados para a formação dos pivot table.

Mining Structures Estruturas que permitem analisar automaticamente desvios padrão nos

dados, como por exemplo, tendencia geográfica entre outros.

Roles Segurança de acesso.

Assemblies DLLs que permitem customização na forma de geração dos cubos.

Miscellaneous Arquivos diversos.

Para inserir os dados nos diferentes componentes do OLAP basta clicar e escolher a opção New.

Um único projeto pode conter diversos cubos, medidas e fontes. A recomendação em geral é que cada projeto contenha

um grupo de cubos e seus necessários componentes, como por exemplo, um projeto para o departamento de vendas

Page 15: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 15 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

que contem todos os cubos baseados em clientes versus pedidos. Um projeto para o departamento financeiro que

contenha todos os cubos baseados em clientes versus recebimentos e fornecedores versus pagamentos.

Se seguirmos o padrão um projeto por grupo, seja departamental ou funcional, será mais fácil os usuários selecionarem

o que desejam, primeiro escolher o grupo e dentro do grupo os diversos modelos analiticos que foram criados.

Se seguirmos o modelo de um único projeto com todos os cubos analíticos dentro teríamos uma dificuldade grande para

o usuário escolher qual é o que ele deseja, se a análise é financeira ou de demanda para o cliente, por exemplo.

Page 16: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 16 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Definindo Fontes de Dados

O primeiro passo para podermos criar um projeto OLAP é definirmos de onde os dados estarão sendo lidos. Esta

configuração é feita em Data Sources no projeto de OLAP.

Clique com o botão direito sobre Data Source e escolha a opção New Data Source ao que será mostrada a tela de

definição para uma fonte de dados.

Tela inicial de criação

de um novo data source

Na tela seguinte é mostrada uma lista com os data sources que já foram criados para seleção ou então clique no botão

New para criar uma nova fonte de dados, como a tela a seguir.

Page 17: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 17 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Seleção de um data

source já existente ou para crição de um novo

Ao criar uma nova fonte de dados, clicando no botão New, definimos o tipo de banco (Oracle, SQL, Excel, etc), o nome

do servidor se for o caso ou o caminho do arquivo quando é arquivo. A tela configura é similar a abaixo.

Page 18: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 18 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Tela de definição de um novo data source

Com o nome do servidor e o tipo informado definimos tambem o nome do banco de dados que será utilizado quando

este for um servidor relacional.

Page 19: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 19 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Definição completa do novo data source

O passo seguinte é informarmos ao projeto qual o usuário que tem permissão para executar as agragações, sendo as

opções:

Tipo Utilização

Specified user and password Para informar manualmente um nome de

usuário e a senha. Apenas quando o modo de

autenticação do servidor SQL Server for misto.

Service Account Utiliza a conta do serviço Analisys Services do

Windows para acesso ao dados. Quando os

dados estão em um servidor externo e a conta

de serviço for LocalSystem esta opção não

funcionará.

Current User A conta do usuário que está logado no

momento da execução será utilizada. Não

funciona no caso de agendamentos sem usuário

Page 20: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 20 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

operando.

Informações sobre o processo de autenticação para o data source

Informados o tipo de fonte, o nome do servidor quando for o caso ou o caminho do arquivo, o banco de dados ou

planilha, usuário a ser utilizado e o nome da fonte temos agora a fonte na lista dos Data Sources do projeto.

Page 21: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 21 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Tela de confirmação dos dados e criação do data source

Projeto com o data source definido

Page 22: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 22 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Definindo Apresentações dos Dados

Uma vez definidas as fontes de dados agora precisamos definir as chamadas tabelas de fato.

Tabelas de fato são aquelas que contem o dado a ser agregado, ou mensurado. Essa tabela contem dados númericos

que são agregados e atributos que podem ser transformados em eixos, ou dimensões.

Por exemplo, na tabela abaixo podemos identificar a coluna quantidade como medida (measure) e as colunas cliente e

produto servirão de eixos (dimensions).

Cliente Produto Quantidade

ABC Camisa 20

ABC Calça 10

XYZ Camisa 30

XYZ Calça 20

Podemos identificar as medidas por verificar em uma tabela os dados que podem ser somados, neste caso a quantidade.

E as dimensões são as colunas da tabela que podemos cruzar, no caso cliente e produto, podendo verificar as vendas de

calças por cliente ou clientes que compraram camisas, sendo a quantidade sempre o dado resultante.

Normalmente os data source views são formados na estrutura estrela (star schema), onde a tabela de fatos tem códigos

que se relacionam com as tabelas de dimensão. O modelo abaixo demonstra bem esta relação entre a tabela de fato e

as tabelas de dimensão.

Page 23: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 23 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Exemplo de tabela de fato e dimensão

Note que a tabela Linha contem os dados da linha de onibus, com kilometragem, origem, destino, empresa, etc. Note

tambem que ela não contem dados que interessam como medida.

Já a tabela Demanda contem a quantidade de passageiros, escolares, vale transporte, etc. Estes dados são interessantes

de fazer uma agregação.

Portanto, a tabela de demanda é a nossa tabela de fatos e a tabela de linhas a dimensão. Da tabela demanda tiraremos

os números e da tabela de linhas tiraremos os dados descritivos.

Para criar um novo data source view, clique sobre esta opção nas propriedades do projeto e New DataSource View.

O primeiro passo na criação e definir quais data sources serão utilizados como origem dos dados.

Nota: Uma tabela de dimensão tambem pode conter tabelas interligadas para leitura de dados

complementares. Por exemplo, a tabela Linhas tem o código da empresa, portanto teriamos tambem

que incluir a tabela Empresas na definição, mas ao invés de ligá-la a tabela de demanda o faríamos na

tabela de linhas.

Page 24: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 24 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Seleção do data source para a criação da view

Selecionado o data source o wizard nos mostra as tabelas que este contem, permitindo agora que escolhamos as

tabelas. Devem ser selecionadas todas as tabelas, tanto de fato quanto as de dimensão.

Mas antes de escolhermos as tabelas o wizard irá querer saber se os relacionamentos poderão ser efetuados

automaticamente. Normalmente utilizamos o padrão, já que é uma prática comum ter as chaves entre tabelas com os

mesmos nomes.

Page 25: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 25 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Seleção do método de escolha dos relacionamentos automáticos

Page 26: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 26 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Seleção das tabelas para a construção da view

Escolhidas as tabelas informamos um nome para o data view.

Page 27: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 27 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Definição final da view

Caso seja necessário incluir novas tabelas após o data view estar criado não há problemas. Basta ir no construtor em um

espaço em branco dentro da tela de design e com o botão direito escolher Add/Remove Tables.

Para terminar a definição dois importantes passos ainda são necessários.

É importante que esteja definido o relacionamento entre as tabelas. Por exemplo, no caso acima apesar da coluna

codLinha ser igual o contrutor não identificou o relacionamento. Para criar o relacionamento manualmente arraste a

coluna chave da tabela de fato para dentro da tabela de dimensão e automaticamente o construtor irá gerar o link entre

elas.

Note que este link só pode ser efetuado se na tabela de dimensão houver uma chave primária, e que caso não haja o

contrutor irá automaticamente criar a chave como na tela a seguir.

Page 28: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 28 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Interligação manual dos relacionamentos entre as tabelas

Feito isso agora só falta definir quais são as chaves da tabela de fato. Normalmente as tabelas já contem na sua

estrutura a chave primária. Mas como em nosso exemplo não haviam chaves, a criação manual foi necessária.

Para isso clique na coluna que deseja tornar chave e com o botão direito escolha a opção Set Logical Primary Key.

Page 29: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 29 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Definição da chave primática lógica na tabela

Esta opção cria uma chave lógica, ou virtual, já que no serviço OLAP não podemos alterar a estrutura física da tabela.

Caso uma tabela não contenha chav primária lógica ou física no processamento do cubo ocorrerá um erro e não será

possivel gerar os dados analíticos.

Page 30: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 30 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Definindo Cubos

A definição dos cubos é criada ao clicarmos no projeto em Cubes e com o botão direito a opção New Cube.

O inicio da criação do cubo se dá por escolher se utilizará as fontes de dados anteriormente criadas ou se utilizaremos

templates prontos.

Na opção de utilizar os data sources criados, a opção auto build permite que o próprio serviço crie os cubos com

dimensão e agregações, mas não é recomendado pois utilizará todas as colunas da tabela fato como agregação e todas

da tabela de apoio como dimensões, gerando cubos grandes e com dados desnecessários.

Definição do tipo e construtor a ser utilizado no cubo

O passo seguinte é escolher dentre as apresentações de dados (data source view) qual será utilizada como fonte para a

geração do cubo.

Page 31: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 31 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Seleção da fonte de dados

Baseado na fonte de dados o assistente mostra uma lista com as tabelas que estão vinculadas e permite escolher uma

como fato e as outras como dimensão.

Lembre-se de que a tabela de fato agrega dados e as de dimensão serverm para formar os critérios de pesquisa.

Page 32: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 32 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Identificação da tabelas de fatos e dimensão

Após a identificação da tabela de fatos escolhemos as colunas que serão agregadas.

Não se agrega todas as colunas numericas, uma vez que nem todas possuem dados significativos.

Agregue as colunas que contenham dados que realmente irão servir para análisar uma tendencia ou outro desvio nos

fatos pesquisados.

Page 33: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 33 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Definição das colunas que serão usadas como medidas (agregadas)

Definidos os dados agregados definimos quais eixos, ou subgrupos, que essas agregações serão efetuadas.

Assim como no caso das agregações não se deve escolher todas as colunas de todas as tabelas como dimensões pois

quantas mais dimensões forem escolhidas mais dados precisam ser gerados.

Page 34: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 34 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Definição das colunas que serão usadas como dimensão (eixo)

O cubo está completo, digite o nome do objeto e confirme as agregações (measures) e as dimensões (dimensions).

Page 35: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 35 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Nome do cubo e resumo das configurações

No construtor podemos agora ver o cubo montado, a tabela amarela como a tabela de fato e as outras a sua volta.

Note tambem que nas propriedades do projeto é possivel agora ver que as dimensões da tabela foram incluidas no

menu Dimensions.

Page 36: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 36 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Construtor do cubo gerado pelo assistente

Dimensões tambem podem ser criadas utilizando assistentes específicos para certos tipos de dados.

Para criar uma dimensão com o assistente utilize o botão Add Business Intelligence e defina o tipo de assistente e a

coluna que será utilizada.

Page 37: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 37 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Criação de dimensões

É interresante a criação de dimensões com dados do tipo data pois permite a criação de divisões anuais, trimestrais,

quadrimestrais, semanais e assim por diante.

Também é possivel renomear as agregações e as dimensões por clicar em um destes e com o botão direito abrir a janela

Properties (propriedades), onde alem de definir o nome que o item erá ao ser apresentado tambem podemos definir o

tipo de dado e outros atributos.

Page 38: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 38 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Processando e Visualizando Cubos

Para processar o cubo e ver os resultados podemos clicar no botão Process (o segundo na barra de ferramentas do

cubo).

Caso o projeto ainda não esteja salvo o Visual Studio 2005 irá gerar um aviso e salvará o projeto para o processo.

O projeto deve ser salvo antes de processado

Iniciado o processamento do cubo o primeiro dado informado é o tipo de processamento.

Os processamentos podem ser Full (completo) ou Incremental (apenas alterações). Normalmente utilizamos o modo full,

uma vez que o modo completo não poe ser usado com exatidão em tabelas que sofrem alterações. Caso a tabela de fato

Page 39: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 39 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

sofra apenas inserções, o modo incremental funcionaria perfeitamente, mas como normalmente as tabelas sofrem

alterações em registros já existentes, o modo full se torna mais confiável.

Acesso as configurações de processamento

Page 40: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 40 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Escolhendo o modo de processamento podemos executar o cubo (Run) e teremos uma tela de aviso com o andamento

do processamento.

Esta tela de processamento muitas vezes acusa erro de processo, principalmente quando existirem chaves orfãs, ou seja,

chaves estrangeiras inválidas no banco de dados.

Nos casos em que ocorrerem erros, clique sobre a linha que aparecerá com um X vermelho e será indicado o código da

chave que gerou o erro, permitindo que procure a solução.

Processamento sendo efetuado

Com o cubo já processado podemos visualizar seus dados para termos uma idéia de como o usuário verá as análises.

Para isso clique na aba Browse do Visual Studio 2005 e verá do lado direito uma árvore com as medidas acima e as

dimensões separadas por tabela de dimensão embaixo.

Page 41: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 41 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Colocar os dados no cubo é muito simples, basta arrastar. Lembre-se de que as medidas sempre são colocadas no meio,

na região de totais ou detalhes. Na região de colunas e linhas devem ser colocadas as dimensões.

No exemplo abaixo foi arrastado o código da empresa como coluna e o código do serviço como linha. Em detalhes foi

arrastada a medida quantidade de passageiros.

O resultado é bem interessante, temos uma tabela com a quantidade transportada por cada empresa por tipo de serviço

que foi executado, fornecendo uma boa visão da abrangência de cada empresa.

Browse do cubo com eixos e colunas e medidas

Neste segundo exemplo o código do serviço foi arrastado para debaixo do código da empresa, gerando os mesmos

dados, mas agora com um formato horizontal e hirarquico.

Note que o visualizador (pivot table) gera sinais (+ e -) para que possamos abrir os detalhes da empresa, ou seja,

clicando nestes sinais podemos ver apenas a empresa ou a empresa separada por tipo de serviço executado.

Page 42: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 42 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Cubo apenas com colunas, mas com hierarquia de dados

Por fim, neste ultimo exemplo foi arrastada a dimensão código da sub região (Cod SR) para a área de linha gerando mais

uma divisão em como os dados estão sendo visualizados, agora mostrando um total de passageiros para cada região

atendida por uma empresa.

Notamos por exemplo, que a empresa 001 atua nos serviços EMC/EMM/EMS na região SP1 e uma baixa abrangência de

atuação na região SP4/SP5 no serviço EMS. Esta análise pode ser vista sem ter que ler relatórios complexos e

gigantescos, ou então precisar de funcionários analisando estes dados continuamente.

Page 43: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 43 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Cubo completo com hierarquia, colunas, linhas e medidas

Page 44: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 44 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Definições Adicionais nos Cubos

Trataremos agora de definições avançadas em cubos, permitindo a customização de dados, ações e modo de

armazenamento.

Medidas

Medidas são dados que já existem nos cubos e que podem sofrer cálculos ou processos.

Por exemplo, em uma tabela temos a quantidade e o preço unitário de cada item do pedido mas não temos o valor do

imposto, apenas o percentual cobrado. Podemos neste caso criar uma coluna calculada que é o valor multiplicado pela

aliquota de imposto.

Para inserir colunas calculadas clique na aba Calculations e será possivel criar três tipos de calculos: Calculared Member,

Script e Named Set.

Iremos trabalhar com as Calculated Member que são os dados utilizados em visualizações, montados com expressões

comuns, exemplo, [Preço] * [ICMS].

Os objetos do tipo Script permitem uma forma avançada de cálculos baseados em uma linguagem chamada MDX, similar

ao DDL mas própria para uso em OLAP. Como esta linguagem é complexa e pouco usada no dia a dia, não abrangeremos

neste tópico.

Os objetos do tipo Named Set permitem separar o cubo em pedaços menores, como se fossem grupos e reutilizá-los

similar a funções em uma linguagem de programação.

Caso tenha necessidade de utilizar algum destes recursos poderá utilizar a guia Templates no canto inferior direito onde

aparece a lista de objetos do cursor e arrastar as funções que já estão pré-programadas, evitando ter que escrever toda

a fórmula MDX.

Nota: Ao criar novas dimensões em um cubo já processado é necessário reprocessar as dimensões. Para

isso no Project Explorer abra o grupo Dimensions e com o botão direito escolha a opção Process para

recalcular a dimensão alterada.

Nota: Ao clicar na aba Calculations consta um script com o comando CALCULATE. Caso delete este

script os processamentos do cubo podem ficar vazios.

Page 45: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 45 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

No exemplo abaixo foi criada uma coluna calculada (Calculated Member) baseada na quantidade de passageiros que

utilizaram vale transporte dividido pelo percentual total, gerando um dado de relatividade.

Definição de uma coluna calculada (Calculated Member)

Note que no cubo agora podemos ver esta coluna com um sinal de uma calculadora logo abaixo das medidas que já

existiam no cubo.

Page 46: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 46 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Visualização do cubo agora com a coluna calculada

KPI (Indicadores Chaves de Performance)

KPIs permitem que criemos em um cubo dados calculados para gerar gráficos.

Por exemplo, pode-se criar um KPI para indicar com um valor numérico o sexo do individuo e atribuir por um script este

valor.

Como KPI envolvem scripts e MDX avançados não iremos abordá-los, mas vale a pena lembrar que como em medidas as

KPI possuem templates como exemplo para um início menos obscuro com esta avançada opção de análise.

Page 47: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 47 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Ações

As ações são definições de atos que podem ocorrer quando uma célula for clicada.

Por exemplo, é possivel fazer com que ao clicar em um produto no cubo o usuário seja redirecionado para uma página

no site da empresa que mostre a foto e os dados daquele produto.

As ações podem ser do tipo Drilldown (expande e retrai árvores), Report Server (para uso com o SQL Server Reporting

Services) ou Action (customizado).

O mais comum de ser usado é o Action e utilizar como tipo URL para redirecionamento.

Os níveis de pesquisa podem ser células, atributos ou grupos. O mais útil são os atributos onde podemos definir o dado

que servirá de pesquisa na URL.

Um exemplo interessante é ao clicarmos sobre uma cidade com o botão direito podermos consultar no google os dados

daquela cidade, claro que o link ao invés do google poderia ser o da sua empresa.

Para isso montamos a expressão de pesquisa como "http://www.google.com/search?q=" + [LINHA].[Nom

Origem].CurrentMember.Name, onde a string final formada será a URL do google mais o nome da cidade corrente onde foi clicado.

Page 48: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 48 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Ação de cubo baseada em URL com parametro

Com a ação criada podemos reprocessar o cubo, colocar a coluna escolhida no pivot table e clicar com o botão direito sobre o nome

de alguma cidade, como pode ser visto na figura a seguir.

Page 49: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 49 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Browser com a ação criada na lista de opções

Com as ações podemos dar vida aos cubos integrando com outras aplicações, principalmente pela web.

Partições

Partições são as definições de armazenamento dos dados gerados.

Como vimos no inicio, as partições podem ser MOLAP (total), HOLAP (parcial) ou ROLAP (leitura online), sendo o MOLAP

o que ocupa mais espaço e com melhor performance e o ROLAP o que ocupa menos espaço e com menor performance,

como o gráfico a seguir.

Page 50: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 50 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Tamanho Performance

MOLAP

HOLAP

ROLAP

Ao clicar em Storage Options podemos configurar o tipo de armazanamento que será utilizado.

Definição do tipo de armazenamento a ser utilizado

Page 51: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 51 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Tambem é possível configurar se utilizará neste cubo o cache ou não, devendo valer a regra de que apenas os cubos

muito utilizados deverão estar em cache.

Por fim podemos particionar os cubos em diferentes servidores, utilizando a opção New Partition, mas note que para

isso é necessário informar uma consulta. Esta consulta deve definir quais dados cda partição irá

conter.

Definição do particionamento

Por exemplo, uma partição pode ter o filtro Estado=’SP’ e a outra partição Estado<>’SP’, cada partição em um servidor e

balanceando a carga entre eles.

O problema do particionamento é a questão da performance de rede, uma vez que será necessário acessar dois

servidores ao mesmo tempo.

Perspectivas

Se um cubo

Page 52: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 52 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Perspectivas

Estas permitem que criemos visões resumidas do cubo.

Uma boa aplicação é quando um cubo possui muitos dados e precisamos criar subconsultas facilitando os usuários em

encontrarem apenas o que desejam.

Para isso clique no botão New Perspectives e defina os itens que irão constar nesta perspectiva.

Definição de uma nova perspectiva

Para utilizar a nova perspectiva utilize a opção correspondente na pivot table.

Page 53: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 53 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Utilização da perspectivas com dados limitados

Translations (Traduções)

Se um cubo for utilizado por pessoas de diversos paises podemos criar um dicionário para cada cubo, medida e

dimensão.

Esta opção é extramente util apenas quando temos a configuração multinacional em um cubo.

Para criar um novo idioma clique no botão New Translation e indique o idioma e o país. Depois basta colocar o nome

nos itens desejados.

Page 54: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 54 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Criação de um novo idioma

Page 55: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 55 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Cubo utilizando um diferente idioma

Page 56: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 56 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Segurança

A segurança em cubos é muito simples de ser configurada.

Clique na árvore Roles (papéis) do projeto e crie um novo papel.

Criação de um novo papel de segurança (role)

Note as diversas abas para configuração:

• General – Nível de acesso e comentários.

• Membership – Lista dos membros que podem ser usuários e grupos do Windows ou do SQL.

• DataSources – Quais fontes de dados podem ser utilizadas.

Page 57: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 57 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

• Cubos – Quais os cubos que este papel pode acessar.

• Cell Data – Permissões para agregações (medidas) em cada cubo com permissão.

• Dimensions – Quais as dimensões que podem ser utilizadas.

• Dimensions Data – Dentro de cada dimensão podemos definir quais os itens que podem ser acessados, criando

uma segurança a nivel granular.

• Mining Structures – Quais os modelos estatisticos que podem ser usados.

Page 58: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 58 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Visualizando no Excel

O Microsoft Office Excel é o melhor visualizador para os cubos.

Para isso vá até o menu Dados -> Obter Dados Externos e na lista de provedores escolha Microsoft Analisys Services ou

OLAP Services, variando conforme a versão do Excel instalado no cliente.

Defina o usuário e a senha utilizada para abrir o cubo, o nome do dabatase e o cubo desejado.

Como ultimo passo defina em qual célula o Excel incluirá a pivot table.

Agora arraste as colunas e as linhas para as posições desejadas e trabalhe livremente com o Excel.

Manipulação dos dados utilizando o Excel 2007 TR

Page 59: Introdução a Data Warehouse e OLAP.pdf

Versão: 2.0 www.marcelosincic.com.br Página 59 de 59

www.marcelosincic.com.br Reprodução e distribuição livre

Planilha do Excel 2007 TR com o cubo incluido