15
ODI Tutorial March 31 2012 Uso da ferramenta Oracle Data Integrator (ODI) para a construção de processos ETL (Extract, Transform and Load). Nesta série de tutoriais, utilizaremos o ODI para integrar dados de diferentes origens (banco de dados diferentes e arquivos texto) para uma base de destino Oracle. Configuração Modelo de Dados

ODI Tutorial - Modelo de Dados

Embed Size (px)

DESCRIPTION

Quarto documento da Série Tutorial Oracle Data Integrator. Neste tutorial demonstro como criar o Modelo de Dados do DW e o Modelo de Dados do DM. Estamos utilizando tabelas Oracle e ArqTXT como fonte e destino de dados.

Citation preview

Page 1: ODI Tutorial - Modelo de Dados

ODI Tutorial

March 31

2012 Uso da ferramenta Oracle Data Integrator (ODI) para a construção de processos ETL (Extract, Transform and Load). Nesta série de tutoriais, utilizaremos o ODI para integrar dados de diferentes origens (banco de dados diferentes e arquivos texto) para uma base de destino Oracle.

Configuração Modelo de Dados

Page 2: ODI Tutorial - Modelo de Dados

ODI – Configuração do Modelo de Dados

Para criar um novo modelo de dados, siga os passos descritos abaixo:

1. Abra o ODI Designer. Clique em na pasta Models e selecione Insert Model

Folder. Digite DW_ORIGEM no campo Name. Este passo é importante para

organizar os modelos de dados.

2. Após criar a pasta, vamos criar a estrutura do modelo de dados. Para o nosso

Projeto o ambiente fonte (origem de dados) é uma tabela, vamos parametrizar

este ambiente para poder utilizar a tabela criada no passo anterior. Preencha as

informações tal qual descrita na tabela abaixo:

Parâmetro Valor

Name SRC_TABLES

Technology Oracle

Logical Schema LOGICAL_DW_ORIGEM

Page 3: ODI Tutorial - Modelo de Dados

3. Agora clique na aba Reverse e vamos parametrizar a engenharia reversa das

tabelas e importar para dentro do ODI a estrutura física das tabelas que estão

no banco de dados Oracle. Selecione o Contexto Desenvolvimento, o Tipo de

Objeto a ser parametrizado é uma tabela portanto, selecione Table e depois

clique nos botões Apply e Reverse nesta sequência.

O resultado podemos ver a esquerda do painel de modelo de dados, veja que

na estrutura abaixo do modelo que criamos SRC_TABLES existem vários

Page 4: ODI Tutorial - Modelo de Dados

objetos sendo que alguns deles são as nossas tabelas CLIENTE,

FATURAMENTO, GRUPO_ITEM, ITEM_ESTOQUE, ITEM_NF,

TIPO_CLIENTE e VENDEDOR.

4. Após fazer a engenharia reversa das tabelas, verifique se realmente as tabelas

foram criadas e para isso veja a sequencia abaixo, o primeiro que devemos

fazer é selecionar a tabela que queremos:

Em seguida clique na tabela desejada, vou utilizar a tabela TIPO_CLIENTE

como exemplo, com o botão direito do mouse e em seguida selecione a opção

Data ou View Data.

Você deverá ter uma visão dos dados semelhante a figura mostrada abaixo:

Page 5: ODI Tutorial - Modelo de Dados

Esse processo poderá ser repetido para todas as tabelas para que tenhamos

certeza de que o ambiente ORIGEM tenha sido criado com sucesso.

Utilizando os mesmos passos visto acima, crie o ambiente de DESTINO do nosso

projeto, levando em consideração que a pasta do modelo deve se chamar

DW_DESTINO e o modelo de dados deve se chamar TRG_TABLES conforme tabela

abaixo:

Parâmetro Valor

Name TRG_TABLES

Technology Oracle

Logical Schema LOGICAL_DW_DESTINO

Devem ser importadas as tabelas DIM_CLIENTE, DIM_PRODUTO, DIM_TEMPO,

DIM_VENDEDOR e FATO_VENDAS.

Page 6: ODI Tutorial - Modelo de Dados

ODI – Configuração de Topologia para ArqTxt

Depois de criar o modelo de dados para o banco de dados devemos configurar a

utilização de arquivos textos dentro do Oracle Data Integrator. Para essa tarefa

teremos que utilizar dois módulos do ODI, o módulo Topology para configurar o

armazenamento físico do arquivo e o módulo Designer para configurar o modelo de

dados para este arquivo texto.

Para criar o esquema físico para um novo modelo de arquivo texto siga os seguintes

passos:

1. Entre no módulo Topology. Já dentro do módulo, click na pasta Physical

Architecture e selecione Technologies > File. Clique com o botão direito e

em seguida selecione a opção Insert Data Server.

2. Uma nova janela irá abrir e nela devemos fazer duas parametrizações, na

primeira aba denominada Definition dê um nome para o esquema físico, no

nosso caso o nome será EXPORT-TBL-ARQTXT conforme mostrado na figura

abaixo.

Page 7: ODI Tutorial - Modelo de Dados

3. Clique na aba JDBC para configurar a conexão para o arquivo texto. O

parâmetro JDBC Driver deve ser preenchido com

com.sunopsis.jdbc.driver.file.FileDriver e o parâmetro JDBC Url deve ser

preenchido com jdbc:snps:dbfile.

4. Clique no botão Test para verificar se a parametrização feita está correta e em

seguida clique no botão Apply para continuar a configuração do esquema

físico.

Page 8: ODI Tutorial - Modelo de Dados

5. Após clicar no botão Apply uma nova janela vai se abrir, para os campos

Directory (Schema) e Directory (Work Schema) entre o caminho

(diretório) onde os arquivos serão gerados, para nosso projeto utilize o

seguinte caminho C:\PROCESSO\INTEGRACAO\ARQUIVOS.

Page 9: ODI Tutorial - Modelo de Dados

6. Ao clicar no botão Apply para continuar a configuração será apresentada uma

mensagem de aviso, onde informa que o esquema não possui Context. Neste

instante não há problema pois ainda iremos configurar o esquema lógico e o

contexto, resolvendo o problema. Caso não façamos essa configuração não

será possível utilizar as estruturas de arquivo texto. Clique no botão OK.

7. Para verificar se o esquema físico foi criado corretamente veja ao lado esquedo

da tela de navegação se exite o esquema EXPORT-TBL-ARQTXT criado,

abrindo o esquema como se fosse um diretório (clicando no símbolo “+”)

devemos ter a mesma visão que a figura abaixo nos mostra.

8. Dentro do módulo Logical Architecture vá até Technologies > File, com o

botão direito selecione a opção Insert Logical Schema.

Page 10: ODI Tutorial - Modelo de Dados

9. Uma nova janela será aberta, nela devemos parametrizar o esquema lógico

para geração do arquivo texto, lembrando que no momento em que estamos

desenvolvendo uma interface o objeto atribuído como esquema de trabalho de

parametrização sempre é o esquema lógico por isso sua importância é vital.

Para manter a padronização iremos utilizar o mesmo nome do esquema físico

no esquema lógico EXP-TBL-ARQTXT. Neste passo também devemos definir

quais são os Contextos que iremos utilizar, para o nosso projeto iremos utilizar

os Contextos Global e Desenvolvimento. Para parametrizar basta clicar no

campo Physical Schema que um Drop List será apresentado, selecione o

esquema físico correpondente e em seguida clique no botão OK.

10. Valide se o esquema lógico foi criado, veja no painel de navegação se o

esquema lógico foi criado.

Page 11: ODI Tutorial - Modelo de Dados

ODI – Configuração de Modelo para ArqTxt

Depois de criar a topologia física e lógica para o nosso arquivo texto é o momento para

configurar o modelo de dados para o arquivo texto. Para criar o modelo de dados siga

os passos abaixo:

1. No módulo Designer vá até a aba Models e clique com o botão direito sobre

o diretório que já criamos anteriormente DW_ORIGEM, selecione a opção

Insert Model conforme apresentado na figura abaixo:

2. Uma nova janela será apresentada, iremos preencher os parâmetros nas abas

Definition e Reverse, conforme a tabela abaixo e as figuras ilustrativas:

Parâmetro Valor

Name SRC_FILES

Technology File

Logical Schema EXPORT-TBL-ARQTXT

Context Global

Type of object to Reverse-Engineer Table

Page 12: ODI Tutorial - Modelo de Dados

Aba Definition.

Aba Reverse.

Diferentemente do modelo de dados do banco de dados, não devemos fazer o

Reverse-engineer pois não temos o arquivo criado, logo não haverá referência

para a engenharia-reversa.

Após a configuração clique no botão OK.

3. Veja se o modelo de dados foi criado, navegando no painel a esquerda, o

resultado deve ser algo semelhante a figura abaixo:

Page 13: ODI Tutorial - Modelo de Dados

4. Agora você deve criar a estrutura do arquivo texto, para isso clique com o

botão direito sobre o modelo criado SRC_FILES e selecione a opção Insert

Datastore.

5. Uma nova janela será aberta, nela devemos configurar as abas Definition,

Files e Columns. Utilze a tabela abaixo para configuração dos campos:

Page 14: ODI Tutorial - Modelo de Dados

Parâmetro (Aba Definition) Valor

Name SRC_PERIOD

Alias PER

Datastore Type Table

OLAP Type <Undefined>

Resource Name SRC_DATETIME.TXT

Parâmetro (Aba Files) Valor

File Format Delimited

Heading (Number of Lines) 1

Record Separator MS-DOS

Field Separator Other

Symbol Field Separator “;”

Page 15: ODI Tutorial - Modelo de Dados

Para criar os campos manualmente clique no botão .

Name Type Physical Length Logical Length

ID_TEMPO Numeric 5 5

DATA_DIA Date 10 10

DIA String 2 2

DIA_SEMANA String 1 1

MES String 2 2

MES_ANO String 8 8

ANO String 4 4

TURNO String 1 1

6. Terminada a configuração clique no botão OK e verifique no painel de

navegação a esquerda se o seu modelo de dados foi criado.