Upload
caio-lima
View
6.621
Download
2
Embed Size (px)
DESCRIPTION
Quarto documento da Série Tutorial Oracle Data Integrator. Neste tutorial demonstro como criar o Modelo de Dados do DW e o Modelo de Dados do DM. Estamos utilizando tabelas Oracle e ArqTXT como fonte e destino de dados.
Citation preview
ODI Tutorial
March 31
2012 Uso da ferramenta Oracle Data Integrator (ODI) para a construção de processos ETL (Extract, Transform and Load). Nesta série de tutoriais, utilizaremos o ODI para integrar dados de diferentes origens (banco de dados diferentes e arquivos texto) para uma base de destino Oracle.
Configuração Modelo de Dados
ODI – Configuração do Modelo de Dados
Para criar um novo modelo de dados, siga os passos descritos abaixo:
1. Abra o ODI Designer. Clique em na pasta Models e selecione Insert Model
Folder. Digite DW_ORIGEM no campo Name. Este passo é importante para
organizar os modelos de dados.
2. Após criar a pasta, vamos criar a estrutura do modelo de dados. Para o nosso
Projeto o ambiente fonte (origem de dados) é uma tabela, vamos parametrizar
este ambiente para poder utilizar a tabela criada no passo anterior. Preencha as
informações tal qual descrita na tabela abaixo:
Parâmetro Valor
Name SRC_TABLES
Technology Oracle
Logical Schema LOGICAL_DW_ORIGEM
3. Agora clique na aba Reverse e vamos parametrizar a engenharia reversa das
tabelas e importar para dentro do ODI a estrutura física das tabelas que estão
no banco de dados Oracle. Selecione o Contexto Desenvolvimento, o Tipo de
Objeto a ser parametrizado é uma tabela portanto, selecione Table e depois
clique nos botões Apply e Reverse nesta sequência.
O resultado podemos ver a esquerda do painel de modelo de dados, veja que
na estrutura abaixo do modelo que criamos SRC_TABLES existem vários
objetos sendo que alguns deles são as nossas tabelas CLIENTE,
FATURAMENTO, GRUPO_ITEM, ITEM_ESTOQUE, ITEM_NF,
TIPO_CLIENTE e VENDEDOR.
4. Após fazer a engenharia reversa das tabelas, verifique se realmente as tabelas
foram criadas e para isso veja a sequencia abaixo, o primeiro que devemos
fazer é selecionar a tabela que queremos:
Em seguida clique na tabela desejada, vou utilizar a tabela TIPO_CLIENTE
como exemplo, com o botão direito do mouse e em seguida selecione a opção
Data ou View Data.
Você deverá ter uma visão dos dados semelhante a figura mostrada abaixo:
Esse processo poderá ser repetido para todas as tabelas para que tenhamos
certeza de que o ambiente ORIGEM tenha sido criado com sucesso.
Utilizando os mesmos passos visto acima, crie o ambiente de DESTINO do nosso
projeto, levando em consideração que a pasta do modelo deve se chamar
DW_DESTINO e o modelo de dados deve se chamar TRG_TABLES conforme tabela
abaixo:
Parâmetro Valor
Name TRG_TABLES
Technology Oracle
Logical Schema LOGICAL_DW_DESTINO
Devem ser importadas as tabelas DIM_CLIENTE, DIM_PRODUTO, DIM_TEMPO,
DIM_VENDEDOR e FATO_VENDAS.
ODI – Configuração de Topologia para ArqTxt
Depois de criar o modelo de dados para o banco de dados devemos configurar a
utilização de arquivos textos dentro do Oracle Data Integrator. Para essa tarefa
teremos que utilizar dois módulos do ODI, o módulo Topology para configurar o
armazenamento físico do arquivo e o módulo Designer para configurar o modelo de
dados para este arquivo texto.
Para criar o esquema físico para um novo modelo de arquivo texto siga os seguintes
passos:
1. Entre no módulo Topology. Já dentro do módulo, click na pasta Physical
Architecture e selecione Technologies > File. Clique com o botão direito e
em seguida selecione a opção Insert Data Server.
2. Uma nova janela irá abrir e nela devemos fazer duas parametrizações, na
primeira aba denominada Definition dê um nome para o esquema físico, no
nosso caso o nome será EXPORT-TBL-ARQTXT conforme mostrado na figura
abaixo.
3. Clique na aba JDBC para configurar a conexão para o arquivo texto. O
parâmetro JDBC Driver deve ser preenchido com
com.sunopsis.jdbc.driver.file.FileDriver e o parâmetro JDBC Url deve ser
preenchido com jdbc:snps:dbfile.
4. Clique no botão Test para verificar se a parametrização feita está correta e em
seguida clique no botão Apply para continuar a configuração do esquema
físico.
5. Após clicar no botão Apply uma nova janela vai se abrir, para os campos
Directory (Schema) e Directory (Work Schema) entre o caminho
(diretório) onde os arquivos serão gerados, para nosso projeto utilize o
seguinte caminho C:\PROCESSO\INTEGRACAO\ARQUIVOS.
6. Ao clicar no botão Apply para continuar a configuração será apresentada uma
mensagem de aviso, onde informa que o esquema não possui Context. Neste
instante não há problema pois ainda iremos configurar o esquema lógico e o
contexto, resolvendo o problema. Caso não façamos essa configuração não
será possível utilizar as estruturas de arquivo texto. Clique no botão OK.
7. Para verificar se o esquema físico foi criado corretamente veja ao lado esquedo
da tela de navegação se exite o esquema EXPORT-TBL-ARQTXT criado,
abrindo o esquema como se fosse um diretório (clicando no símbolo “+”)
devemos ter a mesma visão que a figura abaixo nos mostra.
8. Dentro do módulo Logical Architecture vá até Technologies > File, com o
botão direito selecione a opção Insert Logical Schema.
9. Uma nova janela será aberta, nela devemos parametrizar o esquema lógico
para geração do arquivo texto, lembrando que no momento em que estamos
desenvolvendo uma interface o objeto atribuído como esquema de trabalho de
parametrização sempre é o esquema lógico por isso sua importância é vital.
Para manter a padronização iremos utilizar o mesmo nome do esquema físico
no esquema lógico EXP-TBL-ARQTXT. Neste passo também devemos definir
quais são os Contextos que iremos utilizar, para o nosso projeto iremos utilizar
os Contextos Global e Desenvolvimento. Para parametrizar basta clicar no
campo Physical Schema que um Drop List será apresentado, selecione o
esquema físico correpondente e em seguida clique no botão OK.
10. Valide se o esquema lógico foi criado, veja no painel de navegação se o
esquema lógico foi criado.
ODI – Configuração de Modelo para ArqTxt
Depois de criar a topologia física e lógica para o nosso arquivo texto é o momento para
configurar o modelo de dados para o arquivo texto. Para criar o modelo de dados siga
os passos abaixo:
1. No módulo Designer vá até a aba Models e clique com o botão direito sobre
o diretório que já criamos anteriormente DW_ORIGEM, selecione a opção
Insert Model conforme apresentado na figura abaixo:
2. Uma nova janela será apresentada, iremos preencher os parâmetros nas abas
Definition e Reverse, conforme a tabela abaixo e as figuras ilustrativas:
Parâmetro Valor
Name SRC_FILES
Technology File
Logical Schema EXPORT-TBL-ARQTXT
Context Global
Type of object to Reverse-Engineer Table
Aba Definition.
Aba Reverse.
Diferentemente do modelo de dados do banco de dados, não devemos fazer o
Reverse-engineer pois não temos o arquivo criado, logo não haverá referência
para a engenharia-reversa.
Após a configuração clique no botão OK.
3. Veja se o modelo de dados foi criado, navegando no painel a esquerda, o
resultado deve ser algo semelhante a figura abaixo:
4. Agora você deve criar a estrutura do arquivo texto, para isso clique com o
botão direito sobre o modelo criado SRC_FILES e selecione a opção Insert
Datastore.
5. Uma nova janela será aberta, nela devemos configurar as abas Definition,
Files e Columns. Utilze a tabela abaixo para configuração dos campos:
Parâmetro (Aba Definition) Valor
Name SRC_PERIOD
Alias PER
Datastore Type Table
OLAP Type <Undefined>
Resource Name SRC_DATETIME.TXT
Parâmetro (Aba Files) Valor
File Format Delimited
Heading (Number of Lines) 1
Record Separator MS-DOS
Field Separator Other
Symbol Field Separator “;”
Para criar os campos manualmente clique no botão .
Name Type Physical Length Logical Length
ID_TEMPO Numeric 5 5
DATA_DIA Date 10 10
DIA String 2 2
DIA_SEMANA String 1 1
MES String 2 2
MES_ANO String 8 8
ANO String 4 4
TURNO String 1 1
6. Terminada a configuração clique no botão OK e verifique no painel de
navegação a esquerda se o seu modelo de dados foi criado.