February 11

ODI Tutorial

2012Repositrios Mestre e Trabalho

Uso da ferramenta Oracle Data Integrator (ODI) para a construo de processos ETL (Extract, Transform e Load). Neste sries de tutoriais, utilizaremos o ODI para integrar dados de diferentes origens (banco de dados: diferentes e arquivo texto) para uma base de destino Oracle.

Configurao repositrios Mestre e TrabalhoPara este tutorial iremos utilizar o ODI na plataforma Microsoft XP verso 10.1 e o banco de dados Oracle 10g Express Edition. Ser necessrio criar os seguintes esquemas no banco de dados: y REP_ODI_MASTER o Criar na base Oracle um schema para conter o repositrio Mestre do ODI. Este repositrio conter as estruturas das diferentes tecnologias usadas no ODI, informaes de segurana de acesso, versionamento dos projetos e modelos desenvolvidos; REP_ODI_WORK o Criar na base Oracle um schema para conter o repositrio de Trabalho do ODI. Este repositrio conter as informaes dos objetos desenvolvidos, modelo de dados, projetos, interfaces e como eles so utilizados, seus valores e propriedades; DW_ORIGEM o Contm as tabelas de origem que sero utilizadas neste tutorial; DW_DESTINO o Contm as tabelas de destino que sero populadas; DW_TEMP o Contm as tabelas temporrias do processo de ETL, este esquema ser utilizado para conexo tanto do banco de origem quanto o banco de destino;

y

y

y

y

Para criar os repositrios acima devemos seguir os seguintes passos: y Inicie o SQL Developer ou outro utilitrio para criao do novo esquema/usurio, lembrando que devemos criar o esquema e setar as permisses bsicas para tanto utilize o comando SQL abaixo:

y

Depois de criar o esquema/usurio crie uma conexo com o mesmo nome, isto ir facilitar no momento de validar as informaes no banco de dados.

y

Repita o processo at que todos os repositrios tenham sido criados.

Criao do repositrio Mestre A primeira atividade que deve ser feita aps a liberao do ambiente a criao do repositrio mestre (Master Repository). Para realizar esta tarefa devemos acessar a aplicao Master Repository Creation, o caminho padro pode ser visto na figura abaixo:

No Master Repository Creation (Figura acima) devemos indicar qual esquema do banco de dados ser o repositrio Mestre do ambiente, neste caso REP_ODI_MASTER.

Master Repository Driver URL User Password Technology

Parmetro oracle.jdbc.driver.OracleDriver jdbc:oracle:thin:@localhost:1521:xe rep_odi_master rep_odi_master Oracle

Aps a configurao verificamos no repositrio Mestre se as tabelas de configurao e suporte (prefixo SNP) foram criadas (veja figura abaixo). Utilize o SQL Developer para realizar essa tarefa.

Relao de tabelas criadas na configurao do repositrio MestreSNP_ACTION SNP_AGENT SNP_ALLOC_AGENT SNP_CONNECT SNP_CONNECT_PROP SNP_CONTEXT SNP_CONV_DT SNP_DATA SNP_DT SNP_ENT_ID SNP_ENTITY SNP_FF_VALUEM SNP_FIELD SNP_FIELD_LOOKUP SNP_FLEX_FIELD SNP_GRP_ACTION SNP_HIST_VERSION SNP_HOST SNP_HOST_MOD SNP_INST_OBJ SNP_LAGENT SNP_LANG SNP_LANG_ELT SNP_LANG_TECHNO SNP_LB_AGENT SNP_LE_TECHNO SNP_LICENSE SNP_LINE_ACTION SNP_LINK SNP_LOC_REP SNP_LOOKUP SNP_LOOKUP_VALUE SNP_LSCHEMA SNP_METHOD SNP_MODULE SNP_MORIG_TXT SNP_MTXT SNP_MTXT_PART SNP_OBJECT SNP_OPEN_TOOL SNP_PROF_METH SNP_PROFILE SNP_PSCHEMA SNP_PSCHEMA_CONT SNP_PWD_POLICY SNP_PWD_RULE SNP_REM_REP SNP_SOL_ELT SNP_SOLUTION SNP_SUB_LANG SNP_TECHNO SNP_U_O_M_REP SNP_USER SNP_USER_METH SNP_USER_OBJ_METH SNP_USER_PREF SNP_USER_PROF SNP_VERSION

Configurao de usurio de acessoNesta etapa do processo iremos criar um usurio para as conexes com os mdulos do ODI (Designer, Topology, Operator, Security), esta etapa no obrigatria, pois o ODI tem um usurio chamado SUPERVISOR que podera ser utilizado. Porm, as melhores prticas de arquitetura e segurana indicam que deve-se criar usurios especficos para cada tipo de atividade que for realizada dentro do ambiente. Vamos criar um usurio chamado DW_DBA com permisses de super usurio. O Login dever ser chamado de OracleDI Tutorial Series. Acesse o mdulo Security Manager conforme demonstrado na figura abaixo:

Antes de continuar cabe uma explicao sobre o significado das nomenclaturas que iremos utilizar: y y y Login: Login de acesso ao ODI, a conta que utilizaremos para acessar o ODI. User: Usurio do ODI. O ODI nos permite criar diversos usurios, com diversos tipos de acesso e restries diferentes. Esquema: Esquema do banco de dados Oracle.

Na tela de login devemos criar um novo login para o nosso projeto e fazer a associao com o repositrio Mestre, que foi criado na etapa anterior. Clique no boto New ser apresentada a tela de configurao do mdulo Security Manager, conforme podemos ver na figura abaixo. Nesta tela deve-se parametrizar o novo Login, o usurio do ODI, a senha para este usurio e tambm parametrizar as configuraes de conexo.

Vamos dividir a configurao em duas parte, na primeira vamos parametrizar o repositrio Mestre e os parmetros de configurao, utilizando o usurio SUPERVISOR (senha SUNOPSIS) como usurio de acesso. Veja como vai ficar essa configurao na figura abaixo, utilize os parmetros listados na tabela abaixo:

OracleDI - Connection Login Name User Password

Parmetro OracleDI Tutorial Series SUPERVISOR SUNOPSIS

Database Connection (Master) User Password Driver List Driver Name URL Default Connection

Parmetro rep_odi_master rep_odi_master Oracle JDBC Driver oracle.jdbc.driver.OracleDriver jdbc:oracle:thin:@localhost:1521:xe Marcar para transformar em default esta conexo, toda vez que abrir os mdulos do ODI o login ir aparecer como sugesto.

Agora que j temos um Login de acesso configurado, o momento para a criao dos usurios de acesso. Para o nosso projeto iremos criar um usurio com previlgio de administrador. Entre no mdulo Security Manger, procure a pasta Users, clique com o boto direito no usurio SUPERVISOR e selecione a opo Insert .

importante salientar que aps criar um usurio o mesmo possui apenas os privilgios bsicos de acesso.

O nosso usurio dever conter os privilgios de Supervisor logo, marque a opo Supervisor que se encontra no final da tela de configurao. A configurao de cada usurio depende de sua utilidade dentro da estrutura do projeto. Se o usurio no pode ter privilgios de Supervisor possvel customiz-lo para as funes pretendidas.

Configurando o repositrio de TrabalhoA ltima atividade de configurao dos repositrios a criao e configurao do repositrio de Trabalho. Esta configurao feita utilizando o mdulo Topology.

No momento de acessar o mdulo Topology Manager, utilize as configuraes criadas no passo anterior. Selecione o Login OracleDI Tutorial Series e informe o usurio e senha DW_DBA, conforme a figura abaixo:

Prosseguimos com a configurao do ambiente, neste ponto vamos inserir o repositrio de trabalho. Dentro do mdulo Topology Manager, clique na aba Repository.

Agora clique com o boto direito do mouse na opo Work Repositories e selecione a opo Insert Work Repository .

Comece a configurao do repositrio de trabalho pela aba Definition conforme mostrado na figura.

Agora iremos configurar a aba JDBC.

Voltando para a aba Definition, testamos a conexo com o repositrio de trabalho clicando na opo Test, desta mesma janela. Aps o teste de conexo devemos indicar um determinado nmero de identificao (ODI) para o repositrio que ser utilizado pelo ODI e um nome para este repositrio. Tambm deve fazer a escolha do tipo de repositrio: Development ou Execution.

Aps a configurao verificamos no repositrio de Trabalho se as tabelas dos objetos de desenvolvimento e informaes de execuo foram criadas (veja figura abaixo). Utilize o SQL Developer para realizar essa tarefa.

Relao de tabelas criadas na configurao do repositrio de TrabalhoSNP_COL SNP_COND SNP_DIAG_PARAM SNP_DIAGRAM SNP_EXP_TXT SNP_FF_VALUEE SNP_FF_VALUEW SNP_FOLDER SNP_GRP_STATE SNP_ID SNP_INDIRECT_MREF SNP_JOIN SNP_JOIN_COL SNP_KEY SNP_KEY_COL SNP_LINE_TRT SNP_LINE_TRT_UE SNP_LINK_COORD SNP_LINK_DIAG SNP_LOC_REPW SNP_LOCK SNP_LOCKED_OBJECT SNP_MISSING_REF SNP_MOD_FOLDER SNP_MODEL SNP_OBJ_DIAG SNP_OBJ_STATE SNP_OBJ_TRACE SNP_OBJECT_ID SNP_OBJECT_ID_COL SNP_ORIG_TXT SNP_PACKAGE SNP_PLAN_AGENT SNP_POP SNP_POP_CLAUSE SNP_POP_COL SNP_POP_CONSTRAINT SNP_POP_CONTEXT SNP_PROJECT SNP_REV_COL SNP_REV_COND SNP_REV_FOR_TABLE SNP_REV_JOIN SNP_REV_JOIN_COL SNP_REV_KEY SNP_REV_KEY_COL SNP_REV_SUB_MODEL SNP_REV_TABLE SNP_SCEN SNP_SCEN_FOLDER SNP_SCEN_REPORT SNP_SCEN_STEP SNP_SCEN_TASK SNP_SCEN_TXT SNP_SEQ_DATA SNP_SEQ_SCEN SNP_SEQ_SESS SNP_SEQUENCE SNP_SESS_FOLDER SNP_SESS_STEP SNP_SESS_TASK SNP_SESS_TASK_LOG SNP_SESS_TXT_LOG SNP_SESSION SNP_SOURCE_TAB SNP_SRC_SET SNP_STATE SNP_STATE2 SNP_STEP SNP_STEP_LOG SNP_STEP_REPORT SNP_SUB_MODEL SNP_TABLE SNP_TASK_TXT SNP_TRT SNP_TXT SNP_TXT_CROSSR SNP_UE_ORIG SNP_UE_USED SNP_UFUNC SNP_UFUNC_IMPL SNP_UFUNC_TECHNO SNP_USER_EXIT SNP_VAR SNP_VAR_DATA SNP_VAR_PLAN_AGENT SNP_VAR_SCEN SNP_VAR_SESS