of 37 /37

Overview ODI 2k7

Embed Size (px)

Text of Overview ODI 2k7

Oracle Data IntegratorErika Savio

Agenda Por que Integrao ? Oracle Data Integrator Diferenciadores Chave Funcionalidades Adicionais Arquitetura

Alguns Cenrios Soluo de Qualidade de Dados

Por que integrar dados ?Precisa

Informao Como e Onde voc precisaCorporate Performance Management Business Process Management Business Activity Monitoring

Business Intelligence

Data IntegrationMigration Data Warehousing Master Data Management Data Synchronization --------Federation SOA (Messaging)

Hoje---

Dados em ambientes heterogneos---------------

---------------

---------------

Legacy

ERP

CRM

Best-of-breed Applications

Oracle Data IntegratorMovimentao de Dados e transformao de mltiplas origens para destinos heterogneos

BENEFCIOS

DIFERENCIADORES CHAVE

Desempenho Flexibilidade Produtividade Hot Pluggable

Heterogneo E-LT Active Integration Platform Desenvolvimento Declarativo Knowledge Modules

Arquitetura E-LTAlto DesempenhoArquitetura Convencional ETLARQUITETURA CONVENCIONAL ETL

Engine Proprietria Problemas de Escalabilidade Alto Custo

Extract

Transform

Load

ARQUITETURA ELT

Recursos Nativos Eficincia e Escalabilidade Alto Desempenho

Arquitetura da Prxima Gerao

BENEFCIOS

E-LTTransform Extract Load Transform

Desempenho Escalabilidade Produtividade na Administrao Baixo Custo

Desenvolvimento DeclarativoProdutividade no DesenvolvimentoConventional ETL DesignARQUITETURA CONVENCIONAL ETL

Desenvolvedor deve definir cada passo do fluxo

de ETL e lgica do processo de transformao Abordagem tradicional requer profissionais

especializados em processos de ETL Esforo significativo para manuteno e

desenvolvimentoDESENVOLVIMENTO DECLARATIVO

ODI Declarative Design Simplificao do nmero de passos Gerao Automtica do fluxo de dados

independente de tecnologiasBENEFCIOS

1Define

2Automatically Generate Dataflow

WhatYou Want

Reduo significativa da curva de aprendizado Implementaes em tempos menores

Define How: Built-in Templates

Knowledge ModulesHot-Pluggable: Modular, Flexvel e EstensvelPluggable Knowledge Modules ArchitectureReverse Engineer Metadata Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Integrate Transform and Move to Targets Service Expose Data and Transformation ServicesW W S S W S

Reverse

Staging Tables

Load CDCSources Journalize

Integrate CheckError Tables Target Tables

Services

Exemplo de Knowledge Modules j construdosSAP/R3 Siebel Log Miner SQL Server Triggers Oracle DBLink JMS Queues Check MS Excel TPump/ Multiload Oracle Merge Siebel EIM Schema Oracle Web Services

DB2 Journals

DB2 Exp/Imp

Oracle SQL*Loader

Check Sybase

Type II SCD

DB2 Web Services

BENEFCIOS

Customizado para as melhores prticas existentes Atividade de Administrao Simples

Funcionalidades e Caractersticas de Uso

Graphical Declarative Design

1

Defina O QU voc quer

3

Gera o Fluxo de Dados Automaticamente

Oracle Data Integrator InterfaceDeclarative Design

2

Defina COMO fazer: Selecione Modelo

Bulk Load Changed Data Capture Incremental Update Slowly Changing Dimension

Changed Data Capture Framework para Publicao e Assinatura de CDCCDC

Database LOGs Triggers Third-Tier Solutions

Garantir leitura com integridade transacional 1.Desenvolver ou Gerar Mapeamentos 2.Selecionar Jornalizao de Dados 3.Iniciar o processo de Jornalizao

Data Lineage Grande nmero de fluxos de dados em um ambiente complexo Como ter uma viso geral ? Linhagem de Dados baseada em Web Entender os fluxos de dados Acompanhar o caminho do dado Drill-Down para transformaes

?

Data Integrity Framework Framework para Integrao de Dados Auditoria, Limpeza e Reciclagem

Message Duplicated Record Duplicated Record Invalid City Reference

Id 001 022 230

Name John Doe John Doe Albert Fresh

City New York Boston Maris

1.Declarao de Constraints para tabelas 2.Desenvolvimento de Mapeamentos e fluxos de checagem de integridade 3.Auditoria, limpeza ou reciclagem de registros rejeitados

Data Access ServicesSOA InfrastructureServices Data Access Transform ESB BusinessBusiness Processes

Gerar e Compartilhar servios de acesso aos dados Gerao e publicao de servios Teste dos Servios Integrao dos Servios na arquitetura SOA via WebServices

Desenvolvimento e ProduoDevelopment Production

Design-time

Runtime

Agent UIs Repository

Agent

Repositrio Multi-Usurio para projetos de grande escala Controle de Versionamento e Bloqueio de Objetos para modificaes Suporte a publicao em Multi-ContextoOperator

Repository

1. Teste seus pacotes em desenvolvimento 2. Crie e exporte verses 3. Execute e monitore em qualquer contexto

Arquitetura do Oracle Data Integrator

ODI Architecture a Global ViewGraphical Modules Designer Reverse-Engineer Develop Projects Release Scenarios Java - Any Platform Operator Operate production Monitor sessions Topology Manager Define the IS infrastructure Security Manager Manage user privileges Any Web Browser Browse metadata lineage Operate production

Repository

Any ISO-92 RDBMS Scheduler Agent Handles schedules Orchestrate sessions Java - Any Platform Information System Runtime Components Metadata Navigator Web access to the repository J2EE Application Server Repository Access HTTP Connection Execution Query

ODI Architecture Repository

Security Topology Versioning Master Repository

Models Projects Execution Work Repository

ODI Repository is composed of a Master Repository and one or more Work Repositories. Master Repository contains security information, topology information and versions of objects. Work Repository stores information related to Models : datastores, columns, data integrity rules, cross references, data lineage. Projects: interfaces, packages, procedures, folders, knowledge modules, variables Runtime: scenarios, scheduling information, logs.

Intro : ArchitectureODI Repository (RDBMS) Sources Data Targets

SQL ordersAgent

SQL orders

ODI GUI (Java)

ODI Agent (Java)

Intro: Zoom on ODI repositories Technical Meta-data :Connections Environments Versions Security

Master Repository

Global View of the Information System

Work Repository (Dev)

Separation of environments

Work Repository (Prod)

Functional Data : Models Business Rules Verification Rules

Runtime Information Scenarios Journals Schedules

Runtime Information : Scenarios Journals Schedules

Viso ConceitualDevelopmentODI Design-Time Environment User Interfaces Topology/Security Administrators Design-time Metadata/Rules Repositories DesignersESB Files / XML

Development Servers and Applications Execution Agent Data Flow Conductor Return CodesCRM Data Warehouse

Code Execution Log

Legacy ER P

Production

Scenarios and Projects Releases ODI Runtime Environment Production Servers and Applications Code Execution Log Runtime Repository Execution Log Execution

User Interfaces Topology/Security Administrators

Operators

Agent Data Flow Conductor

Return Codes

CRM

Data Warehouse

Legacy

Thin Client Metadata Lineage Data Stewarts Metadata NavigatorESB

ER P Files / XML

Cenrios

E-LT para Data WarehouseCriar e popular ambientes de Data Warehouse com Alto Desempenho e Jornalizao Fontes de Dados de Origem e Destino Heterogneas Carga Incremental Integridade e Consistncia Linhagem de Dados Slowly changing dimensions Changed data capture

Load Transform Capture Changes

Incremental Update Data Integrity

Aggregate Export

Cube

Operational

Analytics

-------------

Data Warehouse

Cube

Cube

Metadata

Iniciativa SOAEstabelecer Arquiteturas de Mensagens de Integrao

Generate Data Services Expose Transformation Services

Deploy and reuse Services

Services

Business Processes

Data Access -------------

Transformation

Servios Externos para Integrao de Dados Publicao de Servios de Acesso aos Dados Publicao de Servios de Transformao de Dados Integrao das transformaes de dados a partir de sua infraestrutura de SOA

Operational

Others

Metadata

Master Data ManagementCriar uma nica viso de verdade atravs da sincronizao de dados Uso em conjunto com pacotes de Solues MDM Uso como infraestrutura para desenvolvimento de seu prprio HUB Criao declarativa de fluxos de dados Capture changes (CDC) Reconciliao e limpeza de dados Publicao e Disponibilizao Extenso das definies de metadados

Change Data Capture Master Data Load

Canonical Format Design Cleansing and Reconciliation

Master Data Publishing

CDC CDC -------------

Master Data

CDC -------------

Metadata

MigraoUpgrade de Aplicaes ou Migrao de Aplicaes para um novo ambiente de banco de dados Carga de dados histricos para o novo ambiente/aplicao Transformao caso seja necessria Sincronizao dos dados durante momento de overlap das aplicaes Captura das modificaes nos dois sentidos da informao (CDC)

Initial bulk load CDC for synchronization

Transformation to new application format

CDC for loopback synchronization

Old Applications

New Application

CDC

-------------

CDC

Metadata

Qualidade de Dados

Qualidade de dadosO que ? Processo capaz de criar e manter dados: completos, vlidos, consistentes, atualizados e precisos

tornando-os aptos para utilizao.

Qualidade de dadosExemplo

Registros duplicados

Falta de padro de formataoPhone 617 555 000 617555000 617-532-9550 617-536-5480 [email protected] 6175541329 Email [email protected]

Name Bob Williams Robert Williams Burkes, Mike and Ilda Jason Bourne, Bourne & Cie.

Address 36 Jones Avenue 36 Jones Av. 38 Jones av. 76 East 51st

City Newton

State MA MA

Zip 02106 02106 02106

Nweton Newton

MA MA

Mltiplos nomes Registros misturados Ex.: PF e PJ Erros de digitao

Dados incorretos

Falta de dados

Oracle Data IntegratorODI EE Better Data Visibility Tighter Data Control Greater Data Accuracy

Visual Data Quality ToolsOracle Data Profiling Metadata Profiling of Source & Target Oracle Data Quality Duplicate Detection, Matching & Merging

Oracle Data Integrator Data ProfilingCriao automtica de perfis e regras de qualidade de dadosOracle Data Quality Profiling

Configurao visual Modelamento visual Ferramenta intuitiva Colaborao entre usurios Gerao automtica de regras de qualidade Customizvel pelo usurio

?Fontes

Data Stewards and Business Analysts

Anlise

Performance na execuo Execuo otimizada para grandes volumes de dados Auditoria completa e detalhada

Oracle Data Integrator Data ProfilingNavegador para identificao de problemasExamplo: Nmero do carto de crdito

Caracterstica Preenchimento

Exemplos de mtricasCampos nulos Tamanhos mnimo e mximo Estrutura dos campos Tipo dos dados Padres e mscaras Valores nicos Regras de negcios especficas Soundex Metaphones Dependncias Chaves Relacionamentos

Conformidade

Validao

Consistncia Integridade

Oracle Data Integrator Data QualityOracle Data Integrator Destino

Integration ProcessFontes

Anlise, Limpeza, Padronizao, CombinaoOracle Data Quality for Data Integrator

Global Data Router

Transformer

Parser

Postal Matcher

Relationship Linker

Oracle Data Integrator Data Quality Integridade dos dados Parametrizao visual Controle dos registros com erros Customizvel para incluir regras de negcios

34

Oracle Data Integrator Data QualityTratamento das exceesOracle Data Integrator Validao durante insero

Integration ProcessFontes

Destino

Validao durante a integrao

Erros

Correes

Erros

Reprocessamento

Human

BPEL Process Manager

Workflow