Oracle Data IntegratorErika Savio
Agenda Por que Integrao ? Oracle Data Integrator Diferenciadores
Chave Funcionalidades Adicionais Arquitetura
Alguns Cenrios Soluo de Qualidade de Dados
Por que integrar dados ?Precisa
Informao Como e Onde voc precisaCorporate Performance Management
Business Process Management Business Activity Monitoring
Business Intelligence
Data IntegrationMigration Data Warehousing Master Data
Management Data Synchronization --------Federation SOA
(Messaging)
Hoje---
Dados em ambientes heterogneos---------------
---------------
---------------
Legacy
ERP
CRM
Best-of-breed Applications
Oracle Data IntegratorMovimentao de Dados e transformao de
mltiplas origens para destinos heterogneos
BENEFCIOS
DIFERENCIADORES CHAVE
Desempenho Flexibilidade Produtividade Hot Pluggable
Heterogneo E-LT Active Integration Platform Desenvolvimento
Declarativo Knowledge Modules
Arquitetura E-LTAlto DesempenhoArquitetura Convencional
ETLARQUITETURA CONVENCIONAL ETL
Engine Proprietria Problemas de Escalabilidade Alto Custo
Extract
Transform
Load
ARQUITETURA ELT
Recursos Nativos Eficincia e Escalabilidade Alto Desempenho
Arquitetura da Prxima Gerao
BENEFCIOS
E-LTTransform Extract Load Transform
Desempenho Escalabilidade Produtividade na Administrao Baixo
Custo
Desenvolvimento DeclarativoProdutividade no
DesenvolvimentoConventional ETL DesignARQUITETURA CONVENCIONAL
ETL
Desenvolvedor deve definir cada passo do fluxo
de ETL e lgica do processo de transformao Abordagem tradicional
requer profissionais
especializados em processos de ETL Esforo significativo para
manuteno e
desenvolvimentoDESENVOLVIMENTO DECLARATIVO
ODI Declarative Design Simplificao do nmero de passos Gerao
Automtica do fluxo de dados
independente de tecnologiasBENEFCIOS
1Define
2Automatically Generate Dataflow
WhatYou Want
Reduo significativa da curva de aprendizado Implementaes em
tempos menores
Define How: Built-in Templates
Knowledge ModulesHot-Pluggable: Modular, Flexvel e
EstensvelPluggable Knowledge Modules ArchitectureReverse Engineer
Metadata Journalize Read from CDC Source Load From Sources to
Staging Check Constraints before Load Integrate Transform and Move
to Targets Service Expose Data and Transformation ServicesW W S S W
S
Reverse
Staging Tables
Load CDCSources Journalize
Integrate CheckError Tables Target Tables
Services
Exemplo de Knowledge Modules j construdosSAP/R3 Siebel Log Miner
SQL Server Triggers Oracle DBLink JMS Queues Check MS Excel TPump/
Multiload Oracle Merge Siebel EIM Schema Oracle Web Services
DB2 Journals
DB2 Exp/Imp
Oracle SQL*Loader
Check Sybase
Type II SCD
DB2 Web Services
BENEFCIOS
Customizado para as melhores prticas existentes Atividade de
Administrao Simples
Funcionalidades e Caractersticas de Uso
Graphical Declarative Design
1
Defina O QU voc quer
3
Gera o Fluxo de Dados Automaticamente
Oracle Data Integrator InterfaceDeclarative Design
2
Defina COMO fazer: Selecione Modelo
Bulk Load Changed Data Capture Incremental Update Slowly
Changing Dimension
Changed Data Capture Framework para Publicao e Assinatura de
CDCCDC
Database LOGs Triggers Third-Tier Solutions
Garantir leitura com integridade transacional 1.Desenvolver ou
Gerar Mapeamentos 2.Selecionar Jornalizao de Dados 3.Iniciar o
processo de Jornalizao
Data Lineage Grande nmero de fluxos de dados em um ambiente
complexo Como ter uma viso geral ? Linhagem de Dados baseada em Web
Entender os fluxos de dados Acompanhar o caminho do dado Drill-Down
para transformaes
?
Data Integrity Framework Framework para Integrao de Dados
Auditoria, Limpeza e Reciclagem
Message Duplicated Record Duplicated Record Invalid City
Reference
Id 001 022 230
Name John Doe John Doe Albert Fresh
City New York Boston Maris
1.Declarao de Constraints para tabelas 2.Desenvolvimento de
Mapeamentos e fluxos de checagem de integridade 3.Auditoria,
limpeza ou reciclagem de registros rejeitados
Data Access ServicesSOA InfrastructureServices Data Access
Transform ESB BusinessBusiness Processes
Gerar e Compartilhar servios de acesso aos dados Gerao e
publicao de servios Teste dos Servios Integrao dos Servios na
arquitetura SOA via WebServices
Desenvolvimento e ProduoDevelopment Production
Design-time
Runtime
Agent UIs Repository
Agent
Repositrio Multi-Usurio para projetos de grande escala Controle
de Versionamento e Bloqueio de Objetos para modificaes Suporte a
publicao em Multi-ContextoOperator
Repository
1. Teste seus pacotes em desenvolvimento 2. Crie e exporte
verses 3. Execute e monitore em qualquer contexto
Arquitetura do Oracle Data Integrator
ODI Architecture a Global ViewGraphical Modules Designer
Reverse-Engineer Develop Projects Release Scenarios Java - Any
Platform Operator Operate production Monitor sessions Topology
Manager Define the IS infrastructure Security Manager Manage user
privileges Any Web Browser Browse metadata lineage Operate
production
Repository
Any ISO-92 RDBMS Scheduler Agent Handles schedules Orchestrate
sessions Java - Any Platform Information System Runtime Components
Metadata Navigator Web access to the repository J2EE Application
Server Repository Access HTTP Connection Execution Query
ODI Architecture Repository
Security Topology Versioning Master Repository
Models Projects Execution Work Repository
ODI Repository is composed of a Master Repository and one or
more Work Repositories. Master Repository contains security
information, topology information and versions of objects. Work
Repository stores information related to Models : datastores,
columns, data integrity rules, cross references, data lineage.
Projects: interfaces, packages, procedures, folders, knowledge
modules, variables Runtime: scenarios, scheduling information,
logs.
Intro : ArchitectureODI Repository (RDBMS) Sources Data
Targets
SQL ordersAgent
SQL orders
ODI GUI (Java)
ODI Agent (Java)
Intro: Zoom on ODI repositories Technical Meta-data :Connections
Environments Versions Security
Master Repository
Global View of the Information System
Work Repository (Dev)
Separation of environments
Work Repository (Prod)
Functional Data : Models Business Rules Verification Rules
Runtime Information Scenarios Journals Schedules
Runtime Information : Scenarios Journals Schedules
Viso ConceitualDevelopmentODI Design-Time Environment User
Interfaces Topology/Security Administrators Design-time
Metadata/Rules Repositories DesignersESB Files / XML
Development Servers and Applications Execution Agent Data Flow
Conductor Return CodesCRM Data Warehouse
Code Execution Log
Legacy ER P
Production
Scenarios and Projects Releases ODI Runtime Environment
Production Servers and Applications Code Execution Log Runtime
Repository Execution Log Execution
User Interfaces Topology/Security Administrators
Operators
Agent Data Flow Conductor
Return Codes
CRM
Data Warehouse
Legacy
Thin Client Metadata Lineage Data Stewarts Metadata
NavigatorESB
ER P Files / XML
Cenrios
E-LT para Data WarehouseCriar e popular ambientes de Data
Warehouse com Alto Desempenho e Jornalizao Fontes de Dados de
Origem e Destino Heterogneas Carga Incremental Integridade e
Consistncia Linhagem de Dados Slowly changing dimensions Changed
data capture
Load Transform Capture Changes
Incremental Update Data Integrity
Aggregate Export
Cube
Operational
Analytics
-------------
Data Warehouse
Cube
Cube
Metadata
Iniciativa SOAEstabelecer Arquiteturas de Mensagens de
Integrao
Generate Data Services Expose Transformation Services
Deploy and reuse Services
Services
Business Processes
Data Access -------------
Transformation
Servios Externos para Integrao de Dados Publicao de Servios de
Acesso aos Dados Publicao de Servios de Transformao de Dados
Integrao das transformaes de dados a partir de sua infraestrutura
de SOA
Operational
Others
Metadata
Master Data ManagementCriar uma nica viso de verdade atravs da
sincronizao de dados Uso em conjunto com pacotes de Solues MDM Uso
como infraestrutura para desenvolvimento de seu prprio HUB Criao
declarativa de fluxos de dados Capture changes (CDC) Reconciliao e
limpeza de dados Publicao e Disponibilizao Extenso das definies de
metadados
Change Data Capture Master Data Load
Canonical Format Design Cleansing and Reconciliation
Master Data Publishing
CDC CDC -------------
Master Data
CDC -------------
Metadata
MigraoUpgrade de Aplicaes ou Migrao de Aplicaes para um novo
ambiente de banco de dados Carga de dados histricos para o novo
ambiente/aplicao Transformao caso seja necessria Sincronizao dos
dados durante momento de overlap das aplicaes Captura das
modificaes nos dois sentidos da informao (CDC)
Initial bulk load CDC for synchronization
Transformation to new application format
CDC for loopback synchronization
Old Applications
New Application
CDC
-------------
CDC
Metadata
Qualidade de Dados
Qualidade de dadosO que ? Processo capaz de criar e manter
dados: completos, vlidos, consistentes, atualizados e precisos
tornando-os aptos para utilizao.
Qualidade de dadosExemplo
Registros duplicados
Falta de padro de formataoPhone 617 555 000 617555000
617-532-9550 617-536-5480 [email protected] 6175541329 Email
[email protected]
Name Bob Williams Robert Williams Burkes, Mike and Ilda Jason
Bourne, Bourne & Cie.
Address 36 Jones Avenue 36 Jones Av. 38 Jones av. 76 East
51st
City Newton
State MA MA
Zip 02106 02106 02106
Nweton Newton
MA MA
Mltiplos nomes Registros misturados Ex.: PF e PJ Erros de
digitao
Dados incorretos
Falta de dados
Oracle Data IntegratorODI EE Better Data Visibility Tighter Data
Control Greater Data Accuracy
Visual Data Quality ToolsOracle Data Profiling Metadata
Profiling of Source & Target Oracle Data Quality Duplicate
Detection, Matching & Merging
Oracle Data Integrator Data ProfilingCriao automtica de perfis e
regras de qualidade de dadosOracle Data Quality Profiling
Configurao visual Modelamento visual Ferramenta intuitiva
Colaborao entre usurios Gerao automtica de regras de qualidade
Customizvel pelo usurio
?Fontes
Data Stewards and Business Analysts
Anlise
Performance na execuo Execuo otimizada para grandes volumes de
dados Auditoria completa e detalhada
Oracle Data Integrator Data ProfilingNavegador para identificao
de problemasExamplo: Nmero do carto de crdito
Caracterstica Preenchimento
Exemplos de mtricasCampos nulos Tamanhos mnimo e mximo Estrutura
dos campos Tipo dos dados Padres e mscaras Valores nicos Regras de
negcios especficas Soundex Metaphones Dependncias Chaves
Relacionamentos
Conformidade
Validao
Consistncia Integridade
Oracle Data Integrator Data QualityOracle Data Integrator
Destino
Integration ProcessFontes
Anlise, Limpeza, Padronizao, CombinaoOracle Data Quality for
Data Integrator
Global Data Router
Transformer
Parser
Postal Matcher
Relationship Linker
Oracle Data Integrator Data Quality Integridade dos dados
Parametrizao visual Controle dos registros com erros Customizvel
para incluir regras de negcios
34
Oracle Data Integrator Data QualityTratamento das exceesOracle
Data Integrator Validao durante insero
Integration ProcessFontes
Destino
Validao durante a integrao
Erros
Correes
Erros
Reprocessamento
Human
BPEL Process Manager
Workflow
