Overview ODI 2k7

<Insert Picture Here>

Oracle Data IntegratorErika Savio


Agenda

• Por que Integração ?• Oracle Data Integrator

• Diferenciadores Chave• Funcionalidades Adicionais• Arquitetura

• Alguns Cenários• Solução de Qualidade de Dados

Data IntegrationData IntegrationData

WarehousingMaster Data Management

SOA (Messaging)

FederationMigration

Dados em ambientes heterogêneosDados em ambientes heterogêneos

ERP

------------

------

CRM

- - -

Legacy

------------

------ ---------

---

------

Best-of-breed Applications

Informação Como e Onde você precisaInformação Como e Onde você precisa

Business IntelligenceCorporate Performance

ManagementBusiness Activity

MonitoringBusiness Process

Management

Hoje…

Precisa…

- - -- - - - - -- - -

Data Synchronization

Por que integrar dados ?

• Desempenho

• Flexibilidade

• Produtividade

• Hot Pluggable

B E N E F Í C I O S

• Heterogêneo “E-LT”

• Active Integration Platform

• Desenvolvimento Declarativo

• Knowledge Modules

D I F E R E N C I A D O R E S C H A V E

Oracle Data Integrator

Movimentação de Dados e transformação de múltiplas origens para destinos heterogêneosMovimentação de Dados e transformação de múltiplas origens para destinos heterogêneos

Arquitetura E-LTAlto Desempenho

Arquitetura Convencional ETL

Extract LoadTransform

Arquitetura da Próxima Geração

“E-LT”“E-LT”LoadExtract

Transform Transform

• Engine Proprietária

• Problemas de Escalabilidade

• Alto Custo

A R Q U I T E T U R A C O N V E N C I O N A L E T L

• Recursos Nativos

• Eficiência e Escalabilidade

• Alto Desempenho

A R Q U I T E T U R A E – L T

• Desempenho

• Escalabilidade

• Produtividade na Administração

• Baixo Custo


Desenvolvimento DeclarativoProdutividade no Desenvolvimento

Conventional ETL Design

ODI Declarative Design

Define How: Built-in Templates

Define What You Want

Automatically GenerateDataflow

1 2

• Desenvolvedor deve definir cada passo do fluxo de ETL e lógica do processo de transformação

• Abordagem tradicional requer profissionais especializados em processos de ETL

• Esforço significativo para manutenção e desenvolvimento

A R Q U I T E T U R A C O N V E N C I O N A L E T L

• Simplificação do número de passos

• Geração Automática do fluxo de dados independente de tecnologias

D E S E N V O L V I M E N T O D E C L A R A T I V O

• Redução significativa da curva de aprendizado

• Implementações em tempos menores


JournalizeRead from CDC

Source

LoadFrom Sources to

Staging

CheckConstraints before

Load

IntegrateTransform and Move

to Targets

ServiceExpose Data and Transformation

Services

ReverseEngineer Metadata

Reverse

Journalize

Load

Check

IntegrateServices

Pluggable Knowledge Modules Architecture

CDC

Sources

Staging Tables

Error Tables

Target Tables

WS

WS W

S

SAP/R3

Siebel

Log Miner

DB2 Journals

SQL Server Triggers

Oracle DBLink

DB2 Exp/Imp

JMS Queues Check MS Excel

Check Sybase

Oracle SQL*Loader

TPump/ Multiload

Type II SCD

Oracle Merge

Siebel EIM Schema

Oracle Web Services

DB2 Web Services

Exemplo de Knowledge Modules já construídos

Knowledge ModulesHot-Pluggable: Modular, Flexível e Estensível

• Customizado para as melhores práticas existentes

• Atividade de Administração Simples



Funcionalidades e Características de Uso

Oracle Data Integrator “Interface”

Declarative Design

1 Defina O QUÊ você quer 3 Gera o Fluxo de Dados Automaticamente

2 Defina COMO fazer: Selecione Modelo

Bulk Load • Changed Data Capture • Incremental Update • Slowly Changing Dimension

Graphical Declarative Design

Changed Data Capture

• Framework para Publicação e Assinatura de CDC

• Database LOGs• Triggers• Third-Tier Solutions

• Garantir “leitura” com integridade transacional

1.Desenvolver ou Gerar Mapeamentos2.Selecionar Jornalização de Dados3.Iniciar o processo de Jornalização

CDC

Data Lineage

• Grande número de fluxos de dados em um ambiente complexo

• Como ter uma visão geral ?• Linhagem de Dados baseada em Web

• Entender os fluxos de dados• Acompanhar o caminho do dado• Drill-Down para transformações

?

Data Integrity Framework

• Framework para Integração de Dados• Auditoria, Limpeza e Reciclagem

1.Declaração de Constraints para tabelas2.Desenvolvimento de Mapeamentos e

fluxos de checagem de integridade3.Auditoria, limpeza ou reciclagem de

registros rejeitados

Message Id Name CityDuplicated Record 001 John Doe New YorkDuplicated Record 022 John Doe BostonInvalid City Reference 230 Albert Fresh Maris

Data Access Services

• Gerar e Compartilhar serviços de acesso aos dados

• Geração e publicação de serviços• Teste dos Serviços• Integração dos Serviços na arquitetura SOA

via WebServices

SOA Infrastructure

Services

Data Access

Transform

Business

Business Processes

ESB

Design-time

Desenvolvimento e Produção

• Repositório Multi-Usuário para projetos de grande escala

• Controle de Versionamento e Bloqueio de Objetos para modificações

• Suporte a publicação em Multi-Contexto1. Teste seus pacotes em desenvolvimento2. Crie e exporte versões3. Execute e monitore em qualquer contexto

Development

RepositoryUIs

AgentRuntime

Repository Operator

Production

Agent


Arquitetura do Oracle Data Integrator

ODI Architecture a Global View

Any ISO-92 RDBMS

Scheduler Agent

Handles schedules

Orchestrate sessions

Java - Any Platform

Security Manager

Manage user privileges

Operator

Operate production

Monitor sessions

Topology Manager

Define the IS infrastructure

Designer

Reverse-Engineer

Develop Projects

Release Scenarios

Java - Any Platform

Any Web Browser

Browse metadata lineage

Operate production

Metadata Navigator

Web access to the repository

J2EE Application Server

Information SystemRepository Access

HTTP Connection

Execution Query

Repository

Graphical Modules

Runtime Components

ODI Architecture Repository

• ODI Repository is composed of a Master Repository and one or more Work Repositories.

• Master Repository contains security information, topology information and versions of objects.

• Work Repository stores information related to • Models : datastores, columns, data integrity rules, cross references, data lineage.• Projects: interfaces, packages, procedures, folders, knowledge modules, variables• Runtime: scenarios, scheduling information, logs.

Work RepositoryMaster Repository

Models

Projects

Execution

Security

Topology

Versioning

Intro : Architecture

ODIRepository(RDBMS)

Sources Targets

ODI GUI (Java)

Data

ODI Agent (Java)

Agent

SQL ordersSQL orders

DataData

Separation of environments

Master

Repository

Global View of the Information System

Work Repository(Dev)

Work Repository (Prod)

Technical Meta-data :• Connections• Environments• Versions• Security…

Functional Data :• Models• Business Rules • Verification Rules

Runtime Information :• Scenarios• Journals• Schedules

Runtime Information• Scenarios• Journals• Schedules

Intro: Zoom on ODI repositories

Visão Conceitual

ODI Design-Time Environment Development Servers and Applications

Design-time Repositories

Code Execution

Execution Log Return Codes

AgentData Flow Conductor

CRM

Legacy

ERP

Data Warehouse

Files / XML

User Interfaces

Administrators

Designers

Topology/Security

Metadata/Rules

Development

ESB

Production Servers and Applications

ODI Runtime Environment

Runtime Repository Return Codes

Code

Execution Log

Execution

Metadata Navigator

Production

CRM

Legacy

ERP

Data Warehouse

Files / XML

ESB

User Interfaces

Administrators

Operators

Thin Client

Data Stewarts

Topology/Security

Execution Log

Metadata Lineage

AgentData Flow Conductor

Scenarios and ProjectsReleases


Cenários

E-LT para Data WarehouseCriar e popular ambientes de Data Warehouse com Alto Desempenho e Jornalização

Fontes de Dados de Origem e Destino Heterogêneas

Carga Incremental Integridade e Consistência Linhagem de Dados Slowly changing dimensions Changed data capture

Data Warehouse

Cube

Cube

Cube

----------------

Op

era

tion

al

An

aly

tics

Metadata

LoadTransformCapture Changes

Incremental UpdateData Integrity

AggregateExport

Iniciativa SOAEstabelecer Arquiteturas de Mensagens de Integração

Services

Data Access

Transformation

Others

----------------

Op

era

tion

al

Metadata

Generate DataServicesExpose Transformation Services

Deploy and reuse Services

Business Processes

Serviços Externos para Integração de Dados

Publicação de Serviços de Acesso aos Dados

Publicação de Serviços de Transformação de Dados

Integração das transformações de dados a partir de sua infraestrutura de SOA

Master Data ManagementCriar uma única visão de verdade através da sincronização de dados

Master Data

----------------

Metadata

Change Data CaptureMaster Data Load

Canonical Format DesignCleansing and Reconciliation

Master Data Publishing

----------------

CDCCDC

CDC

Uso em conjunto com pacotes de Soluções MDM

Uso como infraestrutura para desenvolvimento de seu próprio HUB

Criação declarativa de fluxos de dados

Capture changes (CDC) Reconciliação e limpeza de dados Publicação e Disponibilização Extensão das definições de

metadados

MigraçãoUpgrade de Aplicações ou Migração de Aplicações para um novo ambiente de banco de dados

Old

Ap

plic

atio

ns

Ne

w A

pp

lica

tion

Metadata

Initial bulk loadCDC for synchronization

Transformation to new application format

CDC for loop-back synchronization

CDC

CDC----------------

Carga de dados históricos para o novo ambiente/aplicação

Transformação caso seja necessária Sincronização dos dados durante

momento de overlap das aplicações Captura das modificações nos dois

sentidos da informação (CDC)


Qualidade de Dados

Qualidade de dadosO que é?

Processo capaz de criar e manter dados:

• completos,• válidos,• consistentes,• atualizados• e precisos

… tornando-os aptos para utilização.

Qualidade de dadosExemplo

Name Address City State Zip Phone Email

Bob Williams 36 Jones Avenue Newton MA 02106 617 555 000 [email protected]

Robert Williams 36 Jones Av. MA 02106 617555000

Burkes, Mike and Ilda 38 Jones av. Nweton MA 02106 617-532-9550 [email protected]

Jason Bourne, Bourne & Cie.

76 East 51st Newton MA 617-536-5480 6175541329

… … … … … … …

Dados incorretos

Registros duplicados

Erros de digitaçãoRegistros

misturados – Ex.: PF e PJ

Múltiplos nomes

Falta de padrão de formatação

Falta de dados


ODI EE

Oracle Data Profiling Oracle Data Quality

Better Data Visibility

Tighter Data Control

Greater Data Accuracy

Metadata Profiling of Source & Target

Duplicate Detection, Matching & Merging

Visual Data Quality Tools

Oracle Data Quality Profiling • Configuração visual• Modelamento visual• Ferramenta intuitiva• Colaboração entre usuários• Geração automática de regras de

qualidade• Customizável pelo usuário

• Performance na execução• Execução otimizada para grandes

volumes de dados• Auditoria completa e detalhada

Fontes

Data Stewards and Business Analysts?

Análise

Oracle Data Integrator – Data ProfilingCriação automática de perfis e regras de qualidade de dados

Característica Exemplos de métricas

Preenchimento Campos nulosTamanhos mínimo e máximo

Conformidade Estrutura dos camposTipo dos dadosPadrões e máscaras

Validação Valores únicosRegras de negócios específicas

Consistência SoundexMetaphones

Integridade DependênciasChavesRelacionamentos

Examplo: Número do cartão de crédito

Oracle Data Integrator – Data ProfilingNavegador para identificação de problemas


Destino

Fontes

Integration Process

Oracle Data Quality for Data Integrator

Global Data

Router

Transformer Parser Postal

Matcher

Relationship

Linker

Análise, Limpeza, Padronização, Combinação

Oracle Data Integrator – Data Quality

3434

• Integridade dos dados• Parametrização visual• Controle dos registros com erros• Customizável para incluir regras de negócios

Oracle Data Integrator – Data Quality


Integration Process

Destino

BPEL Process Manager

Human

Workflow

Fontes

Erro

s

Co

rreções

Reprocessamento

ErrosValidação durante a integração

Validação duranteinserção

Oracle Data Integrator – Data QualityTratamento das exceções

Documents

Overview ODI 2k7