Serviço Público Inteligente - apdsi.pt - Manuel Sequeira - O BI no... · Setor de Atividade ... FK1,U2,U1 PAITER_IdMbrTerr TPAITAE0_TipoAgEcon ... Estatísticas das Empresas não

Serviço Público Inteligente Sistemas de BI, decidir com

base em informação de qualidade

15 de maio de 2013

Auditório B, Reitoria UNL

Patrocinadores Globais APDSI

Patrocínio Prata

Departamento de Organização, Sistemas e Tecnologias de Informação

Business Intelligence no

Banco de Portugal

15 de Maio de 2013


AGENDA

– Introdução - Enquadramento e Visão Geral

– Estratégia para atingir um DW • Gestão da informação de referência

• Arquitetura de BI

• Implementação incremental

– Perspetiva de evolução

– Sumário /Principais conclusões

15 de Maio de 2013


Enquadramento

As funções que competem ao Banco de Portugal, nomeadamente no que concerne a:

• Intervenção ao nível do Eurosistema (designadamente ao nível de Política Monetária);

• Supervisão da Estabilidade do Sistema Financeiro;

• Elaboração de Estatísticas;

• Produção de Estudos e Análises Económicas;

• Regulação dos Sistemas de Pagamentos…;

necessitam de um suporte analítico apropriado, pois recebem informação de várias fontes que

consolidam, analisam e cruzam de acordo com diferentes perspetivas.

Acrescem, tal como à generalidade das instituições, as funções operacionais sobre as quais também é necessário assegurar uma adequada gestão dos recursos internos.

15 de Maio de 2013


Enquadramento – Visão Cronológica

15 de Maio de 2013

19

90

20

00

20

10

SPA

I –

Sist

ema

de

par

tilh

a G

est

ão d

a in

form

ação

de

refe

rên

cia

Def

iniç

ão d

a A

rqu

itet

ura

de

R

efer

ênci

a B

I

Primeiros sistemas a disponibilizarem facilidades analíticas: Estatísticas BoP e SEIS – Sistema de Exploração de Informação de Supervisão

Implementação incremental

Processo de revisão da Arquitetura de Referência


Estratégia para atingir uma DW - centrada na informação de referência (dimensões)

(partilhada e gerida por um sistemas de partilha – SPAI)

15 de Maio de 2013

Informação de Estado

Informação de Referência

Caraterização: Específica Dinâmica Quantifica

Comum / Partilhada Semi-estática Qualifica

Exemplos: Balanços Movimentos Fluxos Posições Stocks Montantes Valores

Instituição Financeira Empresa não Financeira País Divisa Setor de Atividade Económica Tipo de Operação

Enquadramento: Factos Dimensões

Âm

bit

o d

o S

PAI

SPA

I –

Sist

ema

de

par

tilh

a G

est

ão d

a in

form

ação

de

refe

rên

cia

1º

pila

r


Partilha da informação de referência

15 de Maio de 2013

Departamento de Organização, Sistemas e Tecnologias de Informação 15 de Maio de 2013

Mês

Região

Instit Monet

CAE

Rubrica

EMF

Data

Região

Instit Crédito

CAE

Tipo Crédito

Prazo

País

Devedor

CRC Cruzamento de dados EMF CRC

Partilha da Informação de referência


Necessidade de gestão da informação de referência

15 de Maio de 2013

F o n t e s

C l I e n t e s


• Comparabilidade e integração de dados

– Dispersão

– Proliferação de identificadores de negócio não relacionados

– Incompatibilidade de conceitos, metodologias e classificações

– Informação inconsistente entre sistemas

• Custos de desenvolvimento e manutenção SI

• Custos de gestão da informação (utilizador)

15 de Maio de 2013

Ausência de gestão dos dados de referência Problemas


Estratégia para atingir umDW

SPAI –Gestão da Informação de Referência

15 de Maio de 2013

F o n t e s

C l I e n t e s


Estratégia para atingir uma DW - centrada na informação de referência (dimensões)

(partilhada e gerida por um sistemas de partilha – SPAI)

15 de Maio de 2013

Objetivos Benefícios

Qualidade da Informação de Referência controlo da redundância, articulação e coerência dos dados

Consistência dos dados Como resultado da gestão centralizada

Reutilização da informação comum utilizada nos sistemas operacionais / transacionais ou analíticos

(necessário para) cruzamento de informação A atribuição de um id único no SPAI, permite referenciar as mesmas dimensões em diferentes SI’s

(Facilitador da) Integração de Sistemas através dos dados de referência partilhados

Redução de esforço no desenvolvimento e manutenção bem como na gestão dos dados


SPAI – Domínios de informação

15 de Maio de 2013

TPAICAL0_Calendario

PK PAICAL_IdDia

PAICAL_Data

PAICAL_NumMes

PAICAL_NomeMes

PAICAL_NomeMesAbrv

PAICAL_Month

PAICAL_MonthAbrv

PAICAL_DiaMes

PAICAL_FimMes

PAICAL_FimTrim

PAICAL_FimSmtr

PAICAL_FimAno

PAICAL_DiaSema

PAICAL_NomeDia

PAICAL_NomeDiaAbrv

PAICAL_FimSema

PAICAL_FeriadoNac

PAICAL_FeriadoReg

PAICAL_SemaAno

PAICAL_IniSema

PAICAL_Ano

PAICAL_AnoMes

PAICAL_Trimestre

PAICAL_Semestre

U1 PAICAL_NumSeqDia

PAICAL_NumSeqSema

PAICAL_NumSeqMes

PAICAL_DiaEqvAnoAnt

FK1 PAITER_IdMembro

TPAISTI0_SectorInstituc

PK PAISTI_IdMembro

FK2,I2 PAITAE_IdMbrTipoAE

FK1,I1 PAIRSI_IdRegiao

TPAISTI1_SectorInstitSIET

PK,FK1 PAISTI_IdMembro

PAISTI_SIETCodSI

PAISTI_SIETDsgSI

PAISTI_SIETNivHier

PAISTI_SIETCodSIPai

TPAISTI2_SectorInstitEMF


PAISTI_EMFCodSI

PAISTI_EMFDsgSI

PAISTI_EMFNivelHier

PAISTI_EMFCodSIPai

PAISTI_EMFFormula

TPAISTI3_SectorInstitCN


U1 PAISTI_CNCodSI

PAISTI_CNDsgSI

PAISTI_CNSiglaSI

PAISTI_CNDsgSIIngles

PAISTI_CNNivHier

PAISTI_CNCodSIPai

PAISTI_CNIdSI

PAISTI_CNIdSIPai

PAISTI_CNOrdem

PAISTI_CNFicticio

TPAIRSI0_RegiaoSI

PK,I1 PAIRSI_IdRegSI

PAIRSI_DsgRegiao

FK1,U2,U1 PAITER_IdMbrTerr

TPAITAE0_TipoAgEcon

PK,I1 PAITAE_IdMembro

PAITAE_DsgTipoAgEcon

PAITAE_FlagSI

PAITAE_FlagSIBase

I3 PAITAE_FlagTipoAF

I2 PAITAE_FlagIFM

TPAINUT0_NUTS

PK PAINUT_CodNUTS

FK1,I1 PAITER_IdMembro

PAINUT_NivHierUT

TPAICNC0_Concelho

PK,FK1,I1,U1 PAITER_IdMembro

FK4,I4 PAIDST_CodDstr

PAICNC_CodConc

FK3,I3 PAINUT_NUTS_III

PAICNC_CodDstrEstat

PAICNC_CodConcEstat

FK2,I2,I5 PAITER_IdMbrDstr

PAITER_IdMbrTerrNac

TPAIDST0_Distrito

PK PAIDST_CodDstr

FK1,U2,U1 PAITER_IdMembro

TPAIFRG0_Freguesia

PK PAIFRG_CodFreg

FK1 PAITER_IdMembro

TPAIHAT0_HierAgregTerrit

PK,FK1,FK2 PAINEG_IdAreaNeg

PK,FK2,I2 PAITAT_CodTaxAgrTerr

PK,FK1,I3,I1 PAIVAT_IdVerAgrTerr

PAIHAT_NivHier

PAIHAT_CodOrden

TPAITPT0_TipoTerritorio

PK,I1 PAITPT_IdTipoTerr

PAITPT_TipoTerritorio

TPAINEG0_AreaNegocio

PK,I1 PAINEG_IdAreaNeg

PAINEG_DsgAreaNegocio

TPAICAT0_ComposAgregTerrit

PK,FK2 PAINEG_IdAreaNeg

PK,FK2,I4,I2 PAIVAT_IdVerAgrTerr

PK,FK1,I1,I5 PAITER_IdMbrTerrFilho

PAICAT_DataIni

I3 PAICAT_DataFim

TPAITAT0_TaxonAgregTerrit


PK PAITAT_CodTaxAgrTerr

PAITAT_DsgTaxonom

PAITAT_Disjuncao

TPAIVAT0_VersaoAgregTerrir


PK,I4 PAIVAT_IdVerAgrTerr

FK1,I3,I1 PAITER_IdMembro

TPAITER0_Territorio

PK PAITER_IdMembro

I2 PAITER_DesignPT

PAITER_DesignPTm

PAITER_DesignEN

PAITER_DesignENm

PAITER_AcronPT

PAITER_AcronEN

I4 PAITER_ISONum

PAITER_ISOAlfa2

I3 PAITER_ISOAlfa3

PAITER_DataIni

PAITER_DataFim

I1 PAITER_Activo

PAITER_#Versoes

PAITER_DesignAnterior

PAITER_ISONumAnt

PAITER_ISOAlfa3Ant

TPAICTT0_ClassifTipoTerrit

PK,FK2,I2 PAITER_IdMembro

PK,FK1,I4,I1 PAINEG_IdAreaNeg

FK3,I3 PAITPT_IdTipoMembro

TPAIDIV0_Divisa

PK PAIDIV_IdMembro

U1 PAIDIV_ISOAlfa

I1 PAIDIV_ISONum

PAIDIV_DsgDivisa

PAIDIV_DataIni

PAIDIV_DataFim

PAIDIV_DivSubst

PAIDIV_DsgAnterior

PAIDIV_FlgEuro

PAIDIV_FlgPrinc

PAIDIV_FlgCambio

PAIDIV_EntidCotac

TPAIPDV0_Pais_Divisa

PK,FK2,I4,I2 PAITER_IdMbrTerrit

PK,FK1,I3,I1 PAIDIV_IdMbrDivisa

PAIRPD_DataIni

PAIRPD_DataFim

TPAIDVH0_HistClassDivisaBP

FK1,I1 PAIDIV_IdMembro

PAIDVH_DataIni

PAIDVH_DataFim

PAIDIV_FlgCambio

PAIDIV_FlgPrinc

TPAICAF0_Classif icAF

FK1,I1 PAIEMP_IdMbrAF

FK2,I2 PAITAE_IdMbrTipoAF

PAIAGF_CodAF

PAITAF_CodTipoAF

PAICAF_DataIni

PAICAF_DataFim

PAIXFI_TipoDimensao

PAIXFI_SistFonteInf

TPAIAFM0_AF_IMF

PAITAE_IdMbrTipoIMF

PAIAFM_DataIniIMF

PAIAFM_DataFimIMF

PAIAFM_TipoIniIMF

PAIAFM_TipoFimIMF

PAIAGE_IdMbrAFDestActlz

PAIAFM_RespReporte

PAIAFM_PeriodicReporte

PAIAFM_RepTxJuro

PAIAFM_Estracto

PAIAFM_ActivOffShore

PAIAFM_NomeCasaMae

PAIXFI_TipoDimensao

PAIXFI_SistFonteInf

TPAIAGF0_AgenteFinanceiro

PK,FK3 PAIAGE_IdMembro

PAIAGF_FlgIFR

PAIAGF_CodAF

PAIAGF_DataOriAF

PAIAGF_DataExtAF

FK1,I1 PAIAGE_IdMbrAFDestino

PAIAGF_MotivoFimAF

PAIAGF_MoradaAF

PAIAGF_LocalidadeAF

PAIAGF_CodPostalAF

PAIAGF_ExtCodPostalAF

PAIAGF_ZonaPostalAF

PAIXFI_TipoDimensao

PAIXFI_SistFonteInf

FK2 PAITER_IdMembro

TPAITAF0_TipoAgFinanc

PK,FK1,I1 PAITAE_IdMembro

PAITAF_CodTipoAF

PAITAF_SiglaTipoAF

PAITAF_SuperTAF

PAITAF_FlagAntRev

PAITAF_FlagPosRev

TPAIGFI0_GrupoFinanceiro

PK PAIGFI_IdMembro

PAIGFI_CodGF

PAIGFI_FlgGFEstrang

PAIGFI_DataCriacaoGF

PAIGFI_DataExtincaoGF

PAIXFI_TipoDimensao

PAIXFI_SistFonteInf

TPAIAFV0_VersaoAF

PK,FK6 PAIEMP_IdMbrVer

FK1,I1 PAIAGE_IdMembro

PAIAFV_SiglaAF

PAIAFV_NomeAFAbrev

PAIAFV_NomeAFCompl

FK2,I3 PAITAE_IdMbrTipoAF

PAIAFV_NIPC

FK3,I4 PAITER_IdMbrPaisSede

FK4,I5 PAITER_IdMbrPaisOrigCapital

FK5,I2,I6 PAITER_IdMbrPaisResid

PAIAFV_DataIniVer

PAIAFV_DataFimVer

PAIXFI_TipoDimensao

PAIXFI_SistFonteInf

TPAIGFV0_VersaoGF

PAIGFV_IdMbrVer

FK2,I2 PAIGFI_IdMembro

PAIGFV_SiglaGrupoFinanceiro

PAIGFV_NomeGrupoFinanceiro

PAITER_IdMbrPaisMaioriaCapital

PAIGFV_DataIniVer

PAIGFV_DataFimVer

PAIXFI_TipoDimensao

PAIXFI_SistFonteInf

FK1,I1 PAIGFI_IdMbrGFPai

TPAIGFC0_ComposGF

I3 PAIGFC_IdSeq

FK2,I2 PAIAGE_IdMbrAF

FK1,I1 PAIGFI_IdMbrGF

PAICGF_FlgCabecaGrupo

PAICGF_FlgReportador

PAICGF_FlgFilial

PAICGF_FlgPerimConsolid

PAICGF_DataIni

PAICGF_DataFim

PAICGF_FlgCancel

PAINEG_IdAreaNeg

PAIGFC_UseridProposta

PAIGFC_UseridRespons

PAIGFC_DtHoraProposta

PAIGFC_DtHoraRegDefinit

TPAIXUG1_UtilizMembroSI

PK,FK6,I2 PAISIS_CodSistInfo

FK1,I1,I3 PAIDIM_IdDim

FK2,FK3,FK4,FK5,FK7,FK8 PAIXUG_IdMembro

PAIXUG_CodSIMembro

TPAIDIM0_Dimensao

PK,I1 PAIDIM_IdDim

I2 PAIDIM_NumDigMemb

I3 PAIDIM_NumDigVer

PAIDIM_DsgDimensao

TPAISIS0_SistemaInformacao

PK PAISIS_CodSistInfo

PAISIS_DsgSistemaInform

TPAITVL0_TipoValor

PK PAITVL_IdMembro

PAITVL_DsgTipoValor

TPAITCT0_TipoConta

PK PAITCT_IdMembro

PAITCT_DsgTipoConta

TPAIPRZ0_IntervPrazos

PK PAIPRZ_IdMembro

PAIPRZ_DscrIntervPrazo

PAIPRZ_CodOrdem

TPAIECR0_EscalaoCredito

PK PAIECR_IdMembro

PAIECR_DsgEscCredito

TPAIFCR0_FinalidadeCredito

PK PAIFCR_IdMembro

PAIFCR_DsgFinCredito

TPAIRUB0_Rubrica

PK PAIRUB_IdMembro

PAIRUB_CodRubrica

PAIRUB_DsgRubrica

PAIRUB_Formula

TPAIAEC0_ActivEcononica

PK PAIAEC_IdMembro

PAIAEC_DsgActivEcon

TPAICAE0_CodActivEcon

PK,I2 PAICAE_IdMembro

PAICAE_CAE

FK1,I3,I1 PAIAEC_IdMbrActEcon

PAICAE_Revisao

PAICAE_NivHier

PAICAE_Divisao

PAICAE_SubDiv

PAICAE_Classe

PAICAE_Grupo

PAICAE_SubGrp

PAICAE_DataIni

AUX_TPAIIAE_IdentAgEcon_020

PAIIAEPaisDoc

PAITPDTipoDoc

PAIIAENumDoc

FK1 PAIAGE_IdMembro

PAIIAEDtReg

PAIIAEDtFim

PAIXFITipoDimensao

PAIXFISistFonteInf

PAIAGETipoEmpPart

AUX_TPAIAGE_AgEcon_020

PAIAGE_IdMembro

PAIAGENomeAgEcon

PAIAGETipoEmpPart

PAIAGETipoNacEstrang

PAIAGEPaisResidencia

PAIAGEPaisNacionalidade

PAIAGEDtReg

PAIAGEDtFim

PAIXFITipoDimensao

PAIXFISistFonteInf

PAIAGEDtRegFonte

AUX_TPAIEMP0_EmpresaVersao_020

PAIEMP_IdVerMbr

FK1 PAIAGE_IdMembro

PAIAGENomeAgEcon

PAIDSTCodDistrito

PAIDSTCodConcelho

PAIEMPDtCriacaoEmpresa

FK2 PAICAE_IdMbrCAEResCred

PAINJUCodNatJuridica

PAIEMPDtHoraReg

PAIEMPDtHoraFim

PAIXFITipoDimensao

PAIXFISistFonteInf

PAIEMP_OrdemVersao

Empresa

Agente Financeiro

Actividade

Económica

Sector

Institucional

Tempo Unidade

Territorial

Território

Divisa Título


ETL

ETL

ETL

gestão

aquisição armazenamento

Base de Dados

SPAI

disponibilização

Views

Views

F o

n t

e s

C l

I e

n t

e s

consulta on-line gestão consulta on-line

ViewPoint

– Armazenamento efetivo de dados de referência conformes;

– Processos específicos de ETL

– Views dedicadas para disponibilizar os dados

Gestão da Informação de referência -SPAI


SI Cliente

Planeamento Desenho Construção Testes Análise Estudo Inicial

Implem.

SPAI

Identificação Domínios Informação Partilhada

Identificação Necessidades Informação e Serviços SPAI

Definição Requisitos Informação Referência

Definição Condições Fornecimento Serviços

Definição Views

Passagem Produção Objectos SPAI

Certificação Qualidade Serviços SPAI

Alter. Base Dados SPAI

Desenv. Proc. ETL

Parametriz. ViewPoint

SPAI - Equipa dedicada interatua com equipa de projeto (desenvolvimento incremental)


15 de Maio de 2013

Arquitetura de BI abordada a 3 níveis: Negócio (conceitos do negócio – independentes da tecnologia) Concetual (tipos de tecnologias ou categorias de funcionalidades ) Tecnológica (Infraestrutura e componentes aplicacionais específicas)

Enquadramento e visão geral da arquitetura de BI decomposição em camadas

Def

iniç

ão d

a A

rqu

itet

ura

de

R

efer

ênci

a B

I

2º

pila

r


15 de Maio de 2013

Camada de negócio – visão de dados Identificação de domínios de informação

Função Domínios de Informação SI’s

Estatísticas Monetárias e Financeiras EMF

Estatísticas da Balança de Pagamentos BoP

Estatísticas da Posição do Investimento Internacional PII

Estatísticas de Títulos SIET

Estatísticas das Contas Nacionais Financeiras CN

Estatísticas das Empresas não Financeiras Central de Balanços ITENF

Estatísticas das Responsabilidades de Crédito CRC/CRE

----

----

----

--D

ifu

são

: BPs

tat,

BD

IE--

----

----

----

Estatística

Supervisão


15 de Maio de 2013

Camada de negócio – visão de dados Cruzamento de informação entre domínios estatísticos


15 de Maio de 2013

Correlação entre domínios de Informação

partilha de informação de referência


Desenvolvimento Metodológico / Auditoria Estatística

Gestão Meta-Informação (semântica, regras negócio e operação)Gestão Dados Referência

Gestão Difusão

DisseminaçãoExploraçãoProduçãoAquisição

Gestão ExploraçãoGestão ProduçãoControlo Aquisição

Camada de Negócio Cadeia de Valor da informação

A cadeia de valor inicialmente estudada para os sistemas estatísticos é abrangente e generalizável para outros sistemas de BI (os quais poderão não passar por todos os passos – no mínimo Aquisição e Exploração sempre presentes).


Cadeia de Valor da informação – atividades tipo

DifusãoExploraçãoProduçãoAquisição

Validação

Extracção

Recepção

Recolha

Qualidade

Correcção

Transformação

Estimação / Extrapol

Análise Temporal

Agreg / Contributos

Cálculo Variáveis

Identificação Outliers

Cruzam / Integração

Ranking

Análise Descritiva

Amostragem

Consulta Dados

Agregação Ad hoc

Análise Dimensional

Cálculo Indicadores

Consulta Relatórios

Análise Tendência

Análise Exploratória

Cálculo Representativ

Monitorização

Análise Interactiva

Subscr Relatórios

Public Relatórios

Reporte PeriódicoCategorização

Distrib Relatórios

PublicaçãoAnálise Predictiva

Ad hoc Reporting


15 de Maio de 2013

Camada Concetual repositórios de dados

Dados de trabalho atualizáveis transacionais detalhados

Microdados base e derivados Dados atualizáveis

Voláteis (ciclo prod.)

Estruturado para consulta e análise

Atualizações calendarizadas / automáticas Não volátil (todo o histórico existente)

Dados menos detalhados (e

anonimizados) Não volátil


15 de Maio de 2013

Conceptual layer – data view Data repositories

Difusão Exploração Aquisição

Produção

Working

Data

Store

Reference Data

Metadata

SPAI ViewPoint

Data

Warehouse

Data

Marts Data Staging

Data Staging

Data Staging

Data Staging

Data Staging Central de Balanços

Central de Responsabilidades de Crédito

Balança de Pagamentos

Estatísticas de Títulos

(Outros domínios estatísticos)

BD

IE

BP

st

at


Camada concetual componentes funcionais


Camada Tecnológica – Infraestrutura de dados


Camada Tecnológica – componentes aplicacionais


Camada Tecnológica - Componentes da plataforma de BI Microsoft

Ferramentas end-user

Exc

el S

ervi

ces

Microsoft

Office Excel 2007 /2010


Perspetiva de evolução - principais drivers da reformulação da Arquitetura

15 de Maio de 2013

Reformulação da Arquitetura de BI

Necessidades do negócio

No

va g

ama

de

fe

rram

en

tas

Novos suportes tecnológicos

No

vos

Co

nceito

s


Sumário / Ideias chave:

• Arquitetura de BI abordada a 3 níveis:

– Negócio (conceitos do negócio – independentes da tecnologia);

– Concetual (tipos de tecnologias ou categorias de funcionalidades );

– Tecnológica (produtos específicos).

• Cadeia de Valor da informação para sistemas de BI – com similitudes e generalizável.

• Estratégia de implementação:

– Desenvolvimento incremental por projetos individualizados (sem perder a visão de conjunto);

– Integração assente na informação de referência (dimensões) e com o suporte de um sistema (de partilha);

– Recurso a uma arquitetura (e consequentemente a uma plataforma tecnológica) comum - a utilização da mesma arquitetura e tecnologia facilita a integração e reutilização de soluções.

• Parceria entre técnicos das áreas de negócio e dos SI´s.

15 de Maio de 2013

Documents

Serviço Público Inteligente - apdsi.pt - Manuel Sequeira - O BI no... · Setor de Atividade ... FK1,U2,U1 PAITER_IdMbrTerr TPAITAE0_TipoAgEcon ... Estatísticas das Empresas não