Asterio K. Tanaka

Tópicos Avançados de Banco de Dados(Business Intelligence)

Asterio K. Tanakahttp://www.uniriotec.br/~tanaka/SAIN

tanaka@uniriotec.br

Visão Geral de Business Intelligence & Analytics, etc.

Licença Creative Commons – AtribuiçãoUso Não Comercial – Compartilhamento pela mesma Licença

Asterio K. Tanaka

Evolução dos Sistemas de Informação

• A.C. (Antes do Computador): pastas e arquivos em papel e outros meios físicos

• 1950’s: programas e dados armazenados em memória RAM• 1960’s: sistemas de arquivos em memória secundária (discos

magnéticos)• 1970-80’s: sistemas de bancos de dados centralizados e

distribuídos em redes• 1990’s: WWW, integração de dados, Data Warehouse, Business

Intelligence, Sistemas de Informação para a Web• 2000's: Web Semântica, integração de informações e de

aplicações, governança de dados, Business Intelligence em tempo real

• 2010's: Business Analytics, Big Data, Data Science, Internet of Things, ...

Asterio K. Tanaka

Sistemas de Informaçãona Pirâmide Organizacional

(Sprague & Watson, 1991)

Asterio K. Tanaka

EAIEnteprise Application

IntegrationCRM PRM

B2C B2B

ERP OutrosOLTP

Business Intelligence& Analyitics

Clientes ParceirosFornecedores Reguladores

Alta GerênciaStakeholders

BSC

CI

KMS

Adaptado de (BI-Business Intelligence, C. Barbieri, 2001) → (BI2 Modelagem e Qualidade, C. Barbieri, 2011)

Visão Geral da Arquitetura ERM – Enterprise Relationship Management

BAM

KDD

GovernançaCorporativa de

Processose Dados

Carlos Barbierihttp://blogdobarbi.blogspot.com.br/

OLAP

Dados Não Estruturadose Externos

Asterio K. Tanaka

Arquitetura ERM

BSC

BI, CI, KMS, BAM, ...

CRM, PRM, ...

B2B, B2C, ERP,outros sistemas

OLTP, ...

Asterio K. Tanaka

Enterprise Relationship Management (ERM)

• ERM - Enterprise Relationship Management is basically a business strategy for value creation that is not based on cost containment, but rather on the leveraging of network-enabled processes and activities to transform the relationships between the organization and all its internal and external constituencies in order to maximize current and future opportunities.

— Galbreath, 2002

http://en.wikipedia.org/wiki/Enterprise_relationship_management

Asterio K. Tanaka

Balanced scorecard (BSC)

• Balanced Scorecard é uma metodologia de medição e gestão de desempenho desenvolvida pelos professores da Harvard Business School Robert Kaplan e David Norton, em 1992. Os métodos usados na gestão do negócio, dos serviços e da infraestrutura baseiam-se normalmente em metodologias consagradas que podem utilizar a TI (tecnologia da informação) e os softwares de ERP como soluções de apoio, relacionando-a à gerência de serviços e garantia de resultados do negócio. Os passos dessas metodologias incluem: definição da estratégia empresarial, gerência do negócio, gerência de serviços e gestão da qualidade; passos estes implementados através de indicadores de desempenho.

http://pt.wikipedia.org/wiki/Balanced_scorecard

Asterio K. Tanaka

Perspectivas do Balanced Scorecard

http://www.balancedscorecard.org/

Asterio K. Tanaka

Business Activity Monitoring (BAM)

• Business activity monitoring (BAM) is software that aids in monitoring of business activities, as those activities are implemented in computer systems.

• The term was originally coined by analysts at Gartner, Inc. and refers to the aggregation, analysis, and presentation of real-time information about activities inside organizations and involving customers and partners. A business activity can either be a business process that is orchestrated by business process management (BPM) software, or a business process that is a series of activities spanning multiple systems and applications. BAM is an enterprise solution primarily intended to provide a real-time summary of business activities to operations managers and upper management.

http://en.wikipedia.org/wiki/Business_activity_monitoring

Asterio K. Tanaka

Knowledge Management System (KMS)

• Os Sistemas de Gerenciamento de Conhecimento (Knowledge Management Systems) são soluções de tecnologia da informação que amparam as iniciativas empresariais típicas de Gestão do Conhecimento, como identificação, criação, apresentação e distribuição do conhecimento dentro do contexto corporativo.

– A Gestão do Conhecimento, do inglês KM - Knowledge Management, é uma disciplina que tem suscitado cada vez mais atenção nas últimas décadas, tendo originado inúmeros trabalhos de investigação e investimentos cada vez mais significativos por parte das organizações que reconhecem a sua crescente importância.

– Utilizando a gestão do conhecimento a empresa diminui os gastos em produtos e começa a investir em capital intelectual, o que tem um melhor custo-benefício, pois o maior capital que a empresa possui é o conhecimento de seus colaboradores. Os colaboradores quando são ouvidos e podem dividir suas opiniões, se sentem valorizados e trabalham com paixão. Dessa forma o trabalho flui com maior eficiência, qualidade e dedicação.

http://pt.wikipedia.org/wiki/Gestão_do_conhecimento http://pt.wikipedia.org/wiki/Sistema_de_gerenciamento_do_conhecimento

Asterio K. Tanaka

Competitive intelligence (CI)

• Competitive intelligence is the action of defining, gathering, analyzing, and distributing intelligence about products, customers, competitors, and any aspect of the environment needed to support executives and managers making strategic decisions for an organization.

• Competitive intelligence essentially means understanding and learning what's happening in the world outside your business so you can be as competitive as possible. It means learning as much as possible—as soon as possible—about your industry in general, your competitors, or even your county's particular zoning rules. In short, it empowers you to anticipate and face challenges head on.

http://en.wikipedia.org/wiki/Competitive_intelligence

Asterio K. Tanaka

Extração de conhecimento (KDD)• Extração de conhecimento (também conhecido como processo

KDD, do inglês knowledge discovery in databases) é um processo de extração de informações de base de dados, que cria relações de interesse que não são observadas pelo especialista no assunto, bem como auxilia a validação de conhecimento extraído.

• Prospecção de dados (português europeu) ou mineração de dados (português brasileiro) (também conhecida pelo termo inglês data mining) é o processo de explorar grandes quantidades de dados à procura de padrões consistentes, como regras de associação ou sequências temporais, para detectar relacionamentos sistemáticos entre variáveis, detectando assim novos subconjuntos de dados.

http://pt.wikipedia.org/wiki/Extração_de_conhecimentohttp://pt.wikipedia.org/wiki/Mineração_de_dados

Asterio K. Tanaka

EAI – Enterprise Aplication Integration• EAI (do inglês Enterprise Application Integration) é uma referência aos meios

computacionais e aos princípios de arquitetura de sistemas utilizados no processo de Integração de Aplicações Corporativas. Os procedimentos e ferramentas de EAI viabilizam a interação entre sistemas corporativos heterogêneos por meio da utilização de serviços.

• Os pontos básicos de uma arquitetura de EAI são:

– Integração de aplicações, sistemas de informação e processos de negócio de uma empresa.

– Integração com aplicações internas e externas da empresa que servem de suporte ao processo de negócio da mesma, como por exemplo processo financeiro, recursos humanos, dentre outros.

– Conjunto de ferramentas de análise e monitoração de processos em tempo real.

http://pt.wikipedia.org/wiki/EAI

http://en.wikipedia.org/wiki/Enterprise_application_integration

http://en.wikipedia.org/wiki/Comparison_of_business_integration_software

Asterio K. Tanaka

CRM – Customer Relationship Management

• Customer Relationship Management (CRM) é uma expressão em inglês que pode ser traduzida para a língua portuguesa como Gestão de Relacionamento com o Cliente.

• Foi criada para definir toda uma classe de ferramentas que automatizam as funções de contato com o cliente.

• Essas ferramentas compreendem sistemas informatizados e fundamentalmente uma mudança de atitude corporativa, que objetiva ajudar as companhias a criar e manter um bom relacionamento com seus clientes armazenando e inter-relacionando de forma inteligente, informações sobre suas atividades e interações com a empresa.

http://pt.wikipedia.org/wiki/Customer_relationship_management

Asterio K. Tanaka

PRM – Partner Relationship Management

• PRM (Partner Relationship Management) ou Gerenciamento de Relacionamentos com parceiros é um sistema de gerenciamento de canais que visa construir relacionamentos de confiança e melhorias estratégicas entre a indústria e o canal de vendas indireto para que sejam construídos relacionamentos de longo prazo.

• Uma comunicação limpa e rápida proporcionada através de um conjunto de ferramentas potencializados pela Internet.

http://pt.wikipedia.org/wiki/Partner_Relationship_Management

Asterio K. Tanaka

Business Intelligence• Hans Peter Luhn (1958): "A Business Intelligence System".

IBM Journal– Habilidade de apreender os inter-relacionamentos de fatos apresentado de forma

a guiar ações na direção de um objetivo desejado.

• Howard Dresner (1989) → Gartner Group – Um termo guarda-chuva para descrever conceitos e métodos para melhorar

tomadas de decisão de negócios usando sistemas de apoio baseados em fatos.

• Sun Tsu (Século V A.C). “A Arte da Guerra”.– Para obter sucesso na guerra, deve-se ter total conhecimento de suas próprias

virtudes e fraquezas, assim como total conhecimento das principais virtudes e fraquezas de seus inimigos. A falta de um destes resulta na derrota.

– Uma certa corrente de pensadores estabelece um paralelo entre os desafios de negócios e de guerra, especificamente:

» Coletando dados;

» Enxergando padrões e significado nos dados (gerando informação);

» Respondendo a informação resultante.

Asterio K. Tanaka

Business Intelligence

• Inteligência Aplicada ao Negócio– Business intelligence (BI) é um conjunto de teorias, metodologias,

processos, arquiteturas e tecnologias que transformam dados primários em informações significativas e úteis para o propósito do negócio. http://en.wikipedia.org/wiki/Business_intelligence

– As tecnologias de BI permitem o cruzamento de informações e suportam a análise dos indicadores de desempenho de um negócio, para tomada de decisão.

• BI vs BAMonitoring and tracking metrics/KPIs in the form of reports/dashboards is ‘Business Intelligence’, but making meaningful sense of these metrics, co-relating them with other factors that influence them, understanding the trends and using statistical algorithms to predict outcomes is where the bang for the buck is…and that is ‘Business Analytics’

http://smartdatacollective.com/

Asterio K. Tanaka

BI vs BA

BI Traditional: lida com dados armazenados sobre o passado e presente, para • Relatórios e dashboards padronizados • Relatórios Ad hoc sobre o desempenho atual da organização• Consultas OLAP (Drill Down e Roll Up)• Análise de Cubos OLAP – Slice and dice• Alertas

Vs.

Business Analytics: lida com os dados armazenados do presente para predizer o futuro, usando

• Análise estatística• Forecasting• Modelagem preditiva• Otimização

Asterio K. Tanaka

DSS – Decision Support Systems• Apoio à Decisão

– Produção e distribuição de INFORMAÇÃO ÚTIL para analistas do conhecimento, gerentes e diretores.

– Informação útil pressupõe» Agilidade» Flexibilidade» Precisão

– DSS podem variar desde sistemas desktop de um único usuário a sistemas empresariais multi-usuários ligados a grandes DW corporativos.

What is a DSS? (D.J. Power, 1998)http://www.dssresources.com/papers/whatisadss/index.html

A brief History of DSS (D.J. Power, 2007)http://www.dssresources.com/history/dsshistory.html

Asterio K. Tanaka

Ambiente de Sistemas de Aplicação

Operacionais• Dão suporte às funções

associadas à execução do negócio da empresa:

– ERP, SCM

– B2C, B2B

– Sistemas transacionais legados

– etc.

Informacionais• Dão suporte às funções

associadas à concepção do negócio da empresa

– DSS, EIS

– DW, CRM, PRM

– Ferramentas OLAP

– Ferramentas de Data Mining

– etc.

Asterio K. Tanaka

Otimizado para análises complexas, com tempos de respostas viáveis.

Otimizado para tempo de resposta (máximo 2 a 3 segundos); inviável para análises complexas.

Desempenho

Desestruturado, consultas sob diferentes perspectivas, permite descoberta de conhecimento.

Estruturado, repetitivo, solução para requisitos conhecidos

Uso

Dimensional, própria para processamento analítico (segundo Kimball)

Relacional, própria para processamento transacional

Estrutura de dados

Estática, atualização apenas com “refresh”

Dinâmica, sujeita a atualizações freqüentes

Natureza dos dados

Por assunto, negócio; abrangência ampla.

Por aplicação, sistema de informação, disponível para poucos usuários; abrangência restrita

Organização dos dados

Valores históricos, sumarizadosValores correntes, detalhadosConteúdo

Dados informacionais(analíticos)

Dados operacionais(transacionais)

CaracterísticasOLTP x OLAP

Asterio K. Tanaka

Suporte à Decisão “Tradicional”

Ambiente OperacionalAmbiente OperacionalAnalista do negócioAnalista do negócio

• Dados não estão adequados para suporte à decisão

• Sistemas de suporte à decisão desenvolvidos ad-hoc

• Analista do Negócio vira “Programador”

• Longo tempo de espera

Asterio K. Tanaka

Por que Data Warehousing?

Integrar dados de múltiplas fontes

Facilitar o processo de análise sem impacto para o ambiente de dados operacionais

Obter informação de qualidade

Atender diferentes tipos de usuários finais

Flexibilidade e agilidade para atender novas análises

BDs Operacionais

DW

Aplicação SD

Ferramenta OLAP

Aplicação EIS

Asterio K. Tanaka

Data Warehousing - Definições

• Processos, ferramentas e recursos para gerenciar e disponibilizar informações de negócios precisas e inteligíveis para que indivíduos possam tomar decisões efetivas.

• Um ambiente para adequadamente organizar, gerenciar e disponibilizar informações oriundas de fontes diversas, fornecendo uma visão única de parte ou de todo o negócio com o objetivo de dar suporte a operações analíticas.

• Processamento de informações consolidadas e históricas para análise e suporte à decisão.

Asterio K. Tanaka

Definição de Data Warehouse

“A Data Warehouse is a subject-oriented,

integrated,time-variant,

non-volatile collection of data in supportof management’s decision-making process.”

(W. Imnon)

Asterio K. Tanaka

Data Warehouse – Collection of Data

• Um Data Warehouse nada mais é do que um banco de dados contendo dados extraídos do ambiente de produção da empresa, que foram selecionados e depurados, tendo sido otimizados para processamento de consulta e não para processamento de transações. Em geral, um Data Warehouse requer a consolidação de outros recursos de dados, além dos armazenados em banco de dados relacionais, como informações provenientes de planilhas eletrônicas, documentos textuais, etc.” [INMON, 1999].

Asterio K. Tanaka

Data Warehouse – Subject-Oriented

• Organizado em torno de assuntos como Clientes, Produtos,

Vendas.

• Focado na modelagem e análise de dados para tomadores de

decisão, não em operações diárias ou processamento de

transações

• Provê uma visão simples e concisa em torno de questões sobre

um assunto particular, excluindo dados que não são úteis no

processo de tomada de decisão.

Asterio K. Tanaka

Data Warehouse – Integrated

• Construído integrando fontes de dados múltiplas e heterogêneas.

– bancos de dados relacionais, arquivos comuns, registros de transações on line.

• Limpeza de dados e técnicas de integração de dados são aplicadas.

– Assegura consistência em convenções de nomes, estruturas de codificação, medidas de atributos, etc., entre diferentes fontes de dados.

» Por exemplo, Preço de Hotel: moeda, taxas, inclui café da manhã, etc.

– Quando os dados são carregados no Data Warehouse, são convertidos para o padrão adotado.

Asterio K. Tanaka

Data Warehouse – Time Variant

• O horizonte de tempo para o Data Warehouse é

significativamente mais longo do que para as aplicações

operacionais.– Bases de dados operacionais: dados de valor corrente.

– Dados de data warehouse: provêem informação para uma

perspectiva histórica (por exemplo, 5-10 anos)

• Toda estrutura chave no Data Warehouse– contém um elemento de tempo, explicita ou implicitamente

– mas a chave para dados operacionais pode não conter

elemento temporal.

Asterio K. Tanaka

Data Warehouse – Non-Volatile

• Um armazenamento de dados transformados fisicamente

separado do ambiente operacional

• Atualização operacional de dados não ocorre no ambiente

de Data Warehouse.– Não requer processamento de transações, restauração e

mecanismos de controle de concorrência.– Requer somente duas operações de acesso aos dados:

» carga e acesso para consulta.

Asterio K. Tanaka

Data WarehouseDefinições alternativas

• Um banco de dados destinado a sistemas de suporte à decisão, cujos dados são armazenados em estruturas lógicas dimensionais, possibilitando o seu processamento analítico por ferramentas OLAP e de mineração de dados. (segundo Kimball)

• Um banco de dados para suporte a decisão mantido separadamente do banco de dados operacional da organização.

Asterio K. Tanaka

Arquitetura Genérica de DW(visão acadêmica)

BDs Operacionais

Fontes Externas

FONTES DE DADOS

Meta Dados

Data Warehouse

Data Marts

FERRAMENTASDE CONSULTA

Análise

Data Mining

Relatórios

OLAP

OLAP

ExtraçãoTransformaçãoCargaAtualização

Chaudhri&Dayal, SIGMOD RECORD 1997

Asterio K. Tanaka

Arquitetura de DW

segundo Inmon

Corporate Information Factory de

InmonVersão 2013

http://www.inmoncif.com/library/cif/

Asterio K. Tanaka

Arquitetura de DWsegundo Kimball (2002)

Ralph Kimball, Margy Ross: The Data Warehouse Toolkit, 2a Edição, Wiley, 2002

Asterio K. Tanaka

Data WareHouse (Kimball 2013)

http://www.kimballgroup.com/data-warehouse-and-business-intelligence-resources/kimball-core-concepts/

http://www.kimballgroup.com/data-warehouse-business-intelligence-resources/kimball-techniques/technical-dw-bi-system-architecture/

Asterio K. Tanaka

Arquitetura de BI com Pentaho

http://www.pentaho.com/ http://community.pentaho.com/

it4biz é uma partner brasileira do Pentaho, liderada pelo Caio Moreno (Professor Coruja)

Asterio K. Tanaka

Arquitetura de BI com Pentaho

http://www.pentaho.com/ http://community.pentaho.com/

Asterio K. Tanaka

Arquitetura de BI com Pentaho

http://www.capgemini.com/blog/capping-it-off/2012/07/bi-30-the-journey-to-business-intelligence-what-does-it-mean

Asterio K. Tanaka

Arquitetura de BI/DWInmon X Kimball

• Coming up soon– Comparações, discordâncias, concordâncias– Convergência de abordagens– Novos rounds

• “Novas” Arquiteturas– BI/DW 2.0? BI 3.0?– ...– ...