Big Data ANALYTICS - Armazenamento de dados, · PDF filede fraude Tráfego de TI/rede Análise bayesiana Genôma do ... foco do serviço e marketing de produtos e gerenciar as reações

1 © Copyright 2013 EMC Corporation. Todos os direitos reservados.

Big Data &

ANALYTICS TRANSFORMAM OS NEGÓCIOS


Big Data = dados estruturados + não estruturados

Informações estruturadas em bancos de dados relacionais

Gerenciadas e não gerenciadas Informações não estruturadas

Internet das Coisas

Informações de telemetria baseadas em local etc.

Informações não corporativas

O universo digital está crescendo 7.600 PB por dia


A Importância do Big Data para o negócio

Crescimento de dados

• Alto volume • Contínuo • Diverso • Complexo

É uma benção! • Fornece material para análise. • Novos conhecimentos tornam-

se disponíveis

É uma maldição! • Tecnologia (velha TI) e não

pode lidar com suas novas características e não pode extrair valor dos dados

Análise Avançada

• Matemática / Estatística

• Preditivo • Específico • Baseada em

evidências

Novas Tecnologias

• Scale-out • Relação custo-

benefício • Flexível

Insights novos & Características

Genoma do cliente e

Intimidade

Sensíveis à localização decisões

Ações em tempo real

Consciência Social

. . .

Áreas beneficiadas

Produtos

Marketing

Agências

Novas fontes de

receita

. . .

Riscos


Analytics é a aplicação da tecnologia computacional e de estatística para solucionar problemas de negócios e da indústria. Praticamente, é o processo de tomada de decisões de forma realista e otimizada com base nos dados existentes.

O que é ‘Analytics’?


Barreiras contra o ganho de valor do Big Data

Fontes de dados pouco utilizadas

01101010111100 10101010100101010

011001010101110010 1101010100101011111

Análises de dados presa em silos

Longos tempos de ingestão e processamento


O Papel do CIO na Era de Big Data

O Papel do CIO na Transformação de Big Data

“Os CIOs devem claramente abraçar o conceito de Big Data, porque representa o exemplo

perfeito do tipo de tecnologia no qual a TI habilita a geração de

oportunidades de negócio e possibilita a entrega de receitas significativas ou diferenciação

competitiva única para a empresa”


O QUE É NECESSÁRIO PARA APROVEITAR O

Big Data?


O Big Data exige uma forte colaboração da TI e das linhas de negócios

Os negócios impulsionam os projetos de Big Data

Priorize casos de uso

Alinhe-se a iniciativas

Determine dados e tecnologia


Requisitos tecnológicos do Big Data

Armazenar dados em escala de petabytes

Reagir a um grande número de eventos

Oferecer menor tempo de implantação


EMC e Big Data

Armazenamento de dados de forma scale-out 1

Nuvem ou virtualizado


Isilon: armazenamento scale-out para Big Data

O HDFS está integrado ao sistema operacional OneFS

Hadoop pronto para uso corporativo

Gerencie PBs da mesma forma que faria com TBs

Simplicidade no gerenciamento

Capacidade de expansão em grande escala Até 20 PB em um só file system


Descubra novos tratamentos com Big Data

Acesso rápido a todos os dados

– Dimensione até 12 PB com desempenho linear

Colabore nas pesquisas inovadoras

– Reduza a disseminação de doenças

"Aumentamos um sistema único de

arquivos para até 1 PB em menos de um ano e mantivemos o throughput necessário para continuar nossa pesquisa."


EMC e Big Data

Data Fabric de alta capacidade e em memória 2

Armazenamento de dados de scale-out 1



Uma visão holística de um sistema de Big Data & Analytics:

ETL

Real Time Streams

Dados Não Estruturados(HDFS)

Real Time Structured Database

(hBase, Gemfire,

Cassandra)

Big SQL (Greenplum)

Processamento Batch

Real-Time Processing

(s4, storm) Analytics


Pivotal: integração de ativos da EMC e da VMware

Armazenamento

em nuvem

Virtualização

Fabric de dados

da Pivotal

Fabric de

aplicativos

e nuvem

da Pivotal

Desenvolvimento

de aplicativos

orientado

por dados

Laboratórios de ciência de dados da Pivotal

...ETC


Reaja a grandes volumes de dados em tempo real

Armazenamento

em nuvem

Virtualização

Fabric de dados

da Pivotal

Fabric de

aplicativos

e nuvem

da Pivotal

Desenvolvimento

de aplicativos

orientado

por dados


...ETC


Arquitetura de fabric de dados da Pivotal

Analytic Data Marts

Operational Intelligence

Run-Time Applications

Enterprise Data Warehouse

Data Staging Platform Data Ingestion

System


"A central de cartão de crédito já recuperou até 40 vezes o investimento do projeto, o que é uma realização considerável."

O banco de dados de análise de dados da Pivotal reduz o risco e aumenta as receitas

Estudo de caso: China CITIC Bank

Reduza o processo de análise de dados de meses para dias

Reduza o risco de crédito com dados em tempo real, permitindo ajustes mais rápidos em limites de crédito

Melhoria de 86% nos tempos de configuração de campanha de marketing


Fabric de dados de alta capacidade e na memória 2

EMC e Big Data

2 Armazenamento de dados

de scale-out 1 Nuvem ou virtualizado

Especialistas em ciência de dados 3 Laboratórios de ciência de dados da Pivotal


Cientista de Dados: uma carreira emergente

SPOTLIGHT ON Big Data

by Thomas H. Davenport and D.J. Patil


Business Intelligence

VALOR COMERCIAL

TEMPO

Alta

Baixo

Passado Futuro

Inteligência de negócios versus análise de dados avançada (ciência de dados)

Evolução do processo de análise de dados

Ciência de dados

análise preditiva de dados e data mining (ciência de dados)

Técnicas

e tipos

de dados

típicos

• Otimização, modelagem preditiva, previsão de análise estatística

• Dados estruturados/não estruturados, qualquer tipo de fonte, conjuntos de dados muito grandes

Perguntas

comuns

• E se…?

• Qual é o cenário ideal para nossos negócios?

• O que acontecerá depois? E se essas tendências continuarem? Por que isso está acontecendo?

Business Intelligence

Técnicas

e tipos

de dados

típicos

• Geração de relatórios padrão e específica, painéis de controle, alertas, consultas, detalhes sob demanda

• Dados estruturados, fontes tradicionais, conjuntos de dados gerenciáveis

Perguntas

comuns

• O que aconteceu no último trimestre?

• Que quantidade vendemos?

• Onde está o problema? Em quais situações?


Acelere projetos: Data Science Labs

Quant. Modelagem

Detecção de fraude

Tráfego de TI/rede

Análise bayesiana

Genôma do cliente

Modelagem financeira

Processamento de fala e

linguagem

Analytics de imagens e gráficos

Os cientistas de dados trabalham com você em seus dados


Construindo uma área de Cientistas de Dados


Matriz de Habilidades

Habilidade Técnica

Recém Graduados em

CTEM

Profissionais de Business

Intelligence, TI

Analistas Quantitativos, Estatísticos, e Analistas

de Negócios

Habilidade Quantitativa

Cientistas de Dados


Perfil do Cientista de Dados

Curioso e Criativo

Técnico

Quantitativo

Comunicativo & Colaborativo Questionador


Construindo uma prática de Big Data no banco

Cientistas de Dados

Desenvolvimento de modelos R, SAS, Stata

Cientistas de Dados Desenvolvimento de algoritmos Java, C++, Python, MapReduce

CDO, VP de Analytics, Diretor de Analytics

CEO, CIO, …

-Perfil: -Doutor ou Mestre em Estatítica, Ciência da Computação, ou cursos na área de Exatas

-Experiência com Mineração de Dados -Fluencia em R, SAS, SQL, Java -Conhecimento da Indústria Financeira

- Ordem de contratação: - Cientista de Dados Jr. para começar a gerar valor

para os pilotos - Coordenador para organizar, evangelizar, e atrair

novos talentos - Contratar mais recursos conforme a demanda

Fin

anceir

o

Com

erc

ial

Opera

ções

Mark

eting

Tesoura

ria

. .

.

Ris

cos

Time de Analytics

Organização: Nível Executivo Senior Abordagem orientada a serviços

-Centralizada -Forte interação com Negócios e TI

-Pleno acesso aos dados

-Não se fundir com Business Intelligence

Infraestrutura de TI

Hadoop

Visualização

Processamento Paralelo

Federação de Dados

High Performance DB

. . .

Promover Analytics e raciocínio baseado em evidências, muda a forma como as pessoas tomam decisões.


EMC – Estrutura da Plataforma Unificada de Analytics

Plataforma de análise em

tempo real

Entrega de Labs na "Escala Big Data"

Centro de Ciência de Dados

Plataforma Analítica


Gerenciamento do Projeto

Engenharia e Arquitetura de Dados

Cientistas de Dados Treinamento Formal e

“on the job”

Facilitar os processos de carregamento de dados dos sistemas de origem para infra-estrutura do centro

Coordenar as necessidades de dados com cientistas de dados

Melhor práticas didáticas para o desempenho das análises

A migração de dados para suportar novas aplicações

Mapeamento de perfis dentro da cia.

Definição de papéis e habilidades e serem desenvolvidas

Planos de supervisão e comunicação

Relatórios de status

Alinhamento organizacional

Mitigação de riscos

Planejamento de recursos

Promover uma cultura de colaboração de dados

Executar trabalhos de Laboratório em torno de geração/aumento de receita específica ou esforços de ganhos de eficiência operacional

Educação “mão na massa” com novas técnicas de análise de dados

Introduzir novas ferramentas e metodologias de análise

Identificar candidatos para treinamentos específicos e mais profundos de ciência de dados

Criar currículo de formação oficial

Metodologia Recrutamento Interno

Imersão de Hadoop na EMC Americana

Construir conhecimento institucional para a equipe de cientistas de dados

Centro de Inovação e Ciência de Dados Princípios fundamentais

• Construção de um centro de ciência de dados é, em primeiro lugar, construir uma infra-estrutura formada por pessoas.

• Analytics é um processo de descoberta iterativa de conhecimento e tem de ser gerida como tal.

• Descoberta começa fazendo as perguntas certas - Que podem ser tão importantes quanto encontrar respostas a essas perguntas.


Plataforma G2 em Ação


Fabric de dados de alta capacidade e na memória 2

EMC e Big Data

2 Armazenamento de dados

de scale-out 1

Especialistas em ciência de dados 3


4 Desenvolvimento rápido de aplicativos



Acesso de dispositivos móveis e da Internet das Coisas

Aplicativos de Big Data diferenciam os negócios


Big Data Use Cases


Melhorar Retenção de Clientes Wealth Management e cross-selling

Situação Atual do Cliente:

• Tem tido tradicionalmente uma postura muito qualitativa e reativa, ao invés de quantitativa e pró-ativa, para antecipar as necessidades de produtos para clientes, retenção de clientes em ambiente de mercado volátil, e definir produtos adequados para o cross-selling

• Isso leva a custos significativamente de atrair novos clientes mais elevados versus a manutenção dos existentes e diminuiu das receitas potenciais em perder oportunidades para aprofundar / ampliar relações

Descrição da Solução:

Coletar e organizar grandes volumes de dados internos e externos (estruturados e não estruturados) para ir além dos tradicionais Business Intelligence para alavancar Big Data Analytics

Desenvolver modelos de análise preditiva para antecipar as necessidades dos clientes, o foco do serviço e marketing de produtos e gerenciar as reações do cliente para eventos de mercado ou macro, incluindo alertas e notificações

Integrar os resultados de análise preditiva para prospecção do FA e modelo de relacionamento FA-Cliente

Valor de Negócios:

• Aquisição, gestão e retenção de clientes mais efetiva

• Custo de reter clientes é muito menor do que atrair novos

• Criar negócios e receita adicional através da antecipação das necessidades dos clientes e minimizar a migração do cliente

Dados Cliente

Dados Produtos

Dados não tradicionais

• segmentação de clientes • Tolerâncias a risco • Perfil de Investimento • Investimento histórico e dados de transações • Ativos detidos fora

•Informações sobre o produto •Fluxos AUM •Histórico produto •análise cliente histórico • Análise de perda

• eventos macro • Notícias do Mercado • mídias sociais • Estilo de Vida do cliente

Predictive Analytics

Cientista de Dados

Financial Advisor

Gerenciar

Riscos

CUSTOMER

EXPERIENCE

Reduzir

Custos

Eficiência

Operacional

AUMENTAR

RECEITAS

FA Workstation, Mobile Devices


Iniciar


Consolidação de Data Warehouse

EMC - Big Data Advisory Services Piloto de

BI / Analytics

Governança de Dados

Big Data Advisory Services

Migração de Data Warehouse

Estratégia em Data Warehouse

Estratégia de MDM

Qualidade de Dados

Analytics Lab

BI / Analytics

Data Warehouse / ETL

Master Data Management

Implementação

MDM

Avaliação da Maturidade

Analytics

Solução Big Data usando Hadoop

Next Gen Data Warehouse


Identifique onde o Big Data fornecerá vantagem competitiva

Comece com um workshop de visão de Big Data

Identifique casos de uso de Big Data

Adquira e prepare dados estruturados e não estruturados

Construa e refine continuamente modelos de análise lógica

Publique percepções nos aplicativos

Meça a eficácia das decisões


A EMC pode ajudá-lo a treinar seu talento EMC Academic Alliance e cursos de Big Data

Para obter mais informações, acesse: http://education.EMC.com/datascience ou http://education.EMC.com/Business_Transformation

http://education.emc.com/datascience

http://education.emc.com/Business_Transformation


A EMC pode ajudá-lo a treinar seu talento EMC Academic Alliance e cursos de Big Data

Público Ofertas de cursos

Todos os futuros cientistas de dados

Líderes de negócios

Líderes de negócios e gerentes

Ciência de dados e análise de dados de Big Data para transformação dos negócios 1 dia

Ciência de dados e estudos analíticos de Big Data 5 dias

Introdução à ciência de dados e análise de dados de Big Data para obter transformação dos negócios Módulo de mais de 90 minutos Novidade

Novidade

Para obter mais informações, acesse: http://education.EMC.com/datascience ou http://education.EMC.com/Business_Transformation

http://education.emc.com/datascience

http://education.emc.com/Business_Transformation


Resumo

O Big Data exige colaboração de negócios e da TI 2

O Big Data transforma os negócios 1

A EMC pode ajudá-lo com Big Data hoje 3

Documents

Big Data ANALYTICS - Armazenamento de dados, · PDF filede fraude Tráfego de TI/rede Análise bayesiana Genôma do ... foco do serviço e marketing de produtos e gerenciar as reações