Big Data e Computação em Nuvem na AWS

Big Data e Computação em

Nuvem na AWS

José Papo

AWS Tech Evangelist

@josepapo

Onde se vê Big Data

Mídia/

Propaganda

Anuncios Dirigidos

Processa-mento de vídeos e imagens

Óleo e Gás

Análise Sismica

Varejo

Recomen-dações

Análise de Transações

Telecom

Cobrança

Log de Ligações

Uso dos Produtos

Instituições Financeiras

Simulações de Monte

Carlo

Análise de Riscos

Segurança

Anti-virus

Detecção de Fraudes

Reconheci-mento de Imagens

Marketing e Jogos

(sobretudo social)

Analise Comporta-

mental

Análise de Uso

Métricas “In-game”

Coleta e Storage

Processamento e ETL

Buscas e Machine Learning

Visualização e Relatórios

Coleta e Storage

Processamento e ETL

Buscas e Machine Learning

Visualização e Relatórios

Relacional NoSQL

Como Cloud facilita

Coleta e Storage?

Q4 2007 Q4 2008 Q4 2009 Q4 2010 Q4 2011 Q2 2012

14 Bilhões 40 Bilhões

102 Bilhões

262 Bilhões

762 Bilhões

Storage Elástico no Amazon S3 1 Trilhão

288 servidores com Cassandra

1.100.000 transações / segundo

Benchmarking Cassandra Scalability on AWS - Over a million writes per second

41 dólares / hora (Instâncias Reservadas)

DynamoDB é um Banco de

Dados NoSQL “as a service”

sem complexidades

Armazene e recupere qualquer quantidade de dados

Sirva níveis gigantescos de tráfego e requisições

Sem instalações de software

Não é necessário configurar clusters

Custos mínimos de administração

Coleta e Storage

Processamento e ETL

Buscas e Machine Learning

Visualização e Relatórios

"Hadoop é um storage confiável e um sistema analítico"

HDFS MapReduce

Como Cloud facilita

Processamento e ETL?

Elasticidade

Aumenta

para 25

instancias

Data Warehouse

(Estável)

Data Warehouse

(Processo Batch)

Diminui

para

9

instancias

Data Warehouse

(Estável)

Implantar um cluster hadoop é difícil

http://eddie.niese.net/20090313/dont-pity-incompetence/

+

Elastic MapReduce, DynamoDB e Hive

http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/EMRforDynamoDB.html

Coleta e Storage

Processamento e ETL

Buscas e Machine Learning

Visualização e Relatórios

Como Cloud facilita

Buscas e Machine

Learning?

Coleta e Storage

Processamento e ETL

Buscas e Machine Learning

Visualização e Relatórios

Como Cloud facilita

Visualização e

Relatórios?

Casos de utilização de

Big Data na Nuvem

3 Horas por $4828,85/hora

OFERTA GRATUITA!

aws.amazon.com/pt/free

awshub.com.br

OBRIGADO! aws.typepad.com/brasil

slideshare.net/AmazonWebServicesLATAM

José Papo

AWS Tech Evangelist

@josepapo