DevCommerce Conference 2016: Big data com Elastic Search

Big data com Elasticsearch

Roger MattosCo-fundador e CTO

Quem são os seus consumidores e quais são seus interesses?

E-Commerce database

1

1

1

Automação de campanhas personalizadas

Volume atual

~1miLogs de comportamento por dia

~8k

Logs de comportamento por minuto

Como coletamos e armazenamos nossos dados

Desafios

● Filtros de audiencia em tempo real

● Consolidação e processamento de dados diários

● Inferir interesse de usuários baseado em navegação

Segmentação de Audiência

Campanha de Trending

Bottlenecks

● Lentidão nas consultas de audiencias

● Demora no processamento de campanhas

● Queda de CTR (conversão) devido ao delay de entrega

Big data com Elasticsearch

Leandro LustosaSoftware Engineer

You Know, for search.

Para quê?

Busca

- FullText Search

-GeoÍndices

-Agregações

Analytics

-Near Realtime

-Ferramentas de Ingestão e Vizualização de

Dados

Fazer os dados terem sentido

● Arquitetura Distribuida● API RESTFul ● Facilidade de Uso

Pontos Fortes

● Document Based● Open Source● Ecosistema

Index 1 Index 2 Index 3 Index 4

Arquitetura Distribuída

Exemplo de Consulta

Na Social Miner

● Processamento de dados de navegação

● Monitoramento de Serviços e Infraestrutura

● Visão para a equipe de Negócios

● ~6 milhões de usuários

● ~60 milhões de logs (2 meses)

● ~7 milhões de páginas processadas e indexadas

O que e como nós processamos

● 3 Máquinas

● 32 GB de RAM

● 4 Cores

● Configuração Padrão vs Produção

● Alterações de Schema

● Quanto Hardware utilizar

● Como dividir os Shards

Dificuldades

● Dados Quentes x Frios

● Múltiplos Shards x Múltiplos Índices

Modelagem de Dados

● Na dúvida, escolha memória.

● Metade para a aplicação, metade para o sistema operacional.

● Sempre tenha uma réplica de cada shard, de preferência em

zonas de disponibilidade distintas.

● Proteja seu Endpoint.

Deploy

Monitoramento de Serviços e Infraestrutura

Visão de Negócio

Quem usa?

Conclusão

Memória Importa

Pense nos Shards

Sempre tenha uma réplica

Roger MattosCo-fundador e CTO

Obrigado!

roger@socialminer.com

@roger_mattos

linkedin.com/in/rmattos

Leandro LustosaSoftware Enginner

leandro@socialminer.com

@llustosa_s

linkedin.com/in/leandro-lustosa-24672121