Embed Size (px)
Citation preview
Big data com Elasticsearch
Roger MattosCo-fundador e CTO
Quem são os seus consumidores e quais são seus interesses?
E-Commerce database
1
1
1
Automação de campanhas personalizadas
Volume atual
~1miLogs de comportamento por dia
~8k
Logs de comportamento por minuto
Como coletamos e armazenamos nossos dados
Desafios
● Filtros de audiencia em tempo real
● Consolidação e processamento de dados diários
● Inferir interesse de usuários baseado em navegação
Segmentação de Audiência
Campanha de Trending
Bottlenecks
● Lentidão nas consultas de audiencias
● Demora no processamento de campanhas
● Queda de CTR (conversão) devido ao delay de entrega
Big data com Elasticsearch
Leandro LustosaSoftware Engineer
You Know, for search.
Para quê?
Busca
- FullText Search
-GeoÍndices
-Agregações
Analytics
-Near Realtime
-Ferramentas de Ingestão e Vizualização de
Dados
Fazer os dados terem sentido
● Arquitetura Distribuida● API RESTFul ● Facilidade de Uso
Pontos Fortes
● Document Based● Open Source● Ecosistema
Index 1 Index 2 Index 3 Index 4
Arquitetura Distribuída
Exemplo de Consulta
Na Social Miner
● Processamento de dados de navegação
● Monitoramento de Serviços e Infraestrutura
● Visão para a equipe de Negócios
● ~6 milhões de usuários
● ~60 milhões de logs (2 meses)
● ~7 milhões de páginas processadas e indexadas
O que e como nós processamos
● 3 Máquinas
● 32 GB de RAM
● 4 Cores
● Configuração Padrão vs Produção
● Alterações de Schema
● Quanto Hardware utilizar
● Como dividir os Shards
Dificuldades
● Dados Quentes x Frios
● Múltiplos Shards x Múltiplos Índices
Modelagem de Dados
● Na dúvida, escolha memória.
● Metade para a aplicação, metade para o sistema operacional.
● Sempre tenha uma réplica de cada shard, de preferência em
zonas de disponibilidade distintas.
● Proteja seu Endpoint.
Deploy
Monitoramento de Serviços e Infraestrutura
Visão de Negócio
Quem usa?
Conclusão
Memória Importa
Pense nos Shards
Sempre tenha uma réplica
Roger MattosCo-fundador e CTO
Obrigado!
@roger_mattos
linkedin.com/in/rmattos
Leandro LustosaSoftware Enginner
@llustosa_s
linkedin.com/in/leandro-lustosa-24672121
