Upload
tdc-globalcode
View
138
Download
1
Embed Size (px)
Citation preview
ELKMétricas e monitoramento "real-time"
Fluxo de requisição3
Loja Pagamento
Fluxo de requisição no século 214
LB
API
API
API
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
S
Elastic.co
https://www.elastic.co/
5
Elastic.co
Produtos
● Elasticsearch● Logstash● Kibana● Beats● X-Pack
○ Shield○ Marvel○ Graph○ Watcher
6
Serviços● Suporte● Treinamento● Cloud● Consultoria
ELK
● Elasticsearch● Logstash● Kibana
7
Elasticsearch
https://www.elastic.co/products/elasticsearch
8
Logstash
https://www.elastic.co/products/logstash
9
Kibana
https://www.elastic.co/products/kibana
10
PARSEARINDEXARVISUALIZAR
11 ELK WorkflowCLUSTER
Etapa de log parsing com Logstash
Entrada● Beats● Couchdb_changes● Heroku● File● Kafka● TCP● sqs● Redis● Rabbitmq● Elasticsearch
Filtro● Aggregate● Mutate● Alter● CSV● environment● TCP● JSON● range● grok● geoip
Saída● CSV● Datadog● Email● Elasticsearch● Exec● File● Graphite● InfluxDB● MongoDB● s3
12
Etapa de indexar no Elasticsearch
● Normalização de texto○ Acentos○ Sinônimos○ Linguística...
13
Etapa de visualizar com Kibana
● Dashboard em tempo real○ Com várias visualizations
● Vários tipos de gráficos○ Pie chart○ Mapas○ Barras○ Gráfico de linhas
● Criação de visualizations dinâmica○ Suporte a queries do Elasticsearch○ Suporte a agregações
14
Criando Visualization15
Monitoramento de serviços16
Monitoramento e métricas de APIs17
Métricas de negócio, BigData e anomalias 18
Alertas, proteção e monitoramento19CLUSTER
● Security● Alerting● Monitoring● Graph● Reporting
Na produção
● ELK as a service○ Logz.io○ Qbox.io
● Cloud○ AWS○ DigitalOcean○ Elastic
20
Por onde começar21
Valeu!Perguntas?
Referências23http://walde.co/tag/elasticsearch/
https://github.com/guardian/elk-stack
http://techblog.netflix.com/2016/02/evolution-of-netflix-data-pipeline.html
http://www.front2backdev.com/2016/05/03/geo-temporal-anomaly/
https://dzone.com/articles/which-elk-stack-solution-is-right-for-you?utm_content=buffer29ebc&utm_med
ium=social&utm_source=twitter.com&utm_campaign=buffer
http://blog.takipi.com/hosted-elasticsearch-the-future-of-your-elk-stack/
http://everythingshouldbevirtual.com/highly-available-elk-elasticsearch-logstash-kibana-setup