TDC2016POA | Trilha DevOps - Monitoramento real-time com ELK

ELKMétricas e monitoramento "real-time"

Sobre

Waldemar Neto @waldemarnt

http://walde.co/

2

Fluxo de requisição3

Loja Pagamento

Fluxo de requisição no século 214

LB

API

API

API

S

S

S

S

S

S

S

S

S

S

S

S

S

S

S

S

S

S

S

S

Elastic.co

https://www.elastic.co/

5

Elastic.co

Produtos

● Elasticsearch● Logstash● Kibana● Beats● X-Pack

○ Shield○ Marvel○ Graph○ Watcher

6

Serviços● Suporte● Treinamento● Cloud● Consultoria

ELK

● Elasticsearch● Logstash● Kibana

7

Elasticsearch

https://www.elastic.co/products/elasticsearch

8

Logstash

https://www.elastic.co/products/logstash

9

Kibana

https://www.elastic.co/products/kibana

10

PARSEARINDEXARVISUALIZAR

11 ELK WorkflowCLUSTER

Etapa de log parsing com Logstash

Entrada● Beats● Couchdb_changes● Heroku● File● Kafka● TCP● sqs● Redis● Rabbitmq● Elasticsearch

Filtro● Aggregate● Mutate● Alter● CSV● environment● TCP● JSON● range● grok● geoip

Saída● CSV● Datadog● Email● Elasticsearch● Exec● File● Graphite● InfluxDB● MongoDB● s3

12

Etapa de indexar no Elasticsearch

● Normalização de texto○ Acentos○ Sinônimos○ Linguística...

13

Etapa de visualizar com Kibana

● Dashboard em tempo real○ Com várias visualizations

● Vários tipos de gráficos○ Pie chart○ Mapas○ Barras○ Gráfico de linhas

● Criação de visualizations dinâmica○ Suporte a queries do Elasticsearch○ Suporte a agregações

14

Criando Visualization15

Monitoramento de serviços16

Monitoramento e métricas de APIs17

Métricas de negócio, BigData e anomalias 18

Alertas, proteção e monitoramento19CLUSTER

● Security● Alerting● Monitoring● Graph● Reporting

Na produção

● ELK as a service○ Logz.io○ Qbox.io

● Cloud○ AWS○ DigitalOcean○ Elastic

20

Por onde começar21

Valeu!Perguntas?

Referências23http://walde.co/tag/elasticsearch/

https://github.com/guardian/elk-stack

http://techblog.netflix.com/2016/02/evolution-of-netflix-data-pipeline.html

http://www.front2backdev.com/2016/05/03/geo-temporal-anomaly/

https://dzone.com/articles/which-elk-stack-solution-is-right-for-you?utm_content=buffer29ebc&utm_med

ium=social&utm_source=twitter.com&utm_campaign=buffer

http://blog.takipi.com/hosted-elasticsearch-the-future-of-your-elk-stack/

http://everythingshouldbevirtual.com/highly-available-elk-elasticsearch-logstash-kibana-setup