17
Let’s go Log ELK (ElasticSearch, LogStash e Kibana) Rafael Pacheco @ravpachecco ravpacheco.com

Lets go log!

Embed Size (px)

Citation preview

Page 1: Lets go log!

Let’s go LogELK (ElasticSearch, LogStash e Kibana)

Rafael Pacheco@ravpachecco

ravpacheco.com

Page 2: Lets go log!

Sumário

• Importância e ciclo de vida dos logs;

• Problemas típicos com mecanismos precários de logs;

• Algumas evidências que indicam problemas com logs;

• Como melhorar o processo de log através da stack ELK;

• Protótipo em desenvolvimento;

• Demos;

Page 3: Lets go log!

Como estão seus logs ?

Page 4: Lets go log!

Ciclo de vida

Record

Transmit

Analyze

Store

Delete

* James Turnbull (CTO Kickstarter) [http://goo.gl/GSl9Fm]

Page 5: Lets go log!

Problemas

Alguns problemas gerados por mecanismos de log precário:

• Tempo excessivo para diagnosticar e resolver problemas em produção;

• Aumento do custo operacional;

• Falta de evidências para justificar indisponibilidades;

• Inexistência de métricas (ligadas ao ciclo de vida) para analisar desempenho

e qualidade dos produtos;

Page 6: Lets go log!

Evidências

Não existe padrão no processo de armazenamento dos logs;

Log

Log

LogLog

Aplicação X

Page 7: Lets go log!

Evidências

Algumas aplicações não possuem logs

Log

Aplicação X

Page 8: Lets go log!

Evidências

Incapacidade de extrair, facilmente, informações e insights dos logs através dos

meios de visualização utilizados atualmente

Page 9: Lets go log!

ELKElasticsearch + Logstash + Kibana

Page 10: Lets go log!

Logstash

Ferramenta para construção de pipelines de ações

• open source

• pré-requisitos (JVM)

• flexível e extensível (plugins)

• age como um orquestrador do fluxo de logs

• componentes básicos:

input

filter

output

#logstash.conf

input {stdin { }

}

filter {

}

output {stdout { }

}

Page 11: Lets go log!

Elasticsearch

Ferramenta especializada em indexação e search em texto (documentos)

• open source

• pré-requisitos (JVM)

• possui uma engine de search RESTful

• projetado para cloud

• componentes básicos:

Indexação

search

#example

PUT /megacorp/employee/1{

"first_name" : "John","last_name" : "Smith","age" : 25,"about" : "I love rock climbing","interests": [ "sports", "music" ]

}

GET /megacorp/employee/1

GET /megacorp/employee/_search

Page 12: Lets go log!

Elasticsearch

Alguns usuários: *Github usa elasticsearch para pesquisar em 130

bilhões de linhas de código

Page 13: Lets go log!

Kibana

Ferramenta especializada em exploração e visualização de dados em conjunto

com elasticsearch

open source

interface bonitinha

gráficos

análises sofisticadas

pode ser integrada também com Hadoop, Flume, fluentd

Page 14: Lets go log!

Protótipo em desenvolvimento

Premissas: simplicidade e flexibilidade para adequar-se a nossa realidade atual;

L

Log

Log

Log

Log

NEST*

LogStash<output>

E

ElasticSearch

K

Kibana

<input>

<Filter>

Page 15: Lets go log!

Demo

Page 16: Lets go log!

Alternativas

Page 17: Lets go log!

Obrigado!!!

[email protected]@ravpachecco

ravpacheco.com