Lets go log!

Let’s go LogELK (ElasticSearch, LogStash e Kibana)

Rafael Pacheco@ravpachecco

ravpacheco.com

Sumário

• Importância e ciclo de vida dos logs;

• Problemas típicos com mecanismos precários de logs;

• Algumas evidências que indicam problemas com logs;

• Como melhorar o processo de log através da stack ELK;

• Protótipo em desenvolvimento;

• Demos;

Como estão seus logs ?

Ciclo de vida

Record

Transmit

Analyze

Store

Delete

* James Turnbull (CTO Kickstarter) [http://goo.gl/GSl9Fm]

Problemas

Alguns problemas gerados por mecanismos de log precário:

• Tempo excessivo para diagnosticar e resolver problemas em produção;

• Aumento do custo operacional;

• Falta de evidências para justificar indisponibilidades;

• Inexistência de métricas (ligadas ao ciclo de vida) para analisar desempenho

e qualidade dos produtos;

Evidências

Não existe padrão no processo de armazenamento dos logs;

Log

Log

LogLog

Aplicação X

Evidências

Algumas aplicações não possuem logs

Log

Aplicação X

Evidências

Incapacidade de extrair, facilmente, informações e insights dos logs através dos

meios de visualização utilizados atualmente

ELKElasticsearch + Logstash + Kibana

Logstash

Ferramenta para construção de pipelines de ações

• open source

• pré-requisitos (JVM)

• flexível e extensível (plugins)

• age como um orquestrador do fluxo de logs

• componentes básicos:

input

filter

output

#logstash.conf

input {stdin { }

}

filter {

}

output {stdout { }

}

Elasticsearch

Ferramenta especializada em indexação e search em texto (documentos)

• open source

• pré-requisitos (JVM)

• possui uma engine de search RESTful

• projetado para cloud

• componentes básicos:

Indexação

search

#example

PUT /megacorp/employee/1{

"first_name" : "John","last_name" : "Smith","age" : 25,"about" : "I love rock climbing","interests": [ "sports", "music" ]

}

GET /megacorp/employee/1

GET /megacorp/employee/_search

Elasticsearch

Alguns usuários: *Github usa elasticsearch para pesquisar em 130

bilhões de linhas de código

Kibana

Ferramenta especializada em exploração e visualização de dados em conjunto

com elasticsearch

open source

interface bonitinha

gráficos

análises sofisticadas

pode ser integrada também com Hadoop, Flume, fluentd

Protótipo em desenvolvimento

Premissas: simplicidade e flexibilidade para adequar-se a nossa realidade atual;

L

Log

Log

Log

Log

NEST*

LogStash<output>

E

ElasticSearch

K

Kibana

<input>

<Filter>

Demo

Alternativas

Obrigado!!!

rafaelpa@takenet.com.br@ravpachecco

ravpacheco.com