View
52
Download
1
Category
Preview:
Citation preview
MONITORAÇÃOMUITO ALÉM DO SISTEMA
OPERACIONALWeOp 2014
Marcus Vechiato - @vechiato
Agenda
Objetivo Como pensamos em um sistema de monitoração
? Do simples ao complexo O que monitorar ? O que acompanhar ? Alguns números da Locaweb Onde alguns se perdem Automação de configurações Itil e Ferramentas de ITSM Abertura automática de Incidentes Ferramentas já utilizadas Desafios
Objetivo
Objetivo desta apresentação é explorar implementações de monitoração sem me ater à ferramentas.
Melhores práticas destacando o que deu certo e o aprendizado dos erros cometidos ao longo destes anos.
Como pensamos em um sistema de monitoração ?
Como pensamos em um sistema de monitoração ?
Não é apenas uma ferramenta A ferramenta de monitoração é um dos
componentes do processo Processo - pode nos remeter à burocracia se
não for efetivo
Alguns números da Locaweb
Equipamentos de RedeBrocade / Cisco / Force10 e outros
~21 mil servidores (físicos e virtuais)Windows (2003/2008/2012)Linux (CentOs/Redhat/Debian)Oracle/MySql/Postgre/MSSQL/Mongo DBVmWare/Xen
~500 mil ítens/serviços monitorados a cada minuto
~17 mil incidentes tratados por mês
Do simples ao complexo
Tenha claro quais são suas maiores dores pra definir seus objetivos
Não idealize o sistema perfeito que cobrirá todos os GAPs, ele não existe
Lembre-se: quais são seus recursos e quais as reais habilidades do time
Prefira uma implementação gradual com entregáveis bem definidos
O que monitorar ?
Infraestrutura e serviços Core – rede/no breaks/temperatura/DNS
Sistema Operacional (memória/cpu/rede local/disco) onde aplicável
AplicaçõesVisão do usuário (requisição http/tcp)Local (uso de memória/threads/processos/etc)
Indicadores de Negócio/errosEx.: Vendas por horaEx.: Falhas de autenticação por minuto
O que acompanhar ?
Converter a visão de indicadores de infraestrutura para produtos/componentes/times
Dashboards para públicos diferentesOperações
○ Visão de Indicadores por times/infraestruturaEx.: MTTR de incidentes do N1 por prioridadeEx.: SLA e MTTR de storage abc
Produtos/Negócio○ Visão de Indicadores comuns e específicos
Ex.: SLA do produto xpto 99,89% Ex.: MTTR do produto xpto 0h45m
Onde alguns se perdem
É comum o diagnóstico: “a ferramenta xpto não funciona, precisamos de uma nova”
Intervalo entre probes de monitoração muito pequeno
Re-tentativas são importantes pra diminuir falsos positivos
Minha experiência:Intervalo de probes padrão entre 1 e 5 minutosRe-tentativas:
○ 5m durante a implantação/com instabilidades conhecidas○ 3m em ambientes estavéis
Automação de configurações
A monitoração é o melhor lugar pra começar a gerenciar a instalação de componentes e configuraçõescomeçe com o agente de monitoração (se houver)Servidor de monitoração
○ Via API onde for possível○ Arquivos de configuração
Qual ferramenta usar pra automação ?Depende do seu ambiente e conhecimento do time.
Chef e Puppet são boas opções pra começar
ITIL e Ferramentas de ITSM
Ferramentas de ITSMRecomendo fortementeSe pretende abrir incidentes automaticamente gaste mais
tempo avaliando qual será sua ferramenta Processos são a espinha dorsal
Gestão de IncidentesGestão de ProblemasGestão de Mudanças
CMDB – registro/controle é mandatórioEm instalações pequenas sua ferramenta de monitoração é
seu CMDBEm ambientes maiores você terá que sincronizá-lo com a
ferramenta de ITSM
Abertura automática de incidentes
Alguns benefícios da abertura automática em ambientes maiores: Equaciona a ineficiência de registro manual de incidentes Registra falhas no momento que ocorrem Permite pré-definir importância de cada
componente/serviço e em caso de falha priorizar sua resolução
Diminuir a resolução informal de incidentes sem registro Subsídio para análise profunda do ambiente Integrada à gestão de crises reduz o tempo de resolução
e melhora a comunicação relacionada Cálculo realista de OLA’s e SLA’s
Abertura automática de incidentes
Integração via: API preferencialmente (rest/soap) E-mail – com templates, a maioria das ferramentas permitem
(só use em último caso) Utilize a prioridade ao abrir o incidente para permitir a
priorização pelo time resolvedor. Segundo Itil, de 1-5: Prioridades (pense numa pirâmide):
○ 1 e 2: tem que ser menos de 10% dos incidentes○ 3: 30% ○ 4: 40%○ 5: 10%
Pra cada prioridade defina seus diferentes OLA’s de resolução. Lembre-se que isto vai afetar diretamente o tamanho dos times resolvedores
Abertura automática de incidentes
Re-abertura automática de incidente caso seja resolvido e continue falhando na monitoração ou falhe novamente em menos de 30m
Novo incidente no caso de novo alarme após 30m do último incidente resolvido
Não abrir incidentes durante manutenções programadas
Abertura automática de incidentes
Fechamento automático de incidentes caso a monitoração normalize antes de atuação do time com status de “sem intervenção” permite:refinar a solução e sua eficiênciaajuste de thresholds muito justosInformações para abertura de ProblemasFalhas de planejamento/execução em mudançasRetomar rapidamente o tratamento de incidentes
após eventos com centenas/milhares de incidentes abertos em curto período de tempo
Ferramentas já utilizadas
Monitoração:NagiosCheck_mk – Locaweb Zabbix
ITSM:Service Now (API) – Locaweb CA – Service Desk Manager (API) – LocawebHP – Service Center (API)OTRS – (API)
Desafios
Regra de Ouro: “Todo alarme tem que ter uma atuação corretiva” nem que seja ajustar os thresholds em caso de falso positivo.
Não se engane – no ínicio você vai ter muitos falsos positivos. É preciso persistência.
Se você não fechar incidentes automaticamente durante instabilidades, normalmente de rede, você vai ficar soterrado em incidentes e vai deixar de ver alarmes importantes quando a instabilidade cessar.
Desafios
Quem implementa a solução e quem administra o dia a dia ?Implementação da solução: naturalmente o
time/pessoa mais SêniorQuem deve incluir as monitorações no sistema ? Se
pensou no estagiário ou nas pessoas mais Júniores do time pensou errado. Também é responsabilidade dos mais Sêniores.
Desafios
Mais importante que as ferramentas são as pessoas e aderência aos processos definidos, de ponta a ponta.
Revisite os processos periodicamente para ajustar e evoluir de acordo com as necessidades correntes
Se algum processo não está funcionando, mude-o. Não permita que ele seja abandonado ou burlado.
Perguntas ?
Recommended