Palestra Puppet Hora Livre

Gestão e Automação de Servidores com Puppet

Guto Carvalho < [email protected] >

Campo Grande/MS - 2012/12/12 - Hora Livre

Wednesday, December 12, 12

mailto:[email protected]


Hora Livre - Ano 4



Consultor/SysAdmin (LPIC-3) na 4Linux

12 anos de experiência com tecnologias FOSS

Blogueiro FOSS há 6 anos no site gutocarvalho.net

Atuação em vários projetos de Governo no MDA, MINC, EBC/RADIOBRÁS, MPS/DATAPREV, ITI/PR, CEF, MD/SIPAM, DETRAN/DF, CAIXA

Há 2 anos trabalhando com gerência de configurações em ambientes virtualizados e clouds privadas em Brasília

Palestrante em eventos como FISL, LATINOWARE, CONSEGI, ENECOMP, FLISOL e CLOUDCONF

whoami


Plano de Trabalho

05 minutos de apresentação

50 minutos de palestra

10 minutos para perguntas


Agenda

Administração de servidores e serviços

Causas, efeitos e consequências da administração artesanal

Um novo caminho com a gerência de configurações

Puppet como solução de gerência de configurações

Apresentando características e recursos do Puppet

Benefícios, resultados concretos e Puppet no Brasil


Já ouviu falar do sysadmin?


O que faz um sysadmin?Administra servidores e serviços e a infraestrutura de rede

Oferece suporte aos desenvolvedores e usuários

Sustenta ambiente de desenvolvimento, testes, homol e produção e faz deploy de aplicações

Sustenta sistemas estruturantes (DHCP, DNS, PROXY, LDAP, MAIL, IM)

Cuida dos ambientes de banco de dados

Sustenta, monitora e trabalha para que aplicações e ambientes funcionem

Cuida do Backup, lava, passa e faz cafézinho...


Multi-tarefas


Multi-disciplinar


SysAdminsWednesday, December 12, 12

Visão do SysadminEm relação a infraestrutura que ele tem que administra


Visão do SysadminEm relação ao seu dia-a-dia de trabalho e tratamento de demandas


Realidade do Sysadmin


Ferramentas e métodos não tão modernos e nem tão atraentes


Desafios do Sysadmin em 2012


Administração de Servidores e Serviços


Virtualização - Tendência


Virt. e seus BenefíciosMenor consumo de energia

Melhor aproveitamento de espaço físico

Melhor aproveitamento de hardware (sem hw ocioso)

Maior segurança com isolamento de ambientes

Pode-se trabalhar disponibilidade e balanceamento

Facilidade de provisionamento e gerenciamento


Cloud Computing - Tendência


Cloud e seus BenefíciosHiper escalável

Rápida e elástica

Abstração de hardware

Infraestrutura dinâmica

Alta disponibilidade

Investimento atraente para projetos emergentes


O crescimento do seu parque é inevitávelPoucas máquinas físicas podem ser tornar dezenas, centenas ou milhares de nodes em poucos meses.


Como Administrar 500 VM’s?


Ambiente híbrido e complexo

Servidores Linux Debian 5.0 e 6.0 em 32 e 64 bits

Servidores Linux Centos 5 e Centos 6 em 32 e 64 bits

Servidores RHEL 4, 5 e 6 em 64 bits

FreeBSD, OpenBSD e OSX

Servidores Windows 2003 e 2008


Configuração artesanal?


Vale a pena insistir?Wednesday, December 12, 12

Administação Host a Host?


Acesso Secure Shell (ssh) em loop?


Shellscript?


Será que o modelo artesanal escala?


Quantos SysAdmins são necessários para administrar 500 servidores?


Qual a velocidade nas mudanças em seu ambiente?


Qual a probabilidade de falhas decorrentes de mudanças manuais?


Você consegue manter todo o seu ambiente padronizado?


Trabalhar fora de expediente para dar conta das demandas se tornou regra ao

invés de exceção?


Seu custo com equipes técnicas está aumentando devido aos trabalho

fora de expediente?


Você começa a ter a sensação de estar sendo engolido por seu ambiente?


Está difícil colocar suas configurações nos trilhos?


Administração artesanal não escala, não importaquantas pessoas estejamenvolvidas

No entanto, é possível enxergaras causas, efeitos e consequênciasgeradas por um modelo equivocado de administração


Você vai começar a perceber que

Fica mais difícil encontrar problemas em seu parque

Não é mais tão simples manter as coisas funcionando

É quase impossível manter o parque padronizado

Sua produtividade diminui a medida que o ambiente cresce

Você não consegue mais documentar e planejar mudanças


Você vai começar a perceber que

Você não consegue mais entregar demandas no tempo acordado

Sua equipe está sempre exausta e desmotivada

Sua equipe não tem mais direito a finais de semana, feriados

Você não tem tempo para pensar em segurança e performance

Uma simples atualização de software pode levar semanas


Tarefas repetitivas


A maioria das demandas de um sysdmin envolve execução de tarefas repetitivas



Tarefas repetitivasCriação de usuários

Elaboração de scripts

Configuração de serviços

Configurações de monitoramento

Criação de imagens de ambientes

Configuração do sistema operacional

Instalação, atualização e remoção de pacotes


Remover Nagios e Instalar Zabbix em 500 máquinas


Instalação de Zabbix-Agent

Acessar o servidor por ssh e se tornar root

Configurar repositório YUM, APT ou Ports

Instalar pacote zabbix-agent

Remover pacote nagios

Ajustar arquivo de configuração Zabbix

Reiniciar Zabbix Agent



10 minutos por máquina

5000 minutos ou 83.3 horas de trabalho repetitivo

10 dias para instalar o zabbix-agent no parque

1 analista alocado exclusivamente para isto 8HPD

Considere re-trabalho devido ao modelo manual


Criar o usuário do novo sysadmin em 500 máquinas


Criação de usuário para sysadmin

Acessar o servidor por ssh

Se tornar root

Criar usuário

Setar senha temporária

Configurar privilégios no sudo



7 minutos por máquina

3500 minutos ou 58.3 horas de trabalho repetitivo

7 dias para criar o usuário no parque

1 analista alocado exclusivamente para isto 8HPD

Considere re-trabalho devido ao modelo manual

Considere que o usuário vai ter que trocar a senha nas 500 máquinas


Mas eu não posso usar LDAP para autenticar meus usuários, não seria

melhor?


Autenticação LDAP em Debian

Você precisa manter as configurações do PAM e módulo LDAP

Arquivos a serem mantidos ldap.conf, nsswitch.conf, libnss-ldap.conf

Pacotes a serem mantidos ldap-utils, libpam-ldap, libnss-ldap e nscd

Você ainda precisa ter um usuário coringa em caso de problema no LDAP


Como alterar vários arquivos de configuração em 500 máquinas em um caso de mudança na

estrutura da árvore LDAP?


Remover usuários antigos é tão complicado quanto criar novos


Rastreamento de mudanças e falta de padrões


Se você pedir para dois sysadmins instalarem um servidor você terá

dois ambientes diferentes


Falta de padronização


O que devemos padronizar?

DNS (resolv.conf)

Usuários e Privilégios

NTP (data/hora)

Pacotes Sysadmins

Rotas

Hosts e Hostnames

Repositórios

Logs e Autenticação

Firewall

Hardening, Tuning


Falta de processos e procedimentos de execução de atividades e demandas


Desvantagens do modelo Artesanal


Desvantagens do modelo artesanal

Falta de padronização, processos e procedimentos

Documentação inexpressiva ou inexistente

Falta de planejamento para execução das demandas

Desconhecimento dos riscos envolvidos

Alto índice de falhas humanas



Baixo índice de disponibilidade dos serviços oferecidos

Demora na aplicação de mudanças

Demora na correção de problemas

Equipe desmotivada

Atividades repetitivas e desgastantes



Equipe sempre sobrecarregada

Alta rotatividade da equipe

Alto custo com horas extras

Profissionais insatisfeiros

Baixa credibilidade perante clientes e gestores


Como resolvo estes problemas?Como obtenho controle e padronização em meu ambiente ?


Gerência de Configurações


Padronização


Automatização


Controle


Integridade


Desempenho


Agilidade nas mudanças


PuppetFerramenta de nova geração que implementa gerência de

configurações para seu ambiente.


Visão Rápida

Framework Open Source para Gerência de Configurações

Oferece um conjunto de ferramentas para manipular estados

Nos permite trabalhar a Infraestrutura como código

Oferece uma linguagem declarativa para descrever configurações de sistemas e serviços

Não é programação


Sobre a ferramenta

Criado por Luke Kaines (CEO e Fundador Puppetlabs)

Empresa PuppetLabs mantém a Ferramenta

Ferramenta OpenSource (Licença Apache)

Empresa oferece Suporte Corporativo e Versão Enterpris

Empresa recebeu investimentos da VMWARE, GOOGLE e CISCO


Sobre a ferramenta

Criado por Luke Kaines (CEO e Fundador Puppetlabs)

Empresa PuppetLabs mantém a Ferramenta

Ferramenta OpenSource (Licença Apache)

Empresa oferece Suporte Corporativo e Versão Enterpris

Empresa recebeu investimentos da VMWARE, GOOGLE e CISCO


Feito por um SysAdmin para SysAdmins


Desenhada para uso DevOps


Visão DevOpsWednesday, December 12, 12

Desenvolvedor que lançar novas versões de forma rápida e eficiente

Sysadmin quer manter o parque integro e funcionando minimizando riscos de incidentes


Especificações e Características

Escrito em Ruby

Extensível usando código Ruby

Funciona em modo Autônomo (serverless)

Funciona em modo Cliente/Servidor usando API REST

Provê comunicação segura usando SSL

Suporte a 19 sistemas operacionais (Linux, Unix, BSD...)


Quem usa o Puppet?


ArquiteturaComo funciona o Puppet?


Resource Abstraction Layer


Puppet: RAL

Resource Abstraction Layer = RAL

Camada de Abstração de Recursos

Fale o que você quer que seja feito

Não se preocupe em como será feito

O Puppet sabe como fazer


Instale Pacote X


Remova usuário Z


(Re)inicie serviço Y


Tratamento de Informações

O grande diferencial do Puppet é a forma como ele trata as informações de seus nodes


Tratamento de informações

No Puppet tudo é modelado e tratado como ‘dado’

O estado atual de um node (servidor) é um dado

Um pacote instalado em um node é um dado

Um usuário em um servidor é um dado


Os dados são inseridos em catálogos para serem utilizados

O catálogo é processado pelo node e as modificações são aplicadas de acordo com o que foi

declarado.


Processamento do Catálogo

1) Agente Requisita Catálogo1.1) Agente envia Fatos para Master2) Master Processa Fatos e Compara2.1) Master Produz e envia Catálogo3) Node Recebe, Compara e Aplica4) Node informa estado atual ao Master5) Sistema reflete catálogo


Idempotência


A idempotência é a propriedade que algumas operações têm de poderem ser aplicadas várias

vezes sem que o valor do resultado se altere após a aplicação inicial. (fonte: wikipedia)


ConfiguraçõesVoláteis e Dados

Puppet MasterMódulos Estáticos

Puppet visão geral

LDAP DNS MONIT SYSLOG

JBOSS APACHE MYSQL PGSQL

Puppet Agents

Camada de Aplicação

Camada de Serviços Estruturantes


O que acontece quando adicionamos um node ao nosso parque?


Adicionando node ao parque

ZABBIX

JBOSS

POSTGRESQL

MEMCACHED

NGINX



ZABBIX

POSTGRESQL

MEMCACHED

NGINX

Adicionar um novo node representa N mudanças

JBOSS



sysadmin-utilszabbix-agent

ntpconflocaleshostsusers

localmtasmtpdvimrc

backup-agentapt-repos

ZABBIX

POSTGRESQL

MEMCACHED

NGINX

JBOSS


Como o Puppet pode ajudar?

Automatizando todo o seu ambiente

Provendo maior produtividade com menor esforço

Padronizando seus nodes logo após a criação e instalação

Modificando configurações de forma controlada

Mantendo o estado declarado para cada node/instância


Insira o Puppet na imagem de instalação de seus nodes.


Pare de administrar e começe a desenvolver sua infra


Não tenha medo de realizar atualizações, o puppet faz pra você!


Você pode fazer deploy de sua APPVocê pode controlar a versão de sua APP


Como é o funcionamento do Puppet em Rede?


Puppet Visão em Rede

Puppet Master

Puppet Client

8140 TCPClient

puppetd -t

8139 TCPServer

puppetrunSSL


Arquitetura Cliente/Servidor

O agente gera um certificado digital

O master precisa autorizar o certificado

Sem autorização o agente não pode se comunicar

Toda a comunicação entre agente e master é segura


Fluxo Cliente/Servidor

Instalação do node




Inicialização do puppet




Geração de Certificado






Envio de Certificado






Master Assina Certificado







Agente Sincroniza








Agente Sincroniza




Modalidades de Assinatura de CertificadoAssinatura pode ser manualAssinatura pode ser automática por domínioAssinatura pode ser automática em qualquer requisição


O agente se comunica com o master a cada N minutos


E quais os recursos disponíveis para gerenciar sistemas e serviços?

Como manipulo estados do meu ambiente?


Funcionalidades do Puppet

Resource Types

Parâmetros e Meta-parâmetros

Templates e Definições

Classes e Módulos

Funções e Condicionais


Puppet Resource Types

Arquivos e Diretórios

Usuários

Alias

Pacotes

Serviços

Yum Repos

Augeas

Hosts

SSH

Cron

O puppet oferece 38 tipos de recursos nativos, e você pode estendê-lo.


Resource Type: PackagesSuporte a 23 tipos de provedores de pacotes

Faz a abstração do OS

Declare se o pacote deve estar presente ou ausente

Declare se o pacote deve sempre estar em sua última versão


Resource Type: ServicesSuporta 11 tipos de sistemas INIT para inicializar serviços

Declare se um serviço deve estar sempre rodando

Declare se um serviço deve ser carregado no boot

Declare se um serviço depende de um pacote ou arquivo


Resource Type: FileEspecifique permissões e owners

Declare arquivos, diretórios e links

Controle de mudanças usando até 15 tipos de checksums


ExemplosWednesday, December 12, 12

Instala, Configura e Inicia

# aptitude install apache2

# update-rc.d -f apache2 defaults

# cp ~/httpd.conf /etc/apache2/

# invoke-rc.d apache2 start

debian-way


package { 'apache2':ensure => present,}

service { 'apache2':

ensure => running,enable => true,}

file { 'httpd.conf':path => “/etc/apache2/httpd.conf”,source => “/etc/puppet/files/httpd.conf”,}



package { 'apache2':ensure => present,}

service { 'apache2':

ensure => running,enable => true,}

file { 'httpd.conf':path => “/etc/apache2/httpd.conf”,source => “/etc/puppet/files/httpd.conf”,}


resource typeparameter

titlevalue


Variáveis e FatosFatos (facter)

vimpackage => vim-puppet,

apacheservice => apache2,

ntpconfrhel => ntp.conf.rhel,

Variáveisdomainfqdnhostnameinterfacesipaddress_eth0ipaddress_eth1ipaddress_lolsbdistidlsbdistrelease

=> hacklab,=> puppetmaster.hacklab,=> puppetmaster,=> eth0,eth1,lo,=> 10.0.2.15,=> 192.168.56.150,=> 127.0.0.1,=> debian,=> 6.0.5,


Condicionaiscase $operatingsystem { CentOS,RedHat: { $package_name = 'ntp', $service_name = 'ntpd', $conf_file = 'ntp.conf.el } Debian,Ubuntu: { $package_name = 'ntp', $service_name = 'ntp', $conf_file = 'ntp.conf.debian', }}....


Definiçõesproxy::squid { 'ProxyFilial' : http_port squid_mode squid_hostname cache_mem maximum_object_size_in_memory maximum_object_size memory_replacement_policy cache_replacement_policy cache_dir cache_mgr cache_effective_user cache_effective_group dns_nameservers ips_squid }

=> '3128',=> 'transparent',=> 'proxy.4linux',=> '2 GB',=> '6 MB',=> '128 MB',=> 'heap GDSF',=> 'heap LFUDA',=> 'aufs /var/spool/squid 1024 16 256',=> '[email protected]',=> 'proxy',=> 'proxy',=> '127.0.0.1 10.61.12.2 172.16.1.1',=> '127.0.0.1 192.168.12.3',




Templates

myorigin = <%= hostname %>mydestination = $myhostname, ..., localhost, <%= fqdn %>

Trecho do template postfix/main.cf.erb

myorigin = servidor.dominiomydestination = $myhostname, ..., localhost, servidor.dominio

Substituição de variáveis por fatos


Use uma base class para padronizar seus nodes


Base Classclass linux-server { include sysadmin-utils include zabbix-agent include ntpconf include locales include hosts include users include localmta include vimrc include backup-agent include apt-repos}


Como declaro um node e como empurro uma configuração?


Declarando um nodenode “servidor.dominio” { include linux-server include module}

node “balancer.dominio” { include linux-server include apache include php5 include mysql}


E como acompanho mudanças?


Puppet Dashboard



Posso fazer mudanças em tempo real?


Marionette Collective

Orquestrador de nodes

Execução de Tarefas Paralelas

Interação com centenas de nodes

Inventário descentralizado

Leitura de meta-dados do Puppet

Similar a Fabric e Capistrano


Qual o resultado concreto?


Documentação Instantânea


Restore e backup de mudanças


Processos bem definidos


Ambiente Padronizado


Tarefas Automatizadas


Quais os Benefícios Reais?Wednesday, December 12, 12

Benefícios ReaisMaior produtividade em menor tempo

Poucos SysAdmins para muitos nodes

Diminuição de falhas humanas

Maior controle de todo o seu parque

Diminuição do tempo gasto em mudanças

Diminuição do custo de manutenção


Tecnologia trabalhando para você


Puppet & Cloud IaaSCloud Tools (FOSS) Cloud Hosts

Ganeti


Boas PráticasWednesday, December 12, 12

Use API e recursos do fornecedor seja na nuvem, seja em hypervisor.


Insira o Puppet nos templates de seu Hypervisor


Desenvolva sua Infra


Versione suas configurações


Reaproveite Código


GitHub & PuppetForge


Pesquise!


Puppet em números

727 pessoas online no canal #puppet da irc.freenode.net

8.500 repositórios no GitHub

450 módulos no PuppetForge

4457 usuários ativos na lista puppet-users com 7795 tópicos de discussão

Dados coletados em 2012-08-06 às 10:34 PMWednesday, December 12, 12

Puppet LabsWednesday, December 12, 12

Site/Bloghttp://www.puppetlabs.comhttp://www.puppetlabs.com/blog/http://puppet-br.org/

Twitter@puppetlabs

GitHubhttp://www.github.com/puppelabs

Puppet na rede

Google GroupsPuppet-camp,puppet-users,puppet-users-br,puppet-dev

IRCirc.freenode.org#puppet#puppet-br


Perguntas?Wednesday, December 12, 12

Obrigado!

twitter @gutocarvalho

e-mail [email protected]

slides slideshare.com/gutocarvalho

blog gutocarvalho.net

code github.com/gutocarvalho




Documents

Palestra Puppet Hora Livre