Infraestrutura como código com Puppet e Mcollective

sábado, 21 de setembro de 13

Infraestrutura como códigoPuppet & Mcollective

TAGUATINGA/DF - 2013--09-21sábado, 21 de setembro de 13

José Augusto (Guto) Carvalho

Consultor/SysAdmin/DevOp (LPIC-3 e PCP-201);

14 anos de experiência com TI e FOSS;

Blogueiro TI/FOSS há 10 anos no site gutocarvalho.net;

Atuação em vários projetos de Governo no MDA, MINC, EBC/RADIOBRÁS, MPS/DATAPREV, ITI/PR, CAIXA, MD/SIPAM, DETRAN/DF;

Entusiasta DevOps (sysadmin em recuperação) desde 2010.

whoami

FOSS => Free and Open Source Software


Plano de Trabalho

40 minutos de apresentação

10 minutos para perguntas

Faça perguntas quando quiser

Slidedeck disponível em slideshare.com/gutocarvalho


AgendaGerência de configurações

Infraestrutura como código

Ferramentas de infraestrutura como código;

Puppet como solução de gerência de configurações

Puppet arquitetura, funcionamento e recursos

Mcollective

Perguntas


Administração de sistemas e serviços


Virtualização


Cloud Computing


Administração Manual


Administração Manual

Tarefas repetitivas

Não existem padrões

Não existem procedimentos


Cada sysadmin faz do seu jeito


Tarefas RepetitivasCriação de usuários

Elaboração de scripts

Configuração de serviços

Configurações de monitoramento

Criação de imagens de ambientes

Configuração do sistema operacional

Instalação, atualização e remoção de pacotes


A medida que o parque aumenta administrá-lo fica mais complicado


Você vai percerber que...Fica mais difícil identificar e corrigir problemas

Fica mais difícil manter ambientes complexos funcionando

Fica mais difícil manter seu parque padronizado

Sua produtividade diminui a media que o ambiente cresce

Sua capacidade de entrega não é mais a mesma

Você nunca chega em casa no mesmo horário

Você trabalha muitos finais de semana e madrugadas


Maior risco de ocorrer falhas


Maior tempo gasto para executar mudanças


Quanto tempo se gasta para criar um usuário em 450 servidores?


Procedimento para criar usuário

Acessar o servidor por ssh

Se tornar root

Criar usuário

Especificar senha temporária

Especificar permissões no sudoers


Criação de usuário450 máquinas 3 minutos por máquina1350 minutos ou 22,5 horas450 trocas de senhas


Quanto tempo se gasta parainstalar um agente de monitoramento em 450 servidores removendo o agente antigo?


Procedimento para instalar zabbix

Acessar servidor via ssh

Adicionar repositório APT

Atualizar índices

Instalar pacote

Ajustar arquivo zabbix_agentd.conf

Reiniciar agente zabbix

Remover agente antigo (nagios).


Instalação de agente de monitoramento450 máquinas 10 minutos por máquina4500 minutos ou 75 horas9 dias trabalhando 8 h.p.d


Documentação inexistente


Não há rastreamento de mudanças


Demandas pipocando...


Ambiente pipocando...


Estresse aumentando...


E você começa a ter a sensação de estar sendo engolido por seu ambiente.


Como resolver estes problemas?Como obtenho controle e padronização em meu ambiente ?


Gerência de Configurações


Padronização


Automatização


Controle


Integridade


Agilidade nas mudanças


Ferramentas de GC



PuppetFerramenta de nova geração que implementa gerência de

configurações para seu ambiente.


Puppet em poucas palavras


Puppet em poucas palavras

Nos permite parar de administrar e começar a desenvolver nossa infra

Nos permite reaproveitar código para construir configurações

Oferece linguagem declarativa para criar configurações

Sintaxe simples, prática e natural para sysadmins

Oferece suporte a Linux, BDBs, OSX e Windows


Sobre a ferramenta


Sobre a ferramenta

Ferramenta Open Source - Apache License

Ferramenta mantida pela empresa Puppetlabs

Empresa oferece suporte e versão enterprise

Criado por Luke Kaines (CEO e Fundador Puppetlabs)

Cases de uso com gandes players (HP, CISCO, VMWARE...)

Recebeu pesados investimentos


Sobre a ferramenta

Ferramenta Open Source - Apache License

Ferramenta mantida pela empresa Puppetlabs

Empresa oferece suporte e versão enterprise

Criado por Luke Kaines (CEO e Fundador Puppetlabs)

Cases de uso com gandes players (HP, CISCO, VMWARE...)

Recebeu pesados investimentos


Feito por um SysAdmin para SysAdmins


Desenhada para uso DevOps


Visão DevOpssábado, 21 de setembro de 13

Tech Specs


Tech SpecsEscrito em Ruby

Extensível usando código Ruby

Funciona em modo autônomo (serverless)

Funciona em modo cliente.servidor

Usa RESTful API

Oferece comunicação segura com uso de certificados digitais


Clientes Puppet Enterprise


Parcerias


Parcerias


ArquiteturaComo funciona o Puppet?



AbstraçãoÉ mais fácil e rápido usar o Puppet!


Resource Abstraction Layer (RAL)



Resource Abstraction Layer


Resource Abstraction Layer

Camada de Abstração de Recursos

Fale o que você quer que seja feito

Não se preocupe em como será feito

O Puppet sabe como fazer


Instale Pacote X


Remova usuário Z


(Re)inicie serviço Y


Tratamento de Informações

O grande diferencial do Puppet é a forma como ele trata as informações de seus nodes


Tratamento de informações


Tratamento de informações

No Puppet tudo é modelado e tratado como ‘dados’

O estado atual de um node (servidor) é um dado

Um pacote instalado em um node é um dado

Um usuário em um servidor é um dado

A versão do sistema operacional é um dado

A arquitetua do sistema é um dado


Os dados são inseridos em catálogos pelo master

O catálogo é processado pelo node e as modificações são aplicadas de acordo com o que foi declarado.


Processamento do Catálogo

1) Agente Requisita Catálogo1.1) Agente envia Fatos para Master2) Master Processa Fatos e Compara2.1) Master Produz e envia Catálogo3) Node Recebe, Compara e Aplica4) Node informa estado atual ao Master5) Sistema reflete catálogo


Processamento do Catálogo

1) Agente Requisita Catálogo1.1) Agente envia Fatos para Master2) Master Processa Fatos e Compara2.1) Master Produz e envia Catálogo3) Node Recebe, Compara e Aplica4) Node informa estado atual ao Master5) Sistema reflete catálogo


Idempotência


ConfiguraçõesVoláteis e Dados

Puppet MasterMódulos Estáticos

Visão ampla do Puppet

LDAP DNS MONIT SYSLOG

JBOSS APACHE MYSQL PGSQL

Puppet Agents

Camada de Aplicação

Camada de Serviços Estruturantes


Você pode fazer deploy de sua APPVocê pode controlar a versão de sua APP

Você pode controlar fazer rollback


Puppet em rede, como funciona?


Modo Cliente/Servidor

O agente gera um certificado digital

O master precisa autorizar o certificado

Sem autorização o agente não pode se comunicar

Toda a comunicação entre agente e master é segura


Puppet Visão em Rede

Puppet Master

Puppet Client

8140/ TCPpuppet agent

acesso seguro ssl


Fluxo Cliente/Servidor

Instalação do node




Inicialização do puppet




Geração de Certificado






Envio de Certificado






Master Assina Certificado







Agente Sincroniza








Agente Sincroniza




Modalidades de Assinatura de CertificadoAssinatura pode ser manualAssinatura pode ser automática por domínioAssinatura pode ser automática em qualquer requisição


O agente se comunica com o master a cada N minutos


Quais funcionalidades estão disponíveis?


Funcionalidades

Resource Types

Parâmetros e Meta-parâmetros para Resource Types

Templates (arquivo dinâmicos)

Definições (configurações dinâmicas)

Classes e Módulos

Funções e Condicionais


Puppet Resource Types

Arquivos e Diretórios

Usuários

Alias

Pacotes

Serviços

Yum Repos

Augeas

Hosts

SSH

Cron

O puppet oferece 38 tipos de recursos nativos, e você pode estendê-lo.


Resource Type: PackagesSuporte a 23 tipos de provedores de pacotes

Faz a abstração do OS

Declare se o pacote deve estar presente ou ausente

Declare se o pacote deve sempre estar em sua última versão


Resource Type: ServicesSuporta 11 tipos de sistemas INIT para inicializar serviços

Declare se um serviço deve estar sempre rodando

Declare se um serviço deve ser carregado no boot

Declare se um serviço depende de um pacote ou arquivo


Resource Type: FileEspecifique permissões e owners

Declare arquivos, diretórios e links

Controle de mudanças usando até 15 tipos de checksums


Exemplossábado, 21 de setembro de 13

Instala, Configura e Inicia

instalar um pacote

ativar um serviço no boot

copiar arquivo de configuração

iniciar serviço instalado

o que queremos fazer?



# aptitude install apache2

# insserv apache2

# cp ~/httpd.conf /etc/apache2/

# invoke-rc.d apache2 start

no debian seria assim:



# yum install httpd

# chkconfig httpd on

# cp ~/httpd.conf /etc/httpd/conf/

# service httpd start

no redhat/centos seria assim:


Como seria no Puppet?


Puppet ManifestsArquivo com extensão.pp em que expressamos nossas

necesidades utilizando a sintaxe declarativa do Puppet.


package { 'apache2':ensure => present,}

service { 'apache2':

ensure => running,enable => true,}

file { '/etc/apache2/httpd.conf':ensure => present,mode => ‘0644’,owner => ‘root’,group => ‘root’,ensure => “puppet:///files/apache/httpd.conf”,}



package { 'apache2':ensure => present,}

service { 'apache2':

ensure => running,enable => true,}

file { '/etc/apache2/httpd.conf':ensure => present,mode => ‘0644’,owner => ‘root’,group => ‘root’,ensure => “puppet:///files/apache/httpd.conf”,}


resource typeparameter

titlevalue


Mais exemplos


Declarando um node (site.pp)

node “servidor.dominio” { include linux-server include module}

node “balancer.dominio” { include linux-server include cyrus::backend include postfix::hub include haproxy::mailproxy}


Variáveis e FatosFatos (facter)

vimpackage => vim-puppet,

apacheservice => apache2,

ntpconfrhel => ntp.conf.rhel,

Variáveisdomainfqdnhostnameinterfacesipaddress_eth0ipaddress_eth1ipaddress_lolsbdistidlsbdistrelease

=> hacklab,=> puppetmaster.hacklab,=> puppetmaster,=> eth0,eth1,lo,=> 10.0.2.15,=> 192.168.56.150,=> 127.0.0.1,=> debian,=> 6.0.5,


Condicionaiscase $operatingsystem { CentOS,RedHat: { $package_name = 'ntp', $service_name = 'ntpd', $conf_file = 'ntp.conf.el', } Debian,Ubuntu: { $package_name = 'ntp', $service_name = 'ntp', $conf_file = 'ntp.conf.debian', }}....


Definiçõesproxy::squid { 'ProxyFilial' : http_port squid_mode squid_hostname cache_mem maximum_object_size_in_memory maximum_object_size memory_replacement_policy cache_replacement_policy cache_dir cache_mgr cache_effective_user cache_effective_group dns_nameservers ips_squid }

=> '3128',=> 'transparent',=> 'proxy.4linux',=> '2 GB',=> '6 MB',=> '128 MB',=> 'heap GDSF',=> 'heap LFUDA',=> 'aufs /var/spool/squid 1024 16 256',=> '[email protected]',=> 'proxy',=> 'proxy',=> '127.0.0.1 10.61.12.2 172.16.1.1',=> '127.0.0.1 192.168.12.3',


mailto:[email protected]


Templates

myorigin = <%= hostname %>mydestination = $myhostname, ..., localhost, <%= fqdn %>

Trecho do template postfix/main.cf

myorigin = servidor.dominiomydestination = $myhostname, ..., localhost, servidor.dominio

Substituição de variáveis por fatos


Padronizando nodes


Base Classclass linux-server { include sysadmin-utils include zabbix-agent include ntpconf include locales include hosts include users include localmta include vimrc include backup-agent include apt-repos}


Como acompanho mudanças?


Puppet Dashboard



Posso fazer mudanças em tempo real?


Marionette Collective

Orquestrador de nodes

Execução de Tarefas Paralelas

Interação com centenas de nodes

Inventário descentralizado

Leitura de meta-dados do Puppet

Similar a Fabric e Capistrano


Demonstração


Posso provisionar VMs/Instâncias?


Ferramentas de Provisionamento

Puppet/Chef/Ansible

Foreman

Vagrant

Razor

Sprinkle


Qual o resultado concreto?


Documentação Instantânea


Processos bem definidos


Ambiente Padronizado


Restore e backup de mudanças


Tarefas Automatizadas


Benefícios ReaisMaior produtividade em menor tempo

Poucos sysadmins para muitos nodes

Diminuição de falhas humanas

Maior controle de todo o seu parque

Diminuição do tempo gasto em mudanças

Diminuição do custo de manutenção

Você chegará cedo em casa e suas madrugas e finais de semana serão seus


Comparando

Ambiente com 450 nodesAmbiente com 450 nodesAmbiente com 450 nodes

modo manual puppet

instalando zabbix 75 horas 10 minutos

criando usuário 22 horas 10 minutos


Tecnologia trabalhando para você


Boas Práticassábado, 21 de setembro de 13

Insira o puppet nos templates de seu hypervisor


Use o puppet para executar e controlar mudanças em seu parque


Para de administrar e comece a desenvolver a sua infraestrutura


Nova demanda? Já execute utilizando o Puppet, escreva classes e módulos para que você só tenha que fazer isto 1 vez e reaproveitar o código depois.


Versione as configurações (git) criadas no Puppet.


Crie manifests pensando em reaproveitamento código, escreva seus módulos e classes da forma mais flexível possível.


Não precisa começar do zero, use módulos prontos do GitHub e PuppetForge.


Pesquise, há muita informação sobre puppet na rede!


Puppet em números

700+ pessoas online no canal #puppet da irc.freenode.net

8.500+ repositórios no GitHub

1000+ módulos no PuppetForge

5000+ usuários ativos na lista puppet-users com 8000+ tópicos de discussão


Puppet Labs & Luke Kaines


Site/Bloghttp://www.puppetlabs.comhttp://www.puppetlabs.com/blog/http://puppet-br.org/

Twitter@puppetlabs@puppetmasterd

GitHubhttp://www.github.com/puppelabs

Puppet na rede

Google GroupsPuppet-camp,puppet-users,puppet-users-br,puppet-dev

IRCirc.freenode.org#puppet#puppet-br


Http://www.puppetlabs.com

Http://www.puppetlabs.com

Http://www.puppetlabs.com/blog/




Http://www.github.com/puppelabs

Http://www.github.com/puppelabs

Perguntas?


Obrigado!

Linkedin: http://br.linkedin.com/in/gutocarv

E-mail: [email protected]

Contato

Slides: slideshare.net/gutocarvalhoBlog: gutocarvalho.net

Twitter: @gutocarvalho


http://br.linkedin.com/in/gutocarv

http://br.linkedin.com/in/gutocarv



Technology

Infraestrutura como código com Puppet e Mcollective