2016, Amazon Web Services, Inc. ou Afiliadas. Todos os direitos reservados.

Hugo Rozestraten, arquiteto de soluções

14 de Setembro de 2016

Serviços de banco de dados gerenciado na Amazon Web Services

Pauta de hoje

• Por que serviços de banco de dados gerenciado?• Um banco de dados não relacional gerenciado• Um banco de dados relacional gerenciado• Um cache de memória gerenciado• Um data warehouse gerenciado• Qual será o próximo passo

Por que serviços de banco de dados gerenciado?

Opções para executar seu banco de dados

• Auto gerenciado—Você é responsável pelo hardware, SO, segurança, atualizações, backups, replicação, etc., mas tem controle total sobre ele.

• Instâncias do EC2—Você só precisa se concentrar nas atualizações de banco de dados, patches, replicação, backups, etc. e não precisa se preocupar com a instalação de hardware ou do SO.

• Totalmente gerenciado—Você tem recursos como backup, replicação, etc. como um pacote de serviços e não precisa se preocupar com patches e atualizações.

Quais são as opções de DB gerenciadas pela AWS?

Um serviço gerenciado para cada tipo principal de DB

Armazenamento de key-valor na

memória

Amazon ElastiCache

Data warehouse

Amazon Redshift

Mecanismos do banco de dados

SQL

Amazon RDS

Armazenamento de documento

e key-valor

Amazon DynamoDB

Escolha a melhor ferramenta para o trabalho

O que é Amazon RDS?

Bancos de dados relacionais

Totalmente gerenciado

Desempenho rápido e previsível

Simples e rápido de escalonar

Baixo custo – pague somente por aquilo que usar

AmazonRDS

Amazon Aurora

Casos de usoAplicável onde quer que você precise de bancos de dados relacionais

eCommerce Jogos

Websites Soluções de TI

Apps

Relatórios

Matriz de recursos do RDSRecurso Aurora MySQL PostgreSQL MariaDB Oracle SQL Server

VPC

Alta disponibilidade Escalabilidade da instância

Criptografia

Réplicas de leitura Oracle Golden GateInter-região

Armazenamento máximo 64 TB 6 TB 6 TB 6 TB 6 TB 4 TB

Armazenamento em escala

Escalabilidade automática

Provisioned IOPS N/D 30,000 30,000 30,000 30,000 20,000

Maior instância R3.8XL R3.8XLM4.10XL

R3.8XLM4.10XL

R3.8XLM4.10XL

R3.8XLM4.10XL

R3.8XLM4.10XL

Amazon Aurora: rápido, disponível e compatível com MySQL

SQL

Transações

AZ 1 AZ 2 AZ 3

Cache

Amazon S3

5x mais rápido que o MySQL no mesmo hardware

Sysbench: 100K gravações/seg e 500K leituras/seg

Projetado para 99,99% de disponibilidade

Armazenamento replicado 6 vezes em 3 AZs

Escalonar até 64 TB e 15 réplicas de leitura

Amazon RDS é simples e rápido de escalonar

Os tipos de instância do banco de dados oferecem uma série de escolhas de CPU e memória

Dimensione para cima ou para baixoentre tipos de demanda

O armazenamento no banco de dados é escalonável sob demanda

O Amazon RDS oferece armazenamento rápido e previsível

General Purpose (SSD) para a maior parte das cargas de trabalho

Provisioned IOPS (SSD) para cargas de trabalho OLTP com até 30.000 IOPS

Magnetic para cargas de trabalho pequenas com acesso infrequente

Implantações multi-AZ de alta disponibilidade

Solução de tolerância a falhas de nível corporativo para bancos de dados de produção

Failover automáticoReplicação síncrona

Barato e habilitado com alguns cliques

Selecione réplicas de leitura para maior escalabilidade

Leve os dados para perto dos aplicativos do seu cliente em diferentes regiões.

Alivie a pressão sobre o nó mestre para suportar leituras e gravações.

Promova uma réplica de leitura a um mestre para recuperação mais rápida no caso de um desastre.

Selecione replicação inter-região para localidade de dados avançada, até mais facilidade de migração

Recuperação ainda mais rápida no caso de desastre

Aproxime os dados dos clientes

Promova a um mestre para fácil migração

Selecione cópia de snapshot inter-região para durabilidade ainda maior e facilidade de migração

Copie um snapshot do banco de dados a uma região diferente da AWS

Espera passiva para recuperação de desastres

Base para migração a uma região diferente

Como funcionam os backups do Amazon RDS?

Backups automatizadosRestaure seu banco de dados a um ponto no tempo

Habilitado por padrão

Selecione um período de retenção de até 35 dias

Snapshots manuaisCrie uma nova instância de banco de dados a partir de um snapshot, quando necessário

Iniciado por você

Persiste até você excluir

Armazenado em Amazon S3

Você paga pelos recursos que usar

Conta mensal = N ×

Mais detalhes em http://aws.amazon.com/elasticache/pricing/

Duração pela qual os nós foram usados

Número de nós

(O preço depende do tipo de nó)

Nível gratuito (pelos 12 primeiros meses)750 horas de microinstância de banco de dados 20 GB de armazenamento no banco de dados20 GB para backups10 milhões de operações E/S

+

Armazenamento consumido

(O preço depende do tipo de

armazenamento)

GB

Clientes selecionados do Amazon RDS

O que é o Amazon DynamoDB?

Amazon DynamoDB

Bancos de dados NoSQL

Totalmente gerenciado

Latência inferior a milissegundos de dígito único

Escalabilidade maciça e contínua

Baixo custo

AmazonDynamoDB

Amazon DynamoDB: um documento gerenciado e um armazenamento de key-valorSimples e rápido de implantar

Simples e rápido de escalonar• A milhões de IOPS

Os dados são replicados automaticamente

Desempenho rápido e previsível• Respaldado por armazenamento SSD

Índices secundários oferecem buscas rápidas

Nenhum custo para começar; pague só pelo que consumir

Casos populares de uso

Veiculação de anúncios,

redirecionamento, busca de

ID, gerenciamento do perfil

do usuário, rastreamento da

sessão, RTB

Estado de rastreamento,

metadados e leituras de

milhões de dispositivos,

notificações em tempo real

Registro de detalhes do jogo,

painéis de líderes,

informações da sessão,

histórico de uso e logs

Armazenamento de perfis do

usuário, detalhes da sessão,

configurações de

personalização, metadados

específicos da entidade

Tecnologia de anúncios IoT Jogos Mobile

e web

GravaçõesReplicado continuamente para 3 AZs

Persistiu no disco (SSD personalizado)

LeiturasFortemente ou finalmente consistente

Sem troca de latência

Replicação automática para durabilidade e disponibilidade sólidas

O Amazon DynamoDB é um banco de dados sem schema

Tabela Itens

Atributos (pares de nome-valor)

Cada item deve incluir uma key

Key hash (O DynamoDB mantém um

índice não ordenado)

Cada item deve incluir uma key

Key hash

Key de intervalo (O DynamoDB mantém um

índice classificado)

Índices secundários locais = keys de intervalo alternativo

Key hash

Key de intervalo

Key LSI

Índices secundários globais = “gráficos pivô” para sua tabela

Escolha quais atributosprojetar

(se for o caso)

Defina o desempenho desejado usando a taxa de transferência provisionada

Unidades com capacidade de

leitura

Unidades com capacidade de

gravação

1 RPS > 2,5 M de solicitações em um mês

DynamoDB: o que são unidades de capacidade?

Uma gravação por segundo até 1 KB

Uma leitura fortemente consistente por segundo até 4 KB

ou

Duas leituras ocasionalmente consistentes por segundo

Uma unidade de capacidade de gravação

Uma unidade de capacidade

de leitura

Arquitetura simples de aplicativo com o Amazon DynamoDB

Elastic LoadBalancing Instâncias do

aplicativo Amazon EC2

Clientes

DynamoDB

Lógica de negócios

Como o faturamento do DynamoDB funciona

Conta mensal = GB +

Pressupõe que a instância do DB é acessada somente da região da AWSMais detalhes em http://aws.amazon.com/dynamodb/pricing/

≈ 5 GB * $0,25 + 21 * 720 hrs * $0,0065/10 + 35 * 720 hrs * $0,0065/50 ≈ $14,36

Armazenamento consumido

(mais 100 bytes por item)

Cobrança por unidades de capacidade

de gravaçãopor hora

+Cobrança por unidades de

capacidade de leiturapor hora

Como funciona a cobrança do DynamoDB (com nível gratuito)

Conta mensal = GB +

Pressupõe que a instância do DB é acessada somente da região da AWSMais detalhes em http://aws.amazon.com/dynamodb/pricing/

≈ 5–25 GB * $0,25 + 21–25 * 720 hrs * $0,0065/10 + 35–25 * 720 hrs * $0,0065/50

Armazenamento consumido

(mais 100 bytes por item)

Cobrança por unidades de capacidade

de gravaçãopor hora

Cobrança por unidades de

capacidade de leiturapor hora

Nível gratuito (pelos 12 primeiros meses)• Armazenamento de 25 GB• 25 unidades de capacidade de gravação• 25 unidades de capacidade de leitura

+

Como funciona a cobrança do DynamoDB (com nível gratuito)

Conta mensal = GB +

Pressupõe que a instância do DB é acessada somente da região da AWSMais detalhes em http://aws.amazon.com/dynamodb/pricing/

≈ 0 + 0 + 10 * 720 hrs * $0,0065/50 ≈ $0,94

Armazenamento consumido

(mais 100 bytes por item)

Cobrança por unidades de capacidade

de gravaçãopor hora

+Cobrança por unidades de

capacidade de leiturapor hora

Cliente selecionados do DynamoDB

NoSQL vs. SQL para um novo app: como escolher?

• Schema forte, relacionamentos complexos, transações e uniões

• O escalonamento é difícil• Foco na consistência sobre

escala e disponibilidade

• Sem schema, leitura e gravação fáceis, modelo de dados simples

• O escalonamento é fácil• Foco em desempenho

e disponibilidade em qualquer escala

NoSQL SQL

O que é o Amazon Redshift?

Amazon Redshift

muito mais rápidomuito mais baratomuito mais simples

Data warehouse relacional

Maciçamente paralelo; escala de petabytes

Totalmente gerenciado

Plataformas HDD e SSD

$1.000/TB/ano; começa em $0,25/hora

Quem usa Amazon Redshift?

• Reduz de custos ao ampliar DW em vez de adicionar HW

• Faz migração completa dos sistemas de DW existentes

• Reage mais rápido aos negócios; provisão em minutos

• Melhora o desempenho em ordem de magnitude

• Disponibiliza mais dados para análise

• Acessa dados de negócios via ferramentas de relatórios padrão

• Adiciona recursos analíticos aos aplicativos

• Escalona a capacidade de DW conforme a demanda aumenta

• Reduz custos de HW e SW em ordem de magnitude

DW corporativo tradicional Companhias com big dataEmpresas de SaaSCompanhias com big data

Clientes SQL/ferramentas de BI

Nó de computação

Nó de computação

Nó de computação

Nólíder

Arquitetura do Amazon RedshiftNó líder

• Endpoint SQL simples• Armazena metadados• Otimiza o plano de consultas• Coordena a execução da consulta

Nós de computação• Armazenamento colunar local• Execução paralela/distribuída de todos os

backups, consultas, cargas, restaurações, redimensionamentos

A partir de somente $0,25/hora, crescimento para 2 PB (compactado)

• DC1: SSD; escalona 160 GB–326 TB• DS2: HDD; escalona 2 TB–2 PB

10 GigE(HPC)

InserçãoBackupRestauração Amazon S3/DynamoDB/Amazon EMR

JDBC/ODBC

Amazon Redshift reduz drasticamente E/S

• Com o armazenamento de linhas, você faz E/S desnecessárias

• Para ver o valor total, é preciso ler tudo

ID Idade Estado Valor

123 20 CA 500

345 25 WA 250

678 40 FL 125

957 37 WA 375

• Armazenamento de colunas

• Compactação de dados

• Mapas de zonas

• Direct-Attached Storage

• Com o armazenamento de colunas, você lê somente os dados de que precisa

ID Idade Estado Valor

123 20 CA 500

345 25 WA 250

678 40 FL 125

957 37 WA 375

Amazon Redshift reduz drasticamente E/S

• Armazenamento de colunas

• Compactação de dados

• Mapas de zonas

• Direct-Attached Storage

analyze compression listing;

Table | Column | Encoding ---------+----------------+---------- listing | listid | delta listing | sellerid | delta32k listing | eventid | delta32k listing | dateid | bytedict listing | numtickets | bytedict listing | priceperticket | delta32k listing | totalprice | mostly32 listing | listtime | raw

Amazon Redshift reduz drasticamente E/S

• COPY compacta automaticamente

• Você pode analisar e substituir

• Mais desempenho, menos custo

• Armazenamento de colunas

• Compactação de dados

• Mapas de zonas

• Direct-Attached Storage

Amazon Redshift reduz drasticamente E/S

10 | 13 | 14 | 26 |…

… | 100 | 245 | 324

375 | 393 | 417…

… 512 | 549 | 623

637 | 712 | 809 …

… | 834 | 921 | 959

10

324

375

623

637

959

• Acompanhe os valores mínimo e máximo de cada bloco

• Pule blocos que não contêm dados relevantes

• Armazenamento de colunas

• Compactação de dados

• Mapas de zonas

• Direct-Attached Storage

Amazon Redshift reduz drasticamente E/S

• Armazenamento de colunas

• Compactação de dados

• Mapas de zonas

• Direct-Attached Storage

DW.HS1.8XL:

• Velocidade de verificação > 2 GB/seg

• Otimizado para processamento de dados

• Alta densidade de disco

16 GB RAM

2 núcleos

Disco de 2 TB

DW.HS1.XL:

128 GB RAM

16 núcleos

Disco de 16 TB

Backups totalmente gerenciados, contínuos/incrementais

Múltiplas cópias dentro do cluster

Backups contínuos e incrementais para o Amazon S3

Backups contínuos e incrementais entre regiões

Restauração de streaming Amazon S3

Amazon S3

Região 1

Região 2

Nó de computação

Nó de computação

Nó de computação

O Amazon Redshift oferece tolerância sólida a falhas

Amazon S3

Amazon S3

Região 1

Região 2

Nó de computação

Nó de computação

Nó de computaçãoFalhas de disco

Falhas do nó

Falha de rede

Desastres em nível AZ/regional

Você paga por aquilo que usa

Mais detalhes em https://aws.amazon.com/redshift/pricing/

Conta mensal = N ×

Número de nós Duração pela qual os nós

foram usados(O preço depende do tipo de nó)

Nível gratuito (trial gratuito por 2 meses)• 750 horas no DC1.Large por mês

Redshift tem um grande ecossistemaIntegração de dados Integradores de sistemasBusiness Intelligence

Clientes selecionados do Amazon Redshift

O que é o Amazon ElastiCache?

Armazenamento de key-valor na memória

Alto desempenho

Cache na memória redimensionável

Memcached e Redis

Totalmente gerenciado; zero admin.

Compatível com seus aplicativos existentes

AmazonElastiCache

Casos populares de uso

Camada de cache para otimização do desempenho ou do custo de um banco de dados subjacente

Armazenamento de dados de chave-valor efêmeros

Padrões de aplicativo de alto desempenho, como placar de líderes (para usuários de jogos), gerenciamento da sessão, contadores de eventos, listas na memória

• Totalmente gerenciado• Autodescoberta do nó do cache• Posicionamento do nó multi-AZ

Principais recursos do ElastiCache

• Totalmente gerenciado• Multi-AZ com failover automático• Persistência• Réplicas de leitura

Amazon ElastiCache: arquitetura de app simples

Elastic LoadBalancing Instâncias do

aplicativo Amazon EC2

Clientes

Amazon RDSAmazon ElastiCache

Amazon ElastiCache: arquitetura de app resiliente

Elastic LoadBalancing

Clientes

AZ a

AZ b

Como funciona o faturamento ElastiCache

Conta mensal = N ×

Mais detalhes em http://aws.amazon.com/elasticache/pricing/

Duração pela qual os nós foram usados

Número de nós

(O preço depende do tipo de nó)

Nível gratuito (pelos 12 primeiros meses)• 750 horas de nó de microcache

Clientes selecionados do ElastiCache

Serviços de DB gerenciados: melhor juntos

Elastic LoadBalancing

Clientes

AZ a

AZ b

Próximas etapas

Nível gratuito

DynamoDB

RDS

ElastiCache

Redshift

Obrigado!