2016, Amazon Web Services, Inc. ou Afiliadas. Todos os direitos reservados.

Rubens Devito Filho, Arquiteto de Soluções, AWS

14/09/2016

Use AWS Cloud Storage como base para a estratégia híbrida

Conceitos básicos

Esclarecer o que é Bloco vs. Arquivo vs. Objeto Caso de uso: backup e recuperação Caso de uso: Big Data Caso de uso: Arquivo ativo

Bloco vs. Arquivo vs. Objeto

< 5 ms✔

< 10 ms✔✔Baseado em padrões,suporte do app legado

< 100 ms✔

✔ + personalizável!Suporte moderno à stack,interfaces escaláveis

LatênciaDadosMetadadosAcesso

Qual devo usar? E quando?

Benefícios de custos

Fácil de usar Risco reduzido Agilidade, escala

Pagar conforme o uso Sem investimento inicial Sem compromisso Sem planejamento de

capacidade arriscada

Administração do próprio serviço

SDKs para integrações simples

Durável e seguro Evitar os riscos de

manuseio da mídia física

Reduzir o time-to-market Foco nos seus negócios,

não na sua infraestrutura

Amazon S3Armazenamento de objetos durável para

todos os tipos de dados

Amazon EBSArmazenamento no nível de bloco para uso com o Amazon

EC2

Amazon GlacierArmazenamento de

arquivo para dados acessados

com pouca frequência

Amazon EFSArmazenamento de

arquivo para uso com o Amazon EC2

Backup e recuperação

Backup e recuperação para a nuvem

Amazon S3

Amazon GlacierAWS

DirectConnect

InternetAmazon S3-IA

Servidores deaplicativos

Cloud Gateway

Disco local

MídiaServidor

Cloud Gateway

HTTPS/API

Servidores de

aplicativos

Conector na nuvem

Disco localServidor de

mídia com conector de

nuvem

HTTPS/API

Gateway: AWS Storage Gateway

Snapshots do Amazon EBS

Amazon S3

Amazon Glacier

AWSStorage Gateway

(dispositivo)

Servidor deaplicativo

AWSBack-end do Storage

GatewayAWS

DirectConnect

Internet

Local do cliente

Amazon EBS snapshots

Amazon S3Amazon Glacier

AWSStorage Gateway

appliance

Servidor de aplicação

AWSStorage Gateway

backend

Como o AWS Storage Gateway Funciona

iSCSI SSL

AWS Storage Gateway armazena blocos localmente, e, de maneira assíncrona, comprime e faz upload de maneira seguro dos dados modificados

Aplicação grava dados no AWS Storage Gateway através do protocolo iSCSI

O backend pega o dado comprimido e armazena no Amazon S3, Amazon Glacier, ou Amazon EBS, com criptografia AES-256

321

21 3

Customer premises

Os 3 tipos de AWS Storage Gateway

iSCSI block storage

Gateway-stored volumes

iSCSI virtual tape storage

Baixa latência para seus dados com backups point-in-time para AWS

Substitui a infraestrutura relacionada a backups em fitas

Gateway-cached volumes

Gateway-virtual tape library (VTL)

Baixa latência para dados ferquentemente acessados com todos os dados na AWS

Customer data centerAWS Storage Gateway VM

Gateway-stored volumes

• Dados ficam armazenados on-premises• Backup assíncrono para AWS• Backups point-in-time armazenados como snapshots de Amazon EBS• Até 32 volumes, de até 16TiB cada, totalizando 512TiB por gateway

Amazon EBS

snapshots

Application server

INIT

IATO

R

TARG

ET

UploadBuffer

VolumeStorage

AWSStorage Gateway

service

Customer data centerAWS Storage Gateway VM

Gateway-cached volumes

• Dado fica armazenado na AWS• Dados frequentemente acessados ficam em cache on-premises• Backups point-in-time armazenados com snapshots de Amazon EBS• Até 32 volumes, de até 32 TB cada, totalizando 1 PiB por gateway

Amazon EBS

snapshots

Application server

INIT

IATO

R

TARG

ET

UploadBuffer

CacheStorage

Volume storagebacked by Amazon S3

AWSStorage Gateway

service

Gateway-virtual tape library (VTL)

• Fitas virtuais armazenadas na AWS• Dados frequentemente acessados ficam em cache on-premises• Até 1,500 fitas, de até 2.5 TiB cada, totalizando 150 TiB por gateway-VTL• Número ilimitado de fitas no virtual tape shelf (VTS)

Customer data center

VTS storage backed by Amazon Glacier

AWS Storage Gateway VM

BackupServer IN

ITIA

TOR

AWSStorage Gateway

service

MED

IA

CHAN

GER

UploadBuffer

CacheStorage

Gateway-VTLstorage backedby Amazon S3

VTS

TAPE

DR

IVE

Big Data

S3 + EMR

Cluster EMR

Amazon S3

Cluster EMR

datacenter corporativo

AWSDirect

Connect

Internet

Servidorde

aplicativos

S3 + RedShift

Amazon S3datacenter corporativo

AWSDirect

Connect

Internet

Servidor deaplicativos

Detalhes sobre Big Data com S3AWS re:Invent 2015: DAT201 Introdução ao Amazon Redshifthttps://www.youtube.com/watch?v=DIj1bFjiqd8

AWS re:Invent 2015: DAT308 Como o Yahoo! analisa bilhões de eventos por dia com o Amazon RedShifthttps://www.youtube.com/watch?v=3qmzwqnC67kDAT308 Slides:http://www.slideshare.net/AmazonWebServices/dat308-yahoo-analyzes-billions-of-events-a-day-on-amazon-redshift

AWS re:Invent 2015: BDT305 Detalhes e melhores práticas do Amazon EMRhttps://www.youtube.com/watch?v=4HseALaLllcBDT305 Slides:http://www.slideshare.net/AmazonWebServices/bdt305-amazon-emr-deep-dive-and-best-practices

BDT314: Executando um aplicativo de Big Data e análise no Amazon EMR e no Amazon Redshift com foco em segurançahttp://www.slideshare.net/AmazonWebServices/bdt314-a-big-data-analytics-app-on-amazon-emr-amazon-redshift

Arquivo ativo

AWS Import/Export Disk

• Acelera a movimentação de grandes volumes de dados de e para Amazon S3, Glacier e EBS

• Transfere seus dados diretamente de e para os dispositivos de armazenamento do cliente

• Usa rede interna de alta velocidade da Amazon para concluir a transferência

• Suporta até matrizes de unidades anexadas eSATA e USB 2.3 de até 6 TB e 16 TB

AWS Import/Export

O que é Snowball? Transporte de dados em escala de petabytes

Etiqueta de transporte E-ink

Estojorobusto“Impacto de

8,5G”

Todos os dados criptografados de

ponta a ponta

Resistente a água e poeira

Resistente a violação

caso e eletrônicos

50 TBConexão 10GE

Como o Snowball funciona

Qual a rapidez do Snowball? Menos de 1 dia para transferir 250 TB através de conexões 5x10G

com 5 Snowballs, menos de 1 semana, incluindo transporte Número de dias para transferir 250 TB através da internet com uma

utilização típicaVelocidade da conexão com a internet

Utilização 1 Gbps 500 Mbps 300 Mbps 150 Mbps25% 95 190 316 63250% 47 95 158 31675% 32 63 105 211

Quando utilizar o AWS Import/Export Snowball

Nuvem Migração

Desastre Recuperação

DatacenterDescomissiona

mento

ConteúdoDistribuição

AWS Snowball Disco do AWS Import/Export

Quando utilizar o Disk e quando utilizar o Snowball?

Somente importação, exportação disponível em breve

Disponível atualmente em us-east e west-2 dos EUA.

Importar somente para o S3 Suporta transferência de dados

grandes, desde TBs até PBs

Suporta importação e exportação para buckets S3 e instantâneo EBS na importação:

Leste dos EUA (Norte da Virgínia) Oeste dos EUA (Oregon) Oeste dos EUA (Norte da Califórnia) UE (Irlanda) Ásia-Pacífico (Cingapura)

Suporta importação para o Glacier: Leste dos EUA (Norte da Virgínia) Oeste dos EUA (Oregon) Oeste dos EUA (Norte da Califórnia) Regiões UE (Irlanda)

Use o Amazon Glacierpara armazenamento frio,

durável e com o menor custo de dados de

arquivamento

Use o Amazon S3 para

armazenamento confiável

e primário durável

Use Amazon S3 Infrequent Access

Storage para backups secundário

a um preço mais baixo

S3-IA

Níveis na AWS: otimize os gastos com armazenamento

Prefixo da key “logs/”

Mova os objetos para Glacier 30 dias após a criação

Exclua 365 dias após a data de criação

<LifecycleConfiguration> <Rule>

<ID>archive-in-30-days</ID> <Prefix>logs/</Prefix> <Status>Enabled</Status> <Transition>

<Days>30</Days>

<StorageClass>GLACIER</StorageClass> </Transition> <Expiration>

<Days>365</Days> </Expiration>

</Rule></LifecycleConfiguration

Políticas de ciclo de vida do S3

E quanto à WORM?

Regra 17-a-4(f) da SEC FINRA Regra 4511 CFTC Regulamento 1.31

Tem: Precisa: Glacier Vault Lock

Detalhes do arquivo ativo

AWS re:Invent 2015: STG202 AWS Import/Export Snowball: Inserir dados em grande escala na AWShttps://www.youtube.com/watch?v=86ogJHFSJRoSlides:http://www.slideshare.net/AmazonWebServices/stg202-aws-importexport-snowball-largescale-data-ingest-into-aws

Avaliação do Vault Lock por terceiros da SEC 17a-4(f)https://aws.amazon.com/blogs/aws/glacier-cohasset-assessment/

Detalhes e preços do serviçohttps://aws.amazon.com/importexport/

Obrigado!