Post on 16-Apr-2017
2016, Amazon Web Services, Inc. ou Afiliadas. Todos os direitos reservados.
Rubens Devito Filho, Arquiteto de Soluções, AWS
14/09/2016
Use AWS Cloud Storage como base para a estratégia híbrida
Conceitos básicos
Esclarecer o que é Bloco vs. Arquivo vs. Objeto Caso de uso: backup e recuperação Caso de uso: Big Data Caso de uso: Arquivo ativo
Bloco vs. Arquivo vs. Objeto
< 5 ms✔
< 10 ms✔✔Baseado em padrões,suporte do app legado
< 100 ms✔
✔ + personalizável!Suporte moderno à stack,interfaces escaláveis
LatênciaDadosMetadadosAcesso
Qual devo usar? E quando?
Benefícios de custos
Fácil de usar Risco reduzido Agilidade, escala
Pagar conforme o uso Sem investimento inicial Sem compromisso Sem planejamento de
capacidade arriscada
Administração do próprio serviço
SDKs para integrações simples
Durável e seguro Evitar os riscos de
manuseio da mídia física
Reduzir o time-to-market Foco nos seus negócios,
não na sua infraestrutura
Amazon S3Armazenamento de objetos durável para
todos os tipos de dados
Amazon EBSArmazenamento no nível de bloco para uso com o Amazon
EC2
Amazon GlacierArmazenamento de
arquivo para dados acessados
com pouca frequência
Amazon EFSArmazenamento de
arquivo para uso com o Amazon EC2
Backup e recuperação
Backup e recuperação para a nuvem
Amazon S3
Amazon GlacierAWS
DirectConnect
InternetAmazon S3-IA
Servidores deaplicativos
Cloud Gateway
Disco local
MídiaServidor
Cloud Gateway
HTTPS/API
Servidores de
aplicativos
Conector na nuvem
Disco localServidor de
mídia com conector de
nuvem
HTTPS/API
Gateway: AWS Storage Gateway
Snapshots do Amazon EBS
Amazon S3
Amazon Glacier
AWSStorage Gateway
(dispositivo)
Servidor deaplicativo
AWSBack-end do Storage
GatewayAWS
DirectConnect
Internet
Local do cliente
Amazon EBS snapshots
Amazon S3Amazon Glacier
AWSStorage Gateway
appliance
Servidor de aplicação
AWSStorage Gateway
backend
Como o AWS Storage Gateway Funciona
iSCSI SSL
AWS Storage Gateway armazena blocos localmente, e, de maneira assíncrona, comprime e faz upload de maneira seguro dos dados modificados
Aplicação grava dados no AWS Storage Gateway através do protocolo iSCSI
O backend pega o dado comprimido e armazena no Amazon S3, Amazon Glacier, ou Amazon EBS, com criptografia AES-256
321
21 3
Customer premises
Os 3 tipos de AWS Storage Gateway
iSCSI block storage
Gateway-stored volumes
iSCSI virtual tape storage
Baixa latência para seus dados com backups point-in-time para AWS
Substitui a infraestrutura relacionada a backups em fitas
Gateway-cached volumes
Gateway-virtual tape library (VTL)
Baixa latência para dados ferquentemente acessados com todos os dados na AWS
Customer data centerAWS Storage Gateway VM
Gateway-stored volumes
• Dados ficam armazenados on-premises• Backup assíncrono para AWS• Backups point-in-time armazenados como snapshots de Amazon EBS• Até 32 volumes, de até 16TiB cada, totalizando 512TiB por gateway
Amazon EBS
snapshots
Application server
INIT
IATO
R
TARG
ET
UploadBuffer
VolumeStorage
AWSStorage Gateway
service
Customer data centerAWS Storage Gateway VM
Gateway-cached volumes
• Dado fica armazenado na AWS• Dados frequentemente acessados ficam em cache on-premises• Backups point-in-time armazenados com snapshots de Amazon EBS• Até 32 volumes, de até 32 TB cada, totalizando 1 PiB por gateway
Amazon EBS
snapshots
Application server
INIT
IATO
R
TARG
ET
UploadBuffer
CacheStorage
Volume storagebacked by Amazon S3
AWSStorage Gateway
service
Gateway-virtual tape library (VTL)
• Fitas virtuais armazenadas na AWS• Dados frequentemente acessados ficam em cache on-premises• Até 1,500 fitas, de até 2.5 TiB cada, totalizando 150 TiB por gateway-VTL• Número ilimitado de fitas no virtual tape shelf (VTS)
Customer data center
VTS storage backed by Amazon Glacier
AWS Storage Gateway VM
BackupServer IN
ITIA
TOR
AWSStorage Gateway
service
MED
IA
CHAN
GER
UploadBuffer
CacheStorage
Gateway-VTLstorage backedby Amazon S3
VTS
TAPE
DR
IVE
Big Data
S3 + EMR
Cluster EMR
Amazon S3
Cluster EMR
datacenter corporativo
AWSDirect
Connect
Internet
Servidorde
aplicativos
S3 + RedShift
Amazon S3datacenter corporativo
AWSDirect
Connect
Internet
Servidor deaplicativos
Detalhes sobre Big Data com S3AWS re:Invent 2015: DAT201 Introdução ao Amazon Redshifthttps://www.youtube.com/watch?v=DIj1bFjiqd8
AWS re:Invent 2015: DAT308 Como o Yahoo! analisa bilhões de eventos por dia com o Amazon RedShifthttps://www.youtube.com/watch?v=3qmzwqnC67kDAT308 Slides:http://www.slideshare.net/AmazonWebServices/dat308-yahoo-analyzes-billions-of-events-a-day-on-amazon-redshift
AWS re:Invent 2015: BDT305 Detalhes e melhores práticas do Amazon EMRhttps://www.youtube.com/watch?v=4HseALaLllcBDT305 Slides:http://www.slideshare.net/AmazonWebServices/bdt305-amazon-emr-deep-dive-and-best-practices
BDT314: Executando um aplicativo de Big Data e análise no Amazon EMR e no Amazon Redshift com foco em segurançahttp://www.slideshare.net/AmazonWebServices/bdt314-a-big-data-analytics-app-on-amazon-emr-amazon-redshift
Arquivo ativo
AWS Import/Export Disk
• Acelera a movimentação de grandes volumes de dados de e para Amazon S3, Glacier e EBS
• Transfere seus dados diretamente de e para os dispositivos de armazenamento do cliente
• Usa rede interna de alta velocidade da Amazon para concluir a transferência
• Suporta até matrizes de unidades anexadas eSATA e USB 2.3 de até 6 TB e 16 TB
AWS Import/Export
O que é Snowball? Transporte de dados em escala de petabytes
Etiqueta de transporte E-ink
Estojorobusto“Impacto de
8,5G”
Todos os dados criptografados de
ponta a ponta
Resistente a água e poeira
Resistente a violação
caso e eletrônicos
50 TBConexão 10GE
Como o Snowball funciona
Qual a rapidez do Snowball? Menos de 1 dia para transferir 250 TB através de conexões 5x10G
com 5 Snowballs, menos de 1 semana, incluindo transporte Número de dias para transferir 250 TB através da internet com uma
utilização típicaVelocidade da conexão com a internet
Utilização 1 Gbps 500 Mbps 300 Mbps 150 Mbps25% 95 190 316 63250% 47 95 158 31675% 32 63 105 211
Quando utilizar o AWS Import/Export Snowball
Nuvem Migração
Desastre Recuperação
DatacenterDescomissiona
mento
ConteúdoDistribuição
AWS Snowball Disco do AWS Import/Export
Quando utilizar o Disk e quando utilizar o Snowball?
Somente importação, exportação disponível em breve
Disponível atualmente em us-east e west-2 dos EUA.
Importar somente para o S3 Suporta transferência de dados
grandes, desde TBs até PBs
Suporta importação e exportação para buckets S3 e instantâneo EBS na importação:
Leste dos EUA (Norte da Virgínia) Oeste dos EUA (Oregon) Oeste dos EUA (Norte da Califórnia) UE (Irlanda) Ásia-Pacífico (Cingapura)
Suporta importação para o Glacier: Leste dos EUA (Norte da Virgínia) Oeste dos EUA (Oregon) Oeste dos EUA (Norte da Califórnia) Regiões UE (Irlanda)
Use o Amazon Glacierpara armazenamento frio,
durável e com o menor custo de dados de
arquivamento
Use o Amazon S3 para
armazenamento confiável
e primário durável
Use Amazon S3 Infrequent Access
Storage para backups secundário
a um preço mais baixo
S3-IA
Níveis na AWS: otimize os gastos com armazenamento
Prefixo da key “logs/”
Mova os objetos para Glacier 30 dias após a criação
Exclua 365 dias após a data de criação
<LifecycleConfiguration> <Rule>
<ID>archive-in-30-days</ID> <Prefix>logs/</Prefix> <Status>Enabled</Status> <Transition>
<Days>30</Days>
<StorageClass>GLACIER</StorageClass> </Transition> <Expiration>
<Days>365</Days> </Expiration>
</Rule></LifecycleConfiguration
Políticas de ciclo de vida do S3
E quanto à WORM?
Regra 17-a-4(f) da SEC FINRA Regra 4511 CFTC Regulamento 1.31
Tem: Precisa: Glacier Vault Lock
Detalhes do arquivo ativo
AWS re:Invent 2015: STG202 AWS Import/Export Snowball: Inserir dados em grande escala na AWShttps://www.youtube.com/watch?v=86ogJHFSJRoSlides:http://www.slideshare.net/AmazonWebServices/stg202-aws-importexport-snowball-largescale-data-ingest-into-aws
Avaliação do Vault Lock por terceiros da SEC 17a-4(f)https://aws.amazon.com/blogs/aws/glacier-cohasset-assessment/
Detalhes e preços do serviçohttps://aws.amazon.com/importexport/
Obrigado!