Amazon Web Services

-

17 mai 2011

Fabien BousquetResponsable infrastructure

Présentation et retour d’expérience

- 11/02/2008

• Start-up (2007) lyonnaise• Plateforme SaaS d’analyse de code

– Qualité des développements– Optimisation des tests– Vision opérationnelle (non théorique)

• Conçue dès l’origine pour le SaaS– Montée en charge– Version Cloud depuis Janvier 2011

• Intégration dans les écosystèmes tiers

Kalistick et le Cloud

2

- 11/02/2008

Constat

• Modèle de distribution SaaS / Multi-tenant– Collaboratif– Sans installation– Mise à jour automatique

• Disponibilités, performances à l’épreuve• Demande évolutive : CPU et stockageÞ Pas de bonne application sans bonne

infrastructure

3

- 11/02/2008

Constat : Coût

*Source : http://media.amazonwebservices.com/AWS_Cloud_Best_Practices.pdf

4

Inve

stis

sem

ent

- 11/02/2008

Plan

• Le Cloud• AWS en général• EC2 et S3• Retour d’expérience• Elastic Beanstalk

5

- 11/02/2008

Vrai Cloud ou pas ?

• Ingrédients pour un vrai cloud– Abstraction : localisation géo., virtualisation– Élasticité (scaling)– À la demande

• Cloud public - Cloud privé - Cloud hybride

L’application doit être prévue pour le Cloud !

« Cloud » hype buzz

6

- 11/02/2008

IaaS, PaaS, SaaS, [A-Z]aaS, …

Segmentation des services Cloud

IaaSPaaS

IaaS

SaaS Software as a Service

Platform as a Service

Infrastructure as a ServiceAmazon EC2, vCloud, Rackspace

Google App Engine, Elastic Beanstalk, Azure

Google Apps, SalesForce, Kalistick

Service ou application spécifique

Environnement logiciel : JVM, Tomcat, MySQL, …

Réseau, matériel, OS, …

Adminsystème

Développeur

Client final

7

- 11/02/2008

Pour quoi faire ?

• Prod• Environnements de test (QA, Préprod…)• Intégration continue• Environnement de développement• Calculs gourmands / scientifiques• Backup

8

AWS

- 11/02/2008

AWS : Contexte

• Site marchand amazon.com (1995)– Trafic fluctuant– Disponibilité– Analyse de données– Gestion de stock– Large catalogue

• International : latence (réplication géographique) => CDN

10

- 11/02/2008

AWS en chiffres

• 2006• La référence IaaS => PaaS• Plus de 20 produits• Datacenters sur 5 régions géographiques• Des nouveautés régulièrement• On ne paye que ce qu’on utilise• Références : Dropbox, Slideshare, Netflix,

Zinga …

11

- 11/02/2008

AWS : géo localisation

12

: 5 régions

De 2 à 4 zones de disponibilité dans chaque région

- 11/02/2008

AWS : Quelques concurrents

13

- 11/02/2008

AWS : Les produits

• Les incontournables : S3 et EC2• Autour :

– BD : RDS, SimpleDB– Messaging : SNS, SQS, SES– Stockage : EBS, AWS Import/Export– CDN : CloudFront– Calcul : MapReduce– Déploiement/Gestion : Beanstalk, CloudFormation– Surveillance : CloudWatch– Réseaux : Route 53, VPC

14

- 11/02/2008

AWS : Vue générale

15

*Source : http://media.amazonwebservices.com/AWS_Cloud_Best_Practices.pdf

- 11/02/2008

AWS : Mise en place

• Inscription internet• Carte bancaire• Instantané

– Console Web pour démarrer– Pas d’attente de mise en place– Pas de coût d’installation

• Système ouvert / automatisable :

16

API

SDK

Outil

Aperçu de la console AWS

S3

- 11/02/2008

Simple Storage Service : S3

• Stockage. 3 actions :– Ecrire– Lire– Supprimer

• Buckets : Dossiers / fichiers• Contrôle de version et droit d’accès• Accès via API• Plusieurs régions géographiques =>

Latence, disponibilité

19

EC2

- 11/02/2008

Elastic Cloud Computing : EC2

• Instance EC2 = serveur virtuel• Stockage = Elastic Block Store (EBS) =

disque dur• Auto Scaling • Load balancing = ELB• Monitoring Amazon CloudWatch• Autres produits utilisent/se basent sur EC2• => Cœur d’AWS

21

Démo : Création instance EC2

- 11/02/2008

EC2 : vue générale

Region

S3

bucket Zone

Instance EC2

Web

API

APIEBS

EC2

Mount

Sec

uri

ty G

rou

p

AMI

Start with S3

SNAPSHOT

Do snapshot

AMI

23

- 11/02/2008

S3

EC2 : Stockage

EBS

Instance EC2

Instance store

Ephemeral disk

24

Copie de l’AMI / disque de boot

Limité à 10 GB

Disque lié à l’instance sans coût additionnel

Nombre et taille variable en fonction du type d’instance

Non lié au cycle de vie de l’instance

Nombre et taille libres

Données non persistantes => Données perdues si machine arrêtée (« terminate ») ou machine plantée

Données persistantes => Données non liées au cycle de vie de l’instance

SNAPSHOT Copie d’un EBS à un instant T

Stocké sur S3

Mo

un

t

Accès via API

Démo : Créer volume EBS

- 11/02/2008

EC2 : Amazon Machine Image (AMI)

• Le template de lancement pour l’instance EC2– OS– Logiciels préinstallés/préconfigurés

• Marketplace ou sa propre création• Stockage sur EBS ou S3• Paramétrable• => Permet d’automatiser

Limite à 10GO => Enrichir avec S3/EBS

26

- 11/02/2008

EC2 : Communication

• Connexion standard (i.e SSH)• IP privée + publique dynamique

(adressage généré)• Elastic IP :

– Permet de fixer une adresse IP– Payant si IP non utilisée

Communication payante avec l’extérieur

27

- 11/02/2008

EC2 : Prix

• On paye :– Utilisation instance EC2– Transfert de données avec l’extérieur– Stockage + entrée/sortie EBS

• Paiement au mois• Différentes formules : A la demande,

réservé ou spot

Coût différent selon la région

On paye l’espace provisionné

28

- 11/02/2008

EC2/S3 : exemples de prix

Type d’instance

CPU Mémoire Stockage d’instance

Prix Linux par mois à la demande pour 100% utilisation

Micro < 2 ECU* 613 MB EBS seulement

14,40 €

Large 4 ECU* 7,5 GB 850 GB 244, 80 €

Extra large 8 ECU* 15 GB 1690 GB 468 €

High memory 26 ECU* 68 GB 1690 GB 1440 €

29

Volumes EBS de 100 GB = 10 € / mois

100 GB sur S3 = 14 € par mois

* ECU = EC2 Compute Unit = Capacité équivalente à un CPU 1.0-1.2 GHz 2007 Opteron ou 2007 Xeon

Retour d’expérience

- 11/02/2008

AWS pour Kalistick ?

• Aspect prévisionnel• Pour bénéficier des avantages du Cloud• Environnements de tests• Technique :

– Pas de lock-in (réversibilité)– Environnements identiques (privé et Cloud)– Garder la main

31

- 11/02/2008

Retour d’expérience : Simplicité

• Pas de matériel à gérer : Carte RAID, type de processeur….

• Réactivité : Un nouveau serveur en quelques clics

• Documentation très bien faite• Automatisable (AMI / paramètres)

32

- 11/02/2008

Retour d’expérience : Robustesse

• 21 avril 2011 : Panne de 3 jours sur une zone

Þ Le Cloud ne change pas la donne : Aucun système n’est invulnérable

• Les leçons– Prévoir les pannes– Faire des backups– Redondance entre régions géographiques

• Support réactif : Service Health dashboard

33

- 11/02/2008

Retour d’expérience : Coût

• Difficile au début à estimer – Utilisation calculette fournie– Phase de prototypage d’un mois pour estimer

le coût• Pas de frais d’installation• Tests de plusieurs architecture / types

d’instance

=> Instances EC2 (CPU/Mémoire) principal coût. Le reste est négligeable

34

- 11/02/2008

Retour d’expérience : Sécurité

• Problème émotionnel plus que technique• Penser à la pérennité (il n’y a pas que le

vol de données)• On peut faire des cloud privés ou hybrides=> Virtual Private Cloud (VPC)

35

- 11/02/2008

Retour d’expériences : Les freins

• Législation différente selon localisation• Sécurité• Prix :

– Prévision – Gestion budget– Pas adapté à toute utilisation : site institutionnel par

exemple

• Support payant• Organisation/tri des serveurs• Dépendant d’internet

36

- 11/02/2008

AWS Elastic Beanstalk (beta)

• 1er pas d’Amazon vers le PaaS• Limité au déploiement • Simplification AWS pour les développeurs

– Configuration CPU, RAM, scaling, balancing, …– Accès complet à l’instance EC2– Intégration dans Eclipse– Historique des versions

• Limité à l’upload de war dans Tomcat 6/7, mais– Customisation possible du template (AMI)

37

- 11/02/2008

Beanstalk : Vue d’ensemble (1/2)

38

*Source : http://aws.typepad.com/aws/2011/01/aws-beanstalk-concepts.html

- 11/02/2008

Beanstalk : Vue d’ensemble (2/2)

39

*Source : http://aws.typepad.com/aws/2011/01/aws-beanstalk-concepts.html

Démo Beanstalk

- 11/02/2008

Conclusion

• Bénéfices– Pas d’investissement– Infrastructure « infinie »– Ecosystème complet

• Maturité• Demain

Þ L’informatique comme énergie ?

41

Questions ?

- 11/02/2008

Contact

43

http://blog.kalistick.com

http://twitter.com/kalistick

http://www.kalistick.com

mailto:fabien.bousquet@kalistick.fr

http://twitter.com/fafanoulele