Mesos university - Devoxx France 2015 - part 1

@XebiaFr @YesWeScale#MesosUniversity

Mesos University

@jbclaramonte @plopezFr @jpthiery @aureliemaury


Plan

@XebiaFr @YesWeScale#MesosUniversity @XebiaFr @YesWeScale#MesosUniversity


Bonjour Mesos



Les origines


Les origines

2009


Les origines

Florian Leibert

Benjamin Hindman

2009


Les origines

Florian Leibert

Benjamin Hindman

2010 : incubator

2009


Les origines

Florian Leibert

Benjamin HindmanTobi Knaup

2010 : incubator

2009


Les origines

Florian Leibert

Benjamin HindmanTobi Knaup

2010 : incubator

2009

2013

2013 : top-level


Mesos : (n. pr.)


Mesos : (n. pr.)

• Du Grec Ancien μέσος : milieu

• Clustering générique

• Interface de partage de ressources

• Support d’applications distribuées


DRY


DRY

• Start-Stop

• Monitor-Clean

• Multi-applications


Cas d’usage

MesosAppli

distribuée


Cas d’usage

• Toutes applications distribuées

• Augmenter la densité applicative MesosAppli

distribuée


Chaud !


Validé au front


Fonctionnalités



Partage de ressources



Master

Slave Slave Slave Slave



Master


cpu: 2 mem: 2048

cpu: 4 mem: 16384

cpu: 2 mem: 4096

cpu: 32 mem: 131072


Frameworks


Frameworks

Scheduler

Lance des tâches


Frameworks

Scheduler

Lance des tâches

( )Executor

Exécute les tâches


Frameworks

Scheduler

Lance des tâches

( )Executor

Exécute les tâchesMaintient le journal de ressources Relaie les tâches aux slaves

Mesos Master


Place de marché

Master



Executor ExecutorExecutor

Place de marché

Master


Scheduler



Place de marché

Master


Scheduler

Enregistrement



Place de marché

Master


Scheduler

Enregistrement Évènements / Offres



Place de marché

Master


Scheduler

Évènements / Offres



Place de marché

Master


Scheduler

Tâches Évènements / Offres


Problème


Problème

La vie c’est pas ça :


Life is a biche !


Hum hum


Hum hum

La vie c’est ça :


Mesos lave plus blanc


Mesos lave plus blanc

• Ressources arbitraires par slave

• Intégrées dans les offres

• Tags pour donner du contexte


Ressources partagées



Master




Master


cpu: 2 mem: 2048

cpu: 4 mem: 16384

cpu: 2 mem: 4096 gpu: 2

cpu: 32 mem: 131072 tag:ssd



Master


cpu: 2 mem: 2048

cpu: 4 mem: 16384

cpu: 2 mem: 4096 gpu: 2



Master


cpu: 2 mem: 2048

cpu: 4 mem: 16384

cpu: 2 mem: 4096 gpu: 2

cpu(prod): 16 cpu(dev): 16 mem: 131072 tag:ssd


Roles


Roles

• Partitionnement des ressources d’un slave

• Nommage arbitraires

• Abonnement des schedulers



Monitoring

Master


Scheduler



Monitoring

Master


Scheduler

Tâches



Monitoring

Master


Scheduler




Monitoring

Master


Scheduler

Évènements / Offres



Monitoring

Master


Scheduler



DevOps tu seras



C.A.L.M.S


• Partager

• Monitorer

• Maintenir

1 ou 2 challenges


Il y a un dev dans ton Cloud


Can’t stop the bot


Go Prod !


Toile de tente ou

parachute ?


Faiblesses


Faiblesses

• Mesos master

• Scheduler


Single point of truth


Architecture pour de vrai

Master



Master


Master


Master


Master


Master


MasterZookeeper



MasterStandby

ZookeeperMaster


MasterStandby



MasterStandby

ZookeeperMaster


MasterStandby

Scheduler



MasterStandby

ZookeeperMaster


MasterStandby

SchedulerScheduler Scheduler



MasterStandby

ZookeeperMaster


MasterStandby

SchedulerSchedulerStandby

SchedulerStandby


C’est un GO


One more thing…


Système de fichier

• HDFS

• Ceph

• ZFS


Découverte de service

• DNS

• Load balancing

• Convention de ports


Logs centralisé


One Cluster Manager to bring them allAND in the datacenters bind them

@YourTwitterHandle@YourTwitterHandle@XebiaFr @YesWeScale#MesosUniversity

Q & A

Mesos university - Devoxx France 2015 - part 1

Software

Transcript of Mesos university - Devoxx France 2015 - part 1