Tour d'horizon des Middlewares de GrilleGeorges.Da-Costa/cours/grid/CoursGrille2.pdf · Distributed...
Transcript of Tour d'horizon des Middlewares de GrilleGeorges.Da-Costa/cours/grid/CoursGrille2.pdf · Distributed...
Les groupes de standardisation Projets académiques Le marché de la grille
Tour d'horizon des Middlewares deGrille
Georges Da [email protected]
Les groupes de standardisation Projets académiques Le marché de la grille
But de la séance
• Faire un tour d'horizon des solutions existantes
• Les groupes de standardisation
• Exemple académique : Egee
• Les Fournisseurs de service : IBM, Bull,Plateform
Les groupes de standardisation Projets académiques Le marché de la grille
1 Les groupes de standardisation
2 Projets académiques
3 Le marché de la grille
Les groupes de standardisation Projets académiques Le marché de la grille
1 Les groupes de standardisation
2 Projets académiques
3 Le marché de la grille
Les groupes de standardisation Projets académiques Le marché de la grille
Global Grid Forum (GGF)
• Le Global Grid Forum (GGF) est un grouped'utilisateurs, de développeurs et de vendeurs.
• Principal groupe de standardisation
• GGF est le pendant pour les grilles de l'IETF(internet)
Une série de réunions commençant en 1999 a donnélieu à sa création en mars 2001. Très hétérocliteallant des universités aux industriels.
Les groupes de standardisation Projets académiques Le marché de la grille
Quelques normes du GGF
• Open Grid Services Architecture (OGSA)
• Distributed Resource Management ApplicationAPI (DRMAA)
• Job Submission Description Language (JDL)
• Con�guration Description, Deployment, andLifecycle Management
• Speci�cation (CDDLM)
• Resource Speci�cation Language (RSL)
Les groupes de standardisation Projets académiques Le marché de la grille
Les groupes de travail du GGF
• architecture
• data
• security
• scheduling and resource management
• information system and performance
• application and programming modelenvironment
• peer to peer
Les groupes de standardisation Projets académiques Le marché de la grille
Globus Alliance
• Le Globus Alliance implémente les standardsdéveloppés au GGF
• Il utilise pour cela le projet Open Source Globus
• Il a été créé en septembre 2003, suite augrossissement du projet Globus lancé en 1995.
• Composé principalement d'universités
Les groupes de standardisation Projets académiques Le marché de la grille
Entreprise Grid Alliance (EGA)
• Rassemblement d'entreprises lancé en avril 2004pour proposer des solutions pragmatiques pourles entreprises
• Board of directors : HP, Fujitsu Siemens, Sun,EMC, HP, Intel, NEC, Oracle, NetworkAppliance
• Club ouvert à toute entreprise, où chaqueentreprise a une voix
• Entrée payante
Les groupes de standardisation Projets académiques Le marché de la grille
Open Grid Forum
Septembre 2006, fusion de GGF et de EGA
• Fonctionnement• Plusieurs fois par an (environ 3 par an) : granderéunion
• But• Faire le lien entre tous les acteurs• Proposer des normes intelligentes et utilisables
Les groupes de standardisation Projets académiques Le marché de la grille
1 Les groupes de standardisation
2 Projets académiques
3 Le marché de la grille
Les groupes de standardisation Projets académiques Le marché de la grille
Projets académiques• NASA's Information Power Grid (IPG), créé duà de forts besoins de simulation. En avril 2003 :1,944 processeurs, 665 GB de mémoire et 17.7TB de stockage. Créé en 1998. Utilise Globus.
• Datagrid, projet européen pour gérer lesquantités de données produites par lesexpériences de hautes énergies.
• e-Science, projet anglais de mise en commun deressources de calcul scienti�que
• Grid5000, plateforme d'expérimentationfrançaise, repose sur OAR-Grid. Pour l'instant,3000 processeurs sur 9 sites.
Les groupes de standardisation Projets académiques Le marché de la grille
Middleware pour projet académiques
Souvent développent un middleware complet adaptétrès précisément à un usage particulier.
• Anciens projets (LHC Computing Grid)
• Spéci�cités particulières (masse de donnée pourdatagrid)
• Approche di�érente (Grid5000 et le déploiementd'images)
Pour le reste, on construit souvent au dessus deGlobus
Les groupes de standardisation Projets académiques Le marché de la grille
Enabling Grids for E-sciencE (EGEE)Projet lancé en mars 2004 à la suite du projet LHCComputing Grid qui devait gérer la masse de donnéeproduite par le collisionneur du CERN à Genève.
• Enabling Grids for E-sciencE (EGEE), projetEuropéen
• Egee : 250 Sites, centres de recherche,universités, entreprises (2007)
• Ressources : 41,000 processeurs et 20 PB destockage (2007)
• Initialement en Europe, maintenant aussi enAmériques et en Asie-Paci�que
Les groupes de standardisation Projets académiques Le marché de la grille
gLite, EGEE middleware
• Concept de base : Virtual Organisations (VOs).Regroupe des utilisateurs, des institutions et desressources dans un domaine administratif
• Les VO ne sont pas que virtuelles : Les 4expériences de hautes énérgies (ATLAS), lacommunauté biomédicale (biomed), etc
• Les sites sont regroupés en fédérations,coordinées par des Regional Operations Centre(ROC).
• Pre-Production Service (PPS), une grille séparéepour les tests pré-déploiement
Les groupes de standardisation Projets académiques Le marché de la grille
Premier contact
2 types d'intéractions avec les utilisateurs
• Grid Operation Center, site web permettant deconnaître en temps réel l'état de la grille, desoumettre des jobs
• Eclipse• Environnement de programmation écrit en java• Repose sur un concept de plugins• Modi�é pour permettre les mêmes opérations quele GOC
Les groupes de standardisation Projets académiques Le marché de la grille
Sécurité
Deux entités de base :
• V.O.
• Utilisateur
Pour se connecter, l'utilisateur doit :
• Obtenir un certi�cat X.509 par une autorité decerti�cation (CA) (idem pour les ressources)
• L'utiliser pour signer un certi�cat temporaire
• Utiliser ce certi�cat temporaire (proxycerti�cate) pour se connecter au plus pendant12h
Les groupes de standardisation Projets académiques Le marché de la grille
User InterfaceInterface web permettant une fois identi�é de :
• Lister toutes les ressources permettantd'exécuter un job
• Soumettre un job pour exécution• Arrêter un job• Récupérer la sortie d'un job• Montrer le statut d'un job soumis• Récupérer les logs de la vie du job• Copier, dupliquer et e�acer des �chiers de laGrille
• Récupérer le statut de di�érentes ressourcesgérées par l'Information System.
Ces fonctions sont accessibles par API
Les groupes de standardisation Projets académiques Le marché de la grille
Computing Element
• Plusieurs entités• Grid Gate (GG) qui se comporte comme uneinterface générique au cluster
• Local Resource Management System (LRMS)(parfois appelé le système de batch)
• Worker Nodes (WNs), les noeuds sur lesquels sontexécutés les jobs
• Il est possible d'utiliser di�érents LRMS :OpenPBS/PBSPro, LSF, Maui/Torque, BQS etCondor
• Un CE pour chaque queue (au niveau gLite)
Les groupes de standardisation Projets académiques Le marché de la grille
Storage Element
• Un Storage Element (SE) fournit un accèsuniforme aux ressources de gestion de données
• 2 types d'opérations• GSI-secure FTP : gestion de transfert• RFIO : accès transparent aux �chiers
• Rarement seulement des disques. Souventdisques et bande magnétique avec archivagetransparent sur les bandes pour le stockagelongue durée.
Les groupes de standardisation Projets académiques Le marché de la grille
Information Service
• L'Information Service (IS) fourni desinformations à propos des ressources et de leurstatut
• A ce niveau, un modèle de données : GlueSchema
• Deux IS sont utilisés• Globus Monitoring and Discovery Service (MDS)utilisé pour la découverte de ressources et pourpublier leur statut à bas niveau
• Relational Grid Monitoring Architecture (R-GMA)utilisé pour l'accounting, le monitoring et lapublication d'informations de haut niveau
Les groupes de standardisation Projets académiques Le marché de la grille
MDSMDS utilise LDAP de manière non sécurisée (autanten lecteur qu'en écriture) Toute une structurehiérarchique est utilisée pour récupérer les données etles mettre dans cette structure
Les groupes de standardisation Projets académiques Le marché de la grille
Grid Monitoring Architecture• R-GMA (Grid Monitoring Architecture, proposépar le GGF) o�re une version base de donnéerelationnelle des données produites par MDS
• Trois type de composants• Producer : produit les informations• Consumer : fait des requêtes de type bases dedonnée
• Registry : fait la communication entre les deuxprécédents
• Les 2 premiers sont des processus sur chaquesites.
• De plus il existe di�érents types de Producers(Primaire, secondaire, ...)
Les groupes de standardisation Projets académiques Le marché de la grille
Data Management
Plusieurs noms• Globaux
• Global-UID• File name
• Relatifs• Storage-URL, information de position• Transport-URL, idem plus information de protocole
Outils et bibliothèques de haut et bas niveau pourmanipuler ces objets
Les groupes de standardisation Projets académiques Le marché de la grille
Workload Management System (WMS)
Ce service est exécuté sur le Resource BrockerLes jobs y sont envoyé sous la forme de JDL (JobDescription Langage)
Executable = "test.sh";
Arguments = "fileA fileB";
StdOutput = "std.out";
StdError = "std.err";
InputSandbox = "test.sh", "fileA", "fileB";
OutputSandbox = "std.out", "std.err";
Requirements = other.GlueCEInfoTotalCPUs > 4;
Les groupes de standardisation Projets académiques Le marché de la grille
Gestion des jobs
• Le choix du CE pour un job est appelématch-making
• Sélectionne tous les sites correspondant au JDL• Sélectionne ceux qui sont le plus proche point devue données
• Trie les CE en fonction du temps supposé d'attente
• Un job peut être une collection de jobs (avecdépendances)
• En parallèle, le Logging and Bookkeeping service(LB) collecte tous les évènements liés à la vie dujob
Les groupes de standardisation Projets académiques Le marché de la grille
Job Flow
a Obtenir un certi�cat et s'identi�er
b Soumettre un job au Resource Brocker en passant par une UI
c Le WMS recherche le meilleur site
d le RB prépare le job
e le gestionnaire local reçoit le job et sa sand-box
f le job s'exécute et le Worker Node reçoit les �chiers nécessaires
g pendant l'exécution, le job utilise les outils de la grille pour gérer
ses �chiers
h le job produit des �chiers qui sont accessibles par les autres
éléments de la grille
i le job �nit et envoie sa sortie standard au RB
j l'utilisateur récupère la terminaison du job et sa sortie standard
Les groupes de standardisation Projets académiques Le marché de la grille
WMProxy
• Les jobs peuvent être soumis en grand nombred'un seul coup
• Data-chalenge (Biomed)• Disponibilité de nouvelles données (Atlas)
• Le RB s'écroule lorsqu'un grand nombre de jobsest soumis en même temps
• On utilise un proxy
Les groupes de standardisation Projets académiques Le marché de la grille
1 Les groupes de standardisation
2 Projets académiques
3 Le marché de la grille
Les groupes de standardisation Projets académiques Le marché de la grille
Une approche modulaire
• Standardisation des briques grâce au GGF/OGF
• Multiples vendeurs pour chaque brique
• Des contraintes di�érentes• Souvent basé sur Globus
• Usine à gaz• Utilisé par IBM, HP, Bull• Souvent des incompatibilités malgré lesspéci�cations
Les groupes de standardisation Projets académiques Le marché de la grille
La brique de base : Le site
• Structure d'une grille : très hiérarchique
• Les solutions de grille reposent sur destechnologie de site
• Une grille est une agrégation de ressources dansdes sites
Composants de base :
• Gestionnaire de ressources : OAR,PbsPro/OpenPbs, LSF, Condor
• Scheduler : Maui, CSF
Les groupes de standardisation Projets académiques Le marché de la grille
Platform LSF
• Load Sharing Facility (LSF) middleware
• S'occupe de gérer les batchs d'applications decalcul
• Fondamentalement : Equilibrage sur des queues
• Bonne résistance aux fautes : un noeud decalcul peut remplacer le gestionnaire de manièretransparente
• Permet le checkpointing
• Version HPC (top500)
• Version close, sauf pour certaines briques liées àGlobus
Les groupes de standardisation Projets académiques Le marché de la grille
Plateform CSF
• Community Scheduler Framework (CFS)• La partie scheduler de LSF
• Framework pour rajouter facilement des schedulers(Api)
• Fourni les services de base : réservation,exécution et monitoring de job
• Fonctionne avec LSF, mais aussi avec Globus etPbs
Les groupes de standardisation Projets académiques Le marché de la grille
PBS-Pro/OpenPbs
• Gestion très bas niveau d'un site, principalementgestion des ressources
• Deux versions• Pbs-Pro version payante, comprends Maui, dusupport, des outils de gestion évolués
• OpenPbs version open source, en retard d'uneversion sur Pbs-Pro
• Notion de base : queue
• Interface : pbssub, pbsstat, pbsdel
• Scheduling naif (utilisé souvent avec Maui)
Les groupes de standardisation Projets académiques Le marché de la grille
Torque
• Fork d'OpenPbs
• Divergence de vu avec les développeursd'OpenPbs
• Les apports• Passage à l'échelle (nombre de jobs, nombre deprocesseurs)
• Plus �ne gestion et expressivité des ressources• Résistance aux fautes, checkpointing
Les groupes de standardisation Projets académiques Le marché de la grille
Condor
• But : optimiser le débit des jobs• Gestion �ne des ressources• Gestion des ressources partagées (machine debureau)
• Back�lling évolué• Appels systèmes à distance
• Checkpointing
• Très orienté pour la recherche scienti�que• Ensemble de jobs• Jobs embarrassingly parallel
Les groupes de standardisation Projets académiques Le marché de la grille
OAR
• Projet académique
• Forte similitudes avec PBS, mais en open source
• Notion de base, queue
• Concept de base, langage agnostique : tout estdans la base
• Programmé en perl, peu de lignes de code
• Version grille : oargrid
• Facilité d'insérer un nouveau scheduler
• Best e�ort jobs
Les groupes de standardisation Projets académiques Le marché de la grille
Scheduler Maui
• Un des principaux Scheduler sur le marché
• Possibilité d'utiliser les scheduler fourni
• Framework de développement de scheduler(fournit un simulateur)
• Meta-scheduling (plusieurs scheduler en fonctionde contraintes)
• Prévu pour gérer la juste répartition desressources multi-critère
• Di�érentes politiques de Back�lling
Les groupes de standardisation Projets académiques Le marché de la grille
L'agrégation : Globus
Prochain cours
Les groupes de standardisation Projets académiques Le marché de la grille
Condor-G
• Utilise la syntaxe de soumission de jobs decondor
• Limité à la partie soumission de job
• Permet de gérer des jobs sur de multiples sites
• Repose sur les protocoles de communication deGlobus
• Rends transparent l'utilisation d'une grille
• Peu de fonctionnalités mais beaucoup plus légerque Globus
Les groupes de standardisation Projets académiques Le marché de la grille
Sun N1 Grid Engine
• Trois couches• Access Tier (Utilisateurs)• Management Tier (Serveur de gestion de la grille)• Compute Tier (Noeuds de calcul et de stockage)
• Pas de grid services
• Interface propriétaire, tentative destandardisation GGF
• Open source• gratuit : version de base• payant : support + accounting
• Granularité �ne d'accès : notion d'utilisateur, deprojet, d'équipe pour l'allocation des ressources
Les groupes de standardisation Projets académiques Le marché de la grille
Autre services (Globus)
Service
Service
Service
Service
Service
Service
GridFTPGRAM MDS
Globus core technology
Third party
applications
GT4 service container
Les groupes de standardisation Projets académiques Le marché de la grille
Gridsphere
Frameworkde développe-ment deportail Webopensource
Les groupes de standardisation Projets académiques Le marché de la grille
OGCE
Framework de développement de portail Webopensource
Les groupes de standardisation Projets académiques Le marché de la grille
Autres portails
• Encore beaucoup de types di�érents, domainepeu stable
• EnginFrame (NICE) basé sur l'automatisation,payant
• �Migrating desktop� du projet CrossGrid : unesorte de bureau à la Windows/Gnome/Kde. Mêmefonctionalités. Java open source
• Web souvent fait par les utilisateurs de gros projetspuis transformés en framework : Jetspeed, uPortal,CHEF
• Pas encore de vrai leader
• Finalement peu de virtualisation : nombre deprocesseurs, type de ressources
Les groupes de standardisation Projets académiques Le marché de la grille
Sécurité
• Domaine en retard
• Beaucoup de problèmes dus aux mesures desécurité (�rewall)
• Surtout à base de technologies empruntées àd'autres domaines
• VPN
• GSI est un projet académique mais qui n'a pasencore percé dans l'entreprise
• Problème complexe qui reste encore géré au caspar cas
Les groupes de standardisation Projets académiques Le marché de la grille
Grid Security Infrastructure (GSI)
• Basé sur les certi�cats
• Plusieurs autorités de certi�cation (CA)
• Lorsque deux entités discutent, la con�ance esthérité de la con�ance entre les CA
• Les communications reposent ensuite sur SSL
• Peu pratique pour les opérations �nes (lecturesde données, utilisation de grid services) carsouvent à l'échelle des V.O.
Les groupes de standardisation Projets académiques Le marché de la grille
Données
• Pour l'instant peu de virtualisation• Copie des algorithmes habituels
• GridFtp• Chaque gros projet a sa façon d'accéder auxdonnées
• L'unité de base reste le �chier
• Peu de projet d'utilisation de base de données
• L'utilisation des données doit être explicite
Les groupes de standardisation Projets académiques Le marché de la grille
Avaki
• Avaki (fait partie de Legion, qui gère tout typede ressources)
• Gestion des données indépendamment de leurposition
• Transparent• Vue objet : tout est objet, que ça soit ici ou auloin, l'accès est identique
• Comparaison avec nfs avec en plus, les bases dedonnées, xml,...
• Gère les �rewall• Rajoute un modèle de vue sur les données :agregation et intégration de haut niveau
• Gestion transparente des défaillances techniques
Les groupes de standardisation Projets académiques Le marché de la grille
Monitoring : Nws
• Evaluation de l'état actuel de l'infrastructurephysique
• Performance réseau (latence et débit)
• Charge processeur
• Mémoire libre• Système de gre�on pour d'autres sondes
• Compromis entre intrusivité et précision
• Prédiction de l'état futur• Plusieurs méthodes, choix automatique enfonction des résultats
• Méthode auto-régressive, basée sur la moyenne,basée sur la médiane
Les groupes de standardisation Projets académiques Le marché de la grille
Monitoring : Ganglia
• Objectif : haute performance• Gros travail de réduction de la taille des messages• Structure hiérarchique• Passe à l'échelle (2000 noeuds)
• Repose sur de plus petites briques• XDR pour des communications portables et peuintrusives
• RRDtool pour le stockage des résultats et leuraccès
• XML pour le format d'export des données
• Open source
Les groupes de standardisation Projets académiques Le marché de la grille
Applications
• Pas de solution miracle
• Un grand nombre d'experts• Les vendeurs de grille permettent de gridi�er,tester et certi�er des applications sur leursgrilles.
• IBM Grid solutions• HP grid solutions• ...
Les groupes de standardisation Projets académiques Le marché de la grille
Domaine d'application
• Repliement de protéines (académique etindustriel)
• Gestion des données des expérimentations àhautes énérgies (académique)
• Biomédical (vaccin contre la grippe)• Besoin ponctuels de beaucoup de puissance
• Sysmologie
• Prédiction météorologique
• Recherche des gisements de pétrole
Les groupes de standardisation Projets académiques Le marché de la grille
Autre systèmes
• XtremWeb• La grille à coût réduit• Utilisation des machines inutilisés (Desktopcomputing)
• UnitedDevice• Desktop Computing• Quelques possibilité de type Grille, par exempleréservation
• BOINC (Seti@Home, 500 TeraFlops) ,Folding@Home (1 PetaFlop)
• Rassemble des participants à grande échelle
Les groupes de standardisation Projets académiques Le marché de la grille
Autre systèmes : Grid5000
• Projet académique français
• Créer une grille d'expérimentation
• On ne déploie pas une application, on déploieune image
• Utilise une couche middleware très simple (baséesur OAR)
Les groupes de standardisation Projets académiques Le marché de la grille
Nouvelle mouvance : Cloud computing
Un retour à l'idée de Ian Foster : On branche et çamarche
• Gestion sympli�ée• Fournisseur de service qui gère toute la logistique
• Utilisation �ne des ressources• Virtualisation complète
• Type de machine (cluster, multi-processeur)• Service de stockage• Machines totalement identique du point de vueutilisateur
Exemple, Amazon EC2, Sun Grid, Fujitsu CloudComputing
Les groupes de standardisation Projets académiques Le marché de la grille
Sun Grid
• Sun tiens aussi le rôle d'hebergeur• Pour des données• Pour des calculs
• L'application doit avoir certaines contraintes :• Etre auto-contenue• S'exécuter sous solaris avec un matériel particulier
• Le prix est de 1$ par heure CPU.