GDS : Grid Data Service Gabriel Antoniu IRISA / INRIA Rennes Réunion de lancement du projet GdX de...
-
Upload
morgaine-teyssier -
Category
Documents
-
view
104 -
download
0
Transcript of GDS : Grid Data Service Gabriel Antoniu IRISA / INRIA Rennes Réunion de lancement du projet GdX de...
GDS : Grid Data Service
Gabriel AntoniuIRISA / INRIA Rennes
Réunion de lancement du projet GdX de l’ACI Masses de Données16 septembre 2003
2
Le projet GDS
Projet de l’ACI Masses de Données (2003)
PARIS (IRISA, Rennes) REGAL (LIP6 et INRIA Rocquencourt) ReMaP (LIP, ENS Lyon)
Partenaire du projet GdX (utilisateur)
3
Contexte : gestion de données sur la grille
Simulations numériques distribuées Exemple: couplage de code Nécessite un partage des données
Mécanique des structures
Thermodynamique
Optique
Dynamique
Conception d’un satellite
4
Partage de données : l’existant
Partage explicite à grande échelle
GridFTP (Globus) et MPI-IO Sécurité, hétérogénéité
Internet Backplane Protocol (IBP) Contrôle
Gestion explicite Pas de garanties de cohérence
5
Partage de données : l’existant (2)
Partage transparent à petite échelle
Mémoire virtuellement partagée (MVP) Modèles et protocoles de cohérence Accès transparent Localisation transparente des données Architecture statique, non extensible et
homogène
6
Partage de données : l’existant (3)
Systèmes pair-à-pair (P2P) Systèmes distribués (grande échelle) Pairs volatiles Capacités responsabilités identique des pairs
Partage de données non-modifiables Centralisé (Napster) Inondation (Gnutella, KaZaA) Table de hachage distribuée (CFS, PAST)
Partage de données modifiables Un seul écrivain par donnée, peu de modifications
(OceanStore) Résolution des conflits à la « main » (Ivy)
7
Idée : service de partage de données
Proposition : approche hybride MVP : cohérence et accès transparent P2P : extensibilité et haute dynamicité
MVP Service pour la grille P2P
Échelle 101-102 103- 104 105-106
Topologie Plate Hiérarchique Plate
Dynamicité Nulle Moyenne Forte
Ressources Homogènes (grappes)
Plutôt hétérogènes (grappes de
grappes)
Hétérogènes (Internet)
Données Modifiables Modifiables Non-modifiables
Applications typiques
Calcul scientifique
Calcul scientifique et stockage de données
Partage et stockage de
fichiers
8
Service de partage de données pour la grille
Internet
Persistance
9
Service de partage de données pour la grille
Internet
Transfert de données
?
Transparence de la localisation
10
Service de partage de données pour la grille
Transfert de données
Internet
Optimisation des accès
Cohérence des données
Optimisation des accès
Cohérence des données
Internet
11
Service de partage de données pour la grille
Internet
Extensibilité de l’architectureExtensibilité de l’architecture
Internet
12
Service de partage de données pour la grille
Internet
Support de la volatilité
Internet
Support de la volatilité
13
ACI MD GDS
Objectifs Service de partage de données : architecture,
implémentation, expérimentations Intégration dans l’environnement ASP DIET
(ReMaP, LIP) Etudes
Tolérance aux fautes : stratégies de réplication Protocoles de cohérence Stratégies d’observation/introspection Ordonnancement conjoint calcul-
communication
14
Possible API du service GDS…
Alloc (size, attribs) Map (id, attribs) Put (id, value) Get (id) Lock (id) Unlock (id)
À suivre…
15
GDS : Architecture généraleGroupe global
Groupe cluster A
Groupe cluster B
Groupe cluster C
Groupe data
Architecture physique
Achitecture virtuelle
16
Prototype JuxMem
Stage de DEA de Mathieu Jan (projet PARIS, IRISA, 2003)
Utilisation de JXTA 2.0 Gestion des pairs, des groupes, des communications, etc Implémentation en tant que service utilisateur Prototype en Java
JuxMem Service JXTA + 5 000 lignes de code
http://www.irisa.fr/paris/Juxmem/welcome.htm
17
ACI MD GDS : participants
Projet PARIS (IRISA) 3 Permanents : Gabriel Antoniu, Luc Bougé, Thierry Priol 2 Doctorants
Mathieu Jan (INRIA/Région Bretagne) Sébastien Monnet (ACI MD)
Projet REGAL (LIP6/INRIA Rocquencourt) 2 Permanents : Luciana Arantes, Pierre Sens 2 Doctorants : Jean-Michel Busca, Fabio Picconi
Projet ReMaP (LIP) 2 Permanents : Eddy Caron, Frédéric Desprez 1 Doctorant : Antoine Vernois
http://www.irisa.fr/GDS
18
Interactions GDS - GdX
En deuxième partie du déroulement des projets GDS : expérimentations visées
Plates-formes « réelles »1. Grappes locales
Quelques dizaines de nœuds2. Fédération de 3 grappes (IRISA, LIP, LIP6)
De l’ordre d’une centaine de nœuds3. Fédération de quelques dizaines de grappes (GRID
5000 ?) Plusieurs milliers de nœuds
Plate-forme d’émulation GdX Emulation des configurations réelles de type fédération de
grappes
19
Expériences GDS / GdX
Topologie hiérarchique Fédération de grappes Liens rapides intra-grappes, liens lents inter-
grappes Configuration
Nombre de noeuds Topologie des interconnexions Capacité des liens : SAN, LAN, WAN Capacité de stockage en mémoire vive Capacité de stockage sur disque OS: Linux, Solaris, … Volatilité des nœuds
Simulation de pannes/déconnexions