Post on 03-Apr-2015
DataGrid Revue
Résumé de la seconde revue européenne du projet Datagrid
Agenda
Au CERN du 4 février 14 heures au 5 février 18 heures http://documents.cern.ch/AGE/current/fullAgenda.php?ida=a021814
Agenda Introduction Project general status Software integration and deployement status WP8,WP9,WP10 progress and evaluation Middelware developments Quality assurance
WP8,WP9,WP10 and Middelware demos Dissemination Datagrid in 2003 Reviewers feedback
Project General status
Redéfinition des priorités : qualité et stabilité Publication d’un document de définition de la qualité dans datagrid
http://eu-datagrid.web.cern.ch/eu-datagrid/WP12/default.htm
Liste des priorités a été réorganisée
La résolution des points bloquants mis en évidences par les applications est prioritaire
Prise en compte des besoins des applications
État général du projet La version courante est la 1.4 qui est déployée sur une quinzaine de sites
constituant le testbed d’application.
Différents projets de grille (Crossgrid, DataTAG,…) utilisent l’offre logicielle de datagrid ce qui porte à une quarante le nombre de sites utilisant le logiciel EDG.
La plus part des documents ont étaient fournis dans les temps exceptés quelques uns qui ont été reprogrammés pour être disponibles en Mars 2003.
Project General status
WP1 Test de résistance à la charge notamment de la part des applications.
WP2 Redéfinition et reimplementation des composants défectueux et
collaboration productive avec Globus
WP3 Meilleure stabilité du MDS et surtout développement de R-GMA
WP4 Développement de la nouvelle version de LCFG et collaboration avec les US à
travers le projet GLUE
WP5 Développement d’un interface commune vers les unités de stockage
WP7 Déploiement de l’infrastructure network
Project General status
WP12 Réactivation du groupe d’architecture
Organisation des diverses conférences
Définition de la licence utilisée pour les développement fait dans le cadre datagrid
Collaboration avec les autres projets de grilles
Software integration et deployement status
Activités du groupe d’intégration Intégrer les nouvelles fonctionnalités
Tester : les développements du middelware et des applications
Fournir du support: Installation,configuration,…
18 versions du logiciel EDG entre Février 2002 et Janvier 2003
Différents testbeds Application : stable
Certification: en cour de mise en place
Développement: 5 sites et instable
Middelware: Ensemble de machines à la disposition des développeurs du middelware
Software integration et deployement status
Ressources En progressions
Consommations Assez importantes
Disponibilité Quasiment pleine
Utilisateurs En hausse (352) et très
divers (nationalité ou VO)
Site Country
CPUs
Storage
CC-IN2P3* FR 620 192 GB
CERN* CH 138 1321 GB
CNAF* IT 48 1300 GB
Ecole Poly. FR 6 220 GB
Imperial Coll.
UK 92 450 GB
Liverpool UK 2 10 GB
Manchester UK 9 15 GB
NIKHEF* NL 142 433 GB
Oxford UK 1 30 GB
Padova IT 11 666 GB
RAL* UK 6 332 GB
SARA NL 0 10000+ GB
TOTAL 5 1075
14969 GB
*also Dev. TB; +200 TB including tape
Software integration et deployement status
Évaluation logicielle Nombre utilisateurs et de sites en hausses, nombre de sites,
exécution de « vrai » job Disponibilité,installation,configuration, maintenance, …. Globus : interface vers systèmes de batch ,transfert de fichiers,…
stabilité
Évolutions Replica catalogs Mass storage interface Information Service MDS -> RGMA Nouveaux outils
Conclusions Version courante est viable et fonctionnelle
WP8,WP9,WP10 progress and evaluation
Objectifs Utiliser le testbed et valider les versions de logiciels Participer au groupe en charge de l’architecture du projet Définir une couche logicielle commune aux applications de physique des
hautes énergies Utiliser les fonctionnalités de EDG pour les Data Challenge Participer à l’élaboration des cours et documents
Évaluation ATLAS Août 2002 Utilisation du logiciel d’ATLAS Plusieurs centaines de soumission de « job » de plusieurs heures de calcul Concordance entre les résultats issues des simulations faites sur la grille et
des simulations « hors grille » Mise en évidence de plusieurs limitations ou problèmes
WP8,WP9,WP10 progress and evaluation
Évaluation CMS Décembre 2002
Déploiement du logiciel CMS sur la grille
Génération de l’ordre de 250 k événements soit 10 000 « jobs »
Mise en évidence de plusieurs limitations (souvent identiques à celles misent en évidence par ATLAS) ou problèmes.
Recommandations et besoin de changement Data management: notamment au niveau des replica catalogue
Information services:
Workload management:
Détection et récupération d’erreur:
WP8,WP9,WP10 progress and evaluation
Autres expériences HEP ALICE: « gridification » de leur logiciel, développement de leur
interface
LHCb: « gridification » de leur logiciel
BaBar:testé avec succès la simulation et l’analyse des jobs avec la couche logicielle EDG
D0: Près sur de nombreux points (VO, logiciel,…)
Conclusions et perspectives ATLAS et CMS sont globalement satisfaits de leur tests
Les expériences du LHC vont utiliser la grille pour leur productions.
Les expériences Babar, D0 vont faire des analyses sur la grille.
WP8,WP9,WP10 progress and evaluation
Objectifs Créer un environnement ( création de portail web, validation des
algorithmes,….)
Communiquer sur le grid dans la communauté des science de la terre ( création de groupes et initiatives diverses)
Participe à l’architecture task force.
Évaluation et résultats Data réplication : Avec création de plus de 10 000 entrées dans le
replica catalogue
Processing: De plusieurs centaines de « jobs »
L’intégrations d’ applicatifs (GOME) a permit avec succès leur utilisation dans le contexte de grille.
Mise en évidence de problèmes de stabilité du Testbed
WP8,WP9,WP10 progress and evaluation
Conclusions et perspectives Satisfait des résultats.
Adapter et optimiser les logiciels à une environnement de grille
Étendre l’utilisation de la grille à des nouvelles expériences et de nouvelles données ( utiliser les 5 ans de données de GOME)
WP8,WP9,WP10 progress and evaluation
Objectifs Avoir une middelware compatible avec les besoins de la biologie
Déployer des nœuds de grille dans des laboratoires de biologie
Faire tourner des applications de biologie sur la grille
Évaluations et résultats Implémentation d’un portail pour la phylogénétique.
Implémentation d’une application de gestion d’image médicale.
Plus de 15 utilisateurs WP10 de la grille.
Lancement d’un projet de grille dédiée à la biologie avec une première conférence en janvier 2003 regroupant plus de 200 participants.
Pas encore de site Datagrid dans un laboratoire de biologie
Besoin de plus de coopération entre les work packages applicatifs
WP8,WP9,WP10 progress and evaluation
Perspectives Faire des tests à grande échelle
Déployer de nouvelles applications
Installer des nœuds de la grille dans des laboratoires de biologie
Middelware developments
Présentation des différents composants du middelware
Avenir du testbed d’application Passage à la Redhat 7.3 et LCFGng
Upgrade de Globus et Condors vers les version 2.2.4 et 6.4.6
Nouveau service information : R-GMA: s’applique à l’information et au monitoring, utilise un modèle de publication/consommation pour fournir les informations.
Replica Management Services: Ensemble de service de réplication.
Replica Location Service.
Nouvelle version du Storage Element : Multiple interfaces, accès natif vers Castor.
Prise en compte du coût du réseau par le Replica catalog et publication dans le système d’information.
Middelware developments
Nouveau ressource broker:
VOMS: Nouvelle version des organisations virtuelles
Déploiement de ces nouveautés pour mai 2003
Quality assurance
Objectifs Stabilité du système
Qualité du logiciel produit
Support utilisateur
Groupe qualité Groupe crée en août 2002 et qui doit définir les règles de qualité
Produit le Datagrid developer’s guide
Définie le processus de test et validation
Sert de pont commun entre les différents WP pour ce qui est de outil commun et des « bonne » pratique de travail.
Quality assurance
Indicateur de qualité Outil de rapport de bugs (Bugzilla)
Taille des sites en productions
Documentation
Processus de validation:
Quality assurance
WPs add unittested code toCVS repository
Run nightly build
& auto. tests
Grid certification
Application Certification
Buildsystem
Certification (**)Testbed ~40cpu
WP specific (*)machines
Certified publicrelease
for use by apps.
Build system
Test Group
WPs
Bugzilla anomalies reports
Unit Test
Build
Certification
Users
Development (*)Testbed ~15cpu
Individual WP tests
Integration
Team
Integration
Office hours
Overall release tests
Tag
ged p
ack
ag
e
Tag
ged r
ele
ase
sele
cted f
or
cert
ifica
tion
Releases candidate
Tagged Releases
Releases candidate
Certified Releases
Cert
ified r
ele
ase
sele
cted f
or
deplo
ym
en
tApps. Representati
ves
(**) with LCG
(*)Current infrastructure
Dissemination
Outils Web: 220 000 hits sur le site Datagrid
Conférences : 29 sur l’année 2002
Démonstration
Tutorial Deroule sur 2 jours
Environ une session par mois
Datagrid in 2003
Les Activités de 2003 De nombreuses nouvelles versions de composants sont attendues
débouchant courant mai 2003 sur la version 2.0 du logiciel EDG.
Support aux applications
Coopération et coordination avec les autres projets de grilles de part le monde
Explorer la migration des logiciels EDG vers OGSA (Open Grid Services Architecture)
WP1 Intégration des notions: d’estimation et de coût du calcul, de
dépendance entre taches,de réservation et allocation de ressources,….
Rapprochement avec OGSA/Web Services
Datagrid in 2003
WP2 Stabilisation et la tolérance aux erreurs du service de replica catalogue Généralisation des interfaces
WP3 Implémentation d’autorisation d’accès Migration vers OGSA
WP4 Définition de nouveaux composants pour l’installation Réorganisation de certains composants
WP5 Introduire la notion de répartition de charge dans les Storage Elements Production d’information pour le système d’information R-GMA Support des différentes bases de données
Datagrid in 2003
WP7 Poursuivre la collaboration avec les projets de « reseau »
Fournir des outils de transfert les plus performants
Adapter les outils WP7 pour être compatible avec OGSA, c’est à dire sous forme de web services
Collaborations Crossgrid (Europe)
DataTAG (Europe – US)
Nordugrid (pays scandinaves)
iVDGL/GriPhy/PPDG (US)
Conclusion de la revue
Commentaire généraux Bonnes présentations et démonstrations.
L’intérêt des partenaires pour le projet est évident.
La refocalisation sur du projet sur la qualité est évidente et appréciée.
Recommandations Les applications doivent définir des couches communes et se fixer
des objectifs clairs.
Les outils déployés par WP4 sont très intéressants et méritent de vivre en dehors du projet de Datagrid
Le WP11 doit pour la prochaine année se fixer des objectifs quantifiables.
Continuer le travail avec OGSA et la collaboration avec Globus.
Formaliser l’exploitation et le développement du testbed