EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE EGEE and gLite are registered trademarks...

EGEE-II INFSO-RI-031688

Enabling Grids for E-sciencE

www.eu-egee.org

EGEE and gLite are registered trademarks

Système d’informationPierre GirardFrench ROC deputyCC-IN2P3 site administrator

Activité SA1: “European Grid Support, Operation and Management”

To change: View -> Header and Footer 2



Plan

• Introduction• Système d’Information de LCG/EGEE• Utilisation du Système d’Information• Exploitation et Système d’information• Conclusions• Annexes




Introduction

• Quoi ?– Système chargé de collecter des informations sur l’état des

ressources/services mis à disposition sur la Grille. • Pourquoi ?

– Découvrir les ressources/services de la grille et leur nature– Disposer des données pertinentes pour utiliser les ressources et les

services offerts par des sites hétéroclites.– Vérifier l’état de santé des ressources et services de la grille.

• Comment ?– En monitorant localement l’état et la description des

ressources/services, et en publiant les données “fraîchement” collectées sur le système d’information.

– En adoptant un modèle de données “commun à/connu de” tous les composants/acteurs de la grille qui ont besoin d’interagir avec les ressources/services de la grille.

– En offrant les outils qui permettent d’alimenter et d’interroger le système d’information.




Plan

• Introduction Système d’Information de LCG/EGEE

– Principes– Architecture globale

Globus LCG-2

– Mise en oeuvre LDAP Glue Schema

• Utilisation du Système d’Information• Exploitation et Système d’information• Conclusions• Annexes




Système d’Information de LCG/EGEEPrincipes

RC3RC2

RC1RB1RB2LFC1

LFC2

Système d’information

Site IN2P3-CC

VO1

VO2

VO3

• Principes– Chaque site publie

Une description des ressources/services qu’il fournit par VO L’état actuel de ses ressources (CPUs libres, Espace de stockage, etc.)

– Chaque VO publie (anecdotique) Ce qu’elle a installé sur chaque site (“Tags” des Software Managers)

– Les acteurs interrogent le SI pour savoir comment utiliser les services/ressources de la grille

RB1

RB1

LFC1

RB2 LFC2

Inte

rrog

atio

n

Utilisation

VO1




Architecture globale :Origine du SI actuel

• Globus: architecture MDS-2 (Monitoring and Discovery System)

Cache contains info fromA and B

Client 1 Client 2

Client 2 uses GIIS for searching collective information

GIIS

Cache contains info fromA and B

Client 1 Client 2

Client 2 uses GIIS for searching collective information

Resource A

GRIS

IPIPResource A

GRIS

IP Resource B

GRIS

IPIP

IP

Resource B

GRIS

IP

Client 1 searchesthe GRIS directly

GRIS register with GIISGIIS requests info from GRIS services

Grid Resource Information Service

Grid Index Information Service

1

2

StorageElement

Gridftp

ComputingElement

Gatekeeper

Information Provider IP




RB Local GRIS

SELocal GRIS

CE Local GRIS

BDII-A BDII-B

SELocal GRIS

SELocal GRIS

CE Local GRIS

SELocal GRIS

BDII-C

CELocal GRIS

CE Site BDII

CELocal GRIS

CE Site BDII Site BDII

Site 1 Site 2 Site 3

Architecture globale :SI actuel

• LCG-2/GLITE : Aggrégations des systèmes d’information des sites– BDII (Berkeley Database Information Index): même fonctionnalité que le GIIS, avec une

implémentation différente (meilleure gestion de cache)– 2 niveaux d’aggrégation: de GRIS (site BDII) et de site BDII (top BDII)




Mise en oeuvre Annuaire LDAP

• GRIS, GIIS et BDII sont des serveurs d’annuaire LDAP (openldap)– LDAP : Lightweight Directory Access

Protocol

• Modèle de données– Arborescence de nœuds– Chaque nœud (entrée de l’annuaire)

contient des attributs– La structure d’un nœud est définie par

une ou des classes au schéma prédéfini.

• Modèle de nommage– Distinguished Name (DN):cn=Girard Pierre,ou=People,ou=cc,o=in2p3,c=fr

o=in2p3,c=fr(racine du DIT)

ou=lal

ou=People

cn=Girard Pierre

objectClass: topobjectClass: personobjectClass: organizationalPersonobjectClass: inetOrgPerson

ou=cc ou=lapp

Directory Information Tree

cn: Girard Pierrephone: +33 9999999999uid: girardpimail: [email protected]




Mise en oeuvre Glue Schema

• La plupart des nœuds de la grille sont publiés sur le SI• GLUE Schema (v1.2):

– Définition de schémas LDAP décrivant chaque composant des ressources/services de la grille

– http://glueschema.forge.cnaf.infn.it/objectclass ( 1.3.6.1.4.1.8005.100.2.1.1

NAME 'GlueCE'

DESC 'Info for Computing Element service'

SUP 'GlueCETop'

STRUCTURAL

MUST (GlueCEUniqueID)

MAY (GlueCEName $ GlueCEHostingCluster))

objectclass ( 1.3.6.1.4.1.8005.100.2.1.2

NAME 'GlueCEInfo'

DESC 'General info for the Queue associated to the CE'

SUP 'GlueCETop'

AUXILIARY

MAY (GlueCEInfoTotalCPUs $ GlueCEInfoLRMSType $ GlueCEInfoLRMSVersion $ GlueCEInfoGRAMVersion $ GlueCEInfoHostName $ GlueCEInfo

GatekeeperPort $ GlueCEInfoContactString $ GlueCEInfoJobManager $ GlueCEInfoApplicationDir $ GlueCEInfoDataDir $ GlueCEInfoDefaultSE) )




Mise en oeuvre Glue Schema




Plan

• Introduction• Système d’Information de LCG/EGEE Utilisation du Système d’Information

– Utilisateurs– Services Grille

Matchmaking Data management

• Exploitation et Système d’information• Conclusions• Annexes




Utilisateurs Interrogation du SI via LDAP

• Ligne de commande– Top BDII:

ldapsearch -x -h lcg-bdii.cern.ch -p 2170 -b "mds-vo-name=local, o=grid"– Site BDII:

ldapsearch -x -h cclcgip01.in2p3.fr -p 2170 -b "mds-vo-name=in2p3-cc, o=grid"

– GRIS: ldapsearch -x -h cclcgceli02.in2p3.fr -p 2135 -b "mds-vo-name=local,

o=grid "

{ccali32}~(0)>ldapsearch -x -h cclcgceli02.in2p3.fr:2135 -b 'mds-vo-name=local,o=grid' |more

# cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short, local, grid

dn: GlueCEUniqueID=cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short,mds-vo-name=

local,o=grid

GlueCEHostingCluster: cclcgceli02.in2p3.fr

GlueCEName: short

GlueCEUniqueID: cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short

GlueCEInfoGatekeeperPort: 2119

GlueCEInfoHostName: cclcgceli02.in2p3.fr

GlueCEInfoLRMSType: bqs

GlueCEInfoLRMSVersion: not defined

GlueCEInfoTotalCPUs: 112

GlueCEInfoJobManager: bqs

GlueCEInfoContactString: cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short

GlueCEInfoApplicationDir: /afs/in2p3.fr/grid/toolkit

GlueCEInfoDataDir: unset

GlueCEInfoDefaultSE: cclcgseli01.in2p3.fr

GlueCEStateEstimatedResponseTime: 212

GlueCEStateFreeCPUs: 112

GlueCEStateRunningJobs: 0

GlueCEStateStatus: Production

GlueCEStateTotalJobs: 0

Sortie sous format LDIF




Utilisateurs Navigateur LDAP

• Windows– Softerra LDAP Browser 2.6(freeware),

http://www.ldapbrowser.com/

• Linux– GQ LDAP client, http://gq-project.org/

• Java– JXplorer, http://www.jxplorer.org/– LDAP Browser\Editor,

http://www.openchannelfoundation.org/projects/LDAP_Browser_Editor/




Utilisateurstoolkit LCG-UTILS

• Commande Lcg-infosites (usage: lcg-infosites –h)

{ccali32}~(255)>lcg-infosites --vo esr -is lcg-bdii.cern.ch rb

rb.phy.bg.ac.yu:7772

grid09.lal.in2p3.fr:7772

rb.isabella.grnet.gr:7772

rb01.egee-see.org:7772

rbroker.mrs.grid.cnrs.fr:7772

grid014.ct.infn.it:7772

egee-rb-01.cnaf.infn.it:7772

gridit-rb-01.cnaf.infn.it:7772

gridrb.fe.infn.it:7772

prod-rb-01.pd.infn.it:7772

bosheks.nikhef.nl:7772

boswachter.nikhef.nl:7772

lcgrb01.gridpp.rl.ac.uk:7772

mu3.matrix.sara.nl:7772

rb.scai.fraunhofer.de:7772

Installé sur les

UIs/WNs




UtilisateursGestion des tags d’une VO sur un site

• Commande lcg-ManageVOTag– Permet d’ajouter, de supprimer ou de lister des “tags” sur les

Computing Element des sites– L’ajout et la suppression sont réservés au “Software

Administrators” de la VO– Un “tag” est un nom logique permettant d’indiquer les logiciels

installés par la VO sur un site– Les utilisateurs peuvent ainsi sélectionner un site en fonction du

logiciel nécessaire à leur job.

{ccali32}~(0)>lcg-ManageVOTag -host cclcgceli02.in2p3.fr -vo biomed --list

VO-biomed-autodock-3-0

VO-biomed-GATE-1.1.0-3

VO-biomed-GATE-2.2.0-3

VO-biomed-autodock_IAN-3-0




Services Grille Matchmaking

• Le SI est interrogé par le RB pour choisir une queue de soumission en fonction du JDL (Job Description Language) fourni par l’utilisateur

RC3RC2

RC1RB1RB2LFC1

LFC2

Top BDIITAG VO3_APP1.0.2

TAG VO3_APP1.0.2

Input “datafile1”

UIJDL

VO3Requirements:TAG VO3_APP1.0.2MaxCPUTime >= 20

RB2 2- Interroge3- Soumet

1- soumet un job (JDL)




Services Grille Data management

• Le middleware exploite le SI pour rendre transparent la gestion des données distribuées sur la grille– Localise le catalogue de fichier de la VO– Exploite les données publiées par le SE pour opérer les transferts

RC3RC2

RC1RB1RB2LFC1

LFC2Top BDII

TAG VO3_APP1.0.2

Input “datafile1”

UIlcg-cr VO3

lcg-cr --vo VO3 file://monfic

2- Interroge

4- Transfert

1- Copie depuis l’UI vers un SE

LCG-UTILS

GridftpSE2

3- Enregistre

•# biomed, cclcgseli01.in2p3.fr, local, grid•dn: GlueSALocalID=biomed,GlueSEUniqueID=cclcgseli01.in2p3.fr,Mds-Vo-name=local,o=grid•…•GlueSAPath: /grid/biomed•GlueSAType: permanent•GlueSALocalID: biomed•GlueSAPolicyMaxFileSize: 10000•GlueSAPolicyMinFileSize: 1•GlueSAPolicyMaxData: 100•GlueSAPolicyMaxNumFiles: 10•GlueSAPolicyMaxPinDuration: 10•GlueSAPolicyQuota: 576716800•GlueSAPolicyFileLifeTime: permanent•GlueSAStateAvailableSpace: 1822756076•GlueSAStateUsedSpace: 305668056•GlueSAAccessControlBaseRule: biomed

•# gsiftp, cclcgseli01.in2p3.fr, local, grid•dn: GlueSEAccessProtocolLocalID=gsiftp, GlueSEUniqueID=cclcgseli01.in2p3.fr,Mds-Vo-name=local,o=grid•…•GlueSEAccessProtocolLocalID: gsiftp•GlueSEAccessProtocolType: gsiftp•GlueSEAccessProtocolEndpoint: gsiftp://cclcgseli01.in2p3.fr•GlueSEAccessProtocolCapability: file transfer•GlueSEAccessProtocolVersion: 1.0.0•GlueSEAccessProtocolPort: 2811•GlueSEAccessProtocolSupportedSecurity: GSI•GlueChunkKey: GlueSEUniqueID=cclcgseli01.in2p3.fr




Plan

• Introduction• Système d’Information de LCG/EGEE• Utilisation du Système d’Information Exploitation et Système d’information

• GOC DB• Tests fonctionnels et filtrage du SI

• Conclusions• Annexes




Exploitation et Système d’information GOC DB

• Référenciel de tous les sites de LCG/EGEE– l’URL LDAP du GIIS/Site BDII de chaque site– Le statut/type (Certified/Production) de chaque site– La déclaration éventuelle de « Scheduled Downtime »– … Utilisable pour générer automatiquement la configuration des Top BDIIs avec la liste des

sites déclarés en « Production » http://grid-deployment.web.cern.ch/grid-deployment/gis/lcg2-bdii/dteam/lcg2-all-sites.conf

GOC DB

HTTP

URL SiteBDII1

URL SiteBDII2

…

URL SiteBDII1

URL SiteBDII2

…

BDII

Config




Exploitation et Système d’information Tests fonctionnels et filtrage du SI

• SAM (Service Availibility Monitoring)– https://lcg-sam.cern.ch:8443– système soumettant régulièrement

des tests sur les sites– Le résultat des tests est utilisable

pour filtrer les Top BDIIs en supprimant les sites en échec.

• FCR (Freedom of Choice for Resources)– https://lcg-fcr.cern.ch:8443/fcr/fcr.cgi– Permet à une VO de choisir les tests

qu’elle considère critiques et d’ajouter ses propres tests de site

– Pris en compte dans le filtrage des Top BDII (configurés pour)




Conclusions

• Le SI LCG/EGEE fournit les informations nécessaires à l’utilisation des ressources/services de la grille

– Pour les utilisateurs– Pour les services de grille– ~200 sites sont ainsi publiés

• Il est organisé autour d’une architecture à 3 niveaux de serveurs LDAP– GRIS GIIS/Site BDII Top BDII– Utilise un modèle de données défini par le GLUE Schema– Attention aux temps de latence liés à l’accumulation de cache

quelques minutes de décalage au niveau du Top BDII• Criticité du SI

– Stabilité en progression – Les Top BDIIs sur-utilisés peuvent devenir instables et altérés le fonctionnement de la

grille Ex.: lcg-bdii.cern.ch

Plan pour répartir le SI en Top BDIIs par ROC (fédérations) GSTAT: monitoring permettant de vérifier l’état de santé du SI

• R-GMA (Relational Grid Monitoring Architecture), l’alternative ?• Approche « BD Relationnelle distribuée»• Possibilité d’extension du modèle de données du SI• Déjà utilisé pour l’« Accounting » (comptabilité des jobs)• Annoncé comme le remplaçant de l’architecture basé sur LDAP Ne semble pas encore avoir fait ses preuves




Remerciements

• Pour le pillage de leurs présentations– Diego Scardaci, INFN Catania– Jozsef Patvarczki, MTA SZTAKI– Patricia Méndez Lorenzo, CERN




Liens utiles

• Tutorial LDAP,http://www-sop.inria.fr/semir/personnel/Laurent.Mirtain/LDAP.html

• GSTAT, http://goc.grid.sinica.edu.tw/gstat/

• GOC DB, https://goc.grid-support.ac.uk/gridsite/gocdb2/

• SAM, https://lcg-sam.cern.ch:8443/sam/sam.py

• FCR, https://lcg-fcr.cern.ch:8443/fcr/fcr.cgi

• Projet EGEE, http://www.eu-egee.org/

• Portail des opérations d’EGEE, http://cic.gridops.org/




Questions…

EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE EGEE and gLite are registered trademarks...

Documents

Transcript of EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE EGEE and gLite are registered trademarks...