Utilisation d'ontologies pour le matchmaking. -...

Utilisationd’ontologies pourle matchmaking.

Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd

Algorithme dematchmaking

Utilisateur

Application

Propriétés desressources

Temps

Exemples -Démonstration

OS et processeur

Temps

Jobs co-alloués

Groupes etpolitiques

Conclusion

Utilisation d’ontologies pour lematchmaking.

Aurélie Hurault

Projet NAREGI

Novembre 2007


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Plan

Introduction

RequêteOntologieParser

RessourcesOntologieAjoutsImport d’une bdd

Algorithme de matchmaking

UtilisateurApplicationPropriétés des ressourcesTemps

Exemples - DémonstrationOS et processeurTempsJobs co-allouésGroupes et politiques

Conclusion


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

But

I Étudier les possibilités de matchmaking en utilisant desontologies;

I Dans ce but:I Définition d’ontologies pour les requêtes et les ressources;I Réalisation de l’algorithme de matchmaking;

I Trouver les ressources qui répondent aux besoins del’utilisateur;

I Trouver les instances de la classe «System» qui répondentà une requête exprimée par une instance de la classe«Request».


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Requête

Dans le projet NAREGI, les jobs sont soumis via le «workflowtool», qui permet de définir des workflows complexes:

I jobs en séquence;

I jobs en parallèle;

I jobs co-alloués;

I jobs soumis à condition;

I boucle;

I job unitaire.

Un job unitaire est décrit en utilisant le standard JSDL (JobSubmission Description Language).


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Ontologie de la requête

I Dans l’ontologie: Requête = Utilisateur + Workflow;

I Une classe par type de workflow;

I Boucle: les trois conditions possibles (nombre de boucles,existence d’un fichier et statut de terminaison d’un job)sont traitées.

I Jobs co-alloués:I n jobs unitairesI m réseaux


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Ontologie de la requête

I Job unitaire:I Tous les éléments d’un document JSDL

I Application: executableI Resource: candidate hosts, individual CPU count, total

CPU count,. . .I Contraintes: même expressivité que

«jsdl:RangeValue_Type»I Réseaux pour les clusters

I TempsI BeginTime: date après laquelle le job doit commencer;I EndTime: date avant laquelle le job doit finir;I Duration: la durée de réservation;I OWL Time ontology.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Parser de la requête

I Interface client du projet NAREGI:I Fichier XML, respectant le schema NAREGI-WFML,

généré par le «workflow tool»;

I Parser: fichier NAREGI-WFML→ instance de la classe«Request»;

I Tests réalisés avec des fichiers générés par le «workflowtool» sur le portail de démonstration pbg1044.naregi.org;

I Peut reconstruire tous les workflows.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Ontologie des ressources

I Dans le projet NAREGI:I base de données relationnelle;I basée sur le schema CIM (Common Information Model)

avec quelques extensions.I «CIM provides a common definition of management

information for systems, networks, applications andservices, and allows for vendor extensions. CIM’s commondefinitions enable vendors to exchange semantically richmanagement information between systems throughout thenetwork.»

I Cas général:

Schema de la bdd NAREGI → ontologie OWL

Table → ClasseColonne → Datatype propertyTable d’association / aggregation → Object property


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Cluster

I RéseauI Nœud

I Représentation «front end»I Représentation par groupe de nœuds


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Type d’OS et famille de processeur

I Type d’OSI Version actuelle: entierI Ontologie: instance d’une classe

I Une classe par type d’OSI Organisation hiérarchique

I Famille de processeurI Même chose

I Avantage:I Plus significatifI Plus flexible


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Logiciels par défaut

I CIM: possibilité de définir les logiciels installés sur unsystème;

I Ajout: possibilité de définir des logiciels installés pardéfaut sur un système;

I But: vérifier que l’application que l’utilisateur veut exécuterest installée sur le système;

I Possibilité de dé-activer cette fonctionnalité.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Planning

I Pour chaque système un planning de réservation estdonné;

I Possibilité de trouver les intervalles de temps danslesquels le job doit commencer pour respecter lescontraintes de temps;

I Possibilité de dé-activer cette fonctionnalité.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Utilisateurs et politiques

I Utilisateurs

I PolitiquesI Spécifient les conditions d’utilisation d’un système par un

utilisateur;I Une politique peut en remplacer une autre;

I Sur un système: ensemble d’association entre unutilisateur (ou groupe) et une politique.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Ajouter une nouvelle politique

I Ajouter une classe dans l’ontologie et compléter lapropriété «canReplace»;

I Ajouter une classe Java qui spécifie quand la politique estsatisfaite;

I Modifier la classe Java «ComputerSystem»→ doit êtremodifié pour une intégration automatique.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Unités

I Certaines propriétés des ressources (et contraintesdemandées) sont exprimées dans une unité donnée:bytes, giga bytes, bits par secondes. . .

I Nécessité de se mettre d’accord sur l’unité (GB, MB, KB,B,. . . ) dans un système par attribut - valeur;

I Ajout de classes pour décrire les unités dans l’ontologie.Utilisateur et propriétaire de ressources peuvent utiliserdes unités différentes, la convertion sera faite avantcomparaison.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Extraction de données d’une base de données

I Possibilité de charger une base de données existante quirespecte le schema du projet NAREGI;

I Extraction partielle: seulement les propriétés utilisées dansl’algorithme de matchmaking sont chargées;

I Peut être étendu si besoin;

I Tests réalisés avec la base de données «mcd» utiliséepour les tests du projet.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Algorithme de matchmaking

1. Existence de l’utilisateur et vérification des politiques

2. Application (si demandé)

3. Propriétés de ressources

4. Temps (si demandé)


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Matchmaking: Utilisateur et politique

1. Vérification de l’existence de l’utilisateur2. Calcul de l’ensemble des politiques qui régissent

l’utilisation du système pour l’utilisateur.I Politiques spécifiques pour l’utilisateurI Politiques des sous-groupes qui ne sont pas remplacées

3. Vérification des politiquesI Réponse immédiate possible: AuthorizedMemberPolicy,

NonAuthorizedMemberPolicyI Réponse immédiate impossible: génération d’un ensemble

de contraintes qui seront vérifiées plus tard


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Matchmaking: Application

I Vérifie que l’application est installée sur le système;

I Vérifie que l’application est installée par défaut sur lesystème;

I L’utilisateur peut choisir ou non d’activer cettefonctionnalité.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Matchmaking: Propriétés des ressources

I UnitaryComputerSystem: réservation du système complet;I Cluster: réservation de quelques nœuds;

I Certaines contraintes pour sélectionner les nœuds(Individual XXX);

I Certaines contraintes pour sélectionner le cluster (TotalXXX): vérifie qu’il y a assez de XXX.

I Candidate hosts

I Première catégorie- Operating system, CPU architecture, Individual CPUCount,. . .

I Seconde catégorie- Total CPU count, Total Physical Memory,. . .


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Matchmaking: Temps

I Job unitaire: Intervalles de temps dans lesquels le job doitcommencer;

I Jobs en séquence: Les intervalles de temps pour lesecond job sont calculés en supposant que le premiercommence au plus tôt;

I Jobs en parallèle: Si des ressources communes sontutilisées dans les deux jobs, les résultats sont donnés sousréserve de problèmes de temps;

I Jobs co-alloués: intersection des intervalles de temps pourtous les jobs;

I Condition: pas d’interaction entre les jobs;

I Boucle: Si le nombre de boucle est connu, les intervallesde temps sont donnés pour chaque boucle, sinon lesrésultats sont donnés sous réserve.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Exemples - Démonstration


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion


I UnitaryComputerSystem dans la base de données:

Nom OS Processeur

simpleLinuxPentium4 Linux Intel Pentium 4simpleLinuxCeleron Linux Intel CeleronsimpleSolarisPentium4 Solaris Intel Pentium 4simpleSolarisSparc Solaris SparcsimpleWindowsPentium4 Windows Intel Pentium 4


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion


I RequêteI Système Unix:

- simpleLinuxPentium4, simpleLinuxCeleron,simpleSolarisPentium4 et SolarisSparc.

I Processeur Intel:- simpleLinuxPentium4, simpleLinuxCeleron,simpleSolarisPentium4 et simpleWindowsPentium4.

I Système Unix et processeur Intel:- simpleLinuxPentium4, simpleLinuxCeleron etsimpleSolarisPentium4.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Temps

I UnitaryComputerSystem dans la base de donnéesI Nom: vcp01.naregi.orgI Planning: Réservations

I [1 oct. 2007 00:00:00 ; 2 oct. 2007 00:00:00]I [5 oct. 2007 10:00:00 ; 5 oct. 2007 15:00:00]I [6 oct. 2007 12:00:00 ; 7 oct. 2007 00:00:00]

I Recherche de deux systèmes pour un job qui commenceaprès le 1 oct. 2007 00:00:00 et pour une heure, pour fairetourner deux jobs en séquence.-L’algorithme va trouver

I Job1: vcp01.naregi.org avec un début dans:I [2 oct. 2007 00:00:00,5 oct. 2007 09:00:00]I [5 oct. 2007 15:00:00,6 oct. 2007 11:00:00]I [7 oct. 2007 00:00:00,8 oct. 2017 14:46:22]

I Job2: vcp01.naregi.org avec un début dans:I [2 oct. 2007 01:00:00,5 oct. 2007 09:00:00]I [5 oct. 2007 15:00:00,6 oct. 2007 11:00:00]I [7 oct. 2007 00:00:00,8 oct. 2017 14:46:23]


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Jobs co-alloués

I Dans la base de donnéesI Quatre stations à Tokyo, Nagoya, Osaka et KobéI Réseau SuperSINET (10 Gbps) entre Tokyo, Nagoya et

OsakaI Réseau SINET (1 Gbps) entre Kobé et les autres villes

I Recherche de trois ressources pour des jobs co-alloués etavec un réseaux rapide entre elles (8 Gbps).

I Toutes les combinaisons des stations de Tokyo, Nagoya etOsaka.

I job#3: station.nagoya + job#1: station.osaka + job#2: station.tokyoI job#3: station.osaka + job#1: station.nagoya + job#2: station.tokyoI job#3: station.nagoya + job#1: station.tokyo + job#2: station.osakaI job#3: station.tokyo + job#1: station.nagoya + job#2: station.osakaI job#3: station.osaka + job#1: station.tokyo + job#2: station.nagoyaI job#3: station.tokyo + job#1: station.osaka + job#2: station.nagoya


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Jobs co-alloués

I Si un des jobs (job#3) échange peu de données avec lesautres jobs, un reseau lent est suffisant, et les deux autresnécessitent un réseau rapide.

I Toutes les combinaisons des stations de Tokyo, Nagoya etOsaka pour les job#1 et job#2, et toutes les stations pourjob#3.

I job#3: station.nagoya + job#1: station.osaka + job#2: station.tokyoI job#3: station.kobe + job#1: station.osaka + job#2: station.tokyoI job#3: station.kobe + job#1: station.nagoya + job#2: station.osakaI job#3: station.tokyo + job#1: station.nagoya + job#2: station.osakaI . . .


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Groupes et politiques: Université

I Ressource:I Cluster «IBM1350»;I Réseau : Myrinet GigaEthernet;I 50 nœuds, avec un bi-processeur Opteron.

I Groupes et utilisateursI UniversityPersonel: le personnel de l’université;I UniversityTeacher: sous-groupe de UniversityPersonel;I UniversityStudent: sous-groupe de UniversityPersonel;I Membres de UniversityStudent: Student1, Student2,

Student3, StudentBlam et StudentBonus;I Membres de UniversityTeacher: Teacher1, Teacher2 et

Teacher3.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion


Politiques:

I Les étudiants sont autorisés à utiliser 16 CPU et 10 GB demémoire.

I Les enseignants sont autorisés à utiliser 32 CPU et 20 GBde mémoire.

I L’étudiant «StudentBlam» a eu un mauvais comportementet n’est plus autorisé à utiliser le cluster.

I L’étudiant «StudentBonus» a un statut particulier et estautorisé à utiliser 32 CPU.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion


Tous les utilisateurs veulent réserver une partie du cluster pourune demie-heure.

Utilisateur Réponse

«Student1» Total CPU: [0;16]Total Physical Memory: [0;10G]

«StudentBlam» Pas de ressource trouvée«StudentBonus» Total CPU: [0;32]

Total Physical Memory: [0;10G]

«Teacher1» Total CPU: [0;32]Total Physical Memory: [0;20G]


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Groupes et politiques: Commercial

I Ressource: même que précédemmentI Groupes et utilisateurs

I TrialVersionUsers: les utilisateurs avec une version d’essai;I SimplePackUsers: les utilisateurs avec un pack simple;I DoublePackUsers: les utilisateurs avec un pack double;I TrialVersionUser1 avec une version d’essai depuis le

01/09/2007;I TrialVersionUser2 avec une version d’essai depuis le

01/11/2007;I SimplePackUser1 avec un pack simple;I DoublePackUser1 avec un pack double.


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Groupes et politiques: Commercial

I PolitiquesI Version d’essai: 4 CPU, 2 GB, pour un mois.I Pack simple: 16 CPU et 10 GB.I Pack double: 32 CPU et 20 GB.

I Supposons que nous sommes le 22/11/2007 et que tousles utilisateurs veulent réserver une partie du cluster pourune demie-heure.

Utilisateur Réponse

«TrialVersionUser1» Pas de ressource trouvée«TrialVersionUser2» Total CPU: [0;4]

Total Physical Memory: [0;2GB]

«SimplePackUser1» Total CPU: [0;16]Total Physical Memory: [0;10GB]

«DoublePackUser1» Total CPU: [0;32]Total Physical Memory: [0;20GB]


Aurélie Hurault

Introduction

Requête

Ontologie

Parser

Ressources

Ontologie

Ajouts

Import d’une bdd


Utilisateur

Application


Temps


OS et processeur

Temps

Jobs co-alloués


Conclusion

Conclusion et travaux futures

I ConclusionI Plus de sensI Plus flexible

I Travaux futursI Améliorer la procédure d’ajout d’une politique;I Interaction avec mon travail de thèse pour permettre une

recherche sur les aspects physiques et fonctionnels;

Utilisation d'ontologies pour le matchmaking. -...

Documents

Transcript of Utilisation d'ontologies pour le matchmaking. -...