L'art d'ordonner avec JobScheduler
-
Upload
look-a-box -
Category
Technology
-
view
1.783 -
download
3
description
Transcript of L'art d'ordonner avec JobScheduler
![Page 1: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/1.jpg)
L’art d’ordonnancer
avec JobScheduler
François BAYART
30 Octobre 2010
![Page 2: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/2.jpg)
Introduction
[1] 234567 introduction
![Page 3: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/3.jpg)
Qui suis-je ? François Bayart
consultant système en solution libre et propriétaire
Redhat (1996), SuSE (1997) et Debian (1999)
[1] 234567 introduction
![Page 4: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/4.jpg)
Projet JobScheduler
• Projet sous 2 licences – OpenSource GPL – Commercial (sans les contraintes GPL)
• Développé par SOS-Berlin (Software- und Organisations-Service GmbH )
• Scheduler pour Unix / Linux / Windows
[1] 234567 introduction
![Page 5: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/5.jpg)
Explication
1 [2] 34567 explication
![Page 6: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/6.jpg)
Définition d’un “scheduler”
Ordonnanceur = scheduler != planificateur
• Définition simpliste :
Traitement : Action ou suite d’action à effectuer
Planification : Plage horaire de démarrage
Ressources : Eléments externes conditionnant le démarrage
Machines : Physique ou virtuelle, voir process dans une file d’attente
Utilisateur : Compte de soumission
1 [2] 34567 explication
![Page 7: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/7.jpg)
Les petits plus
Adapter l’ordonancement suite à des évènements externes non prévisible
Redémarrage automatique et reprise lors d’incidents
Alerter et informer l’équipe des opérations / exploitation
Générer un rapport d’incident
1 [2] 34567 explication
![Page 8: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/8.jpg)
Crontab forever !
Planificateur pure
• Planification = déclencheurs • Pas de queue
• Pas de contraintes
• Pas d’enchaînement
1 [2] 34567 explication
![Page 9: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/9.jpg)
qu’est ce que le scheduling
Au minima • Pouvoir définir un “workflow” et les dépendances
• Permettre de gérer l’exécution des tâches
• Surveiller l’exécution des tâches
• Pouvoir définir les priorités et “queue” des jobs
1 [2] 34567 explication
![Page 10: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/10.jpg)
Technologies
L’application de base: Java, C++ WebServices (XSLT-Stylesheets)
SOAP par défaut API : Java, Perl, VBScript, JavaScript
Scripting possible : JavaScript PHP Perl VB Scripts
GUI Editor: Java
Web Editor: PHP
Managed Jobs: PHP SQL
(MySQL, PGSQL, MSSQL, Oracle)
1 [2] 34567 explication
![Page 11: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/11.jpg)
La Communauté
projet sur SourceForge http://jobscheduler.sourceforge.net/
forum de SourceForge (très vivant !) Help , Support
support de SOS Berlin Très présent
1 [2] 34567 explication
![Page 12: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/12.jpg)
Architecture
12 [3] 4567 architecture
![Page 13: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/13.jpg)
fichiers XML
éditeur graphique
serveur HTTP intégré
JobScheduler : StandAlone
12 [3] 4567 architecture
![Page 14: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/14.jpg)
JobScheduler : StandAlone
12 [3] 4567 architecture
![Page 15: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/15.jpg)
JobScheduler : StandAlone fichiers XML éditeur graphique
Serveur HTTP intégré
12 [3] 4567 architecture
![Page 16: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/16.jpg)
frontend PHP connexion database agent ou client ou engine au choix
JobScheduler : Managed / multi-serveur
12 [3] 4567 architecture
![Page 17: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/17.jpg)
JobScheduler : Managed / multi-serveur
12 [3] 4567 architecture
![Page 18: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/18.jpg)
Quelques termes
supervisor : donneur d∍ordre
engine & operations GUI : exécutant
Managed Jobs GUI : LAxP
workload :
"scheduler" : agenda / planning Job Editor Hot Folders
12 [3] 4567 architecture
![Page 19: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/19.jpg)
Démonstration
En vrai c’est mieux !
123 [4] 567 démonstration
![Page 20: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/20.jpg)
Contexte de la démonstration
JobScheduler Standalone VM01 : Engine & Operations GUI
JobScheduler Managed / mutli-serveurs VM01 : Frontend PHP + DB + Supervisor& Operations GUI VM02 : Engine & Operations GUI VM03 : Engine & Operations GUI
123 [4] 567 démonstration
![Page 21: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/21.jpg)
Définition d’un job
Création d’un job « indépendant » de base
Création d’un job « indépendant » distant
Création d’une chaîne simple
Création d’une chaîne multi-serveurs
Gestion des « resources » et des « schedule »
123 [4] 567 démonstration
![Page 22: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/22.jpg)
Définition des accès - ACL
Engine : filtrage selon l’IP ou FQDN none / signal / info / no_add / all
Frontends : similaire à Unix (rwx / 777) avec 3 grands groupes administrator , developer , operator
123 [4] 567 démonstration
![Page 23: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/23.jpg)
Mais encore …
1234 [5] 67 mais encore …
![Page 24: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/24.jpg)
Architectures avancées
Load Balancing
H.A. Cluster
1234 [5] 67 mais encore …
![Page 25: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/25.jpg)
Monitoring
envoyer ses statuts vers un outils de monitoring
recevoir ses ordres de déclenchement depuis l∍outil de monitoring qui aurait détecter un "event" anormal sur lequel il faut réagir
1234 [5] 67 mais encore …
![Page 26: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/26.jpg)
Transferts de fichiers
vérifier la présence du fichier chez un tiers envoyer des fichiers chez un tiers
Protocoles supportés : FTP, SFTP, FTPS, SCP (pas DAV)
1234 [5] 67 mais encore …
![Page 27: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/27.jpg)
Malheureusement
;-(
12345 [6] 7 malheureusement ;-(
![Page 28: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/28.jpg)
Aspects négatifs
o JVM 32 bits obligatoire
o Ergonomie de l’interface
o Documentation pas évidente
o Howto et Screencast Out of date
12345 [6] 7 malheureusement ;-(
![Page 29: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/29.jpg)
Le(s) mot(s) de la fin
123456 [7] le(s) mot(s) de la fin
![Page 30: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/30.jpg)
Planifier et ordonnancer les tâches peut représenter beaucoup de travail, surtout lorsqu’ils s’exécutent sur plusieurs serveurs.
JobScheduler permet de simplifier cela.
BY JAMES MOHR
123456 [7] le(s) mot(s) de la fin
![Page 31: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/31.jpg)
Liens Internet
Cette présentation sur SlideShare
SOS Berlin : http://www.sos-berlin.com/
article linux mag : http://www.linux-magazine.com/Issues/2008/97/JOB-SCHEDULER-A-LA-CARTE
Wikipedia : http://en.wikipedia.org/wiki/Job_scheduler http://en.wikipedia.org/wiki/Open_Source_Job_Scheduler
Regroupement de spécialistes en ordonnancement http://ordonnancement.org/
123456 [7] le(s) mot(s) de la fin
![Page 32: L'art d'ordonner avec JobScheduler](https://reader033.fdocuments.net/reader033/viewer/2022060115/557cf403d8b42a98158b473e/html5/thumbnails/32.jpg)
Pas de question !
merci ...
123456 [7] le(s) mot(s) de la fin