GUIDE ADMINISTRATEUR Open Source Job Scheduler Version 1.3.12.2163 Solutions Open Source Paris Septembre 2012
I. Présentation... 4 A. Architecture... 5 1. Installation indépendante... 5 2. Base de Base de données... 6 3. Mode Maître/Esclave... 6 4. Mode Superviseur... 6 5. Répartition de charges... 6 B. Arborescence... 7 1. Installation (install_path)... 7 II. Installation... 8 A. Pré-requis... 8 1. Plateformes 64bits... 8 2. Ouverture des ports... 11 B. Installation manuelle... 12 1. Lancement du setup... 12 2. Dialogue interactif... 13 C. Arrêt/relance de l ordonnanceur... 22 2. Installation automatique... 22 3. Désinstallation... 25 D. Démarrage... 27 1. Environnement... 27 E. Fichiers de configuration... 28 1
1. Scheduler.xml... 28 2. Sos.ini... 28 3. Factory.ini... 29 4. Changer de langue... 29 5. Filtres... 31 F. Interface d exploitation... 33 1. Changer de langue... 33 2. Filtres... 34 G. Base de données... 35 1. Paramètres de connexions... 35 1. Création des tables... 36 2. Base de données «facultative»... 36 3. Pilote ODBC... 36 H. Dashboard... 37 1. Historique... 37 2. Planifications... 38 I. Rôles du moteur... 39 1. Agent... 39 2. Mode Superviseur... 39 3. Equilibrage de charges... 40 III. Maintenance... 41 A. Purges... 41 1. Suppression des fichiers... 41 2. Base de données... 41 2
3
I. PRESENTATION Ce document reprend l ensemble des informations liées à l administration d Open Source Job Scheduler. Il reprend les principes de fonctionnement et l utilisation en mode administrateur des différents composants. Open Source Job Scheduler est un ordonnanceur multiplateforme qui planifie, ordonne et exécute les traitements sur des systèmes hétérogènes. Le produit peut être installé sur Windows (2003/Vista/7), tout Linux à partir du noyau 2.4, Solaris 8/9/10, HP-UX (Itanium) 11.23/11.32 et AIX 5.2 et 5.3. Windows 2000 et XP (SP1) ne sont plus supportés. Les binaires ne sont fournis qu en 32bits, il est nécessaire de disposer d un JRE 32bits pour installer l ordonnanceur. La version 64bits devrait être disponible fin 2012. Le Job Object Editor permet de définir les traitements, les enchaînements et l ensemble des objets nécessaires à la planification. La sauvegarde permet de les déposer dans un répertoire nommé «Hot Folder» afin d être automatiquement pris en compte par le moteur. Le Hot Folder est généralement dans le répertoire config/live de l installation. Les principales fonctions du moteur sont - de calculer les planifications et les conditions d enchainements en fonction des contraintes définies - de prendre en compte les changements à chaque dépôt d objet dans le répertoire Hot Folder - de communiquer avec les applications extérieures pour recevoir les commandes ou fournir les statuts L interface d exploitation permet le suivi et les actions sur les objets, cette interface est accessible en http à travers un navigateur web. La conception du produit, basée sur un moteur qui traite des fichiers en local et capable de communiquer directement avec d autres applications, permet une grande souplesse dans la définition de l architecture. On peut considérer chaque ordonnanceur de manière autonome pour construire une architecture collaborative ou, au contraire, centraliser l ensemble des traitements sur un ordonnanceur maître. L architecture généralement adoptée est une solution mixte permettant aussi bien de centraliser les traitements sur un même réseau que de déléguer des parties d exploitation sur des sites distants aboutissant ainsi à une architecture hiérarchisée alliant facilité d exploitation, performances et sécurité. 4
A. Architecture 1. Installation indépendante Quelle que soit l architecture finale, elle reposera sur le même type d installation, seule l utilisation définira le rôle du moteur. Ainsi, même en mode «agent», on disposera d un moteur démarré pour pouvoir communiquer avec le serveur, ce moteur est tout à fait capable de prendre en charge les traitements locaux qui auraient été déposés. L installation d Open Source Job Scheduler contiendra toujours les éléments suivants : - un moteur de gestion des évènements - un répertoire contenant les objets à traiter - un éditeur pour paramétrer l ordonnanceur - un client lourd pour le suivi des traitements - un client en mode ligne de commande L interface web communique directement avec le moteur, il n est pas nécessaire d installer un serveur web. 5
2. Base de Base de données La base de données sert principalement à conserver les informations d exécutions. La connexion à cette base de données se fait par JDBC ou ODBC, les scripts d installation sont fournis pour les principales bases de données du marché : Oracle, Microsoft SQL Server, MySQL, PostgreSQL, Sybase, DB2 et Firebird. Pour des questions de licence, les pilotes JDBC ne sont pas fournis dans l installation, il est nécessaire de les télécharger chez l éditeur de la solution. La base de données n est pas obligatoire, dans ce cas les journaux des traitements sont conservés sur le répertoire du serveur et l interface d exploitation n aura pas la possibilité d y accéder. Si elle n est pas obligatoire, elle reste donc fortement conseillée. Plusieurs ordonnanceurs peuvent être connectés à une même base de données ce qui permet une centralisation des informations des traitements. 3. Mode Maître/Esclave Dans le mode Maître/Esclave, un ordonnanceur aura le seul rôle du calcul des planifications, la soumission se fera sur l esclave dont le rôle se limite à l exécution du traitement et au renvoi du statut. 4. Mode Superviseur Le superviseur permet de distribuer les objets sur d autres moteurs, l intérêt du système est de disposer d un référentiel centralisé tout en déléguant la planification et l exécution aux ordonnanceurs distants. Techniquement, l objet est déposé dans le répertoire remote du superviseur pour être automatiquement transféré dans le répertoire cache de l ordonnanceur distant qui le prendra en compte de la même manière que si l objet avait été déposé dans le répertoire live local. 5. Répartition de charges Plusieurs ordonnanceurs installés avec le même id peuvent constituer un ensemble apte à exécuter, en fonction de leur charges, les ordres en stockés en base de données. 6
B. Arborescence L ensemble de l installation est stockés dans 2 arborescences : une pour les fichiers d installation et l autre pour les fichiers de l application, ces deux arborescences peuvent aussi n en faire qu une. 1. Installation (install_path) a) bin Le répertoire bin contient les exécutables de l ordonnanceur. b) db Ce répertoire contient toutes les requêtes pour les bases de données : mssql, mysql, oracle, fbsql, pgsql, db2, sybase. a) doc Toute la documentation au format PDF et HTML. b) lib L ensemble des jars et les bibliothèques nécessaires à l ordonnanceur. c) operations_gui Les fichiers HTML et Javascript nécessaire à l interface web embarquée. d) Uninstaller Uninstaller est créé à l installation du produit et contient le script de désinstallation. 7
II. INSTALLATION A. Pré-requis Pour préparer son installation, il est nécessaire d exécuter les étapes suivantes : - Installer Sun Java Runtime Environement (JRE) 32bits en version 1.6 minimum 1 - Pour Unix, vérifier l accès au shell /bin/sh ou créer un lien symbolique - Pour utiliser une base de données, il faudra connaître les paramètres de connexions : o serveur, port, base de données, compte et mot de passe - Télécharger le pilote JDBC pour la base de données que vous souhaitez utiliser - Télécharger le produit sur la page http://www.sos-berlin.com/modules/cjaycontent/index.php?id=126 Attention, les versions UNIX (AIX, HP-UX et Solaris) ne sont plus disponibles en open source, il faudra contacter support@sos-paris.com pour obtenir les distributions. Suivant la version d OS, vous devriez obtenir l une des archives suivantes : scheduler_linux.[release].tar.gz, scheduler_solarisx86. [release].tar.gz, scheduler_solaris-sparc. [release].tar.gz, scheduler_win32.[release].zip, scheduler_hpux-ia64-32[release].tar.gz, scheduler_aix32.[release].tar.gz. Pour Unix, il est nécessaire de disposer d un serveur X, si ce n est pas le cas, il faudra installer l ordonnanceur en mode batch (voir Erreur! Source du renvoi introuvable. en page Erreur! Signet non défini.). Les bibliothèques requises sont les suivantes : - [install_path]/lib/libstdc++.so.6.0.8, [install_path]/lib/libgcc_s.so.1 pour Linux et Solaris - [install_path]/lib/libstdc++.so.6.9, [install_path]/lib/libgcc_s.so.0 pour HP-UX Itanium - [install_path]/lib/libstdc++.a, [install_path]/lib/libgcc_s.a pour AIX 1. Plateformes 64bits Si vous êtes sur une plateforme 64 bits, il sera nécessaire de procéder à quelques changements pour faire cohabiter une version Java 32bits, nécessaire à Open Source Job Scheduler, et la version 64 bits de votre système. 1 Pour AIX, vous pouvez utiliser IBM Java 32-bits en version 1.6 minimum 8
Pour commencer, il faut télécharger une version Java récente (au moins 1.6), il est fortement conseillé d utiliser la version fournie par SUN. Si d autres distributions existent, comme par exemple la version d IBM utilisée par Websphere, celles-ci ne sont pas toujours standards et peuvent avoir été modifiées pour un usage particulier. a) Windows 64 bits La procédure pour Windows est la suivante : - Ouvrez une console Windows pour modifier temporairement la variable PATH : C:\>SET PATH=C:\Program Files (x86)\java\jre1.5.0_01\bin;%path% - Décompressez la version d Open Source Job Scheduler dans un répertoire temporaire - Vérifier que vous utiliser la bonne version java version - Lancer l installation en appelant le java C:\>java -jar C:\temp\scheduler\scheduler_win32.jar Pour cette partie vous pouvez suivre l installation interactive - Lorsque l installation est terminée, vous devez modifier le fichier config/sos.ini [java] vm = C:/Program Files (x86)/java/jre1.5.0_01/bin/client/jvm.dll 9
b) Unix 64 bits Pour Unix ou Linux, la procédure suit le même principe que pour Windows. - Ouvrez une console Windows pour modifier temporairement la variable PATH : PATH=$HOME/jdk1.5.0_06/jre/bin:$PATH - Décompressez la version d Open Source Job Scheduler dans un répertoire temporaire md /tmp/scheduler cd /tmp/scheduler tar xzf scheduler_linux.1.3.1.tar.gz - Vérifier que vous utiliser la bonne version java version - Lancer l installation en appelant le java java -jar /tmp/scheduler/scheduler_linux32.jar Pour cette partie vous pouvez suivre l installation interactive - Lorsque l installation est terminée, vous devez modifier le script de démarrage bin/jobscheduler.sh de la manière suivante : LD_LIBRARY_PATH=$SCHEDULER_HOME/lib: /usr/local/lib: $HOME/jdk1.5.0_06/jre/lib/i386: $HOME/jdk1.5.0_06/jre/lib/i386/client: $LD_LIBRARY_PATH Attention, si vous avez téléchargé un autre jdk, il faudra modifier le script en conséquence. 10
2. Ouverture des ports L ouverture des ports entre les pare-feux dépend du rôle des composants. a) Supervisor Un superviseur permet de distribuer les objets d un nœud central vers des nœuds distants. Lorsqu un changement intervient, le superviseur envoie un message UDP vers les serveurs abonnés concernés par la modification. En retour, les abonnés se connectent pour télécharger les fichiers modifiés. a) Agent Quand un traitement est soumis sur l agent, celui se reconnecte sur le serveur en utilisant le port 59 999 par défaut pour le premier traitement, il décrémente ensuite le port pour la communication des traitements suivants, donc 59 998 pour le deuxième et ainsi de suite. b) Résumé Ce tableau est un récapitulatif des échanges pour des composants utilisant le port de communication par défaut 4444 et le port par défaut d une base de données Mysql. Composant Directio Composant Port Protocol Explication source n cible Job Agent 4444 TCP L ordonnanceur envoi la commande sur l agent. scheduler Job Base de 3306 TCP Le job scheduler se connecte à la base de données pour envoyer les statuts scheduler données Superviseur Job scheduler 4444 UDP Le superviseur informe d un changement par un message UDP Job Superviseur 4444 TCP L ordonnanceur récupère la configuration en TCP scheduler Poste client Interface web 4444 TCP Les postes utilisateurs se connectent sur l interface par le port de communication 11
B. Installation manuelle 1. Lancement du setup Lorsque les pré-requis sont réunis et que l archive téléchargée est décompressée dans un répertoire, il faut indiquer l une des commandes suivantes : - Pour Windows windows-shell>[répertoire]\setup.cmd ou windows-shell>java -jar [répertoire]\scheduler_win32.jar L installeur nécessite les droits d administration pour Windows, une fenêtre demandant une autorisation peut s ouvrir en fonction de la version de Windows. - Pour Unix unix-shell>[répertoire]/setup.sh ou unix-shell>sudo java -jar [répertoire]/scheduler_[unix_os](64-)32.jar [répertoire] étant le répertoire contenant le jar à installer. Il est déconseillé de se connecter en root pour installer le produit, il est préférable d utiliser sudo. Si vous deviez installer le produit sans disposer des privilèges nécessaires, il faudra rajouter l option unprivileged : unix-shell>[répertoire]/setup.sh --unprivileged Le mode d installation interactif est ensuite strictement le même quelque soit le système d exploitation. 12
2. Dialogue interactif a) Langues disponibles Le programme d'installation est disponible en 2 langues : - Anglais - Allemand Il n'est actuellement pas prévu de proposer l'installation en français mais il est très facile de réaliser des packages, l'installation manuelle est utilisée seulement pour les premières installations afin d'identifier les paramètres nécessaires. b) Etape 1 : Documentation La documentation d installation en version anglaise est accessible directement. c) Etape 2 : Licence La licence peut être "Open" ou "Close", dans le premier cas c'est une licence GPL, la licence est gratuite mais vous ne disposez pas du support. Ce type de licence est idéal pour tester le produit ou pour l utiliser sur des machines non critiques sur lesquelles on peut se permettre des arrêts de services. Pour une installation en production, il est fortement conseillé de faire le choix d'une licence commerciale qui donne accès à un support professionnel. d) Etape 2 : Contrat L'acceptation de la licence Open Source Job Scheduler revient à accepter le principe d'une licence GNU General Public Licence. 13
On distingue 2 types de répertoire : e) Etape 3 : Répertoire d'installation - les fichiers provenant de l'installation (principalement les binaires) - les fichiers propres au site (configuration et journaux) Le répertoire indiqué sera complété par l identifiant de l ordonnanceur. La séparation permet de distinguer les répertoires «fixes» qui contiennent les binaires et autres fichiers qui ne devraient pas être modifiés et les fichiers qui peuvent être modifiés par l utilisateur ou par ses traitements. D un point de vue sécurité, ce répertoire est la charge de l administrateur. Par défaut, on aura les valeurs suivantes : - Pour Unix : /opt/sos-berlin.com/jobscheduler - Pour Windows : C:\Program Files\sos-berlin.com\jobscheduler 14
f) Etape 4 : Répertoire d'exploitation Ce deuxième répertoire contient les données de configuration et les journaux. Cela permet à l administrateur de déléguer cette partie aux utilisateurs. Si les deux rôles sont confondus, il est plus simple de n indiquer qu un seul répertoire. Par défaut, les valeurs sont les suivantes : - Pour Unix : /home/[user]/sos-berlin.com/jobscheduler - Pour Windows (récent): C:\ProgramData\sos-berlin.com\jobscheduler - Pour Windows (ancien): C:\Documents and Settings\All Users\Application Data\sos-berlin.com\jobscheduler g) Etape 7 : Composants L ordonnanceur est livré avec différent composants. Le Job Scheduler est le moteur obligatoirement être installé. Il contient les outils de définition des traitements et de suivi. Le traitement Update Service permet de consulter régulièrement les nouvelles versions disponibles sur Internet, il n est donc à installer que sur une machine disposant d une connexion directe à internet. Le Database Support permet de stocker les informations dans la base de données, si vous cochez cette option il vous sera demandé un pilote ODBC. Les Housekeeping Jobs sont les traitements de maintenance, il est conseillé de les installer, leur utilisation est expliqué dans la partie Maintenance (page 41). Les MySQL Maintenance Jobs sont fournis pour la surveillance de la réplication MySQL. Le Cron Job est un connecteur exclusivement pour Unix qui permet de lire dynamiquement la crontab pour créer des traitements Open Source Job Scheduler. 15
h) Etape 8 : Caractéristiques Le scheduler id est l identifiant du nœud, il est préférable qu il soit unique afin de le distinguer, d autant plus si on souhaite remonter les informations dans une base de données. On peut démarrer l ordonnanceur dés la fin de l installation, si vous êtes sur une installation 64bits, il est préférable de décocher cette option pour ne démarrer l ordonnanceur qu après avoir appliqué les consignes du chapitre Erreur! Source du renvoi introuvable. (p. 4). La communication repose sur le protocole réseau, il est nécessaire d indiquer un nom d hôte ou une adresse IP et un port. Il est possible d'installer plusieurs nœuds sur une même machine, on distingue alors les nœuds par leur numéro de port. La sécurité repose sur l'adresse IP, on va indiquer les adresses IP des machines à partir desquels ont aura un droit de connexion sur l'ordonnanceur. En indiquant 0.0.0.0 on autorise l'ensemble des machines. A noter qu il est possible de ne fournir que le début de l adresse si on souhaite donner accès à un «sous-réseau» particulier. Cette configuration peut être modifiée par la suite en éditant le fichier scheduler.xml (voir Erreur! Source du renvoi introuvable. page Erreur! Signet non défini.). 16
i) Etape 9 : Configuration Cluster On choisit ensuite le type de configuration du moteur : - standalone : installation simple - primary jobscheduler : ordonnanceur principal dans une configuration cluster - secondary jobscheduler : ordonnanceur de secours dans une configuration cluster - member of a load balancing : membre d un groupe d ordonnanceur Ce choix concerne les options de démarrage de l ordonnanceur, il peut être modifié par la suite en éditant le script jobscheduler (voir Erreur! Source du renvoi introuvable. page Erreur! Signet non défini.). 17
j) Etape 10 : Messagerie L envoi de mail nécessite un serveur de messagerie, votre administrateur de messagerie devrait pouvoir vous en fournir en vous indiquant un port si le port standard n est pas utilisé. A titre d exemple, si votre entreprise utilise gmail, vous pouvez tout à faut indiquer les paramètres suivants : Paramètres Valeur SMTP server smtp.gmail.com Port 587 Account <votre adresse mail> Password <votre mot de passe de messagerie> La dernière partie permet d indiquer les paramètres par défaut lors d un envoi de mail : - expéditeur - destinataires principaux - destinataires en copie - destinataires en copie cachée. k) Etape 11 : Envoi de mail On indique ensuite pour quel type de statut un mail est envoyé. Par défaut, on envoie un mail pour chaque erreur et pour chaque avertissement. La configuration de cette partie peut être modifiée en éditant le fichier factory.ini (voir Erreur! Source du renvoi introuvable. page Erreur! Signet non défini.). D un point de vue fonctionnel, l utilisateur peut changer ce comportement ou indiquer des destinataires particuliers dans la définition du traitement. 18
l) Etape 12 : Vérification de la mise à jour Si vous avez coché Check Update dans l étape 7, vous devez indiquer les paramètres de déclenchements horaires souhaités : - Jour de la semaine - Heure de vérification - Eventuellement le téléchargement automatique a) Etape 13 : Choix de la base de données Les bases de données suivantes ont été testées et sont supportées, cela signifie que les fichiers SQL sont fournis : - MySQL - Oracle - MS SQL Server - PostgreSQL - Firebird - DB2 - Sybase 19
b) Etape 14 : Connexion à la base de données La connexion utilise JDBC, ou éventuellement ODBC sur Windows. Pour réaliser cette connexion, il est nécessaire de connaitre les informations suivantes : - Le nom du serveur hôte - Le port d écoute - La base de données - Le compte utilisateur - Le mot de passe c) Etape 15 : Pilote JDBC Pour des questions de licences, il est nécessaire de télécharger soi-même le pilote JDBC pour la connexion à la base de données. 20
d) Etape 17 : Démarrage Le programme lance l installation avec le fichier de réponses qui vient d être construit. Cette phase correspond au lancement de l installation automatique. e) Etape 18 : Journal Les commandes de post installation sont exécutés et journalisées. Dans cette phase, l installeur va créer la base de données et configurer l ordonnanceur f) Etape 19 : Statut Le statut final résume les problèmes rencontrés. A la fin de l installation, et si vous avez coché le démarrage automatique, on peut accéder à l interface en utilisant un navigateur web par l adresse suivante : http://<serveur>:<port> (par exemple: http://localhost:4444 ) 21
C. Arrêt/relance de l ordonnanceur De manière générale, l arrêt et la relance se font par le script jobscheduler dans le répertoire bin. Les arguments peuvent être stop, start mais aussi debug, restart, abort et kill.commandes Windows Sur Windows, l ordonnanceur est installé en service, vous pouvez l arrêter et le relancer à travers le gestionnaire de services ou à travers les commandes net stop et net start. Vous pouvez aussi utiliser le script de lancement jobscheduler.cmd [install_path]/bin/jobscheduler.cmd start [install_path]/bin/jobscheduler.cmd stop a) Commandes Unix Sur Unix, l arrêt et la relance se font par le script jobscheduler.sh : [install_path]/bin/jobscheduler.sh start [install_path]/bin/jobscheduler.sh stop Pour mettre en place un démarrage automatique, il faut copier ce script ainsi que le script jobscheduler_environment_variables.sh dans le répertoire de démarrage (par exemple /etc/init.d pour Linux). 2. Installation automatique Si les bibliothèques graphiques ne sont pas installées sur le serveur ou si vous souhaitez déployer Open Source Job Scheduler de manière plus industrielle, il est préférable d utiliser l installation automatique. Pour cela, il suffit de remplir un fichier de réponses qu on indiquera lors de l exécution du programme d installation. Le fichier de réponse est indiqué en argument du programme d installation : java -jar [setup.jar] [batch_install.xml] a) Créer un fichier de réponse Le plus simple pour créer un fichier de réponse est d effectuer une première installation en mode interactif puis de reprendre le fichier scheduler_install.xml que le programme d installation a généré 22
b) Fichier de réponse standard Si vous n avez aucun moyen de lancer cette première installation, vous pouvez utiliser le fichier de configuration suivant qui permet de créer une installation standard Windows. <?xml version="1.0" encoding="utf-8" standalone="no"?> <AutomatedInstallation langpack="eng"> <com.izforge.izpack.panels.userinputpanel id="home"> <userinput/> </com.izforge.izpack.panels.userinputpanel> <com.izforge.izpack.panels.userinputpanel id="licences"> <userinput> <entry key="licenceoptions" value="gpl"/> </userinput> </com.izforge.izpack.panels.userinputpanel> <com.izforge.izpack.panels.htmllicencepanel id="gpl_licence"/> <com.izforge.izpack.panels.htmllicencepanel id="commercial_licence"/> <com.izforge.izpack.panels.targetpanel id="target"> <installpath>c:\program Files (x86)\sos-berlin.com\jobscheduler</installpath> </com.izforge.izpack.panels.targetpanel> <com.izforge.izpack.panels.userpathpanel id="userpath"> <UserPathPanelElement>C:\ProgramData\sos-berlin.com\jobscheduler</UserPathPanelElement> </com.izforge.izpack.panels.userpathpanel> <com.izforge.izpack.panels.packspanel id="package"> <pack index="0" name="job Scheduler" selected="true"/> <pack index="1" name="update Service" selected="false"/> <pack index="2" name="database Support" selected="true"/> <pack index="3" name="web" selected="false"/> <pack index="4" name="managed Jobs" selected="false"/> <pack index="5" name="housekeeping Jobs" selected="true"/> <pack index="6" name="mysql" selected="false"/> </com.izforge.izpack.panels.packspanel> <com.izforge.izpack.panels.userinputpanel id="network"> <userinput> <entry key="schedulerport" value="4444"/> <entry key="launchscheduler" value="no"/> <entry key="schedulerallowedhost" value="0.0.0.0"/> <entry key="schedulerhost" value="host"/> <entry key="schedulerid" value="scheduler_id"/> </userinput> </com.izforge.izpack.panels.userinputpanel> 23
<com.izforge.izpack.panels.userinputpanel id="cluster"> <userinput> <entry key="clusteroptions" value=""/> </userinput> </com.izforge.izpack.panels.userinputpanel> <com.izforge.izpack.panels.userinputpanel id="smtp"> <userinput> <entry key="mailfrom" value="sender"/> <entry key="smtpaccount" value=""/> <entry key="mailcc" value=""/> <entry key="mailport" value="25"/> <entry key="mailto" value=""/> <entry key="smtppass" value=""/> <entry key="mailserver" value="azicom-vaio"/> <entry key="mailbcc" value=""/> </userinput> </com.izforge.izpack.panels.userinputpanel> <com.izforge.izpack.panels.userinputpanel id="email"> <userinput> <entry key="mailonerror" value="yes"/> <entry key="jobevents" value="on"/> <entry key="mailonwarning" value="yes"/> <entry key="mailonsuccess" value="no"/> </userinput> </com.izforge.izpack.panels.userinputpanel> <com.izforge.izpack.panels.userinputpanel id="update"> <userinput> <entry key="checkforupdatestarttime" value="20:00"/> <entry key="autoupdatedownload" value="0"/> <entry key="checkforupdatestartday" value="1"/> </userinput> </com.izforge.izpack.panels.userinputpanel> <com.izforge.izpack.panels.userinputpanel id="database"> <userinput> <entry key="databasecreate" value="on"/> <entry key="databasedbms" value="mysql"/> </userinput> </com.izforge.izpack.panels.userinputpanel> <com.izforge.izpack.panels.userinputpanel id="dbconnection"> <userinput> <entry key="databasehost" value="localhost"/> <entry key="databasepassword" value=""/> <entry key="databaseuser" value="scheduler"/> 24
<entry key="databaseschema" value="scheduler"/> <entry key="databaseport" value="3306"/> </userinput> </com.izforge.izpack.panels.userinputpanel> <com.izforge.izpack.panels.userinputpanel id="jdbc"> <userinput> <entry key="connector" value="c:\sos-paris\download\mysql-connector-java-5.1.18\mysql-connector-java-5.1.18-bin.jar"/> </userinput> </com.izforge.izpack.panels.userinputpanel> <com.izforge.izpack.panels.userinputpanel id="cron"> <userinput/> </com.izforge.izpack.panels.userinputpanel> <com.izforge.izpack.panels.installpanel id="install"/> <com.izforge.izpack.panels.processpanel id="process"/> <com.izforge.izpack.panels.finishpanel id="finish"/> </AutomatedInstallation> 3. Désinstallation Pour désinstaller Open Source Job Scheduler, il faut appeler le script java qui a été créé lors de l installation : windows-shell>java -jar [install_path]\uninstaller\uninstaller.jar unix-shell>java -jar [install_path]/uninstaller/uninstaller.jar Ce script ouvre une fenêtre qui permet d indiquer si on souhaite supprimer le répertoire complet. a) Procédure manuelle sur Windows Pour supprimer les fichiers en mode batch, les commandes suivantes sont à exécuter : - Arrêter l ordonnanceur C:\>[install_path]\bin\jobscheduler.cmd stop - Supprimer l ordonanceur C:\>[install_path]\bin\jobscheduler.cmd remove 25
- Supprimer l enregistrement de la bibliothèque hosthole. C:\>regsvr32 /u [install_path]\bin\hostole.dll - Supprimer les répertoires C:\>rmdir /S /Q [install_path] C:\>rmdir /S /Q [appdata_path] b) Procédure manuelle sur Unix La suppression sur Unix consiste à supprimer les fichiers après avoir arrêté le moteur : - Arrêter l ordonnanceur shell>[install_path]/bin/jobscheduler.sh stop - Supprimer les répertoires shell>rm -r -f [install_path] shell>rm -r -f [appdata_path] Si vous avez mis en place un démarrage automatique, il sera nécessaire de supprimer ces fichiers de boot. 26
D. Démarrage Les fichiers nécessaires au démarrage de l ordonnanceur sont dans [install_path]\bin. 1. Environnement Le script jobscheduler_environement_variables.cmd pour Windows, ou jobscheduler_environement_variables.sh pour Linux, initialise les variables d environnement pour préciser le contexte d exécution de l ordonnanceur. Ce script peut être édité pour résoudre les problèmes suivants : - Spécifier une bibliothèque java particulière - Modifier les répertoires d installation et d application - Redéfinir le rôle de l ordonnanceur @echo off @rem @rem ------------------------------------------------------------------ @rem Company: Software- und Organisations-Service GmbH @rem Author : Oliver Haufe <oliver.haufe@sos-berlin.com> @rem Dated : 2010-11-22 @rem Purpose: set environment to control Job Scheduler via command line @rem ------------------------------------------------------------------ set INSTALL_PATH=C:\jobscheduler\scheduler set APPDATA_PATH=C:\jobscheduler\scheduler if not defined APPDATA_PATH set APPDATA_PATH=%INSTALL_PATH% set SCHEDULER_HOME=%INSTALL_PATH:\=/% set SCHEDULER_DATA=%APPDATA_PATH:\=/% set SCHEDULER_ID=scheduler if not defined JAVA_HOME set JAVA_HOME=C:\Program Files\Java\jre1.6.0_14 set SOS_INI=%SCHEDULER_DATA%/config/sos.ini set SCHEDULER_INI=%SCHEDULER_DATA%/config/factory.ini set SCHEDULER_PID="%SCHEDULER_DATA%/logs/scheduler.pid" set SCHEDULER_CLUSTER_OPTIONS= set SCHEDULER_PARAMS=-id="%SCHEDULER_ID%" -sos.ini="%sos_ini%" -config="%scheduler_data%/config/scheduler.xml" -ini="%scheduler_ini%" - env="scheduler_home=%scheduler_home%" -env="scheduler_data=%scheduler_data%" -param="%scheduler_data%" -cd="%scheduler_data%" -includepath="%scheduler_data%" set SCHEDULER_START_PARAMS=%SCHEDULER_PARAMS% -log-dir="%scheduler_data%/logs" -log="%scheduler_data%/logs/scheduler.log" -pid-file=%scheduler_pid% set SCHEDULER_BIN="%INSTALL_PATH%\bin\scheduler.exe" 27
E. Fichiers de configuration La configuration est généralement mise en place lors de l installation mais elle peut être modifiée ultérieurement en fonction des besoins. Une solution peut être de relancer une installation pour reprendre les éléments de la dernière installation et modifier les paramètres en mode interactif. Pour des changements plus spécifiques, il est préférable d effectuer les changements dans les fichiers de configuration. 1. Scheduler.xml Le fichier scheduler.xml permet de spécifier la configuration du moteur, il est fortement conseillé de ne modifier ce fichier qu à travers le Job Object Editor. Les paramètres importants pour les différentes sections sont les suivants : - Config : paramètres de communication pour les clients o Port : port d écoute de l ordonnanceur (par défaut 4444) o Supervisor : Machine et port d écoute pour s abonner au superviseur afin de bénéficier de la distribution - Security : Permissions par adresse IP pour l accès réseau, il existe 4 niveaux : Il est possible d ajouter des objets d ordonnancement qui seront Niveau Description None Aucun accès systématiquement exécutés lors du démarrage, ces objets pourront Info Accès en lecteur seule être utilisés par l ensemble des traitements de la même manière que No_add All Accès en exécution (pas d ajout d ordre par exemple) Tous les accès s ils étaient stockés dans le répertoire live. On peut ainsi définir les machines (Process classes), les programmations horaires (Schedules), les verrous (Locks), les traitements (Jobs), les séquences (Job Chains) et les ordres (Orders). 2. Sos.ini Le fichier sos.ini permet d indiquer la licence si vous avez souscrit un contrat de support. 28
3. Factory.ini Le factory.ini permet de d indiquer comment seront traités les exécutions, on pourra définir la connexion à une base de données (voir Interface d exploitation L interface d exploitation est entièrement configurable en utilisant le fichier custom.js dans le répertoire config/operations_gui. 4. Changer de langue L interface est disponible dans les différentes langues suivantes : Anglais, Allemand, Français et Russe. Pour effectuer ce changement de langue, on édite le fichier custom.js et on indique le code ISO dans le paramètre _sos_lang. /***************************************************************** * Set the interface language. * A language file scheduler_lang_[_sos_lang].js must exist. * If this value is empty then no language file is tried to include * and english is used. */ _sos_lang = 'fr'; Pour vérifier le changement, il suffit de rafraichir son navigateur. 29
30
5. Filtres L utilisateur peut définir des filtres pour sélectionner un groupe de traitement à partir de l interface d exploitation mais cette configuration ne durera que le temps de la session de son navigateur web. Pour fixer la configuration, il est nécessaire d indiquer ce filtre dans le fichier de configuration. 31
Base de données p. 4) et les paramètres par défaut concernant : - La politique d envoi de mail - La gestion des journaux - L historique des exécutions - La connexion à la base de données Ces différents paramètres pourront être redéfinis par l utilisateur lors de la création du traitement dans l onglet Job Settings. 32
F. Interface d exploitation L interface d exploitation est entièrement configurable en utilisant le fichier custom.js dans le répertoire config/operations_gui. 1. Changer de langue L interface est disponible dans les différentes langues suivantes : Anglais, Allemand, Français et Russe. Pour effectuer ce changement de langue, on édite le fichier custom.js et on indique le code ISO dans le paramètre _sos_lang. /***************************************************************** * Set the interface language. * A language file scheduler_lang_[_sos_lang].js must exist. * If this value is empty then no language file is tried to include * and english is used. */ _sos_lang = 'fr'; Pour vérifier le changement, il suffit de rafraichir son navigateur. 33
2. Filtres L utilisateur peut définir des filtres pour sélectionner un groupe de traitement à partir de l interface d exploitation mais cette configuration ne durera que le temps de la session de son navigateur web. Pour fixer la configuration, il est nécessaire d indiquer ce filtre dans le fichier de configuration. 34
G. Base de données Si vous n avez pas défini de base de données lors de l installation ou si vous souhaitez en utiliser une autre, il sera nécessaire d indiquer les paramètres dans le fichier de configuration factory.ini afin de créer les tables dans la base. 1. Paramètres de connexions Pour configurer la connexion, il faut renseigner les champs db et le db_class correspondant : Base de Db données MySQL jdbc -class=com.mysql.jdbc.driver jdbc:mysql://localhost:3306/scheduler -user=scheduler - password=scheduler Oracle jdbc -class=oracle.jdbc.driver.oracledriver jdbc:oracle:thin:@localhost:1521:scheduler -user=scheduler -password=scheduler MSSQL jdbc -class=com.microsoft.sqlserver.jdbc.sqlserverdriver jdbc:sqlserver://localhost:1433;sendstringparametersasunicode=false;selectmethod=cursor;database Name=scheduler -user=scheduler -password=scheduler MSSQL (JTDS) jdbc -class=net.sourceforge.jtds.jdbc.driver jdbc:jtds:sqlserver://localhost:1433;sendstringparametersasunicode=false;selectmethod=cursor;databa sename=scheduler -user=scheduler -password=scheduler Postgres jdbc -class=org.postgresql.driver jdbc:postgresql://localhost:5432/scheduler -user=scheduler - password=scheduler Firebird jdbc -class=org.firebirdsql.jdbc.fbdriver jdbc:firebirdsql://localhost:3050/scheduler -user=scheduler - password=scheduler Firebird jdbc -class=org.firebirdsql.jdbc.fbdriver jdbc:firebirdsql://localhost:3050/scheduler -user=scheduler - password=scheduler DB2 jdbc -class=com.ibm.db2.jcc.db2driver jdbc:db2://localhost:50000/scheduler:drivertype=2;retrievemessagesfromserverongetmessage=true; - user=scheduler -password=scheduler Sybase jdbc -class=com.sybase.jdbc3.jdbc.sybdriver jdbc:sybase:tds:localhost:5000/scheduler - user=scheduler -password=scheduler Sybase (JTDS) jdbc -class=net.sourceforge.jtds.jdbc.driver jdbc:jtds:sybase://localhost:5000/scheduler -user=scheduler -password=scheduler Db_class SOSMySQLConnection SOSOracleConnection SOSMSSQLConnection SOSMSSQLConnection SOSPgSQLConnection SOSFbSQLConnection SOSFbSQLConnection SOSDB2Connection SOSSybaseConnection SOSSybaseConnection 35
1. Création des tables Si l installation a été interrompue ou si vous souhaitez utiliser une nouvelle base de données, vous devrez recréer les tables avec le script scheduler_install_tables.cmd pour Windows ou scheduler_install_tables.sh pour Unix. Ce script utilise les informations de connexions contenues dans le fichier de configuration sos_settings.ini. 2. Base de données «facultative» Si la base de données doit être un pré-requis au démarrage de l ordonnanceur, on doit indiquer need_db=yes. Inversement, si on préfère privilégier le lancement des traitements, quitte à perdre une partie de l historique, on indiquera need_db=no. 3. Pilote ODBC Il est possible d utiliser un pilote ODBC, ce qui peut être pratique sur Windows pour stocker les traitements dans une base de données Access et pouvoir ainsi visualiser les traitements à travers l interface d exploitation. Pour cela, il sera nécessaire de créer une source de données par l administrateur ODBC (odbccp32.cpl en ligne de commande). On sélectionne une base de données Microsoft Access, db = odbc -db=scheduler -user=scheduler -password=scheduler 36
H. Dashboard Le dashboard est un outil de visualisation qui utilise la base de données pour fournir une vue globale des traitements. Il a deux principaux rôles : - visualiser les traitements exécutés ou en cours d exécution - fournir un plan des exécutions futures et vérifier la cohérence avec les statuts en cours 1. Historique La partie historique ne demande aucune configuration, elle utilise directement la table scheduler_history de la base de données. Inversement, il ne sera pas possible de surveiller les traitements d un ordonnanceur non connecté à la base de données. Cet outil est très pratique pour obtenir une vue consolidée des traitements par statut, par exemple pour identifier l ensemble des traitements en erreur. De plus, il permet d accéder rapidement aux journaux des différents ordonnanceurs. 37
2. Planifications La liste des planifications de la journée utilise les résultats de deux nouveaux jobs Open Source Job Scheduler qui vont utiliser la table days_schedule. Le premier traitement est le CreateDaysSchedule dont le rôle est de fournir un état des prochaines planifications. Il pourra être exécuté une ou plusieurs fois par jours en fonction des cycles de vos traitements et de l horizon souhaité (jour courant ou jours suivants). Le deuxième traitement est le CheckDaysSchedule qui reprend les informations théoriques calculées par le traitement précédent et les compare avec l état réel. 38
I. Rôles du moteur 1. Agent L agent est la plus simple utilisation du job scheduler, son rôle consiste à recevoir les ordres d un autre ordonnanceur pour exécuter la commande et renvoyer le statut. Il ne conserve rien en local et n a donc pas besoin de procédures de maintenance. a) Configuration «agent» Pour que l agent accepte les connexions, il faut que l IP du serveur soit définit dans son fichier scheduler.xml. b) Configuration «serveur» Pour utiliser un agent, il suffit de créer un nouveau «Process Class» à travers le Job Object Editor. Lorsqu un job doit être exécuté sur la machine distante, il faut indiquer le Process Class dans la définition du traitement. 2. Mode Superviseur Le mode superviseur permet de centraliser les définitions des objets pour les envoyer automatiquement vers les machines qui se sont abonnées. Les serveurs doivent pouvoir communiquer ensemble, les adresses IP des partenaires doivent donc être autorisées. a) Configuration d un abonné Pour qu une machine s abonne à un superviseur, il faut déclarer le supervisor dans le fichier de configuration scheduler.xml. Pour cela, il faut utiliser le Job Object Editor et ouvrir le fichier scheduler.xml dans le répertoire config. On indique ensuite la machine et le port du superviseur. Comme pour toute modification de ce fichier de configuration, un redémarrage du moteur est nécessaire. Lorsque le superviseur notifie un changement, l abonné récupère les fichiers dans son répertoire cache. 39