MISE EN PLACE BASE DE DONNEES TELE2D. 21/07/2015 Scripts DB2 Version Consignes d installation

Transcription

1 Toutes Académies Version : scripts DB2 REPLICATION MISE EN PLACE BASE DE DONNEES TELE2D 21/07/2015 Scripts DB2 Version Consignes d installation

2 Caractéristiques du document Désignation du document Référence du fichier REPLICA_SCONET_TELE2D_15.3.0_Instructions N de version 1.1 Date version 21/07/2015 Auteur(s) Jean-Noël CONRADY Historique des modifications Version Créé le / par Nature de l'évolution /07/2015 Jean-Noël CONRADY Création du document REPLICA_SCONET_TELE2D_15.3.0_Instructions 2 / 12

3 Table des matières 1 Introduction Pré-requis et recommandations Pré-installation Désactivation de la version Primo installation Récupération du package de réplication Script : REPLICA_TELE2D_ sh Description script Mise en œuvre Compte-rendu à l écran Vérifier les Fichiers de logs Modification de la Crontab Proposition d'une crontab Contrôle de la réplication Mise en indisponibilité de l'environnement Téléservices Articulations vers l'extérieur Continuité d'accès Téléservices...11 REPLICA_SCONET_TELE2D_15.3.0_Instructions 3 / 12

4 1 Introduction Ce document a pour objet de présenter les différentes étapes pour la mise en place de la réplication Teleservices Le script de réplication permet d'enchaîner : L'exécution de la continuité d'accès Téléservices via batchts.sh (c.f. 8.1) La réplication des données de la base SCONET15 vers la base TELE2D 2 Pré-requis et recommandations Avoir installé la version de SIECLE Bases SCONET et TELE2D en version DB FP3a Vérifier la présence des comptes CTELE2D, TTELE2D et STELE2D sur le serveur DB2 hébergeant la base TELE2D des Téléservices. /!\ La réplication Téléservices ne peut s'exécuter, sans erreur, pendant une période d'activité du domaine SIECLE./!\ Pour une installation où la version de SIECLE est prévue sans arrêt de services, il est recommandé pour la première exécution de : - soit, préparer le fichier.param_db2 5.1 et planifier l'exécution de nuit (crontab) - soit, exécuter l'installation pendant une période de très faible activité du domaine SIECLE, pour éviter les erreurs de clés externes non présentes (SQLSTATE 23505) inhérentes à l'évolution continue des tables SIECLE. Attention : cette possibilité ne garantit pas à 100% une réplication sans erreur. 3 Pré-installation 3.1 Désactivation de la version Sur le serveur db2 sous db2itel2, désactiver le cron d'exécution de la version précédente. Nota bene : Activation de la version au Primo installation En cas de primo installation, créer le répertoire d'installation de la base de données $ mkdir /db2data/db2itel2/tele2d REPLICA_SCONET_TELE2D_15.3.0_Instructions 4 / 12

5 4 Récupération du package de réplication Se connecter en tant que propriétaire de l'instance de la base TELE2D (db2itel2) sur le serveur DB2 Décompresser le package dans la $HOME : $ tar xzvf REPLICA_SCONET_TELE2D_ tar.gz Un répertoire REPLICA_SCONET_TELE2D_ est créé, dans lequel vous trouverez le script qui exécutera la réplication des données de la base SCONET15 vers la base cible TELE2D «REPLICA_TELE2D_ sh». Vérifier les droits d'écriture et de lecture sur ce répertoire $ chmod 755 -Rf REPLICA_SCONET_TELE2D_ Script : REPLICA_TELE2D_ sh 5.1 Description script Le script REPLICA_TELE2D_ sh permet la réplication des données de la base SCONET15 en version v vers la base cible TELE2D. ATTENTION : A la première exécution du script de réplication vous aurez à répondre à des questions d'environnement qui renseignent le fichier.param_db2 sous REPLICA_SCONET_TELE2D_ Vous pouvez également renseigner ce fichier manuellement, pour une exécution planifiée, dans ce cas les questions ne seront pas posées. Voici la description des variables à renseigner : ZZ_IP_SOURCE_N0=Adresse ip du serveur de base de donnees SCONET15 (ex : ) ZZ_PORT_SOURCE_N0=Port d'ecoute de l'instance source de la base SCONET15 (ex : 50045) ZZ_INST_SOURCE_N0=Nom de l'instance db2 source de la base SCONET15 où seront extraites les tables (ex : db2inst3) ZZ_PWD_SOURCE_N0=Mot de passe de l'instance source de la base SCONET15 (ex : xxxxx) ZZ_DB_SOURCE_N0=Nom de la base SOURCE d'où les données seront extraites (ex : SCONET15) ZZ_WEBLO_HOST=Nom du serveur weblogic utilisé pour lancer les traitement batchs (ex : Serveur d'application SIECLE) ZZ_WEBLO_USER=Nom du user utilisé pour installer les batchs sur le serveur weblogic (ex : siecle) ZZ_LOGARCHMETH1=Valeur pour le paramètre LOGARCHMETH1 (ex : DISK:/db2data/db2itel2/TELE2D/logarchmeth1) ZZ_LOGARCHMETH2=Valeur pour le paramètre LOGARCHMETH2 (ex : DISK:/db2data/backup/db2itel2/TELE2D/logs/logarchmeth2) Important : Vérifier que la clé ssh est en place. Se connecter en tant que db2itel2 sur le serveur db2, et établir une connexion ssh ZZ_WEBLO_USER vers le serveur d application ZZ_WEBLO_HOST REPLICA_SCONET_TELE2D_15.3.0_Instructions 5 / 12

6 Ex : ssh <ZZ_WEBLO_USER>@<ZZ_WEBLO_HOST> 5.2 Mise en œuvre Important : Le traitement de la réplication peut durer une heure. NE PAS L'INTERROMPRE, ne rien faire et attendre la suite du traitement. Le traitement est à exécuter avec le domaine SIECLE fermé ou en très faible activité, auquel cas des erreurs de «clé externe» peuvent apparaître (SQLSTATE 23505). Rappel, le domaine TELESERVICES doit être fermé pour éviter de perturber les utilisateurs Se connecter propriétaire de l'instance de la base TELE2D (db2itel2) sur le serveur DB2 Se placer dans le répertoire où vous avez décompressé le package puis sous REPLICA_SCONET_TELE2D_ $ cd REPLICA_SCONET_TELE2D_ $ sh REPLICA_TELE2D_ sh instance_cible base_cible (ex : sh REPLICA_TELE2D_ sh db2itel2 TELE2D) 5.3 Compte-rendu à l écran Nota Bene : Dans les logs écran, ne pas tenir compte du message suivant qui apparaît à chaque export de structure : -- Nom de schéma ignoré pour la section fédérée -- Aucun ID utilisateur spécifié, db2look essaie d'utiliser la variable d'environnement USER -- USER est: DB2ITEL2 -- Le SCHEMA spécifié est: SCONET -- L'utilitaire db2look ne considère que les tables spécifiées Exécution du script de continuité Téléservices Debut des traitements batchs pour la continuite d'acces aux Teleservices log4j:warn No appenders could be found for logger (org.springframework.context.support.classpathxmlapplicationcontext). log4j:warn Please initialize the log4j system properly. log4j:warn No appenders could be found for logger (org.springframework.context.support.classpathxmlapplicationcontext). log4j:warn Please initialize the log4j system properly. log4j:warn No appenders could be found for logger (org.springframework.context.support.classpathxmlapplicationcontext). log4j:warn Please initialize the log4j system properly. Fin des traitements batchs pour la continuite d'acces aux Teleservices Début de la réplication des données Repertoire /db2data/dbi2tel2/tele2d nécessaire a la creation de la base : OK REPLICA_SCONET_TELE2D_15.3.0_Instructions 6 / 12

7 Repertoire nécessaire a la mise a jour du LOGARCHMETH1 : OK Purge du répertoire logarchmeth2 avant replication...patientez svp!!! Purge du répertoire mirrorlogpath avant replication...patientez svp!!! Repertoire nécessaire au backup de la base : OK Récapitulatif : IP serveur base source SCONET N0 -> srv-db2.in.ac-academie.fr Port instance SCONET N0 SOURCE -> Nom instance SCONET N0 SOURCE -> db2inst3 Password instance SCONET N0 SOURCE -> ******** Nom base SCONET N0 SOURCE -> SCONET15 IP serveur base source SCONET N1 -> Port instance SCONET N1 SOURCE -> Nom instance SCONET N1 SOURCE -> Password instance SCONET N1 SOURCE -> Nom base SCONET N1 SOURCE -> Replication Avec Tele-inscription -> false rm: ne peut enlever `*.sql': Aucun fichier ou répertoire de ce type cp: ne peut évaluer `/db2data/db2itel2/replica_sconet_tele2d_15.3.0/ixf_n0/messages/*': Aucun fichier ou répertoire de ce type rm: ne peut enlever `/db2data/db2itel2/replica_sconet_tele2d_15.3.0/ixf_n0/messages/*': Aucun fichier ou répertoire de ce type cp: ne peut évaluer `/db2data/db2itel2/replica_sconet_tele2d_15.3.0/ixf_lsl/messages/*': Aucun fichier ou répertoire de ce type rm: ne peut enlever `/db2data/db2itel2/replica_sconet_tele2d_15.3.0/ixf_lsl/messages/*': Aucun fichier ou répertoire de ce type Connexion à la base source SCONET15 pour extraction des tables TELESERVICES... B20000I La commande CATALOG TCPIP NODE a abouti. DB21056W Il est possible que les modifications apportées aux répertoires ne soient prises en compte qu'après régénération de la mémoire cache utilisée pour leur stockage. DB20000I La commande CATALOG DATABASE a abouti. DB21056W Il est possible que les modifications apportées aux répertoires ne soient prises en compte qu'après régénération de la mémoire cache utilisée pour leur stockage. Informations de connexion à la base de données Serveur de base de données = DB2/LINUXX ID utilisateur SQL = DB2INST3 Alias local de la base de données = SCONET15 Alimentation des tables pour les TELESERVICES depuis SCONET N0 en cours... Rebind des procédures stockées pour l'optimisation des temps de traitements Rebind de la procedure SCONET.TS_AJOUT_CONTROLE_ELEVE_E Etat du retour = 0 Rebind de la procedure SCONET.TS_AJOUT_CONTROLE_ELEVE_F Etat du retour = 0 Rebind de la procedure SCONET.TS_NOTES Etat du retour = 0 Etat du retour = 0 DB20000I La commande TERMINATE a abouti. Export des tables de sconet Export des tables depuis SCONET N0 - schema SCONET - en cours patientez SVP...!!! -- Aucun ID utilisateur spécifié, db2look essaie d'utiliser la variable d'environnement USER -- USER est: DB2ITEL2 -- Le SCHEMA spécifié est: SCONET REPLICA_SCONET_TELE2D_15.3.0_Instructions 7 / 12

8 -- L'utilitaire db2look ne considère que les tables spécifiées -- Création de DDL pour la ou les tables -- Nom de schéma ignoré pour la section fédérée... Export des tables depuis SCONET N0 - schema LSL - en cours patientez SVP...!!!... DB20000I La commande UNCATALOG DATABASE a abouti. DB21056W Il est possible que les modifications apportées aux répertoires ne soient prises en compte qu'après régénération de la mémoire cache utilisée pour leur stockage. DB20000I La commande UNCATALOG NODE a abouti. DB21056W Il est possible que les modifications apportées aux répertoires ne soient prises en compte qu'après régénération de la mémoire cache utilisée pour leur stockage. Fin extraction des tables depuis db2inst1 L'export s'est bien deroule Mise à jour de la configuration d'instance Configuration de l'instance en cours... Informations sur la liaison à l'instance Serveur instance = DB2/LINUXX ID utilisateur = DB2ITEL2 Alias local de l'instance = DB2ITEL2 DB20000I La commande UPDATE DATABASE MANAGER CONFIGURATION a abouti. SQL1362W Un ou plusieurs des paramètres soumis à modification immédiate n'ont pas été modifiés dynamiquement. Les modifications du client ne seront prises en compte qu'au prochain démarrage de l'application ou au lancement de la commande TERMINATE. Celles du serveur ne le seront qu'au prochain lancement de la commande DB2START. DB20000I La commande UPDATE DATABASE MANAGER CONFIGURATION a abouti.... Suppression, création et import de la structure de la base TELE2D Suppression des tables, et du schema TELE2D, et des contraintes d'intégrité en cours... Suppression des tables, et du schema LSL, et des contraintes d'intégrité en cours... Fin suppression... Informations de connexion à la base de données Serveur de base de données = DB2/LINUXX ID utilisateur SQL = DB2ITEL2 Alias local de la base de données = TELE2D Creation des tables issues de la base SCONET N0 - schema SCONET - et index en cours... Creation des tables issues de la base SCONET N0 - schema LSL - et index en cours... Import de données des TABLES de TELESERVICE dans la base cible TELE2D Chargement des tables avec les donnees issues de la base N0 -schema SCONET - en cours... Chargement des tables avec les donnees issues de la base N0 - schema LSL - en cours... REPLICA_SCONET_TELE2D_15.3.0_Instructions 8 / 12

9 Vérification des tables en check pending après load et correction si nécessaire... Il y a 0 table(s) en check pending. Pas d'intégrité à traiter... DB20000I La commande TERMINATE a abouti. Fin execution check pending. Mise en place des contraintes en cours Mise à jour de la configuration de la base TELE2D Mise à jour de la configuration de la base Configuration de la base en cours... DB20000I La commande UPDATE DATABASE CONFIGURATION a abouti.... Mise à jour des droits, reorg, runstat et Backup de la base TELE2D Execution du script tele2d a-dml-rep.sql Execution du script tele2d a-dml-rep.sql Execution du script tele2d a-ddl-rep.sql Execution du script tele2d a-dml-rep.sql DB20000I La commande TERMINATE a abouti. INFO : Mise a jour des droits des USERs CTELE2D TTELE2D STELE2D Lancement REORG RUNSTAT de la base en cours... REORG RUNSTAT de la base terminé... SAUVEGARDE de la base TELE2D en cours... Backup de la Base TELE2D avant la replication... Fin et Vérification des logs DB20000I La commande UNQUIESCE DATABASE a abouti. DB20000I La commande SQL a abouti. DB20000I La commande TERMINATE a abouti. Fin de la sauvegarde de la base VERIFIEZ LES TRACES et les FICHIERS dans le répertoire /log REPLICA_SCONET_TELE2D_15.3.0_Instructions 9 / 12

10 5.4 Vérifier les Fichiers de logs L'exécution de ce script génère plusieurs fichiers de compte-rendu qu'il faut vérifier pour s'assurer que tout s'est bien passé. Dans les répertoires /ixf_n0/messages et /ixf_lsl/messages, on doit trouver les fichiers msgexport_xxxxx.txt Ces fichiers LOG ne doivent pas contenir de SQLSTATE N.B. Les fichiers msgexport_xxxxx.txt sont archivés sous messages_yyyymmdd Dans le répertoire log, on doit trouver les fichiers suivants pour la base N0 : batchts.log rapport_creation_lsl.log rapport_creation_n0.log rapport_creation_viescolaire.log rapport_export_lsl.log rapport_export_n0.log rapport_export_viescolaire.log rapport_exportload_lsl_tablesource.log rapport_exportload_n0_tablesource.log rapport_insert_etat_replication.log rapport_load_lsl.log rapport_load_n0.log rapport_load_viescolaire.log rapport_modification_lsl.log rapport_modification_n0.log rapport_modification_viescolaire.log rapport_suppression_tables_lsl.log rapport_suppression_tables_n0.log rapport_suppression_tables_viescolaire.log rapport_temps_des_traitements.txt tele2d a-dml-rep.log tele2d b-ddl-rep.log tele2d a-dml-rep.log tele2d a-dml-rep.log Ces fichiers LOG ne doivent pas contenir de SQLSTATE d'erreurs autre que 01550, et autres erreurs diverses. 5.5 Modification de la Crontab Pensez à modifier votre crontab de réplication pour la prise en compte de ce nouveau package. 6 Proposition d'une crontab Ce script peut être déclenché via une crontab sur le serveur DB2 L'exécution de la crontab quotidienne sera redirigée en sortie dans un fichier log Exemple de CRONTAB : (exécution du script tous les jours à partir de 3h00) Cette crontab doit être mise en oeuvre sur le compte de l'instance cible. # # réplication MISE EN OEUVRE DES EXTRACTIONS à 3 h00 # * * *../.bash_profile ; sh /db2data/db2itel2/replica_sconet_tele2d_15.3.0/replica_tele2d_ sh db2itel2 TELE2D > /db2data/db2itel2/replica_sconet_tele2d_15.3.0/log/cptrendu_replication.log 2>&1 REPLICA_SCONET_TELE2D_15.3.0_Instructions 10 / 12

11 7 Contrôle de la réplication 7.1 Mise en indisponibilité de l'environnement Téléservices Suite à des problèmes de purge de compte (freduvecteur et freducodeactiv supprimés de la fiche ldap) lors d'une réplication incomplète un contrôle sur les SQLSTATE bloquants a été mis en place. Le principe est de positionner le flag ETAT de la table TELEW.ETAT_REPLICATION en fin de traitement de réplication en fonction des SQLSTATE rencontrés. ETAT = O (OK) ETAT = I (Problème à l'import) ETAT = E (Problème à l'export) N.B. Le portail Téléservices (application weblogic TS) se mettra automatiquement en indisponibilité si le flag ETAT est introuvable à la date du jour ou a une valeur différente de 'O' Écran d'indisponibilité qui s'affiche après la connexion aux Téléservices : 8 Articulations vers l'extérieur 8.1 Continuité d'accès Téléservices Depuis la version a été implémentée la notion de «continuité» d accès des «Téléservices» qui permet le rattachement automatique du compte ldap au CA de l établissement d accueil. Ø Cette continuité d accès est mise en œuvre, lors de la réplication TS (si l activation d au moins un téléservice dans l établissement d accueil a été faite, et si l élève a été scolarisé dans l'établissement d'accueil). Ø Une indication concernant cette continuité d accès, se trouve dans les écrans de notification dans lesquels apparaît le fait qu un code d accès a été notifié de manière «Automatique». Ø Lorsqu un élève est déclaré sortant de l établissement, le lendemain, les codes d activation associés seront désactivés (hors période de Téléinscription). Ø Suite à une notification de code d activation, si le parent/élève n a pas créé de compte dans les 12 mois qui suit la notification, alors le code d activation sera inactivé. REPLICA_SCONET_TELE2D_15.3.0_Instructions 11 / 12

12 Schéma Technique : Script de Réplication Sconet14 Batch continuité ts Réplication sconet15 vers Tele2d Tele2d Clé ssh entre le serveur db2 hébergeant l'instance db2itel2 et le serveur d'application SIECLE choisi Batch batchinvalidatetransfertca.sh installé sur le domaine Siecle Traitement 0 Jar invalidation CA Traitement 1 Jar d'extraction ancien CA/nouveau CA Traitement 3 Jar de mise à jour des CA ds Sconet (Associe_cip, date de modif,...) Traitement 2 Jar mise à jour compte ldap avec nouveau CA Ldap Téléservices N.B. : compte rendu des batchs disponible sur /appli/sconet10/logs/batchts REPLICA_SCONET_TELE2D_15.3.0_Instructions 12 / 12