Travail de diplôme 2005

Transcription

1 Travail de diplôme 2005 (Adaptation SQLServer ) Partie théorique J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 1/45

2 Table des matières 1. Modélisation dimensionnelle Le modèle en étoile Les hiérarchies L'analyse multidimensionnelle / cubes OLAP Extraction des données Description de la problématique Schéma global Phase 1, extraire Phase 2, épurer Phase 3, transférer SQL Serveur Installation Nom de l instance Comptes de services Mode d authentification Mode d'authentification Windows Mode d'authentification mixte Les utilisateurs "sa", "guest" et "dbo" Les collations Arbre de décision Outils SQL Server 2005 par rapport à SQL Server SQL Server Management Studio Enterprise manager Analyseur de requêtes Documentation en ligne Générateur de profils Importation et exportation de données Service manager Utilitaire réseau client et serveur Utilitaire réseau client Utilitaire réseau serveur Le SQL Server Configuration Manager Les bases de données automatiquement créées Transact-SQL Les procédures stockées Le serveur d'analyse SQL Server Integration Services (SSIS) Business Intelligence Development Studio et Integration Services Les lots SSIS Flux de contrôle Flux de données Gestionnaires d'événements Explorateur de package J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 2/45

3 5.3. Les tâches Eléments de flux de contrôle Conteneur de boucles Foreach Conteneur de boucles For Conteneur de séquences Tâche DDL d'exécution de SQL Server Analysis Services Tâches de flux de données Tâche de requête d'exploration de données Tâche de script Tâche de script ActiveX Tâche de service Web Tâche de système de fichiers Tâche de traitement SQL Server Analysis Services Tâche de transfert de bases de données Tâche de transfert de connexions Tâche de transfert de messages d'erreur Tâche de transfert de procédures stockées de master Tâche de transfert de travaux Tâche de transfert d'objets SQL Server Tâche d'exécution de package Tâche d'exécution de package DTS Tâche d'exécution de processus Tache d'exécution de requêtes SQL Tâche d'insertion en bloc Tâche Envoyer un message Tâche FTP Tâche Lecteur de données WMI Tâche MSMQ Tâche Observateur d'événement WMI Tâche XML Tâches du plan de maintenance Tâche de nettoyage de maintenance Tâche de nettoyage d'historique Tâche Exécuter le travail de l'agent SQL Server Tâche Mettre à jour les statistiques Tâche Notifier l'opérateur Tâche Reconstruire l'index Tâche Réduire la base de données Tâche Réorganiser l'index Tâche Sauvegarder la base de données Tâche Vérifier l'intégrité de la base de données Les étapes J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 3/45

4 Les variables globales Traitement des erreurs Les erreurs au niveau des lots La table sysdtspackagelog La table sysdtssteplog Le fichier texte Les erreurs au niveau des tâches J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 4/45

5 1. Modélisation dimensionnelle Le but pour l'utilisateur final d'un Data Warehouse est de pouvoir facilement manipuler les données. Un Data Warehouse contiendra généralement de gros volume de données et il devient difficile dans une structure entités/associations d'obtenir des temps de réponse corrects. Un modèle dimensionnel sera pour sa part conçu de manière à répondre d'une manière très efficace aux diverses interrogations. Un modèle dimensionnel sera donc dénormalisé par rapport à un modèle "traditionnel" Le modèle en étoile Synonyme de modèle dimensionnel, le modèle en étoile sera constitué d'une table de faits ainsi que de tables "gravitant" autour de la table de faits : les dimensions. La table de faits contiendra les données à analyser ainsi que des clefs étrangères vers les dimensions. Elle est reconnaissable tant par sa position sur le modèle que par son volume de données. En effet, elle sera généralement placée au centre du modèle et sa taille sera très grande. Les dimensions quant à elles contiendront des données qui proviennent de différentes tables de la base de production. Par exemple, une table Magasins aura comme champs le lieu et le nom. Au sein de la base de production, ces deux valeurs proviennent de deux tables différentes. Les dimensions serviront à définir des axes d'analyse. Voici un exemple de modèle dimensionnel : TEMPS Numéro Année Semestre Trimestre Mois Jour ChiffreAffaire contiendra les données à analyser. Dans la table de faits on l'appelle "La mesure". VENTES Numéro Num_Temps Num_Magasins Num_Articles ChiffreAffaire MAGASINS Numéro Lieu Nom Numéro Type Prix Nom ARTICLES J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 5/45

6 1.2. Les hiérarchies C'est au sein des dimensions que l'on trouvera les valeurs décomposées et organisées en hiérarchies. L'exemple le plus simple est la dimension de temps : la date du jour est la valeur de référence. Cependant, à partir de cette valeur (qui est bien évidemment une date), il sera possible d'en déterminer l'année, le semestre, le trimestre, le mois, etc Au sein d'une dimension, il est possible de déterminer plusieurs hiérarchies, on parlera alors de hiérarchies multiples. Voici une illustration : Hiérarchie simple Hiérarchie multiple Année Année Semestre Semestre Semaine Trimestre Trimestre Mois La Date Mois La Date Semaine Le fait de déterminer ces hiérarchies va permettre d'affiner les analyses depuis un axe de dimension L'analyse multidimensionnelle / cubes OLAP Un modèle dimensionnel est utile afin d'analyser la/les mesure(s) de la table de faits à partir de plusieurs axes. Afin de réaliser ces analyses, la création d'un cube OLAP (On Line Analytical Processing) est nécessaire. Voici un schéma d'un cube représentant le modèle du point 1.1. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 6/45

7 Représentation générale Temps Magasins Articles Chiffre d'affaire d'un article pour un magasin à un temps donné. Le temps dépend de la hiérarchie que l'on aura définie. Temps Magasins Articles J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 7/45

8 Chiffre d'affaire de tous les articles de tous les magasins à un temps donné. Le temps dépend de la hiérarchie que l'on aura définie. Temps Magasins Articles Il est quasiment impossible de représenter graphiquement l'analyse avec plus de trois dimensions. Cependant, il serait possible d'analyser le chiffre d'affaire avec autant de dimension que comporte le modèle en étoile. Il existe des utilitaires tels que Analysis Services (voir au point 4) ou MS Query (tous les deux de Microsoft) afin de réaliser des cubes OLAP. MS Query est disponible avec la suite office sans avoir à obtenir de licences supplémentaires mais ses fonctions sont assez limitées. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 8/45

9 2. Extraction des données 2.1. Description de la problématique Dans beaucoup de littératures différentes, le plus gros problème mentionné lors de l'extraction des données et de faire face à l'hétérogénéité des sources. Dans notre cas, les données proviennent toutes d'une même source, à savoir une base Access. Cependant, dans un souci d'évolutivité du Data Warehouse, il peut être utile d'imaginer qu'un jour les données proviendront d'une autre place qu'une base Access (exemple : une feuille Excel, une autre base de donnée, un simple fichier texte, etc ). En pensant à cette problématique, le choix de l'outil à utiliser pour extraire les données est important. Ce dernier doit pouvoir offrir un niveau d'abstraction suffisamment élevé afin de "masquer" les différents types de sources de données. Dans le cadre du CNIP, le fait qu'ils possèdent des licences pour SQL Server convient parfaitement au problème puisque ce dernier possède des fonctions d'extraction de données évoluées. Ces fonctions seront détaillées au point 5. Mais l'extraction des données englobe bien plus de problèmes, surtout lorsqu'il s'agit de remplir les tables d'un schéma dimensionnel. Comme mentionné dans le chapitre 1, lorsque l'on fait de la modélisation dimensionnelle, on "dénormalise" certains points de la modélisation relationnelle. A ce moment intervient toute la problématique de la cohérence des données au sein du Data Warehouse. Par exemple lors du regroupement de plusieurs données provenant de tables différentes dans le schéma relationnel, il faut s'assurer de recréer des tuples cohérents au sein des tables de l'entrepôt. En plus du problème de cohérence des données, n'oublions surtout pas le fait qu'il ne faut pas perdre de données lors de l'extraction. En effet, si cela arrive, alors l'entrepôt de données n'a absolument plus sa raison d'être puisqu'il doit pouvoir donner des informations sur l'activité réelle de l'entreprise. Afin de ne pas perdre de données, il est nécessaire de bien comprendre la logique des modèles relationnels de l'application ainsi que les contraintes qui ont été définies par les concepteurs et les développeurs initiaux. Mais la problématique ne s'arrête pas là. En effet, lorsque l'entrepôt a été alimenté complètement pour la première fois, le travail n'est pas pour autant fini. Une base de données de production est en règle générale vivante dans le sens où des données sont ajoutées, modifiées ou supprimées. L'entrepôt quant à lui ne sera pas mis à jour au moment où les utilisateurs effectueront des traitements sur les données de la base de production. Ceci implique donc de définir les moments où l'entrepôt sera mis à jour. La fréquence des mises à jour dépendra bien évidemment de l'activité des utilisateurs. Si l'entrepôt permet de fournir des informations sur des titres boursiers ou si ce dernier concerne des statistiques de chiffres d'affaires mensuels, les mises à jour pourront se faire à des rythmes différents. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 9/45

10 S'il n'apparaît pas très difficile de définir quand l'entrepôt sera mis à jour, le problème est tout autre pour retrouver les données ayant subis des modifications. Le moyen le plus simple consiste à utiliser des champs dates qui permettront de défini si un tuple a été ajouté ou modifié et le cas échéant, ajouter ou modifier ce tuple dans l'entrepôt. L'application du CNIP ayant été développée à l'aide des ODS, il est possible de retrouver ces informations grâce aux "champs mouchards" Schéma global Afin de traiter les différents problèmes présents lors de l'extraction des données, l'alimentation de l'entrepôt se fera en trois phases distinctes dont voici le schéma : Base de production Staging Area phase 1 phase 3 phase 2 Data Warehouse Phase 1, extraire Lors de cette phase, toutes les ressources nécessaires au remplissage de l'étoile finale sont extraites à partir de la base de production. A ce stade, aucun traitement spécifique n'est effectué sur les données Phase 2, épurer Comme on peut le voir sur le schéma, cette phase se déroule au sein de la Staging Area. Le but de cette phase est de pouvoir alimenter toutes les tables constituant l'étoile (tables de dimensions et tables de faits). La Staging Area est une base intermédiaire dans laquelle il n'y a pas de règles spécifiques à suivre du moment que l'on peut effectuer nos traitements correctement Phase 3, transférer Avant de commencer le traitement de cette phase, les données ont été préparées au sein de la Staging Area et cette dernière phase consiste uniquement à transférer les données des tables constituant l'étoile vers le Data Warehouse. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 10/45

11 3. SQL Serveur 2005 SQL Serveur est le principal outil utilisé dans les divers traitements que j ai effectués. Bien évidemment, mon travail n était pas d administrer un serveur, mais je me suis rendu compte qu il était impossible de tirer profit de certaines fonctionnalités sans comprendre le fonctionnement général de ce SGBD. C est pourquoi il est à mon sens important de s attarder quelque peu sur certains points Installation Dans ce chapitre, je ne vais pas vous présenter une collection de copie d écran de l installation car je pense que ceci n apporte rien d intéressant. En effet, il suffit que l on soit confronté à l installation d une autre version du serveur, les fenêtres ne sont plus les mêmes et les copies d écran ne servent plus à rien. Il y a par contre au cours de l installation quelques points importants à clarifier. Bien entendu cette liste n'est pas exhaustive mais il s'agit de quelques passages obligés pour lesquels je m'étais personnellement posé quelques questions Nom de l instance Il y a la possibilité ici de créer soit une instance par défaut soit une instance nommée. L instance par défaut sera par la suite identifiée uniquement par le nom de l ordinateur. Il ne peut donc y avoir qu une seule instance par défaut sur un ordinateur. Les applications clientes se connecteront à l instance par défaut uniquement en spécifiant le nom de la machine. Les instances nommées seront quant à elles identifiées de la manière suivante : nom de l ordinateur\nom de l instance. Il peut y avoir un nombre indéfini d instances nommés sur un ordinateur. Chaque instance nommée possèdera son propre jeu de bases de données système et utilisateur et ces derniers ne seront pas partagés entre les instances. Il est possible de créer des instances nommées une fois le serveur installé, cependant, le cd d installation sera à nouveau nécessaire afin de suivre le même cheminement que lors de la première installation à la différence prêt que cette fois, on choisira d installer une instance nommée. Exemple de nommage des instances Nom de l ordinateur Type de l instance Nom de l instance A33-01 Par défaut A33-01 A33-01 Nommée A33-01\serveurTest A33-01 Nommée A33-01\serveurProduction J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 11/45

12 Il peut être intéressant de posséder plusieurs instances si par exemple : La sécurité des bases de données présentes sur un même ordinateur n ont pas la même importance. Si sur un même ordinateur, des environnements de tests et de développements doivent être pris en charge Comptes de services Il faut ici spécifier le compte utilisé pour faire fonctionner le serveur SQL. Il est possible de spécifier des comptes différents pour l exécution de SQL Server et de l Agent SQL Server. Comme son nom l indique, SQL Server concerne le serveur en lui-même. L Agent SQL Server quant à lui, concerne les tâches suivantes : Exécution des tâches SQL Server planifiées. Détection de conditions particulières pour lesquelles les administrateurs ont défini une action. Exemple : envoi d un courrier électronique concernant une alerte à telle ou telle personne. Exécution des tâches de réplication définies par les administrateurs. Il faut choisir une des 2 options suivantes : Utiliser un compte Système: Service Réseau (Network Service) est le plus couramment utilisé, il est donc conseillé de garder celui-ci Utiliser un compte Utilisateur: il vous est possible de créer et d'utiliser un compte utilisateur qui sera en charge d'exécuter ce service. C'est à cet endroit que vous entrez les informations (login, mot de passe et nom de domaine) relatives au compte à utiliser. La case "Auto-Start Service" vous permet de spécifier que vous voulez lancer le service au démarrage de l'ordinateur. A noter : Si vous utilisez la CTP (Community Technology Preview) d'avril 2005, il vous faudra utiliser l'option Compte Système et choisir Système Local (Local System) pour éviter que l'installation n'échoue ultérieurement Mode d authentification Il y a trois points intéressants à détailler : Mode d authentification Windows Mode d authentification mixte L'utilisateur "sa", "guest" et "dbo" J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 12/45

13 Mode d'authentification Windows Avec ce mode d'authentification, il est possible d'utiliser les comptes utilisateurs et les groupes disponibles dans le domaine Windows. Les utilisateurs peuvent donc accéder aux bases de données sans utiliser un ID et un mot de passe distincts. SQL Server authentifie automatiquement les utilisateurs en fonction de leur nom de compte ou de leur appartenance à un groupe. Les utilisateurs bénéficieront donc automatiquement de leurs droits d'accès à une base de données. Ce mode est recommandé si l'accès aux bases de données est interne à l'entreprise Mode d'authentification mixte Ce mode utilise à la fois l'authentification Windows et l'authentification SQL Server. L'authentification SQL Server est principalement utilisée pour les personnes extérieures à l'entreprise qui accèdent à la base de données par exemple via Internet. Il est possible de configurer les applications qui accèdent à SQL Server afin qu'elles utilisent automatiquement des comptes donnés ou qu'elles demandent à l'utilisateur son ID et son mot de passe SQL Server. Le principal avantage de ce mode de connexion est l'accès au serveur depuis l'extérieur. Ce mode permet également de garder une compatibilité vers les versions antérieures de SQL Server. Si on choisit le mode d authentification mixte, il nous sera demandé de spécifier le mode de passe de l'utilisateur "sa" (cf. point ). Il demeure néanmoins la possibilité de changer ce type d'authentification dans les propriétés du serveur SQL Les utilisateurs "sa", "guest" et "dbo" Toutes les bases de données SQL Server possèdent trois connexions spéciales : sa, guest et dbo. Lors de l'installation, seule la connexion "sa" est abordée. SA Il s'agit du compte administrateur système de SQL Server. Grâce au nouveau dispositif de sécurité, ce compte est devenu inutile mais il reste présent pour assurer la compatibilité vers les versions antérieures de SQL Server. Cependant, pour éviter des accès inattendus aux serveurs, il est préférable de lui donner un mot de passe. Guest Ce compte permet d'ajouter la possibilité à tout détenteur d'une connexion SQL Server valide d'accéder à une base de données. Les personnes qui se connecteront de cette manière hériteront des droits et des privilèges du compte invité. Ce compte n'est pas créé par défaut mais il est possible de l'ajouter ou de le supprimer sur toutes les bases de données sauf master et tempdb car la plupart des utilisateurs accèdent à ces deux bases en tant qu'invité. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 13/45

14 dbo Ce compte est utilisé pour désigner le propriétaire de base de données. Cet utilisateur possèdera des privilèges spéciaux mais de manière générale, c'est l'utilisateur qui crée la base de données qui en est le propriétaire. Par contre, si des membres du groupe "Administrateurs" créent des objets au sein de la base, ces objets appartiendront automatiquement à dbo. Mais si des personnes non-membres du groupe créent des objets, ces derniers appartiendront aux personnes qui les ont créés. Dbo n'est pas réellement une sorte de connexion spéciale, on ne peut pas se connecter à une base de données en tant que dbo Les collations Les collations permettent de choisir si la casse, comme les caractères diacritiques et l'encodage auront une influence sur les tris et les comparaisons. Il convient dans la plupart des cas de laisser les options par défauts. Cependant, dans le cas où les données traitées dans les bases sont de langues différentes à la langue du système d'exploitation, il faut la sélectionner dans la liste déroulante Arbre de décision Voici un schéma qui résume le processus d'authentification pour SQL Server. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 14/45

15 3.2. Outils SQL Server 2005 par rapport à SQL Server 2000 Lorsque vous aviez fini d'installer SQL Server 2000, vous aviez accès à différents outils d'administration. Bien entendu, en fonction des options choisies lors de l'installation (d'après les différents services choisis) vous pouviez avoir une configuration différente et une autre liste que celle proposées mais nous ne nous intéressons qu'aux plus généraux : Enterprise manager Analyseur de requêtes Documentation en ligne Générateur de profils Importation et exportations de données Service manager Utilitaire réseau client Utilitaire réseau serveur Nous allons voir ce que sont ces outils et ce qu'ils sont devenus avec SQL Server 2005 mais avant, intéressons-nous au principal outil d'sql Server 2005 : le SQL Server Management Studio qui intègre désormais la majorité des outils proposés cidessus SQL Server Management Studio SQL Server Management Studio est le principal outil de gestion d'sql Server 2005, il comporte une multitude d'options et intègre les meilleures fonctionnalités de l'analyseur de requêtes et de l'enterprise Manager, les 2 outils principaux d'sql Server Son interface est semblable à Visual Studio mais il s'agit réellement d'un outil nouveau. L'espace de travail proposé peut agréablement être modifié selon vos goûts et utilités et chacune des fenêtres de composants peut être ancrée, masquée et redimensionnée, comme dans Visual Studio. Le menu Affichage vous permet aussi d'afficher d'autres fenêtres que celles proposées par défaut comme la fenêtre Serveurs Inscrits par exemple, qui permet d'organiser les serveurs où nous nous connectons le plus souvent. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 15/45

16 SQL Server Management Studio : interface Enterprise manager Il s'agit de l'outil principal d'administration de SQL Server Il nous permet de gérer plusieurs serveurs depuis le même endroit et pour chaque serveur, il nous offre les services suivants : Base de données : permet d'accéder aux bases de données et à leur contenu. Data Transformation Services : permet d'accéder au service de transfert et de transformation de données Gestion : permet d'accéder aux utilitaires de gestion courante (sauvegarde, journaux d'erreurs, ) Réplication : permet de lier des serveurs entre eux pour répliquer des données. Sécurité : permet de gérer les accès au serveur. Service support : permet de gérer les transactions liées et l'envoi de mails via SQL Server. Meta data services : permet d'utiliser un serveur de métadonnées. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 16/45

17 Cet outil étant très important, voici une partie de la fenêtre de enterprise manager : Contiendra la liste des serveurs que l'on gère. Les serveurs ne sont pas forcément présent sur notre machine Représente un serveur SQL. Représente les services pour le serveur A33TPI- 01\JULIEN. Cet outil présentait un certain nombre de limitations. Par exemple, il ne comportait que le moteur relationnel SQL Server et le service Agent SQL Server, mais ne permettait pas d'utiliser les serveurs d'analyses. Grâce au SQL Server Management Studio, il est désormais possible de gérer des serveurs d'analyses en plus des bases de données relationnelles Analyseur de requêtes L'analyseur de requête est un client SQL Server destiné à l'exécution de requêtes et de scripts SQL. Il est utilisé à chaque fois que des instructions SQL sont exécutées. De plus, il permet d'analyser les requêtes en affichant un plan d'exécution de ces dernières et en nous donnant des informations statistiques concernant les performances des requêtes. Cet outil peut donc être très utile afin d'améliorer la syntaxe des requêtes. Cet outil est intégré à SQL Server Management Studio, Il suffit de cliquer sur Nouvelle requête (en haut à gauche), de sélectionner la base de donnée dan la barre d'outil Editeur SQL, de composer une requête et de l'exécuter en cliquant sur Exécuter dans la même barre d'outil. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 17/45

18 SQL Server Management Studio : requête SQL Comme vous pouvez le constater, il est très facile et intuitif de composer et d'exécuter des requêtes SQL avec SQL Server Management Studio. Un concepteur de requêtes est même accessible depuis la barre d'outils Editeur SQL. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 18/45

19 Documentation en ligne Comme son nom l'indique, il s'agit de la documentation concernant SQL Server. La documentation est assez complète et elle comporte également de nombreux exemples. Sous SQL Server Management Studio, l'aide en ligne est très pratique à utiliser, il est même possible, grâce à l'onglet Communauté de poser des questions sur les MSDN Forums. Le menu d'aide est complet et l'aide dynamique est très pratique. SQL Server Management Studio : Rubriques d'aide Générateur de profils Cet outil stocke les événements d'un serveur SQL dans un fichier de trace. Il est possible de choisir le serveur à tracer si on en gère plusieurs depuis le même endroit. Les fichiers de trace sont utiles afin d'essayer de déterminer les causes d'un problème. Voici quelques exemples de ce qui pourrait être tracé : Les activités des utilisateurs et des applications afin d'en déterminer les traitements lourds. L'exécution pas à pas d'une requête. Une série d'instructions SQL conduisant à un problème. Le générateur de profils SQL Server peut se lancer de 3 manières différentes : Démarrer Programmes Microsoft SQL Server 2005 Outils de performances SQL Server Profiler Dans le menu outils de SQL Server Management Studio, cliquez sur Générateur de profils SQL Server. Dans le menu Outils de l'assistant Paramétrage du moteur de base de données, cliquez sur Générateur de profils SQL Server. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 19/45

20 Importation et exportation de données Sous SQL Server 2000, l'importation et l'exportation de données pouvait se faire via un assistant de transformation de données DTS (Data Transformation Services). Avec SQL Server 2005, le service DTS s'est mis à jour et est devenu le service SSIS (SQL Server Integration Services) Il existe donc un assistant assistant de déploiement accessible à partir du menu Démarrer Programmes Microsoft SQL Server 2005 Analysis Services Assistant Déploiement. Des explications beaucoup plus détaillées sur ce service seront fournit dans le point 5. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 20/45

21 Service manager Cet outil était utilisé afin de gérer les services SQL Server Il permettait très facilement de les démarrer, les interrompre ou les arrêter. Il suffisait de choisir le serveur ainsi que le service à démarrer pour ce dernier. Voici une illustration : Pour une ouverture rapide de ce service, l'icône tâches. était disponible dans la barre des Les services proposés par le Service Manager étaient les suivants : SQL Server : il s'agit du service principal puisque ce dernier est le moteur SQL. Tous les autres services sont dépendants de celui-ci, ils ne peuvent donc pas être démarrés dans le cas où SQL Server serait arrêté. SQL Server Agent : ce service n'est pas nécessaire à l'exécution d'un serveur SQL mais il offre la possibilité d'automatiser des tâches courantes comme par exemple la sauvegarde régulière. Distributed Transaction Coordinator : ce service permet de gérer les transactions distribuées. Une transaction distribuée est une transaction qui utilise des requêtes distribuées ou des appels de procédures distantes. Une requête distribuée quant à elle est une requête qui accède à des données provenant de multiples sources de données hétérogènes qui peuvent être stockées sur le même ordinateur ou sur des ordinateurs différents. Sous SQL Server 2005, Ce service n'existe plus. Cependant, son utilité était tellement appréciée par les utilisateurs que nombre d'entre d'eux ont déplorés sa disparition. Heureusement pour eux, il existe une alternative, le SQL2005 Service Manager développé par Jasper Smith et disponible à l'adresse suivante : J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 21/45

22 Cette petite application fonctionne exactement comme la version de SQL Server 2000 et on peut constater sur la capture d'écran ci-dessous que l'auteur a même conservé son aspect original : SQL2005 Service Manager : le même outil pour SQL Server Utilitaire réseau client et serveur Utilitaire réseau client Sous SQL Server 200, ce service permettait de gérer les Net-Librairies clients ainsi que de donner des noms d'alias aux serveurs. Il pouvait également permettre de définir les options par défaut des clients DB-Library. DB-Library : on peut comparer un client DB-Library avec un client OLE DB à la différence prêt que pour se connecter à une instance de SQL Server, le client n'utilisera pas un fournisseur OLE DB mais l'utilitaire en ligne de commande isql. Net-Librairies : en règle générale, ces librairies sont installées au cours du programme d'installation. Lors de la configuration d'un client, il faut que ce dernier ainsi que son serveur possède une paire correspondante de bibliothèques Net-Librairies afin qu'ils utilisent un protocole de réseau commun. (D'où le nom "Net" réseau en français). J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 22/45

23 Utilitaire réseau serveur Sous SQL Server 200, ce service permettait de gérer les Net-Librairies du serveur. De plus, il permettait de spécifier les points suivants : Les piles de protocoles réseau pour lesquels une instance de SQL Server est à l'écoute de ses clients. L'ordre dans lequel les Net-Libraries du serveur sont prises en considération lors de l'établissement des connexions à partir des applications. De nouvelles adresses réseaux écoutées par une instance de Microsoft SQL Server Le SQL Server Configuration Manager Avec SQL Server 2005, Toutes les connections et configurations des réseaux client ou serveur peuvent être établies avec SQL Server Configuration Manager. Cet outil est accessible via le menu Démarrer Programmes Microsoft SQL Server 2005 Outils de configuration SQL Server Configuration Manager. SQL Server Configuration Manager : interface J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 23/45

24 Les bases de données automatiquement créées Lors de l'installation de SQL Server 2005, quatre bases de données système ainsi que deux bases de données exemples seront créées automatiquement. Voici une description de ces six bases : Nom des bases de données Master Tempdb Model Msdb AdventureWorks AdventureWorksDW Types des bases données Système Système Système Système Exemple Exemple Description Cette base contient les informations relatives à toutes les bases de données installées sur le serveur. A chaque création de base, d'opération de gestion des comptes ou de modifications de paramètres, cette base sera modifiée. Il est nécessaire de la sauvegarder régulièrement. Cette base fournit un espace de travail temporaire pour traiter les requêtes et gérer d'autres tâches. A chaque démarrage de SQL Server, cette base est recréée à partir de la base de données Model. Cette base sert de modèle à toute nouvelle base de données. Lorsque l'on crée une nouvelle base de données avec l'instruction CREATE DATABASE (instruction Transact-SQL), la première partie de la base est créée par copie du contenu de la base de données modèle. Puisque la table tempdb est recréée à chaque démarrage de SQL Server, la base Model est indispensable. Cette base est utilisée par l'agent SQL Server afin de gérer les alertes, notifications et toutes autres tâches planifiées. La base de données AdventureWorks est utilisée pour mettre en valeur les caractéristiques de SQL Server L'entrepôt de données exemple Adventure Works est utilisé pour illustrer l'utilisation des fonctions de Business Intelligence disponibles dans SQL Server Les données de l'entrepôt de données ont été conçues pour prendre en charge à la fois les scénarios d'exploration de données et OLAP (Online Analytical Processing). J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 24/45

25 3.3. Transact-SQL Transact-SQL est une extension du langage SQL pour SQL Server au même titre que l'est PL/SQL pour Oracle. L'apport d'instructions procédurales permet de créer par exemple des fonctions, des triggers ou des procédures stockées beaucoup plus évolués que le permettrait le langage SQL simple Les procédures stockées Ecrite en Transact-SQL et stockées dans une base de données, les procédures stockées représentent un excellent moyen d'enrichir les traitements à effectuer car comme il a été mentionné le Transact-SQL offre de nombreuses possibilités de traitements. Une procédure stockée accepte de recevoir des paramètres en entré ou en entréesortie. Elle peut bien évidemment faire appel à une autre procédure et elle est tout à fait capable de manipuler les données contenues dans les tables. Le fait qu'une procédure stockée s'exécute sur le serveur lui-même permettra de réduire le trafic réseau ce qui peut s'avérer important en fonction des traitements à effectuer. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 25/45

26 4. Le serveur d'analyse Afin de pouvoir créer un cube OLAP, il faut utiliser le serveur d'analyse (Analysis Services), accessible par l'explorateur d'objets / connexion, comme le montre la capture d'écran si-dessous : Menu Connexion : lancement du serveur d'analyse 5. SQL Server Integration Services (SSIS) Microsoft SQL Server 2005 Integration Services (SSIS) est une plateforme qui permet de créer des solutions d'intégration de données. Integration Services remplace les services DTS (Data Transformation Services), qui ont tout d'abord été intégrés sous la forme d'un composant de SQL Server 7.0. Integration Services J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 26/45

27 Business Intelligence Development Studio, fournit avec SQL Server 2005, est le principal environnement employé pour développer des solutions de gestion incluant des projets Analysis Services, Integration Services et Reporting Services. Ce n'est autre que Visual Studio avec la possibilité de créer des projets BI (Business Intelligence) Business Intelligence Development Studio et Integration Services Business Intelligence Development Studio permet la création de projets Integration Services afin de développer des solutions ETL (Extraction, Transformation and Loading). Ce type de projet englobe les modèles de packages, de sources de données et de vues de source de données, et il fournit les outils permettant de manipuler ces objets. Afin d'utiliser les fonctions d'integration Services, il faut ouvrir un projet Integration Services, et double-cliquer sur le lot (package) créé par défaut se trouvant dans le dossier Packages SSIS. Cela aura pour effet de vous permettre d'utiliser le concepteur SSIS. En plus des éléments déjà présents sous SQL Server 200 (au sein du concepteur DTS), le concepteur SSIS comporte une surface de dessin avec des fenêtres à onglets ainsi que d'autres nouvelles fonctionnalités comme l'explorateur de solutions et les fenêtres Variables et Journaux d'événements J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 27/45

28 5.2. Les lots SSIS Un lot SSIS (package) est un ensemble d'objets et de fonctions permettant l'automatisation d'opérations de chargement, d'extraction et de modifications sur une base de données. Business Intelligence Development Studio fournit un espace de travail pour modifier ces lots SSIS. Il se compose de 4 parties représentés sous formes d'onglets : SQL Business Intelligence Development Studio : Onglet de gestion d'un lot Flux de contrôle L'onglet flux de contrôle permet de définir les tâches devant être exécutées par le lot. Il est également possible d'organiser l'ordre dans lequel vont être exécutés ces tâches ainsi que de définir des contraintes de précédence entre les tâches. SQL Business Intelligence Development Studio : Flux de contrôle J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 28/45

29 Flux de données L'onglet Flux de données fonctionne de la même manière que Flux de contrôle sauf qu'on agit ici sur les données. On peut y définir des étapes de lecture, écriture et modification des données, et décider d'un ordre d'exécution SQL Business Intelligence Development Studio : Flux de données Gestionnaires d'événements Dans cet onglet, il est possible de gérer des évènements qui peuvent survenir dans les différents composants qui constituent un package SSIS et d'effectuer des actions en fonction de leur nature. SQL Business Intelligence Development Studio : Gestion des événements J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 29/45

30 Explorateur de package L'explorateur de package permet de visualiser sous forme d'arborescence les éléments qui compose le lot et d'accéder directement à leurs propriétés SQL Business Intelligence Development Studio : Explorateur de packages J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 30/45

31 5.3. Les tâches Un lot comprend un certain nombre d'instruction : les tâches. Sans les tâches, le lot n'a absolument aucun sens, à l'image d'une voiture qui n'aurait pas de moteur. Les tâches peuvent être insérées grâce à la boîte à outil de Business Intelligence Development Studio. Voici la liste avec pour chacune une courte description Eléments de flux de contrôle Conteneur de boucles Foreach Il définit un flux de contrôle répétitif dans un package. La mise en œuvre de la boucle est similaire à la structure de bouclage Foreach des langages de programmation. Dans un package, le bouclage repose sur l'utilisation d'un énumérateur Foreach. Le conteneur répète le flux de contrôle pour chaque membre d'un énumérateur spécifié. Conteneur de boucles Foreach : schéma Conteneur de boucles For Il définit un flux de contrôle répétitif dans un package. La mise en œuvre de la boucle est similaire à la structure de bouclage For des langages de programmation. Dans chaque répétition de la boucle, le conteneur évalue une expression et répète son flux de travail jusqu'à ce que l'expression renvoie la valeur False. Conteneur de boucles For : schéma J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 31/45

32 Conteneur de séquences Il définit un flux de contrôle représentant un sous-ensemble du flux de contrôle du package. Les conteneurs regroupent le package en plusieurs flux de contrôle distincts contenant chacun un ou plusieurs conteneurs et tâches exécutés dans le flux de contrôle global du package Tâche DDL d'exécution de SQL Server Analysis Services Tâche qui exécute des instructions DDL (Data Definition Language) ayant la possibilité de créer, supprimer ou modifier des modèles d'exploration de données et des objets multidimensionnels comme des cubes et des dimensions Tâches de flux de données Elle encapsule le moteur de flux de données chargé de déplacer des données entre les sources et les destinations. Cela permet à l'utilisateur de pouvoir transformer, nettoyer et modifier les données pendant leur déplacement. Lorsqu'une tâche de flux de données est ajoutée à un flux de contrôle de package, cela permet au package d'extraire, de transformer et de charger des données Tâche de requête d'exploration de données Cette tâche exécute des requêtes de prédiction basées sur les modèles d'exploration de données intégrés à Analysis Services. Ces requêtes vont concevoir des prévisions sur de nouvelles données grâce aux modèles d'exploration de données Tâche de script Elle offre du code pouvant réaliser des fonctions qui ne font pas partie des tâches et des transformations intégrées de SQL Server 2005 Integration Services. Elle donne aussi la possibilité d'allier des fonctions dans un même script à la place d'utiliser plusieurs tâches et transformations Tâche de script ActiveX Elle permet de continuer d'utiliser un code personnalisé développé à l'aide d'un script ActiveX, jusqu'à ce que ces types de scripts puissent être mis à niveau de façon à exploiter les fonctionnalités plus avancées de la tâche de script Tâche de service Web La tâche de service Web exécute une méthode de service Web. Pour se connecter à celui-ci, elle utilise un gestionnaire de connexions HTTP qui est configuré à l'extérieur de la tâche mais qui y est référencé. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 32/45

33 Tâche de système de fichiers Elle est utilisée pour effectuer des opérations sur les fichiers et les répertoires du système de fichiers comme la création, le déplacement ou la suppression des répertoires et des fichiers Tâche de traitement SQL Server Analysis Services Elle traite les objets Analysis Services comme les cubes, les dimensions et les modèles d'exploration de données. Plusieurs objets peuvent être traités simultanément Tâche de transfert de bases de données Elle permet le transfert d'une base de données SQL Server entre deux instances de SQL Server. Elle peut copier ou déplacer une base de données, à l'opposé des autres tâches qui ne font que copier les objets SQL Server lors des transferts. Elle offre aussi la possibilité de copier une base de données entre deux instances de SQL Server 2000, deux instances de SQL Server 2005 ou une instance de chacune de ces versions. Elle peut également être utilisée pour copier une base de données au sein du même serveur Tâche de transfert de connexions Elle permet le transfert d'une ou plusieurs connexions entre des instances de SQL Server. Elle peut être utilisée de différentes manières lorsque les connexions à transférer existent déjà à l'emplacement de destination: Remplacer les connexions existantes Provoquer l'échec de la tâche lorsque des connexions dupliquées existent. Ignorer les connexions dupliquées Tâche de transfert de messages d'erreur Elle transfère un ou plusieurs messages d'erreur SQL Server définis par l'utilisateur entre des instances de SQL Server. Elle peut être configurée de façon à transférer tous les messages d'erreur ou uniquement les messages d'erreur spécifiés. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 33/45

34 Tâche de transfert de procédures stockées de master Elle transfère une ou plusieurs procédures stockées définies par l'utilisateur entre les bases de données master sur des instances de SQL Server. Le propriétaire de la procédure doit être dbo (database operator) pour pouvoir transférer une procédure stockée à partir de la base de données master.les procédures stockées de master peuvent déjà exister à l'emplacement de destination. Dans ce cas de figure, la tâche peut être configurée pour traiter les procédures stockées existantes de différentes façons : Remplacer les procédures stockées existantes. Provoquer l'échec de la tâche lorsque des procédures stockées dupliquées existent. Ignorer les procédures stockées dupliquées Tâche de transfert de travaux Elle permet de transférer un ou plusieurs travaux d'agent SQL Server entre des instances de SQL Server. Elle peut être configurée pour traiter les travaux de différentes manières au cas où ils existeraient déjà à l'emplacement de destination: Remplacer les travaux existants. Provoquer l'échec de la tâche lorsque des travaux dupliqués existent. Ignorer les travaux dupliqués Tâche de transfert d'objets SQL Server Elle permet le transfert d'un ou plusieurs types d'objets d'une base de données SQL Server entre des instances de SQL Server comme par exemple, la copie des tables et des procédures stockées Tâche d'exécution de package Elle permet à des packages d'exécuter d'autres packages au sein d'un flux de travail Tâche d'exécution de package DTS 2000 Elle donne la possibilité d'exécuter des packages développés à l'aide des outils SQL Server Cela permet d'inclure des packages DTS SQL Server 2000 dans les solutions de transformation de données SQL Server Tâche d'exécution de processus Elle permet d'exécuter une application ou un fichier de commandes dans le cadre d'un flux de travail. Il est plus courant de l'utiliser pour exécuter des applications d'entreprise ou des fichiers de commandes travaillant sur une source de données bien qu'il soit possible de l'utiliser pour ouvrir des applications standard telles que Microsoft Excel ou Microsoft Word. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 34/45

35 Tache d'exécution de requêtes SQL Elle exécute des instructions ou des procédures stockées SQL à partir d'un package. Une seule ou plusieurs instructions SQL peuvent y être contenue en s'exécutant de façon séquentielle Tâche d'insertion en bloc Elle permet de copier de gros volumes de données efficacement dans une table ou une vue SQL Server Tâche Envoyer un message Elle permet à un package d'envoyer des messages pour savoir si des tâches du flux de travail du package ont réussi ou échoué, ou d'envoyer des messages en réponse à un événement déclenché par le package lors de son exécution Tâche FTP Elle peut télécharger des fichiers de données et gérer des répertoires sur les serveurs, comme par exemple télécharger des fichiers de données depuis un serveur distant ou un emplacement Internet Tâche Lecteur de données WMI Elle exécute des requêtes, au moyen du langage de requête WMI (Windows Management Instrumentation), qui retournent des informations à partir de WMI sur un système informatique. Cela permet de faire les opérations suivantes: Interroger des journaux des événements Windows sur un ordinateur local ou distant et écrire des informations dans un fichier ou une variable. Obtenir des informations sur la présence, l'état ou les propriétés de composants matériels. Obtenir une liste d'applications et déterminer la version de chaque application installée Tâche MSMQ Elle permet d'utiliser Message Queuing (MSMQ) pour envoyer et recevoir des messages entre des packages ou pour envoyer des messages à une file d'attente d'application traitée par une application personnalisée. Ces messages sont composés de texte brut, de fichiers ou de variables et leurs valeurs. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 35/45

36 Tâche Observateur d'événement WMI Elle observe les événements WMI à l'aide d'une requête d'événement WQL (Management Instrumentation Query Language) pour noter les événements importants. Elle peut être utilisée pour les opérations suivantes : Attendre la notification signalant que des fichiers ont été ajoutés à un dossier, puis initier le traitement du fichier. Exécuter un package qui supprime des fichiers lorsque la mémoire disponible sur un serveur tombe en deçà d'un pourcentage spécifique. Observer l'installation d'une application, puis exécuter un package qui utilise cette application Tâche XML Elle est utilisée pour travailler avec des données XML, notamment pour extraire des documents XML, appliquer des opérations aux documents en utilisant des feuilles de style XSLT (Extensible Stylesheet Language Transformations) et des expressions XPath, fusionner plusieurs documents, ou bien valider, comparer et enregistrer les documents mis à jour dans des fichiers et des variables Tâches du plan de maintenance Tâche de nettoyage de maintenance Elle supprime les fichiers associés aux plans de maintenance comme les fichiers de sauvegarde de base de données et les rapports créés par les plans de maintenance Tâche de nettoyage d'historique Elle supprime des entrées dans les tables d'historique suivantes de la base de données SQL Server msdb: backupfile backupfilegroup backupmediafamily backupmediaset backupset restorefile restorefilegroup restorehistory Tâche Exécuter le travail de l'agent SQL Server Elle exécute des travaux d'agent SQL Server qui est un service Microsoft Windows exécutant lui-même des travaux définis dans une instance de SQL Server. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 36/45

37 Tâche Mettre à jour les statistiques Elle met à jour les informations sur la distribution des valeurs de clé pour un ou plusieurs groupes de statistiques (collections) dans la table ou la vue indexée spécifiées Tâche Notifier l'opérateur Elle envoie des messages de notification aux opérateurs d'agent SQL Server qui sont des alias de personnes ou de groupes pouvant recevoir des notifications électroniques Tâche Reconstruire l'index Elle reconstruit les index dans les vues et les tables de base de données SQL Server Tâche Réduire la base de données Elle permet de réduire la taille des fichiers journaux et de données de bases de données SQL Server Tâche Réorganiser l'index Elle réorganise les index dans les vues et les tables de base de données SQL Server Tâche Sauvegarder la base de données Elle permet d'effectuer différents types de sauvegardes de base de données SQL Server. Les trois types de sauvegardes sont les suivants: simple complète utilisant les journaux de transactions Tâche Vérifier l'intégrité de la base de données Elle contrôle l'allocation et l'intégrité de la structure de tous les objets de la base de données spécifiée et peut aussi contrôler les index des bases de données. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 37/45

38 Les étapes Les étapes permettent de donner une certaine logique au lot. Elles permettent de définir un ordre d'exécution des différentes tâches. Il n'est cependant pas obligatoire de déterminer des étapes au sein d'un lot. Si tel est le cas, alors les tâches seront effectuées l'une après l'autre sans ordre particulier. Il y a trois types d'étapes différentes qui existent. Ces types nous permettent de définir des contraintes entre les tâches. Les trois types sont les suivants : "en cas de succès", "en cas d'échec", "à l'achèvement de". Voici un schéma illustrant l'utilisation des étapes : Tâche 1 Tâche 3 Tâche 2 Tâche 4 Si la tâche 2 a eu lieu, alors la tâche 4 s'effectuera lorsque la tâche 2 sera terminée peu importe si cette dernière a connu un échec ou un succès. La tâches 3 s'exécutera uniquement si la tâche 1 se termine sans erreur. La tâche 2 s'exécutera uniquement si la tâche 1 connaît un échec. Il est tout à fait possible de "combiner" des étapes entre elles. Dans l'exemple qui suit, la tâche 3 s'effectuera uniquement si la tâche 1 est un succès ET si la tâche 2 est un échec. Tâche 1 Tâche 2 Tâche 3 J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 38/45

39 Les variables globales Les variables globales permettent d'étendre les activités d'un lot SSIS. Elles auront une portée de lot. C'est à dire que toutes les tâches d'un même lot pourront accéder à la variable globale déclarée dans ce dernier. Voici un exemple : Imaginons qu'un simple fichier texte contenant des données de clients soit mis à jour quotidiennement (on suppose que pour une raison X les modifications ne peuvent pas se faire immédiatement au sein de la base de production). Ce fichier est placé sur un serveur de fichiers dans le réseau et il nous faut récupérer les nouvelles données afin de les placer dans la base de production. Le lot que l'on créera contiendra alors deux tâches principales ; une première qui va lire le fichier texte et une deuxième qui insérera les données dans la base. Pour que la deuxième tâche ait connaissance des données à insérer, l'utilisation de variables globales sera nécessaire. Voici un schéma qui illustre le traitement (on suppose que tout se passe normalement) : Lot numéro 10 Variable globale 1 Lecture des données dans le fichier texte à l'aide d'un script ActiveX stockage des données lues au sein de variables globales. Variable globale 2 Variable globale 3 Insertion dans la base de production des valeurs contenues dans les variables globales à l'aide d'une requête 5.4. Traitement des erreurs Avant même de se pencher sur la manière de traiter les erreurs, il faut essayer de déterminer les erreurs possibles ainsi que leurs conséquences dans le processus d'extraction des données. Voici une liste non exhaustive des erreurs susceptibles de se produire : La source de données est inexistante. La source de données est incomplète une table ou le champ d'une table a par exemple été supprimés ou renommés. Certaines données à extraire n'ont pas de sens. Des contraintes empêchent le transfert d'un ou plusieurs tuples. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 39/45

40 Comme mentionné, la liste est non exhaustive car il est quasiment impossible de définir à l'avance toutes les erreurs qui peuvent se produire. De plus, des erreurs concernant des données incohérentes peuvent dans certains cas être impossibles à détecter du fait qu'elles proviennent de saisies des utilisateurs. Il est par exemple impossible de détecter que l'utilisateur à rentrer la valeur "janvier" dans un champ prénom. Bien entendu, l'outil SSIS de SQL Server fournit plusieurs moyens permettant d'assurer une traçabilité des erreurs qui se sont produites. Comme il a déjà été mentionné, il est également possible de lancer tel ou tel processus en cas de succès ou d'échec d'une tâche ou d'un lot. Voici les moyens mis à disposition par SQL Server afin d'obtenir une traçabilité des erreurs survenues lors de l'utilisation du service SSIS. Ils se séparent en deux catégories principales : les erreurs traitées au niveau des lots et les erreurs traitées au niveau des tâches Les erreurs au niveau des lots Détecter les erreurs au niveau d'un lot permet d'obtenir un premier niveau de traçabilité. La mise en place est rapide et pas compliqué mais ne donne cependant pas de détail précis sur ce qui s'est passé. Il n'y a pas de procédure, de scripts ou de requêtes spécifiques à écrire mais uniquement des cases à cocher dans les propriétés du lot. Au sein de la base de données système msdb, deux tables nous fourniront des informations sur ce qui s'est passé. Il s'agit des tables "sysdtspackagelog" et "sysdtssteplog". La table "sysdtstasklog" fournit également des informations mais uniquement sur l'exécution des tâches avancées. Une tâche avancée est une DLL écrite en C++ ou en Visual basic, compilée et stockée dans l'outil SSIS. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 40/45

41 La table sysdtspackagelog Cette table nous donnera des informations sur les contrôles au niveau des lots. En voici sa description : Nom de colonne name description id versionid lineagefull lineageshort starttime endtime elapsedtime computer operator logdate errorcode Description Nom du lot. Description du lot. Identifiant unique du lot ayant été créé à la création du lot. Identifiant de la version du lot qui a été exécuté. Cet identifiant peut être différent de celui du lot actuel. Id du lignage disponible uniquement si le lot est sauvegardé sur le serveur dans "Lots de services de métadonnées". Idem que lineagefull mais au format "int" Date et heure de l'exécution du lot. Date et heure de la fin de l'exécution du lot. Temps total en seconde de l'exécution du lot. Ordinateur depuis lequel le lot a été exécuté. Nom du compte de la personne ayant exécuté le lot ou le nom du compte de l'agent SQL Server ayant exécuté le lot. Date et heure à laquelle le catalogue a été écrit. Code de l'erreur si le lot a échoué. Si le lot a réussi, le champ comporte la valeur 0. Si plusieurs erreurs ont eu lieu, il s'agit du code de la première erreur survenue. errordescription Description de l'erreur si le lot a échoué. Si le lot a réussi, le champ est vide. Si plusieurs erreurs ont eu lieu, il s'agit de la description de la première erreur survenue. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 41/45

42 La table sysdtssteplog Cette table nous donnera des informations sur les contrôles au niveau des tâches pour un lot. En voici sa description : Nom de Description colonne stepexecutionid Numéro d'ordre d'exécution de la tâche. lineagefull Identifiant de la version du lot qui a été exécuté. Cet identifiant peut être différent de celui du lot actuel. stepname Nom de l'étape, en réalité il s'agit plutôt d'une description de l'étape. stepexecstatus Le champ contiendra toujours la valeur 4 ou alors NULL si l'étape est en cours d'exécution. stepexecresult 0 la tâche a été exécutée avec succès, 1 la tâche était un échec, NULL la tâche est en cours d'exécution. starttime Date et heure du début de la tâche. endtime Date et heure de la fin de la tâche. elapsedtime Temps total en seconde de l'exécution de la tâche. errorcode Code de l'erreur si la tâche a échoué. Si la tâche a réussi, le champ comporte la valeur 0. Si plusieurs erreurs ont eu lieu, il s'agit du code de la première erreur survenue. errordescription Description de l'erreur si la tâche a échoué. Si la tâche a réussi, le champ est vide. Si plusieurs erreurs ont eu lieu, il s'agit de la description de la première erreur survenue. progresscount Nombre de lignes (s'il y en avait) traitée par la tâche. Ces deux tables peuvent nous donner des informations très utiles si l'on désire traiter certaines erreurs avec l'aide de scripts ActiveX. Au sein d'un script, il est tout à fait possible de parcourir ces tables à l'aide de recordset et de traiter les erreurs en fonction par exemple des codes d'erreurs. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 42/45

43 Le fichier de log La dernière possibilité de tracer des erreurs survenues lors de l'exécution de lots est d'utiliser un simple fichier de log. Dans les propriétés du lot, il suffit simplement de spécifier un emplacement et un nom de fichier. Si le fichier n'existe pas au moment du paramétrage du lot, il sera créé lors de la première exécution. En effet, le fichier contiendra des informations sur l'exécution du lot qu'il ait contenu ou pas des erreurs. Voici à quoi pourrait ressembler un fichier de log d'un lot qui s'est exécuté avec succès. Fichier de logs : l'exécution s'est déroulée correctement L'intérêt d'un tel fichier est la possibilité qu'il fournit d'avertir un responsable se trouvant à distance. En effet, il est possible d'envoyer un courrier électronique depuis un lot SSIS et il est tout à fait possible de joindre un fichier de log au courrier. La seule problématique est de définir un enchaînement des tâches correct afin d'avoir le fichier à disposition pour le joindre au courrier électronique. J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 43/45

44 Les erreurs au niveau des tâches Dans un lot, il y aura bien évidemment des tâches plus importantes que les autres. Il est possible de paramétrer les tâches afin de définir lesquelles devront mettre le lot entier en échec. Si aucune tâche n'est définie comme devant mettre le lot en échec, alors l'outil SSIS considérera le lot comme s'étant exécuté avec succès, même si des problèmes sont survenus. Voici deux schémas afin d'illustrer dans un premier temps un lot n'étant jamais mis en échec et dans un deuxième temps un lot étant mis en échec par une tâche spécifique. Exemple 1, le lot n'est pas mis en échec : Si la tâche 1 se déroule correctement, il n'y a bien évidemment pas de raison de mettre le lot en échec. On effectuera donc la tâche 2 si aucun problème n'a eu lieu lors de la tâche 1. Tâche 2 Tâche 1 Si la tâche 1 comporte une erreur et que l'on est capable de traiter cette erreur, alors il n'y a pas de raison de mettre le lot complet en échec, on effectuera donc la tâche 3 qui "réparera" l'erreur. Tâche 3 J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 44/45

45 Exemple 2, le lot est mis en échec lorsqu'une erreur survient dans la tâche 1. Tâche 1 Tâche 2 Tâche 3? Il n'y a plus de raison d'effectuer une tâche spécifique en cas d'erreur de la tâche 1 car cette dernière mettra tout le lot en échec si un problème arrive. Cela suppose que l'on n'est pas capable de traiter l'erreur et que tout le reste du processus n'a plus de sens. Donc si un problème a lieu dans la tâche 1, les tâches 2 et 3 n'auront pas lieu. Voici comment se présente la fenêtre SQL Server qui nous permet de définir les contraintes de précédence. Il suffit de double-cliquer sur les flèches reliant deux tâches dans l'éditeur de SQL Server Business Intelligence Development Studio : Editeur de contrainte de précédence : Définitions des options J. Helbling, F. Airiau, Y. Perret TD07_rapport_partieTheorique.doc 45/45