Spécifications Fonctionnelles

Transcription

1 Spécifications Fonctionnelles LOT 1 IRD UR RAP Réf.: SG_IRDPP2 Date: 17/10/2006 Référence : SG_IRDP2_061017_v3 Version : 3 Statut : A valider Pièces Jointes : N/A Emetteur : Sinti International Date : 08/11/06 Diffusion : IRD UR RAP Rédacteur : Alassane Ba (AB), Amy Gueye (AG), Evelyne Nshimirimana (EN), Amadou Sy (AS), Cheikh Thiam (CT), Date : 17/10/06 Anna Touré (AT), Moussa Touré (MT) Vérificateur : Emmanuel BOCQUET (EB) Date : 08/11/06 ENR-PYR2-SG-V0 Page 1 sur 29 SINTI GROUP

2 Suivi des Versions Version du document Date Chapitre(s) concerné(s) par la révision Libellé du changement Origine 0 17/10/06 - Version initiale Tous Suppression des paragraphes expliquant que 2 27/10/ l'administrateur doit préciser si des enregistrements ont été supprimés dans les AG bases cibles /11/ Corrections demandées par le client AG ENR-PYR2-SG-V0 Page 2 sur 29 SINTI GROUP

3 Sommaire 1. OBJET DU DOCUMENT DESCRIPTION DU PROJET PROBLÉMATIQUE PÉRIMÈTRE FONCTIONNEL HORS PÉRIMÈTRE ERGONOMIE ET VOCABULAIRE INTERFACE MODÈLE LISTE DES TABLES CONCERNÉES BARRE DE PROGRESSION VOCABULAIRE DESCRIPTION GENERALE DE L'ETL PRINCIPE ET DÉCOUPAGE BASE DE DONNÉES CIBLES ARCHITECTURE MODE DE MIGRATION UTILISATION MIGRATION GLOBALE MIGRATION DU REFERENTIEL MIGRATION DE PECHEXP GÉNÉRALITÉS MIGRATION DE TOUT PECHEXP MIGRATION DU PARAMÉTRAGE PECHEXP MIGRATION DES CAMPAGNES MIGRATION DE PECHART GÉNÉRALITÉS MIGRATION COMPLÈTE DE PECHART MIGRATION DU PARAMÉTRAGE PECHART MIGRATION DES ENQUÊTES LA JOURNALISATION DESCRIPTION ECRAN ENR-PYR2-SG-V0 Page 3 sur 29 SINTI GROUP

4 10. BASES DE DONNEES DESCRIPTION ECRAN ENVIRONNEMENT TECHNIQUE METHODOLOGIE PLAN DE COMMUNICATION...30 ENR-PYR2-SG-V0 Page 4 sur 29 SINTI GROUP

5 1. OBJET DU DOCUMENT L'IRD (Institut de Recherche et de Développement) s'est installé au Sénégal depuis 1949 et se consacre à la réalisation de projets de recherche scientifique. L'UR RAP est une unité de recherche de l'ird dont les activités sont orientées sur les projets ayant trait à l'environnement des poissons. Elle a travaillé dans le domaine de la pêche en Code d'ivoire, en Gambie, en Guinée Bissau, en Guinée Conackry, au Mali et au Sénégal. Vers les années 2000, l'ur RAP a mis en place des applications pour la gestion des bases de données issues de ses activités de recherche. Au cours des années, l'utilisation de ces applications a commencé à lui causer des difficultés essentiellement dues à la volumétrie. L'UR RAP a alors décidé de changer d'environnement et de s'orienter vers de nouveaux outils d'exploitation. C'est dans ce cadre qu'elle a fait appel à Sinti International pour lui proposer une solution répondant à ses attentes. La proposition de Sinti se découpe en deux lots, chacun représentant une partie du projet pêche. Ce présent document est une description des spécifications fonctionnelles du lot 1 (migration des données). Il explique à cet effet toutes les fonctionnalités à développer pour cette migration, et fait suite à diverses réunion qui se sont tenues courant octobre avec l'ird. ENR-PYR2-SG-V0 Page 5 sur 29 SINTI GROUP

6 2. DESCRIPTION DU PROJET 2.1. Problématique Dans ses activités de recherche, l'ur RAP collecte et analyse les informations sur deux types de pêche à savoir : la pêche expérimentale, réalisée par des équipes de l'ird. Elle planifie des campagnes de pêche, réalise elle-même les coups de pêche et relève les informations résultantes, d'où une bonne qualité et une nette précision des données la pêche artisanale, réalisée par des familles de pêcheurs qui travaillent dans ce domaine. Dans ce cas, IRD réalise des enquêtes par périodes sur un nombre de villages cibles. Elles sont de deux natures : les débarquements et les activités. Une enquête de débarquement se fait lors du retour des pêcheurs après une sortie de pêche et est basée sur une étude d'échantillonnage. Une enquête d'activité consiste à poser des questions aux populations sur leurs activités de pêche de la journée. Les données collectées ainsi de la pêche artisanale posent un problème de fiabilité et d'exactitude; et sont de qualité moindre. L'ensemble de ces informations est saisi dans des bases de données Ms Access, et est exploité via deux applications Visual Basic 6 Pechart et Pechexp. L'IRD collecte des informations depuis plus d'une vingtaine d'années. Les limites de Access 2000 en terme de capacité de stockage se faisant sentir avec l'augmentation des volumes de données concernant la pêche artisanale, il s'est imposé un éclatement en plusieurs bases correspondant chacune à tout ou un ensemble de systèmes d'un pays. Les applications Pechart et Pechexp sont installées et exploitées dans les locaux de l'ird à Dakar, et chez certains de leurs partenaires. La problématique devient dès lors : regrouper toutes les informations des pêches artisanale et expérimentale dans une seule et unique base mettre en place une application web d'exploitation de cette base qui soit sécurisée et accessible à distance. La réalisation du projet se fera en deux lots : lot 1 : outil de migration des données Access vers une base unique lot 2 : conception d'une application web d'exploitation des données migrées e la description expliquée dans la suite du document ne concerne que le lot 1. Nous rappelons à cet effet que ce document définit les spécifications fonctionnelles du lot Périmètre fonctionnel La solution de Sinti pour le lot 1 du projet intègre les fonctionnalités suivantes : la conception d'une base de données sous PostGreSql capable de contenir les volumes d'information de toutes les bases «pêche» la mise en place d'un outil ETL (Extract - Transform Load) permettant de migrer les données des bases Access vers la base cible PostgreSql. Cet outil devra être fonctionnel et utilisable jusqu'à la réalisation du module de saisie à intégrer au projet (lot 3). ENR-PYR2-SG-V0 Page 6 sur 29 SINTI GROUP

7 2.3. Hors périmètre L'ETL à mettre en place par Sinti ne migrera que les données des bases MS Access. Il ne prendra pas en compte directement la migration des données historiques. IRD se chargera d'intégrer ces dernières dans les bases Access correspondantes. L'installation de la solution et la mise en oeuvre effective de l'etl sera sous la responsabilité de l'ird. En revanche, Sinti accompagnera l'ird pendant les phases d'installation et de recette. La sécurisation des accès réseau (firewall, DMZ etc.) sera de la responsabilité de l'ird. ENR-PYR2-SG-V0 Page 7 sur 29 SINTI GROUP

8 3. ERGONOMIE ET VOCABULAIRE 3.1. Interface modèle Migration globale Migration partielle Pechexp Campagnes Etape de la migration TITRE DE LA PAGE Logo IRD Pechart Enquêtes Contenu de la page Référentiel Journal Bases de données Déconnexion es les interfaces de l'etl seront construites sur cette ergonomie. L'interface modèle est constituée de trois parties : le menu : Il représente le menu général de l'outil ETL. Il est affiché dans toutes les interfaces et accessible en fonction des étapes de la migration. Il n'apparaît qu'après authentification réussie de l'administrateur et est composé des liens suivants : Migration globale permet de lancer la migration de toutes les bases de données permet d'effectuer une migration complète de la pêche artisanale ou expérimentale permet de ne migrer que les données de paramétrage de la pêche artisanale ou expérimentale. Campagnes charge la page migration des données de la pêche expérimentale Enquêtes permet d'accéder à la page de migration des données de la pêche artisanale Référentiel démarre le migration seulement des données du référentiel Journal affiche le journal de migration Base de données affiche les chemins de toutes les bases de données auxquelles se connecte l'outil ETL Déconnexion permet à l'administrateur de se déconnecter du système L'entête : elle contient le logo de l'ird. Deux titres permettent respectivement de déterminer le titre de la page et l'étape courante de la migration le contenu : elle contient la partie fonctionnelle propre à la page en cours 3.2. Liste des tables concernées Référentiel (commun à Pechart et Pechexp) catecol ENR-PYR2-SG-V0 Page 8 sur 29 SINTI GROUP

9 Spécifications Fonctionnelles cat_troph espece (incluant ce qui reste de la table «nom» et des tables sur les Kb) famille ordre pays systeme secteur (table n'existant pas actuellement pour Pechexp) Paramètre Pechexp2003contenu debris engineeringf_curant positionnerqualite rempliss s_courant sediment sexe stade station vegetation Paramètre Pechexp2003contenu agglomeration categoriesocioprofessionnelle etatciel grandtypeengin milieu typeactivite typeagglomeration typeengin typesortie vent ENR-PYR2-SG-V0 Page 9 sur 29 SINTI GROUP

10 3.3. Barre de progression Spécifications Fonctionnelles «Nom du processus» en cours. Veuillez patienter... Annuler La migration pouvant être relativement longue, une barre de progression est intégrée aux interfaces pour permettre à l'administrateur de suivre l'évolution du processus. Le bouton «Annuler» permet d'interrompre la migration en cours. La base de données cible est remise alors à son état d'avant migration Vocabulaire Dans la suite du document, nous utilisons des termes qu'il est utile de clarifier pour une compréhension sans ambiguïté. Types de migration Ils sont au nombre de deux : Migration globale: c'est la migration de la globalité des données des toutes les bases Access sans interventions intermédiaires de l'administrateur. Migration partielle : c'est un découpage de la migration en sous migrations à exécuter par l'administrateur. Cette migration ne concerne donc qu'une partie des bases Modes de migration On distingue : Migration complète :. elle commence par une sauvegarde de tout ou partie des données dans la base (ici PostgreSql), puis leur suppression, avant ré-import complet depuis la ou les bases sources (ici MS Access). Migration différentielle : à la différence de la migration complète, elle ne migre que la différence entre la source et la destination (en ajout, suppression ou modification). Migration paramétrable Elle précise si la migration peut être paramétrée par l'administrateur. En d'autres termes, elle lui donne la possibilité de choisir les critères définissant les données à migrer. Intégrité référentielle C'est un principe qui consiste à vérifier l'existence d'une donnée d'une table dans la table de référence. Transformation Une transformation représente la migration d'une table. Bases sources Il s'agit ici des bases de données Ms Access Pechexp, Pechart ou bases pays Base cible Elle est également appelée base de destination. Il s'agit ici de la base PostgreSql Le tableau suivant fait une synthèse de toutes ces notions. ENR-PYR2-SG-V0 Page 10 sur 29 SINTI GROUP

11 Migration Types Modes Paramétrables Globale Totale Complète Non Du paramétrage Partielle Différentielle Non Pechart Partielle Complète Non Pechexp Partielle Complète Non Du référentiel Partielle Différentielle Non Des campagnes Partielle Complète Oui Des enquêtes Partielle Complète Oui ENR-PYR2-SG-V0 Page 11 sur 29 SINTI GROUP

12 4. DESCRIPTION GENERALE DE L'ETL 4.1. Principe et découpage Le principe général d'un ETL est de : récupérer des informations (Extract) d'une base de données source d'effectuer ou non des traitements (Transform) sur ces données de les charger (Load) dans une base de données destination La totalité des données sources jugées pertinentes par IRD sera migrée dans une base cible, tout en gardant leur intégrité et leur cohérence. Les données existantes sont stockées sous trois types de bases Access qui repésentent notre ensemble de bases sources : la base Pechexp S1, contient des tables à caractères spatial (Pays, écosystème, station, etc...), temporelle (campagne), engins, espèces (ordre, famille, espèces etc...) ou les données de pêche ( coups de pêche, fraction débarquées, contenu stomacal, etc...) la base Pechart S2, renferme des données de types spatial (Pays, système, secteur, etc...), engins ou espèces (Ordre, Famille, Espèces) les bases pays S3, contiennent des données spatiales (lieu de pêche), engins ou données de pêche ( débarquement, activités, poissons débarqués, etc..) Nous remarquons dès lors une similitude de quelques tables entre les différentes bases. Il faudra donc mettre en place un méthodologie qui permettra de réorganiser la fusion de ces trois types de sources en entités logiques fonctionnelles. Une étude réalisée sur ces structures de données a ressorti le découpage suivant : les tables de références, constituées par les tables communes à S1 et S2 harmonisées les tables Pechexp, composées des tables propres à la pêche expérimentale, S1 les tables Pechart, représentées par les tables propres à la pêches artisanale S2 et celles des différentes bases pays S3 Notre ETL sera construit sur le découpage précédent Base de données cibles Elle sera unique et de type PostgreSql. Elle contiendra toutes les tables migrées des bases Access Pechexp, Pechart et bases pays. Une nomenclature a été fixée pour reconnaître l'appartenance d'une tables à un type de pêche. La nomenclature générale est la suivante : préfixe + «_» + nom_de_la_table Ainsi, les tables du référentiel commenceront par le préfixe ref. Ex : ref_pays les tables de paramètrage et des campagnes de Pechexp débuteront par exp. Ex :exp_station, exp_cp_peche les tables de paramètrage et d'enquêtes de Pechart et des bases pays auront pour préfixe art. Ex : art_agglomeration, art_debarquement 4.3. Architecture La migration des données actuelles des bases Access vers une base unique PostgreSQL se fait à travers l'etl Kettle. Ce dernier se connecte sur les différentes bases de données source Access, récupère des informations, les réorganise en unité fonctionnelle, effectue des transformations si ENR-PYR2-SG-V0 Page 12 sur 29 SINTI GROUP

13 nécessaire sur ces dernières avant de les stocker dans la base de données cible selon le schéma suivant : La figure précédente schématise toute la procédure de migration. L'outil offrira la possibilité d'effectuer une migration complète ou par étapes (le référentiel, Pechexp, Pechart). Avant de copier les données Access dans la base PostgreSql, les opérations suivantes sont d'abord effectuées : sauvegarde de la base PostgreSql suppression de la base PostgreSql des données similaires à celles à migrer contrôles de ces données 4.4. Mode de migration Il existe deux modes de migration des informations d'une source vers une destination : la méthode complète : On commence par supprimer les éléments à migrer de la base de destination. Ensuite on les migre dans leur globalité sans tests préalables, comme s'il s'agissait d'une nouvelle migration. Son avantage est que toute mise à jour de la base source sera prise en compte dans la base de destination qui en fait sera une copie conforme de la base source. Par contre, la durée d'exécution de l'etl est plus longue du fait que toutes les données (même celle qui ne sont pas modifiées) sont migrées. la méthode différentielle : Seules les modifications sont écrites dans la base cible. Les nouvelles lignes sont rajoutées. Celles supprimées sont enlevées de la cible. Les valeurs modifiées sont mises à jour. Son avantage est qu'il est plus performant dans le cas où le nombre d'enregistrements n'est pas élevé. Par contre, il est plus complexe à développer. ENR-PYR2-SG-V0 Page 13 sur 29 SINTI GROUP

14 L'ETL que nous allons construire utilise les deux modes selon la fréquence et le volume des données à migrer. Les migrations globale, de tout Pechart ou Pechexp, de campagne et de d'enquête se feront par la méthode complète. Les migration du référentiel et du paramétrage (qui seront rarement utilisées) se feront par la méthode différentielle Utilisation Désignation des bases à migrer Avant de pouvoir faire la migration, l'etl doit connaître l'emplacement des bases de données à migrer. Pour ce faire des connexions dsn (Data Source Name) désigneront chaque base. L'outil ETL ne retiendra que les noms dsn de connexion. C'est à l'administrateur de copier dans les répertoires correspondants les bases qu'il veut migrer Authentification L'ETL sera exécuté à partir d'une application offrant la possibilité à l'administrateur de décider du déroulement de la migration. Cela nécessite au préalable une authentification de sa part. En d'autre terme, une authentification est obligatoire pour utiliser l'etl Sauvegarde Une sauvegarde implicite de la base de données cible se fera avant toute migration. Elle a pour objectif de restaurer la base de données en cas d'annulation du processus par l'administrateur ou d'erreur lors de la migration Annulation Il est donné à l'administrateur la possibilité d'annuler un migration en cours. Pour cela, il suffira de cliquer sur le bouton «Annuler» de la barre de progression. Lorsque l'administrateur décide d'annuler le processus, une confirmation lui est d'abord demandée. S'il infirme, le processus continue. Dans le cas contraire, cette annulation entraîne l'arrêt du processus de migration et la restauration de la base de données à l'état d'avant migration. La décision est retracée dans le journal Confirmation d'opération Chaque exécution de traitement demandée par l'administrateur sera précédée par une demande de confirmation. ENR-PYR2-SG-V0 Page 14 sur 29 SINTI GROUP

15 5. MIGRATION GLOBALE Description Il s'agit de la migration de l'ensemble des trois types de bases. Cela suppose au préalable que la base de destination est complètement vide. Dans une migration globale, le système exécute successivement, sans intervention de l'administrateur, les migrations du référentiel, de Pechexp et de Pechart. Ce type de migration peut s'avérer très longue, à la dimension du volume de données en jeu. Elle peut être utile dans le cas où l'administrateur aura besoin de migrer toutes ses données (le cas par exemple de la première migration). Dans la pratique, elle est faite une première fois. Les données de références, de campagnes ou d'enquêtes saisies ou modifiées par la suite seront intégrées à la base cible par l'etl correspondant (Référentiel, Pechexp ou Pechart) Ecran Migration globale Migration partielle Pechexp Campagnes Accueil MIGRATION GLOBALE Logo IRD Vous avez choisi la migration globale. Ce processus migrera toutes les informations des bases Pechexp, Pechart et pays. Pechart Enquêtes Exécuter Référentiel Journal Bases de données Déconnexion Cet écran apparaît quand l'administrateur clique sur le lien Migration globale du menu de gauche. Si l'administrateur clique sur le bouton «Exécuter», une confirmation lui est demandée. S'il répond par l'affirmative, la migration démarre et une barre de progression est chargée. L'administrateur pourra ainsi suivre l'évolution de sa migration. Un message lui sera affiché à la fin du processus. Si une erreur est rencontrée lors de la migration, la base est restaurée et l'administrateur sera invité à consulter le journal de migration. ENR-PYR2-SG-V0 Page 15 sur 29 SINTI GROUP

16 6. MIGRATION DU REFERENTIEL Description Rappelons que les données référentielles sont celles communes aux pêches artisanales et expérimentales. La migration du référentiel consistera donc à importer ces données dans la base de données cible. Ex : Les pays, les écosystèmes, les secteurs, les familles, les espèces, les catégories écologiques et trophiques, etc... C'est une fonctionnalité dont la fréquence d'utilisation demeure relativement faible. En effet, les mises à jour des données correspondantes se font très rarement. C'est par exemple le cas lors de la création d'un écosystème ou d'une nouvelle espèce. Les données du référentiel sont stockées dans des tables dont dépendent beaucoup d'autres tables par des liaisons d'intégrité référentielle. Cela implique que la méthodologie de suppression préalable des données à migrer de la base cible reviendrait à vider la base, donc à effectuer une migration complète. Ex : la création d'une nouvelle espèce impliquerait une migration complète de toutes les bases de données. Pour palier ce problème, la migration du référentiel se fera de façon différentielle. C'est à dire que l'etl n'effectuera pas de suppression massive dans la base cible. Il fera la différence entre les données source et destination et procédera comme suit : Cherche les nouvelles lignes dans Ms Access, c'est à dire les enregistrements saisis depuis la dernière migration. Ex : l'ajout d'une nouvelle espèce. Insère les nouveaux enregistrements dans la base cible Recherche les lignes supprimées de la base source Supprime les mêmes informations dans la base cible vérifie si des enregistrements ont été modifiés depuis la dernière migration. Ex : le nom d'une espèce met à jour les valeurs modifiées dans la base cible ENR-PYR2-SG-V0 Page 16 sur 29 SINTI GROUP

17 Ecran Migration globale Migration partielle Pechexp Campagnes Accueil Spécifications Fonctionnelles MIGRATION DU REFERENTIEL Logo IRD Vous avez choisi la migration du référentiel. Seules les données du référentiel seront migrées Pechart Enquêtes Exécuter Référentiel Journal Bases de données Déconnexion On accède à cet écran en cliquant sur le lien Référentiel du menu de gauche. Un clic sur le bouton «Exécuter» lance la migration du référentiel démarre et la barre de progression est affichée. ENR-PYR2-SG-V0 Page 17 sur 29 SINTI GROUP

18 7. MIGRATION DE PECHEXP 7.1. Généralités La migration des données Pechexp peut se faire par trois méthodes : celle de la totalité, celle du paramétrage et celle par campagne Migration de tout Pechexp Description Cette option permet de migrer toutes les informations de la pêche expérimentale. Elle se fait en plusieurs étapes successives sans intervention de l'administrateur : suppression de toutes les informations de Pechexp dans la base cible migration des données de paramétrage migration des données des campagnes Ecran Migration globale Migration partielle Pechexp Campagnes Accueil MIGRATION DE TOUT PECHEXP Logo IRD Vous avez choisi la migration de tout Pechexp. es les données de la pêche expérimentale seront migrées. Pechart Enquêtes Exécuter Référentiel Journal Bases de données Déconnexion Cette page est chargée quand l'administrateur clique sur le lien situé en dessous de Pechexp. Si l'administrateur clique sur le bouton d'exécution, une confirmation lui est demandée. La migration ne sera déclenchée que s'il le confirme Migration du paramétrage Pechexp Description On entend par paramètres de Pechexp les données indépendantes des campagnes de pêche. Ex : contenu, débris, engin, position, végétation, etc... Elles ne sont pas informées à chaque campagne mais leurs contenus sont utilisés pour saisir les résultats de coups de pêche. A l'instar des données du référentiel, elles subiront une migration différentielle. Le principe est le même que celui décrit pour la migration du référentiel ( 6.1.1). ENR-PYR2-SG-V0 Page 18 sur 29 SINTI GROUP

19 Ecran Migration globale Migration partielle Pechexp Campagnes Spécifications Fonctionnelles MIGRATION DES DONNEES DE PARAMETRAGE PECHEXP Accueil Logo IRD Vous avez choisi la migration du paramétrage de Pechexp. Aucun coup de pêche ne sera migré. Pechart Enquêtes Exécuter Référentiel Journal Bases de données Déconnexion On accède à cette fenêtre en cliquant sur le lien situé en dessous de Pechexp. En cliquant sur le bouton «Exécuter», le migration est déclenchée et la barre de progression affichée Migration des campagnes Description L'unité fonctionnelle de la pêche expérimentale étant la campagne, il s'agit de migrer les informations saisies à la suite d'une ou de plusieurs campagne de pêche. Les informations migrées sont celles reliées aux coups de pêches réalisés lors des sorties de pêche. Le principe de cette migration est de : préciser les écosystèmes concernés sélectionner les campagnes à migrer démarrer la migration Dans le cas ou une campagne aura été déjà migrée, elle est supprimée de la base cible et réimportée. ENR-PYR2-SG-V0 Page 19 sur 29 SINTI GROUP

20 Ecran Migration globale Migration partielle Pechexp Campagnes Pechart Enquêtes Spécifications Fonctionnelles MIGRATION DES DONNEES DE CAMPAGNES DE PECHEXP Sélection des données à migrer Sélection spatiale Pays (1) Ecosystèmes (2) OK Logo IRD OK Référentiel Journal Bases de données Déconnexion Sélection de campagnes (3) Campagne n Début Fin Cocher es I Aucune 3 02/06/05 15/06/ /04/02 30/04/ /09/00 05/10/00... Effacer Exécuter On accède à cette page en cliquant sur le lien Campagnes du menu de gauche. Les listes sont à sélection unique, seul un élément peut être sélectionné. Les informations affichées sont récupérées des bases Access. A l'ouverture de l'écran, seule la liste des pays est disponible et le tableau des campagnes est vide. Les numéros (1), (2), et (3) indiquent l'ordre dans lequel les sélections devront se faire. Le lien OK de la liste des pays permet d'afficher les écosystèmes correspondant au pays sélectionné. Un clic sur le lien OK de la liste des écosystèmes affiche les campagnes liées à l'écosystème choisi. Les campagnes sont triées par ordre décroissant de numéro. Les liens es et Aucune permettent de cocher ou décocher en un seul clic l'ensemble des campagnes affichées. Le bouton «Effacer» permet de vider la sélection. Quand l'administrateur clique sur le bouton «Exécuter», une confirmation lui est demandée. S'il y répond par l'affirmative, la barre de progression est alors chargée. ENR-PYR2-SG-V0 Page 20 sur 29 SINTI GROUP

21 8. MIGRATION DE PECHART 8.1. Généralités Dans la migration des données de Pechart, on entend les migrations des données : de la base Pechart des bases pays choisis Nous l'avons sectionnée en trois migrations différentes la totalité celle du paramétrage celle des enquêtes 8.2. Migration complète de Pechart Description Ce choix permet de migrer en un seul bloc (sans intervention de l'administrateur) toutes les données de la pêche artisanale. Si l'administrateur choisit cette option, l'etl supprime d'abord toutes les données de la pêche artisanale dans la base PostgreSql. Ensuite, il migre les données de paramétrage. Puis il transfert les données d'enquêtes de chaque base pays Ecran Migration globale Migration partielle Pechexp Campagnes Accueil MIGRATION DE TOUT PECHART Logo IRD Vous avez choisi la migration de tout Pechart. es les données de la pêche artisanale seront migrées. Pechart Enquêtes Exécuter Référentiel Journal Bases de données Déconnexion On accède à cette fenêtre en cliquant sur le lien situé en dessous de Pechart. Si l'administrateur clique sur le bouton d'exécution, une confirmation lui est demandée. La migration ne sera déclenchée que s'il le confirme. ENR-PYR2-SG-V0 Page 21 sur 29 SINTI GROUP

22 8.3. Migration du paramétrage Pechart Description Les données du paramétrage sont constituées des informations communes à toutes les bases pays et qui sont indépendants des enquêtes. Elles correspondent en réalité aux tables de la base Pechart différentes du référentiel. Ex : agglomération, catégorie socio professionelle, coefficient KB, enquêteurs, milieu de pêche, etc... Ce genre d'information n'est pas mise à jour à chaque nouvelle enquête. Elles sont définies une fois et sont exceptionnelles modifiées. C'est la raison pour laquelle le type de migration utilisé sera différentiel. Le principe est le même que celui décrit pour la migration du référentiel ($ 6.1.1) Ecran Migration globale Migration partielle Pechexp Campagnes MIGRATION DES DONNEES DE PARAMETRAGE PECHART Accueil Logo IRD Vous avez choisi la migration du paramétrage de Pechart. Aucune données d'enquêtes ne sera migrée. Pechart Enquêtes Exécuter Référentiel Journal Bases de données Déconnexion On accède à cette fenêtre en cliquant sur le lien situé en dessous de Pechart. En cliquant sur le bouton «Exécuter», la migration débute et la barre de progression affichée Migration des enquêtes Description La migration des données d'enquêtes consiste à transférer les données collectées lors des enquêtes de débarquements et d'activités des bases pays vers la base cible. A la différence des migrations complète ou de paramétrage, ce choix sera utilisé fréquemment selon les enquêtes effectuées. Tant que le lot 3 ne sera pas en place, cette option permettra, via l'interface graphique d'intégrer les nouvelles données terrain de pêche artisanale" si j'ai bien compris le fond du message. Le principe est de : choisir les agglomérations dans lesquelles il y a eu de nouvelles enquêtes préciser la période de l'enquête démarrer la migration L'ETL extrait d'abord les informations correspondantes à la sélection de l'administrateur dans la ou les bases pays correspondantes. Ensuite il les intègre successivement dans la base cible. ENR-PYR2-SG-V0 Page 22 sur 29 SINTI GROUP

23 Si une enquête de la sélection choisie avait déjà été migrée, l'etl supprime les information dans PostGreSql et reprend la migration avec les données actuelles. C'est des situations qui peuvent survenir en cas de modifications de l'enquête après migration Ecran Migration globale Migration partielle Pechexp Campagnes Pechart Enquêtes MIGRATION DES DONNEES D'ENQUETES DE PECHART Sélection des données à migrer Sélection spaciale Pays (1) Ecosystèmes (2) OK Logo IRD OK Référentiel Secteurs (3) Agglomérations (4) Journal Bases de données Déconnexion OK OK Sélection temporelle (5) Périodes d'enquêtes Cocher es I Aucune 07/ / / / Effacer Exécuter Cet écran est obtenu en cliquant sur le lien Enquêtes du menu de gauche. Il permet de choisir les débarquements à migrer en faisant une restriction sur les données spatiales et temporelles. L'écran est constitué de quatre zones : le menu de l'application situé à gauche l'entête de la page qui indique le titre et l'étape de la migration la sélection spatiale qui permet à l'administrateur de déterminer les agglomérations à retenir pour la migration. Les listes de pays et d'écosystèmes sont à sélection unique, les secteurs et les agglomérations sont à sélections multiples. ENR-PYR2-SG-V0 Page 23 sur 29 SINTI GROUP

24 Spécifications Fonctionnelles la sélection temporelle permet de déterminer la ou les périodes d'enquêtes à migrer Les numéros (1), (2), (3), (4) et (5) indiquent l'ordre dans lequel les sélections devront se faire Sélection spatiale Les informations de la zone spatiale sont récupérées de la base Pechart. A l'ouverture de l'écran, seule la liste des pays est chargée. L'utilisateur devra en choisir un pour afficher les écosystèmes correspondants. Le choix d'un écosystème affiche les secteurs associés. A partir de ce stade, il pourra effectuer des sélections multiples sur les secteurs et agglomérations. Dans le cas d'une sélection dans une liste, l'administrateur devra cliquer sur le lien OK placé en dessous pour actualiser la liste dépendante Ex : La sélection d'un pays actualise la liste des écosystèmes. Le bouton «Effacer» permet de vider la sélection Sélection temporelle Dans la sélection temporelle, il s'agit de déterminer la période (début et fin) en considérer pour la migration. Les date de début et fin sont affichées sous le format de mois/année. Les listes «Mois» contiennent les douze mois calendaires. Les listes «Année» sont fixées de 1978, date des premières enquêtes, à l'année en cours. Le choix des données temporelles se déroule comme suit : Pour la date de début, le mois est positionné par défaut à «Janvier» et l'année à «1978», qui est l'année des premières données de débarquements/activités. Pour la date de fin, les mois et années sont successivement initialisés aux mois et année en cours. L'administrateur peut après choisir le mois et l'année de début. Après les choix sur les données spatiales et temporelles, il est maintenant possible d'exécuter l'etl en cliquant sur le bouton «Exécuter ETL». Une confirmation lui est alors demandée. Ce qui nous amène alors à l'écran d'exécution de l'etl (Chargement de la barre de progression). ENR-PYR2-SG-V0 Page 24 sur 29 SINTI GROUP

25 9. LA JOURNALISATION 9.1. Description es les migrations effectuées au sein de l'interface sont tracées dans un journal. Ainsi, l'administrateur pourra suivre l'utilisation et l'activité de l'etl. Un moteur de recherche lui permettra de filtrer le journal en fonction de critères choisis Ecran Migration globale Migration partielle Pechexp Campagnes JOURNAL Logo IRD Moteur de recherche Début Fin Utilisateur Action Statut Pechart Enquêtes Rechercher Annuler Référentiel Journal Bases de données Déconnexion Liste des évènements Date Utilisateur Action Statut Détails 2006/11/07 18h28: /11/07 18h20: /11/02 08h30: /11/02 08h29: /10/29 15h31: /10/29 15h25:17 eric.leblanc Migration Campagnes Succès eric.leblanc Migration Campagnes Démarré eric.leblanc Restauration Succès eric.leblanc Restauration Démarré eric.leblanc Migration Enquêtes Echec table=yyyyy, ligne=nnn eric.leblanc Migration Enquêtes Succès /10/24 15h24: /10/24 15h24:19 eric.leblanc Connexion Succès Connexion Echec login=eri.leblanc Exporter Initialiser On accède à cet écran en cliquant sur le Journal du menu. Les évènements sont triés par ordre décroissant de date. Les listes du moteur de recherche sont constituées des valeurs distinctives du journal. Le lien Exporter permet d'enregistrer le contenu de la liste de résultat sous un format Excel ou CSV. Le lien Initialiser permet d'effacer le contenu du journal si nécessaire. Dans ce cas l'administrateur pourra au préalable archiver le journal en l'exportant pour conserver une trace. Un message de confirmation lui demandera si le journal a été archivé avant suppression dans la base. ENR-PYR2-SG-V0 Page 25 sur 29 SINTI GROUP

26 10. BASES DE DONNEES Description Cette rubrique permet à l'administrateur de connaître les bases de données auxquelles est connecté l'etl. L'intérêt est de lui permettre de s'assurer du choix des bases sources Ecran Migration globale Migration partielle Pechexp Campagnes Pechart Enquêtes Référentiel Journal Bases de données Déconnexion BASES DE DONNEES L'ETL est connecté aux bases de données suivantes : Type Chemin DSN Logo IRD Pechexp \\nom_serveur\\migrations\bases\pechexp.mdb dsn_pechexp Pechart \\nom_serveur\migrations\bases\pechart.mdb dsn_pechart Mali1 \\nom_serveur\migrations\bases\mali1.mdb dsn_mali1 Mali2 \\nom_serveur\migrations\bases\mali2.mdb dsn_mali2 Senegal \\nom_serveur\migrations\bases\senegal.mdb dsn_senegal... On accède à cette interface en cliquant sur le lien Bases de données du menu. Le tableau affiche toutes les bases utilisées et leur chemins d'accès. ENR-PYR2-SG-V0 Page 26 sur 29 SINTI GROUP

27 11. ENVIRONNEMENT TECHNIQUE L'application sera installée de sorte qu'elle soit accessible à travers le réseau Internet. Pour cela il faudra les serveurs suivants : Un serveur Apache configuré pour interpréter du code Ruby. Pour cela nous nous proposons d'utiliser le module FastCGI. Nous utiliserons le Framework Ruby On Rails composé du langage Ruby et du module Rails qui nécessite un pilote PostGreSQL notamment postgres-pr. Un serveur PostgreSQL sur lequel sera installées la base de données cible mais également la base «système» stockant les informations nécessaires à l'exécution de la migration. ENR-PYR2-SG-V0 Page 27 sur 29 SINTI GROUP

28 Ces serveurs seront naturellement installés au sein de l'ird. La communication entre le serveur d'application et le serveur PostGreSQL peut se faire à travers le réseau local de l'ird, comme indiqué sur le schéma. Cependant rien n'oblige à les séparer physiquement. On peut les installer sur un même poste à condition que ce dernier soit suffisamment performant. Configuration minimale du serveur unique Système d'exploitation : Linux (éventuellement, Windows XP Pro, mais non recommandé) Disque : 3 disques durs rapides (SATA ou SCSI) de 80 Go chacun en RAID5 (idéalement 5 ou 6 disques pour de meilleures performances) RAM : 4 Go Ram (idéalement en «dual channel») Processeur : 3 Ghz (idéalement bi-processeur) Système de sauvegarde ENR-PYR2-SG-V0 Page 28 sur 29 SINTI GROUP

29 12. METHODOLOGIE Plan de communication Dans un souci de bien cadrer l'avancement du projet et d'assurer sa bonne réussite, il demeure primordial d'établir un plan de communication impliquant chaque participant. Pour cela, différentes réunions seront organisées à des fréquences variables suivant les niveaux d'intervention. Réunion d'équipe Type Horaire & lieu Participants Objet Tous les jeudi à 08h30 à Sinti Equipe projet Sinti Directeur de projet Sinti -Suivi des réalisations -Echange sur les problèmes rencontrés -Prévision des risques Rapport d'avancement Tous les vendredi Chef projet Sinti Informe le client de l'évolution d interne du projet Réunion de suivi Tous les deux lundi 08h00 Chef de projet Sinti Directeur de projet Sinti Equipe projet IRD Réunion de pilotage Les premiers mercredi de chaque mois à (définir l'heure et le lieu) Equipe projet IRD Directeur général Sinti -Suivi avancement projet -Suivi conformité réalisations / besoins ministères -Analyse des risques - suivi du budget - macro cadrage du projet -Analyse de nouveaux besoins Réunion de comité opérationnelle 1er mardi de chaque mois à 09h00, à Sinti Chef de projet Sinti Directeur projet Sinti Directeur Qualité Sinti Directeur général Sinti -Suivi avancement projet -Révision éventuelle planning ENR-PYR2-SG-V0 Page 29 sur 29 SINTI GROUP