Cahier des charges Gestion et mise à jour d une base de données sur les Peuplements de poissons et la Pêche artisanale des Ecosystèmes estuariens, lagunaires ou continentaux d Afrique de l Ouest IRD - Unité de recherches RAP (Réponses adaptatives des populations et peuplements de poissons aux pressions de l environnement) ECOUTIN J.M., SIMIER M., TITO DE MORAIS L. 1 1 Jean-Marc.Ecoutin@mpl.ird.fr Monique.Simier@mpl.ird.fr Tito@ird.sn Cahier des charges projet PPEAO Page 1 sur 18
Ce projet concerne la mise en place d un système de gestion et de mises à jour d informations d une base de données sur les Peuplements de poissons et la Pêche artisanale des Ecosystèmes estuariens, lagunaires ou continentaux d Afrique de l Ouest (PPEAO). I. Etat des lieux I.1. Historique Durant les 30 dernières années, de nombreux travaux ont été menés à l IRD sur l environnement, les peuplements de poissons et les activités de pêche, dans différents écosystèmes estuariens, lagunaires et lacustres ouest africains. Depuis sa création en 2001, l'unité de Recherches RAP (Réponses Adaptatives des populations et peuplements de Poissons aux pressions de l environnement) de l IRD a eu pour priorité de regrouper et d harmoniser les informations récoltées lors de ces diverses études. Ainsi dès 2003, deux bases de données ont été constituées et continuent à être enrichies par les résultats des campagnes actuelles ou à venir. La base dite «Pêche expérimentale» (Pechexp) contient les informations sur les peuplements de poissons obtenues dans le cadre de campagnes de pêche scientifique. La base appelée «Pêche artisanale» (Pechart) est constituée de recensements, d enquêtes d activité et de débarquement réalisées auprès des pêcheurs artisans. Jusqu en 2006, ces deux bases étaient physiquement distinctes pour des raisons liées tant à leur structure, à leur mode d exploitation qu à leur gestion : développement sur PC sous Access 2000, gestion et exploitation en Visual Basic 6.0. L acquisition de nouvelles données est assurée indépendamment pour chacune des 2 bases (schéma 1). Les difficultés rencontrées par un tel système ont porté sur la mise à jour, sur les différents lieux de travail, des bases et programmes d exploitation. De plus, les contraintes imposées par Access quand les tables atteignent une taille conséquente, ont compliqué la gestion de ces bases de données. Sur la page http://www.ird.sn/activites/rap/resultats/base_donnees/ se trouve une description de l existant en termes de nombre d informations contenues et de présentation des logiciels. Sous Access 2000, la base sur les pêches expérimentales (intitulée dans ce document présent comme pêche scientifique) fait 14 Mo. Celle sur les pêches artisanales fait un peu plus de 200 Mo et a dû être scindée en plusieurs bases-pays en raison des contraintes de taille imposées par Access. En 2006, un projet de mise en place d une base de données unique, regroupant l ensemble des informations contenues dans les bases Access Pechart et Pechexp a été initié. L objectif final est de permettre la consultation de cette base via Internet, à partir de postes de travail situés dans diverses zones géographiques et la gestion de la base également en ligne. Ce projet, porté par l unité de recherches RAP, bénéficie de l appui de la Délégation aux Systèmes d Information (DSI) de l IRD : - moyens mis à disposition dans le cadre d un appel à projet interne à l IRD (SPIRALES) : moyens financiers et hébergement de la base de données et de l application au niveau du service informatique local (SIL) de l IRD Montpellier, - suivi du projet et accompagnement par l équipe «informatique scientifique» coordonnée par Régis Hocdé. Dans le cadre de cet appui de la DSI, la réalisation du développement et la production de la documentation associée par un prestataire sont souhaitées. C est l objet du présent cahier des charges. Cahier des charges projet PPEAO Page 2 sur 18
Nous rappelons dans un premier temps les étapes du projet qui ont été déjà réalisées en 2006 et en 2007, pour arriver à l état des lieux et à la définition de l objectif de la prestation attendue en 2008. I.2. Lot 1 (2006) : mise en place de la base de données actuelle (PostgreSQL) En 2006, l ensemble des données décrites ci-dessus a été regroupé en une unique base de données réalisée sous PostgreSQL : BD_Peche construite à partir des bases Access (Schéma 1). Extraction par campagne de pêche Pechexp Saisie Script Access - BD_Peche Application Internet Extraction par période de pêche BD_Peche Pechart Saisie Validations à l importation Script Access - BD_Peche Application Internet Schéma 1 : Etat du système suite à la réalisation du lot 1 : acquisition et transfert des données. I.2.1. Tables de données La base BD_Peche est constituée de 46 tables qui peuvent être regroupées en trois ensembles homogènes : les tables du référentiel qui correspondent aux tables communes à l exploitation des données sur les pêches scientifiques et à celle sur les pêches artisanales ; ces 9 tables concernent les informations sur les espèces et celles sur la localisation spatiale ; elles sont toutes identifiées par le suffixe ref_ ; celles concernant les pêches scientifiques ; ces 19 tables fournissent des informations sur les caractéristiques des opérations de pêche réalisées sous le contrôle des scientifiques : paramètres environnementaux, écologiques et biologiques. Ces tables sont identifiées par le suffixe exp_ ; celles concernant les pêches artisanales. Les 18 tables, identifiées par le suffixe art_, contiennent des données sur les lieux d enquête, les unités de pêche enquêtées et sur leurs activités. Cahier des charges projet PPEAO Page 3 sur 18
I.2.2. Processus de transfert Access - PostgreSQL La base BD_Peche, construite sous PostgreSQL, est actuellement hébergée sur un serveur Unix (Linux sentos ver.04) situé au centre IRD de Montpellier. Une série d applications permet de transférer depuis un PC les données au format Access 2000 vers la base PostgreSQL sur le serveur. Ce transfert se fait en trois étapes (voir schéma 2) : sur PC, création d un script SQL (dump) à partir des bases Access Pechexp et Pechart par une application VBA. L utilisateur choisit les bases qu il veut transférer. transfert (FTP ou NFS) du script vers le serveur de l IRD et création sur ce serveur de bases PostgreSQL de structure identique aux bases Access ; sur le serveur Linux, migration de ces bases vers la base de référence PostgreSQL, BD_Peche via une application Ruby et un outil KETTLE. L utilisateur choisit d effectuer une migration complète ou partielle selon le type de tables. Schéma 2 : Schéma du transfert de données depuis les bases Access sur PC vers la base PostgreSQL BD_Peche sur serveur Linux. Cahier des charges projet PPEAO Page 4 sur 18
I.3. Lot 2 (2007) : Développement d un outil d extraction de données et de programmes de création automatique de données élaborées. Au cours de l année 2007, une seconde étape du développement a été réalisée. Elle comprend deux parties qui se présentent toutes deux sous forme d applications internet : 1- la construction de programmes de création automatique de données élaborées, 2- la création d un outil de consultation et d extraction des informations. Ces deux parties exploitent une nouvelle base de données BD_PPEAO. Cette dernière est une copie de BD_Peche (Schéma 3) à laquelle sont ajoutées des tables supplémentaires justifiées par la mise en place de ce lot 2 (11 tables dans la version actuelle). La première partie concerne uniquement les données issues des enquêtes de pêche artisanale. Il s agit d un outil permettant à l administrateur de réaliser de manière automatique des calculs sur l ensemble des données de pêche artisanale. Ces calculs sont réalisés à l initiative de l administrateur à chaque importation ou correction de données et permettent de remplir certaines tables supplémentaires évoquées ci-dessus. La seconde partie permet d extraire de la base PPEAO des sélections de données sous forme de tableaux au format texte. L extraction se fait via une série d écrans permettant de définir des critères de sélection (type de données pechexp/pechart, spatial, temporel, engins de pêche, espèces ) et de choisir les champs qui apparaîtront comme colonnes du tableau. Le fichier texte généré par l application peut être sauvegardé par l utilisateur à l issue de sa création. Cette seconde partie intègre une gestion des droits des utilisateurs à partir d une table attribuant à tout compte défini par l administrateur, des autorisations d accès selon le type de données (ex : pêche scientifique ) et l écosystème aquatique étudié (ex : lagune Ebrié, ). Une seconde table associe à chaque écosystème, pour chaque type de données une date butoir, telle que : avant cette date, les données sont en libre accès pour tous, après cette date, leur accès reste limité à une équipe restreinte (ex : les données de pêche artisanales récoltées dans l estuaire du Sine Saloum avant le 31 décembre 2001 sont en libre accès, les données collectées ensuite sont confidentielles). Cahier des charges projet PPEAO Page 5 sur 18
BD_PPEAO Pechexp Validations à l importation Script Access - BD_Peche Application Internet Pechart BD_Peche Schéma 3 : transfert des données suite à la réalisation du lot 2, le transfert BD_Peche vers BD_PPEAO est fait manuellement. II. Périmètre de la demande II.1 Définition de l objectif de la prestation La prestation attendue consiste à fournir une application web/base de donnés BD_PPEAO fonctionnelle et documentée. Cette prestation est décomposée en trois parties : - développer des outils de gestion et de maintenance de la base de données BD_PPEAO; - mettre en place une charte graphique globale pour l exploitation de cette base ; - mettre en place un système interactif de renseignements sur la base. Au final, l outil devra être complètement accessible sur le web par un public scientifique autorisé. De plus, le produit obtenu sera gérable de manière interactive par des administrateurs, en supprimant le rôle de base de référence à l ancienne structure construite sous Access et gérée en Visual Basic. II.1.1 Gestion de la base de données Cela décrit les outils classiques de gestion sécurisée d une base de données. Cette gestion est sous la responsabilité des 2 ou 3 administrateurs de la base (niveau le plus élevé d autorisation d accès à la base, cf. cahier des charges lot 2, annexe 01). Elle concerne entre autres : Cahier des charges projet PPEAO Page 6 sur 18
1. Gestion des tables de la base de données : Mise à jour des tables du référentiel : ce référentiel est composé principalement par l information sur le spatial (pays, système, secteur) d une part, sur les espèces et tous les renseignements qui les concernent (taxonomie, biologie, écologie) d autre part. Mise à jour des tables descriptives des codages : que ce soit pour les pêches scientifiques ou pour celles artisanales, un grand nombre de variables sont codées et demandent des tables explicitant ces codages. Corrections ponctuelles sécurisées de données : l exploitation des données de BD_PPEAO peut amener à repérer des données aberrantes qui demandent une intervention directe sur les tables de la base. 2. Gestion sécurisée des utilisateurs agréés : il devra être réalisé un outil interactif, intégré au système de gestion, de définition des autorisations d accès à la base de données via les programmes d extraction. 3. Exécution des programmes de recomposition des données et calcul de statistiques (module réalisé en 2007) 4. Réalisation d un module de portage de données d une base BD_Peche vers BD_PPEAO II.1.2. Charte graphique L ensemble des pages constituant l application demandée devra respecter une charte graphique homogène qui sera discutée lors de la réunion de démarrage du projet. Cette charte graphique doit fournir une bonne lisibilité des outils de gestion et d exploitation de la base PPEAO. Elle intègrera en particulier les crédits des photos utilisées, l identification de la version mise en test ou en production. Sur chaque page appelée, il existera une possibilité d accès à des renseignements liés au contenu de cette page (voir II.1.3). La première page, accessible à tous, présentera la base PPEAO, soit dans la page elle-même, soit via un accès à une page web informative. Elle fournira en particulier les contacts nécessaires des personnes ressource. Dans l état actuel (lot 3), cette fenêtre donnera accès soit à une filière administrateur de la base, soit utilisateur de celle-ci. Chacune de ces filières sera validée par un login et password approprié et, une fois validée, respectera la charte graphique générale. Il faut prendre en compte à ce niveau que d autres filières de traitement seront créées plus tard et que donc il devra être aisé d insérer dans le code d autres adressages. II.1.3. Système interactif de renseignements A tout moment, un utilisateur doit pouvoir accéder à des pages renseignées explicitant l information qu il consulte. Ces pages correspondent à son niveau d autorisation. Pour un utilisateur sans autorisation, il s agira de renseignements généraux sur le contenu de la base PPEAO ; cet utilisateur aura aussi accès à une liste de publications représentatives de l exploitation de BD_PPEAO. Pour un utilisateur autorisé à exploiter la base, l information fournie pourra concerner les plans d échantillonnage, la validité des données, les références bibliographiques plus précises concernant les données qu il consulte,.quelques exemples sont fournis en annexe 3. Cet outil informatif sera réalisé à partir de pages web accessibles facilement depuis les fenêtres d exploitation de BD_PPEAO. A l heure actuelle, ces pages informatives n existent pas en tant que telles, bien que leur contenu soit déjà partiellement rédigé dans des documents descriptifs des bases Access. Il sera nécessaire de prévoir l accès à des pages squelette respectant la charte graphique qui seront remplies par la suite par les administrateurs de la base. La liste des points d accès à ces pages informatives sera définie au début du développement. Cahier des charges projet PPEAO Page 7 sur 18
II.2. Contraintes et mode opératoire Les choix technologiques seront contraints par l existant (résultat des lots 1 et 2). Un serveur virtuel de développement, accessible à distance, incluant serveur web et base de données, sera mis à disposition du prestataire. Ce serveur est situé au centre IRD de Montpellier. Un serveur de test sera utilisé pour la réalisation des tests de tout ou partie du projet. Un dépôt Subversion (SVN) sera également créé pour le code et la documentation produite. L ensemble des caractéristiques de l environnement informatique est décrit en annexe 2. Outre les réunions de démarrage du projet et de recette des livrables, la prestation devra inclure des réunions de «bilan / état d avancement» à un rythme mensuel. Ces réunions auront lieu au Centre IRD de Montpellier ou au Centre de Recherches Halieutiques de Sète. Elles pourront se faire par visioconférence si les contraintes géographiques l imposent. Chaque réunion de «bilan / état d avancement» fera l objet d un rapport rédigé à tour de rôle par chacune des parties et validé par l autre. D autres rencontres pourront être organisées à la demande d une des parties. II.3. Planning prévisionnel Le planning prévisionnel sera fourni par le prestataire, mais celui-ci devra tenir compte des points suivants : la prestation commencera à la date de signature du contrat, la première semaine étant considérée comme une semaine de prise en main du produit. Le projet prendra en compte l échéancier proposé par le prestataire, mais, pour des raisons administratives, les versions test devront être livrées avant le 31 octobre 2008 pour un recettage définitif le 28 novembre 2008 au plus tard. III. Détail des opérations de gestion de la base de données III.1 Gestion des tables de la base de données La gestion de la base de données est sous la responsabilité de 2 ou 3 administrateurs (niveau le plus élevé d autorisation d accès à la base). La prestation demandée consistera à développer une interface web permettant à un administrateur (préalablement authentifié) de mettre en œuvre les outils classiques de gestion d une base de données, à savoir supprimer, ajouter ou modifier des lignes dans les tables constituant la base de données, selon des modalités qui vont être détaillées ci-dessous. Les fonctions à assurer par l outil de gestion peuvent se regrouper en 3 catégories : la mise à jour des tables du référentiel, la mise à jour des tables descriptives des codages (ou paramétrage), la correction ponctuelle des tables de données. Les deux premières catégories concernent des tables d un volume restreint (entre une dizaine et une centaine de lignes) tandis que la troisième conduira à éditer des tables très volumineuses (jusqu à plusieurs centaines de milliers de lignes). Les outils qui seront développés devront tenir compte de ces spécificités en termes de volume pour permettre un accès rapide quelle que soit la vitesse de connexion. Lors de toute modification/ajout/suppression, il faudra vérifier que cette mise à jour n entraîne pas d atteinte à l intégrité référentielle. Si tel était le cas, un message d erreur explicite devra prévenir l administrateur. La mise à jour devra être refusée tant que l administrateur n aura pas trouvé une Cahier des charges projet PPEAO Page 8 sur 18
solution respectant l intégrité référentielle (mise à jour préalable des tables concernées, ou rectification de sa demande). Dans le cas d une suppression entraînant des suppressions en cascade, un message d avertissement devra préciser les tables concernées, et pour chacune le nombre de lignes qui seront supprimées. L administrateur aura alors le choix entre confirmer la suppression, ou y renoncer. En règle générale, il n y aura pas de suppression possible pour les deux premières catégories (référentiel et paramétrage) ; la suppression sera possible seulement dans la troisième catégorie (correction ponctuelle). Il n y aura pas de possibilité de modification des clés primaires. Toute modification (correction ou ajout) ne sera effective qu après confirmation par un bouton «valider» ; un bouton d abandon de modification sera à prévoir également. Chaque modification des tables étant effectuée par un administrateur identifié, il faudra inscrire dans le journal de suivi de la base BD_PPEAO : date, administrateur, table modifiée, voire quelle modification a été réalisée. Chacune des trois catégories de modifications est détaillée ci-dessous et une proposition d organisation de l arborescence des menus de gestion des tables est proposée en III.1.4. III.1.1 Mise à jour des tables du référentiel On désigne par «référentiel» l ensemble des tables communes aux données issues des pêches artisanales et scientifiques. Ce référentiel concerne d une part l information sur la localisation spatiale des données (pays, système, secteur), et d autre part l information sur les espèces pêchées (taxonomie, biologie, écologie). Sur ces tables, seuls des ajouts ou des modifications seront autorisés, et il ne sera pas possible de modifier le champ correspondant à la clé primaire. III.1.1.1 Localisation spatiale Les tables concernées sont : ref_pays, ref_systeme, ref_secteur. Ces trois tables sont dépendantes l une de l autre : la table ref_pays est la liste des pays pour lesquels la base BD_PPEAO contient des informations (une quinzaine de pays). Au sein de chaque pays sont définis entre 1 et 3 systèmes correspondant aux différents écosystèmes étudiés par l équipe RAP (table ref_systeme). Chaque système est lui-même découpé en secteurs (moins d une dizaine par système, table ref_secteur). Cette hiérarchisation des tables devra être prise en compte dans les menus proposés à l administrateur : ainsi pour une mise à jour de la table ref_systeme, un choix préalable du pays sera fait, et seuls les systèmes appartenant au pays choisi seront proposés. De même pour une mise à jour de la table ref_secteur, il faudra choisir au préalable un pays, puis un système. III.1.1.2 Liste des espèces Les tables concernées sont : ref_categorie_ecologique, ref_categorie_trophique, ref_espece, ref_famille, ref_ordre, ref_origine_kb. Ces tables sont liées les unes aux autres, mais contrairement à la localisation spatiale, l accès se fera directement pour chacune, sans restriction successive. Les tables ref_categorie_ecologique et ref_categorie_trophique contiennent de 10 à 20 lignes. Elles pourront être triées selon le champ id ou le champ libelle pour ajout de nouvel enregistrement ou modification de libellé. La table ref_ordre contient quelques dizaines de lignes. Son accès se fera uniquement par tri sur le champ libelle (nom d ordre), le code numérique (champ id) étant un simple numéro d ordre, il n apporte aucune information. La table ref_famille contient un peu plus d une centaine de lignes. Son accès se fera uniquement par tri sur le champ libelle (nom de famille), le code numérique (champ id) Cahier des charges projet PPEAO Page 9 sur 18
n étant pas informatif. Le champ ref_ordre_id renvoie à la table ref_ordre. En cas de modification de ce champ, une vérification de l existence de l enregistrement correspondant dans la table ref_ordre devra être faite, avec si nécessaire un accès immédiat à la table ref_ordre pour ajout de nouvel enregistrement. La table ref_espece contient actuellement environ 400 lignes. L administrateur devra pouvoir accéder directement (sans présélection) à un enregistrement de cette table en la triant soit par code espèce (champ id), soit par nom d espèce (champ libellé). Un certain nombre de champs renvoient à d autres tables : famille_id, ref_categorie_ecologique_id, ref_categorie_trophique_id, ref_origine_kb_id et ref_espece_id (qui renvoie à la table ref_espece elle-même). En cas de modification de ces champs, une vérification de l existence de l enregistrement correspondant dans la table pointée devra être faite, avec si nécessaire accès immédiat à la table pointée pour ajout d un nouvel enregistrement. La table ref_origine_kb contient une dizaine de lignes. L administrateur y accèdera en triant par code (champ id) ou par libellé (champ libelle) III.1.2 Mise à jour des tables descriptives des codages (paramétrage) Que ce soit pour les pêches scientifiques ou pour les pêches artisanales, un grand nombre de variables sont codées et demandent des tables explicitant ces codages. Occasionnellement, l administrateur sera amené à éditer ces tables pour modification ou ajout. On distingue deux niveaux de paramétrage : le paramétrage de niveau 1 pour les tables qui n en appellent pas d autres (ne contiennent souvent que deux champs : id et libelle), et le paramétrage de niveau 2 pour les tables qui appellent d autres tables de codage. Les tables de paramétrage de niveau 2 peuvent contenir plusieurs centaines de lignes, on devra donc pouvoir y accéder par une présélection des niveaux supérieurs. III.1.2.1 Pêche scientifique Paramétrage de niveau 1 Les tables concernées sont : exp_contenu, exp_debris, exp_engin, exp_force_courant, exp_position, exp_qualite, exp_remplissage, exp_sediment, exp_sens_courant, exp_sexe, exp_stade, exp_vegetation. Pour chacune, l administrateur pourra visualiser l ensemble du contenu de la table, triée selon le champ id ou le champ libelle. Paramétrage de niveau 2 Une seule table est concernée, il s agit de la table exp_station. Cette table comportant plusieurs centaines de lignes, une présélection, par pays, système, secteur devra être proposée sous forme d une succession de listes déroulantes, chacune étant définie par le choix précédent. L administrateur devra d abord choisir un pays dans la table ref_pays, puis un système dans la table ref_systeme (seuls les systèmes appartenant au pays sélectionné précédemment seront proposés), puis un secteur dans la table ref_secteur (seuls les secteurs appartenant au système sélectionné précédemment seront proposés). Enfin, il aura accès à la liste des stations appartenant à sa sélection de pays, système, secteur, et pourra modifier ou ajouter une station. III.1.2.2 Pêche artisanale Paramétrage de niveau 1 Les tables concernées sont : art_categorie_socio_professionnelle, art_etat_ciel, art_grand_type_engin, art_millieu, art_type_activite, art_type_agglomeration, art_type_sortie, art_vent. Pour chacune, l administrateur pourra visualiser l ensemble du contenu de la table, triée selon le champ id ou le champ libelle. Paramétrage de niveau 2 Cahier des charges projet PPEAO Page 10 sur 18
Les tables concernées sont art_agglomeration (qui renvoie à art_type_agglomeration d une part et à ref_secteur d autre part) et art_type_engin (qui renvoie à art_grand_type_engin). La table art_agglomeration comportant plusieurs centaines de lignes, une présélection, par pays, système, secteur devra être proposée sous forme d une succession de listes déroulantes, chacune étant définie par le choix précédent. L administrateur devra d abord choisir un pays dans la table ref_pays, puis un système dans la table ref_systeme (seuls les systèmes appartenant au pays sélectionné précédemment seront proposés), puis un secteur dans la table ref_secteur (seuls les secteurs appartenant au système sélectionné précédemment seront proposés). Enfin, il aura accès à la liste des agglomérations appartenant à sa sélection de pays, système, secteur, et pourra modifier une agglomération ou ajouter une agglomération. Pour mettre à jour la table art_type_engin, une présélection sera proposée sur la table art_grand_type_engin. L administrateur devra sélectionner d abord un grand type d engin, puis se verra proposer uniquement la liste des engins appartenant à ce grand type. S il s agit d un ajout d engins de pêche, soit le grand type existe, soit le grand type n existe pas et alors il faut le créer en premier lieu. III.1.3 Corrections ponctuelles sécurisées de données L exploitation des données de BD_PPEAO peut amener à repérer des données aberrantes qui demandent une intervention directe sur les tables de données de la base pour correction. Par exemple, on identifie des individus mesurés dans les enquêtes de pêche artisanale de longueur inférieure à 50, l unité de longueur étant en mm, cela indiquerait des individus très petits ce qui est peut probable. Il s agit le plus souvent d individus dont la longueur a été saisie en cm et devrait avoir une valeur 10 fois plus grande. Il faut donc pouvoir accéder à ces individus pour corriger leurs longueurs. Les tables concernées sont toutes les tables exp_xxx et art_xxx qui n ont pas été évoquées dans le paragraphe précédent. Pour les pêches scientifiques, il s agit des tables exp_biologie, exp_campagne, exp_coup_peche, exp_environnement, exp_fraction et exp_trophique. Pour les pêches artisanales, ce sont les tables art_activite, art_debarquement, art_engin_activite, art_engin_peche, art_fraction, art_lieu_de_peche, art_poisson_mesure, art_unite_peche. L administrateur pourra éditer chacune de ces tables pour modification, ajout ou suppression d enregistrement. III.1.3.1 Pêche scientifique L accès aux données de pêche scientifique devra se faire après sélection du pays (table ref_pays), puis du système à l intérieur du pays sélectionné (table ref_systeme). Si l administrateur a choisi d éditer une campagne, il aura ensuite le choix parmi l ensemble des enregistrements de la table exp_campagne correspondant à ce système (tri chronologique par date de début de campagne). S il a choisi d éditer un coup de pêche, il aura accès à la même séquence que pour l édition de campagne, puis, après sélection de la campagne concernée, il aura accès aux enregistrements de la table exp_coup_peche répondant de cette campagne (tri chronologique par date et heure de début du coup de pêche). S il souhaite éditer des données concernant l environnement, il sélectionnera un coup de pêche comme décrit précédemment, puis aura accès directement à l enregistrement de la table exp_environnement pointé par ce coup de pêche. Attention, un coup de pêche peut pointer sur un seul relevé environnemental, mais un relevé environnemental peut être appelé par plusieurs coups de pêche. Il conviendra, si c est le cas, de signaler à Cahier des charges projet PPEAO Page 11 sur 18
l administrateur que la modification de ce relevé environnemental concerne aussi d autres coups de pêche et de les lister. Si l administrateur souhaite éditer une fraction il commencera par sélectionner le coup de pêche auquel appartient cette fraction, puis pourra choisir la fraction à modifier parmi les enregistrements de la table exp_fraction pointés par ce coup de pêche (tri des fractions par ordre alphabétique du code espèce). L accès à un enregistrement de la table exp_biologie, se fera par sélection préalable de la fraction correspondante (tri des individus selon leur numéro d identification dans la table exp_biologie). La modification dans la table exp_trophique passera au préalable par la sélection de l individu concerné dans la table exp_biologie. La suppression en cascade sera autorisée, mais avec avertissement très explicite sur les tables concernées (par exemple si l administrateur décide de supprimer un coup de pêche, il devra être clairement informé du nombre de fractions (exp_fraction), d individus (exp_biologie) et de couples individus-contenu stomacal (exp_trophique) sur lesquels se répercutera la suppression de ce coup de pêche. III.1.3.2 Pêche artisanale La visualisation des données de pêches artisanales est effectuée suivant une sélection pays (ref_pays), système (ref_systeme), secteur (ref_secteur), agglomération (art_agglomeration), date, puis choix «étude des activités» ou «étude des débarquement». La date est saisie à l écran et comparée avec art_activite.date_activite ou avec art_debarquement.date_debarquement. Si on choisit activité, on liste toutes les enquêtes répondant à la sélection (x lignes, 14 colonnes, tri suivant art_unite_peche_id), le choix d une ligne sélectionne l enquête d activité correspondante et les engins de pêche qui lui sont liés. Si on choisit débarquement, on liste toutes les enquêtes répondant de la sélection (y lignes, colonnes id, art_agglomeration_id, art_unite_peche_id, art_grand_type_engin_id, date_debarquement, poids_total, soit 6 colonnes, tri suivant art_unite_peche_id), la sélection d une enquête amène à faire un choix sur : art_debarquement (24 colonnes de la table) art_debarquement (6 colonnes) et art_engin_peche art_debarquement (6 colonnes) et art_lieu_de_peche art_debarquement (6 colonnes) et art_fraction. La sélection d une fraction affiche cette fraction et les poissons mesurés correspondants. III.1.4 Proposition de menu pour la gestion de la base de données : Référentiel > Localisation spatiale > Pays (accès à la table ref_pays) > Systèmes (table ref_systeme) > Secteurs (table ref_secteur) > Liste des espèces > Espèces (table ref_espece et ref_origine_kb) > Familles (table ref_famille) > Ordres (table ref_ordre) > Catégories écologiques (ref_categorie_ecologique) > Catégories trophiques (ref_categorie_trophique) > Origine K,b (ref_origine_kb) Paramétrage > Pêche scientifique > Stations > Station (exp_station) > Position (exp_position) > Débris (exp_debris) Cahier des charges projet PPEAO Page 12 sur 18
> Sédiment (exp_sediment) > Végétation (exp_vegetation) > Pêche > Engins (exp_engin) > Qualité du coup (exp_qualite) > Sens du courant (exp_sens_courant) > Force du courant (exp_force_courant) > Biologie > Sexe (exp_sexe) > Stade de maturité (exp_stade) > Contenus stomacaux (exp_contenu) > Taux remplissage stomacal (exp_remplissage) > Pêche artisanale > agglomération > agglomération (art_agglomeration) > type agglomération (art_type_agglomération) > unité de pêche > CSP (art_categorie_socio_professionnelle) > grand type d engin (art_grand_type_engin) > type d engin (art_type_engin) > activité > type d activité (art_type_activite) > débarquement > état du ciel (art_etat_ciel) > vent (art_vent) > sortie de pêche> type de sortie (art_type_sortie) > milieu (art_milieu) Correction > Pêche scientifique > campagne (exp_campagne) > coup de pêche (exp_coup_peche) > environnement (exp_environnement) > fraction pêchée (exp_fraction) > biologie (exp_biologie) > trophique (exp_trophique) > Pêche artisanale > activité (art_activite) > engin en activité (art_engin_activite) > débarquement (art_debarquement) > engin de pêche (art_engin_peche) > lieu de pêche (art_lieu_de_peche) > unité de pêche (art_unite_peche) > fraction débarquée (art_fraction) > poisson mesuré (art_poisson_mesure) III.2 Gestion des utilisateurs L outil de gestion des droits des utilisateurs, utilisable par les gestionnaires de la base, faisait partie du périmètre du lot 2. Il devait permettre d attribuer à chaque utilisateur, un login/password et de définir l étendue de ses droits d accès à la base pour en extraire des données. Les autorisations d accès sont attribuées en fonction de 3 critères : - un ou plusieurs systèmes aquatiques (strate spatiale), Cahier des charges projet PPEAO Page 13 sur 18
- une période d étude (strate temporelle), - un (ou plusieurs) type(s) de données : pêches scientifiques / enquêtes de pêche artisanale / statistiques de pêche. La notion de période d étude permet de séparer les utilisateurs qui ont uniquement accès aux données dites historiques de ceux qui ont accès à toutes les données en tenant compte des 2 autres critères. Les données dites historiques correspondent aux données collectées depuis plus de 5 ans, hors convention spécifique avec un pays partenaire. Leur accès est autorisé à tout utilisateur identifié, indépendamment des deux critères de sélection (spatial, type de données). Dans la présente demande, il devra être réalisé l outil interactif, intégré au système de gestion, de définition de ces autorisations. Nous présentons ci-dessous à titre indicatif la gestion des autorisations telle qu elle a été mise en œuvre dans le lot 2. Elle n est cependant pas fonctionnelle. En fonction de l outil développé, il sera sans doute nécessaire de reprendre le début du programme d extraction des données, dans la partie gestion des droits des utilisateurs III.2.1. Définition de dates butoirs pour chaque système Pour chaque «système» défini dans la table ref_systeme, une date butoir est définie pour chaque type d échantillonnage parmi : pêches scientifiques / données de pêches artisanales / statistiques de pêche. Dans la pratique de l exploitation de la base BD_PPEAO, toutes les données antérieures à cette date butoir, sont en accès libre pour tous les utilisateurs potentiels. L autorisation d exploitation des données postérieures à la date-butoir pour un système donné et un type d échantillonnage donné, est (ou non) attribuée par le gestionnaire de la base. L information est conservée dans une table nommée ref_systeme_date_butoir. Cette table comporte au maximum trois fois le nombre d observations de la table ref_systeme et possède au minimum les champs suivants : - type d échantillonnage (1 = pêches scientifiques / 2 = données de pêches artisanales / 3 = statistiques de pêche) - système (d après la liste de la table ref_systeme) - date butoir (de type date dd/mm/yyyy) La date butoir de chaque système est définie par le gestionnaire de la base. Dans un premier temps (lot 2), elle est saisie manuellement dans la table. Puis, lors de la réalisation du lot 3, une interface permettant au gestionnaire de mettre à jour les dates butoirs (appelées à évoluer avec le temps) devra être développée. III.2.2. Définition de la liste des utilisateurs Une liste des utilisateurs autorisés à consulter tout ou partie de la base BD_PPEAO est créée sous forme d une table nommée ref_utilisateurs. Comme pour la table ref_systeme_date_butoir, cette table est remplie manuellement à l heure actuelle et une interface utilisateur est à développer dans le cadre du lot 3. Pour chaque utilisateur, l administrateur de la base définit un identifiant unique (login), un mot de passe (passwd) et saisit les coordonnées complètes de l utilisateur. III.2.3. Attribution des autorisations aux utilisateurs Enfin, une troisième table (ref_autorisation_exploitation) fait le lien entre chaque utilisateur et ses autorisations d exploitation de BD_PPEAO. De la même façon que les deux tables précédentes, cette troisième table est renseignée manuellement à l heure actuelle par le gestionnaire de la base BD_PPEAO ; une interface utilisateur est à développer dans le cadre du lot 3. Cahier des charges projet PPEAO Page 14 sur 18
Cette table comporte deux champs informatifs : l identifiant utilisateur (login) et le numéro d enregistrement dans la table ref_systeme_date_butoir (id). Un même utilisateur peut être relié à un seul enregistrement de ref_systeme_date_butoir (ex : données de pêches artisanales / Lac de Manantali), ou à plusieurs (ex : pêches scientifiques pour tous les systèmes du Mali). On a donc dans ref_systeme_date_butoir autant de couples [enregistrement de la table ref_utilisateur, enregistrement de ref_systeme_date_butoir] que d autorisations attribuées. III.2.4. Conclusion On peut identifier, parmi les profils d utilisateurs, deux extrêmes : - utilisateurs privilégiés ayant accès à toute la base BD_PPEAO (tous systèmes et tous types d échantillonnage). Ce sera, par définition, le cas des administrateurs de la base, mais aussi des membres de l unité de recherches ; - utilisateurs restreints ayant accès uniquement aux données historiques. Entre les deux, on pourrait avoir tous les intermédiaires imaginables. Il s agira ici de définir des groupes d utilisateurs. Dans l état actuel, pour simplifier la définition des utilisateurs, on peut imaginer l existence : d un groupe administrateur : toute extraction, toute mise à jour ayant tous les droits sur la base BD_PPEAO et BD_Peche, d un groupe utilisateurs privilégiés pouvant effectuer toutes les extractions et traitements existants, d un groupe utilisateurs pêches artisanales qui aura accès à toutes les extractions de statistiques de pêche (par agglomération ou à l échelle du système), d un groupe utilisateurs pêches scientifiques qui aura accès à toutes les données de pêche scientifique, plusieurs groupes pays pays autorisant l accès à toutes les données de pêche pour le pays défini, enfin un groupe invité qui pourra consulter (extraire) toutes les données historiques de pêche scientifique ou de statistiques de pêche artisanale. Un utilisateur est affecté à un groupe particulier et prend les propriétés du groupe. La création d un nouvel écosystème étudié (implémentation dans la table ref_systeme), entraîne automatiquement la définition par l administrateur de la date butoir associée dans la table ref_systeme_date_butoir et une mise à jour automatique des droits pour certains groupes. Ainsi les administrateurs et les utilisateurs privilégiés auront automatiquement accès à ce nouveau système. Pour les autres groupes, l accès au nouveau système sera fonction des autorisations attribuées. III.3 Accès aux programmes de recomposition des données et calcul de statistiques L estimation des statistiques de pêche à partir de données d enquêtes est une opération standard, coûteuse en temps. Pour éviter à l utilisateur l attente de calcul long et fastidieux, le choix a été pris de réaliser ces calculs de manière automatique sous contrôle de l administrateur de la base BD_PPEAO. Ces calculs ont été séparées en trois modules réalisés au cours du lot 2 ; ils correspondent à : des calculs de recomposition de données d enquête de pêche, des estimations de statistiques de pêche par agglomération enquêtée, des estimations de statistiques de pêche à l échelle d un secteur ou d un système géographique. Cahier des charges projet PPEAO Page 15 sur 18
A ce jour, les deux premiers sont quasi opérationnels. Ces trois modules sont appelables à partir de la fenêtre https://devppeao.mpl.ird.fr/accueil.php. Il s agira donc de lier cette adresse au menu de gestion de la base de données. Ces programmes, créés lors de la réalisation du lot 2, s exécutent sur l ensemble des données de pêche artisanale que contient BD_PPEAO. Leur temps de calcul est grand dès que la base de données atteint une dimension notable. Des tests sur 40.000 enquêtes de débarquement n ont pas abouti. Or actuellement la base Pechart contient plus de 120.000 enquêtes de débarquements et plus de 310.000 enquêtes d activité. En conséquence, pour éviter de longs temps de calcul à chaque mise à jour de BD_PPEAO, ces programmes pourront aussi être exécutés lors du portage de nouvelles données de pêche artisanale (voir III.4), avant leur intégration dans la base BD_PPEAO générale. III.4 Module de portage de données Dans la version actuelle de la base BD_PPEAO (version pré lot 3), les bases qui font référence, sont toujours celles construites sous Access et gérées par des programmes Visual Basic (voir 1.1). Le processus d importation des données, qu elles soient de collecte récente ou qu elles correspondent à des données plus anciennes, est lié à l exécution du produit du lot 1 : exportation de données sous Access via un script vers des bases PostgreSQL, puis importation de ces données dans la base BD_Peche (voir 1.2 et schéma 1). La réalisation du lot 2 (programmes de transformation des données de pêche artisanale, extraction sélective de données, voir I.3) impose actuellement l ajout de 8 tables (voir annexe 1 4) ; ce nombre de tables augmentera sans doute en fonction de l évolution de certains programmes non validés à ce jour. Il est donc nécessaire de réaliser un processus de transfert de la base issue du lot 1 (46 tables) vers la base construite pour la réalisation du lot 2. Les clefs primaires de toutes les tables seront à ajouter et un certain nombre de contraintes, à renseigner. Certaines tables nécessaires à la réalisation du lot 1, ne se justifient plus à ce stade et ne seront pas exportées : il s agit des 4 tables sys_xxx et sans doute des 4 tables pg_xxx. Enfin certaines variables peuvent être supprimées car elles ont servi lors de l importation faite au lot 1, mais ne sont plus nécessaires : ce sont les variables code des tables art_activite, art_debarquement, art_engin_activite, art_engin_peche, art_fraction, art_lieu_de_peche, art_poisson_mesure, art_unite_peche. Dans la phase actuelle (pré lot 3), le portage entre BD_Peche et BD_PPEAO est réalisé manuellement (Schéma 3). Il s agira dans le cadre du lot 3, de construire un module (Schéma 4) qui : fait une sauvegarde de la base BD_PPEAO. Cette sauvegarde permettra de restaurer l état initial en cas de problème lors de l exécution du module de portage. fait la comparaison entre les tables du référentiel d une part, les tables du paramétrage d autre part pour effectuer les mises à jour dans BD_PPEAO, ajoute les nouvelles données de pêche scientifique en incrémentant les tables correspondantes dans BD_PPEAO, effectue de façon automatique les programmes de recomposition des données et de calcul des statistiques de pêche par agglomération si le portage comprend des données de pêche artisanale, ajoute dans BD_PPEAO les nouvelles données de pêche artisanale ainsi que le résultat des calculs automatiques qui viennent de s exécuter, vide l ensemble des données contenues dans BD_Peche si le portage est validé, Cahier des charges projet PPEAO Page 16 sur 18
efface les bases de données intermédiaires créées par l exécution du lot 1 (bases de données PostgreSQL de format similaire aux bases de données Access) et la sauvegarde de BD_PPEAO réalisée au début du portage. BD_PPEAO Pechexp Transfert BD_Peche vers BD PPEAO Script Access - BD_Peche Application Internet Pechart BD_Peche Schéma 4 : portage automatique des données suite à la réalisation du lot 3. Toute erreur au cours de cette opération de portage, remettra les bases BD_Peche et BD_PPEAO dans l état initial avant portage ; un message d erreur dans le journal signalera cet arrêt de portage avec indication de la cause de cet arrêt. Certaines tables, créées pour la réalisation des programmes du lot 2, comme pour un certain nombre à venir, doivent rester renseignées. L information qu elles contiennent, est indépendante du transfert BD_Peche vers BD_PPEAO : ce sont les tables qui gèrent les utilisateurs (ref_utilisateur, ref_systeme_date_butoir et ref_autorisation_exploitation) et celles qui archivent les informations sur les efforts de pêche. Par la suite, d autres tables qui apparaitront nécessaires, seront créées pour compléter la base PPEAO. Tant que la saisie est effectuée au niveau des logiciels Pechart et Pechexp et que l information nouvelle, pour être archivée dans BD_PPEAO, suit le schéma 3, ce module de portage sera utilisé. Cahier des charges projet PPEAO Page 17 sur 18
Liste des annexes : Annexe 1 : Liste des tables de la base BD_PPEAO. Annexe 2 : Offre d hébergement d applications scientifiques au SIL de Montpellier. Annexe 3 : Exemples de contenu de pages web informatives Cahier des charges projet PPEAO Page 18 sur 18