Mise en œuvre de l interface web découverte et accès aux données d océanographie opérationnelle in situ.

Transcription

1 Département IMN Unité Informatique et Données Marines Service Ingénierie des Systèmes d Information (ISI) Thierry Carval, Jean-François Le Roux, Jérôme Detoc Mise en œuvre de l interface web découverte et accès aux données d océanographie opérationnelle in situ. N 16/

2 2 Table des matières 1 OBJET DU DOCUMENT DESCRIPTION DE LA PRESTATION CONDITIONS DE LA PRESTATION LIVRABLES DE LA PRESTATION SPECIFICATIONS GENERALES DECOUVERTE D UN RESEAU D OBSERVATIONS ACCES PAGES EDITORIALES AIDE EN LIGNE, DOCUMENTATION ET INFORMATIONS ACCES NEWS PROJET/RESEAU/VUE ACCES CARTOGRAPHIQUE ACTION SUITE A UNE SELECTION UNIQUE (CLIC SUR UN POINT DE MESURE) ACTION SUITE A UNE SELECTION MULTIPLE (RECTANGULAIRE OU SERIE DE SELECTION MANUELLES - CLIC + BOUTON) LISTE SELECTION DIFFUSION ADMINISTRATION PROJET/VUE SERVICES OFFLINE REPORTING ET RETOUR AUX FOURNISSEURS DE DONNEES CONTRAINTES TECHNIQUES AVANT-PROPOS JEU DE DONNEES REQUETAGE DES METADONNEES : ELASTICSEARCH OU SOLR INTERFACE WEB CARTOGRAPHIE REQUETAGE DU JEU DE DONNEES TRAITEMENT DES DONNEES DISTRIBUTION DES DONNEES ET TRAITEMENTS SCHEMAS D ARCHITECTURE ANNEXES... 10

3 3 1 Objet du document Le présent document est le cahier des charges pour la mise en œuvre de l interface web découverte et accès aux données d océanographie opérationnelle in situ. Cette interface web répond aux besoins des projets : CPER ROEC (Contrat de Plan état-région, Réseau d'observations [Haute Fréquence] pour l'environnement Côtier) Projet européen JERICO-NEXT Projet européen AtlantOS Projet européen ENVRIPLUS Autres projet à venir 2 Description de la prestation Dans le cadre d une série de projets (Ifremer, région, Europe), l Ifremer développe et fait évoluer des interfaces de découverte et accès aux données d océanographie in situ. L ensemble des données et métadonnées d océanographie est placé dans un espace de diffusion performant et évolutif (base de données Oracle Coriolis, cloud NoSQL). La prestation concerne le développement de l interface web de découverte et accès aux données et métadonnées de cet espace de diffusion. L interface web est une refonte complète du web sélection de données et «web des réseaux eulériens», développé il y a une dizaine d années dans le cadre des précédents projets «Previmer» et «Coriolis». Méthode agile Afin d assurer l adéquation entre l interface web et les besoins des utilisateurs, la solution logicielle sera développée à l aide de méthodes dites «agiles». Ces méthodes permettront des livraisons régulières d un périmètre fonctionnel défini à l avance. La production du logiciel sera donc séquencée en jalons courts. Ces livraisons régulières de jalon constitueront des rendez-vous de débats entre l équipe de développement et les utilisateurs du logiciel. Spécification générale Le cahier des charges contient la description du cas d utilisation, les spécifications fonctionnelles du service «découverte et accès aux données» et les contraintes techniques.

4 4 Gestion des actions web découverte et accès aux données in situ De façon régulière, une liste des actions «Web découverte et accès aux données in situ» est mise à jour ; de nouvelles actions sont créées. Le prestataire doit prendre en charge les actions de développement du projet. A ce jour, la liste comporte 10 actions : id résumé créer les pages éditoriales V créer l'accès à la documentation créer accès news - projets - réseaux - vues configurer l'accès cartographique gérer la sélection unique (clic cartographique) gérer sélection élastique gérer la diffusion des données administrer projet-vues gérer les services offline gérer le reporting et retour aux fournisseurs de données Les actions sont gérées sur le Mantis Ifremer. 3 Conditions de la prestation La prestation se déroulera dans les locaux du sous-traitant avec des points réguliers avec l'ifremer. 4 Livrables de la prestation Chaque mois, un rapport d'avancement de la prestation sera fourni à l'ifremer. A l'issue de la prestation, un livrable sera fourni à l'ifremer. D1 : rapport faisant le bilan de la prestation. 5 Spécifications générales 5.1 Découverte d un réseau d observations La page d'accueil doit être essentiellement constituée d'une carte interactive et d'un bandeau/cartouche/cadre de navigation (type: )

5 5 L utilisateur sélectionne les données auxquelles grâce à une interface web fluide à toute modification de critère. L ensemble des critères est disponible et modifiable à tout moment. Cette modification est aisée y compris pour les sélections géographiques et temporelles Les métadonnées font l objet d une recherche fulltext et d une recherche à facettes Accès pages éditoriales Présentation générale du réseau Aide en ligne, documentation et informations Un bouton "I" pour ouvrir la documentation en ligne Accès news projet/réseau/vue Prévoir une fonctionnalité news (possibilité de les automatiser et de les désactiver) Accès cartographique Attention : à l'affichage, il faut un minimum d'information d'affichées sans clic préalable (position des bouées, actives/non actives,...) Attention : élément technique important - temps de réponse optimisé y compris pour de grandes périodes temporelles Zoom par sélection d'une zone à la souris par roulette souris par bouton ± Fond de carte par défaut adapté au contexte (côtier, régional, hauturier) Filtres logiques avec affichage du filtre actif filtre par type de plateforme filtre par paramètre mesuré filtre par région géographique filtre par fournisseur de données filtre par projet filtre temporel de type time line (bornes début-fin dynamique) - par défaut 30 derniers jours affichés - recherche texte choix fond de carte bathymétrie isolignes Sélections multiples par zone rectangulaire par polygone par liste (exemple: ouverture d'une page avec une liste de plateformes - tableau - que tu peux sélectionner pour le choix des données à télécharger)

6 6 par station à la souris+touche clavier... pour sélectionner un nombre de stations qui ne sont pas forcément dans la même région (ne rentrerait pas dans un seul rectangle) Changement symbologie des points de mesure par type de plateforme par paramètre par actif/non actif Partage de carte (comprenant emprise, fond de carte, sélections, symbologie...) export de l'image de la sélection/carte (pdf, png,...) Accès métadonnées plateforme au survol fournisseurs de données plage temporelle, date dernière mesure paramètres mesurés position géographique Affichage position géographique du pointeur de la souris Action suite à une sélection unique (clic sur un point de mesure) Affichage métadonnées détaillées + logos A minima contenu actuel WRE avec tracé données demandées (série temporelle, profil,...) Possibilité téléchargement données (nc, csv,...) Possibilité export images séries temporelles (individuellement) Si trajectoire associée (TSG, FerryBox), afficher carte associée Si profil, mini carte avec position du profil Images dynamiques affichage valeur, nom variable et date par survol de la souris, zoom in/out avec molette souris sur la série considérée personnalisation des axes, des titres à l'export, des barres de couleur le cas échéant, choix de la dimension à l'export, possibilité d'afficher plusieurs variables et valeurs ajustées/non ajustées Affichage information sur la vie de la station (changement de sonde, lien vers rapports d'étalonnage,...) Voir pour afficher chronologie... changement capteur par exemple sur la courbe. Pouvoir superposer la courbe de marée Action suite à une sélection multiple (rectangulaire ou série de sélection manuelles - clic + bouton) Liste sélection Affichage boîte de dialogue avec 2 choix : 1) accès à une page de type de celle de la sélection unique avec superposition des courbes des différentes stations sélectionnées (attention à conserver toutes les fonctionnalités comme l'export). ok si type de plateforme identique si type de plateforme différent, option (1) non disponible

7 7 2) accès à une page liste / tableau offrant les possibilités d'export (cf. Emodnet quand sélection rectangulaire) liste sous forme de tableau de la sélection par plateforme: affichage des paramètres, lien vers la description, période de disponibilité possibilité de téléchargement pour la période de sélection, pour toute la période de disponibilité, pour une période (re)définie sur cette page. possibilité de sélectionner un ou plusieurs paramètres (par exemple: température pour toutes les palteformes sélectionnées) possibilité de modifier la liste (enlever des lignes/plateformes) en rouge/gras: Mention/citation à utiliser lors de l'usage des données. contact pour information (cdoco-exploit ;-) ) Diffusion Si identification avant téléchargement, laisser possibilité de mode d'identification (Renater, Ifremer, MarineID,...) Administration projet/vue La création d un site thématique/vue est effectuée par l administrateur du système. A la demande d un chef de réseau d observations ou de projet, il déclare les plateformes du réseau. Exemples : Réseau de bouées Marel, HOSEA ou Coriolis côtier. L'idée reste d'avoir une structuration commune qui puisse être utilisée pour d'autres réseaux avec une souplesse de personnalisation pour insérer l'identité visuelle du réseau (possibilité de modifier les feuilles de style). Possibilité changer texte description, logo, rajouter plateforme existante dans la base dans l'affichage du site. Gérer différentes vues : public, monitoring,... Services utilisateurs identifiés o alertes (dépassement de seuil, pas de données,...) o abonnement flux rss + liste diffusion o possibilité de personnaliser vue pour arriver directement à l'information (exemple: Loïc souhaiterait arriver directement sur les navires de recherche du dernier mois) o raccourci pour charger une vue (exemple: une vue FerryBox, une vue Marel,...) Services offline Pouvoir par script (type shell) récupérer les données Services WMS/WFS pour interroger dans SIG (par paramètre, par plateforme, par réseau,...) Web services type Pouvoir générer un graphe (par URL) pour pouvoir l'afficher dans un site externe tout en conservant une traçabilité de ce type d'usage.

8 Reporting et retour aux fournisseurs de données Gérer un reporting des usages du site (statistiques). Pas uniquement les téléchargements mais aussi les visites et toutes les requêtes (typiquement si un site externe requête la base tous les jours pour afficher une courbe). 6 Contraintes techniques 6.1 Avant-propos Il est recommandé lors de cette consultation, si vous en avez la possibilité, de vous prononcer sur les contraintes exposées ci-dessous. 6.2 Jeu de données Observations in-situ d océanographie opérationnelle 5 milliards de meures in-situ 80 paramètres mesurés plateformes De 1900 à nos jours Les jeux de données doivent être poussés et mis à jour quotidiennement sur le cloud Ifremer. Format du jeu de donnée 5 milliards d enregistrement actuellement au format texte ID DOI platformcode datatype x y z t parameter value qc L'infrastructure matérielle et logicielle qui accueillera les données est à dimensionner dans le cadre de cette consultation L'infrastructure logicielle doit utiliser des solutions open source L'extraction d'un millier de valeurs parmi l'ensemble doit être instantanée L'infrastructure doit être adaptée pour écrire et lire en dizaine de MO/s les formats NetCDF et CSV. La suite logicielle et les données sont transportables et déployable simplement dans le cloud Ifremer et partenaires. Les données et métadonnées sont gérées en base de données Coriolis (Oracle 11). De façon régulière les données et métadonnées sont diffusées vers : 1200 fichiers mensuels de données : fichier csv à 15 colonnes Un fichier de métadonnées : fichier json Ces données et métadonnées sont diffusées vers le cloud Ifremer.

9 9 6.3 Requêtage des métadonnées : ElasticSearch ou SolR Du prototypage a permis de valider les solutions ElasticSearch et SolR pour indexer les métadonnées et requêter en REST depuis un navigateur web. 6.4 Interface web L interface web est fonctionnellement très proche de la sélection de données Coriolis. L interface web doit se présenter et fonctionner de manière similaire à Google maps L interface web repose sur le framework angularjs L interface web exploite les possibilités HTML5/CSS3 L interface web suit le Material Design. L interface web suit un thème bootstrap L interface web est fonctionnelle sur plusieurs environnements PC, tablette, mobile Cartographie Les besoins cartographiques sont rendus par la bibliothèque OpenLayers Requêtage du jeu de données Le jeu de données est placé sur une maquette de la future infrastructure datarmor Les données sont stockées sur un système de fichiers GPFS et indexées dans HBASE. L'extraction d'un millier de valeurs parmi l'ensemble doit être instantanée. Le langage PIG est pressenti pour l extraction. L'infrastructure doit être adaptée pour écrire et lire en dizaine de MO/s les formats NetCDF et CSV. 6.6 Traitement des données Les besoins en traitements de données ne sont pas définis à ce jour. 6.7 Distribution des données et traitements Il faut réaliser des conteneurs applicatifs permettant de déployer le périmètre dans des environnements hétérogènes du cloud Ifremer. Le jeu de données Indexation / Requêtage des métadonnées Indexation / Requêtage des données

10 Schémas d architecture Composants du système de découverte et accès aux données in situ 7 Annexes Dossier de spécification fonctionnelle du web des réseaux eulériens, réf. cordo-dsf co0501-diffusion-web-reseauxeuleriens Dossier de spécification du web «sélection de données Coriolis», CORDO-DSF DiffusionWebCoriolis