Plate-forme de valorisation et d'échanges de données SERRES Sébastien ROMON SO / PCI ESAD Thomas DURLIN NP / PCI ESAD Séminaire SERRES 21 mars 2013 www.developpement-durable.gouv.fr
Plan L'objectif de l'action La démarche La solution technique retenue Les données La cartographie Autres éléments techniques du site Perspectives de développement 2
Objectif de la plate-forme Dans le cadre de l'action 3 «Evaluation pluri-critère», constat : Importance cruciale des données pour l'évaluation et la recherche Expérimentations lourdes à mettre en œuvre : moyens matériels et humains, partenariat,... Généralement une valorisation unique ou limitée : auteurs initiaux, dans une seule thématique, Permettre les valorisations ultérieures en proposant un outil partagé : la plate-forme de valorisation et d'échange de données SERRES 3
Objectif de la plate-forme Principes : Un outil partagé à l'ensemble des partenaires de SERRES Des données multi-thématiques : trafic ponctuel et trajectoires, émission sonores et environnementales,... Des données de qualité et renseignées : localisation, description des modalités de recueils, Des outils pour faciliter leur exploitation : pré-visualisation, outils de traitement, Une pérénité au delà de SERRES 4
Démarche Une note méthodologique en 2011 analysant : Les enjeux associés à une base de données partagées Les types de données envisagées Les différentes composantes techniques : base de données, architecture, serveur web, hébergement,... Un prototype construit en 2012 : Mise en œuvre de la solution technique Récupération de premiers jeux de données Une ouverture en cours : Diffusion de la plate-forme et communication Association d'autres partenaires 5
Solution retenue http://serres-data.org/index.php/serres Site internet dynamique Langage : PHP utilisation du framework CodeIgniter Base de données MySQL : stockage des informations relatives aux fichiers de données (métadonnées) Données stockées sous forme de fichiers csv 6
Solution retenue Gestion des utilisateurs à différents niveaux : Utilisateurs non identifiés Accès à l'ensemble du site sans pouvoir télécharger de données Membres du sites Accès à l'ensemble du site et téléchargement de données Fournisseurs de données Accès à l'intégralité du site et téléchargement de données Possibilité d'ajouter et modifier des données et des stations de mesures 7
Les données Typologie des données : Données de trafic Données individuelles (stockage fichiers) Données agrégées 6 minutes (stockage dans base de données) Données qualité de l'air Véhicules traceurs Données LAVIA, données GPS collectées pour calcul de temps de parcours Données de modélisation (bruit et pollution) 8
Méta-données Jeux de données associés à : Un projet, une expérimentation, un site de test,... Un référant Des rapports Informations sur les jeux de données : durée du recueil, données contextuelles,fréquence d'enregistrements,... Matériels utilisés Description du contenu des fichiers : nom des champs, unités,... 9
Données individuelles de trafic (1) Données associées à un projet On ne recueille pas des données pour le plaisir Données associées à une station de mesures Données disponibles sous formes de fichiers CSV zippés Description du contenu des fichiers Nom et unité des paramètres du fichier (date YYYY-MM-dd, heure hh:mm:ss.cc, Longueur (dm), Vitesse (km/h),... Description et codage des voies de circulation 0 Sens nord-sud Voie de droite 2 Sens nord-sud Voie de gauche 4 Sens sud-nord Voie de droite 6 Sens sud-nord Voie de gauche 10
Données individuelles de trafic (2) Liste des données individuelles 11
Données individuelles de trafic (3) Informations sur le fichier de données 12
Visualisation des données individuelles (2) 14
Données qualité de l'air (1) Liste des stations de qualité de l'air (projet MoCoPo) 15
Données qualité de l'air (2) Visualisation des mesures de polluants Polluant CO 16
Données qualité de l'air (3) Particules fines 17
Stations de mesures Stations de mesures Stations de trafic Route (nom, nombre de voies, vitesse réglementaire,... Voies instrumentées Paramètres mesurés,... Stations Qualité de l'air Nom Localisation (longitude, latitude) Fabriquant Stations Mesure de bruit Polluants mesurées (No,NO,PM 10, PM 2.5,C0,O3) Environnement (urbain, VRU, rase campagne) 18
Cartographie (1) Utilisation de l'api d'openlayers + OpenStreetMap / Google Maps 19
Cartographie(2) Cartographie des sites expérimentaux et stations de mesures Téléchargement des sites au format kml Yvetot - La Mailleraye MoCoPo - Rocade sud Grenoble 20
Autres éléments techniques du site Module d'authentification Gestion de la session Mise à jour du site Ajout de données 21
Module d'authentification Authentification : Obligation de s'authentifier pour télécharger des données Authentification par login et mot de passe Mot de passe crypté sans possibilité de le récupérer dans la base de données et possibilité de régénérer un nouveau mot de passe en cas d'oubli Inscription : Validation de l'inscription par email (vérification de l'email renseigné lors de l'inscription) Inscription automatique pour les utilisateurs ayant une adresse email se terminant par ifsttar.fr et developpement-durable.gouv.fr Sinon demande à l'administrateur du site 22
Gestion de la session Utilisation de cookies Cookie à validité limitée dans le temps Il n'est pas nécessaire de se ré-identifier à chaque fois que l'on accède au site dans la journée Données cryptées Absence d'informations confidentielles stockées dans le cookie 23
Mise à jour du site Les fournisseurs de données peuvent mettre à jour et insérer des stations de mesures 24
Ajout de données Pour la mise à disposition de données, pour le moment seul l administrateur peut mettre en ligne les données Développement d'une boîte à outils permettant de produire des données compatibles avec le site internet Fichiers csv Données brutes Boîte à outils Méta-données Données 6 minutes 25
Perspectives Passer du prototype interne à un outil fonctionnel : Améliorer l'outil Confirmation de certains choix techniques Ajout de fonctionnalités pertinentes Aide et information sur le site Ettoffer la base de données : Ajout de données de nature différente (bruit, environnement) Complément sur les Associer d'autres partenaires : Groupe de suivi de la plate-forme Rapprochement avec d'autres expérimentations 26
Merci de votre attention 27