Projet Cooperate Développement scientifique Exemple d exploitation commune de bases de données
Sommaire Introduction Objectifs principaux Présentation Exemple de mesures Schéma fonctionnel Structure des BDDs Extensions thématiques au projet Exemple de sites inclus dans COOPERATE Application web principe Application web démo Choix architectural Solutions techniques Souplesse d emploi Quelques chiffres (pour l O 3 HP) Perspectives verticales
l idée «Common database for field sites dedicated to experimental studies on climatechange in Southern France» O 3 HP (OHP, CNRS) Puechabon(CEFE, CNRS) CLIMED (Marseille, ANR/IMBE) Fontblanche (Roquefort-la-Bédoule INRA)
Exemple de Mesures T, rh%, radiation & météorologie générale échanges gazeux à l échelle de la canopée échanges gazeux foliaires relevés /échantillons/ saisie biologiques & chimiques & physiques Motif radial by J Cermak flux de sève & croissance relations hydriques Profil geoelectriquepar D Hermitte& J-C Parisot
inter-site inter-face éxperimentateur & modélisateur inter-net interdisciplinaire inter-national inter inter-ligent inter-échelle inter-generation inter-opérabilité L interopérabilité est la capacité que possède un produit ou un système, dont les interfaces sont intégralement connues, à fonctionner avec d'autres produits ou systèmes existants ou futurs et ce sans restriction d'accès ou de mise en œuvre. definition-interoperabilite.info
Exemple de sites inclus dans Cooperate Site O3HP Site ICOS Site Sentinel Site Climed etc.. : zone de base : Capteurs (exemple d emplacement) : secteurs générateur de données CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
Schéma fonctionnel Site 1 Serveur FTP Centre de Calcul BDD thématique 1 BDD thématique 2 (Ex: O3HP,Sentinel,Icos) Site 2 Serveur De Traitement Commun BDD thématique 5 BDD thématique 6 Sauvegardes Interface d administration (utilisateurs privilégiés) Site 3 (Ex: Climed) Sauvegardes Serveur De Traitement Fichiers texte (csv) BDD thématique 3 BDD commune Serveur Web Commun Interface d interrogation et consultation Export Graphiques, Fichiers CSV, images, Tableaux Résultants des interrogations Serveur FTP Fichiers texte (csv) Site 4 Sauvegardes BDD existante BDD thématique 4 Serveur De Traitement BDD existante Relevés manuels Site 5 Site 6 (Ex: Meteo OHP) (Ex: Phénologie) Web service(s) Site 7
Tables thématiques Structure des BDDs Tables communes Tables statistiques
Extensions thématiques au projet BDD Caractéristiques des Plantes/ Faune/ Microbes BDD Caractéristiques du Sol Requêtage BDD thématique(s) BDD commune Tables thématiques Tables communes Interaction Bases de données thématiques Statistiques
Application web principe Bandeau et menus gérés par un CMS. Iframesdéclenchés par les boutons du menu. Contenus indépendants du CMS utilisé.
Application web démo
Choix architectural Equipements pour BDD» machine physique multi-processeurs» disques SAS Interfaces Web + calculs» VM puissante OS : Développement : / / / (pour les menus) BDDs commune et thématiques Sauvegardes journalières Systèmes + données (Savenet)
Solutions techniques Affichage multi-mesures / multi-sites bib. HighCharts Requêtes sur toutes les BDD en même temps Modèle BDD + mécanisme PostgreSQL : postgres_fdw (foreign Data Wrapper) Rapidité des requêtes hardware / software / Modèle BDD (1 table/capt. + évolution dynamique de la BDD avec détection des nouveaux objets). Stockage optimisé calcul de l espace nécessaire au préalable Affichages et export : calcul à la volée des données à la minute/jour/mois/année Vérification et validation des données Automatiques, semi-automatiques et manuelles (en cours)
Souplesse d emploi Souplesse sur les normalisations et données en entrée pas de contrainte sur le pas de temps, sur les noms des capteurs, etc. Rajout d un nouveau site en «1 clic» avec un besoin de très peu d infos Scripts génériques Customisation de quelques heures à 1 semaine» Rajout de méta-infos, nommage d éléments, etc Code générique : installation possible ailleurs D un site (site 3 & 4 dans slide «Schéma fonctionnel») De l ensemble de l architecture pour des besoins différents
Quelques chiffres (pour l O 3 HP) Données extraites des capteurs Cyclique : toutes les 5 minutes à toutes les secondes # 2 500 000 valeurs / jour BDD thématique 1 500 tables, > 1 000 000 000 enregistrements Application Web et scripts d insertion > 30 000 lignes de code Projet informatique 2 ans de conception et développement en moyenne : 1,2 H/J (3 ingénieurs à temps partiel)
OHP -Perspectives verticales 0 m 35000 m Station Gérard Mégie temporary installations 4 km - 80 km ANR CANOPEE 70 m -20000 m 10 m -100 m 2 m -10 m -8 m to 6 m CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
Coopérations envisageables???
Financement et soutien Références Site Web O 3 HP : https://o3hp.obs-hp.fr/index.php Application Web O 3 HP : https://o3hpbd.obs-hp.fr/db/index.php Application Web COOPERATE (en développement): https://o3hpbd-dev.obs-hp.fr/db/index.php Merci de votre attention