STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES [SHOFM G06]

Transcription

1 CHAPITRE 10 STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES [SHOFM G06] 10.1 Introduction La disponibilité de suffisamment de données de bonne qualité est nécessaire à toutes les facettes de l hydrologie, depuis la recherche jusqu à l évaluation des ressources en eau en passant par toute une série d applications opérationnelles. La signification de «suffisamment» pourra varier selon l application considérée et elle sera discutée ailleurs. C est la notion de «bonne qualité» et le problème de l accès aux données, de même que celui de la disponibilité des données pour toute une gamme d utilisateurs, qui seront traités dans ce chapitre L importance des données L aboutissement de la collecte de données, depuis la mesure des précipitations, l enregistrement des hauteurs d eau et les jaugeages jusqu au suivi des eaux souterraines et à l échantillonnage de la qualité de l eau est un ensemble de données utilisable pour la prise de décision. Les décisions peuvent être prises sur la base des données brutes, de statistiques qui en sont tirées ou des résultats de diverses étapes de modélisation réalisées grâce à elles, mais ce sont finalement les données collectées qui constituent le support de ces décisions. Les données brutes, qu elles soient sous la forme de fiches remplies sur le terrain, de graphiques ou de rapports, doivent rester disponibles après traitement. Certaines erreurs de report ou de traitement ne peuvent être détectées qu au moment de leur examen minutieux par les utilisateurs. Il peut être parfois nécessaire de contrôler les transcriptions faites à partir des originaux ou de réévaluer l interprétation d une source douteuse. Les enregistrements provenant d un site de mesure particulier pourront être vérifiés par un nouvel échantillonnage, dans la perspective d un futur développement ou lorsque des modifications technologiques entraînent une amélioration des normes. Dans ces cas-là, un nouveau traitement des données s impose. C est pourquoi les valeurs originales doivent être archivées de façon sûre. Le lieu d archivage devrait être complètement séparé de la base de données informatique et sécurisé. Tout ensemble de données a évidemment une grande valeur puisqu il résulte d un investissement considérable en temps et en argent. La gestion des données est donc en soi un travail important et ce travail doit être effectué efficacement afin de maximiser les retombées de l investissement. Une archive hydrologique bien conçue et bien gérée devrait consolider les efforts consacrés à la collecte des données afin d offrir une source fiable de données de grande qualité pour les décennies et siècles à venir. Une archive médiocre, en raison d une mauvaise conception initiale ou d une gestion défaillante, peut, pendant des années, obliger à faire davantage de collecte ou de modélisation et affaiblir la prise de décision. L archive peut très rapidement devenir redondante. De plus des données et bases de données médiocres conduiront à des décisions de planification sous-optimales et à des ouvrages mal conçus. L intégrité des données est également un problème important. La compréhension des succès ou des limites du travail dans tous les champs de l hydrologie repose souvent sur la compréhension de la qualité des données sur lesquelles il s est fondé. Bien entendu, l échelle de la gestion des données dépend de celle de l opération entreprise: un vaste projet hydrologique détaillé exigera des techniques de gestion plus complexe et davantage de stockage informatique qu un petit projet ne s intéressant qu à peu de variables pendant une durée limitée. Mais l échelle de la gestion des données dépend aussi d autres facteurs. Comme pour le volume des données, il y a souvent des contraintes budgétaires et on ne peut consacrer à l archivage qu une partie de temps de travail alors que les grands systèmes de gestion de données ne sont pas financés. La capacité des employés à gérer les données peut elle-même être une contrainte et le niveau de la gestion des données dépend de l expérience et du savoir-faire du personnel. Toutefois, en dépit d une diversité potentielle d échelles, certains aspects essentiels se retrouvent dans tous les systèmes de gestion des données hydrologiques. Le présent chapitre décrit en détail ces différents aspects de la gestion des données, en insistant sur une approche générale et en précisant le côté concret des cas extrêmes Processus de la gestion des données Les données hydrologiques suivent un cheminement bien défini depuis le point de collecte, qui

2 I.10-2 GUIDE DES PRATIQUES HYDROLOGIQUES constitue l entrée du système, puis par la validation et enfin la diffusion et l utilisation dans la prise de décision. Quelle que soit l échelle de l application et le niveau technologique de la gestion de données, ce cheminement est essentiellement le même, comme on peut le voir sur la figure I.10.1 ci-dessous. La liste du tableau I.10.1 résume quelques-uns des ensembles de données à diverses étapes du processus de gestion des données. Il s agit là d un panorama de l ensemble du processus de gestion des données. Certains aspects de ce processus sont discutés en détail dans le chapitre 9. Ici on insistera sur le stockage, l accès et la diffusion des données et sur leur insertion dans le processus de la gestion de données. On trouve dans le Guide des pratiques climatologiques (OMM-N 100) une description détaillée des procédures préconisées pour le stockage et la classification des données climatologiques. La plupart de ces considérations peuvent également s appliquer aux données hydrologiques, même si elles exigent un traitement quelque peu différent au niveau de l efficacité du stockage. De nombreux pays rassemblent de grandes quantités de données climatologiques et hydrologiques; il ne leur est pas possible de stocker toutes les valeurs originales. Cependant, avant de détruire les originaux, il faudrait en faire des copies (en les numérisant par exemple) ne requérant qu une place réduite par rapport à celle qu occuperaient les documents sous leur forme originale, qui peuvent alors être éliminés. Quel que soit le médium sur lequel sont stockées les données, il faudra minimiser la détérioration des enregistrements par une température excessive ou fluctuante, par une humidité élevée, la poussière, les insectes et autres ravageurs, les radiations et le feu. Si cela est possible, une copie des enregistrements devrait aussi être conservée au centre de collecte principal et une autre, soit au centre régional, soit au bureau de l observateur. Les différents types de données d entrée et les procédures de traitement et de contrôle de qualité qui leur sont appliquées ont été décrits au chapitre 9. Les données d entrée peuvent provenir d observation enregistrées de façon manuscrite, de graphiques d enregistreurs, d enregistreurs automatiques et de feuillets manuscrits ou de fichiers informatiques contenant des mesures de débits instantanés (jaugeages), ainsi que la section de la rivière, les profils de profondeur et de vitesse et souvent une information descriptive sous forme textuelle. Fonction Outils Processus Produits Outils d entrée des données Entrée Données brutes Employé chargé de la saisie des données Outils de traitement Traitement primaire Données traitées Hydrologue Outils de validation Validation Gestionnaire de l archive Outils d analyse Traitement secondaire Base de données Outils d interrogation Analyse Utilisateur de l archive Outils de reportage Intégration Produits de données Diffusion Archive de métadonnées Figure I Schéma de gestion des données

3 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I.10-3 Tableau I Processus impliqués dans la gestion des données Processus Entrée Traitement des données brutes Validation Traitement secondaire Sécurité et archivage Intégration avec d autres données Diffusion des données Description Les données sont obtenues à la source ou par des instruments, par enregistrement manuel, enregistrement automatique, numérisation ou d autres méthodes, et traduites dans un format approprié pour le stockage Données stockées sous forme concrète ou numérique, parfois les deux Les données brutes sont vérifiées pour détecter les valeurs erronées, et corrigées pour produire une série de données brutes corrigées Cette étape comprend le remplissage des données manquantes où nécessaire, la conversion en intervalles secondaires (par exemple calculs des séries moyennes et totales), la création de courbes de tarage à partir des nouveaux jaugeages et la traduction en débits ou volumes stockés des hauteurs d eau brutes Les données doivent être archivées de telle sorte qu elles soient accessibles mais sécurisées, bien documentées et classées Permettre l affichage des données avec d autres sources de données comme les fichiers de SIG Les données sont distribuées selon les demandes sous une forme adéquate aux modélisateurs, décisionnaires, organismes publics, etc. Exemples de catégories de données impliquées dans le processus Registres/formulaires des lecteurs de jauges (lectures du niveau une ou plusieurs fois par jour à partir d une échelle limnimétrique, accompagnées si nécessaire de notes complémentaires sur le contexte) Fichier de données brutes des enregistreurs de données automatiques branchés sur des capteurs souvent en format binaire ou maison Limnigrammes Fichiers informatiques ou formulaires consignant l information sur les mesures de débit instantanées (jaugeages), y compris la section de la rivière, les profils de profondeurs et de vitesses et l information descriptive Fichiers numériques ou données numérisées à partir de graphiques Séries chronologiques insérées dans la base de données, ou fichiers numériques d enregistrements de jauges et d information sur les jaugeages saisies manuellement Fichiers numériques de séries obtenues par conversion de fichiers d enregistreurs personnalisés, habituellement en format texte Séries de données de la base de données à chaque étape du processus de correction/ validation Texte décrivant les modifications, y inclus les méthodes utilisées et les raisons des corrections Lot de données pour chaque nouvelle série créée dans le processus de conversion Équation de tarage créée à partir des jaugeages, et texte associé décrivant le processus décisionnel de création de l équation. Les équations de tarage évoluent généralement au cours du temps et un bon historique du tarage doit être conservé Métadonnées permettant un accès rapide et facile aux données, de même qu un répertoire complet de l information disponible Nouveaux lots de données comme une couverture spatiale des précipitations déduite de mesures pluviométriques ponctuelles, ou des cartes piézométriques réalisées à partir de données de forages Sommaires, annuaires, etc. La diffusion de données se fait de plus en plus au travers des sites Internet

4 I.10-4 GUIDE DES PRATIQUES HYDROLOGIQUES On trouvera dans le tableau une synthèse des procédures participant à la gestion des données, depuis la saisie des données brutes jusqu à la diffusion des données traitées, de même que les données impliquées dans ces processus. Il est clair qu il existe potentiellement un grand nombre de jeux de données à chaque étape du processus de traitement, et qu il faut décider quelles données devraient être stockées, et comment cela devra être réalisé dans une archive hydrologique efficace. On trouvera plus bas une description du stockage des données, de leur analyse et de la production de l information, ainsi que de l accès à l information et de sa diffusion à toute une gamme d usagers. Après le traitement et le contrôle de qualité décrits au chapitre 9, les données seront archivées sous une forme à laquelle seront associés toute une gamme d outils d analyse et de production d information, de même que des outils de consultation et de diffusion STOCKAGE ET EXTRACTION DE DONNÉES Stockage des données Un des points les plus importants en ce qui concerne la gestion des données hydrologiques est de savoir quelles données, parmi les nombreux ensembles de données produits, devraient être conservées. Il y a de nombreuses étapes dans le processus de la gestion des données depuis leur enregistrement jusqu à leur diffusion et chacune de ces étapes manipule un ou plusieurs jeux de données distincts. S il fallait stocker tous les ensembles de données intervenant au cours du processus, il en résulterait une archive déroutante et peu maniable. À l opposé si l archive hydrologique se réduit à un ensemble statique de données traitées et validées, il n existerait aucun moyen de comprendre comment les données ont été élaborées ou mesurées ni d évaluer les limites du jeu de données final. Un fichier traité de données de débit, par exemple, ne fournit aucune information sur le mode de mesure, le calcul des débits à partir des niveaux d eau, sur les éventuelles révisions ni sur la façon dont elles ont été réalisées. Il est donc nécessaire de choisir un mécanisme de stockage réaliste parvenant à un compromis entre ces extrêmes. La considération fondamentale à prendre en compte pour décider du niveau de détail du stockage concerne la reproductibilité. Dans un projet hydrologique, quelle qu en soit l ampleur, il est nécessaire que toutes les étapes allant des données brutes aux données finales traitées, soient compréhensibles et, le cas échéant, reproduites. Les utilisateurs des données traitées devraient être en mesure de voir rapidement et aisément, quels traitements les données ont subi et d en apprécier les limites potentielles. Cela n implique pas que toutes les modifications apportées soient retenues pour la postérité, mais plutôt que les données brutes devraient être conservées et que les modifications et hypothèses faites au cours de la validation et du traitement devraient être documentées et conservées. Il est aussi important que les utilisateurs puissent faire la distinction entre les données originales, celles qui ont été ajoutées pour combler les lacunes, et celles qui ont été révisées. Encore une fois, le niveau de détail du stockage sera fonction de nombreux facteurs, comme l espace de stockage disponible, le financement accordé au stockage et à la documentation, et le personnel disponible. Il faudra nécessairement réaliser un compromis entre l exhaustivité de l archive et les ressources y étant affectées. À l extrémité la plus complexe du spectre, un vaste et complexe projet hydrologique pourra utiliser un système de stockage de données permettant un audit automatisé de toutes les modifications réalisées, intégrant la date et l heure où elles ont été faites et en identifiant l opérateur. Il pourra aussi remonter la chaîne des révisions et reconstituer n importe quelle version antérieure de l ensemble de données. Un système plus simple pourrait ne comprendre que les données brutes et l ensemble final de données, accompagné d un fichier de notes retraçant les décisions prises et les révisions réalisées. Le processus est cependant essentiellement le même dans les deux cas: a) Les fichiers des données brutes doivent être conservés, que ce soit sous forme écrite (registres de lectures de jauges, graphiques d enregistrements) ou informatisée (fichiers bruts des enregistreurs, ou données télétransmises); b) Tous les fichiers de données traitées devraient être accompagnés d enregistrements de métadonnées détaillant l origine des fichiers individuels et les reliant aux fichiers dont elles sont issues; c) Les étapes importantes du traitement des données devraient être enregistrées, même si les données traitées ne constituent qu un stade intermédiaire entre les données brutes et les données diffusées. La décision concernant l importance doit être reliée à l échelle du système de gestion des données. Par exemple,

5 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I.10-5 si une série brute de niveaux d eau doit être seulement convertie en série de débits moyens mensuels, il serait souhaitable de conserver au moins la série validée des niveaux d eau et la série calculée des débits journaliers en plus de la série brute et de la série finale des débits moyens mensuels; d) Les modifications systématiques de parties de chaque série devraient être documentées en regard de l ensemble de données. Par exemple l utilisation d une origine pour une période d enregistrements de hauteurs ou la conversion d une période d enregistrements de hauteur par une courbe de tarage, qui doit elle-même exister en tant qu ensemble de données; e) Les modifications apportées à des valeurs individuelles, par exemple l interpolation de données manquantes ou la révision séparée d une valeur, devraient être documentées en regard de chaque valeur modifiée, avec des notes en regard de l enregistrement pris dans son ensemble indiquant à l utilisateur que la série a été modifiée; f) Le jeu de données résultant aura alors un catalogue complet de ce qui a été révisé et des causes motivant ces révisions. L utilisateur pourra alors comprendre les raisons et les méthodes des révisions de valeurs brutes et, à partir des données brutes, reproduire l ensemble de données Méthodes de stockage L une des considérations les plus importantes pour l archivage informatisé concerne la base de données qui sera utilisée. Le terme de base de données est parfois trompeur, désignant, dans les milieux hydrologiques et ailleurs, à la fois le système de base de données lui-même et le logiciel d interrogation de la base de données, d affichage et d analyse des données. Chacun de ces aspects est important pour toute archive individuellement et quelle qu elle soit, et sera traité séparément dans ce chapitre. Une base de données peut être simplement définie comme un système de classement de données électroniques. Tout assemblage organisé de données numériques est en effet une base de données. Plusieurs aspects importants de ces assemblages définissent la base de données la mieux appropriée à un cas particulier, en fonction des préoccupations principales des gestionnaires de données décrites dans la section Critères important pour les systèmes de stockage de données Lors du développement des systèmes de stockage de données, on doit prendre en considération un certain nombre de critères important parmi lesquels: a) La sécurité ceci comprenant les problèmes d accès et de droits administratifs pour les différents usagers; b) La facilité de maintenance; c) Les coûts, comprenant l investissement initial et les coûts récurrents, à savoir les licences de logiciels, la maintenance et le stockage; d) La facilité d interrogation; e) La puissance des outils d interrogation existants; f) La facilité de développement d outils d interrogation supplémentaires; g) La possibilité d intégration ou de liaison avec d autres sources d information ou de logiciels d affichage, comme les SIG; h) La faisabilité, compte tenu des infrastructures et des exigences des technologies de l information actuelles et des capacités du personnel; i) Un système de métadonnées, fournissant une information adéquate sur les données de la base; j) La possibilité de fournir un accès distant ou par réseau et la liaison avec des serveurs de réseaux ou sur la Toile. Bien sûr, chaque instance d une archive hydrométrique aura des importances différentes pour chacun de ces aspects, et de nouveau il y aura des situations très contrastées. Les exigences poussées d un grand réseau national, telles que le chargement automatique des données en temps réel, des liens avec des outils d analyse complexes et l accès d utilisateurs multiples de nombreuses organisations demandent un soutien technique important et coûteux, la formation des utilisateurs et souvent le développement d outils sur mesure. La base de données devra fonctionner sur une machine à hautes performances et des sauvegardes vers des bandes conservées en un lieu à l abri du feu devront être réalisées automatiquement. La base de données d un modeste projet peut par contre devoir être utilisée par un hydrologue isolé. Dans ce cas le chargement, l édition et l analyse des données doivent être des opérations simples rapidement maîtrisables. Il se peut que la base de données doive être suffisamment petite pour être envoyée par courriel à d autres utilisateurs. L archive hydrométrique d un pays de petites dimensions peut se révéler essentielle pour son devenir social, environnemental et économique, mais il se peut, par nécessité, qu elle ne dispose que d un très modeste budget. La collecte de données

6 I.10-6 GUIDE DES PRATIQUES HYDROLOGIQUES est coûteuse et des sommes consacrées à des systèmes trop avancés pourraient compromettre l objectif de l archive qui est de mesurer et de publier des données hydrométriques de bonne qualité. Une base de données doit cependant être durable: sécurisée, facile à utiliser sur le matériel disponible tout en fournissant les outils nécessaires. Les différents types de base de données (ici systèmes de gestion de données électroniques) peuvent être divisés selon les catégories suivantes Simples fichiers ASCII La base de données la plus simple peut être un ensemble de fichiers ASCII contenant les données, indexés sur un PC ou un périphérique. Un fichier séparé peut être utilisé pour stocker les données d une série chronologique particulière, avec peut être un répertoire différent pour les données de chaque station. Les avantages d un tel système est qu il ne coûte pas plus que l ordinateur sur lequel il est installé, qu il est très simple à mettre en place avec peu ou pas de connaissances informatiques, que les fichiers sont faciles à retrouver, que le format texte permet à n importe quel utilisateur de lire immédiatement les données et qu il permet de stocker n importe quelle sorte de données qui seront ensuite lisibles. Les désavantages de procédé tiennent à son manque évident de sécurité, à sa limitation à un utilisateur unique, au manque d outils graphiques et d analyse et à la difficulté de développement d outils de travail sur les données. De nombreuses organisations conservent néanmoins de tels systèmes, qui peuvent se révéler satisfaisants pour une petite structure stockant des copies de données archivées ailleurs lorsqu elles n ont pas besoin d analyse. La sécurité n est pas alors un problème, mais la légèreté de la maintenance est d importance primordiale Bases de données sur mesure De nombreux systèmes de stockage de données, en particulier ceux ayant été développés avant l explosion de la technologie informatique des années 90, utilise un format propre pour le stockage des données. Il s agit souvent de formats très compressés permettant le stockage d un volume de données important sur les espaces de mémoire limités disponibles alors. De plus l écriture de procédures dédiées pour accéder aux données sous un format spécifique peut permettre des extractions et sauvegardes des données très rapides, alors que toutes les procédures d un accès générique aux données sont évitées. Outre ces avantages propres aux systèmes sur mesure, une organisation ayant développé sa propre base de données a également accumulé un corps de connaissance considérable et devrait être en mesure de répondre efficacement à ses besoins propres aussi bien pour le stockage et l affichage de données, que pour les outils d analyse. Au titre des désavantages il faut compter l impossibilité d interfaçage ou d incorporation d autres technologies disponibles (qui caractérise des systèmes plus génériques) et le coût de maintenance des outils développés alors que les plateformes et les systèmes d exploitation sur lesquels ils fonctionnent évoluent. Il y a enfin le risque de ne compter que sur un savoir maison, ce qui peut amener des difficultés s il n existe pas de système de transfert de connaissance, et si ce savoir vient à se perdre d une façon ou d une autre Systèmes de gestion de bases de données relationnelles Les Systèmes de gestion de bases de données relationnelles (SGBDR) sont, comme leur nom l indique, plus que de simples bases de données. Il s agit généralement d un format spécifique de fichier pour le stockage de données (la base ellemême) associé à des protocoles de gestion et des outils logiciels d accès. Les plus complexes de ces outils peuvent comprendre une requête complète, le reportage, des outils graphiques et de publication. Plusieurs SGBDR bien connus sont disponibles dans le commerce. Ils sont très utilisés dans le monde entier et sont donc bien pratiqués et accueillis par les distributeurs et par les utilisateurs. Des techniques de développement de nouveaux outils sont aisément disponibles. La sécurité, le niveau d aide à l utilisation, la disponibilité des outils d interrogation, les prix et autres critères varient selon les systèmes Systèmes de bases de données hydrométriques spécialisés Les systèmes de bases de données que nous venons d évoquer ne sont rien de plus que des outils génériques pour le stockage de données. Ils doivent être adaptés par l utilisateur afin de satisfaire ses besoins particuliers. Il est très probable que les besoins de la plupart des hydrologues puissent être satisfaits par un système de bases de données hydrométrique spécialisé. Il s agit essentiellement de produits logiciels disponibles dans le commerce (même si parfois l installation du logiciel requiert en soi un travail considérable), qui peuvent être loués ou achetés. Ils comprennent fondamentalement un système de base de données, de l un des types décrits plus haut, qui a été adapté afin de prendre spécifiquement en

7 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I.10-7 charge les données hydrologiques courantes. Par exemple grâce à des tables et à des procédures manipulant précisément les types de données hydrologiques et qui stockent de manière appropriée les informations descriptives et les métadonnées qui ont été élaborées. En général, le système est fourni avec le logiciel permettant la gestion, la révision et la visualisation graphique des données, et ce logiciel est d une utilisation plus aisée que la base de données elle-même. De plus, beaucoup de ces outils de gestion des données sont complétés par des outils d analyse, capables par exemple de produire des courbes de débits classés à partir de données de débits, et des statistiques pour l ajustement de lois de distribution aux pointes de crues. Parmi ces logiciels nous citerons HYDATA, HYMOS, TIDEDA, HYSDSYS et WISKI. Les avantages et inconvénients de ces systèmes relèvent de ceux qui ont été mentionnés dans la section Ceux couramment disponibles varient généralement en taille, les plus petits sont faciles à installer et à faire fonctionner et sont bon marché d achat et d entretien. Les systèmes plus importants ont tendance à être plus coûteux, mais offrent davantage de possibilités avancées. Ils sont souvent bâtis autour d une base de données plus importante, mieux sécurisée, ce qui entraîne souvent des frais de licence supplémentaires pour le logiciel de base de données. Le choix d un système dépend donc des besoins de l usager et de ses capacités à l acheter et à le maintenir Capacités pour la gestion de bases de données Les bases de données peuvent être gérées par une personne seule ou par des équipes comprenant de nombreuses personnes, mais leur utilisation requiert généralement un savoir-faire particulier, qui détermine le rôle de la personne impliquée. Certaines de ces capacités sont énumérées dans le tableau I Résumé En résumé, il existe de nombreux systèmes de stockage de données informatisées. Alors que la plupart des besoins pourraient être satisfaits par l un des systèmes de base de données hydrométriques spécialisés disponibles, certains utilisateurs expérimentés peuvent avoir des demandes supplémentaires qui seront mieux satisfaites par une configuration sur mesure. Surtout, un système de base de données n est qu un moyen de stocker des données informatisées. Une bonne gestion de l archivage ne peut être obtenue que par une bonne gestion des données Types de données et informations à stocker Cette partie décrit plus en détail les informations particulières qui devraient être stockées dans une archive hydrologique. La meilleure façon d envisager comment devrait être organisée une archive serait d imaginer l aborder sans connaissances préalables des conditions météorologiques, de la taille des rivières, des caractéristiques des bassins, du réseau des stations de jaugeage, des utilisations de l eau ou du volume des données. Il devrait être possible de se rendre compte rapidement du contenu complet de l archive, puis d extraire facilement la donnée précisément recherchée. Les utilisateurs devraient être en mesure d apprécier précisément toutes les modifications qui ont été apportées aux données et d extraire rapidement l information relative aux données disponibles, les statistiques d ensemble et les jeux de données complets. Cela permet aux utilisateurs de commencer Tableau I Compétences requises pour la base de données Fonction Employé chargé de la saisie des données Hydrologue Gestionnaire de l archive Description Modestes connaissances requises en hydrologie et technologies de l information, bien que des données puissent devoir être téléchargées depuis des enregistreurs ou extraites de fichiers de différents formats Le travail de validation demande une connaissance experte de l hydrologie et des régimes hydrologiques locaux. Le travail d analyse requiert une expertise en hydrologie La gestion globale de l archive et la diffusion demandent un savoir hydrologique. L intégration des données de l archive dans d autres processus exige des compétences à la fois en hydrologie et en technologies de l information

8 I.10-8 GUIDE DES PRATIQUES HYDROLOGIQUES à travailler sur un ensemble de données à n importe quelle étape de leur gestion avec le moins d efforts possible. Un système d archivage devrait de plus faire en sorte que le travail de documentation soit simple et efficace. La création de nouveaux ensembles de données, pour nourrir les modèles ou le traitement ultérieur des données, pour leur distribution aux différents utilisateurs ou pour l élaboration de documents tels que les annuaires, devrait également être une tâche simple et rapide pour le gestionnaire de l archive Métadonnées de l archive Lorsqu il consulte une archive hydrologique, les premières données à disposition de l utilisateur devraient en concerner la description. Il s agit en fait de métadonnées informations concernant l archive elle-même, qui devraient être mises à disposition par le gestionnaire de données comme un moyen de distribution de l information concernant l archive. Ces données peuvent prendre la forme décrite dans le tableau I Ces métadonnées archivées peuvent être fournies par un système informatisé complexe, possiblement interfacé à un SIG, pour permettre l accès aux données et aux tables automatiquement mises à jour de la disponibilité des données à travers lesquelles l utilisateur peut naviguer. Il peut aussi s agir d une simple liasse de papiers, et cela relève de la responsabilité du gestionnaire de l archive. Dans le second cas, une mise à jour régulière devrait être effectuée, au fur et à mesure de la création de nouvelles stations ou de l addition de nouvelles données Métadonnées des stations Quand les utilisateurs de l archive sont familiarisés avec la manipulation des données, ils réclament davantage d information. Les données décrivant les stations sont importantes pour fournir le contexte dans lequel elles fonctionnent. Ces données fournissent également aux utilisateurs une ressource partagée leur permettant de comprendre, par exemple, l importance de l instrumentation de mesure pour les données, ou de la configuration de la station. L équipe gérant la station y stockera aussi l information relative à sa localisation, au mode d accès, au niveau de référence ainsi que les adresses du personnel d exploitation local. La plupart des données du tableau I.10.4 s appliquent en général aux stations météorologiques, aux stations de jaugeages et autres sites de mesure, bien que certains champs soient spécifiques aux stations de jaugeage des rivières. Sur le site WDM/Metadata/documents.html, on trouvera des informations en anglais concernant le développement de la norme sur les métadonnées de base de l OMM. On trouvera dans Global Runoff Data Center, Rapport 31 (Maurer, 2004), un point du statut actuel des métadonnées hydrologiques. D autres informations concernant les normes des bases de métadonnées pourront être trouvées sur les sites suivants: USGS Federal Geographic Data Committee s Content Standard for Digital Geospatial Metadata: Tableau I Description des données conservées dans l archive Type de données Description Exemples Description de l archive Texte bref décrivant le contexte et les buts du projet de suivi des données Nom et description du projet, date de début du projet et de l archivage, buts du projet, grandes lignes des modes de diffusion Cartes géographiques Sommaire des données Cartes fournissant le contexte physique des données de l archive Liste des jeux de données et disponibilité Limites du bassin versant, localisation des stations de jaugeage, des stations météorologiques et des autres sites de mesure, réseau hydrographique, lacs et autres éléments importants Sommaire, pour chaque type de données, des données conservées dans la base de données, localisation référencée des mesures, et d autres données complémentaires également conservées telles que données spatiales dérivées et données SIG d autres origines, plus un sommaire, pour chaque jeu de données, de la disponibilité des données au cours du temps à une échelle appropriée

9 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I.10-9 Dublin Core Metadata Element Set, version ISO Information et documentation Répertoire des éléments de données bibliographiques Partie 5: Éléments de données pour l échange de catalogues et de métadonnées iso/fr/iso_catalogue/catalogue_tc/catalogue_ detail.htm?csnumber= Un certain nombre d exemples de métadonnées pour les systèmes hydrologiques sont disponibles, et peuvent être consultés aux adresses suivantes: Niveau mondial: metadata/ Niveau national: gis/data/r8_hyl.html; Niveau de l état: blmgov/gis/hydrologygis-meta.html Séries de données chronologiques La majorité des données utilisées en hydrologie sont des séries chronologiques, c est-à-dire des mesures, en un point fixe, d une variable selon un certain pas de temps, la variable pouvant être la pluie, le débit, la hauteur d eau, le volume de réservoir, le niveau de l eau dans un forage, l humidité du sol ou le ph. Pour une seule station (ou une localisation géographique), il y a souvent plusieurs séries chronologiques de valeurs mesurées et chacune d entre elles peut avoir des caractéristiques propres. Chaque station devrait stocker la liste des séries chronologiques mesurées sur le site (historique d un ensemble de données au tableau I.10.4) et leur attributs devraient être notés en regard de chacune d elles (tableau I.10.5) Données en temps réel Les données collectées par télétransmission et destinées à une utilisation en temps réel, par exemple pour la prévision de crues, la gestion de réservoirs ou le suivi des étiages dans une perspective écologique, peuvent devoir être archivées et consultées dans un système différent de celui qui recueille les données du suivi régulier ou de l évaluation à long terme des ressources en eau. Ces données télétransmises subissent généralement une étape simple de validation avant d être archivées pour leur utilisation comme entrées des modèles en temps réel. Cette validation peut être réduite à vérifier que chaque valeur des données se trouve à l intérieur d une fourchette prédéfinie pour la station considérée, et que la différence avec la valeur précédente n est pas trop importante. Ainsi, une pluie de 15 minutes doit être un chiffre positif mais inférieur à la plus forte pluie sur 15 minutes jamais enregistrée dans la région considérée, avec peut être une tolérance de 10 %. Les données de hauteur d eau des rivières doivent aussi se situer au-dessus du niveau du lit ou de celui de la crête du déversoir, et on peut en général fixer également un maximum convenable. De plus, à partir de l analyse d épisodes antérieurs de crues importantes, on peut déterminer un taux vraisemblable de croissance sur 15 minutes. Lorsque les données dépassent ces limites, elles devraient malgré tout être enregistrées dans le fichier des valeurs brutes, mais marquées comme suspectes, et un message d alerte devrait être affiché à l intention des opérateurs du modèle. Lorsque des données suspectes auront été identifiées, il existe un certain nombre d options pour tout modèle de prévision ou d aide à la décision: a) On peut accepter la donnée suspecte et faire tourner le modèle comme si de rien n était, bien qu il s agisse rarement d une option raisonnable; b) On peut faire tourner le modèle en traitant la donnée suspecte comme manquante, c està-dire en supposant qu il n y a pas eu de pluie pendant la période considérée, ou qu il n existe pas de niveau d eau ou de débit auquel comparer une prévision; c) On peut remplacer une donnée manquante par une approximation quelconque. On peut ainsi extrapoler les niveaux des rivières à partir des valeurs précédentes, et les données de précipitations peuvent être estimées à partir d autres pluviomètres, ou on peut retenir les valeurs moyennes saisonnières. Les données manquantes sont traitées au cas par cas selon les exigences de la modélisation. Le sujet de la modélisation est traité dans le chapitre 6 du Volume II Données spatiales Presque toutes les données dont nous avons parlé plus haut sont soit des métadonnées descriptives soit des séries chronologiques de valeurs mesurées. Nous parlerons ici d un autre type: les données spatiales sont caractérisées par une substantielle composante géographique. On peut citer en exemple les cartes de stations de jaugeage, les modèles numériques de terrain et des cartes d isohyètes de pluie. Les données spatiales peuvent entrer dans un SIG, et ceux-ci sont souvent utilisés pour intégrer les jeux de données hydrologiques et spatiales.

10 I GUIDE DES PRATIQUES HYDROLOGIQUES Tableau I Exemples de métadonnées de station Métadonnée Description Exemples Identification Localisation Opérateur Observateur Historique de la station Équipement/télétransmission Statistiques Graphiques Historique des lots de données Historique des jaugeages et tarages Information sur l identification actuelle de la station et sommaire des buts pour lesquels la station est utilisée Information relative à la position géographique de la station Information relative à l organisation gérant la station, si elle est gérée par une autre organisation, par exemple une organisation régionale Information relative au personnel prenant les mesures à la station Description de l historique de la station, montrant tout changement susceptible d affecter la mesure des données Information décrivant les enregistreurs ou les systèmes de télétransmission utilisés à la station Sommaire des statistiques des données de la station Images de la station et de ses environs Information décrivant les lots de données produits par la station Information descriptive concernant les mesures de débits instantanés et l élaboration des équations de tarage les données réelles des jaugeages devraient être conservées dans la base de données Nom(s) de la station, numéro(s) de la station, nom du bassin, nom de la masse d eau, nom de la région hydrologique, altitude, surface du bassin, but principal, but secondaire, méthode principale de mesure, (par exemple de type déversoir), méthode de mesure des hautes eaux, description générale de la station Latitude/longitude (ou position dans un système de coordonnées local), ville ou point de repère le plus proche, localisation et altitude du repère de nivellement, information concernant la propriété des terrains, les routes, l accessibilité, le temps d accès nécessaire, informations sur l accès en période de crue, etc. Nom de l opérateur, coordonnées, responsabilités, etc. Nom de l observateur, coordonnées, responsabilités, date du début de service, fréquence des visites, méthode et fréquence de reportage Date d ouverture, date de fermeture (pour les stations fermées), historiques de la localisation, de l opérateur, de l équipement, et du zéro de l échelle Noms des systèmes, fabricant, but, références de la documentation correspondante, date d installation, hauteur des antennes, etc., fréquence et intervalles de reportage, paramètres rapportés, information descriptive complémentaire Statistiques, valeurs, période sur laquelle portent les statistiques, date des calculs, etc. Images, description, date, référence aux fichiers d images numériques, etc. Variables mesurées, séries dérivées produites, cheminement des données mesurées à la station, sommaire de la disponibilité des données Description des section(s) de rivière utilisées pour les jaugeages, historique des modifications de la section par mouvement/érosion, etc., croquis de la section, description des problèmes Dans les couvertures SIG, les éléments géographiques sont représentés sous différentes formes (figure I.10.2): a) Polygones les données sont les formes de surfaces comme les pays ou les bassins; b) Lignes les données sont des lignes avec des attributs associés, les rivières par exemple; c) Points les données sont des points discrets, par exemple les stations de jaugeage des rivières ou des pluviomètres; d) Maillage la région est divisée en mailles carrées et l attribut correspondant à ce carré (les précipitations par exemple) y est stocké avec d autres attributs. On appelle attributs les caractéristiques de ces éléments géographiques. Par exemple chaque polygone d une couverture géologique peut avoir pour attribut la lithologie ou le type de l aquifère.

11 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I Tableau I Caractéristiques des séries chronologiques Champ Nom Type de série chronologique Statistiques de mesure Unités Pas de mesure Période d enregistrement Limites statistiques Autres caractéristiques des séries chronologiques de niveau Description Idéalement, le meilleur nom d une série devrait renvoyer instantanément à son contenu, par exemple débit moyen journalier, ou écoulement total mensuel, plutôt que séries de débit 1 ou séries de débit 2 Variable mesurée, par exemple pluie, débit, niveau d eau Indique comment la donnée a été dérivée, ou la statistique stockée: moyenne, instantané, total, maximum, etc. Indique l unité dans laquelle les données sont stockées Fréquence selon laquelle la mesure est faite, ou période sur laquelle la statistique a été calculée, par exemple journalière, mensuelle, toutes les 15 minutes. Les données enregistrées irrégulièrement sont aussi prises en compte et dénommées séries chronologiques instantanées Date du début (et parfois de la fin) de la série chronologique On recommande souvent d estimer a priori, avant de débuter les prises de mesures, le maximum et le minimum des valeurs de la donnée à titre de moyen de validation des données. Cela est particulièrement utile si des méthodes de validation automatiques peuvent extraire les valeurs sortant de la fourchette recommandée. Suite à la mesure d événements extrêmes, ces statistiques de limites peuvent être réinitialisées plus précisément. Des seuils de croissance ou de décroissance internes peuvent également être utiles, si les méthodes pratiquées de validation des données en font usage, comme ce peut être le cas de statistiques dérivées plus complexes. Ces statistiques ne devraient être qu indicatives, car des valeurs hors de ces limites peuvent être parfaitement valables et ne devraient pas être éliminées D autres informations s appliquant à la série dans son ensemble peuvent aussi être conservées à ce niveau, telles que la date des mesures (indiquant sur quelle période la moyenne et autres valeurs devraient être calculées) et le zéro de l échelle, s il est valable pour la période entière Dans le cadre de cet exposé, les données spatiales pour l hydrologie peuvent être divisées en deux catégories: Cartes physiques Les cartes physiques constituent une ressource inestimable pour les études hydrologiques et représentent encore la principale source de données spatiales dans de nombreux pays. Elles peuvent comprendre des cartes spécialisées, telles que celles représentant la couverture des sols, la géologie ou la pluviométrie, ou il peut s agir de cartes nationales représentant de nombreuses caractéristiques telles que villes, routes, courbes de niveau et rivières. On devrait considérer les cartes physiques comme un élément central d une archive hydrologique, et elles constituent une source préliminaire utile de référence, fournissant un précieux contexte aux données météorologiques ou issues des stations de jaugeage. Elles devraient donc être conservées dans des coffres, des casiers ou dans des encadrements adéquats. L archive cartographique devra être bien documentée, avec en particulier: a) Le numéro de référence de la carte, son origine ou sa source; b) Le titre et la description de la carte; c) L échelle; d) La projection; e) Le numéro et le nom dans la collection de cartes; f) Les références. La diffusion des données de cartographie physique peut se révéler difficile car il existe souvent des restrictions liées au droit d auteur. Toutefois si des photocopies de cartes, ou de parties de celles-ci, sont amenées à être diffusées, l information ci-dessus devrait leur être associée pour permettre le traçage et l interprétation des cartes et de leurs légendes. Si des cartes physiques sont crées dans une archive, par exemple des cartes d écoulement à partir des données de stations de jaugeage, l existence et les caractéristiques de ces cartes devraient être signalées là où cela est nécessaire. Il peut s agir des recueils de données hydrologiques ou des agences cartographiques nationales ou régionales. Données numériques Au cours de la dernière décennie, les cartes numériques se sont répandues aux dépens des cartes

12 I GUIDE DES PRATIQUES HYDROLOGIQUES physiques. Les développements technologiques ont permis la numérisation des cartes et leur utilisation dans les SIG. Dans ces systèmes il est beaucoup plus facile de manipuler et de combiner les cartes. Il est également plus facile d en extraire l information et de diffuser toute modification. De nombreuses cartes numériques ne sont que les versions numérisées de cartes papier. Par exemple les lignes de niveau d une carte d usage courant peuvent être numérisées selon un ensemble de lignes, ou une carte pédologique peut être numérisée selon un ensemble de polygones. Comme pour tout processus de gestion de données, les origines des données, de même que toute correction effectuée, devraient être soigneusement répertoriées de telle sorte que l utilisateur des données résultantes soit informé de leur provenance. On peut aussi créer des cartes numériques. Par exemple, une couverture maillée des données de précipitations peut être créée selon diverses procédures à partir des données ponctuelles de pluviomètres. Les courbes de niveau, si elles sont Figure I Exemples de données maillées (pluie), curvilignes (rivières), ponctuelles (stations de jaugeage) et polygonales (bassins), dans le sens des aiguilles d une montre depuis en haut à gauche

13 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I précisément numérisées peuvent être extrapolées pour créer un modèle numérique de terrain. Utilisant les courbes de niveau ou un modèle numérique de terrain, les frontières du bassin relatif à une station de jaugeage, peuvent être ajoutées manuellement selon une nouvelle famille de lignes. Si de telles cartes dérivées sont stockées dans une archive hydrologique, il faudrait prendre en matière de reproductibilité les mêmes précautions que celles signalées dans la section À chaque carte dérivée devraient être associées dans l archive des métadonnées décrivant leur procédé de fabrication. Tout ensemble significatif et utile de données intermédiaires créé devrait être archivé comme il convient Considérations de gestion Lorsque l on gère des données et informations hydrologiques il est important de ne pas oublier: a) Les marqueurs de validation ou de contrôle de qualité (sections 9.8 et 9.9); b) Les commentaires textuels des opérateurs et des utilisateurs de données (sections 9.7 et 9.8); c) Le protocole d audit information sur l introduction de données dans la base de données et sur toutes modifications ultérieures (chapitre 9). Ces types de données et informations devraient également être stockés et rendus facilement accessibles Contrôle du flux des données Nous avons déjà mentionné l importance d un contrôle adéquat des ensembles de données d entrée. Il est également capital de connaître le statut de toutes les données durant les différentes étapes de leur validation et de leur mise à jour, tout particulièrement lorsque des valeurs suspectes ont été repérées et qu une réponse est attendue de la part des personnes chargées du contrôle de qualité. Initialement, tout le processus de contrôle des données peut être effectué manuellement mais, en fin de compte, quelques fonctions pourront être automatisées, dans le cadre des activités générales du traitement informatique des données. L automatisation permet de procéder à des contrôles de routine du statut d un lot de valeurs, à des résumés de validation, ou encore de repérer l emplacement physique des données dans le système, par exemple le numéro de la bande ou du volume sur le disque et les noms des lots de données. Un tel contrôle est essentiel lorsque de grandes quantités de valeurs doivent être traitées. Le personnel chargé du contrôle des données devrait être responsable des tâches suivantes: a) Enregistrement des lots de données entrants et acheminement de ces lots vers les systèmes de saisie appropriés; b) Contrôle et enregistrement des statuts de saisie des données et de l introduction ultérieure des données pour la première phase de validation et de traitement; c) Acheminement des comptes rendus de validation au personnel de traitement des données hydrologiques et réception des données éditées; d) Répétition des étapes a) à c) jusqu à ce que tous les lots de données aient été acceptés pour la phase de mise à jour; e) Transmission des résumés statistiques mensuels et annuels aux agences et au personnel concernés. La nature exacte des travaux à réaliser dépend surtout de la possibilité qu ont les utilisateurs individuels d accéder aux données pour les éditer. Dans les systèmes en ligne, où les utilisateurs effectuent eux-mêmes leur propre contrôle de qualité, les responsabilités incombant à la centrale de traitement sont réduites. Cependant, ces utilisateurs doivent disposer d un moyen quelconque leur permettant d indiquer que le contrôle de qualité a été effectué, et que ces lots de données sont prêts pour le traitement suivant Procédures de mise à jour En hydrologie, la majeure partie des bases de données d archive sont mises à jour en deux étapes au moins. Ces étapes sont représentées sur la figure I.9.2. La première étape consiste en une mise à jour mensuelle correspondant à la fréquence habituelle du reportage de données. La répartition des quatre activités entre différentes sessions d ordinateur dépend de l utilisateur et des ressources physiques du système. Si la plupart des fichiers sont archivés sur bande, il sera probablement impossible de traiter mensuellement tous les lots de données avec un seul programme, car il faudrait de trop nombreux lecteurs de bandes. Il peut être alors recommandé de ne pas calculer de valeurs dérivées, comme les débits ou l évapotranspiration, avant d avoir contrôlé manuellement toutes les données de base. Pour l utilisateur final, le résultat de cette première étape de mise à jour consiste en rapports mensuels. Pour la gestion de la base de données, le plus important est d obtenir des fichiers de travail annuels mis à jour. Si cette première étape ne traite que des blocs de données mensuels, il peut s avérer nécessaire de

14 I GUIDE DES PRATIQUES HYDROLOGIQUES conserver des fichiers incomplets. Cela peut survenir lorsqu on utilise des enregistreurs informatiques et que le support d enregistrement est habituellement changé à intervalles de temps irréguliers. Ainsi, lorsqu on traite les données du mois 1, il peut y avoir sur le support quelques valeurs mesurées pendant le mois 2. Dans ce cas les données du mois 2 sont conservées dans un fichier temporaire jusqu à ce que toutes les valeurs de ce mois soient disponibles au cours du mois 3. Cette opération se répète et on complète le fichier pour le mois 2 tandis qu on obtient un nouveau fichier incomplet pour le mois 3. On rencontre rarement ce problème avec des rapports manuels ou des stations utilisant la télétransmismission. Si le support informatique exige un prétraitement, il y a toujours la possibilité de fractionner les fichiers et de reconstituer ensuite des fichiers mensuels qui pourront être prétraités sur (micro) ordinateur avant d être soumis à la machine principale de traitement. Lorsque les données mensuelles on subi les contrôles de validation et ont été soumises au traitement primaire indispensable (chapitre 9) elles sont intégrées aux fichiers de l année en cours. Si elles n ont pas passé avec succès les contrôles de validation, elles doivent être examinées manuellement avec minutie et, lorsque des erreurs sont détectées, il faut leur appliquer le traitement décrit dans la figure I.9.2. Afin d assurer un flux adéquat des données, il est généralement nécessaire de commencer le traitement des lots mensuels de données au plus tard du 10 au 15 du mois suivant. Si on ne peut le faire à ce moment, il est à craindre que la saisie et le traitement complet des données provoquent un retard dans les mises à jour annuelles des fichiers. Le but du cycle annuel de mise à jour est d intégrer le fichier de travail annuel à la base de données historiques. Ce transfert implique un changement de statut qui transforme les données de travail en références hydrologiques de qualité contrôlée. C est pourquoi il faut s assurer que, dans la mesure du possible, le plus possible de questions portant sur des valeurs douteuses aient reçu une réponse avant la mise à jour annuelle. Les données résultant de l étape du traitement annuel peuvent être utilisées pour l élaboration des annuaires hydrologiques Compactage et exactitude Lors de la mise à jour d une base de données, le fait de compacter les données de manière à utiliser au mieux l espace mémoire est considéré comme étant une opération essentielle du processus. La technique de compression est décrite dans Guidelines for Computerized Data Processing in Operational Hydrology and Land and Water Management (WMO- No. 634). Cependant, les techniques tendent à être propres aux différentes machines, et les différents systèmes de base de données hydrologiques peuvent en utiliser d autres encore. Il s agit de: a) L utilisation de nombres entiers pour le stockage, lesquels sont ensuite remis à l échelle correcte lors de la sortie des valeurs. Par exemple, les précipitations journalières, mesurées avec une précision de 0,1 mm peuvent être mémorisées en dixièmes de millimètre (nombre entier), puis être ensuite divisées par dix pour la sortie. La mémoire nécessaire est ainsi réduite de moitié: un nombre entier occupe deux octets de mémoire contre quatre octets pour un nombre réel (décimal); b) L utilisation de fichiers de données non formatés (binaires) à la place des fichiers ASCII habituels. Non seulement les données binaires occupent moins de place mais elles sont, de surcroît, plus rapidement stockées et extraites; c) L utilisation d un compteur pour des valeurs constantes répétitives. Ainsi, il n est pas nécessaire de stocker une période de 10 jours sans pluie sous forme d un ensemble de 10 zéros, mais d un facteur de répétition 10 suivi par la valeur zéro; d) L utilisation d une version améliorée de la méthode c), qui supprime complètement les données redondantes. Celles-ci proviennent de l enregistrement, souvent lui-même redondant, de phénomènes hydrologiques par certains types d instruments de terrain, en particulier avec les enregistreurs à pas de temps constant. Par exemple, dans la séquence 40, 50, 60, il est évident que la valeur centrale peut être déduite des deux autres par interpolation. Des logiciels ont été développés pour analyser les données et éliminer toutes celles qui peuvent être interpolées linéairement avec une marge de tolérance définie à l avance. Cette technique réduit considérablement les besoins en espace de stockage tout en conduisant à une diminution négligeable de l information. L utilisation du système TIDEDA en Nouvelle-Zélande [SHOFM G ] a abouti à diviser par un facteur allant de deux à douze l espace de stockage utilisé; e) L utilisation de valeurs relatives à la place des valeurs absolues. Par exemple, le niveau d eau dans un puits de forage peut être noté par rapport à son altitude absolue ou, plus économiquement, par rapport à une quelconque référence altimétrique locale ou au niveau d eau moyen. Ne seront alors stockées que les différences aux valeurs précédentes. Les valeurs

15 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I à stocker, plus petites, demanderont moins d espace de stockage. Un certain équilibre doit être trouvé entre le niveau de compactage des données et les inconvénients qui en résultent. Un niveau élevé de compression rend l archivage plus efficace mais rend en effet aussi nécessaire l utilisation de routines complexes de compactage et de décompactage chaque fois que l on introduit ou que l on extrait des données. Le degré de compactage optimal des données devrait tenir compte des limites relatives de l espace mémoire et des capacités de calcul propres à chaque installation. Il sera aussi fonction de la capacité du personnel à développer le logiciel. Quant à l exactitude des valeurs stockées, elle est rarement supérieure à 1 pour en ce qui concerne les données hydrologiques. C est la raison pour laquelle la plupart des bases de données hydrologiques ne conservent que des valeurs à trois ou quatre chiffres significatifs. Ainsi, un débit calculé de 234,56 m 3 s 1 peut être stocké sous forme de 235 m 3 s 1. Cette pratique permet également d économiser de la mémoire Structure des fichiers physiques La structure séquentielle des fichiers est simple et peut être réalisée sur n importe quel support de stockage. Elle peut être adaptée aux séries chronologiques qui sont introduites, et la plupart du temps consultées, de façon séquentielle. Le stockage de la plupart des données hydrologiques sur des fichiers séquentiels indexés est très intéressant, parce qu il permet de conserver la nature séquentielle des données sur le support de stockage. Il existe cependant des possibilités d accéder directement à un seul ou à un groupe d enregistrements. La structure à accès direct, comme aussi celle des fichiers séquentiels indexés, s applique seulement aux fichiers mémorisés sur disques ou disquettes, mais soumet le système à des contraintes plus fortes en termes de volume de stockage. On peut aussi accéder directement et plus rapidement aux enregistrements individuels s ils sont recherchés de manière aléatoire. Par l utilisation de doubles indices (pointeurs), les données se trouvant dans des fichiers à accès direct peuvent être associées de façons efficaces et complexes. Si la base de données hydrologiques a été conçue de façon à permettre une manipulation interactive en ligne de données en ligne, les fichiers doivent être disponibles sur disques, et il devrait être possible d utiliser des fichiers séquentiels indexés ou à accès direct. À vrai dire, leur utilisation est primordiale afin d obtenir des temps de réponse acceptables, lorsqu on manipule de grandes quantités de données. Lorsque l accès en ligne aux données n est pas une priorité, il peut valoir la peine de conserver en fichiers séquentiels des données chronologiques à une seule variable, telle que les niveaux d eau ou les précipitations, parce que ces fichiers sont habituellement utilisés pour l extraction d une séquence temporelle de données. Dans le cas de fichiers chronologiques à variables multiples, une organisation séquentielle indexée ou à accès direct peut être préférable. Si une variable donnée n a été mesurée qu à certaines stations, il faudra néanmoins passer en revue les fichiers séquentiels de toutes les stations pour savoir si cette variable y a été mémorisée ou non. Dans certains types de fichiers à accès direct, il est possible d associer un pointeur à chaque variable. Ce pointeur signale l emplacement du prochain enregistrement provenant d une station ayant mémorisé une valeur de la même variable. On peut ensuite accéder directement à cet endroit de la mémoire. Une telle technique est avantageuse pour les données de qualité des eaux, car les variables observées diffèrent considérablement d une station à l autre, mais aussi pour une même station au cours du temps. Les données conservées sur bandes magnétiques, support le plus répandu pour l archivage de base de données de grand volume, doivent nécessairement l être sous forme séquentielle. Cependant, lorsque des fichiers sont transférés d une bande à un disque, on peut employer quelques-unes des méthodes d accès direct décrites ci-dessus. Quelle que soit la méthode utilisée, nous recommandons que tous les grands fichiers de la base de données soient de type non formaté (binaire). Certains systèmes de base de données utilisent une combinaison de techniques de façon à maximiser l efficacité du stockage et de l extraction des données. On y parvient en stockant de grands groupes de données séquentielles dans des enregistrements uniques à accès direct ou dans des fichiers séquentiels indexés. Grâce à cette méthode, les données journalières et même horaires de chaque station et, pour chaque année, peuvent être stockées sous forme d enregistrement physique unique dans un fichier à accès direct ou séquentiel indexé. Pour extraire les données d un mois donné, on peut accéder sur le disque directement à l enregistrement annuel de la station en question. Cet enregistrement est ensuite transféré dans une mémoire

16 I GUIDE DES PRATIQUES HYDROLOGIQUES tampon à partir de laquelle les valeurs du mois recherché peuvent être rapidement lues. L utilisation de Systèmes de gestion de bases de données (SGBD) devrait amener à faire quelques remarques. Ces systèmes se fondent invariablement sur l utilisation de fichiers à accès direct. Il faut les employer avec précaution, à moins que les formats d entrée et d extraction des données soient connus (et relativement similaires), et qu il existe une maintenance suffisante des logiciels. Il est recommandé d adopter une approche graduelle et évolutive dans l usage des SGBD. De nombreuses agences testent actuellement des systèmes de bases de données relationnelles permettant le stockage combiné des données et d autres informations. Les progrès dans ce domaine devraient être suivis attentivement Structure des fichiers logiques La structure logique des données comprend deux aspects: les groupements principaux qui déterminent le nombre de fichiers et les ensembles de variables qui composent les enregistrements de chaque fichier. Une base de données hydrologiques complète contiendra les groupes de fichiers suivants: a) Les fichiers de référence du système, comprenant les listes de codes (fichier répertoire) utilisés pour le contrôle de la saisie des données, le codage des données pour leur stockage et le décodage pour leur extraction. Si un quelconque système de codage des données spatiales est utilisé, il faudra alors fournir les fichiers de références géographiques et/ou hydrologiques; b) Les fichiers descriptifs des stations, allant des simples fichiers ne comprenant que le numéro, le nom et le type de la station, avec son emplacement et la liste des instruments dont elle est équipée, aux fichiers détaillés, tels que ceux renfermant toutes les informations des diagraphies de puits ou de forages; c) Les fichiers d étalonnage, contenant les informations de base détaillées permettant de calculer les variables dérivées, habituellement station par station. Citons comme exemple les courbes de tarage des stations débitmétriques et les coefficients de calage des capteurs climatologiques et de qualité des eaux. Certaines données sont indépendantes des stations, comme les coefficients de calage des moulinets, les tables de référence pour les heures théoriques d ensoleillement ou de radiation incidente; d) Les fichiers chronologiques, contenant les séries d observations faites aux stations hydrologiques. Ces fichiers peuvent être composés de séries à une ou à plusieurs variables pouvant être observées selon un pas de temps fixe ou variable. La relation entre ces différents types de fichiers est représentée sur la figure I D un point de vue organisationnel, il est possible de grouper toutes les informations de type b) et c) dans des fichiers uniques, ou de les répartir dans des fichiers historiques ou d usage courant. Cela permet d attribuer aux fichiers courants un format et une taille normalisés. Le type de structure à choisir est Fichiers de traitement du système Fichier dictionnaire Codage Décodage Fichier de référence hydrologique/ géographique Localisation de la station Fichiers des stations hydrométriques Fichier historique de description de la station Description de la station (actuelle) Fichiers des séries chronologiques de la station Fichier historique des tarages de la station Tarage de la station (actuel) Figure I Relations entre fichiers de données de stations hydrométriques

17 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I surtout dicté par la quantité de données descriptives qui doivent être conservées dans les fichiers informatiques par rapport à celles qui doivent l être dans les fichiers manuels. Il est utile de passer en revue les possibilités existantes pour stocker des séries chronologiques de différents types dans un même fichier physique. Au niveau le plus rudimentaire, on affecte à chaque station son propre fichier dans lequel les données sont classées par ordre chronologique. Cette technique est surtout bien adaptée aux petits lots de données ou pour la conservation de données sur bandes. Cependant, ce système élémentaire devient extrêmement difficile à gérer dans le cadre de réseaux hydrologiques, car ceux-ci peuvent être composés de plusieurs centaines de stations de différents types, ce qui implique un très grand nombre de fichiers. À un niveau supérieur, celui appliqué dans la plupart des systèmes de base de données hydrologiques, on utilise des fichiers regroupant de nombreuses stations et où chaque fichier contient des données d un type différent. Ces données peuvent être de type hydrologique, comme les valeurs journalières de débit, ou peuvent représenter une composition de séries chronologiques, par exemple plusieurs variables enregistrées simultanément à pas de temps fixe. Dans le premier cas un fichier journalier sera constitué par exemple de toutes les données débitmétriques quotidiennes enregistrées à toutes les stations du réseau hydrologique. Si le fichier est structuré de façon séquentielle, il sera classé par station et, pour chaque station, classé en fonction du temps. Dans le second cas, le fichier contiendra toutes les mesures journalières, sans tenir compte de leur type hydrologique, et il sera classé par type et par numéro de station. Les deux cas précités sont utilisés dans le système WATSTORE (Archivage et extraction de données hydrologiques) (Kilpatrick, 1981), qui comprend cinq grands fichiers: un pour les données d en-tête de la station (description) et trois pour les données regroupées par type hydrologique (qualité des eaux, débits de pointe, inventaire des sites de mesure des eaux souterraines). Quant au cinquième, il est constitué des valeurs journalières classées par ordre chronologique. Ce dernier fichier contient des valeurs observées quotidiennement ou en continu, mais numériquement réduites à des valeurs journalières. On peut aussi stocker des valeurs instantanées mesurées à pas de temps constant, des valeurs moyennes journalières et des données statistiques telles que les valeurs journalières minimales et maximales. En 1981, ce fichier contenait 190 millions de données journalières se rapportant aux débits, aux niveaux d eau, aux contenus de réservoirs, aux températures de l eau, aux conductivités électriques, aux concentrations de sédiments, aux débits solides et aux niveaux des eaux souterraines. Au plus haut niveau d intégration (autre que celui se basant sur l utilisation d un SGBD), il existe des systèmes qui traitent tous les types de données chronologiques sous un seul format de classement et les stockent dans un seul fichier physique. Une telle approche, utilisée par le système néo-zélandais TIDEDA simplifie grandement la conception des logiciels développés pour la gestion et l extraction des données, parce qu il se réfère à un format de stockage normalisé. Le système australien HYDSYS et le système du Royaume-Uni HYDATA, disponibles en tant que composantes du SHOFM, sont des systèmes similaires de traitement et de stockage des données. De plus amples détails sur la manière dont les valeurs sont traitées par ces systèmes se trouvent dans Guidelines for Computerized Data Processing in Operational Hydrology and Land and Water Management (WMO-No. 634) EXTRACTION DES DONNÉES Outils d analyse des données Les outils d analyse de données peuvent être soit un système intégré travaillant sur la même base de données, soit des outils indépendants manuels et informatisés destinés à accomplir les tâches de création d une archive (voir tableau I.10.6). Au cours du développement d outils d extraction, il sera nécessaire d identifier les besoins et demandes des utilisateurs, et de s assurer que les outils développés y répondent. Cela nécessitera de prendre en compte les demandes pour: a) Une série simple par exemple les débits journaliers ou mensuels d une période donnée; b) Une série multiple par exemple les données de débit d un ensemble de stations ou des données concomitantes de précipitations et de débit; c) Une valeur singulière à l intérieur d une série (pour la modélisation ou l affichage d un SIG) par exemple, le pic annuel de débit d une station ou la pluie moyenne annuelle d un ensemble de stations. Il faudrait que les données et l information soient extraites de la base selon différents formats, de

18 I GUIDE DES PRATIQUES HYDROLOGIQUES Outil Tableau I Outils d analyse des données Outils d entrée des données Outils de traitement Outils de validation Outils d analyse Outils d interrogation Outils de reportage Description Entrée manuelle au clavier, logiciels et matériel pour le téléchargement des enregistreurs, logiciel de reformatage, feuille de calcul habituelles pour le formatage et le stockage de données, outils de gestion automatisée des données en temps réel Par exemple, logiciel et matériel de traitement primaire pour numériser les enregistrements graphiques; ou outils logiciels de traitement secondaire pour, par exemple, la conversion en débits des hauteurs d eau Logiciel pour l affichage des graphiques et la correction des données, logiciel de tracé des courbes de double cumul, calcul des maximums et minimums des hydrogrammes, etc. Logiciel (y compris feuilles de calcul) pour la production de statistiques comme les courbes de débits classés Outils logiciels pour l extraction de valeurs de données spécifiques ou de statistiques des données archivées Outils logiciels pour produire, aux fins de diffusion, des rapports et jeux de données à partir des données archivées façon une fois encore à satisfaire les besoins des utilisateurs, tels que les suivants: a) Fichier descriptif une gamme d informations provenant de différentes sources décrivant les données disponibles et leurs caractéristiques; b) Fichiers ASCII (section ); c) Fichiers décimaux CSV (Valeurs séparées par des virgules) C est un format délimité dont les champs ou colonnes sont séparés par le caractère «virgule» et dont les enregistrements ou lignes sont séparés par un caractère «retour chariot». Les champs contenant un caractère spécial (point, retour chariot ou guillemet) doivent être encadrés par des guillemets. Toutefois, si une ligne contient une entrée constituée de la chaîne vide, elle peut être encadrée par des guillemets; d) Autres formats définis par l utilisateur Extraction de données à une seule variable Le stockage de données sous forme de séries chronologiques multiples est parfois source de lacunes ou de pertes d efficacité, étant donné le grand nombre de variables observées au même site de mesure et la manière dont ces valeurs en sont extraites. Ainsi, les données climatologiques, après leur utilisation pour le calcul de l évapotranspiration potentielle, servent à en extraire des variables individuelles. De telles extractions sont nécessaires lors de l interpolation spatiale et/ou la représentation cartographique de données, comme par exemple les valeurs de température pour le calcul de la fonte des neiges ou les valeurs de radiation pour l estimation quantitative des futures récoltes. Le processus d extraction sera inefficace si toutes les stations doivent être examinées, même si le paramètre n a été observé qu à quelques-unes d entre elles. Comme on l a déjà vu (section ), on peut résoudre ce genre de problème en utilisant des pointeurs de données, enregistrés avec chaque valeur. Ils indiquent sur l enregistrement l emplacement de la prochaine valeur de la même variable. Cependant, si cette technique est employée pour de nombreuses variables, le temps de stockage de l indicateur peut devenir considérable. Une solution à ce problème consiste à écarter du système des variables importantes (celles pour lesquelles l accès individuel est fréquent) et à les stocker sous forme de séries chronologiques à une variable. Cette pratique est courante pour les données des précipitations observées aux stations climatologiques. Le meilleur moment pour extraire ces variables importantes est lors de la mise à jour annuelle, quand les données validées sont transférées dans les fichiers d archives. On devrait souligner que la décision d extraire ainsi une variable dépend de l anticipation faite de la fréquence d accès qui lui sera nécessaire: des extractions fréquentes sont un argument en faveur de sa séparation d un lot de variables multiples. Moins le nombre de stations où l on observe une telle variable est important, plus la recherche avec variables multiples est inefficace, et plus le format à une seule variable se justifie. Si, comme c est habituellement le cas avec les données de qualité des eaux, les extractions sont faites pour plusieurs variables se rapportant à la même heure d observation, il est alors probablement plus commode de conserver le format original des variables multiples.

19 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I Systèmes d extraction de données L extraction des données est discutée en détail dans Guidelines to Computerized Data Processing in Operational Hydrology and Land and Water Management (WMO-No. 634). Un des principaux avantages du traitement informatique des données est la possibilité qu il offre d extraire rapidement des ensembles choisis de données. Des systèmes performants d extraction permettent aux hydrologues ou aux planificateurs des ressources en eau de se consacrer à l analyse des données plutôt que de passer du temps à localiser, à collationner et à traiter manuellement des données. Un système complet d extraction devrait posséder les caractéristiques suivantes: a) Un large choix de critères de sélection des données en général, on devrait sélectionner par types de variable, par bassins versants, par stations de mesure, par périodes d enregistrement ou encore, selon la valeur (ou l amplitude de variation) d une variable. De plus, il devrait être possible de sélectionner des données sur la base de n importe quelle combinaison de ces critères; b) La capacité d interpoler et/ou d agréger les données dans le temps et dans l espace il est en particulier très important de pouvoir transformer des séries chronologiques à pas de temps variable en séries à intervalle constant d une part et, d autre part, d agréger des séries à pas de temps rapprochés en séries de totaux ou de moyennes sur une base de temps plus longue (par exemple, la conversion de données horaires en données journalières, ou de valeurs journalières en valeurs décadaire). Si l on utilise un système géographique/hydrologique géoréférencé, on doit aussi pouvoir procéder à des ajustements spatiaux des données; c) Calcul de statistiques élémentaires il devrait être possible de calculer quelques valeurs statistiques élémentaires pour la (les) période(s) d enregistrement choisie(s), comme les totaux (si nécessaire), les moyennes, les écarts-types et les amplitudes de variation. Le système courant d extraction des données peut de plus offrir la possibilité de calculer des éléments plus complexes, comme des corrélations croisées, des régressions multiples, une analyse probabiliste, etc. Il est aussi possible de soumettre les données sélectionnées à un progiciel statistique (ou programme utilisateur) tel que décrit ci-dessous; d) Choix du format de sortie cette caractéristique devrait permettre la publication directe des données sous forme (spécifiée) de tableaux ou de graphiques et aussi de créer des fichiers de données dont le format soit compatible avec un traitement informatique ultérieur. Dans ce cas, l ensemble de données extraites peut être stocké en vue d applications statistiques ou de programmes spécifiques à l utilisateur. Un format de sortie bien choisi pourrait convenir aux échanges de données hydrologiques, au niveau national ou international; e) Sélection des organes de sortie le choix des dispositifs de sortie devrait être le plus étendu possible. Il devrait comprendre au minimum une imprimante, une unité de visualisation (UDV), un fichier disque et, si possible, une table traçante. Les données qui doivent être copiées sur bande ou sur disquettes sont normalement stockées au préalable sur le disque dur, avant d être transférées à l aide d un programme utilitaire indépendant, faisant appel à différentes variables spécifiques à l utilisateur. Les données extraites, particulièrement celles destinées à être imprimées sous forme de tableaux, doivent conserver leurs codes et les indicateurs relatifs à leur statut et à leur fiabilité (section 9.3). Les fichiers descriptifs des stations ou les catalogues de données devraient renseigner l utilisateur sur la fiabilité générale des données et/ou leur nonfiabilité durant des périodes bien précises. L extraction des données peut se faire de trois manières différentes: a) Extractions périodiques de données ce sont des résumés, pour chaque station, de données et de valeurs statistiques produits mensuellement et annuellement; b) Extractions selon les besoins de l utilisateur après avoir consulté les annuaires hydrologiques ou les catalogues de données, les utilisateurs peuvent demander une extraction en utilisant un formulaire ad hoc, et l extraction sera alors traitée comme une tâche séquentielle normale. Ainsi, il faut pouvoir compter sur des opérateurs ou d autres techniciens en informatique, qui introduiront la demande dans le système à l aide de logiciels d extraction de données. Le formulaire de demande d extraction devrait tenir compte des nombreuses possibilités de sortie; c) Extraction en ligne (interactive) des données il existe différentes méthodes de spécification interactive d extraction de données. Du fait de leurs utilisations potentiellement très vastes, elles sont développées ci-après. Comme nous l avons déjà vu dans ce chapitre et en particulier dans la figure I.10.4, l existence

20 I GUIDE DES PRATIQUES HYDROLOGIQUES Introduction des données En ligne Hors ligne Écran Corrections de données en ligne 1. Fichiers de travail 1 3 Données d entrée de base (+ copies) Écran Extractions/ requêtes 3. Catalogue 2. Fichiers de la base de données récente 2 3 Fichiers de la base de données hydrologique principale (+ copies) Écran Applications 4. Jeux de données utilisateurs Figure I Disposition des jeux de données en ligne et hors ligne d une base de données principale en ligne permet une extraction interactive des données. Cependant, à l exception des systèmes traitant de petites quantités de données ou de ceux dont la capacité de la mémoire à disque est très importante, la majeure partie des bases de données doivent être stockées de façon indépendante hors ligne. Ainsi, les méthodes interactives directes sont habituellement destinées à l extraction de quantités limitées de valeurs (les plus récentes). Certains systèmes offrent aux utilisateurs éloignés la possibilité d adresser un message aux opérateurs, pour leur demander l accès à un volume particulier et hors ligne de la base de données. Néanmoins, de telles demandes sont rarement satisfaites immédiatement et cette technique peut même devenir très lourde en termes de taux d occupation des terminaux et de coûts de transmission. Le moyen probablement le plus efficace de spécification interactive d extraction des données est la procédure de traitement à deux niveaux. Dans une première étape, un programme interactif permet à l utilisateur de préciser quelles valeurs il désire extraire, et dans une seconde étape, sa demande est automatiquement traitée comme un travail séquentiel et la réponse est livrée par la suite. L interface machine/utilisateur est appelée «système à menus». En raison de la faculté qu a l ordinateur de gérer lui-même l affectation de ses ressources, il est beaucoup plus efficace d extraire de grandes quantités de données en mode séquentiel, particulièrement s il s agit d extraire des données provenant de volumes indépendants. La discussion ci-dessus se rapporte avant tout à l extraction interactive de données, dans le cadre de systèmes d inventaires hydrologiques. Cependant, la possibilité de réviser les données collectées et stockées dans un système d exploitation en temps réel constitue peut-être un besoin encore plus essentiel. Des options d extraction s échelonnent depuis l interrogation par télétransmission d une ou d un groupe de stations de terrain, jusqu au traçage et à l affichage des données récemment collectées (et des dernières prévisions) au centre de traitement DIFFUSION DES DONNÉES Généralités Les données ne prennent une valeur que lorsqu elles sont utilisées. Ce n est que lorsque les données hydrologiques sont analysées et utilisées dans le cadre de la planification de la gestion de l eau et du processus de prise de décision qu elles deviennent réellement précieuses. Des enregistrements de bonne qualité sur de longues périodes sont nécessaires pour évaluer la moyenne et la variabilité, tant saisonnière qu interannuelle de n importe quelle variable hydrologique. C est ainsi que la période standard de 30 ans convenue pour obtenir une estimation «fiable» de la précipitation moyenne annuelle, n est peut être même pas vraiment suffisante, compte tenu des très longues périodicités sur les précipitations dans certaines parties du monde. De plus, compte tenu des preuves évidentes d un réchauffement global et des modifications climatiques qui lui sont associées,

21 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I les scientifiques et les ingénieurs ont besoin de longs enregistrements pour détecter et suivre les tendances des précipitations, du débit des rivières et de la recharge des eaux souterraines pour permettre l élaboration de plans contingents visant à faire face à une modification des ressources en eau. Pour être utiles, les données de bonne qualité doivent aussi être facilement accessibles pour toute une gamme d usagers. Les données sont souvent collectées par des organismes qui en sont eux mêmes les premiers utilisateurs, de telle sorte que la collecte des données sous-tend les travaux de l organisme, qu il s agisse de la distribution d eau potable, le fonctionnement des réseaux d irrigation ou l exploitation des installations hydroélectriques. Ces organismes sont souvent, mais pas nécessairement, des organismes gouvernementaux, et dans ce cas, la diffusion interne des données est un sujet que nous n aborderons pas ici. Dans ce Guide nous considérerons comment des utilisateurs, qui ne font pas partie de l organisme de collecte, peuvent accéder aux données hydrométéorologiques, en supposant que ces données ont été introduites dans un système de base de données approprié, tel ceux décrits plus haut. Les utilisateurs externes éventuels des données hydrologiques peuvent comprendre le personnel d autres secteurs gouvernementaux, des sociétés privées d adduction d eau ou de production d énergie, des bureaux d études en ingénierie et environnement, des universitaires et des chercheurs. Il existe tout un éventail d utilisateurs potentiels dont les besoins en données sont très divers, certains s intéressant aux données d une station ou d une rivière particulière, alors que d autres s intéresseront aux données de toute une région, de tout un pays voire de plusieurs pays dans le cas de rivières transfrontalières. L accès aux données L accès international aux données, tant météorologiques qu hydrologiques, est un sujet qui a retenu l attention de l OMM et de ses Membres depuis longtemps. Il en a résulté en 1995 l adoption par le Douzième Congrès météorologique mondial de la résolution 40 (Cg-XII) Politique et pratique adoptées par l OMM pour l échange de données et de produits météorologiques et connexes et principes directeurs applicables aux relations entre partenaires en matière de commercialisation des services météorologiques. Lors de sa session suivante, en 1999, le Treizième Congrès de l OMM a adopté la résolution 25 (Cg-XIII) Échange de données et de produits hydrologiques, établissant ainsi la politique et la pratique en ce qui concerne l échange international de données et produits hydrologiques. Cette résolution fournit un cadre pour faciliter l accès international aux données et produits hydrologiques (voir OMM-N 925). Le texte intégral de la résolution 25 (Cg-XIII) est également disponible à l adresse: francais/res25fra.html Catalogues de données à disposition N importe quel utilisateur de données aura généralement d abord besoin de cartes indiquant la localisation des stations de tous types, de même que de tableaux indiquant les données disponibles pour chaque site, avec la période d enregistrement. Ces informations constituent la métabase de l ensemble des données et peuvent constituer un jeu distinct de tableaux de données au sein d une base de données informatisée (voir plus haut), ou peuvent prendre la forme d un document imprimé. Les utilisateurs peuvent consulter ce type d information soit électroniquement sur un portail Internet, soit dans les annuaires imprimés. Ces informations étaient traditionnellement procurées aux utilisateurs par les annuaires, souvent imprimés chaque année, bien que quelquefois des catalogues récapitulatifs des données disponibles étaient publiés tous les trois ou cinq ans, puisque les réseaux de mesure sont généralement assez stables au cours du temps. Cette approche est simple mais peut se révéler onéreuse en termes de coûts d impression, et les catalogues imprimés de sont pas forcement facilement accessible à tous les utilisateurs. Ils ont toutefois, et depuis longtemps, souvent été le moyen le plus efficace de diffusion de l information sur les données à disposition, et le demeureront dans les pays où l accès à Internet est peu commode ou peu fiable. Cependant, à l avenir, la façon la plus courante de mettre ces catalogues à la disposition des utilisateurs sera vraisemblablement, et de plus en plus, un navigateur directement connecté aux métadonnées. Cette configuration a l avantage d être disponible à tous les utilisateurs possédant un accès à Internet, et rend inutiles les annuaires. Il est également potentiellement plus facile de maintenir le système et de le conserver à jour. Pour chaque bassin versant jaugé, les informations suivantes devraient être disponibles: a) Des informations détaillées sur le bassin versant comme sa taille, sa géomorphologie,

22 I GUIDE DES PRATIQUES HYDROLOGIQUES sa pédologie, sa couverture végétale et l utilisation de son sol; b) L appartenance du bassin versant à une zone climatique, avec la moyenne annuelle des précipitations et de l évaporation; c) L emplacement, le type et la qualité de la station de jaugeage; d) Des informations détaillées sur toutes les régulations de débit pratiquées en amont ou sur les éléments pouvant compliquer l utilisation des enregistrements; e) La période et qualité des enregistrements des débits et de qualité des eaux (y compris le transport solide); f) L emplacement des stations météorologiques se trouvant à l intérieur ou aux environs immédiats du bassin versant, ainsi que leurs périodes d enregistrement. Ces informations sont groupées et discutées dans trois rubriques distinctes: information descriptive, carte du bassin versant et données à disposition. Afin d aider les utilisateurs à identifier les bassins versants jaugés dont ils ont besoin pour leurs travaux, il faudrait leur procurer une description des caractéristiques de chaque bassin versant jaugé, des informations sur les principales particularités des installations de jaugeage, de même que sur la qualité et la fiabilité des données débitmétriques. Le tableau I.10.7 présente des suggestions de rubriques et d informations à transmettre. Même si, en pratique, il n est pas toujours possible d obtenir toutes les informations décrites pour chaque bassin jaugé, nous suggérons d utiliser invariablement le même format. Un exemple en complément au tableau I.10.7 est donné à la figure I Il s est avéré utile de pouvoir disposer d une carte pour chaque bassin versant ou groupe de bassins versants. Cette carte devrait être publiée à une échelle permettant d y faire figurer convenablement les informations nécessaires. L utilisation de cartes à différentes échelles est justifiée si les tailles des bassins versants à représenter sont très différentes. Dans un futur proche, l intégration dans des systèmes SIG informatisés de toutes les indications servant à l établissement de cartes permettra une représentation cartographique à l échelle désirée. Les informations que doit contenir une carte sont décrites dans le tableau I.10.8, et un exemple élémentaire se trouve à la figure I Le descriptif des données disponibles devrait comporter un résumé relativement concis et facile à mettre à jour des données mensuelles de débit et de précipitations, ainsi que des données annuelles de qualité des eaux. Lorsqu il existe plusieurs stations météorologiques à l intérieur d un même bassin versant, il peut être très difficile d inclure dans le descriptif un résumé des données de chacune d entre elles. Pour limiter la quantité d informations, on se contentera d indiquer, sur la carte décrite plus haut, l emplacement des pluviographes et des principales stations de mesure des précipitations journalières. Les stations ayant de longues périodes d enregistrement peuvent remplir plusieurs pages si l on veut que les informations soient lisibles. Nous suggérons d inclure dans le descriptif des données disponibles toutes les informations figurant dans le tableau I Rapports récapitulatifs De nombreuses organisations publient des récapitulatifs de données, qui peuvent être: des moyennes climatiques, des statistiques sur les précipitations, des enregistrements et/ou des statistiques sur les débits, des études et/ou des enregistrements sur la qualité des eaux. De telles publications contiennent habituellement des informations sur la station: numéro d identification, latitude et longitude, type de données collectées, caractéristiques de l emplacement (nom local, nom du cours d eau, références du maillage, surface du bassin versant, etc.), période de fonctionnement, périodes pour lesquelles les données ont été traitées, résumés de valeurs instantanées, quotidiennes, mensuelles et annuelles (y compris les valeurs moyennes et extrêmes). Les données peuvent être présentées sous forme de texte, inscrites sur microfiches ou mémorisées sur supports informatiques compatibles, tels que disquettes ou disques compacts à mémoire morte (CD-ROM) Annuaires Un annuaire est un moyen très efficace de diffusion des données hydrologiques, bien que seuls certains types de données puissent être publiés. Que l on pense en effet qu avec les enregistreurs de données modernes et la télétransmission, les précipitations et le niveau des rivières (et dont les débits) sont maintenant observés toutes les 50, 30 voire 15 minutes, soit de 8760 à valeurs par an. Il n est ni possible, ni généralement nécessaire, de publier les données à ce niveau de résolution temporelle, et les annuaires ne publient d habitude que les totaux pluviométriques journaliers ou mensuels et les débits moyens journaliers.

23 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I Tableau I Esquisse d un format de catalogue de données Identification Nom Bassin Localisation Description Nom de la rivière, nom et numéro de la station Nom et numéro du bassin Localisation de la station de jaugeage en latitude et longitude et coordonnées locales Caractéristiques du bassin Surface du bassin Zones climatiques Précipitation moyenne Évaporation au bac Géomorphologie Surface du bassin en kilomètres carrés Expression du climat sur le bassin en termes de zones bioclimatiques reflétant la quantité et l occurrence des précipitations Évaluation des précipitations moyennes annuelles au centre de gravité du bassin et pour les grands bassins, la gamme des précipitations annuelles sur le bassin. Les sources des évaluations devraient être citées Évaluation de l évaporation moyenne annuelle sur bac au centre de gravité du bassin. La source de l évaluation devrait être citée Commentaires descriptifs du relief, du paysage et de la géologie du bassin jaugé Modelé du paysage Végétation naturelle Défrichement Végétation actuelle Utilisation du sol Régularisation Commentaire général Estimation quantitative des proportions des différents modelés du bassin Description de la végétation naturelle déduite de levés de végétation Proportion de végétation naturelle défrichée ou substantiellement altérée par l activité humaine. Les références et dates estimées de défrichement devraient être indiquées Description de la couverture végétale actuelle du bassin avec références Commentaires sur l utilisation des sols. Les sources d information devraient être citées, qu il s agisse d observations sur le terrain, de carte d utilisation des sols en milieu rural ou d évaluations plus détaillées Commentaires sur les aménagements qui, à l amont, pourraient modifier le régime de l écoulement. Les sources d informations détaillées possibles devraient être énumérées Si la station ne peut pas mesurer l écoulement total du bassin, ou si l enregistrement ne peut être corrigé des régularisations à l amont, on omettra les caractéristiques de la station au profit de commentaires sur ses fonctions ou buts particuliers Renseignements sur la station de jaugeage Période d enregistrement Mois et année de l ouverture et de la fermeture de la station de jaugeage. Lorsque plusieurs stations ont été exploitées près de la même rivière, on donnera les références appropriées Classification Installations de jaugeage Enregistrement du niveau Courbe de tarage Sensibilité de la mesure Classification actuelle de la station de jaugeage. Dans le cadre du réseau hydrologique (par exemple station de projet ou station de base) Description des instruments limnimétriques et des caractéristiques contrôlant le niveau de la rivière à la station de jaugeage. Les modifications d un quelconque de ces éléments au cours de la période d exploitation devraient être notées Pourcentage annuel de données enregistrées et pourcentage de ces données réclamant une interprétation au cours du traitement (enregistrements défectueux) Brefs commentaires sur la méthode et la qualité de la relation hauteur-débit, ainsi que sur le débit maximum mesuré. Si possible on devrait connaître la proportion du débit mesuré que représente le débit maximum mesuré On devrait fournir une mesure de la sensibilité de la courbe de tarage. La meilleure méthode pour la déterminer consiste à estimer le pourcentage du volume d écoulement qui peut être mesuré à 1, 2 ou 5 % avec une erreur de 1 mm sur l enregistrement de la hauteur d eau. Remarquons que cette méthode mesure la pente de la courbe de tarage et de la courbe des débits classés. On peut aussi la définir pour une erreur de 10 mm ou 100 mm sur la hauteur d eau

24 I GUIDE DES PRATIQUES HYDROLOGIQUES Warren River Wheatley farm Bassin Warren river Localisation Latitude S Longitude E AMG Coordonnées du maillage Caractéristiques du bassin Surface du bassin km 2 Zone climatique Climat méditerranéen; pluies moyennes à faibles N E Pluie moyenne 735 mm/an (Gamme ) Évaporation au bac mm/an (Gamme Géomorphologie Relief faible à modéré; plateau ondulé incisé par les vallées principales, sols de latérites bauxitiques sur un granit archéen et des roches métamorphiques Modelé Unités cartographiques; atlas des sols australiens (Réf. 8) 16 % Ub90 latérites désagrégées; région vallonnée avec sols marbrés jaunes et crêtes graveleuses 14 % Cb43, Tf6 bas-fonds marécageux; drains peu profonds avec sables lessivés et sols podzoliques 57 % Cd22, Tc6 Plateau latéritique; hauteurs avec sables et graviers ferrugineux sur argiles marbrées 13 % Tf6, Ta9 vallées encaissées; pentes douces, sols surtout podzoliques jaunes Végétation naturelle Unités cartographiques; étude de végétation d Australie occidentale (Réf.1) 20% emi forêt naturelle; forêts de marri-wandoo sur latérites désagrégées 70% emc forêt; forêt de jarrah-marri sur plateau latéritique 10% mli fourrés; forêts de paperback sur plateau marécageux Défrichement Environ 40% défrichés (seulement 27 % défrichés en 1965) Utilisation du sol Régularisation La moitié du bassin est boisée, les surfaces défrichées sont utilisées pour l élevage ovin et la production céréalière à l amont du bassin et l élevage bovin à l aval Retenues collinaires de fermes sur de petits cours d eau Renseignements sur la station de jaugeage Période couverte Classification Équipement de jaugeage Enregistrement des niveaux Courbe de tarage De mai 1970 à ce jour Réseau hydrologique bassin principal primaire Servomanomètre L&S et enregistrement graphique continu jusqu à ce jour. Contrôle hydraulique seuil rocheux pour les débits faibles à moyens; contrôle par le chenal aval en hautes eaux 96,5% enregistrés, 7,6% défectueux Étalonnage correct pour les débits faibles à moyens en raison de la nature du contrôle, bon étalonnage pour les débits moyens à forts, mais valeurs théoriques au-delà de la gamme mesurée. Nombreuses mesures de débits jusqu à 97,04 m 3 s 1, ce qui représente 99 % du total des débits enregistrés Sensibilité 99 % du débit < 1; 100 % du débit < 2 Figure I Échantillon de page de catalogue de données

25 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I Tableau I Esquisse des éléments cartographiés Identification Frontières de bassin Cours d eau Échelle du bassin Stations pluviométriques Isohyètes (facultatif) Description Échelle et références de la carte à partir de laquelle les frontières du bassin ont été tracées Le nombre de cours d eau tracés devraient être fonction de la surface du bassin. Inclure les références des données sur les cours d eau Variable fonction de la taille du bassin Localisation et numéro des stations, période d exploitation et type d appareil, par exemple, pluviomètre, à lecture quotidienne ou totalisateur Isohyètes des précipitations moyennes annuelles pour le bassin avec références Utilisation du sol (facultatif) Lorsque cela est pertinent, les limites des principaux usages du sol devraient être connus. Par exemple limites des forêts, des terres agricoles et des zones urbaines Les données sur les eaux souterraines ne varient que lentement au cours du temps et ne sont parfois observées qu épisodiquement, hebdomadairement ou mensuellement. Ces lots de données peuvent donc être publiés dans leur intégralité. Certaines variables climatiques, comme la température, la vitesse du vent ou le rayonnement, ne sont souvent publiées que sous forme de moyennes mensuelles. Des exemples emblématiques de sorties d annuaires, tirés du NRFA (Archive nationale des débits fluviaux du Royaume-Uni), sont proposés (voir les figures I.10.7 à I.10.13) Extraction de données à la demande Les données hydrologiques nationales sont de plus en plus diffusées aux utilisateurs par Internet, où ils peuvent utiliser une carte et une boîte de dialogue pour choisir les stations qui les intéressent et les données qu ils souhaitent télécharger. L accès par Internet permet aux utilisateurs de naviguer dans les données et déterminer, pour une ou plusieurs stations, quels types de données ils désirent. Certains systèmes permettent aux utilisateurs de télécharger les données sélectionnées directement (74-) (15-) (74-77) (76-77) (68-73) (37-83) (74-) (72-) (70-76) (76-) (74-) Station pluviométrique (73-) (74-77) Mt Lindesay Station de jaugeage Figure I Bassin de la rivière Denmark Figure I Carte des stations de jaugeage du Royaume-Uni gérées par la NFRA

26 I GUIDE DES PRATIQUES HYDROLOGIQUES Tableau I Aperçu sur la disponibilité des données Identification Données sur le débit Données de précipitations Données sur la qualité de l eau Description Enregistrements disponibles et qualité des enregistrements présentés clairement mois par mois Enregistrements disponibles et qualité des enregistrements présentés clairement mois par mois pour les principaux pluviographes et les pluviomètres à lecture manuelle. La période d enregistrement peut être réduite à celle couverte par la station de jaugeage pour des raisons pratiques Nombre d échantillons analysés chaque année pour des groupes d analyses significatifs. Les regroupements suivants sont suggérés: a) b) c) d) Analyse de base seulement (conductivité partielle ou totale, ph, température de la rivière, paramètres de couleur ou de turbidité) Analyse des ions majeurs Analyse des nutriments Analyse des métaux lourds et autres éléments trace sur leur propre ordinateur, alors que d autres ne permettent que de consulter la base de données et de formuler électroniquement une commande. Une des raisons de ne pas permettre aux utilisateurs le téléchargement de n importe quelles données est que le volume de ces données peut être important, et que leur transfert peut être beaucoup trop lent pour certains serveurs d accès, en particulier lorsque l on utilise une connexion par modem lente. De façon analogue, il peut être problématique de livrer les données aux utilisateurs sous forme de fichier attaché à un courrier électronique, compte tenu des limitations de tailles imposées par certains de ces services. Dans de nombreux cas, la meilleure solution est de faire parvenir un CD aux utilisateurs ayant passé une commande sur le site Internet, ou éventuellement de placer les données sur un site FTP (Protocole de transfert de fichiers). L utilisateur pourra alors télécharger les données depuis ce site. Il se peut que les données soient en accès libre sur le site Internet, en particulier lorsque l utilisateur peut les télécharger directement. Dans certains cas toutefois, les utilisateurs peuvent avoir à payer des frais de manutention pour couvrir les coûts associés à la préparation du CD. Quoique certains utilisateurs se plaignent de devoir payer pour l obtention de données, la facturation est souvent motivée car l agence fournissant les données doit justifier sa permanence aux yeux de ceux qui la financent et la gèrent. Le payement des usagers pour les données peut fournir au moins une part des besoins financiers de l agence mais, et cela est probablement plus important, témoigne de la valeur attribuée à son activité par les utilisateurs externes ou des clients. Le site de l United Kingdom National Water Archive de même que le site des données hydrologiques de l USGS sont de bons exemples de systèmes d extraction de données en ligne sur la Toile. Ou encore celui des données de projets WHYCOS à ainsi qu à HYDRO/INDEX.HTM Formats d échanges de données Il n existe pas à l heure actuelle de normes sur le format d échanges de données hydrologiques. Les seules normes existantes sont les normes de fait utilisées par la plupart des enregistreurs de données et les logiciels des systèmes de base de données. Les formats d échange de données courants appartiennent généralement à l une des catégories suivantes: Fichiers texte Les fichiers de données en format texte ont l avantage d être lisibles facilement par un utilisateur possédant les logiciels les plus simples. Les données des séries chronologiques sont souvent rangées par colonnes de dates, heures et valeurs, chaque valeur étant séparée de la précédente par un délimiteur pouvant être une virgule (c est alors un fichier CSV), ou un autre caractère, ou encore un nombre fixé d espaces. Format propriétaire L inconvénient des fichiers texte est la taille des fichiers résultants. De nombreux logiciels utilisent un format propriétaire qui utilise la mémoire de

27 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I La Tamise au barrage de Day Organisation gérant les mesures: EA Première année: 1938 Réf, de maillage: 41 (SU) Niveau de la station: (m OD): 45,80 Surface du bassin (sq km): 3 444,7 Hauteur maximale (m OD): 330 Moyenne journalière d écoulement jaugé (mètres cubes par seconde) Jour Janvier Février Mars Avril Mai Juin Juillet Août Sept. Oct. Nov. Déc. 1 56,600 25,800 42,600 24,800 20,400 11,000 5,380 3,970 3,730 4,120 3,520 10, ,500 24,200 40,400 21,800 23,200 8,850 5,490 3,710 3,050 3,960 4,020 9, ,600 24,200 39,100 21,100 19,300 9,250 5,320 3,640 2,770 3,550 4,060 11, ,300 22,600 38,600 20,800 13,100 9,160 5,140 3,630 2,700 2,860 7,280 12, ,700 22,400 37,700 21,100 13,900 9,130 5,170 3,430 3,120 3,090 6,880 15, ,900 24,000 33,800 20,800 15,500 8,860 6,050 3,200 3,100 3,060 8,280 13, ,400 24,000 33,700 20,500 15,500 10,100 5,640 3,060 3,060 3,040 5,620 11, ,900 23,600 33,500 20,100 16,400 14,600 5,040 2,750 2,980 3,300 5,350 9, ,000 30,700 35,000 20,100 15,500 11,800 5,270 2,760 2,970 4,110 6,450 9, ,000 53,600 35,900 21,500 14,200 11,200 5,410 3,720 2,880 3,250 5,810 8, ,600 57,200 33,300 22,500 14,100 9,190 3,870 4,850 2,990 2,980 3,210 8, ,100 81,600 34,600 22,500 14,200 8,880 5,500 4,320 3,220 3,520 4,470 8, ,800 99,800 36,000 48,400 14,100 8,410 4,730 4,220 3,250 3,430 5,480 8, ,400 90,200 35,200 40,600 13,800 7,440 3,870 3,790 3,020 3,130 4,590 8, ,300 64,100 32,000 31,500 13,900 5,880 3,940 3,680 2,940 3,170 4,340 8, ,800 53,900 31,100 26,400 13,300 6,240 3,810 3,380 2,840 3,220 5,240 8, ,400 48,400 30,600 24,700 13,200 6,020 3,820 3,340 3,180 3,420 6,390 8, ,500 48,400 25,500 21,100 13,200 5,980 3,700 2,850 2,500 4,2900 5,900 8, ,600 47,700 27,300 23,900 14,100 5,990 2,650 2,840 2,620 4,030 10,700 10, ,300 40,700 26,700 24,400 13,900 5,970 3,210 2,940 2,910 3,210 11,600 12, ,100 38,500 26,800 23,500 13,900 5,930 3,720 3,170 2,900 3,680 11,400 15, ,400 37,100 27,800 25,200 13,400 6,130 3,350 3,340 2,850 3,500 10,700 14, ,900 37,200 33,900 35,100 14,000 5,990 3,260 5,340 2,850 3,380 9,080 12, ,400 59,000 36,400 42,800 19,500 5,660 3,210 6,820 3,150 3,410 8,330 10, ,600 95,400 32,500 26,800 15,300 5,510 3,200 7,110 3,660 3,010 11,900 10, ,700 92,500 34,200 25,000 15,700 5,480 3,270 4,790 3,750 3,530 11,900 10, ,900 73,700 45,900 22,000 13,100 4,660 3,430 3,800 3,300 4,120 12,600 9, ,800 59,100 33,300 21,700 12,800 4,970 4,000 3,960 3,340 3,870 10,300 8, ,500 43,600 32,300 20,600 12,800 5,570 5,480 3,210 3,370 4,670 10,100 8, ,300 26,300 20,500 11,100 5,520 4,620 3,590 3,350 4,560 9,390 9, ,100 25,500 11,000 3,950 4,180 3,240 8,830 Moyenne 54,400 49,750 33,470 25,390 14,750 7,646 4,339 3,851 3,078 3,539 7,496 10,270 Minimum 26,100 22,400 25,500 20,100 11,000 4,660 2,650 2,750 2,500 2,860 3,210 8,020 Maximum 109,000 99,800 45,900 48,400 23,200 14,600 6,050 7,110 3,750 4,670 12,600 15,400 Total mensuel (million m 3 ) 145,70 124,70 89,64 65,82 39,52 19,82 11,62 10,32 7,98 9,48 19,43 27,52 Débit (mm) Précipit. (mm) Statistiques des données mensuelles d enregistrements passés (octobre 1938 à décembre 1995) Module Moy. 56,450 56,680 44,600 30,650 20,140 14,260 8,397 7,073 8,666 14,960 30,750 45,570 Bas 6,252 5,548 5,619 4,255 2,854 1,504 0,401 0,290 1,740 2,782 3,751 5,308 (an) Haut 133, , ,200 85,060 61,140 41,560 48,810 18,690 38,640 74, , ,700 (an) Débit Moy Bas Haut Précip. Moy Bas Haut

28 m 2 s 1 I GUIDE DES PRATIQUES HYDROLOGIQUES Sommaire des statistiques Facteurs influençant l écoulement Pour 1996 Pour des enregistrements antérieurs à 1996 Module 18,070 28, Moyenne annuelle la plus basse 10, Moyenne annuelle la plus haute 51, Moyenne mensuelle la plus basse 3,078 sept. 0,290 août 1976 Moyenne mensuelle la plus haute 54,400 janv. 163,200 mars 1947 Moyenne journalière la plus basse 2, sept. 0,050 7 juil Moyenne journalière la plus haute 109, janv. 349, mars 1947 Débit dépassé 10 % du temps 44,770 67, Débit dépassé 50 % du temps 9,412 15, Débit dépassé 95 % du temps 2,959 3, Total annuel (million m 3 ) 571,40 885,20 65 Écoulement annuel (mm) Précipitation annuelles (mm) { précipitations moyennes (mm) 690} 1996 écoulement réduit par des prélèvements Comme % destinés à l alimentation domestique des pré-1996 Écoulement réduit par des prélèvements destinés à l industrie et/ou l agriculture Écoulement aug. par le rejet des effluents Figure I Exemple de tables de l annuaire de la NFRA La Tamise au barrage de Day Référence de maillage 41 (SU) Opérateur EA Numéro local 1900 Surface du bassin 3 444,7 km 2 Altitude de la station 45,8 m OD Altitude maximum 330,0 m OD Module 28,38 m 3 s 1 Débit dépassé 95 % du temps (Q95) 3,22 m 3 s 1 Débit dépassé 10 % du temps (Q10) 69,2 m 3 s 1 Précipitations annuelles moyennes mm Figure I Caractéristiques d une station Janv. Déc. Déc. Mars Juin Sept. 50 Débits moyens journaliers maximum et minimum pour la période 1959 à 2004, à l exception de ceux de l année représentée (2004). Module 2,72 m 3 s m 3 s ,5 0,2 Janv. Fév. Mars Avril Mai Juin Juil. Août Sep. Oct. Nov. Déc. 0, Pourcentage du temps où le débit est dépassé Figure I Exemple d hydrogramme de jaugeages de débits journaliers Figure I Courbe des débits classés pour des débits journaliers jaugés

29 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I Description de la station Un déversoir à plaque mince réglable (5,48 m de large) avec 15 vannes à segment a remplacé en 1969 un barrage équipé de vannes de type radiales et autres. La formule de tarage est basée sur des jaugeages le calage par les eaux restituées concerne les débits > 70 m 3 s 1, le débordement se manifestant au dessus de 100 m 3 s 1. Les débits journaliers naturalisés sont disponibles pour PQR (égaux aux débits mesurés jusqu en 1973) ne prennent en compte que les pertes dues à la centrale électrique de Didcot. Les débits de pointe de crue sont à l étude. Description du bassin Géologie hétérogène (calcaires oolithiques en tête de bassin, argiles oxfordiennes en aval). Bassin à prédominance rural avec urbanisation concentrée le long de la vallée Facteurs influençant l écoulement Écoulement réduit par des prélèvements destinés à l alimentation domestique Écoulement augmenté par le rejet des effluents Écoulement diminué par des prélèvements destinés à l industrie et l agriculture façon beaucoup plus efficace. Il en résulte de plus petits fichiers prenant moins de place sur les disques ou médias de transfert et qui circulent plus rapidement sur Internet. L inconvénient correspondant est bien entendu qu un logiciel spécialisé est nécessaire pour lire les fichiers. XML Figure I Exemple de métadonnées Il existe une tendance à identifier le format d échange de données avec la généralisation de l intérêt pour le langage de balisage extensible ou XML (World Wide Web Consortium, 2004). XML est lui-même un format normalisé pour les fichiers de données, bien qu au niveau le plus général. Avec la généralisation de l utilisation d Internet au cours des années 90, en particulier dans les domaines de l édition, de la fabrication et de la vente au détail, est apparu le besoin d un normalisation permettant aux programmes informatiques de lire les fichiers de données et de leur donner sens sans avoir connaissance a priori de leur format. XML a été défini en 1998 par le World Wide Web Consortium (W3C) comme une plateforme et une méthode pour introduire des données structurées dans un fichier texte. XML est analogue au langage de balisage hypertexte (HTML), qui est le format le plus utilisé sur Internet et qui permet, à différents progiciels, d afficher de la même façon le contenu des fichiers de ce format. Mais, alors que HTML décrit quelle devrait être l apparence du contenu, XML n en dit rien mais décrit simplement ce qu il est. Le contenu du fichier de données est écrit entre des balises, qui décrivent ce qu il en est des données. Le tableau I présente, par exemple, le nom et les coordonnées d une station de jaugeage en XML. Un programme informatique lisant ce XML saura, sans comprendre quoi que ce soit à l hydrologie, que le fichier contient des informations relative à une «station de jaugeage», qu elle possède un attribut intitulé «nom», que la valeur de cet attribut est «Tamise à Wallingford» et un second attribut nommé «coordonnées» possédant lui même les attributs «longitude Est» d une valeur de et «longitude Nord» d une valeur de , ces deux valeurs étant exprimées en unités de «mètres». Les symboles suivants < > sont appelés balises, et les paires de balises encadrent les valeurs des données, tandis que le texte à l intérieur des balises décrit les données encadrées. Type de données djm djn dmn pmb Débits journaliers mesurés (djm) Débits mensuels naturalisés (dmn) Débits journaliers naturalisés (djn) Précipitations mensuelles de bassin (pmb) Figure I Débits et précipitations de bassin à NRFA (Royaume-Uni)

30 I GUIDE DES PRATIQUES HYDROLOGIQUES Tableau I Nom et coordonnées d une station en XML <gaugingstation> <name>river Thames at Wallingford </name> <coordinates> <easting unit=metres> </easting> <northing unit=metres> </northing> </coordinates> </gaugingstation> Les avantages et inconvénients de XML font l objet d amples débats, mais peuvent être aisément résumés. Avantages: Aptitude à séparer la forme du contenu, et donc application rapide de règles d affichage différentes à toute une gamme de fichiers de même format. Les données stockées dans un fichier, de même que les règles applicables à ces données, peuvent être explicitement identifiées, ce qui peut être utilisé par un logiciel pour la validation d un fichier de données en cours de lecture. Les fichiers peuvent également être consultés efficacement. Inconvénients: Les fichiers texte non compactés auront une taille importante. XML n a pas été inventé pour décrire des données de séries chronologiques dont la taille en XML pourra être 10 fois plus importante que le fichier texte même non compacté correspondant. Un avantage important de XML est qu il peut être adapté à des sujets particuliers. Les bibliothèques ont, par exemple, défini en XML un format international définissant des balises et règles concernant le stockage d informations relatives aux livres. Ces normes permettent à toutes les bibliothèques de fournir des données qui pourront être lues et comprises par toutes les autres bibliothèques. Quelque chose d analogue se met progressivement en place dans le champ plus complexe des sciences de l environnement. Il existe déjà des formats XML émergents pour toute une gamme d applications, allant de la description des molécules à un langage de modélisation climatique. Les données des SIG ont maintenant une norme fondée sur XML appelée langage de balisage géographique (GML), qui permet de combiner des cartes numériques de toutes origines et peut être utilisé pour la diffusion de données spatiales. GML est une grammaire de XML définie par le Consortium géospatial ouvert (OGC) pour l expression des caractéristiques géographiques (Cox et al., 2004). GML sert de langage de modélisation pour les systèmes géographiques, mais aussi de format ouvert pour les échanges géographiques sur Internet. Les définitions de nombreuses spécialisations de XML (domaines où XML se spécialise) sont encore en cours d évolution et devraient donc être utilisées avec précaution. Certains langages spécialisés ont cependant atteint le stade d une reconnaissance par une norme ISO. Aucune spécialisation de XML en hydrologie n a encore été développée, bien que le Service météorologique national des États-Unis d Amérique ait mis en place un Consortium XML en hydrologie et réalisé un schéma préliminaire d un XML hydrologique. Bibliographie et lectures complémentaires Cox, Simon, Paul Daisey, Ron Lake, Clemens Portele et Arliss Whiteside (éds.), 2004: OpenGIS Geography Markup Language (GML) Implementation Specification Version Recommendation Paper, février 2004, Open GIS Consortium, Inc. et ISO réference N OGC r1. Kilpatrick, Mary C., 1981: WATSTORE: A WATer Data STOrage and REtrieval System. United States Government Printing Office publication, 52, United States Department of the Interior, USGS, Reston, Virginie, p Maurer, T., 2004: Globally Agreed Standards for Metadata and Data on Variables describing Geophysical Processes: A Fundamental Prerequisite for an Integrated Global Data and Information Infrastructure and Thus Improved Management of the Earth System for Our All Future. Global Runoff Data Centre, Report 31, October nn_298486/grdc/en/02 Services/04 Report Series/report 31,templateId=raw,property= publicationfile.pdf/report_31.pdf. Woolf A., B. Lawrence, R. Lowry, K. Kleese van Dam, R. Cramer, M. Gutierrez, S. Kondapalli, S. Latham, D. Lowe, K. O Neill et A. Stephens, 2006: «Data integration with the Climate Science Modelling Language». Advances in Geosciences, Volume 8, p adgeo-8-83.pdf. Organisation météorologique mondiale, 1981: Case Studies of National Hydrological Data Banks: Planning, Development et Organization. Rapport d hydrologie opérationnelle N 17, WMO-No. 576, Genève.

31 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I.10-31, 1983: Guide des pratiques climatologiques. Deuxième édition, OMM-N 100, Genève php?pub_id=417., 2001: Échange de données et de renseignements hydrologiques Politique et pratique de l OMM. OMM-N 925, Genève. OMM et FAO, 1985: Guidelines for Computerized Data Processing in Operational Hydrology et Land et Water Management. WMO-No. 634, Genève. World Wide Web Consortium, 2004: Extensible Markup Language (XML) 1.0. Troisième édition, W3C Recommandation 4 février TR/2004/REC-xml

32