STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES [SHOFM G06]

Transcription

1 CHAPITRE 10 STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES [SHOFM G06] 10.1 Introduction La disponibilité de suffisamment de données de bonne qualité est nécessaire à toutes les facettes de l hydrologie, depuis la recherche jusqu à l évaluation des ressources en eau en passant par toute une série d applications opérationnelles. La signification de «suffisamment» pourra varier selon l application considérée et elle sera discutée ailleurs. C est la notion de «bonne qualité» et le problème de l accès aux données, de même que celui de la disponibilité des données pour toute une gamme d utilisateurs, qui seront traités dans ce chapitre L importance des données L aboutissement de la collecte de données, depuis la mesure des précipitations, l enregistrement des hauteurs d eau et les jaugeages jusqu au suivi des eaux souterraines et à l échantillonnage de la qualité de l eau est un ensemble de données utilisable pour la prise de décision. Les décisions peuvent être prises sur la base des données brutes, de statistiques qui en sont tirées ou des résultats de diverses étapes de modélisation réalisées grâce à elles, mais ce sont finalement les données collectées qui constituent le support de ces décisions. Les données brutes, qu elles soient sous la forme de fiches remplies sur le terrain, de graphiques ou de rapports, doivent rester disponibles après traitement. Certaines erreurs de report ou de traitement ne peuvent être détectées qu au moment de leur examen minutieux par les utilisateurs. Il peut être parfois nécessaire de contrôler les transcriptions faites à partir des originaux ou de réévaluer l interprétation d une source douteuse. Les enregistrements provenant d un site de mesure particulier pourront être vérifiés par un nouvel échantillonnage, dans la perspective d un futur développement ou lorsque des modifications technologiques entraînent une amélioration des normes. Dans ces cas-là, un nouveau traitement des données s impose. C est pourquoi les valeurs originales doivent être archivées de façon sûre. Le lieu d archivage devrait être complètement séparé de la base de données informatique et sécurisé. Tout ensemble de données a évidemment une grande valeur puisqu il résulte d un investissement considérable en temps et en argent. La gestion des données est donc en soi un travail important et ce travail doit être effectué efficacement afin de maximiser les retombées de l investissement. Une archive hydrologique bien conçue et bien gérée devrait consolider les efforts consacrés à la collecte des données afin d offrir une source fiable de données de grande qualité pour les décennies et siècles à venir. Une archive médiocre, en raison d une mauvaise conception initiale ou d une gestion défaillante, peut, pendant des années, obliger à faire davantage de collecte ou de modélisation et affaiblir la prise de décision. L archive peut très rapidement devenir redondante. De plus des données et bases de données médiocres conduiront à des décisions de planification sous-optimales et à des ouvrages mal conçus. L intégrité des données est également un problème important. La compréhension des succès ou des limites du travail dans tous les champs de l hydrologie repose souvent sur la compréhension de la qualité des données sur lesquelles il s est fondé. Bien entendu, l échelle de la gestion des données dépend de celle de l opération entreprise: un vaste projet hydrologique détaillé exigera des techniques de gestion plus complexe et davantage de stockage informatique qu un petit projet ne s intéressant qu à peu de variables pendant une durée limitée. Mais l échelle de la gestion des données dépend aussi d autres facteurs. Comme pour le volume des données, il y a souvent des contraintes budgétaires et on ne peut consacrer à l archivage qu une partie de temps de travail alors que les grands systèmes de gestion de données ne sont pas financés. La capacité des employés à gérer les données peut elle-même être une contrainte et le niveau de la gestion des données dépend de l expérience et du savoir-faire du personnel. Toutefois, en dépit d une diversité potentielle d échelles, certains aspects essentiels se retrouvent dans tous les systèmes de gestion des données hydrologiques. Le présent chapitre décrit en détail ces différents aspects de la gestion des données, en insistant sur une approche générale et en précisant le côté concret des cas extrêmes Processus de la gestion des données Les données hydrologiques suivent un cheminement bien défini depuis le point de collecte, qui

2 I.10-2 GUIDE DES PRATIQUES HYDROLOGIQUES constitue l entrée du système, puis par la validation et enfin la diffusion et l utilisation dans la prise de décision. Quelle que soit l échelle de l application et le niveau technologique de la gestion de données, ce cheminement est essentiellement le même, comme on peut le voir sur la figure I.10.1 ci-dessous. La liste du tableau I.10.1 résume quelques-uns des ensembles de données à diverses étapes du processus de gestion des données. Il s agit là d un panorama de l ensemble du processus de gestion des données. Certains aspects de ce processus sont discutés en détail dans le chapitre 9. Ici on insistera sur le stockage, l accès et la diffusion des données et sur leur insertion dans le processus de la gestion de données. On trouve dans le Guide des pratiques climatologiques (OMM-N 100) une description détaillée des procédures préconisées pour le stockage et la classification des données climatologiques. La plupart de ces considérations peuvent également s appliquer aux données hydrologiques, même si elles exigent un traitement quelque peu différent au niveau de l efficacité du stockage. De nombreux pays rassemblent de grandes quantités de données climatologiques et hydrologiques; il ne leur est pas possible de stocker toutes les valeurs originales. Cependant, avant de détruire les originaux, il faudrait en faire des copies (en les numérisant par exemple) ne requérant qu une place réduite par rapport à celle qu occuperaient les documents sous leur forme originale, qui peuvent alors être éliminés. Quel que soit le médium sur lequel sont stockées les données, il faudra minimiser la détérioration des enregistrements par une température excessive ou fluctuante, par une humidité élevée, la poussière, les insectes et autres ravageurs, les radiations et le feu. Si cela est possible, une copie des enregistrements devrait aussi être conservée au centre de collecte principal et une autre, soit au centre régional, soit au bureau de l observateur. Les différents types de données d entrée et les procédures de traitement et de contrôle de qualité qui leur sont appliquées ont été décrits au chapitre 9. Les données d entrée peuvent provenir d observation enregistrées de façon manuscrite, de graphiques d enregistreurs, d enregistreurs automatiques et de feuillets manuscrits ou de fichiers informatiques contenant des mesures de débits instantanés (jaugeages), ainsi que la section de la rivière, les profils de profondeur et de vitesse et souvent une information descriptive sous forme textuelle. Fonction Outils Processus Produits Outils d entrée des données Entrée Données brutes Employé chargé de la saisie des données Outils de traitement Traitement primaire Données traitées Hydrologue Outils de validation Validation Gestionnaire de l archive Outils d analyse Traitement secondaire Base de données Outils d interrogation Analyse Utilisateur de l archive Outils de reportage Intégration Produits de données Diffusion Archive de métadonnées Figure I Schéma de gestion des données

3 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I.10-3 Tableau I Processus impliqués dans la gestion des données Processus Entrée Traitement des données brutes Validation Traitement secondaire Sécurité et archivage Intégration avec d autres données Diffusion des données Description Les données sont obtenues à la source ou par des instruments, par enregistrement manuel, enregistrement automatique, numérisation ou d autres méthodes, et traduites dans un format approprié pour le stockage Données stockées sous forme concrète ou numérique, parfois les deux Les données brutes sont vérifiées pour détecter les valeurs erronées, et corrigées pour produire une série de données brutes corrigées Cette étape comprend le remplissage des données manquantes où nécessaire, la conversion en intervalles secondaires (par exemple calculs des séries moyennes et totales), la création de courbes de tarage à partir des nouveaux jaugeages et la traduction en débits ou volumes stockés des hauteurs d eau brutes Les données doivent être archivées de telle sorte qu elles soient accessibles mais sécurisées, bien documentées et classées Permettre l affichage des données avec d autres sources de données comme les fichiers de SIG Les données sont distribuées selon les demandes sous une forme adéquate aux modélisateurs, décisionnaires, organismes publics, etc. Exemples de catégories de données impliquées dans le processus Registres/formulaires des lecteurs de jauges (lectures du niveau une ou plusieurs fois par jour à partir d une échelle limnimétrique, accompagnées si nécessaire de notes complémentaires sur le contexte) Fichier de données brutes des enregistreurs de données automatiques branchés sur des capteurs souvent en format binaire ou maison Limnigrammes Fichiers informatiques ou formulaires consignant l information sur les mesures de débit instantanées (jaugeages), y compris la section de la rivière, les profils de profondeurs et de vitesses et l information descriptive Fichiers numériques ou données numérisées à partir de graphiques Séries chronologiques insérées dans la base de données, ou fichiers numériques d enregistrements de jauges et d information sur les jaugeages saisies manuellement Fichiers numériques de séries obtenues par conversion de fichiers d enregistreurs personnalisés, habituellement en format texte Séries de données de la base de données à chaque étape du processus de correction/ validation Texte décrivant les modifications, y inclus les méthodes utilisées et les raisons des corrections Lot de données pour chaque nouvelle série créée dans le processus de conversion Équation de tarage créée à partir des jaugeages, et texte associé décrivant le processus décisionnel de création de l équation. Les équations de tarage évoluent généralement au cours du temps et un bon historique du tarage doit être conservé Métadonnées permettant un accès rapide et facile aux données, de même qu un répertoire complet de l information disponible Nouveaux lots de données comme une couverture spatiale des précipitations déduite de mesures pluviométriques ponctuelles, ou des cartes piézométriques réalisées à partir de données de forages Sommaires, annuaires, etc. La diffusion de données se fait de plus en plus au travers des sites Internet

4 I.10-4 GUIDE DES PRATIQUES HYDROLOGIQUES On trouvera dans le tableau une synthèse des procédures participant à la gestion des données, depuis la saisie des données brutes jusqu à la diffusion des données traitées, de même que les données impliquées dans ces processus. Il est clair qu il existe potentiellement un grand nombre de jeux de données à chaque étape du processus de traitement, et qu il faut décider quelles données devraient être stockées, et comment cela devra être réalisé dans une archive hydrologique efficace. On trouvera plus bas une description du stockage des données, de leur analyse et de la production de l information, ainsi que de l accès à l information et de sa diffusion à toute une gamme d usagers. Après le traitement et le contrôle de qualité décrits au chapitre 9, les données seront archivées sous une forme à laquelle seront associés toute une gamme d outils d analyse et de production d information, de même que des outils de consultation et de diffusion STOCKAGE ET EXTRACTION DE DONNÉES Stockage des données Un des points les plus importants en ce qui concerne la gestion des données hydrologiques est de savoir quelles données, parmi les nombreux ensembles de données produits, devraient être conservées. Il y a de nombreuses étapes dans le processus de la gestion des données depuis leur enregistrement jusqu à leur diffusion et chacune de ces étapes manipule un ou plusieurs jeux de données distincts. S il fallait stocker tous les ensembles de données intervenant au cours du processus, il en résulterait une archive déroutante et peu maniable. À l opposé si l archive hydrologique se réduit à un ensemble statique de données traitées et validées, il n existerait aucun moyen de comprendre comment les données ont été élaborées ou mesurées ni d évaluer les limites du jeu de données final. Un fichier traité de données de débit, par exemple, ne fournit aucune information sur le mode de mesure, le calcul des débits à partir des niveaux d eau, sur les éventuelles révisions ni sur la façon dont elles ont été réalisées. Il est donc nécessaire de choisir un mécanisme de stockage réaliste parvenant à un compromis entre ces extrêmes. La considération fondamentale à prendre en compte pour décider du niveau de détail du stockage concerne la reproductibilité. Dans un projet hydrologique, quelle qu en soit l ampleur, il est nécessaire que toutes les étapes allant des données brutes aux données finales traitées, soient compréhensibles et, le cas échéant, reproduites. Les utilisateurs des données traitées devraient être en mesure de voir rapidement et aisément, quels traitements les données ont subi et d en apprécier les limites potentielles. Cela n implique pas que toutes les modifications apportées soient retenues pour la postérité, mais plutôt que les données brutes devraient être conservées et que les modifications et hypothèses faites au cours de la validation et du traitement devraient être documentées et conservées. Il est aussi important que les utilisateurs puissent faire la distinction entre les données originales, celles qui ont été ajoutées pour combler les lacunes, et celles qui ont été révisées. Encore une fois, le niveau de détail du stockage sera fonction de nombreux facteurs, comme l espace de stockage disponible, le financement accordé au stockage et à la documentation, et le personnel disponible. Il faudra nécessairement réaliser un compromis entre l exhaustivité de l archive et les ressources y étant affectées. À l extrémité la plus complexe du spectre, un vaste et complexe projet hydrologique pourra utiliser un système de stockage de données permettant un audit automatisé de toutes les modifications réalisées, intégrant la date et l heure où elles ont été faites et en identifiant l opérateur. Il pourra aussi remonter la chaîne des révisions et reconstituer n importe quelle version antérieure de l ensemble de données. Un système plus simple pourrait ne comprendre que les données brutes et l ensemble final de données, accompagné d un fichier de notes retraçant les décisions prises et les révisions réalisées. Le processus est cependant essentiellement le même dans les deux cas: a) Les fichiers des données brutes doivent être conservés, que ce soit sous forme écrite (registres de lectures de jauges, graphiques d enregistrements) ou informatisée (fichiers bruts des enregistreurs, ou données télétransmises); b) Tous les fichiers de données traitées devraient être accompagnés d enregistrements de métadonnées détaillant l origine des fichiers individuels et les reliant aux fichiers dont elles sont issues; c) Les étapes importantes du traitement des données devraient être enregistrées, même si les données traitées ne constituent qu un stade intermédiaire entre les données brutes et les données diffusées. La décision concernant l importance doit être reliée à l échelle du système de gestion des données. Par exemple,

5 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I.10-5 si une série brute de niveaux d eau doit être seulement convertie en série de débits moyens mensuels, il serait souhaitable de conserver au moins la série validée des niveaux d eau et la série calculée des débits journaliers en plus de la série brute et de la série finale des débits moyens mensuels; d) Les modifications systématiques de parties de chaque série devraient être documentées en regard de l ensemble de données. Par exemple l utilisation d une origine pour une période d enregistrements de hauteurs ou la conversion d une période d enregistrements de hauteur par une courbe de tarage, qui doit elle-même exister en tant qu ensemble de données; e) Les modifications apportées à des valeurs individuelles, par exemple l interpolation de données manquantes ou la révision séparée d une valeur, devraient être documentées en regard de chaque valeur modifiée, avec des notes en regard de l enregistrement pris dans son ensemble indiquant à l utilisateur que la série a été modifiée; f) Le jeu de données résultant aura alors un catalogue complet de ce qui a été révisé et des causes motivant ces révisions. L utilisateur pourra alors comprendre les raisons et les méthodes des révisions de valeurs brutes et, à partir des données brutes, reproduire l ensemble de données Méthodes de stockage L une des considérations les plus importantes pour l archivage informatisé concerne la base de données qui sera utilisée. Le terme de base de données est parfois trompeur, désignant, dans les milieux hydrologiques et ailleurs, à la fois le système de base de données lui-même et le logiciel d interrogation de la base de données, d affichage et d analyse des données. Chacun de ces aspects est important pour toute archive individuellement et quelle qu elle soit, et sera traité séparément dans ce chapitre. Une base de données peut être simplement définie comme un système de classement de données électroniques. Tout assemblage organisé de données numériques est en effet une base de données. Plusieurs aspects importants de ces assemblages définissent la base de données la mieux appropriée à un cas particulier, en fonction des préoccupations principales des gestionnaires de données décrites dans la section Critères important pour les systèmes de stockage de données Lors du développement des systèmes de stockage de données, on doit prendre en considération un certain nombre de critères important parmi lesquels: a) La sécurité ceci comprenant les problèmes d accès et de droits administratifs pour les différents usagers; b) La facilité de maintenance; c) Les coûts, comprenant l investissement initial et les coûts récurrents, à savoir les licences de logiciels, la maintenance et le stockage; d) La facilité d interrogation; e) La puissance des outils d interrogation existants; f) La facilité de développement d outils d interrogation supplémentaires; g) La possibilité d intégration ou de liaison avec d autres sources d information ou de logiciels d affichage, comme les SIG; h) La faisabilité, compte tenu des infrastructures et des exigences des technologies de l information actuelles et des capacités du personnel; i) Un système de métadonnées, fournissant une information adéquate sur les données de la base; j) La possibilité de fournir un accès distant ou par réseau et la liaison avec des serveurs de réseaux ou sur la Toile. Bien sûr, chaque instance d une archive hydrométrique aura des importances différentes pour chacun de ces aspects, et de nouveau il y aura des situations très contrastées. Les exigences poussées d un grand réseau national, telles que le chargement automatique des données en temps réel, des liens avec des outils d analyse complexes et l accès d utilisateurs multiples de nombreuses organisations demandent un soutien technique important et coûteux, la formation des utilisateurs et souvent le développement d outils sur mesure. La base de données devra fonctionner sur une machine à hautes performances et des sauvegardes vers des bandes conservées en un lieu à l abri du feu devront être réalisées automatiquement. La base de données d un modeste projet peut par contre devoir être utilisée par un hydrologue isolé. Dans ce cas le chargement, l édition et l analyse des données doivent être des opérations simples rapidement maîtrisables. Il se peut que la base de données doive être suffisamment petite pour être envoyée par courriel à d autres utilisateurs. L archive hydrométrique d un pays de petites dimensions peut se révéler essentielle pour son devenir social, environnemental et économique, mais il se peut, par nécessité, qu elle ne dispose que d un très modeste budget. La collecte de données

6 I.10-6 GUIDE DES PRATIQUES HYDROLOGIQUES est coûteuse et des sommes consacrées à des systèmes trop avancés pourraient compromettre l objectif de l archive qui est de mesurer et de publier des données hydrométriques de bonne qualité. Une base de données doit cependant être durable: sécurisée, facile à utiliser sur le matériel disponible tout en fournissant les outils nécessaires. Les différents types de base de données (ici systèmes de gestion de données électroniques) peuvent être divisés selon les catégories suivantes Simples fichiers ASCII La base de données la plus simple peut être un ensemble de fichiers ASCII contenant les données, indexés sur un PC ou un périphérique. Un fichier séparé peut être utilisé pour stocker les données d une série chronologique particulière, avec peut être un répertoire différent pour les données de chaque station. Les avantages d un tel système est qu il ne coûte pas plus que l ordinateur sur lequel il est installé, qu il est très simple à mettre en place avec peu ou pas de connaissances informatiques, que les fichiers sont faciles à retrouver, que le format texte permet à n importe quel utilisateur de lire immédiatement les données et qu il permet de stocker n importe quelle sorte de données qui seront ensuite lisibles. Les désavantages de procédé tiennent à son manque évident de sécurité, à sa limitation à un utilisateur unique, au manque d outils graphiques et d analyse et à la difficulté de développement d outils de travail sur les données. De nombreuses organisations conservent néanmoins de tels systèmes, qui peuvent se révéler satisfaisants pour une petite structure stockant des copies de données archivées ailleurs lorsqu elles n ont pas besoin d analyse. La sécurité n est pas alors un problème, mais la légèreté de la maintenance est d importance primordiale Bases de données sur mesure De nombreux systèmes de stockage de données, en particulier ceux ayant été développés avant l explosion de la technologie informatique des années 90, utilise un format propre pour le stockage des données. Il s agit souvent de formats très compressés permettant le stockage d un volume de données important sur les espaces de mémoire limités disponibles alors. De plus l écriture de procédures dédiées pour accéder aux données sous un format spécifique peut permettre des extractions et sauvegardes des données très rapides, alors que toutes les procédures d un accès générique aux données sont évitées. Outre ces avantages propres aux systèmes sur mesure, une organisation ayant développé sa propre base de données a également accumulé un corps de connaissance considérable et devrait être en mesure de répondre efficacement à ses besoins propres aussi bien pour le stockage et l affichage de données, que pour les outils d analyse. Au titre des désavantages il faut compter l impossibilité d interfaçage ou d incorporation d autres technologies disponibles (qui caractérise des systèmes plus génériques) et le coût de maintenance des outils développés alors que les plateformes et les systèmes d exploitation sur lesquels ils fonctionnent évoluent. Il y a enfin le risque de ne compter que sur un savoir maison, ce qui peut amener des difficultés s il n existe pas de système de transfert de connaissance, et si ce savoir vient à se perdre d une façon ou d une autre Systèmes de gestion de bases de données relationnelles Les Systèmes de gestion de bases de données relationnelles (SGBDR) sont, comme leur nom l indique, plus que de simples bases de données. Il s agit généralement d un format spécifique de fichier pour le stockage de données (la base ellemême) associé à des protocoles de gestion et des outils logiciels d accès. Les plus complexes de ces outils peuvent comprendre une requête complète, le reportage, des outils graphiques et de publication. Plusieurs SGBDR bien connus sont disponibles dans le commerce. Ils sont très utilisés dans le monde entier et sont donc bien pratiqués et accueillis par les distributeurs et par les utilisateurs. Des techniques de développement de nouveaux outils sont aisément disponibles. La sécurité, le niveau d aide à l utilisation, la disponibilité des outils d interrogation, les prix et autres critères varient selon les systèmes Systèmes de bases de données hydrométriques spécialisés Les systèmes de bases de données que nous venons d évoquer ne sont rien de plus que des outils génériques pour le stockage de données. Ils doivent être adaptés par l utilisateur afin de satisfaire ses besoins particuliers. Il est très probable que les besoins de la plupart des hydrologues puissent être satisfaits par un système de bases de données hydrométrique spécialisé. Il s agit essentiellement de produits logiciels disponibles dans le commerce (même si parfois l installation du logiciel requiert en soi un travail considérable), qui peuvent être loués ou achetés. Ils comprennent fondamentalement un système de base de données, de l un des types décrits plus haut, qui a été adapté afin de prendre spécifiquement en

7 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I.10-7 charge les données hydrologiques courantes. Par exemple grâce à des tables et à des procédures manipulant précisément les types de données hydrologiques et qui stockent de manière appropriée les informations descriptives et les métadonnées qui ont été élaborées. En général, le système est fourni avec le logiciel permettant la gestion, la révision et la visualisation graphique des données, et ce logiciel est d une utilisation plus aisée que la base de données elle-même. De plus, beaucoup de ces outils de gestion des données sont complétés par des outils d analyse, capables par exemple de produire des courbes de débits classés à partir de données de débits, et des statistiques pour l ajustement de lois de distribution aux pointes de crues. Parmi ces logiciels nous citerons HYDATA, HYMOS, TIDEDA, HYSDSYS et WISKI. Les avantages et inconvénients de ces systèmes relèvent de ceux qui ont été mentionnés dans la section Ceux couramment disponibles varient généralement en taille, les plus petits sont faciles à installer et à faire fonctionner et sont bon marché d achat et d entretien. Les systèmes plus importants ont tendance à être plus coûteux, mais offrent davantage de possibilités avancées. Ils sont souvent bâtis autour d une base de données plus importante, mieux sécurisée, ce qui entraîne souvent des frais de licence supplémentaires pour le logiciel de base de données. Le choix d un système dépend donc des besoins de l usager et de ses capacités à l acheter et à le maintenir Capacités pour la gestion de bases de données Les bases de données peuvent être gérées par une personne seule ou par des équipes comprenant de nombreuses personnes, mais leur utilisation requiert généralement un savoir-faire particulier, qui détermine le rôle de la personne impliquée. Certaines de ces capacités sont énumérées dans le tableau I Résumé En résumé, il existe de nombreux systèmes de stockage de données informatisées. Alors que la plupart des besoins pourraient être satisfaits par l un des systèmes de base de données hydrométriques spécialisés disponibles, certains utilisateurs expérimentés peuvent avoir des demandes supplémentaires qui seront mieux satisfaites par une configuration sur mesure. Surtout, un système de base de données n est qu un moyen de stocker des données informatisées. Une bonne gestion de l archivage ne peut être obtenue que par une bonne gestion des données Types de données et informations à stocker Cette partie décrit plus en détail les informations particulières qui devraient être stockées dans une archive hydrologique. La meilleure façon d envisager comment devrait être organisée une archive serait d imaginer l aborder sans connaissances préalables des conditions météorologiques, de la taille des rivières, des caractéristiques des bassins, du réseau des stations de jaugeage, des utilisations de l eau ou du volume des données. Il devrait être possible de se rendre compte rapidement du contenu complet de l archive, puis d extraire facilement la donnée précisément recherchée. Les utilisateurs devraient être en mesure d apprécier précisément toutes les modifications qui ont été apportées aux données et d extraire rapidement l information relative aux données disponibles, les statistiques d ensemble et les jeux de données complets. Cela permet aux utilisateurs de commencer Tableau I Compétences requises pour la base de données Fonction Employé chargé de la saisie des données Hydrologue Gestionnaire de l archive Description Modestes connaissances requises en hydrologie et technologies de l information, bien que des données puissent devoir être téléchargées depuis des enregistreurs ou extraites de fichiers de différents formats Le travail de validation demande une connaissance experte de l hydrologie et des régimes hydrologiques locaux. Le travail d analyse requiert une expertise en hydrologie La gestion globale de l archive et la diffusion demandent un savoir hydrologique. L intégration des données de l archive dans d autres processus exige des compétences à la fois en hydrologie et en technologies de l information

8 I.10-8 GUIDE DES PRATIQUES HYDROLOGIQUES à travailler sur un ensemble de données à n importe quelle étape de leur gestion avec le moins d efforts possible. Un système d archivage devrait de plus faire en sorte que le travail de documentation soit simple et efficace. La création de nouveaux ensembles de données, pour nourrir les modèles ou le traitement ultérieur des données, pour leur distribution aux différents utilisateurs ou pour l élaboration de documents tels que les annuaires, devrait également être une tâche simple et rapide pour le gestionnaire de l archive Métadonnées de l archive Lorsqu il consulte une archive hydrologique, les premières données à disposition de l utilisateur devraient en concerner la description. Il s agit en fait de métadonnées informations concernant l archive elle-même, qui devraient être mises à disposition par le gestionnaire de données comme un moyen de distribution de l information concernant l archive. Ces données peuvent prendre la forme décrite dans le tableau I Ces métadonnées archivées peuvent être fournies par un système informatisé complexe, possiblement interfacé à un SIG, pour permettre l accès aux données et aux tables automatiquement mises à jour de la disponibilité des données à travers lesquelles l utilisateur peut naviguer. Il peut aussi s agir d une simple liasse de papiers, et cela relève de la responsabilité du gestionnaire de l archive. Dans le second cas, une mise à jour régulière devrait être effectuée, au fur et à mesure de la création de nouvelles stations ou de l addition de nouvelles données Métadonnées des stations Quand les utilisateurs de l archive sont familiarisés avec la manipulation des données, ils réclament davantage d information. Les données décrivant les stations sont importantes pour fournir le contexte dans lequel elles fonctionnent. Ces données fournissent également aux utilisateurs une ressource partagée leur permettant de comprendre, par exemple, l importance de l instrumentation de mesure pour les données, ou de la configuration de la station. L équipe gérant la station y stockera aussi l information relative à sa localisation, au mode d accès, au niveau de référence ainsi que les adresses du personnel d exploitation local. La plupart des données du tableau I.10.4 s appliquent en général aux stations météorologiques, aux stations de jaugeages et autres sites de mesure, bien que certains champs soient spécifiques aux stations de jaugeage des rivières. Sur le site WDM/Metadata/documents.html, on trouvera des informations en anglais concernant le développement de la norme sur les métadonnées de base de l OMM. On trouvera dans Global Runoff Data Center, Rapport 31 (Maurer, 2004), un point du statut actuel des métadonnées hydrologiques. D autres informations concernant les normes des bases de métadonnées pourront être trouvées sur les sites suivants: USGS Federal Geographic Data Committee s Content Standard for Digital Geospatial Metadata: Tableau I Description des données conservées dans l archive Type de données Description Exemples Description de l archive Texte bref décrivant le contexte et les buts du projet de suivi des données Nom et description du projet, date de début du projet et de l archivage, buts du projet, grandes lignes des modes de diffusion Cartes géographiques Sommaire des données Cartes fournissant le contexte physique des données de l archive Liste des jeux de données et disponibilité Limites du bassin versant, localisation des stations de jaugeage, des stations météorologiques et des autres sites de mesure, réseau hydrographique, lacs et autres éléments importants Sommaire, pour chaque type de données, des données conservées dans la base de données, localisation référencée des mesures, et d autres données complémentaires également conservées telles que données spatiales dérivées et données SIG d autres origines, plus un sommaire, pour chaque jeu de données, de la disponibilité des données au cours du temps à une échelle appropriée

9 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I.10-9 Dublin Core Metadata Element Set, version ISO Information et documentation Répertoire des éléments de données bibliographiques Partie 5: Éléments de données pour l échange de catalogues et de métadonnées iso/fr/iso_catalogue/catalogue_tc/catalogue_ detail.htm?csnumber= Un certain nombre d exemples de métadonnées pour les systèmes hydrologiques sont disponibles, et peuvent être consultés aux adresses suivantes: Niveau mondial: metadata/ Niveau national: gis/data/r8_hyl.html; Niveau de l état: blmgov/gis/hydrologygis-meta.html Séries de données chronologiques La majorité des données utilisées en hydrologie sont des séries chronologiques, c est-à-dire des mesures, en un point fixe, d une variable selon un certain pas de temps, la variable pouvant être la pluie, le débit, la hauteur d eau, le volume de réservoir, le niveau de l eau dans un forage, l humidité du sol ou le ph. Pour une seule station (ou une localisation géographique), il y a souvent plusieurs séries chronologiques de valeurs mesurées et chacune d entre elles peut avoir des caractéristiques propres. Chaque station devrait stocker la liste des séries chronologiques mesurées sur le site (historique d un ensemble de données au tableau I.10.4) et leur attributs devraient être notés en regard de chacune d elles (tableau I.10.5) Données en temps réel Les données collectées par télétransmission et destinées à une utilisation en temps réel, par exemple pour la prévision de crues, la gestion de réservoirs ou le suivi des étiages dans une perspective écologique, peuvent devoir être archivées et consultées dans un système différent de celui qui recueille les données du suivi régulier ou de l évaluation à long terme des ressources en eau. Ces données télétransmises subissent généralement une étape simple de validation avant d être archivées pour leur utilisation comme entrées des modèles en temps réel. Cette validation peut être réduite à vérifier que chaque valeur des données se trouve à l intérieur d une fourchette prédéfinie pour la station considérée, et que la différence avec la valeur précédente n est pas trop importante. Ainsi, une pluie de 15 minutes doit être un chiffre positif mais inférieur à la plus forte pluie sur 15 minutes jamais enregistrée dans la région considérée, avec peut être une tolérance de 10 %. Les données de hauteur d eau des rivières doivent aussi se situer au-dessus du niveau du lit ou de celui de la crête du déversoir, et on peut en général fixer également un maximum convenable. De plus, à partir de l analyse d épisodes antérieurs de crues importantes, on peut déterminer un taux vraisemblable de croissance sur 15 minutes. Lorsque les données dépassent ces limites, elles devraient malgré tout être enregistrées dans le fichier des valeurs brutes, mais marquées comme suspectes, et un message d alerte devrait être affiché à l intention des opérateurs du modèle. Lorsque des données suspectes auront été identifiées, il existe un certain nombre d options pour tout modèle de prévision ou d aide à la décision: a) On peut accepter la donnée suspecte et faire tourner le modèle comme si de rien n était, bien qu il s agisse rarement d une option raisonnable; b) On peut faire tourner le modèle en traitant la donnée suspecte comme manquante, c està-dire en supposant qu il n y a pas eu de pluie pendant la période considérée, ou qu il n existe pas de niveau d eau ou de débit auquel comparer une prévision; c) On peut remplacer une donnée manquante par une approximation quelconque. On peut ainsi extrapoler les niveaux des rivières à partir des valeurs précédentes, et les données de précipitations peuvent être estimées à partir d autres pluviomètres, ou on peut retenir les valeurs moyennes saisonnières. Les données manquantes sont traitées au cas par cas selon les exigences de la modélisation. Le sujet de la modélisation est traité dans le chapitre 6 du Volume II Données spatiales Presque toutes les données dont nous avons parlé plus haut sont soit des métadonnées descriptives soit des séries chronologiques de valeurs mesurées. Nous parlerons ici d un autre type: les données spatiales sont caractérisées par une substantielle composante géographique. On peut citer en exemple les cartes de stations de jaugeage, les modèles numériques de terrain et des cartes d isohyètes de pluie. Les données spatiales peuvent entrer dans un SIG, et ceux-ci sont souvent utilisés pour intégrer les jeux de données hydrologiques et spatiales.

10 I GUIDE DES PRATIQUES HYDROLOGIQUES Tableau I Exemples de métadonnées de station Métadonnée Description Exemples Identification Localisation Opérateur Observateur Historique de la station Équipement/télétransmission Statistiques Graphiques Historique des lots de données Historique des jaugeages et tarages Information sur l identification actuelle de la station et sommaire des buts pour lesquels la station est utilisée Information relative à la position géographique de la station Information relative à l organisation gérant la station, si elle est gérée par une autre organisation, par exemple une organisation régionale Information relative au personnel prenant les mesures à la station Description de l historique de la station, montrant tout changement susceptible d affecter la mesure des données Information décrivant les enregistreurs ou les systèmes de télétransmission utilisés à la station Sommaire des statistiques des données de la station Images de la station et de ses environs Information décrivant les lots de données produits par la station Information descriptive concernant les mesures de débits instantanés et l élaboration des équations de tarage les données réelles des jaugeages devraient être conservées dans la base de données Nom(s) de la station, numéro(s) de la station, nom du bassin, nom de la masse d eau, nom de la région hydrologique, altitude, surface du bassin, but principal, but secondaire, méthode principale de mesure, (par exemple de type déversoir), méthode de mesure des hautes eaux, description générale de la station Latitude/longitude (ou position dans un système de coordonnées local), ville ou point de repère le plus proche, localisation et altitude du repère de nivellement, information concernant la propriété des terrains, les routes, l accessibilité, le temps d accès nécessaire, informations sur l accès en période de crue, etc. Nom de l opérateur, coordonnées, responsabilités, etc. Nom de l observateur, coordonnées, responsabilités, date du début de service, fréquence des visites, méthode et fréquence de reportage Date d ouverture, date de fermeture (pour les stations fermées), historiques de la localisation, de l opérateur, de l équipement, et du zéro de l échelle Noms des systèmes, fabricant, but, références de la documentation correspondante, date d installation, hauteur des antennes, etc., fréquence et intervalles de reportage, paramètres rapportés, information descriptive complémentaire Statistiques, valeurs, période sur laquelle portent les statistiques, date des calculs, etc. Images, description, date, référence aux fichiers d images numériques, etc. Variables mesurées, séries dérivées produites, cheminement des données mesurées à la station, sommaire de la disponibilité des données Description des section(s) de rivière utilisées pour les jaugeages, historique des modifications de la section par mouvement/érosion, etc., croquis de la section, description des problèmes Dans les couvertures SIG, les éléments géographiques sont représentés sous différentes formes (figure I.10.2): a) Polygones les données sont les formes de surfaces comme les pays ou les bassins; b) Lignes les données sont des lignes avec des attributs associés, les rivières par exemple; c) Points les données sont des points discrets, par exemple les stations de jaugeage des rivières ou des pluviomètres; d) Maillage la région est divisée en mailles carrées et l attribut correspondant à ce carré (les précipitations par exemple) y est stocké avec d autres attributs. On appelle attributs les caractéristiques de ces éléments géographiques. Par exemple chaque polygone d une couverture géologique peut avoir pour attribut la lithologie ou le type de l aquifère.

11 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I Tableau I Caractéristiques des séries chronologiques Champ Nom Type de série chronologique Statistiques de mesure Unités Pas de mesure Période d enregistrement Limites statistiques Autres caractéristiques des séries chronologiques de niveau Description Idéalement, le meilleur nom d une série devrait renvoyer instantanément à son contenu, par exemple débit moyen journalier, ou écoulement total mensuel, plutôt que séries de débit 1 ou séries de débit 2 Variable mesurée, par exemple pluie, débit, niveau d eau Indique comment la donnée a été dérivée, ou la statistique stockée: moyenne, instantané, total, maximum, etc. Indique l unité dans laquelle les données sont stockées Fréquence selon laquelle la mesure est faite, ou période sur laquelle la statistique a été calculée, par exemple journalière, mensuelle, toutes les 15 minutes. Les données enregistrées irrégulièrement sont aussi prises en compte et dénommées séries chronologiques instantanées Date du début (et parfois de la fin) de la série chronologique On recommande souvent d estimer a priori, avant de débuter les prises de mesures, le maximum et le minimum des valeurs de la donnée à titre de moyen de validation des données. Cela est particulièrement utile si des méthodes de validation automatiques peuvent extraire les valeurs sortant de la fourchette recommandée. Suite à la mesure d événements extrêmes, ces statistiques de limites peuvent être réinitialisées plus précisément. Des seuils de croissance ou de décroissance internes peuvent également être utiles, si les méthodes pratiquées de validation des données en font usage, comme ce peut être le cas de statistiques dérivées plus complexes. Ces statistiques ne devraient être qu indicatives, car des valeurs hors de ces limites peuvent être parfaitement valables et ne devraient pas être éliminées D autres informations s appliquant à la série dans son ensemble peuvent aussi être conservées à ce niveau, telles que la date des mesures (indiquant sur quelle période la moyenne et autres valeurs devraient être calculées) et le zéro de l échelle, s il est valable pour la période entière Dans le cadre de cet exposé, les données spatiales pour l hydrologie peuvent être divisées en deux catégories: Cartes physiques Les cartes physiques constituent une ressource inestimable pour les études hydrologiques et représentent encore la principale source de données spatiales dans de nombreux pays. Elles peuvent comprendre des cartes spécialisées, telles que celles représentant la couverture des sols, la géologie ou la pluviométrie, ou il peut s agir de cartes nationales représentant de nombreuses caractéristiques telles que villes, routes, courbes de niveau et rivières. On devrait considérer les cartes physiques comme un élément central d une archive hydrologique, et elles constituent une source préliminaire utile de référence, fournissant un précieux contexte aux données météorologiques ou issues des stations de jaugeage. Elles devraient donc être conservées dans des coffres, des casiers ou dans des encadrements adéquats. L archive cartographique devra être bien documentée, avec en particulier: a) Le numéro de référence de la carte, son origine ou sa source; b) Le titre et la description de la carte; c) L échelle; d) La projection; e) Le numéro et le nom dans la collection de cartes; f) Les références. La diffusion des données de cartographie physique peut se révéler difficile car il existe souvent des restrictions liées au droit d auteur. Toutefois si des photocopies de cartes, ou de parties de celles-ci, sont amenées à être diffusées, l information ci-dessus devrait leur être associée pour permettre le traçage et l interprétation des cartes et de leurs légendes. Si des cartes physiques sont crées dans une archive, par exemple des cartes d écoulement à partir des données de stations de jaugeage, l existence et les caractéristiques de ces cartes devraient être signalées là où cela est nécessaire. Il peut s agir des recueils de données hydrologiques ou des agences cartographiques nationales ou régionales. Données numériques Au cours de la dernière décennie, les cartes numériques se sont répandues aux dépens des cartes

12 I GUIDE DES PRATIQUES HYDROLOGIQUES physiques. Les développements technologiques ont permis la numérisation des cartes et leur utilisation dans les SIG. Dans ces systèmes il est beaucoup plus facile de manipuler et de combiner les cartes. Il est également plus facile d en extraire l information et de diffuser toute modification. De nombreuses cartes numériques ne sont que les versions numérisées de cartes papier. Par exemple les lignes de niveau d une carte d usage courant peuvent être numérisées selon un ensemble de lignes, ou une carte pédologique peut être numérisée selon un ensemble de polygones. Comme pour tout processus de gestion de données, les origines des données, de même que toute correction effectuée, devraient être soigneusement répertoriées de telle sorte que l utilisateur des données résultantes soit informé de leur provenance. On peut aussi créer des cartes numériques. Par exemple, une couverture maillée des données de précipitations peut être créée selon diverses procédures à partir des données ponctuelles de pluviomètres. Les courbes de niveau, si elles sont Figure I Exemples de données maillées (pluie), curvilignes (rivières), ponctuelles (stations de jaugeage) et polygonales (bassins), dans le sens des aiguilles d une montre depuis en haut à gauche

13 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I précisément numérisées peuvent être extrapolées pour créer un modèle numérique de terrain. Utilisant les courbes de niveau ou un modèle numérique de terrain, les frontières du bassin relatif à une station de jaugeage, peuvent être ajoutées manuellement selon une nouvelle famille de lignes. Si de telles cartes dérivées sont stockées dans une archive hydrologique, il faudrait prendre en matière de reproductibilité les mêmes précautions que celles signalées dans la section À chaque carte dérivée devraient être associées dans l archive des métadonnées décrivant leur procédé de fabrication. Tout ensemble significatif et utile de données intermédiaires créé devrait être archivé comme il convient Considérations de gestion Lorsque l on gère des données et informations hydrologiques il est important de ne pas oublier: a) Les marqueurs de validation ou de contrôle de qualité (sections 9.8 et 9.9); b) Les commentaires textuels des opérateurs et des utilisateurs de données (sections 9.7 et 9.8); c) Le protocole d audit information sur l introduction de données dans la base de données et sur toutes modifications ultérieures (chapitre 9). Ces types de données et informations devraient également être stockés et rendus facilement accessibles Contrôle du flux des données Nous avons déjà mentionné l importance d un contrôle adéquat des ensembles de données d entrée. Il est également capital de connaître le statut de toutes les données durant les différentes étapes de leur validation et de leur mise à jour, tout particulièrement lorsque des valeurs suspectes ont été repérées et qu une réponse est attendue de la part des personnes chargées du contrôle de qualité. Initialement, tout le processus de contrôle des données peut être effectué manuellement mais, en fin de compte, quelques fonctions pourront être automatisées, dans le cadre des activités générales du traitement informatique des données. L automatisation permet de procéder à des contrôles de routine du statut d un lot de valeurs, à des résumés de validation, ou encore de repérer l emplacement physique des données dans le système, par exemple le numéro de la bande ou du volume sur le disque et les noms des lots de données. Un tel contrôle est essentiel lorsque de grandes quantités de valeurs doivent être traitées. Le personnel chargé du contrôle des données devrait être responsable des tâches suivantes: a) Enregistrement des lots de données entrants et acheminement de ces lots vers les systèmes de saisie appropriés; b) Contrôle et enregistrement des statuts de saisie des données et de l introduction ultérieure des données pour la première phase de validation et de traitement; c) Acheminement des comptes rendus de validation au personnel de traitement des données hydrologiques et réception des données éditées; d) Répétition des étapes a) à c) jusqu à ce que tous les lots de données aient été acceptés pour la phase de mise à jour; e) Transmission des résumés statistiques mensuels et annuels aux agences et au personnel concernés. La nature exacte des travaux à réaliser dépend surtout de la possibilité qu ont les utilisateurs individuels d accéder aux données pour les éditer. Dans les systèmes en ligne, où les utilisateurs effectuent eux-mêmes leur propre contrôle de qualité, les responsabilités incombant à la centrale de traitement sont réduites. Cependant, ces utilisateurs doivent disposer d un moyen quelconque leur permettant d indiquer que le contrôle de qualité a été effectué, et que ces lots de données sont prêts pour le traitement suivant Procédures de mise à jour En hydrologie, la majeure partie des bases de données d archive sont mises à jour en deux étapes au moins. Ces étapes sont représentées sur la figure I.9.2. La première étape consiste en une mise à jour mensuelle correspondant à la fréquence habituelle du reportage de données. La répartition des quatre activités entre différentes sessions d ordinateur dépend de l utilisateur et des ressources physiques du système. Si la plupart des fichiers sont archivés sur bande, il sera probablement impossible de traiter mensuellement tous les lots de données avec un seul programme, car il faudrait de trop nombreux lecteurs de bandes. Il peut être alors recommandé de ne pas calculer de valeurs dérivées, comme les débits ou l évapotranspiration, avant d avoir contrôlé manuellement toutes les données de base. Pour l utilisateur final, le résultat de cette première étape de mise à jour consiste en rapports mensuels. Pour la gestion de la base de données, le plus important est d obtenir des fichiers de travail annuels mis à jour. Si cette première étape ne traite que des blocs de données mensuels, il peut s avérer nécessaire de

14 I GUIDE DES PRATIQUES HYDROLOGIQUES conserver des fichiers incomplets. Cela peut survenir lorsqu on utilise des enregistreurs informatiques et que le support d enregistrement est habituellement changé à intervalles de temps irréguliers. Ainsi, lorsqu on traite les données du mois 1, il peut y avoir sur le support quelques valeurs mesurées pendant le mois 2. Dans ce cas les données du mois 2 sont conservées dans un fichier temporaire jusqu à ce que toutes les valeurs de ce mois soient disponibles au cours du mois 3. Cette opération se répète et on complète le fichier pour le mois 2 tandis qu on obtient un nouveau fichier incomplet pour le mois 3. On rencontre rarement ce problème avec des rapports manuels ou des stations utilisant la télétransmismission. Si le support informatique exige un prétraitement, il y a toujours la possibilité de fractionner les fichiers et de reconstituer ensuite des fichiers mensuels qui pourront être prétraités sur (micro) ordinateur avant d être soumis à la machine principale de traitement. Lorsque les données mensuelles on subi les contrôles de validation et ont été soumises au traitement primaire indispensable (chapitre 9) elles sont intégrées aux fichiers de l année en cours. Si elles n ont pas passé avec succès les contrôles de validation, elles doivent être examinées manuellement avec minutie et, lorsque des erreurs sont détectées, il faut leur appliquer le traitement décrit dans la figure I.9.2. Afin d assurer un flux adéquat des données, il est généralement nécessaire de commencer le traitement des lots mensuels de données au plus tard du 10 au 15 du mois suivant. Si on ne peut le faire à ce moment, il est à craindre que la saisie et le traitement complet des données provoquent un retard dans les mises à jour annuelles des fichiers. Le but du cycle annuel de mise à jour est d intégrer le fichier de travail annuel à la base de données historiques. Ce transfert implique un changement de statut qui transforme les données de travail en références hydrologiques de qualité contrôlée. C est pourquoi il faut s assurer que, dans la mesure du possible, le plus possible de questions portant sur des valeurs douteuses aient reçu une réponse avant la mise à jour annuelle. Les données résultant de l étape du traitement annuel peuvent être utilisées pour l élaboration des annuaires hydrologiques Compactage et exactitude Lors de la mise à jour d une base de données, le fait de compacter les données de manière à utiliser au mieux l espace mémoire est considéré comme étant une opération essentielle du processus. La technique de compression est décrite dans Guidelines for Computerized Data Processing in Operational Hydrology and Land and Water Management (WMO- No. 634). Cependant, les techniques tendent à être propres aux différentes machines, et les différents systèmes de base de données hydrologiques peuvent en utiliser d autres encore. Il s agit de: a) L utilisation de nombres entiers pour le stockage, lesquels sont ensuite remis à l échelle correcte lors de la sortie des valeurs. Par exemple, les précipitations journalières, mesurées avec une précision de 0,1 mm peuvent être mémorisées en dixièmes de millimètre (nombre entier), puis être ensuite divisées par dix pour la sortie. La mémoire nécessaire est ainsi réduite de moitié: un nombre entier occupe deux octets de mémoire contre quatre octets pour un nombre réel (décimal); b) L utilisation de fichiers de données non formatés (binaires) à la place des fichiers ASCII habituels. Non seulement les données binaires occupent moins de place mais elles sont, de surcroît, plus rapidement stockées et extraites; c) L utilisation d un compteur pour des valeurs constantes répétitives. Ainsi, il n est pas nécessaire de stocker une période de 10 jours sans pluie sous forme d un ensemble de 10 zéros, mais d un facteur de répétition 10 suivi par la valeur zéro; d) L utilisation d une version améliorée de la méthode c), qui supprime complètement les données redondantes. Celles-ci proviennent de l enregistrement, souvent lui-même redondant, de phénomènes hydrologiques par certains types d instruments de terrain, en particulier avec les enregistreurs à pas de temps constant. Par exemple, dans la séquence 40, 50, 60, il est évident que la valeur centrale peut être déduite des deux autres par interpolation. Des logiciels ont été développés pour analyser les données et éliminer toutes celles qui peuvent être interpolées linéairement avec une marge de tolérance définie à l avance. Cette technique réduit considérablement les besoins en espace de stockage tout en conduisant à une diminution négligeable de l information. L utilisation du système TIDEDA en Nouvelle-Zélande [SHOFM G ] a abouti à diviser par un facteur allant de deux à douze l espace de stockage utilisé; e) L utilisation de valeurs relatives à la place des valeurs absolues. Par exemple, le niveau d eau dans un puits de forage peut être noté par rapport à son altitude absolue ou, plus économiquement, par rapport à une quelconque référence altimétrique locale ou au niveau d eau moyen. Ne seront alors stockées que les différences aux valeurs précédentes. Les valeurs

15 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I à stocker, plus petites, demanderont moins d espace de stockage. Un certain équilibre doit être trouvé entre le niveau de compactage des données et les inconvénients qui en résultent. Un niveau élevé de compression rend l archivage plus efficace mais rend en effet aussi nécessaire l utilisation de routines complexes de compactage et de décompactage chaque fois que l on introduit ou que l on extrait des données. Le degré de compactage optimal des données devrait tenir compte des limites relatives de l espace mémoire et des capacités de calcul propres à chaque installation. Il sera aussi fonction de la capacité du personnel à développer le logiciel. Quant à l exactitude des valeurs stockées, elle est rarement supérieure à 1 pour en ce qui concerne les données hydrologiques. C est la raison pour laquelle la plupart des bases de données hydrologiques ne conservent que des valeurs à trois ou quatre chiffres significatifs. Ainsi, un débit calculé de 234,56 m 3 s 1 peut être stocké sous forme de 235 m 3 s 1. Cette pratique permet également d économiser de la mémoire Structure des fichiers physiques La structure séquentielle des fichiers est simple et peut être réalisée sur n importe quel support de stockage. Elle peut être adaptée aux séries chronologiques qui sont introduites, et la plupart du temps consultées, de façon séquentielle. Le stockage de la plupart des données hydrologiques sur des fichiers séquentiels indexés est très intéressant, parce qu il permet de conserver la nature séquentielle des données sur le support de stockage. Il existe cependant des possibilités d accéder directement à un seul ou à un groupe d enregistrements. La structure à accès direct, comme aussi celle des fichiers séquentiels indexés, s applique seulement aux fichiers mémorisés sur disques ou disquettes, mais soumet le système à des contraintes plus fortes en termes de volume de stockage. On peut aussi accéder directement et plus rapidement aux enregistrements individuels s ils sont recherchés de manière aléatoire. Par l utilisation de doubles indices (pointeurs), les données se trouvant dans des fichiers à accès direct peuvent être associées de façons efficaces et complexes. Si la base de données hydrologiques a été conçue de façon à permettre une manipulation interactive en ligne de données en ligne, les fichiers doivent être disponibles sur disques, et il devrait être possible d utiliser des fichiers séquentiels indexés ou à accès direct. À vrai dire, leur utilisation est primordiale afin d obtenir des temps de réponse acceptables, lorsqu on manipule de grandes quantités de données. Lorsque l accès en ligne aux données n est pas une priorité, il peut valoir la peine de conserver en fichiers séquentiels des données chronologiques à une seule variable, telle que les niveaux d eau ou les précipitations, parce que ces fichiers sont habituellement utilisés pour l extraction d une séquence temporelle de données. Dans le cas de fichiers chronologiques à variables multiples, une organisation séquentielle indexée ou à accès direct peut être préférable. Si une variable donnée n a été mesurée qu à certaines stations, il faudra néanmoins passer en revue les fichiers séquentiels de toutes les stations pour savoir si cette variable y a été mémorisée ou non. Dans certains types de fichiers à accès direct, il est possible d associer un pointeur à chaque variable. Ce pointeur signale l emplacement du prochain enregistrement provenant d une station ayant mémorisé une valeur de la même variable. On peut ensuite accéder directement à cet endroit de la mémoire. Une telle technique est avantageuse pour les données de qualité des eaux, car les variables observées diffèrent considérablement d une station à l autre, mais aussi pour une même station au cours du temps. Les données conservées sur bandes magnétiques, support le plus répandu pour l archivage de base de données de grand volume, doivent nécessairement l être sous forme séquentielle. Cependant, lorsque des fichiers sont transférés d une bande à un disque, on peut employer quelques-unes des méthodes d accès direct décrites ci-dessus. Quelle que soit la méthode utilisée, nous recommandons que tous les grands fichiers de la base de données soient de type non formaté (binaire). Certains systèmes de base de données utilisent une combinaison de techniques de façon à maximiser l efficacité du stockage et de l extraction des données. On y parvient en stockant de grands groupes de données séquentielles dans des enregistrements uniques à accès direct ou dans des fichiers séquentiels indexés. Grâce à cette méthode, les données journalières et même horaires de chaque station et, pour chaque année, peuvent être stockées sous forme d enregistrement physique unique dans un fichier à accès direct ou séquentiel indexé. Pour extraire les données d un mois donné, on peut accéder sur le disque directement à l enregistrement annuel de la station en question. Cet enregistrement est ensuite transféré dans une mémoire

16 I GUIDE DES PRATIQUES HYDROLOGIQUES tampon à partir de laquelle les valeurs du mois recherché peuvent être rapidement lues. L utilisation de Systèmes de gestion de bases de données (SGBD) devrait amener à faire quelques remarques. Ces systèmes se fondent invariablement sur l utilisation de fichiers à accès direct. Il faut les employer avec précaution, à moins que les formats d entrée et d extraction des données soient connus (et relativement similaires), et qu il existe une maintenance suffisante des logiciels. Il est recommandé d adopter une approche graduelle et évolutive dans l usage des SGBD. De nombreuses agences testent actuellement des systèmes de bases de données relationnelles permettant le stockage combiné des données et d autres informations. Les progrès dans ce domaine devraient être suivis attentivement Structure des fichiers logiques La structure logique des données comprend deux aspects: les groupements principaux qui déterminent le nombre de fichiers et les ensembles de variables qui composent les enregistrements de chaque fichier. Une base de données hydrologiques complète contiendra les groupes de fichiers suivants: a) Les fichiers de référence du système, comprenant les listes de codes (fichier répertoire) utilisés pour le contrôle de la saisie des données, le codage des données pour leur stockage et le décodage pour leur extraction. Si un quelconque système de codage des données spatiales est utilisé, il faudra alors fournir les fichiers de références géographiques et/ou hydrologiques; b) Les fichiers descriptifs des stations, allant des simples fichiers ne comprenant que le numéro, le nom et le type de la station, avec son emplacement et la liste des instruments dont elle est équipée, aux fichiers détaillés, tels que ceux renfermant toutes les informations des diagraphies de puits ou de forages; c) Les fichiers d étalonnage, contenant les informations de base détaillées permettant de calculer les variables dérivées, habituellement station par station. Citons comme exemple les courbes de tarage des stations débitmétriques et les coefficients de calage des capteurs climatologiques et de qualité des eaux. Certaines données sont indépendantes des stations, comme les coefficients de calage des moulinets, les tables de référence pour les heures théoriques d ensoleillement ou de radiation incidente; d) Les fichiers chronologiques, contenant les séries d observations faites aux stations hydrologiques. Ces fichiers peuvent être composés de séries à une ou à plusieurs variables pouvant être observées selon un pas de temps fixe ou variable. La relation entre ces différents types de fichiers est représentée sur la figure I D un point de vue organisationnel, il est possible de grouper toutes les informations de type b) et c) dans des fichiers uniques, ou de les répartir dans des fichiers historiques ou d usage courant. Cela permet d attribuer aux fichiers courants un format et une taille normalisés. Le type de structure à choisir est Fichiers de traitement du système Fichier dictionnaire Codage Décodage Fichier de référence hydrologique/ géographique Localisation de la station Fichiers des stations hydrométriques Fichier historique de description de la station Description de la station (actuelle) Fichiers des séries chronologiques de la station Fichier historique des tarages de la station Tarage de la station (actuel) Figure I Relations entre fichiers de données de stations hydrométriques

17 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I surtout dicté par la quantité de données descriptives qui doivent être conservées dans les fichiers informatiques par rapport à celles qui doivent l être dans les fichiers manuels. Il est utile de passer en revue les possibilités existantes pour stocker des séries chronologiques de différents types dans un même fichier physique. Au niveau le plus rudimentaire, on affecte à chaque station son propre fichier dans lequel les données sont classées par ordre chronologique. Cette technique est surtout bien adaptée aux petits lots de données ou pour la conservation de données sur bandes. Cependant, ce système élémentaire devient extrêmement difficile à gérer dans le cadre de réseaux hydrologiques, car ceux-ci peuvent être composés de plusieurs centaines de stations de différents types, ce qui implique un très grand nombre de fichiers. À un niveau supérieur, celui appliqué dans la plupart des systèmes de base de données hydrologiques, on utilise des fichiers regroupant de nombreuses stations et où chaque fichier contient des données d un type différent. Ces données peuvent être de type hydrologique, comme les valeurs journalières de débit, ou peuvent représenter une composition de séries chronologiques, par exemple plusieurs variables enregistrées simultanément à pas de temps fixe. Dans le premier cas un fichier journalier sera constitué par exemple de toutes les données débitmétriques quotidiennes enregistrées à toutes les stations du réseau hydrologique. Si le fichier est structuré de façon séquentielle, il sera classé par station et, pour chaque station, classé en fonction du temps. Dans le second cas, le fichier contiendra toutes les mesures journalières, sans tenir compte de leur type hydrologique, et il sera classé par type et par numéro de station. Les deux cas précités sont utilisés dans le système WATSTORE (Archivage et extraction de données hydrologiques) (Kilpatrick, 1981), qui comprend cinq grands fichiers: un pour les données d en-tête de la station (description) et trois pour les données regroupées par type hydrologique (qualité des eaux, débits de pointe, inventaire des sites de mesure des eaux souterraines). Quant au cinquième, il est constitué des valeurs journalières classées par ordre chronologique. Ce dernier fichier contient des valeurs observées quotidiennement ou en continu, mais numériquement réduites à des valeurs journalières. On peut aussi stocker des valeurs instantanées mesurées à pas de temps constant, des valeurs moyennes journalières et des données statistiques telles que les valeurs journalières minimales et maximales. En 1981, ce fichier contenait 190 millions de données journalières se rapportant aux débits, aux niveaux d eau, aux contenus de réservoirs, aux températures de l eau, aux conductivités électriques, aux concentrations de sédiments, aux débits solides et aux niveaux des eaux souterraines. Au plus haut niveau d intégration (autre que celui se basant sur l utilisation d un SGBD), il existe des systèmes qui traitent tous les types de données chronologiques sous un seul format de classement et les stockent dans un seul fichier physique. Une telle approche, utilisée par le système néo-zélandais TIDEDA simplifie grandement la conception des logiciels développés pour la gestion et l extraction des données, parce qu il se réfère à un format de stockage normalisé. Le système australien HYDSYS et le système du Royaume-Uni HYDATA, disponibles en tant que composantes du SHOFM, sont des systèmes similaires de traitement et de stockage des données. De plus amples détails sur la manière dont les valeurs sont traitées par ces systèmes se trouvent dans Guidelines for Computerized Data Processing in Operational Hydrology and Land and Water Management (WMO-No. 634) EXTRACTION DES DONNÉES Outils d analyse des données Les outils d analyse de données peuvent être soit un système intégré travaillant sur la même base de données, soit des outils indépendants manuels et informatisés destinés à accomplir les tâches de création d une archive (voir tableau I.10.6). Au cours du développement d outils d extraction, il sera nécessaire d identifier les besoins et demandes des utilisateurs, et de s assurer que les outils développés y répondent. Cela nécessitera de prendre en compte les demandes pour: a) Une série simple par exemple les débits journaliers ou mensuels d une période donnée; b) Une série multiple par exemple les données de débit d un ensemble de stations ou des données concomitantes de précipitations et de débit; c) Une valeur singulière à l intérieur d une série (pour la modélisation ou l affichage d un SIG) par exemple, le pic annuel de débit d une station ou la pluie moyenne annuelle d un ensemble de stations. Il faudrait que les données et l information soient extraites de la base selon différents formats, de

18 I GUIDE DES PRATIQUES HYDROLOGIQUES Outil Tableau I Outils d analyse des données Outils d entrée des données Outils de traitement Outils de validation Outils d analyse Outils d interrogation Outils de reportage Description Entrée manuelle au clavier, logiciels et matériel pour le téléchargement des enregistreurs, logiciel de reformatage, feuille de calcul habituelles pour le formatage et le stockage de données, outils de gestion automatisée des données en temps réel Par exemple, logiciel et matériel de traitement primaire pour numériser les enregistrements graphiques; ou outils logiciels de traitement secondaire pour, par exemple, la conversion en débits des hauteurs d eau Logiciel pour l affichage des graphiques et la correction des données, logiciel de tracé des courbes de double cumul, calcul des maximums et minimums des hydrogrammes, etc. Logiciel (y compris feuilles de calcul) pour la production de statistiques comme les courbes de débits classés Outils logiciels pour l extraction de valeurs de données spécifiques ou de statistiques des données archivées Outils logiciels pour produire, aux fins de diffusion, des rapports et jeux de données à partir des données archivées façon une fois encore à satisfaire les besoins des utilisateurs, tels que les suivants: a) Fichier descriptif une gamme d informations provenant de différentes sources décrivant les données disponibles et leurs caractéristiques; b) Fichiers ASCII (section ); c) Fichiers décimaux CSV (Valeurs séparées par des virgules) C est un format délimité dont les champs ou colonnes sont séparés par le caractère «virgule» et dont les enregistrements ou lignes sont séparés par un caractère «retour chariot». Les champs contenant un caractère spécial (point, retour chariot ou guillemet) doivent être encadrés par des guillemets. Toutefois, si une ligne contient une entrée constituée de la chaîne vide, elle peut être encadrée par des guillemets; d) Autres formats définis par l utilisateur Extraction de données à une seule variable Le stockage de données sous forme de séries chronologiques multiples est parfois source de lacunes ou de pertes d efficacité, étant donné le grand nombre de variables observées au même site de mesure et la manière dont ces valeurs en sont extraites. Ainsi, les données climatologiques, après leur utilisation pour le calcul de l évapotranspiration potentielle, servent à en extraire des variables individuelles. De telles extractions sont nécessaires lors de l interpolation spatiale et/ou la représentation cartographique de données, comme par exemple les valeurs de température pour le calcul de la fonte des neiges ou les valeurs de radiation pour l estimation quantitative des futures récoltes. Le processus d extraction sera inefficace si toutes les stations doivent être examinées, même si le paramètre n a été observé qu à quelques-unes d entre elles. Comme on l a déjà vu (section ), on peut résoudre ce genre de problème en utilisant des pointeurs de données, enregistrés avec chaque valeur. Ils indiquent sur l enregistrement l emplacement de la prochaine valeur de la même variable. Cependant, si cette technique est employée pour de nombreuses variables, le temps de stockage de l indicateur peut devenir considérable. Une solution à ce problème consiste à écarter du système des variables importantes (celles pour lesquelles l accès individuel est fréquent) et à les stocker sous forme de séries chronologiques à une variable. Cette pratique est courante pour les données des précipitations observées aux stations climatologiques. Le meilleur moment pour extraire ces variables importantes est lors de la mise à jour annuelle, quand les données validées sont transférées dans les fichiers d archives. On devrait souligner que la décision d extraire ainsi une variable dépend de l anticipation faite de la fréquence d accès qui lui sera nécessaire: des extractions fréquentes sont un argument en faveur de sa séparation d un lot de variables multiples. Moins le nombre de stations où l on observe une telle variable est important, plus la recherche avec variables multiples est inefficace, et plus le format à une seule variable se justifie. Si, comme c est habituellement le cas avec les données de qualité des eaux, les extractions sont faites pour plusieurs variables se rapportant à la même heure d observation, il est alors probablement plus commode de conserver le format original des variables multiples.

19 CHAPITRE 10. STOCKAGE, CONSULTATION ET DIFFUSION DES DONNÉES I Systèmes d extraction de données L extraction des données est discutée en détail dans Guidelines to Computerized Data Processing in Operational Hydrology and Land and Water Management (WMO-No. 634). Un des principaux avantages du traitement informatique des données est la possibilité qu il offre d extraire rapidement des ensembles choisis de données. Des systèmes performants d extraction permettent aux hydrologues ou aux planificateurs des ressources en eau de se consacrer à l analyse des données plutôt que de passer du temps à localiser, à collationner et à traiter manuellement des données. Un système complet d extraction devrait posséder les caractéristiques suivantes: a) Un large choix de critères de sélection des données en général, on devrait sélectionner par types de variable, par bassins versants, par stations de mesure, par périodes d enregistrement ou encore, selon la valeur (ou l amplitude de variation) d une variable. De plus, il devrait être possible de sélectionner des données sur la base de n importe quelle combinaison de ces critères; b) La capacité d interpoler et/ou d agréger les données dans le temps et dans l espace il est en particulier très important de pouvoir transformer des séries chronologiques à pas de temps variable en séries à intervalle constant d une part et, d autre part, d agréger des séries à pas de temps rapprochés en séries de totaux ou de moyennes sur une base de temps plus longue (par exemple, la conversion de données horaires en données journalières, ou de valeurs journalières en valeurs décadaire). Si l on utilise un système géographique/hydrologique géoréférencé, on doit aussi pouvoir procéder à des ajustements spatiaux des données; c) Calcul de statistiques élémentaires il devrait être possible de calculer quelques valeurs statistiques élémentaires pour la (les) période(s) d enregistrement choisie(s), comme les totaux (si nécessaire), les moyennes, les écarts-types et les amplitudes de variation. Le système courant d extraction des données peut de plus offrir la possibilité de calculer des éléments plus complexes, comme des corrélations croisées, des régressions multiples, une analyse probabiliste, etc. Il est aussi possible de soumettre les données sélectionnées à un progiciel statistique (ou programme utilisateur) tel que décrit ci-dessous; d) Choix du format de sortie cette caractéristique devrait permettre la publication directe des données sous forme (spécifiée) de tableaux ou de graphiques et aussi de créer des fichiers de données dont le format soit compatible avec un traitement informatique ultérieur. Dans ce cas, l ensemble de données extraites peut être stocké en vue d applications statistiques ou de programmes spécifiques à l utilisateur. Un format de sortie bien choisi pourrait convenir aux échanges de données hydrologiques, au niveau national ou international; e) Sélection des organes de sortie le choix des dispositifs de sortie devrait être le plus étendu possible. Il devrait comprendre au minimum une imprimante, une unité de visualisation (UDV), un fichier disque et, si possible, une table traçante. Les données qui doivent être copiées sur bande ou sur disquettes sont normalement stockées au préalable sur le disque dur, avant d être transférées à l aide d un programme utilitaire indépendant, faisant appel à différentes variables spécifiques à l utilisateur. Les données extraites, particulièrement celles destinées à être imprimées sous forme de tableaux, doivent conserver leurs codes et les indicateurs relatifs à leur statut et à leur fiabilité (section 9.3). Les fichiers descriptifs des stations ou les catalogues de données devraient renseigner l utilisateur sur la fiabilité générale des données et/ou leur nonfiabilité durant des périodes bien précises. L extraction des données peut se faire de trois manières différentes: a) Extractions périodiques de données ce sont des résumés, pour chaque station, de données et de valeurs statistiques produits mensuellement et annuellement; b) Extractions selon les besoins de l utilisateur après avoir consulté les annuaires hydrologiques ou les catalogues de données, les utilisateurs peuvent demander une extraction en utilisant un formulaire ad hoc, et l extraction sera alors traitée comme une tâche séquentielle normale. Ainsi, il faut pouvoir compter sur des opérateurs ou d autres techniciens en informatique, qui introduiront la demande dans le système à l aide de logiciels d extraction de données. Le formulaire de demande d extraction devrait tenir compte des nombreuses possibilités de sortie; c) Extraction en ligne (interactive) des données il existe différentes méthodes de spécification interactive d extraction de données. Du fait de leurs utilisations potentiellement très vastes, elles sont développées ci-après. Comme nous l avons déjà vu dans ce chapitre et en particulier dans la figure I.10.4, l existence

20 I GUIDE DES PRATIQUES HYDROLOGIQUES Introduction des données En ligne Hors ligne Écran Corrections de données en ligne 1. Fichiers de travail 1 3 Données d entrée de base (+ copies) Écran Extractions/ requêtes 3. Catalogue 2. Fichiers de la base de données récente 2 3 Fichiers de la base de données hydrologique principale (+ copies) Écran Applications 4. Jeux de données utilisateurs Figure I Disposition des jeux de données en ligne et hors ligne d une base de données principale en ligne permet une extraction interactive des données. Cependant, à l exception des systèmes traitant de petites quantités de données ou de ceux dont la capacité de la mémoire à disque est très importante, la majeure partie des bases de données doivent être stockées de façon indépendante hors ligne. Ainsi, les méthodes interactives directes sont habituellement destinées à l extraction de quantités limitées de valeurs (les plus récentes). Certains systèmes offrent aux utilisateurs éloignés la possibilité d adresser un message aux opérateurs, pour leur demander l accès à un volume particulier et hors ligne de la base de données. Néanmoins, de telles demandes sont rarement satisfaites immédiatement et cette technique peut même devenir très lourde en termes de taux d occupation des terminaux et de coûts de transmission. Le moyen probablement le plus efficace de spécification interactive d extraction des données est la procédure de traitement à deux niveaux. Dans une première étape, un programme interactif permet à l utilisateur de préciser quelles valeurs il désire extraire, et dans une seconde étape, sa demande est automatiquement traitée comme un travail séquentiel et la réponse est livrée par la suite. L interface machine/utilisateur est appelée «système à menus». En raison de la faculté qu a l ordinateur de gérer lui-même l affectation de ses ressources, il est beaucoup plus efficace d extraire de grandes quantités de données en mode séquentiel, particulièrement s il s agit d extraire des données provenant de volumes indépendants. La discussion ci-dessus se rapporte avant tout à l extraction interactive de données, dans le cadre de systèmes d inventaires hydrologiques. Cependant, la possibilité de réviser les données collectées et stockées dans un système d exploitation en temps réel constitue peut-être un besoin encore plus essentiel. Des options d extraction s échelonnent depuis l interrogation par télétransmission d une ou d un groupe de stations de terrain, jusqu au traçage et à l affichage des données récemment collectées (et des dernières prévisions) au centre de traitement DIFFUSION DES DONNÉES Généralités Les données ne prennent une valeur que lorsqu elles sont utilisées. Ce n est que lorsque les données hydrologiques sont analysées et utilisées dans le cadre de la planification de la gestion de l eau et du processus de prise de décision qu elles deviennent réellement précieuses. Des enregistrements de bonne qualité sur de longues périodes sont nécessaires pour évaluer la moyenne et la variabilité, tant saisonnière qu interannuelle de n importe quelle variable hydrologique. C est ainsi que la période standard de 30 ans convenue pour obtenir une estimation «fiable» de la précipitation moyenne annuelle, n est peut être même pas vraiment suffisante, compte tenu des très longues périodicités sur les précipitations dans certaines parties du monde. De plus, compte tenu des preuves évidentes d un réchauffement global et des modifications climatiques qui lui sont associées,