DU 3 AOÛT François Bigorre AE Rhin-Meuse Nathalie Garat déléguée de bassin Artois- Picardie

Transcription

1 Recensement et analyse critique des indicateurs dans le domaine de l eau Compte-rendu réunion intermédiaire RECENSEMENT ET ANALYSE CRITIQUE D INDICATEURS DANS LE DOMAINE DE L EAU DEUXIÈME RÉUNION INTERMÉDIAIRE DU 3 AOÛT 2009 PRÉSENTS : NOMS Organismes s Téléphones Christian ONEMA christian.jourdan@onema.fr Jourdan (Coordination du Système d'information sur l eau) Janik Michon ONEMA janik.michon@onema.fr Aurélie Dubois SOeS (ExIFEN) aurelie.dubois@developpementdurable.gouv.fr Laure Castel Elise Catalon Asconit Consultants Asconit Consultants laure.castel@asconit.com Elise.catalon@asconit.com EXCUSÉS : NOMS Organismes s Téléphones François Bigorre AE Rhin-Meuse BIGORRE@eau-rhin-meuse.fr Nathalie Garat Eric Fievet DIREN déléguée de bassin Artois- Picardie Asconit Consultants nathalie.garat@developpementdurable.gouv.fr eric.fievet@asconit.com Émetteur Laure Castel Date/Heure Lieu Référence Page(s) 03/08/09 ONEMA- Vincennes Objet Compte-rendu de la deuxième réunion intermédiaire ASCONIT Consultants Page 1/10 ONEMA

2 Recensement et analyse critique des indicateurs dans le domaine de l eau Compte-rendu réunion intermédiaire 1/ Outils Les fiches indicateurs et le tableau de bord sont validés en ajoutant toutefois: la date de dernière diffusion (renseignée si la date de mise à jour n'est pas connue), des méta-données: la définition de chaque champ de description. L'outil d'analyse critique a été revu et modifié afin de : grouper les sous-critères de manière homogène, supprimer ceux dont la notation relève d'une certaine subjectivité, définir ceux sur lesquels appliquer un filtre ou une note. Le principe d'un l'outil mixte, utilisant «seuil» et «filtre» est en effet retenu. Il devra permettre d'identifier le panel des indicateurs les plus plébiscités. Le détail des corrections est présenté en annexe de ce compte-rendu. 2/ Calendrier et délai Le retour du questionnaire conditionne les dernières tâches de l'étude: définir différents scénarios (en fonction des différents publics), utiliser l'outil d'analyse critique (en fonction des différents scénarios) pour établir un panel de tableaux de bord, identifier, au sein de ces différents tableaux de bord, les indicateurs les plus plébiscités, identifier les thématiques non couvertes par ces tableaux de bord, rédiger le rapport final. Compte tenu des délais initiaux du présent marché, la fin de l'étude aurait dû avoir lieu autour du 10 septembre. Ces prévisions ne laissent pas assez de temps pour permettre d'une part un retour du questionnaire dans des délais cohérents vis à vis des retours de vacances et d'autre part d'effectuer les dernières tâches. C'est pourquoi il a été convenu de repousser la fin de l'étude: d'envoyer le questionnaire le 21 août et de proposer le 8 septembre comme date de retour, de travailler au traitement du questionnaire et à la proposition de scénarios pour une présentation en réunion le 16 septembre. d'établir les derniers résultats et le rapport final pour fin septembre. En revanche la date de fin du recensement des indicateurs est fixée au 31 août. Des envois de fiches indicateurs auront lieu entre-temps pour permettre une relecture au fur et à mesure, et donc une validation du contenu du tableur. Ces reports de délais sont régularisés du point de vue administratif par une demande de prolongement du marché. Ce report de délai était par ailleurs nécessaire du fait de la date de l'ordre de service qui signifiait une fin de marché au 31 juillet. Les courriers de régularisation ont été envoyés. ASCONIT Consultants Page 2/10 ONEMA

3 Recensement et analyse critique des indicateurs dans le domaine de l eau Compte-rendu réunion intermédiaire 3/ Recensement des indicateurs La partie européenne et internationale pourra être complétée par: un contact auprès de l'oieau (Stéphanie Laronde, de retour le 17 août) pour la directive Nitrates, un contact auprès de la DEB (Raphaël Demoulière) pour la directive Boues, un envoi de la part du SOeS (Aurélie Dubois) du rapport envoyé annuellement à OSPAR. Concernant la partie française, le recensement pourra être complété par: un contact auprès de l'onema (Bénédicte Valadou) pour la vision nationale des plans migrateurs, et plus généralement pour la Stratégie nationale pour la biodiversité (Janik Michon), la consultation des documents disponibles sur le site du MNHN (prise en compte de leur part de la biodiversité aquatique via des indicateurs de présence d'espèces ou d'occurrence d'observation), la vérification des données détenues par les DDAF/DDE concernant les DOM, un tour d'horizon des indicateurs et/ou données existants pour les usages et pressions. 4/ Questionnaire La liste de personnes à qui envoyer le questionnaire pourra être complétée : par l'onema sur : des listes de collectivités, la tutelle ministérielle élargie (DGPR, DEB, santé), le comité permanent des usagers du SIE du CNE, le CIEau, les syndicats de l'environnement (SNE,...), la fédération des entreprises utilisatrices d'eau, les syndicats représentant la profession agricole, le réseau Ideal; par Asconit sur : quelques CETE, des animateurs de SAGE (voir aussi avec l'oieau) et quelques grandes collectivités sur le volet «éducation / sensibilisation». Concernant le questionnaire, deux formats sont proposés: le premier, court, permet aux participants de donner leur avis sur une liste d'indicateurs proposés, et d'identifier les thématiques orphelines, le deuxième beaucoup plus long permet de recueillir leurs suggestions et propositions sur les indicateurs et les critères de choix. Une réflexion supplémentaire sur le projet de création de tableau de bord devra permettre de préciser les besoins, et donc le format de questionnaire adapté. ASCONIT Consultants Page 3/10 ONEMA

4 Recensement et analyse critique des indicateurs dans le domaine de l eau Compte-rendu réunion intermédiaire 5 / liste des tâches Asconit, semaine 32 : validation de l'extension du délai de la prestation, correction du tableur (partie Inventaire) : inntégration de la date de dernière mise à jour (renseignée si la fréquence de mise à jour est inconnue), création des définitions de chaque champ descriptif (méta-données) pour les fiches «indicateur» et «tableau de bord», envoi de fiches indicateurs renseignées pour validation, finalisation du tableur : intégration de l'outil d'analyse critique dans le même fichier que le recensement des indicateurs, en précisant les définitions, échelles de notation et des exemples pour chaque sous-critère. ONEMA, semaine 32 : cadrage du projet de tableau de bord, définition des objectifs de communication. Asconit, semaines 33 et 34 : liste complétée de personnes à qui envoyer le questionnaire (apport ONEMA puis Asconit consultants), proposition d'une première liste d'indicateurs sur lesquels les enquêtés devront se prononcer d'après les indicateurs testés par l'outil d'analyse critique et les propositions de la part d'asconit correspondant aux indicateurs n'ayant pu être renseignés, finalisation du questionnaire et envoi le 21 août. Asconit, semaine 35 : fin de l'inventaire des indicateurs Pour le 8 septembre : réception des questionnaires Asconit, pour le 16 septembre : traitement des questionnaires, proposition de scénarios pour l'outil d'analyse critique pour la réunion Asconit, pour le 30 septembre : livraison définitive du rapport et des différents livrables (panels d'indicateurs, tableur, fiches). La prochaine réunion est fixée au mercredi 16 septembre 2009 à 9h30, à l'onema (salle 4-30). ASCONIT Consultants Page 4/10 ONEMA

5 Liste et définition des critères et sous-critères: Critère Sous-critère Définition Échelle de notation ou filtre Accessibilité de l'indicateur Faisabilité de production de l'indicateur à partir des données élémentaires Disponibilité des valeurs de l'indicateur dans une base de données Mise à jour de l'indicateur Disponibilité des données élémentaires dans une base de données Mise à jour des données Fréquence de mise à jour homogène Fréquence de mise à jour Données centralisées au niveau national Les valeurs de l'indicateur doivent être disponibles (et pas uniquement des cartes ou des graphiques). L'indicateur doit présenter une fréquence de mise à jour : il ne doit pas s'agir d'une mesure ponctuelle. Les données élémentaires servant à calculer l'indicateur sont centralisées dans une (ou plusieurs) base(s) de données. Les données élémentaires doivent présenter une mise à jour : il ne doit pas s'agir de mesures ponctuelles. Les données élémentaires nécessaires à la fabrication de l'indicateur sont mises à jour selon une fréquence semblable. Les données élémentaires sont mises à jour à une fréquence annuelle de préférence. Les données élémentaires sont regroupées au sein d'une même source ou base de données suivant la couverture géographique de l'indicateur. Ex : donnée détenue par le ministère en charge de l'environnement pour un indicateur couvrant la France et non au sein de chaque Agences de l'eau; ou donnée centralisée par WISE pour un indicateur à l'échelle européenne. Filtre: si l'indicateur est disponible et mis à jour, il peut être retenu. Si l'indicateur ne remplit pas ces deux conditions, les deux sous-critères suivants sont étudiés. Filtre: si l'indicateur n'est pas disponible en ligne et/ou non mis à jour, les données qui servent à le calculer doivent être disponibles au sein d'une base de données et mises à jour. Si l'indicateur ne remplit aucune des conditions de disponibilité et mise à jour des données et valeurs de l'indicateur, il ne peut être retenu pour la suite de l'analyse. Si toutes les données sont mises à jour à une fréquence semblable, le sous critère vaut 1. Si ce n'est pas le cas, le sous-critère vaut 0 (pas de 0,5 possible). Si toutes les données sont mises à jour annuellement ou plus fréquemment, le sous critère vaut 1. Si les données sont mises à jour à une fréquence supérieure à 1 an, le sous-critère vaut 0,5 (pas de 0 possible). Si toutes les données sont centralisées au niveau d'un même acteur, le sous critère vaut 1. Si la centralisation est partielle ou avec des délais de transfert de l'information plus long que la fréquence de mise à jour des données le sous-critère vaut 0,5. Si les données sont dispersées, le sous critère vaut 0.

6 Critère Sous-critère Définition Échelle de notation ou filtre Qualité et représentativi té des données Base de données accessible sur le web Gratuité des données Importance des traitements à réaliser Validité statistique (nombre de données) Les données élémentaires servant à calculer l'indicateur sont accessibles facilement en ligne (depuis un site internet) Caractère gratuit ou payant des données élémentaires servant à construire l'indicateur. Les données élémentaires sont simples à utiliser ou bien des traitements statistiques (dûs à la méthodologie de construction de l'indicateur) sont nécessaires sur des données brutes ou élémentaires. Le nombre de données élémentaires utilisées pour le calcul de l'indicateur (ex : nombre d'analyses par an) doit être suffisant pour que le résultat ait du sens. Si toutes les données sont accessibles en ligne, le sous-critère vaut 1. Si une partie des données est accessible en ligne ou si la mise à jour des données en ligne est existante mais défaillante le sous-critère vaut 0,5. Si aucune donnée n'est accessible en ligne le sous-critère vaut 0. Si une donnée est payante, le sous-critère vaut 0. Si toutes les données sont gratuites, le sous-critère vaut 1. Si la valeur nécessaire pour le calcul de l'indicateur est déjà calculée, le sous-critère vaut 1pt. Si il est nécessaire de traiter des données partiellement synthétisées le sous critère vaut 0,5. Si il est nécessaire de repartir des données brutes, le souscritère vaut 0. Si le nombre de données est suffisant pour qualifier la valeur de fiable, le sous-critère vaut 1. Si des limites sont mentionnées par le producteur de l'indicateur, le sous-critère vaut 0,5 (par exemple: nombre d'analyse par captage permet de calculer une valeur représentative pour les grandes unités de distribution mais pas pour les plus petites: la limite ne porte que sur les petites unités). Si le nombre de données ne permet pas de qualifier la valeur de fiable le sous-critère vaut 0.

7 Critère Sous-critère Définition Échelle de notation ou filtre Utilisabilité de l'indicateur Représentativité spatiale (répartition des points de mesure) Présence de données ou de points de mesures répartis de manière homogène ou pertinente sur le territoire: soit répartis de manière homogène sur le territoire (exemple: nombre de points de mesure environ proportionnel à la taille respective des bassins hydrographiques), soit représentatif de la problématique (la qualité des eaux de baignade peut être qualifiée par des points de mesure sur les plages les plus fréquentées plutôt que répartis de manière homogène sur le littoral). Homogénéité des données La méthode de calcul ou d'obtention de la donnée élémentaire ou de l'indicateur peut varier suivant les structures ou unités qui collectent l'information. (Par exemple, les données transmises à Eurostat par chaque pays européen sont calculées par chaque pays avec des méthodologies qui peuvent différer.) Couverture du territoire Simplicité de compréhension de l'indicateur La couverture géographique de l'indicateur et des données élémentaires représente le territoire national y compris les DOM. L'indicateur ou le concept sous-jacent est facile à comprendre. Sa définition est simple ou accessible pour un public non initié. Le sous-critère vaut 1 ou 0 si la condition est respectée ou non. La valeur de 0,5 peut éventuellement être attribuée si la représentativité du territoire est globalement respectée sauf à quelques exceptions ou conditions exceptionnelles. Le sous-critère vaut 1 ou 0 si la condition est respectée ou non. La valeur de 0,5 peut éventuellement être attribuée si la représentativité du territoire est globalement respectée sauf à quelques exceptions ou conditions exceptionnelles. Si l'indicateur représente le territoire national DOM compris le sous critère vaut 1, sans les DOM le sous critère vaut 0,5. Si l'indicateur ne couvre que partiellement le territoire national, le sous-critère vaut 0 (exemple: un seul bassin hydrographique ou seulement les DOM). L'indicateur vaut 0, 0,5 ou 1 suivant la complexité/simplicité.

8 Critère Sous-critère Définition Échelle de notation ou filtre Ancienneté relative de l'indicateur Existence d'une valeur de référence ou d'un objectif quantifié Comparaison possible à d'autres pays Déclinaison possible à plusieurs échelles Représentation graphique possible Date la plus ancienne pour laquelle le calcul de l'indicateur, c'est à dire la possibilité de connaître l'évolution historique, est possible (qu'il s'agisse d'un indicateur ancien pour lequel les données sont toujours disponibles, ou bien d'un indicateur récent mais pour lequel les données historiques peuvent servir à son calcul). Possibilité de comparer la valeur de l'indicateur avec un objectif chiffré (par exemple objectif d'une politique publique) ou une valeur de référence (norme, recommandation, seuil). Disponibilité de l'indicateur pour d'autres pays de l'union européenne ou pays limitrophes. Disponibilité de la valeur de l'indicateur pour des sous-territoire: par bassins hydrographiques, régions, ou encore par pays si l'indicateur a une couverture internationale; ou éventuellement, si pertinent, disponibilité de l'indicateur pour différentes catégories (exemple: régie ou délégation de service publique pour les services d'eau et d'assainissement). Possibilité de représenter l'indicateur par des graphiques: courbes, secteur, etc et non seulement par un chiffre. Le sous-critère vaut 1 point si des valeurs de l'indicateur sont disponibles depuis plus de 8 ans (disponible pour des années antérieures à l'année 2000). La valeur vaut 0,5 si l'indicateur est calculé depuis plus de 4 ans (disponible pour des années antérieures à l'année 2004) ou si des données sont disponibles depuis plus de 10 ans. L'indicateur vaut 0 si le recul historique est inférieur à 3 ans (indicateur disponible à partir de 2005). Le sous-critère vaut 0 ou 1 suivant si la condition est remplie. Le sous-critère vaut 0 ou 1 suivant si la condition est remplie. Le sous-critère vaut 1 si la valeur de l'indicateur est disponible, 0,5 si des valeurs peuvent être calculées à partir des données brutes, 0 si la comparaison entre unité d'action est impossible. Le sous-critère vaut 0 ou 1 suivant si la condition est remplie. Le sous-critère vaut 0,5 si la représentation sous forme graphique nécessite au préalable de refaire des traitements à partir des données élémentaires.

9 Critère Sous-critère Définition Échelle de notation ou filtre Pertinence vis à vis des publics Représentation cartographique possible Correspondance avec les attentes du grand public Correspondance avec les attentes des utilisateurs de données ou producteurs (chercheur, producteur de données agence,...) Correspondance avec les centres d'intérêts des utilisateurs des données et documents (enseignement, association,...) Possibilité de représenter l'indicateur sous forme cartographique : carte de France ou d'europe. Est-ce que le sujet correspond aux centres d'intérêts du public, ou est-ce qu'il serait pertinent de le diffuser (sensibilisation par exemple)?. Est-ce que le sujet correspond aux centres d'intérêts de ce type de public, ou est-ce qu'il serait pertinent de le diffuser (sensibilisation par exemple)?. Est-ce que le sujet correspond aux centres d'intérêts de ce type de public, ou est-ce qu'il serait pertinent de le diffuser (sensibilisation par exemple)?. Le sous-critère vaut 0 ou 1 suivant si la condition est remplie. Le sous-critère vaut 0,5 si l'élaboration de carte nécessite au préalable de refaire des traitements à partir des données élémentaires. 4 classes suivant d'une part l'analyse bibliographique et d'autre part les retours des questionnaires. En fonction des résultats du questionnaire En fonction des résultats du questionnaire Les types de public pourront correspondre à plusieurs types d'acteurs définis pour l'envoi du questionnaire. Ces regroupements seront définis en fonction du nombre de réponses aux questionnaires de manière à disposer d'un nombre de réponse suffisant.

10