COMMISSION EUROPÉENNE EUROSTAT Direction F: Statistiques sur l agriculture, l environnement, l alimentation et les régions Unité F-1: Statistiques économiques et structurelles de l agriculture Doc. ASA/SB/598 (disponible en DE,FR,EN) Orig.FR AV GROUPE DE TRAVAIL «STRUCTURE ET TYPOLOGIE DES EXPLOITATIONS AGRICOLES» Réunion du 25 novembre 2002 à Luxembourg Salle de conférence: GLESENER, bâtiment WAGNER, Luxembourg -Kirchberg Début: Lundi à 9h30 Document de travail point 4.4 de l'ordre du jour VALIDATION EN LIGNE DES DONNEES EUROFARM 1
1. VALIDATION EN LIGNE DES DONNEES EUROFARM 1.1. SITUATION ACTUELLE Les résultats de l enquête Structure sont transmis à Eurostat par les Etats membres et introduits dans une base de données ORACLE (Back office). Les données sont transmises via Stadium, CD ROM et parfois par e-mail. Une fois chargées, les données sont soumises à une batterie de tests avant d être transférées dans l environnement FINAL. Dans le cas de données n ayant pas franchi les règles de validation, un échange (souvent par e-mail) entre l administrateur de données Eurostat et son partenaire dans les Services nationaux fournisseurs de données donne lieu à des corrections et au transfert d une nouvelle version. Ces échanges font perdre beaucoup de temps de part et d autre car les personnes en charge de ces données dans les Etats passent à d autres activités entre deux envois de données. Le système Eurofarm prévoit plusieurs niveaux de validation: (1) Vérification de la structure du fichier et du chargement (structure du fichier) (2) Calcul de variables dérivées permettant main d œuvre (3) Missing values (permet d obtenir des rapports précisant les caractéristiques toujours renseignées avec une même valeur, ou les caractéristiques jamais renseignées - ce processus traite également le facteur d extrapolation) (4) Validation des CodeLists (vérification des valeurs codifiées) (5) Validation des codes régionaux SURVEY (6) Validation des codes régionaux MBS (SGM) (7) Vérification de la cohérence entre les codes régionaux MBS et SURVEY (8) Validation des FarmTypes (vérification des codes Type d exploitation) (9) Vérification «manuelle» des champs obligatoires ou non en fonction de la décision de la Commission et sur la base des rapports issus du «Missing values» processus. (10) Vérification de la présence des coefficients MBS (11) Application des règles de validation paramétrées dans le système 2
(12) Vérification de l unicité des facteurs d extrapolation par Stratum ID (13) Calcul des MBS pour vérification des valeurs envoyées par les Etats (14) Comparaison entre MBS envoyés par les Etats et MBS calculés par Eurostat. Les rapports de validation des données délivrés par l application actuelle Oracle Eurofarm sont bien structurés. Ils permettent une bonne compréhension des problèmes et sont utiles dans les échanges entre Eurostat et les Etats en cas de problème. 1.2. SITUATION FUTURE Pour des raisons de convivialité et pour réduire les délais de transmission des données, Eurostat et les Etats membres souhaitent que ces validations soient effectuées par les Services nationaux fournisseurs de données, à l aide d outils communs développés par Eurostat et mis à la disposition des Etats sur le Web. Etant donné le volume, les données devront être transférées (via Stadium) sur un serveur Eurostat avant chaque opération de validation. Chaque Etat membre/candidat possédera donc un espace disque réservé sur un serveur Eurostat (accessible uniquement par lui-même à travers une application contrôlée et par les administrateurs Eurofarm d Eurostat données confidentielles). Seuls des services de validation prédéfinis (présents sur le serveur sécurisé) pourront être opérés par les utilisateurs (Services nationaux) du système.. Une fois validées, les données seront transférées par le Service national dans une zone disque particulière qui marquera la réception officielle des données de l Etat. Ces données seront intégrées dans le système Back office Eurofarm (existant) par un administrateur Eurofarm d Eurostat. Ni la classification des exploitations suivant la typologie communautaire, ni le calcul des variables dérivées «main d œuvre» ne font partie de la validation en ligne. 3
2. PERIMETRE FONCTIONNEL DU PROJET 2.1. Administration du système par le personnel d Eurostat (Eurofarm) administration des profils, droits d accès et listes de distribution (e-mails) paramétrage et données de référence du système (définition des types de fichiers et de leurs structures, des règles et chaînes de validations, des nomenclatures etc.) synchronisation du système de validation avec le Back office Eurofarm (récupération des règles de validation, nomenclatures etc. présents dans la MetaDatabase Eurofarm données non confidentielles) journal de suivi (log files) des actions effectuées sur le système administration des espaces de stockage utilisateur et log files 2.2. Application utilisateur Outre les fonctionnalités d authentification, d administration utilisateur, le système peut être décomposé en plusieurs groupes fonctionnels : fonctions d administration Possibilité pour la personne connectée de changer son mot de passe transfert et gestion des fichiers de données Transférer un fichier du poste client sur l espace de stockage associé au pays concerné. Ce transfert devra être réalisé à travers un canal sécurisé Stadium. La gestion des fichiers consiste dans la possibilité, pour le Service connecté, de voir les fichiers présents dans l espace de stockage du Service en question, d effacer un fichier, de copier un fichier (limité au même espace de stockage), de concaténer plusieurs fichiers pour éviter le transfert de fichiers trop importants, de renommer un fichier et de gérer les versions des fichiers de données. Il ne sera pas possible pour les utilisateurs d accéder au contenu des fichiers ni de vouloir récupérer localement leur fichier. Les corrections devront être réalisées dans le Service national fournisseur de données puis le fichier devra être retransféré vers le système de validation. chargement, validation des données L opération de chargement consiste en la mise en mémoire d un fichier pour traitement. L utilisateur devra indiquer le type de fichier à traiter (défini - main, patch ou autres) ainsi que le nom de ce dernier et l année d enquête à laquelle il se rapporte. 4
C est également au cours de cette phase que sera vérifiée la structure du fichier ainsi que l unicité des holding Id (identifiant chaque exploitation). La validation des données du fichier se fait en invoquant des processus de validation définis par l administrateur Eurofarm d Eurostat: 1. Application des corrections/modifications (datafix). 2. Vérification de la présence des champs obligatoires 3. Vérification des valeurs des codelists par rapport au référentiel. 4. Vérification des codes régionaux de type SURVEY (SRV) 5. Vérification des codes régionaux de type MBS 6. Vérification des relations entre les codes régionaux MBS et SRV 7. Vérification des règles de gestion. 8. Vérification de l unicité des facteurs d extrapolation par Stratum Toutes ces étapes peuvent être actionnées individuellement pour des validations partielles ou de façon indivisible (une fois les validations intermédiaires effectuées) pour être transférables officiellement à Eurostat si le résultat de cette fonction est satisfaisant. Etant donné que ces fonctions peuvent prendre plusieurs heures de traitement, il convient d avertir par un e-mail (une ou plusieurs personnes définies) du résultat de leur exécution. Fonctionnement asynchrone en tâches de fond. Les e-mails devront reprendre les éléments qui permettront d identifier le fichier traité, le statut, ainsi que les références des rapports de validation. Le nom des rapports devra être explicite quant aux données traitées et aux types de validation. Au moment de l activation des fonctions de validation, l utilisateur pourra choisir d activer la fonction d envoi automatique par Stadium (à l adresse du Service concerné et défini par l administrateur Eurofarm/Eurostat) des rapports de validation associés (synthétiques et/ou détaillés) à la fin du traitement. Une fois la chaîne de validation exécutée, les données devront être supprimées de la mémoire du système, seuls les fichiers «plats» initiaux seront conservés. 5
visualisation de l état des travaux en cours L utilisateur pourra consulter l état des travaux en cours le concernant à travers les informations suivantes : - Date/Heure de début programmé, début effectif de la tâche - Nom du fichier traité - Type de traitement - Nombre d enregistrements traités / total - Nombre d erreur décelées à ce stade Une fois les travaux terminés, cette consultation ne sera plus disponible puisque l utilisateur aura été averti par e-mail de la fin d exécution des travaux. Il devra être possible pour l utilisateur d annuler une tâche de validation en cours de traitement (sans attendre que celle-ci soit terminée) s il constate qu un trop grand nombre d erreurs ont déjà été détectées ou dans le cas où il s est trompé de fichier, de type de validation justification des données en erreur Dans le cas d erreurs minimes ou de particularités liées à un pays et ne permettant pas de donner satisfaction aux passages des règles de validation, le Service national fournisseur de données doit pouvoir accepter une différence (en ajoutant obligatoirement une courte explication). Cette action ne sera autorisée que pour les règles de validation non définies comme critiques ou importantes. Dans les autres cas il faudra avertir l administrateur Eurostat, qui adaptera les datafix ou les règles de validation pour le pays concerné s il le juge opportun et repasser les validations. Ce formulaire de justification accompagnera le fichier lors du transfert officiel des données à Eurostat pour commenter les données. gestion des rapports d erreur Toute fonction de validation générera un rapport de validation (PDF, HTML, RTF. suivant le choix de l utilisateur) identifiant tous les défauts rencontrés. Ces rapports de validation seront placés dans la zone de stockage (serveur sécurisé) associé au Service national fournisseur de données (emplacement distinct des fichiers de données) qu ils aient été envoyés automatiquement ou non (voir la rubrique «Chargement, validation des données»). Les rapports pourront être transférés au Service concerné à sa demande (invocation du service de transfert de rapports par Stadium à l adresse du Service concerné et défini par l administrateur Eurofarm/Eurostat). 6
transfert officiel des données à Eurostat Une fois un fichier complet validé (ayant franchi tous les tests de validation) il pourra être transféré sur une partie spéciale du même serveur sécurisé et entraînera l envoi d un e-mail à l administrateur Eurofarm Eurostat. Cette opération marquera la réception officielle des données du pays concerné. Le fichier réceptionné par Eurostat/Eurofarm sera traité par l administrateur Eurofarm pour être intégré dans le Back office Eurofarm. 3. ANNEXES 3.1. SYNOPTIQUE DU NOUVEAU SYSTEME 7
On line Eurofarm data validation system A. Volken le 09/10/02 V402 Data Suppliers Https Request / Response LDAP DI/SRC Validation Server DG - Eurostat Administrateur Eurosat Drivers Val. Rules DataFix Nomenclatures Synchronisation MetaDa tabase FR Browser + Stadium Internet Https Request / Response Https Request / Response Reverse Proxy DI/TR Server Web Application Server Data Control MetaData Management BDI BDT E Browser + Stadium... email email email Mail Server Eurostat System Settings -Val rules -DataFix -Nomenclatures Confidential Disk storage DI/DC Statel Serveur Eurofarm IRL Browser + Stadium Data mangement control Job control MetaData Management file upload (data) -> files download (error reports) <- file upload (data) -> file upload (data) -> files download (error reports) <- Stadium Server Eurostat Statel 8 Disk storage FR Disk storage E Disk Storage IRL Disk storage for official communication Validation engine Work Space System Settings -Val rules -DataFix -Nomenclatures Secured data server DG - Eurostat Confidential Statel