CHOUETTE Maintenance, accompagnement et recette de logiciels pour les échanges de données multimodales Agence française pour l'information multimodale et la billettique Le processus de validation de données dans Chouette : description détaillée de l eistant, diagnostic et propositions d amélioration Résumé et Glossaire Novembre 2014 Auteurs : Kasia Bourée KBIC Pia Murgat, Christophe Duquesne, Aurige Relecteurs Marc Florisson, Michel Etienne, Patrick Gendre Le document complet est téléchargeable sur le site www.chouette.mobi Résumé Ce document vise à décrire le processus de validation des données du logiciel CHOUETTE et à clarifier le vocabulaire utilisé. Il fait également un diagnostic du fonctionnement de la validation dans CHOUETTE et ainsi que des propositions d améliorations qui seront prises en compte dans les futures versions à partir de 2015. Outre bien sûr l équipe projet qui maintient le logiciel, il devrait intéresser les acteurs participants à la normalisation des échanges de données de TC (CN03/GT7.2). Ce document s accompagne d un support de présentation. Un glossaire rassemble les termes utilisés et/ou recommandés à être utilisées ainsi que leurs définitions. Le document approfondit la validation de données NEPTUNE, mais concerne l ensemble des formats gérés par CHOUETTE (CSV, GTFS, futurs profils NeTE...) ; plus largement, la partie générale s appliquerait à d autres logiciels que CHOUETTE voire à d autres types de données. L outil CHOUETTE permet l analyse de la qualité des données qui peut avoir lieu soit lors de la saisie des données soit lors de l import des données à partir d une source qui les génère et qui les met à disposition. Le processus d analyse dont il est question, concerne principalement les données importées (le «fichier import») et rassemblées dans un fichier structuré. Ce fichier est soumis à des vérifications automatisées, appelées tests de validation. Les vérifications comparent la forme et le contenu du fichier à une référence standard. Les références prises en compte sont des spécifications de structure et de format des données : NEPTUNE, GTFS, NeTE et CSV.
La référence utilisée pour les tests de validation actuellement les plus développés, est la norme NEPTUNE. Les tests sont regroupés de la façon suivante : les règles syntaiques donnent lieu au tests de niveau 1 : il s agit de vérifier les règles de forme (présentation) du fichier ainsi que la présence dans le fichier import de certaines données s imposées par la spécification NEPTUNE, les règles relatives à la cohérence des données par rapport à la spécification NEPTUNE donnent lieu au tests de niveau 2 : il s agit (principalement) de vérifier les liens entre certains éléments (par eemple le fait que si une ligne référence un réseau auquel elle appartient, ce réseau est bien définit par ailleurs), les règles relatives au valeurs des données (principalement), donnent lieu au tests de niveau 3 et permettent de vérifier que les valeurs ont un sens dans un contete donné : par eemple vérification de la valeur des coordonnées dans un contete géographique (les arrêts d Ile-de-France n ont rien à faire sur l équateur, par eemple) ou la vérification de la cohérence des valeurs d une distance par rapport à des seuils proposés par l outil par défaut ou indiqués par l utilisateur (on signalera par eemple une possible anomalie si le temps de parcours entre deu arrêts distants de 900 mètres est de 45 minutes). Les tests de niveau 1 et 2 sont donc conçus de façon à vérifier la conformité à la spécification NEPTUNE. Ils se déroulent avant la sauvegarde des données en base. Dans le contete de CHOUETTE, les tests de niveau 3 se déroulent après l enregistrement des données en base. Les tests de niveau 1, si passés avec succès, permettent le déroulement des tests de niveau 2. Le résultat des tests de niveau 2 doit être «conforme» (ou comporter une imperfection mineure concernant une donnée optionnelle qui peut être corrigée par la suite et qui est signalée par un avertissement) pour permettre l enregistrement en base. Les tests de niveau 3 se déroulent dans la version actuelle après enregistrement des données importées en base. Ils sont, plus précisément, de trois sortes : ils vérifient d une part la cohérence des valeurs entre elles, d autre part la cohérence de certaines valeurs avec des paramètres indiqués par soit par l outil de vérification (par défaut) soit par l utilisateur la conformité des données en base à un des formats de référence prévus par l outil pour un éventuel eport (ce dernier test a pour principal intérêt de permettre de vérifier que des données saisie dans CHOUETTE pourront être eportées, il a moins d intérêt pour les données importées). Les deu premiers types de tests peuvent, en cas d incohérence, générer des alertes qui doivent être corrigées en utilisant les fonctions de l outil CHOUETTE, tandis que le dernier type peut générer, en cas d échec, un message d erreur fatale n autorisant pas de traitements (eports) ultérieurs. 1/8
Enchaînement actuel des tests de validation (NEPTUNE) de l outil CHOUETTE La qualité des données est une notion souvent relative au services développés à partir de ces donnée : il n est pas possible de définir une liste de tests répondant à tous les cas d usage. Aujourd hui les tests de niveau 3 sont surtout envisagés par rapport à un service de recherche d itinéraire. Le diagnostic a permis de relever - des incohérences dans les termes utilisés (confusion entre bloquant et p.e.) - une description incomplète des tests (rédaction, messages d erreur, action corrective) - des tests qu il serait utile d ajouter. Nous proposons de compléter et améliorer la description des tests, en renseignant ou complétant les attributs suivants de chaque test : - Libellé - N de référence du test - Référence - Jeu de paramètres - Source des données - Contrainte CHOUETTE - Précondition - Assertion - Résultat - Message d'erreur - Action corrective Voici les améliorations du processus de validation : des tests sur les versions de données pourraient être ajoutés (NEPTUNE définit des versions, éléments essentiels pour l alimentation d un référentiel); remplacer la notion niveau de tests (1/2/3) par une typologie des tests plus adéquate; les tests vérifiant la cohérence d une archive (.ZIP) devraient être complétés; 2/8
les tests vérifiant la présence d éléments propres à NEPTUNE ou GTFS mais non pris en compte par l outil CHOUETTE (e. équipements, accessibilité) devraient produire un avertissement; les modifications effectuées (noms tronqués) lors de certains tests liés à l implémentation (p.e. longueur des chaînes de caractères) devraient produire un avertissement; les tests de niveau 3 de cohérence des valeurs des données, actuellement eécutables uniquement sur des données en base, devraient pouvoir être eécutés sur les fichiers import; les tests visant à vérifier la possibilité d un eport, faisant partie actuellement des tests de niveau 3, pourraient être dissociés de ces derniers, l ergonomie pourrait être améliorée et l IHM pourrait proposer o des info-bulles plus eplicites, o des messages d erreur bien formulés, o des actions correctives possibles, o une aide en ligne sur les termes utilisés o une aide en ligne pour les différentes étapes du processus de validation. Une amélioration à plus long terme consisterait à permettre à l utilisateur de choisir les tests qu il souhaite effectuer pour vérifier la conformité vis-à-vis de son propre cas d utilisation. Ces améliorations relèvent de la pure rédaction des fiches descriptives de tests ou de l aide en ligne, ainsi bien sûr que du logiciel lui-même : elles pourraient être implémentées progressivement à partir du 2 ème trimestre 2015. Propositions d amélioration des types de test Type Libellé Eemples de référence A Syntae formelle - SYNF XML (W3C) CSV B Syntae particulière - SYNP Partie XSD NEPTUNE C Complétude - COMP NEPTUNE, GTFS, NeTE D Cohérence croisée - COHC NEPTUNE, GTFS, NeTE E Cohérence paramètres - COHP NEPTUNE, GTFS, NeTE CHOUETTE Source fichier import fichier import fichier import fichier import base de données Caractère ou conditionnel ou conditionnel F Implémentation - IMPL CHOUETTE fichier import 3/8
Propositions d amélioration des descriptifs de test Test de validation Libellé N de référence du test Référence Jeu de paramètres Source des données Contrainte CHOUETTE Précondition Assertion Contenu Libellé du test N test Partie de la référence que l on teste issue de NEPTUNE, GTFS, NeTE Indication des valeurs des paramètres (par défaut ou utilisateur) qui constituent une référence pour les tests de cohérence fichier import et/ou en base Bloquant (pour l import ou pour l eport) : /non N de test et/ou eistence/valeur d une donnée Enoncé: affirmation à tester et liée à la référence Reformulation de l énoncé à tester Paramètre testé Résultat Le résultat d un test est «l assertion est vraie/fausse». Si l assertion est vraie alors le résultat déclare un fichier comme «conforme» et peut subir des traitements ultérieurs. Si l assertion est fausse et si le test est bloquant, alors le fichier est «non conforme», le fichier est rejeté et ne peut subir des traitements ultérieurs. Si l assertion est fausse et si le test est non bloquant, alors le fichier peut subir des traitements ultérieurs (est «partiellement conforme»). Un avertissement est émis. Message d'erreur Tete décrivant l erreur et pointant l endroit de l erreur. Le message peut indiquer une erreur fatale ou constituer un avertissement. Action corrective Proposition d action corrective 4/8
Glossaire des termes actuels et termes proposés Termes utilisés dans ce rapport et recommandés pour l utilisation future. TERME DEFINITION dans le contete de CHOUETTE Utilisation actuelle 1 Assertion Affirmation, déclaration d un fait. non Avertissement Cohérence Complétude Conforme Message d'erreur autorisant des traitements ultérieurs (stockage en base ou eport) Propriété d'un ensemble de ne pas comporter de contradiction. Les tests de cohérence consistent à croiser les différentes données afin de détecter des éventuelles contradictions entre elles. Un jeu de règles qui formalise entièrement la sémantique attendue. La vérification de complétude consiste à vérifier que tous les objets référencés dans le fichier d échange sont définis par la suite dans ce même fichier d échange. Se dit d'un fichier import soumis à des tests de validation dont le résultat est tel que les données peuvent subir des traitements par l'outil CHOUETTE. Les données de ce fichier respectent les règles des tests bloquants mais peuvent ne pas respecter les règles des tests non bloquants. Non Tests niveau 3 Non Tests niveau 2 Conformité Le fait de respecter certaines règles. Espace de données Partie de la base de données de CHOUETTE dédiée à enregistrer les données provenant d'un fichier import. Oui Aussi : référentiel Fichier d échange Fichier eport Fichier import Intégrité Ensemble des données, en général structurées, utilisé pour l échange des données entre acteurs ou systèmes. Fichier d échange produit «en sortie» du logiciel CHOUETTE. Fichier d échange présenté «en entrée» du logiciel CHOUETTE. Dans le contete des bases de données: cohérence, la fiabilité, et la pertinence des données qu'elle contient ; en particulier, le fait que chaque objet peut être reconnu par un identifiant qui doit être unique au sein d un fichier de données (pour chaque ligne). Non Test niveau 1 de Mai ntien 1 Dans la description des tests et pour certains dans l IHM 5/8
Non conforme Se dit d'un fichier import soumis à des tests de validation dont le résultat est tel que les données ne peuvent pas subir des traitements ultérieurs par l'outil CHOUETTE. Les données de ce fichier ne respectent pas les règles des tests bloquants. Points de contrôle Eléments d un fichier de données, parcourus par les tests de validation. Précondition Enoncé dont la valeur est «vrai/fau» et qui non précède une action. Sémantique Etude de ce dont parle un énoncé, le sens. Syntae Le respect, ou le non-respect, de la grammaire Test bloquant Test de validation Test non bloquant Test Test optionnel ou conditionnel formelle d'un langage. Test de validation dont le résultat représente une non-conformité du fichier import ou, pour des données en base, une impossibilité d eport ultérieur dans un des formats pris en compte par l outil CHOUETTE. Procédures, souvent automatiques, permettant d effectuer la validation. Test de validation dont le résultat, dans le cas de non-conformité au règles testées, permet des traitements ultérieurs des données par l'outil. Test de validation qui se déroule sans aucune précondition. Test de validation eécuté sous une certaine condition. Une condition peut consister en une présence/absence d'une donnée (optionnelle), en un résultat d'un test déroulé précédemment. Appelé : dans l IHM Appelé : optionnel dans l IHM Test sémantique Vérification de la sémantique. non Test syntaique Vérification des règles de syntae. non Test validé Message décrivant que le résultat d'un test de validation eprime la conformité au règles testées. Tests de niveau 1 Tests de validation vérifiant les règles de forme (présentation) du fichier import ainsi que la présence dans le fichier import de certaines données s imposées par une spécification de données (par eemple NEPTUNE ou, dans le futur GTFS); une telle vérification peut être vue comme le contrôle de l eistence d un verbe en présence d un sujet dans une proposition en langage naturel. non non 6/8
Tests de niveau 2 Tests de niveau 3 Validation Tests de validation vérifiant la structure des données imposée par la spécification NEPTUNE (ou dans le futur GTFS); les contrôles consistent à vérifier des liens (relations) entre certains éléments (par eemple le fait qu une course référence un parcours). Une telle vérification vérifie la sémantique et peut être vue comme le contrôle du sens d'une proposition en langage naturel. Tests de validation vérifiant le respect des règles relatives au valeurs des données dans un contete particulier; la vérification des valeurs des coordonnées dans un contete géographique ou des vitesses de cheminement des piétons conformément à des valeurs spécifiées sont des tests de niveau 3. La qualification du résultat des vérifications des données contenues dans un fichier import. La qualification revient dans le contete de CHOUETTE à déclarer un fichier comme «conforme/non conforme» Références NEPTUNE, Norme française homologuée par décision du Directeur Général d'afnor http://www.normes-donnees-tc.org/format-dechange/donnees-theoriques/neptune/ OASIS : Test Assertions Guidelines Version 1.0, 2013 https://www.oasis-open.org/committees/tc_home.php?wg_abbrev=tag Tests NEPTUNE www.chouette.mobi/neptune-validation/v20/fr/ Documentation CHOUETTE http://appli.chouette.mobi/chouette2/help/ 7/8