Intégration de données

Transcription

1 Intégration de données L intégration de données géographiques Schéma + specifs BDG source Numérisation Données numériques Intégration BDG OUTILS SIG OUTILS SIG 6

2 L intégration de données géographiques Schéma + specifs BDG source Numérisation Données numériques Intégration BDG OUTILS SIG OUTILS SIG Un schéma logique de Saisie Se conformer au nouveau schéma Respecter les règles de cohérence L intégration de données géographiques Un espace géographique, hétérogènes! BDTopo BDCarto 62

3 L intégration de données géographiques Un espace géographique, hétérogènes! BDCarto BDTopo Géoroute L intégration de données géographiques Un espace géographique, hétérogènes! Géoroute BDCarto 63

4 L intégration de données géographiques Un espace géographique, hétérogènes! BDCarto + BDTopo BDCarto + BDTopo Différents niveaux de détail Différents points de vue Différentes utilisations (visualisation, analyse) Différentes dates Différents modes d acquisition (sources, processus) Différentes contraintes système Erreurs de saisie Pourquoi tant de différences? L intégration de données géographiques 64

5 Pourquoi tant de différences? L intégration de données géographiques Différences de structures (informations équivalentes) Langages de modélisation UML, HDBS. Modélisations de la géométrie différentes Raster / vecteur; avec ou sans multi-géométries Structurations différentes Regroupements, classes / attributs Informations plus ou moins implicites A travers la géométrie Pourquoi tant de différences? Différences de système de positionnement (informations équivalentes): Systèmes de référence Systèmes d altitudes Projections Localisations indirectes (adresses, pk ) Différences du contenu d information : Zone couverte Richesse d information Critères de sélection Niveaux de détail Précisions Implantations géométriques Segmentations L intégration de données géographiques 65

6 Les différences portent sur ce qu on représente : quoi? L intégration de données géographiques comment on le représente : comment? Il faut distinguer les différences dues aux spécifications : équivalences différences dues aux erreurs ou aux actualités : incohérences L intégration de données géographiques Quels sont les besoins en termes d intégration de BDG? Propagation des mises à jour, Détection d incohérences, Analyses multi-niveaux, Création d infrastructures de données spatiales (INSPIRE), Recalage, Partage de données avec des partenaires IGN, Requêtes et navigation. 66

7 Quelles sont les difficultés liées à l intégration des BDG? Hétérogénéité = différence dans le contenu, la structure, la présentation de l information dont ont besoin des applications pour travailler Différents aspects de l hétérogénéité des données [Sheth et Larson, 99] [Kashyap et Sheth, 998] [Bishr, 998]: Hétérogénéité syntaxique Hétérogénéité schématique Hétérogénéité terminologique Hétérogénéité cognitive L intégration de données géographiques Différents aspects de l hétérogénéité des données: Hétérogénéité syntaxique L intégration de données géographiques Format des données: shp, mif/mid, postgis, oracle, etc. 67

8 L intégration de données géographiques Différents aspects de l hétérogénéité des données: Hétérogénéité schématique Implémentations différentes d un même schéma conceptuel de données L intégration de données géographiques Différents aspects de l hétérogénéité des données: Hétérogénéité terminologique Ex: Différents noms pour désigner un même concept BDTOPO BDCARTO 68

9 Différents aspects de l hétérogénéité des données: Hétérogénéité cognitive L intégration de données géographiques Différentes modélisations pour un même concept Transport d énergie et de fluides Canalisation Hydrographie Tronçon hydrographique BDTOPO Aqueduc BDCARTO L intégration de données géographiques Différents aspects de l hétérogénéité des données: Hétérogénéité syntaxique Hétérogénéité schématique Hétérogénéité terminologique Hétérogénéité cognitive Hétérogénéité sémantique 69

10 L intégration de données géographiques Combiner les informations issues de bases indépendantes suppose de résoudre ces types d hétérogénéité L intégration de données géographiques Le processus global d intégration des BDG [Sheeren, 25] Préparation Appariement Intégration Appariement des schémas Intégration des schémas BD BD2 Étude des schémas, des données et des spécifications Appariement des données BD BD2 Intégration des données BD Intégrée Se fait par analyse des spécifications, des schémas et des données 7

11 L intégration de données géographiques. Analyse et préparation des BDG: Utilisation de formats d échanges (normes) et d outils de conversion Traduction des schémas dans un langage de modélisation commun Rapprochement des structurations Explicitation de l implicite Transformation des géométries dans une projection commune L intégration de données géographiques 2. Appariement des schémas conceptuels de données des BGD: «Quelles classes des deux bases à intégrer représentent un même type d entité géographique du monde réel?» Mise en correspondance des éléments du schéma classes attributs et valeurs d attributs relations Se fait par analyse : des schémas des spécifications des données 7

12 L intégration de données géographiques Mise en correspondance des classes des deux jeux de données Mise en correspondance des attributs des classes des deux jeux de données 72

13 BDTOPO BDCARTO Classe Attribut Valeur Valeur Attribut Classe Baie Baie, golfe, anse, crique, calanque, espace marin divers Hydronyme Nature Banc Glacier Banc, haut-fond Glacier Nature Toponyme d hydrographie surfacique Lac Etang, lac Marais Marais, marécage, saline Marais Marais, tourbière Hydronyme Nature Marais Marais salant Nature Zone d occupation du sol Glacier Glacier, Névé Cascade Chute d eau, cascade remarquable Hydronyme Nature Embouchure Embouchure, estuaire, delta, perte Nature Nœud hydrographique Perte Embouchure, estuaire, delta, perte Point d eau Source simple, confluent Point d eau Nature Station de pompage Station de pompage Nature Point d eau isolé Source Source simple, confluent Point d eau Nature Source Source d intérêt touristique Nature Noeud hydrographique Canalisation Nature Eau Aqueduc, conduite forcée Nature Tronçon hydrographique Tronçon de laisse Nature Hautes mers Basses mers Limite des plus hautes eaux Limite des plus basses eaux Nature Laisse Surface d eau Nature Surface d eau Bassin Eau libre Eau libre Nature Zone d occupation du sol L intégration de données géographiques 3. Définition du schéma intégré, avec ou sans représentation multiple Bases de données indépendantes Rivière Nom Largeur Rivière 2 Nom Débit Fusion Représentation multiple Rivière Nom Largeur Débit Rivière Nom Largeur Correspondance Rivière 2 Nom Débit Pivot Rivière Nom Rivière Rivière 2 Largeur Débit 73

14 L intégration de données géographiques 4. Appariement des données: «Quels objets des deux bases représentent une même entité géographique du monde réel?» (objets homologues) 5. Intégration des données: (réconciliation de références) Traitement des redondances Traitement des incohérences L intégration de données géographiques Représenter les liens de correspondance en fonction des besoins OU 74

15 Appariement de schémas L'intégration des bases de données géographiques Thèse de Nils Gesbert (25): Etude de la formalisation des spécifications de bases de données géographiques en vue de leur intégration. But: Appariement de schémas de bases de données géographiques à l aide d une ontologie commune. Problèmes d'interopérabilité sémantique: que contiennent réellement les classes de chaque base de données? 75

16 L'intégration des bases de données géographiques En philosophie: Etude de l Être en tant qu Être En IA: Spécification explicite d une conceptualisation (Gruber, 993) L'intégration des bases de données géographiques [ ] une ontologie implique ou comprend une certaine vue du monde vis à vis d'un domaine donné. Cette vue est souvent conçue comme un ensemble de concepts (par exemple, des entités, des attributs et des processus), leurs définitions et les relations qui existent entre eux. On appelle cela une conceptualisation. [...] l'usage le plus fréquent, et c'est pourquoi nous allons l'adopter, est qu'une ontologie est une représentation explicite d'une conceptualisation (ou d'une partie d'une conceptualisation). [...] Une ontologie peut prendre différentes formes mais elle inclura nécessairement un vocabulaire de termes et une spécification de leur signification (i.e. des définitions). (Uschold et Gruninger, 996) 76

17 L intégration de données géographiques [Gesbert 25] Data Data 2 L intégration de données géographiques [Gesbert 25] Data Data 2 77

18 L'intégration des bases de données géographiques [Gesbert 25] L intégration de données géographiques Data Data 2 78

19 Ce langage formel : L'intégration des bases de données géographiques Etablit les liens entre: les concepts géographiques de l ontologie du domaine les classes des SCD des bases de données géographiques qui les représentent Décrit de façon formelle les règles de: «sélection», «agrégation», «découpage», «instanciation» des entités du monde réel au sein de la base, qui sont décrites en langage naturel dans les spécifications. Pour un type d entités géographiques donné (i.e. pour un concept de l ontologie du domaine), l ensemble de ces règles formalisées est appelé «procédure de représentation» L'intégration des bases de données géographiques Extrait de la grammaire BNF du langage formel défini par Nils Gesbert 79

20 L'intégration des bases de données géographiques [Gesbert 25] <?xml version="." encoding=«utf- 8»?> <modelisation> <nom>procedure "carrefour"</nom> <nomschema> Catalogue BDTOPO </nomschema> <entitegenerale> Carrefour </entitegenerale> <entitesmodelisees> rond-point </entitesmodelisees> <entitesmodelisees> Échangeur </entitesmodelisees> <eltmodelisation xsi:type="selection">... </modelisation>x L intégration de données géographiques <?xml version="." encoding=«utf- 8»?> <modelisation> <nom>procedure "carrefour"</nom> <nomschema> Catalogue BDCARTO </nomschema> <entitegenerale> Carrefour </entitegenerale> <entitesmodelisees> rond-point </entitesmodelisees> <entitesmodelisees> Place </entitesmodelisees> <eltmodelisation xsi:type="selection">... </modelisation> Data Data 2 8

21 Intégration des bases de données à partir de la formalisation de leurs spécifications <?xml version="." encoding=«utf- 8»?> <modelisation> <nom>procedure "carrefour"</nom> <nomschema> Catalogue BDTOPO </nomschema> <entitegenerale> Carrefour </entitegenerale> <entitesmodelisees> rond-point </entitesmodelisees> <entitesmodelisees> Échangeur </entitesmodelisees> <eltmodelisation xsi:type="selection">... </modelisation>x L intégration de données géographiques <?xml version="." encoding=«utf- 8»?> <modelisation> <nom>procedure "carrefour"</nom> <nomschema> Catalogue BDCARTO </nomschema> <entitegenerale> Carrefour </entitegenerale> <entitesmodelisees> rond-point </entitesmodelisees> <entitesmodelisees> Place </entitesmodelisees> <eltmodelisation xsi:type="selection">... </modelisation> Data Data 2 <?xml version="." encoding=«utf- 8»?> <modelisation> <nom>procedure "carrefour"</nom> <nomschema> Catalogue BDTOPO </nomschema> <entitegenerale> Carrefour </entitegenerale> <entitesmodelisees> rond-point </entitesmodelisees> <entitesmodelisees> Échangeur </entitesmodelisees> <eltmodelisation xsi:type="selection">... </modelisation>x Intégration des bases de données à partir de la formalisation de leurs spécifications L intégration de données géographiques <?xml version="." encoding=«utf- 8»?> <modelisation> <nom>procedure "carrefour"</nom> <nomschema> Catalogue BDCARTO </nomschema> <entitegenerale> Carrefour </entitegenerale> <entitesmodelisees> rond-point </entitesmodelisees> <entitesmodelisees> Place </entitesmodelisees> <eltmodelisation xsi:type="selection">... </modelisation> Data Data 2 8

22 <?xml version="." encoding=«utf- 8»?> <modelisation> <nom>procedure "carrefour"</nom> <nomschema> Catalogue BDTOPO </nomschema> <entitegenerale> Carrefour </entitegenerale> <entitesmodelisees> rond-point </entitesmodelisees> <entitesmodelisees> Échangeur </entitesmodelisees> <eltmodelisation xsi:type="selection">... </modelisation>x L intégration de données géographiques <?xml version="." encoding=«utf- 8»?> <modelisation> <nom>procedure "carrefour"</nom> <nomschema> Catalogue BDCARTO </nomschema> <entitegenerale> Carrefour </entitegenerale> <entitesmodelisees> rond-point </entitesmodelisees> <entitesmodelisees> Place </entitesmodelisees> <eltmodelisation xsi:type="selection">... </modelisation> Data Data 2 Pompage Forage Puits Abreuvoir Bassin Lavoir Citerne Fontaine Source Exurgence Résurgence 82

23 Structurées Point d eau isa Source isa isa Résurgence Exurgence 83

24 Appariement de données Appariement de données Le thème «administratif» BDCarto BDTopo 84

25 Le thème «administratif» Appariement de données Critère d appariement possible: C est un des rares thèmes où les objets possèdent un identifiant (le code INSEE) Difficultés: Les deux bases peuvent présenter des différences d actualité: des regroupements, des scissions, ou des modification de limite peuvent avoir eu lieu Il va falloir gérer des liens d appariement de type :n Les deux bases présentent des niveaux de détail différents: des écarts géométriques importants peuvent intervenir Comment définir les limites géométriques du découpage administratif? Quelle référence respecter? Appariement de données Le thème «routier» BDCarto BDTopo 85

26 Appariement de données Le thème «routier» Critères d appariement possibles: distance, orientation, nature, relations topologiques, numéros de routes Difficultés: Les deux bases présentent des niveaux de détail différents: découpages différents, carrefours complexes, routes à chaussées séparées, etc. On n apparie pas nécessairement à l objet le plus proche! Il va falloir gérer des liens d appariement de type :n ou n:m en tenant compte de la logique de réseau Les deux bases présentent des différences sémantiques importantes: Il va falloir tenir compte de la signification exacte de chaque attribut (ex: BDTOPO : chemin/route/piste cyclable (fonction) contre BDCARTO : revêtu/non revêtu (nature)) (cf. appariement de schémas) La BDTOPO présente des objets implicites: Il va falloir apparier les «Nœuds routiers» de la BDCARTO avec les extrémités des «Tronçons de route» de la BDTOPO Appariement de données Le thème «hydrographie» BDCarto BDTopo 86

27 Appariement de données Le thème «hydrographie»: Critères d appariement possibles: distance, orientation, nature, relations topologiques, toponymes Difficultés: Les deux bases peuvent présenter des différences d actualité (PdV à différentes dates) En raison du caractère changeant des entités géographiques représentées, on pourra avoir à gérer des différences géométriques notables Les deux bases présentent des différences sémantiques importantes Il va falloir gérer des différences de conceptualisations du monde réel (ex: les aqueducs sont des «Tronçons hydrographiques» dans la BDCARTO et des «Canalisations» dans la BDTOPO ) La BDTOPO présente des objets implicites: Il va falloir apparier les «Nœuds hydrographiques» de la BDCARTO avec les extrémités des «Tronçons hydrographiques» de la BDTOPO Appariement de données Le thème «Transport d énergie» - Réseau électrique BDCarto BDTopo 87

28 Appariement de données Le thème «Transport d énergie» - Réseau électrique Critères d appariement possibles: distance, relations topologiques Difficultés: Les deux bases présentent des niveaux de détail différents: découpages différents, postes de transformations avec des géométries différentes, etc. On n apparie pas nécessairement à l objet le plus proche! Il va falloir gérer des liens d appariement de type :n ou n:m en tenant compte de la logique de réseau Les tronçons aériens et souterrains sont représentés ensembles dans les deux bases Il va falloir distinguer les deux cas! La BDCARTO présente des objets implicites: Il va falloir apparier les «Poste de transformation» (surface) de la BDTOPO avec les extrémités de «Tronçons de ligne électrique» (nœud) de la BDCARTO Dans tous les cas on peut être confrontés à des incohérences: Objet présent dans une base et pas dans l autre en dépit des spécifications, Valeurs d attributs manquantes, Valeurs d attributs inexactes, etc. Appariement de données 88

29 Appariement de données Incohérences de valeurs d attributs sur le réseau électrique BDCarto BDTopo 63 kv 9 kv 5 kv 225 kv 4 kv Total 63 kv kv kv kv kv 9 9 Inconnu 2 Total Appariement de données: principes de base L appariement de données est guidé par l appariement de schémas. Mais on dispose de peu d identifiants communs aux différentes bases. L appariement se fait par une analyse multicritère des données: nature des objets attributs descriptifs géométrie : formes, positions relations topologiques ou autres 89

30 Appariement de données: cardinalité des liens d appariement - : différences de sélection, points de vue proches, niveaux de détail proche -n : différence de segmentation, niveaux de détail différents n-m : différences de segmentation, différents points de vue (BDC/BDG) Appariement de données: comparer les noms Les toponymes sont parfois un pseudo-identifiant mais: Noms utilisés et officiels : «Place Daumesnil», «Place Felix Eboué» Différences de langue «London», «Londres» Renommage : «Côtes du nord», «Côtes d Armor» Un toponyme pour plusieurs lieux : «Beaulieu», «Av De Gaulle» Différentes interprétations de la prononciation: «Munhoa», «Monhoa» Différentes règles de transcription : «Pékin», «Beijing» Différentes règles d écriture dans la base : «col de XXX», «XXX», «Xxx» Erreurs de saisie 9

31 Appariement de données: comparer les noms Calcul de dissimilarité entre chaînes de caractères: Distance de Levenshtein ou distance d édition Cette distance est fondée sur le nombre minimal de suppressions, d ajouts et de remplacements de caractères nécessaires pour passer d une chaîne à une autre. Exemple: d(«liste», «livre») = 2 d(«liste», «listes») = d(«liste», «lustre») = 2 [Grosso,5] Distance de Levenshtein Mesure de ressemblance pour évaluer l écart sémantique entre deux chaînes de caractères: Appariement de données: comparer les noms distance de Levenshtein (toponyme,toponyme2) r = max( longueur toponyme, longueur toponyme2) Seuils sur r : pas d écart sémantique écart sémantique faible écart sémantique important 9

32 [Samal 4] Appariement de données: comparer les noms Tokenization (découpage des chaînes de caractères en tokens, c est-à-dire en unités lexicales) Élimination de signes de ponctuation : "., ;! # $ / :? () [] _ -& {}" Calcul de distance de Levenshtein pour chaque paire de tokens issus des deux chaînes à comparer Calcul du coefficient de similarité et remplissage d une matrice «token-token»: DamLev( i, j) r = max( longueur( i), longueur( j)) Appariement de données: comparer les noms Mesure de similarité des deux chaînes calculée à partir des valeurs de la matrice de coefficients de similarité token-token: Similarité = nblignes i= valmax nbtokens / 2 i 92

33 Appariement de données: comparer les noms Permet de gérer les types d erreurs (au niveau de la chaîne et au niveau des tokens): Omissions : «Boulevard du Général Charles de Gaulle» - «Boulevard du Général de Gaulle», Substitutions : «Aéroport Charles de Gaulle» - «Aéroport de Paris», Transpositions : «Institut Géographique National» - «Institut National Géographique», Abréviations : «Boulevard de Général Charles de Gaulle» - «Bld du Gal de Gaulle», Erreurs de frappe : «monhoa», «munhoa» Appariement de données: comparer les géométries Outils pour sélectionner les objets candidats : Le but est de définir «grossièrement» un espace de candidats à l appariement probables en se basant sur leur proximité par rapport à l objet cible: On va raisonner soit sur la distance soit sur la zone d influence distance minimale, distance moyenne, distance de Hausdorff (objets linéaires) rectangle englobant, périmètre englobant, diagramme de Voronoï zone tampon et bande epsilon (objets ponctuels et linéaires) distance surfacique (objets surfaciques) Un objet de la base à apparier est candidat si sa géométrie intersecte l espace de sélection ainsi défini. 93

34 Calcul des écarts de position: Distance euclidienne minimale Appariement de données: comparer les géométries d min d min2 d min =d min2 Mais cette distance n est pas toujours très significative pour les objets linéaires et surfaciques Calcul des écarts de position: Appariement de données: comparer les géométries Distance de Hausdorff (écart maximal) K 2 d 2 K d d d 2 [ dist( p, )] p = max min 2 p K p2 K2 [ dist( p, )] 2 p = max min p2 K2 p K d = max( d, d H 2) 94

35 Calcul des écarts de position: Appariement de données: comparer les géométries Distance de Hausdorff (écart maximal) Evaluer la précision L2 d d 2 L Détecter le niveau de généralisation DH L-> L2 > DH L2-> L Calcul des écarts de position: Appariement de données: comparer les géométries Distance de Hausdorff (écart maximal) Ne met pas bien en évidence les différences de forme Longueurs différentes : choisir une seule composante (demi-distance de Hausdorff) Fausse indication : la distance maximale est portée sur les extremités on garde la distance minimale 95

36 Appariement de données: comparer les géométries Calcul des écarts de position: Écart moyen entre deux lignes : surface / longueur L S L2 2.S L+L2 = On divise par la moyenne des longueurs des arc pour rendre cette mesure Indépendante de la longueur des lignes Calcul des écarts de position: Appariement de données: comparer les géométries Écart de position entre deux surfaces : distance surfacique S( A ) xxx B S( A B) A : égalité, : disjoint Utilisée pour tester l égalité entre deux surfaces xx d s (A,B) = B 96

37 Appariement de données: comparer les géométries Calcul des zones d influence: Buffer Buffer symétrique Un objet dont la distance à un point de la géométrie est inférieure à d appartient à cette zone tampon Appariement de données: comparer les géométries Calcul des zones d influence: Zones tampon de largeur variable Buffer asymétrique 97

38 Appariement de données: comparer les géométries Comparaison des formes des objets: Dsurfacique (A,B) < Dsurfacique (A,B) Ici la distance surfacique n est pas une solution satisfaisante Appariement de données: comparer les géométries Comparaison des formes des objets: Fonction à distance radiale (ou signature polygonale) : Fonction décrivant une entité surfacique par les mesures des distances séparant le centre de masse du polygone aux points composant son contour, en le parcourant dans le sens trigonométrique. Rapporter les points sur une représentation graphique en fonction de l abscisse curviligne normalisée par le périmètre du polygone. Cette fonction est invariante par translation et rotation. SP 2 :[;] R, SP( s) = ( xc x( s)) + ( yc y( s Avec xc et yc coordonnées du centre de masses de l objet Et x(s) et y(s) coordonnées du point d abscisse curviligne s Choix d un point «origine des mesures» pour la construction de la signature )) 2 Source : [Bel Hadj Ali 2] 98

39 Comparaison des formes des objets: Appariement de données: comparer les géométries Sp (m) ,,2,3,4,5,6,7,8,9 s d(m) t AB,,2,3,4,5,6,7,8,9 Arc-length (s),,2,3,4,5,6,7,8,9 La métrique associée permet de comparer les formes en minimisant le déphasage entre les deux fonctions. d(m) Arc-length (s) Comparaison des formes des objets: Appariement de données: comparer les géométries Turning Function (fonction angulaire) Fonction décrivant une entité surfacique à travers les angles formés par les segments qui composent son contour avec une demi-droite horizontale orientée selon l axe des abscisses. La métrique associée permet de comparer les formes. Choix d une direction de référence et d un point de référence. Abscisse curviligne normalisée par le périmètre du polygone. Fonction invariante par translation et homothétie. La rotation d un angle alpha se traduit par l ajout de la valeur de cet angle aux valeurs prises par la fonction angulaire Source : [Bel Hadj Ali 2] 99

40 Comparaison des formes des objets: Appariement de données: comparer les géométries Turning Function b a O ν e ν +2 π θ(s) e O c d ν O a b c d s 2π "Turning function" de l'objet A 2π "Turning function" de l'objet B π π objet (A) objet (B),2,4,6,8,2,4,6,8 Source : [Bel Hadj Ali 2] Appariement de données: apparier des points Méthode du plus proche voisin dans les deux sens Étant donnés deux objets: obj i BD, i=..n et obj k BD2, k=..m, obj i obj k, si est seulement si obj i = Ppv(obj k ) et obj k = Ppv(obj i ) Calcul de confiance : confiance = d( obji objk ) ' min( d( obj obj ), d( obj ' i k i obj k )) obj i = second Ppv(obj k )et obj k = second Ppv(obj i ) Source : [Beeri et al 23]

41 Appariement de données: apparier des points Méthode probabiliste Étant donnés deux objets: obj i BD, i=..n et obj k BD2, k=..m, obj α i k i, i=.. n BD, Pobj ( objk ) = i α d( obji, objl ) l=.. m Calcul de confiance : d( obj, obj ) α > : plus la distance entre obj i et obj k diminue, plus leur probabilité d appariement augmente confiance( obji, objk ) = Pobj ( objk ) Pobj ( obji ) i k Source : [Beeri et al 23] Appariement de données: apparier des réseaux Pré-appariement des noeuds Fondé sur la distance Euclidienne entre les noeuds. Utilise un critère sémantique, si possible, (ex : Route N2 avec route N2). Source : [Mustière 26] - Sélection des candidats : on sélectionne les nœuds BDComp les plus proches des noeuds BDRef (buffer + seuil).

42 Pré-appariement des arcs Appariement de données: apparier des réseaux Fondé sur la distance entre les arcs (distance de Hausdorff) Utilise un critère sémantique sur les arcs pour empêcher un appariement faux Source : [Mustière 26] - Sélection des candidats : on sélectionne les arcs BDComp les plus proches des arcs BDRef (distance de Hausdorff + seuil). Appariement des noeuds Appariement de données: apparier des réseaux Fondé sur la comparaison de l organisation topologique des réseaux Dépend des pré-appariements des nœuds et des arcs Crée des liens - et -n. Source : [Mustière 26] 2

43 Appariement des arcs Appariement de données: apparier des réseaux Dépend de l appariement des nœuds et de l étape de pré-appariement des arcs Source : [Mustière 26] Appariement de données: apparier des surfaces Détection des liens d association Suppression des liens parasites Détection des liens multiples Affinement des liens n:m Source : [Bel Hadj Ali, ] 3

44 Appariement de données: apparier des surfaces A C B D E F Jeu de données # Jeu de données #2 Calcul de l intersection des deux JDD Calcul du graphe d associations A B C D E F Graphe «bipartite incomplet» Croisement des jeux de données Appariement de données: apparier des surfaces A C B D E F Jeu de données # Jeu de données #2 2 Suppression des liens parasites si DistSurf > Seuil A B C D E F Filtrage du graphe 3 Calcul de la matrice d association: détection des liens n:m A B C D E F Simple : {5}{D} {6}{E} Multiple 4:3 {,2,3,4}{A,B,C} 4

45 Appariement de données: apparier des surfaces 4 Filtrage des liens n:m: on recherche le meilleur groupe càd celui qui minimise la distance surfacique. Pour deux groupes G et G 2 : Recherche des meilleurs sous-groupes SG et SG 2 ds((a, B ),(,2)) ds((a,),(,2)) ds((b ),(,2)) ds((a, B ),()) Min ds Appariement de données: apparier des surfaces Types de liens d appariement surfacique Liens de type : ou : Liens de type : Simple Particulier Liens de type n:m (:m, n:) 5

46 Appariement de données: prise en compte de l imprécision La localisation des objets géographiques présente: des imprécisions au sein de chaque base des précisions différentes d une base à l autre BD CARTO = référence +BD TOPO = comparaison Les toponymes attribués aux objets géographiques présentent: des différences entre noms d usage et noms officiels, des redondances, des omissions, des interprétations différentes de leur prononciation, des incertitudes, des incomplétudes. Appariement de données: prise en compte de l imprécision Vallée de Valentin col de l ouesque Munhoa l ouesque Monhoa col de peyrelue ou port vieux sallent BD CARTO = reference +BD TOPO = comparison Vallée de Valentin col de peyrelue 6

47 Appariement de données: prise en compte de l imprécision Il faut pouvoir modéliser et prendre en compte toutes ces incertitudes, imperfections et incomplétudes: théorie de l évidence ) Pour chaque objet de la BDG, on sélectionne les objets les plus proches dans la BDG2. Pour un obji, le cadre de discernement est un ensemble d hypothèses selon lesquelles «le candidat Cj est l homologue de l objet obji». Θ obj i = { appc, appc 2, appc 3,... appc N, NA} 2) Le référentiel de définition contient toutes les combinaisons possibles de hypothèses définies dans le cadre de discernement: Θobji = { appc, appc,...{ appc, appc },...{ appc,... appc, NA}, NA} N Appariement de données: prise en compte de l imprécision 3) Parmi ces hypothèses, on conserve: appcj = l objet obji est apparié à Cj appcj = {appc, appc 2, appc j-, appc j+, appc N, NA} = l objet obji est apparié à un autre candidat que Cj Θ = {appc, appc 2, appc j appc N, NA} = on ne sait pas Et pour chaque critère d appariement (géométrie, toponymie, etc) que l on souhaite utiliser, on calcule les masses de croyance de ces hypothèses, Θ telles que: m(appcj) + m( appcj) + m( ) = 7

48 Exemple: Appariement de données: prise en compte de l imprécision o X o X C 4 X C5 o X C 3 RF o X C 2 o = RDB2, objet de référence X = CDB, objet de comparaison X C Θ = { C, C, C, C, C, NA} Θ 2 2 = {{C },{C2},{C,C },..., Θ} Critère Géométrique m(c i ) d m(c i ) m(c i ) E =5 m d T =5 characters d S =.3 Critère Toponymique Critère sémantique [Mustière et al., 26].5. m( C i ) d E m( C i ) d T m( C i ) d S m(θ) d E m(θ) d T m(θ) d S T T 2 d E T d T T d S 8

49 Appariement de données: prise en compte de l imprécision Critère sémantique: calcul de similarité sémantique (similarité de Wu-Palmer) sur une taxonomie du domaine Sim (C, C 2 ) = (2*prof(C)) / (prof c (C )+prof c (C 2 )) Abadie et al, 27 Appariement de données: prise en compte de l imprécision 4) Fusion des critères: Pour chaque candidat Cj, on fusionne les critères d appariement avec l opérateur de Dempster.(Présenté ici pour deux critères) m( H ) = m( φ) m ( H ') m2( H" ) H ' H " = H m(φ) Représente la contradiction entre les critères d appariement 9

50 Critère Géométrique m(c i ) Critère Toponymique m(c i ) Critère sémantique [Mustière et al., 26] m(c i ) d S = m( C i ) d E m 2 (C i ).5 m( C i ) d T m 23 (C i ) m( C i ) d S.25 m(θ) d E m(θ) d T m(θ) d S T T 2 d E T d T T d S Appariement de données: prise en compte de l imprécision 5) Fusion des candidats: Cette étape est nécessaire pour faire apparaître les cas où l ojbi n a pas d homologue. On utilise de nouveau l opérateur de Dempster. On obtient ainsi: m..n (appc ), m..n (appc 2 ) m..n ( appc ), m..n ( appc 2 ) Θ m..n (NA), m..n ( ), m..n (Ø)

51 Appariement de données: prise en compte de l imprécision 6) Prise de décision: il s agit de décider quel candidat à l appariement est le meilleur (on pourra éventuellement obtenir le cas NA). Calcul de la probabilité pignistique (privilégie les hypothèses simples on cherche à obtenir des liens :) P ( B) = Θ A 2 m( A) B A A A = nombre d hypothèses simples contenus dans la proposition A Appariement de données: prise en compte de l imprécision Quelques résultats BD CARTO = référence +BD TOPO = comparaison Source : [Olteanu 27]

52 Quelques résultats + + Appariement de données: prise en compte de l imprécision Cas où l hypothèse NA l emporte + BD CARTO = référence +BD TOPO = comparaison Source : [Olteanu 27] Appariement de données: prise en compte de l imprécision Quelques résultats + + Source : [Olteanu 27] + + BDCarto : sommet BDTopo: col BD CARTO = référence +BD TOPO = comparaison 2

53 ? 3