Plan de la présentation

Transcription

1 Mémoire présenté en vue d obtenir le diplôme d INGÉNIEUR CNAM : Ingénierie Intégration Informatique : Système d Information par Bernard Le Roux Recherche dans les bases de données images : une approche de description, une mesure de similarité combinant les aspects physiques et sémantiques de l image Plan de la présentation Introduction et problématique État de l art Présentation d IkoSem Réalisation de la couche Réalisation de la mesure de similarité de graphes Exemple Conclusion Soutenu le 22 Novembre Introduction et problématique Plan de la présentation Les domaines d applications de la recherche d images sont nombreux : Introduction et problématique État de l art Présentation d IkoSem Réalisation de la couche Réalisation de la mesure de similarité de graphes Exemple Conclusion 3 médecine industrie presse documentation art et culture commerce en ligne sécurité grand public format d images capacité de stockage réseaux locaux dispositifs d acquisition Internet 4

2 Introduction et problématique Comment retrouver une image parmi un corpus d images? Deux approches de recherche sont envisagées : Basée sur des mots-clés s appuie sur des techniques issues de la recherche documentaire Basée sur les caractéristiques physiques (calculées à partir des valeurs de l image) Recherche par le contenu Plan de la présentation Introduction et problématique État de l art Présentation d IkoSem Réalisation de la couche Réalisation de la mesure de similarité de graphes Exemple Conclusion 5 6 Architecture générale d un système de recherche d image Description pour la constitution de signatures Les approches possibles de la description: Approche globale Informations extraites sur toute l image Approche partielle ou locale Informations extraites sur certaines zones de l image Approche mixte Combinaison des descriptions globales et partielles 7 8

3 Annotation Caractéristiques extraites Commentaires Mots-clés, textes, liaison avec des thesaurus Avantages Aspects importants, contexte, riche sémantiquement Inconvénients Long, laborieux, dépendant du domaine, de la personne Choix des caractéristiques qui vont constituer les signatures Couleur Histogramme, moyenne, variance, etc. Différents espaces de couleurs (RVB, HSV, etc.), indépendant de la taille et de l orientation Peu de sémantique Texture Fréquence d apparition d un motif, propriétés Souvent discriminante Dépend du domaine Forme et segmentation Basé sur des régions, des frontières Peu sensible à la rotation, changement d échelle, translation, notion d objet Difficulté d automatiser sur de gros corpus problème d hétérogénéité Important : le choix des attributs est primordial 9 10 Les relations Constitution des signatures Des objets définis automatiquement ou manuellement Relations inter-objets Relations Véhicule la sémantique (relation de composition) Images Pas d exploitation directe Relations spatiales Choix des caractéristiques Relations topologiques position relative de deux objets (intersection, recouvrement, etc.) Relations de distance éloignement entre les objets Extraction (indexation) Relations de direction orientation des objets entre eux Signature = structure de données 11 12

4 Méthodes de recherche Deux méthodes de recherche d images : Recherche interrogationnelle Méthodes de recherche Recherche interrogationnelle Requêtes, croquis (traduit en une requête) Maîtrise d un langage d interrogation, bonne expertise du domaine et des critères de description Interface de QBIC 13 Exemples d interfaces de KmeD 14 Méthodes de recherche Recherche navigationnelle Méthodes de recherche Recherche navigationnelle Utilisateur procède par sélection et élimination Pas de connaissance a priori du contenu de la base Pas nécessairement de but précis Interface d IKONA Résultats proposés après 3 itérations 15 16

5 Classification des systèmes de recherche Systèmes prêts à l emploi Systèmes commerciaux à vocation généraliste Classification des systèmes de recherche Systèmes spécialisés Conçus pour résoudre un type de problème bien déterminé, construit pour une application Exemples : QBIC,Photobook Différents modes de recherche Exemples : KmeD, Système Mémoire Différents modes de recherche Extraction d un nombre important de caractéristiques physiques Saisie de mots-clés Extensions possibles Nombre limités d attributs Saisie de mots-clés Extension impossible Classification des systèmes de recherche Systèmes issus de la recherche Exemples : IKONA, RETIN prototype Présente de nouveaux algorithmes, interfaces, etc. Systèmes prêts à l emploi Systèmes spécialisés Systèmes issus de la recherche Conclusion sur l état de l art Trop généralistes, nombreux d attributs pas toujours adaptés Systèmes figés Prototype Utilise des techniques de conception de l Ingénierie de Systèmes d informations IkoSem Permet une conception modulaire Permet la combinaison des caractéristiques physiques et sémantiques 19 20

6 IkoSem : les concepts fondamentaux Plan de la présentation Plate forme générique Introduction et problématique État de l art Présentation d IkoSem Réalisation de la couche IkoSem Description physique et sémantique Description globale, locale ou mixte des images Notion d objets Modèle générique Réalisation de la mesure de similarité de graphes Relation entre les objets Exemple Conclusion Une méthode de construction de base de données images correctement profilée IkoSem : instanciation IkoSem : instanciation Générateur d interface de recherche Générateur d interface de recherche Couche haute Couche haute propagation de l instanciation Index Classification propagation de l instanciation Index Classification mesure de similarité générique mesure de similarité générique instanciation du modèle MODELE GENERIQUE instanciation du modèle MODELE GENERIQUE propagation de l instanciation Bibliothèque d algorithmes Extracteurs «plug-in» couche basse Bibliothèque de stratégies propagation de l instanciation Bibliothèque d algorithmes Extracteurs «plug-in» couche basse Bibliothèque de stratégies Générateur d interface Générateur d interface 23 24

7 propagation de l instanciation IkoSem : instanciation Générateur d interface de recherche Couche haute Index Classification IkoSem : Couche Construction de la signature extracteur physique, géométrique, annotateur sémantique mesure de similarité générique données propagation de l instanciation instanciation du modèle Bibliothèque d algorithmes MODELE GENERIQUE Extracteurs «plug-in» couche basse Bibliothèque de stratégies données Résultat extracteur Lecture des Validation pixels de l image par l expert expert image Demandes de paramètres Résultat données Extracteur n 1 extracteur données Autres Extracteurs Validation par l expert expert données Résultat extracteur Informations fournies par l expert expert Générateur d interface Extracteur direct Extracteur déductif Extracteur manuel IkoSem : modèle générique Image : Le modèle de description d images L ensemble des objets composants : O La fonction de description des objets A chaque objet O est associé une description d : <idf(o), geo(o), AttP(o), AttS(o)> L ensemble de relations : R chaque relation r i est définie comme un graphe étiqueté dont les sommets sont les différents objets Plan de la présentation Introduction et problématique État de l art I Image AttS : sanctuaire, Entrains-sur-Nohain AttP : Présentation d IkoSem Réalisation de la couche c c Réalisation de la mesure de similarité de graphes h champ AttS : champ, AttP : d f fanum AttS : temple, AttP : SignForme Exemple d e enceinte AttS : temple, mur AttP : SignForme c c c c a cella p portique d AttS : temple, d AttS : temple, mur d pièce AttP : AttP : SignForme c cour AttS : temple, bâtiment AttP : 27 Conclusion 28

8 Objectif Solution envisagée : extraction automatique Réaliser un extracteur/indexeur pour la couche basse d IkoSem Traitement de masse, objectif Pas traitement de masse Extraction des caractéristiques des images {Images} Expert du traitement du signal paramétrer reparamétrer {Objets} soumettre Expert du domaine Constitution des signatures Difficultés de mettre en évidence les objets importants Résultats médiocres Extraction semi-automatique Enregistrement dans une base de données 29 V.Lopes 30 Solution retenue : extraction semi-automatique L indexeur {Images} Expert du domaine Extraction du contour des objets (dessins vectoriels) formes Objets simples Objets essentiels décrits Début de sémantique Extractions d autres caractéristiques Calcul des relations entre les objets 31 32

9 Les algorithmes de comparaison de graphes Plan de la présentation Introduction et problématique Problème NP-complet Deux grandes approches existent : État de l art Présentation d IkoSem Réalisation de la couche Réalisation de la mesure de similarité de graphes Exemple Conclusion Recherche d isomorphisme de graphes ou de sous graphes d après Ullman Reconstruction de graphes Contraintes trop fortes Utilisation d heuristiques difficile à maîtriser Algorithme simple, risque d explosion combinatoire, introduction des heuristiques dépendantes du domaine Principe de l algorithme de comparaison de graphes par reconstruction Implémentation de l algorithme AbstractEdge GraphSimple AbstractNode Comparaison des graphes deux à deux * * G1 : le graphe de référence G2 : le graphe à comparer Reconstruire G2 dans G1 évaluer le coût (insertion,suppression de nœuds et d arcs) 0..1 EdgeSimple AbstractGraph NodeSimple ) suppression des nœuds de G1 GraphOperation 2) insertion des nœuds dans G1 3) suppression d arcs dans G1 Recherche du coût minimum de reconstruction CostEdge Distance CostNode 4) insertion d arcs dans G1 5) appariement en cas de nœuds similaires 35 DistanceSimple Utilisation du langage Java Réalisation d interfaces pour obtenir un algorithme de comparaison générique36

10 Rappel sur l instanciation Plan de la présentation Générateur d interface de recherche Couche haute Introduction et problématique État de l art Présentation d IkoSem Réalisation de la couche Réalisation de la mesure de similarité de graphes Exemple Conclusion 37 propagation de l instanciation propagation de l instanciation instanciation du modèle Index Bibliothèque d algorithmes Extracteurs «plug-in» couche basse Classification mesure de similarité générique MODELE GENERIQUE Bibliothèque de stratégies Générateur d interface 38 Choix des images Couleur Choix des caractéristiques pour l instanciation du modèle Pas discriminante Les vues aériennes archéologiques permettent de détecter des traces d édifices anciens invisibles au sol Texture Pas discriminante 39 40

11 Forme Choix des caractéristiques pour l instanciation du modèle Discriminante mais insuffisante Connaissances du domaine Trois types d édifices : Nécropoles de l age du fer et du bronze Fana de l époque gallo-romaine préhistoire Guerre Villas gallo-romaines 1597 Expert Datation Annotation Connaissances du domaine Nécropoles protohistorique Les cercles peuvent être isolés mais, le plus souvent, ils sont regroupés et forment des nécropoles et des lieux de culte. Connaissances du domaine Fanum Le fanum est un type de monument religieux original dans le monde antique et propre aux pays celto-romains. Le plus souvent de petite dimension, il est de plan carré centré pourvu d'une large galerie La cella (1) devait renfermer l'image du dieu alors que le déambulatoire (2) servait à la procession des pèlerins ou au dépôt des offrandes

12 Connaissances du domaine Connaissances du domaine Villa gallo-romaine La villa est (donc) une exploitation agricole qui comporte une partie résidentielle (pars urbana) et une partie agricole (pars rustica) regroupant des annexes ordonnées (ou dispersées irrégulièrement) autour d une grande cour. Le plan le plus courant pour la Gaule présente un corps central rectangulaire, sur lequel se greffe une galerie en façade, souvent encadrée de deux pavillons d angle. corps galerie Une galerie Deux galeries Les formes et leur sémantique dans l application Les relations envisagées et retenues Nécropole protohistorique Ellipse,cercle Relations de direction Les vues ne sont pas orientées Fanum Quadrilatère, parallélogramme, rectangle, carré Relation de distance Relation de composition La hauteur de prise de vue et l angle sont différents Regroupement d objets Villa gallo-romaine Quadrilatère, parallélogramme, rectangle Relation topologique 47 48

13 Caractéristiques retenues Évaluation Forme Annotations : datation, etc. Relation de composition Relation de topologie Les deux relations sont représentées sous forme de graphes Deux fonctions d évaluation : Relation de composition : les nœuds caractérisent la relation grâce aux attributs de forme et de datation Relation topologique : les arcs caractérisent la relation ) Heuristiques pour l évaluation de l arbre de composition = = = Évaluation des coûts Relation de composition Coût : Suppression d un nœud = 10 Insertion d un nœud = 10 Relation topologique 2 ) Si D 1 =, D 1 = D 2 ou si D 2 =, D 2 = D 1 3 ) On évalue uniquement les 3 premiers niveaux Coût : Suppression d un arc = 2 Insertion d un arc = 2 pour la sélection des images 4 ) Un seuil de similarité est fixé Coût total = somme de toutes les actions 51 52

14 Exemple Image n 1 : villa gallo-romaine 5 images de vues aériennes archéologiques Image de référence Image n 1 Image n 2 A X Y Z Image n 3 Image n 4 53 G={A}, C={X,Y,Z}, Villa={G,C}, Image={Villa} 54 Image n 1 : villa gallo-romaine Image n 2 : villa gallo-romaine G C Villa G EC TPP C EC TPP Villa TPP(i) TPP(i) Villa TPP(i) TPP TPP EC G EC G1={A} Relation topologique TPP(i) C Z G2={B} image Relation topologique Y X C ={S,T,U,V,W,X,Y,Z} Villa, quadrilatère, IIs W V Villa={G1,G2,C} G, quadrilatère,iis C, quadrilatère,iis Image={Villa} A B A, quadrilatère X, quadrilatère Y, quadrilatère Z, quadrilatère S T U Relation de composition 55 56

15 Image n 2 : villa gallo-romaine Image n 3 : nécropole G1 C G2 Villa G1 EC DC TPP C EC EC TPP G2 DC EC TPP Villa TPP TPP TPP Relation topologique B A image Villa, quadrilatère, IIs G1, quadrilatère,iis C, quadrilatère,iis G2, quadrilatère,iis A, quadrilatère S, quadrilatère Z, quadrilatère A, quadrilatère Relation de composition 57 Nécropole={A,B}, Image={Nécropole} 58 Image n 3 : nécropole Image n 4 : fanum A B A DC B DC A Relation topologique B image Nécropole,, age du bronze A, ellipse, age du bronze B, ellipse, age du bronze Relation de composition Temple={A,B}, Image={Temple} 59 60

16 Image n 4 : fanum Image de référence A B Temple A NTTP NTTP B NTPP(i) EQ Temple NTPP(i) EQ Relation topologique A Z Y W X image U B Temple,quadrilatère,IIs A, quadrilatère, IIs B, quadrilatère, IIs Relation de composition G1={A}, G2={B}, C={U,X,W,Y,Z} Villa={G1,G2,C}, Image={Villa} Image de référence Recherche des images similaires G1 C G2 Villa G1 EC DC TPP C EC EC TPP G2 DC EC TPP Villa TPP TPP TPP Relation topologique Comparer la description de l image de référence avec les autres descriptions de la base Image n 1 Image n 2 image Villa, quadrilatère, IIs G1, quadrilatère,iis C, quadrilatère,iis G2, quadrilatère,iis A, quadrilatère U, quadrilatère Z, quadrilatère A, quadrilatère Relation de composition 63 Image n 3 Image n 4 64

17 Comparaison avec la description de l image n 4 Comparaison avec la description de l image n 3 Relation de composition : Suppression de nœuds = 40 Insertion de nœuds = 30 Relation de composition : Suppression de nœuds = 10 Insertion de nœuds = 0 Relation topologique : Suppression d arcs = 12 Relation topologique : Suppression d arcs = 12 Insertion d arcs = 4 Insertion d arcs = 4 Total = Total = Comparaison avec la description de l image n 1 Comparaison avec la description de l image n 2 Relation de composition : Suppression de nœuds = 10 Insertion de nœuds = 0 Relation de composition : Suppression de nœuds = 0 Insertion de nœuds = 0 Relation topologique : Suppression d arcs = 4 Relation topologique : Suppression d arcs = 0 Insertion d arcs = 0 Insertion d arcs = 0 Total = Total = 0 68

18 Résultats Conclusion et perspectives Image référence Si le seuil = 8 image n 2 image n 3 coût = 86 image n 4 coût = 26 image n 1 coût = 14 image n 2 coût = 0 Si le seuil = 16 image n 2, image n 1 Algorithme simple Algorithme générique : heuristique, coefficients, calcul, comparaison, etc. Mesurer la similarité de la description d images combinant les aspects physiques et sémantiques Permet d envisager des extensions (créer une interface de paramétrages, implémenter une bibliothèque de calcul de coûts, d évaluation de nœuds ou d arcs) Travail réalisé Conclusion et perspectives Instanciation de la plateforme IkoSem pour une application particulière : Choix des attributs et relations Réalisation de la couche base : l indexeur Réalisation d une mesure de similarité générique : algorithme de comparaison par reconstruction Perspectives Au niveau de l implémentation : Intégrer dans un véritable Système d Information (serveur d application) au niveau de l indexeur : Intégrer la possibilité d un Travail collaboratif interfacer la mesure de similarité avec des outils de déductions : paramétrer son comportement afin de privilégier certaines relations spatiales 71