INDEXATION des IMAGES. Marine Campedel http://www.tsi.enst.fr/~campedel 2006-2007

INDEXATION des IMAGES Marine Campedel http://www.tsi.enst.fr/~campedel 2006-2007

Plan du cours Indeer? Historique Acteurs de l'indeation d'images Comment indeer? Indeation par le contenu Évaluation d'un système d'indeation Prochain cours : des eemples pratiques

Eemple participatif : photothèque personnelle De combien d'images disposez vous? Comment gérez vous vos photos numériques (organisation, classement)? Comment accédez vous au photos que vous recherchez (types de requêtes)? N'importe qui peut-il trouver une photo dans votre base?...

Eemple participatif : photothèque personnelle informations disponibles avec les photos Informations attachées : date, auteur Informations globales sur le contenu : personnage central, événement, etc. Est-ce suffisant? Comment stocker ces informations simultanément? Votre système pourrait-il fonctionner avec un million de photos?

Indeer? Indeer = etraire une information synthétique des images afin de faciliter l'accès à leur contenu domaines scientifiques concernés : fouille de données (data mining), classification, ingénierie des connaissances, vision artificielle, SGBD,... information = élément susceptible d'être codé pour être conservé, traité, communiqué inde = clé d'accès à l'information contenue dans l'image

Définitions Catalogue : Classification : Eploitation de données globales sur le document visuel, indépendantes du contenu Eploitation d une caractéristique globale du document visuel Indeation Eploitation d une analyse fine du contenu du document visuel

Quelques chiffres INA (http://www.ina.fr/) : 100 000 h d'émissions TV et radio à télécharger, archivage de toutes les émissions Google (http://images.google.com/): > 2 milliards d'images indeées et maintenant vidéos, films Flickr (http://www.flickr.com/) : partage de photos personnelles (annotations collaboratives) http://www.fotosearch.fr/ : 700 000 photos et vidéos de plus de 50 éditeurs de banques de photographies, d'images et de séquences vidéo, ainsi que des cliparts, illustrations et cartes géographiques Musées nationau (http://photo.rmn.fr/) : fonds de 500 000 images d'art (200 000 numérisées) Images médicales (http://www.bmlweb.org/image.html) : images spécialisées

pourquoi indeer? Conservation d un patrimoine (culturel, scientifique, ) Valorisation en facilitant l accès et l eploration indeer pour retrouver, trier indeer pour connaître Eploitation commerciale (photos numériques, TV numérique, ) indeer pour naviguer

Les difficultés majeures de l'indeation "Fossé sémantique" : comment accéder à/coder une information visuelle? Spécificité des images : médicales, satellitaires, vidéo, photos, 3D,... Diversité des formats des images : compression, prétraitements Grande taille des bases de données => vers une automatisation des procédés Comment eploiter des informations associées («multimodalité»)?

Quelle est l'information?

Comment indeer des émotions?

Les mots ne suffisent pas...

Indeer? Historique Acteurs de l'indeation d'images Comment indeer? Indeation par le contenu Évaluation d'un système d'indeation Prochain cours : des eemples pratiques

Quelques dates 1980 : Annotation tetuelle des images 1990 : Indeation par la couleur, la forme et la teture 1993 : Requête en utilisant la similarité des images 1997 : Requête par images eemplaires et mesure de la pertinence (relevance feedback) 2000 : apprentissage sémantique et adaptation à l utilisateur Enjeu actuels : annotation interactive, formalisation de la connaissance (ontologies), grosses bases de données (problèmes de stockage, de vitesse d accès, ), données hétérogènes,

Indeer? Historique Acteurs de l'indeation d'images Comment indeer? Indeation par le contenu Évaluation d'un système d'indeation Prochain cours : des eemples pratiques

Acteurs professionnels Bibliothécaires/documentalistes rôle : traitement et analyse du contenu, diffusion de l'information, veille cf Wikipedia : nouvelles technologies => mort de ces métiers?? non car l'information doit être rapidement obtenue, pertinente, actualisée, vérifiée + sources associées, supports multiples «Indeeurs» humains n'importe qui? cf Google Méthodologie? Pb du coût

Acteurs industriels Moteurs de recherche (Google, Yahoo) Virage, QBIC (IBM) technologie = à partir du tete associé Vidéo Les solutions françaises : LTU Technologies NewPheni (CEA) http://www.new-pheni.com/

Acteurs industriels : un eemple français LTU technologies : http://www.ltutech.com/ fondée en 1999 par des chercheurs (MIT, Oford University, INRIA) Image-seeker appliqué à : Police INPI Shopping par l'image Collections privées (Cordis) Moteur de recherche : Ealead

Acteurs académiques VisualSeek (Columbia University) http://www.ee.columbia.edu/ln/dvmm/researchprojects/multimediaindeing/visualseek/visualseek.htm Projets européens passés : DIVAN (INA), actuels : QUAERO, K-Space Projets nationau Infomagic (pôle de compétitivité) ACI masse de données : QUERYSAT, EFIGI,... Projets de labos IMEDIA (INRIA, Rocquencourt), RETIN (ETIS, Cergy), KIWI (Insa, Lyon)

Comment interroger une base d'images? Diversité des approches Les systèmes imposent des types de requête : Recherche à partir du tete associé Recherche d une image dans une base (localiser) Recherche d images similaires à une image eemplaire Recherche d images similaires à des images eemples et dissimilaires à d autres Recherche d images contenant une région de l image eemplaire

Définitions

Comment indeer/interroger des images? Point de vue «utilisateur» dépend du type de requêtes (bases ouvertes ou spécialisées, requêtes catégorielles ou eactes) Point de vue epert «Traitement du signal» A partir du tete (requêtes tetuelles) Par le contenu (requêtes par l'eemple) Point de vue epert «Informatique» Problème de représentation des connaissances (ontologies) Problème de stockage des connaissances (bases de données)

Indeation d images à partir du tete

Indeation d images à partir du tete ROME (AFP), 2005-06-11 13:10:52 L'Italienne Clementina Cantoni arrive vendredi 10 juin sur le sol italien après 25 jours de détention en Afghanistan

Recherche d'images par le tete

Indeation d images à partir du tete Une image illustre un document mais le document ne décrit pas forcément l image ; La richesse du contenu d une image dépend du domaine de connaissances de celui qui la regarde ; Le tete accompagnateur d une image ne suffit généralement pas Nécessité de modéliser ce domaine Aspects subjectifs du contenu Plus facile de faire une description des objets contenus dans l image que des émotions qui en résultent

Indeation d images à partir du tete Avantages : eploite les outils d indeation tetuelle, prise en compte plus aisée des aspects sémantiques. Inconvénients : vocabulaire limité (dépend de la langue) difficultés de l annotation : définition du vocabulaire, temps d annotation >> temps réel, subjectivité, etc.

Indeation par le contenu : principe (1/2) Images Etraction de caractéristiques Requêtes utilisateur Sélection de caractéristiques Caractéristiques Caract.+ étiquettes Organisation (apprentissage supervisé/ non supervisé) Modèles Modèles étiquetés

Principe (2/2) Off-line : production d inde issus de l analyse du contenu des images Etraction de caractéristiques pertinentes Réduction de la dimension Organisation par classification On-line : gestion des requêtes d un utilisateur «Gap sémantique» Relevance feedback

Etraction de caractéristiques Caractéristiques : Spécifiques : points saillants (Harris, Deriche,...), minuties, SIFT,... Générales : couleur, teture, forme Combinaisons : descripteurs locau autour de des points caractéristiques (gradients, ondelettes,...) Globale ou locale : Blocs arbitraires, segmentation, information topologique

Etraction de caractéristiques Problème de représentation Caractéristiques numériques, symboliques, graphes, Invariances Translation, rotation, homothétie, colorimétrie déformations : taille, cadrage, masquage, perspective, contraste, éclairage, vieillissement toujours nécessaires? Quelles caractéristiques choisir?

Eemple : appariement de minuties

Eemple : appariement de minuties Etraction des points Mise en correspondance Les difficultés classiques détection erronées de points déformations non linéaires des empreintes (appui de la pulpe du doigt) Solution?

Eemple : retrouver un objet sujet à déformations http://www.cs.ubc.ca/~lowe/keypoints/ Approche par points caractéristiques SIFT (Scale Invariant Feature Transform) Lowe, 2004 invariance par échelle, rotation, point de vue, conditions d'éclairage Etraction des points caractéristiques etrema locau du Laplacien dans le «scale-space» Filtrage des points caractéristiques critère de stabilité, seuillage du contraste,... Descripteurs associées au points caractéristiques histogramme local des orientations du gradient Application : Plus proches voisins + transformée de Hough

SIFT : Détection des points caractéristiques Etrait de «Distinctive Image Features from Scale Invariants Keypoints» Lowe, IJCV, 2004

SIFT : Détection des points caractéristiques

SIFT : Caractérisation des points caractéristiques

SIFT : illustration de mise en correspondance Robustesse des 50 100 descripteurs (J. Rabin - 2006) 150 200 250 300 350 400 450 200 400 600 800 1000 1200

3D : quelles caractéristiques?

Eemple : retrouver une scène? Description globale (forme, couleur, teture) Compacte mais... Description locale segmentation + caractérisation des régions

Eemple : retrouver une scène similaire? requête

Eemple : retrouver une scène similaire? J. Chen, Adaptive perceptual color-teture image segmentation, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol: 14, pp. 1524-1536, 2005.

Images et notion de similarité

Images similaires?

Similarité mathématique Deu images seront comparées par l intermédiaire des caractéristiques etraites Sim( Im1, Im2 ) = Sim( f(im1), f(im2) ), avec f la fonction d etraction des caractéristiques Mesures de similarités, distances (A) s(, ) = s( y, y ) > s(, y ) (B) s(, y ) = s( y, ) (C) d(, ) = 0 (D) d(,y) = 0 = y (E) d(, y) <= d(,z) + d(z,y) (F) d(,y) <= ma( d(,z), d(z,y) ) similarité dissimilarité distance Ultra-métrique

Similarité mathématique Distance euclidienne Distance euclidienne généralisée Malahanobis Chi2 Similarité en cosinus Combinaisons linéaires de similarités (ou distances)

Similarité de l information Comparaison des caractéristiques après une transformation Φ «Truc du noyau» K(,y) = < Φ(), Φ(y)>, K semi-defini positif D(,y) = <,> + <y,y> -2<,y> devient D(Φ(), Φ(y) ) = K(,) + K(y,y) -2K(,y) Intérêt : la spécification de K définit implicitement Φ Intensivement utilisé pour ACP, la discrimination de Fisher, la classification SVM,

Réduction d information Beaucoup de caractéristiques possibles, beaucoup de manières de les comparer : lesquelles sont les meilleures dans un contete donné? Réduction de dimension ACP, ACI Algorithmes de sélection Quantification (forme de clusterisation)

Réduction d information Eploiter la redondance pour etraire une représentation compacte Assurer la complétude de la représentation, dans le contete de l'application

Organisation de l'information SGBD Classification des informations supervisée ou non permet d'accéder à l'information recherchée par raffinements successifs

Organisation de l information Classification supervisée : données X (caractéristiques) et label Y Coût d'obtention des Y? Eemples : kppv, SVM, Bayes, arbres de décision (C45.1) Évaluation d une classification : Décompte des erreurs Validation croisée

Organisation de l information Clusterisation : données X Partitionnement : kmeans Hiérarchique : arbres Minimiser la distance intra-classes et maimiser la distance inter-classes Évaluation : pas évidente Estimation du nombre de clusters : indees de Calinsky, Davies Bouldin, Dunn, MDL Mesure de la qualité? Comparaison : information mutuelle,...

Évaluation Critères objectifs/subjectifs? Mesures objectives sur bases de données étiquetées : Courbes ROC, aire sous la courbe ROC (AUC), eploitation du rang (cf MPEG 7) Évaluation et eploitation par un utilisateur boucle de pertinence ou «relevance feedback»

Évaluation objective : Rappel/Précision Source : http://www.webmaster-hub.com/publication/applications-des-outils.html précision = rappel = documents trouvés documents sélectionnés documents trouvés documents pertinents

Évaluation objective : courbes Rappel/Précision Graphe de rappel-précision calculé en faisant varier le nombre de documents sélectionnés nécessite une base étiquetée Tous les documents sélectionnés sont pertinents mais silence important et Tous les documents pertinents sont sélectionnés mais bruit important

Évaluation objective : eemple Ding-Yun Chen, Xiao-Pei Tian, Yu-Te Shen and Ming Ouhyoung, "On Visual Similarity Based 3D Model Retrieval", Computer Graphics Forum (EUROGRAPHICS'03), Vol. 22, No. 3, pp. 223-232, Sept. 2003

Évaluation objective : AUC Aire sous la courbe ROC (Receiver Operating Characteristics) Precision (tau de vrais positifs) fonction de 1Rappel (= bruit ou tau de fau positifs) Source : http://gim.unmc.edu/dtests/roc3.htm

Évaluation objective : eploitation du rang Eploitation du rang de récupération Critère de validation de MPEG7 (Motion Picture Epert group, normalisé en 2001) Rank*(k) = rang(k) si < K(q), 1.25K sinon AVR(q) : moyenne des rangs MRR(q) = AVR(q) 0.5( 1 + NG(q) ) NMRR(q) = MRR(q) / ( 1.25K 0.5(1+NG(q)) ) Critère final : moyenne des NMRR Notations : q = 1 requête ; k = une image pertinente pour la requête ; NG(q) nombre d images pertinentes pour la requête ; K limite de rang acceptable

Évaluation par un utilisateur Défaut majeur des systèmes standards : l utilisateur doit s adapter au système Caractéristiques etraites automatiquement non intuitives Fossé entre la formulation des requêtes et le codage de l information etraite Nécessité d adapter le système à l utilisateur Apprentissage : requêtes, mesures de similarités

Feedback utilisateur Images Requêtes utilisateur Etraction de caractéristiques Sélection de caractéristiques Caractéristiques Caract.+ étiquettes Organisation Modèles Modèles étiquetés

Feedback utilisateur IKONA (INRIA Rocquencourt)

Applications Imagerie satellitaire : indeation et fouille Vidéo Démonstrations en ligne

Conclusion Indeation des images : problème non résolu, mais il eiste déjà de nombreuses applications (commerciales) Eperts issus de domaines variés (informatique, traitement de l image, psycho-vision, apprentissage machine, ) travaillent ensemble Aes à étudier simultanément : Techniques d analyse d image donc d etraction et de comparaison de l information Pertinence de l information pour un utilisateur

Les sites à visiter http://www.quintura.com/ http://clusty.com/ http://www.searchmash.com/ http://www.like.com/ http://www-rocq.inria.fr/imedia/webdemo/inde.html http://viper.unige.ch//research/cbir.html