INDEXATION des IMAGES satellitaires. Marine Campedel

Transcription

1 INDEXATION des IMAGES satellitaires Marine Campedel

2 Plan du cours Indeer? Acteurs de l'indeation d'images satellitaires Comment indeer? Indeation par le contenu Évaluation d'un système d'indeation

4 Eemple participatif : que voyez vous?

7 Indeer? Indeer = etraire une information synthétique des images afin de faciliter l'accès à leur contenu domaines scientifiques concernés : fouille de données (data mining), classification, ingénierie des connaissances, vision artificielle, SGBD,... information = élément susceptible d'être codé pour être conservé, traité, communiqué inde = clé d'accès à l'information contenue dans l'image

8 Définitions Catalogue : Eploitation de données globales sur le document visuel, indépendantes du contenu Classification : Eploitation d une caractéristique globale du document visuel Indeation Eploitation d une analyse fine du contenu du document visuel

9 Quelques chiffres (images diverses) INA ( : h d'émissions TV et radio à télécharger, archivage de toutes les émissions Google ( > 2 milliards d'images indeées et maintenant vidéos, films Flickr ( : partage de photos personnelles (annotations collaboratives) : photos et vidéos de plus de 50 éditeurs de banques de photographies, d'images et de séquences vidéo, ainsi que des cliparts, illustrations et cartes géographiques Musées nationau ( : fonds de images d'art ( numérisées) Images médicales ( : images spécialisées

10 Quelques chiffres (images satellitaires) SPOT envoie chaque jour 100Go d images > tera par jour 2002, CNES

11 pourquoi indeer? Conservation d un patrimoine (culturel, scientifique, ) indeer pour retrouver, trier Valorisation en facilitant l accès et l eploration indeer pour connaître Eploitation commerciale (photos numériques, TV numérique, ) indeer pour vendre des services

12 Les difficultés majeures de l'indeation "Fossé sémantique" : comment accéder à/coder une information visuelle? Spécificité des images : optique, radar Diversité des formats des images panchromatique, spectrales Grande taille des bases de données => vers une automatisation des procédés Comment eploiter des informations associées («multimodalité»)?

13 Quelle est l'information?

18 Quelle est l'information? Il s agit d une composition colorée multitemporelle du radar à synthèse d ouverture ASAR (Advanced Synthetic Aperture Radar). Elle est composée de trois images ASAR IMP acquises le 23 février 2003 (affectation couleur RVB= rouge), le 17 août 2003 (affectation couleur RVB= vert) et le 4 mai 2003 (affectation couleur RVB= bleu).

19 Imagerie satellitaire l'information d'intérêt dépend de l'application visée du niveau de connaissance de celui qui regarde l'image

20 Imagerie satellitaire Diversité des données Nombreu satellites (>5000 lancés depuis 1957) Géostationnaires ou non Satellites optiques / radar Diversité des applications Télécommunications, météo, TV Télédétection

21 Satellite de télédétection But scientifique océans, manteau neigeu, sècheresse,... But économique observation des ressources naturelles, agriculture, urbanisation But militaire stratégique

23 Acteurs professionnels Utilisateurs des images = les photo-interprètes Annotation tetuelle, mesures, formalisation avec des cartes,... Méthodologie? A partir de quelles données? Quel vocabulaire employer? Par quel bout prendre l'image?

24 Acteurs professionnels Les fournisseurs d'images = les agences spatiales CNES, DLR, ESA,... Spot Image Spot Image is a world leader in the supply of geographic information derived from satellite imagery Les acteurs académiques France : INRIA, CNRS, CoC... beaucoup d'autres laboratoires ailleurs...

25 Competence Center on Information etraction and Image Understanding for Earth Observation (CNES/DLR/ENST) Indeation Information Teturale/Géométrique/Spectrale, Etraction et sélection d'attributs, Attributs locau ou distribués, Codage des attributs, Échelle et résolution Notion d'échelle caractéristique, Prédiction des caractérisations des objets pour une résolution nouvelle, Organisation de l'information Classification supervisée ou non (fouille), Détection d'objets, Taonomie/Ontologie, Analyse sémantique, Interaction avec l'utilisateur Apprentissage des requêtes par l'eemple, Boucle de pertinence, Apprentissage/désapprentissage actif, Modélisation de l'utilisateur, Séquences temporelles Compression et indeation à l'aide des mêmes attributs, Segmentation, Détection d'événements, Masse de données (ingénierie) Gestion des images et informations etraites, Choi d'un SGBD, Etude du passage des algorithmes de traitement à une grande quantité de données,

27 Quelques dates 1980 : Annotation tetuelle des images 1990 : Indeation par la couleur, la forme et la teture 1993 : Requête en utilisant la similarité des images 1997 : Requête par images eemplaires et mesure de la pertinence (relevance feedback) 2000 : apprentissage sémantique et adaptation à l utilisateur Enjeu actuels : annotation interactive, formalisation de la connaissance (ontologies), grosses bases de données (problèmes de stockage, de vitesse d accès, ), données hétérogènes,

28 Comment interroger une base d'images? Diversité des approches Les systèmes imposent des types de requête : Requêtes tetuelles Requête à partir d'image(s) eemplaire(s) Recherche à partir du tete associé (titre par eemple) Recherche d une image dans une base (localiser) Recherche d images similaires à une image eemplaire Recherche d images similaires à des images eemples et dissimilaires à d autres Recherche d images contenant une région de l image eemplaire

29 Comment indeer/interroger des images? Point de vue «utilisateur» dépend du type de requêtes (bases ouvertes ou spécialisées, requêtes catégorielles ou eactes) Point de vue epert «Traitement du signal» A partir du tete (requêtes tetuelles) Par le contenu (requêtes par l'eemple) Point de vue epert «Informatique» Problème de représentation des connaissances (ontologies) Problème de stockage des connaissances (bases de données)

30 Indeation d images à partir du tete

31 Indeation d images à partir du tete ROME (AFP), :10:52 L'Italienne Clementina Cantoni arrive vendredi 10 juin sur le sol italien après 25 jours de détention en Afghanistan

32 et pour les images satellitaires? Image SPOT 5 Aéroport CDG1 et CDG2 Peu/pas de tete dans l'image donc annotation manuel CNES

33 Eemple d'annotation zone urbaine forêt nuage (ombre) CNES champs

34 Eemple d'annotation réseau routier zone industrielle zone pavillonnaire

35 Difficulté d annoter Richesse des images Dépend du niveau de connaissance de celui qui regarde l'image Variété des contenus (objets d'intérêts nombreu) Variété des types d image (résolutions, panchromatiques ou spectrales,...) Annoter / fouiller l image Processus temporel

36 Indeation d images à partir du tete Avantages : eploite les outils d indeation tetuelle, prise en compte plus aisée des aspects sémantiques. Inconvénients : vocabulaire limité (dépend de la langue) difficultés de l annotation : définition du vocabulaire, temps d annotation >> temps réel, subjectivité, etc.

37 Corine Land Cover Surfaces artificielles Surfaces cultivées Forêts et espaces semi naturels Surfaces humides eau Usine urbaine Transports Réseau routiers Ports Aéroports

38 Plan du cours Indeer? Historique Acteurs de l'indeation d'images satellitaires Comment indeer? Indeation par le contenu Évaluation d'un système d'indeation

39 Analyse automatique du contenu uman Centered Concepts r Eploration and nderstanding of Satellite ages (Datcu et al. 2004)

40 Difficulté : variété des éléments à repérer L'indeation doit permettre de retrouver : Des objets localisés Bâtiments, rond-points, chars, Échelles variées Des éléments géométriques répartis sur l image Aes routiers, fluviau Des zônes d'intérêt forêt, champs, villes, mer,...

41 Indeation par le contenu : principe (1/2) Images Etraction de caractéristiques Sélection de caractéristiques Requêtes utilisateur Caractéristiques Caract.+ étiquettes Organisation (apprentissage supervisé/ non supervisé) Modèles Modèles étiquetés

42 Principe (2/2) Off-line : production d inde issus de l analyse du contenu des images Etraction de caractéristiques pertinentes Réduction de la dimension Organisation par classification On-line : gestion des requêtes d un utilisateur «Gap sémantique» Relevance feedback

43 Feedback utilisateur Images Etraction de caractéristiques Requêtes utilisateur Sélection de caractéristiques Caractéristiques Caract.+ étiquettes Organisation Modèles Modèles étiquetés

44 Etraction de caractéristiques Caractéristiques : Spécifiques : points saillants (Harris, Deriche,...), minuties, SIFT,... Générales : couleur, teture, forme Combinaisons : descripteurs locau autour de des points caractéristiques (gradients, ondelettes,...) Globale ou locale : Blocs arbitraires, segmentation, information topologique

45 Etraction de caractéristiques Problème de représentation Caractéristiques numériques, symboliques, graphes, Invariances Translation, rotation, homothétie, colorimétrie déformations : taille, cadrage, masquage, perspective, contraste, éclairage, vieillissement toujours nécessaires? Quelles caractéristiques choisir?

46 Caractéristiques spectrales «couleur» Stéphane Lhomme phd 2005 Identification du bâti à partir d'images satellitaires à très hautes résolutions spatiales

47 Caractéristiques spectrales «couleur» Italy SPOT- VGT NDVI eample (ecerpt from Europe map, 21 Dec 2004)

48 Caractéristiques teturales Applications pour des régions teturées telles que : la forêt, la ville, la mer, le désert, les champs,... Eemples de caractéristiques : statistiques issues de filtrage par des ondelettes de Gabor ou autres ondelettes, matrices de cooccurrence (Haralick),...

49 Caractéristiques teturales Classification d'imagettes de tetures : ville, forêt, champs, mer, désert et nuage 600 images (SPOT) par classe Résultat : SVM gaussien, erreur moyenne de 1.4% ± 0.4% (147 attributs,validation croisée) Vraie\Prédite %reconnaissanc e ville ville 98.8 nuage 0 désert 0 champs 0.5 forêt 0 mer 0 nuage désert champs forêt mer

50 Caractéristiques géométriques Adaptées à la détection des : routes, bâti,... images sub-métriques : objets ponctuels Caractéristiques géométriques Détection de contours, de lignes Paramètres de formes Points caractéristiques

51 Routes et réseau Détection d'alignements (méthodes variées) A. Bhattacharya, phd INRIA/ENST, 2007

52 Matching d'objets Approche par points caractéristiques SIFT (Scale Invariant Feature Transform) Lowe, 2004 invariance par échelle, rotation, point de vue, conditions d'éclairage Etraction des points caractéristiques etrema locau dans le «scale-space» Filtrage des points caractéristiques critère de stabilité, seuillage du contraste,... Descripteurs associées au points caractéristiques histogramme local des orientations du gradient Application : Plus proches voisins + transformée de Hough

53 SIFT : Détection des points caractéristiques Etrait de «Distinctive Image Features from Scale Invariants Keypoints» Lowe, IJCV, 2004

54 SIFT : Détection des points caractéristiques

55 SIFT : Caractérisation des points caractéristiques

56 SIFT : illustration de mise en correspondance Robustesse des descripteurs (J. Rabin )

57 Comparaison d'images Comparer deu images == comparer leurs attributs Similarité visuelle?=? similarité des attributs

58 Images et notion de similarité

59 Images similaires?

60 Images similaires?

61 Images similaires? Arriège SPOT 5 Angers SPOT 5 Zhongdong SPOT 5

62 Similarité mathématique Deu images seront comparées par l intermédiaire des caractéristiques etraites Sim( Im1, Im2 ) = Sim( f(im1), f(im2) ), avec f la fonction d etraction des caractéristiques Mesures de similarités, distances (A) s(, ) = s( y, y ) > s(, y ) (B) s(, y ) = s( y, ) (C) d(, ) = 0 (D) d(,y) = 0 = y (E) d(, y) <= d(,z) + d(z,y) (F) d(,y) <= ma( d(,z), d(z,y) ) similarit é dissimila rité distance Ultramétrique

63 Similarité mathématique Distance euclidienne Distance euclidienne généralisée Malahanobis Chi2 Similarité en cosinus Combinaisons linéaires de similarités (ou distances)

64 Similarité de l information Comparaison des caractéristiques après une transformation Φ «Truc du noyau» K(,y) = < Φ(), Φ(y)>, K semi-defini positif D(,y) = <,> + <y,y> -2<,y> devient D(Φ(), Φ(y) ) = K(,) + K(y,y) -2K(,y) Intérêt : la spécification de K définit implicitement Φ Intensivement utilisé pour ACP, la discrimination de Fisher, la classification SVM,

65 Indeation par le contenu : principe (1/2) Images Etraction de caractéristiques Sélection de caractéristiques Requêtes utilisateur Caractéristiques Caract.+ étiquettes Organisation (apprentissage supervisé/ non supervisé) Modèles Modèles étiquetés

66 Sélectionner les attributs Pourquoi? Réduire les données à stocker Analyser l'intérêt des caractéristiques à disposition Comment? Eploitation de la redondance Les outils Élimination du bruit algorithmes supervisés ou non filter / wrapper

67 Caractéristiques teturales Classification d'imagettes de tetures : ville, forêt, champs, mer, désert et nuage 600 images (SPOT) par classe Résultat : SVM gaussien, erreur moyenne de 1.4% ± 0.4% (147 attributs,validation croisée) Vraie\Prédite %reconnaissanc e ville ville 98.8 nuage 0 désert 0 champs 0.5 forêt 0 mer 0 nuage désert champs forêt mer

68 Sélectionner les attributs [Campedel 06] Tetures SPOT 5

69 Organisation de l'information SGBD Classification des informations supervisée ou non permet d'accéder à l'information recherchée par raffinements successifs Méthode automatique : par apprentissage à partir d'eemples

70 Organisation de l'information IEEE trans. on knowledge and data engineering, vol14, no 5, sept/oct 2002

71 Organisation de l information Classification supervisée : données X (caractéristiques) et label Y Coût d'obtention des Y? Eemples : kppv, SVM, Bayes, arbres de décision (C45.1) Évaluation d une classification : Décompte des erreurs Validation croisée

72 Organisation de l information Clusterisation : données X Partitionnement : kmeans Hiérarchique : arbres Minimiser la distance intra-classes et maimiser la distance inter-classes Évaluation : pas évidente Estimation du nombre de clusters : indees de Calinsky, Davies Bouldin, Dunn, MDL Mesure de la qualité? Comparaison : information mutuelle,...

73 Plan du cours Indeer? Historique Acteurs de l'indeation d'images satellitaires Comment indeer? Indeation par le contenu Évaluation d'un système d'indeation

74 Évaluation Critères objectifs/subjectifs? Mesures objectives sur bases de données étiquetées : Courbes ROC, aire sous la courbe ROC (AUC), eploitation du rang (cf MPEG 7) Évaluation et eploitation par un utilisateur boucle de pertinence ou «relevance feedback»

75 Évaluation objective : Rappel/Précision Source : précision = documents trouvés documents sélectionnés rappel = documents trouvés documents pertinents

76 Évaluation objective : courbes Rappel/Précision Graphe de rappel-précision calculé en faisant varier le nombre de documents sélectionnés nécessite une base étiquetée Tous les documents sélectionnés sont pertinents mais silence important et Tous les documents pertinents sont sélectionnés mais bruit important

77 Évaluation objective : eemple Ding-Yun Chen, Xiao-Pei Tian, Yu-Te Shen and Ming Ouhyoung, "On Visual Similarity Based 3D Model Retrieval", Computer Graphics Forum (EUROGRAPHICS'03), Vol. 22, No. 3, pp , Sept. 2003

78 Évaluation objective : eploitation du rang Eploitation du rang de récupération Critère de validation de MPEG7 (Motion Picture Epert group, normalisé en 2001) Rank*(k) = rang(k) si < K(q), 1.25K sinon AVR(q) : moyenne des rangs MRR(q) = AVR(q) 0.5( 1 + NG(q) ) NMRR(q) = MRR(q) / ( 1.25K 0.5(1+NG(q)) ) Critère final : moyenne des NMRR Notations : q = 1 requête ; k = une image pertinente pour la requête ; NG(q) nombre d images pertinentes pour la requête ; K limite de rang acceptable

79 Évaluation par un utilisateur Défaut majeur des systèmes standards : l utilisateur doit s adapter au système Caractéristiques etraites automatiquement non intuitives Fossé entre la formulation des requêtes et le codage de l information etraite Nécessité d adapter le système à l utilisateur Apprentissage : requêtes, mesures de similarités

80

81

82

83

84

85

86

87

88 Le système KIM : Knowledge Image Mining

89 Google Map / Google Earth Service Superposition carte et image : visualisation plus aisée des lieu, trajets Navigation sur la planète Révolutionnaire? techniquement non (pas d'analyse du contenu) applicativement oui Outil -> accessibilité des images satellitaires archivées par le National Geographic

90 Imagerie satellitaire : services couplés

91 Imagerie satellitaire : services

92 Conclusion Indeation/fouille automatique des bases d'images satellitaires : problème non résolu, mais il eiste déjà quelques eploitations commerciales de ces images Eperts issus de domaines variés (informatique, traitement de l image, psycho-vision, apprentissage machine, ) travaillent ensemble Aes à étudier simultanément : Techniques d analyse d image donc d etraction et de comparaison de l information Pertinence de l information pour un utilisateur