Recherche par similarité dans les grandes bases de données multimédia Application à la recherche par le contenu dans les bases d images

Transcription

1 N orre 009ISAL0057 Année 009 Institut National es Sciences Appliquées e Lyon Ecole Doctorale Informatique et Information pour la Société (EDIIS) Spécialité : Informatique Université Mohamme V- Agal. Faculté es Sciences e Rabat Formation octorale Histoire es Sciences et Défie innovation Ecole octorale Informatique et Information pour la Société Thèse présentée pour obtenir Le grae e octeur Recherche par similarité ans les granes bases e onnées multiméia Application à la recherche par le contenu ans les bases images Imane Daoui Mohamme Daoui Hassan Ibn El Haj Driss Aboutajine Atilla Baskurt Khali Irissi Sai El Ouatik Jury MM. Professeur (INSA e Lyon) Rapporteur Professeur assistant (INPT e Rabat) Rapporteur Professeur (Faculté es Sciences e Rabat) Professeur (INSA e Lyon) Maître e conférence (INSA e Lyon) Professeur assistant (Faculté es Sciences e Fès) Laboratoire InfoRmatique en Image et Systèmes information (LIRIS)

2 Table es matières Introuction Générale Chapitre 1 : Recherche par le contenu ans les bases images fixes 1 Introuction... 1 Représentation u contenu visuel es images Descripteurs couleur Descripteurs texture Descripteurs forme Combinaison es escripteurs Mesure e similarité Similarités attentive et pré-attentive Similarité ans les moteurs recherche Similarité par approche noyau Astuce u noyau «Kernel Trick» Fonctions noyaux classiques Généralisation e la notion e istance à travers l astuce u noyau...0 1

3 Table es matières 5 Synthèse... 0 Chapitre : inexation Multiimensionnelle 1 Introuction... Méthoes inexation conventionnelles 3.1 Méthoes e partitionnement e onnées...4. Méthoes e partitionnement e l espace Maléiction e la imension Problèmes inexation et e recherche ans les espaces e grane imension Techniques e réuction e la imension Méthoes inexation multiimensionnelles basées sur l approche approximation Approximation globale Approximation locale Synthèse Synthèse... 64

4 Table es matières Chapitre 3: Méthoe proposée pour l'inexation et la recherche ans les espaces multiimensionnels : RA+-Blocks 1 Introuction KD-Tree Construction un KD-Tree Stratégies e subivision K-D-B-Tree et ses variantes RA-Blocks Approximation Inexation Recherche Synthèse RA + -Blocks Structuration es onnées Structure inex Interrogation e la base e onnées Synthèse... 8

5 Table es matières Chapitre 4: Nouvelle méthoe multiimensionnelle par approche noyau pour l'inexation et la recherche ans les granes bases 'images basées sur le contenu : KRA+-Blocks 1 Introuction Techniques inexation par approche noyau M-Tree à noyau KVA-File KRA + -Blocks : structure inexation multiimensionnelle pour la recherche par le contenu Réuction e la imension Propriétés e l ACPK Inexation Mesure e similarité Recherche Bouclage e pertinence Synthèse... 98

6 Table es matières Chapitre 5 : Expérimentations 1 Evaluation es performances e RA + - Blocks Environnement expérimental Description es onnées Expérimentation 1 : Nombre e régions obtenues Expérimentation : Taux e remplissage Expérimentation 3 : Temps e réponse Evaluation es performances u KRA - Blocks Environnement expérimental Description es onnées Expérimentation 1 : Estimation es paramètres u noyau Expérimentation : Qualité e la recherche par similarité Expérimentation 3 : Bouclage e pertinence Expérimentation 4 : Intérêt sur la combinaison es escripteurs globaux 10.6 Expérimentation 5 : Temps e la recherche Synthèse Conclusion Générale

7 Table es matières Annexe A : Algorithmes A.1 Construction e l inex KDB-Tree A. Construction e l inex KD-Tree A.3 Algorithme e recherche VA-NOA...13 Références e l'auteur Références Bibliographiques

8 Table es figures Tables es figures 1.1 Schéma un système e recherche images par le contenu.. 1. Classification es escripteurs e formes D Parties réelles es fonctions e base ART Effet une transformation linéaire à une classification basée sur une istance Eucliienne les contours e ifférentes istances Structure u R-Tree 4. Structure géométrique u M-Tree. 6.3 Fonctionnement e l algorithme "Slim-own" La structure géométrique e la méthoe u pivot métrique PM le partitionnement e onnées selon (a) M-Tree (b) MH-Tree La corresponance entre les régions (b) et les pyramies (a) en eux imensions selon la technique e la pyramie 3.7 Exemple e requête e forme non-hyper cube Résultat u partitionnement un espace à eux imensions selon la méthoe iminmax où (a) θ = 0 (b) θ = 0. 5 (c) θ = Exemple e partitionnement e l espace e onnées (a) et (b) e construction e la structure space-tree Représentation géométrique e l inexation selon la méthoe ViTri La structure inex u Kpyr[Thi 05] Exemple estimation une istance géoésique entre eux point p1 et p Principe e fonctionnement e l algorithme LLE Construction u VA-File Distance minimale est maximale par rapport au vecteur requête Coage es vecteurs selon LPC-File Calcul e la istance minimale et e la istance maximale entre un vecteur requête et l ensemble e vecteurs ayant la même approximation Exemple e VBR Structure inex u A-Tree. 5.0 structure inex IQ-Tree Partitionnement e l espace selon GC-Tree... Construction e l inex e l arbre GC. (a)partitionnent e l espace e onnées. 57 (b) la structure inex corresponante [Gua 0b] le principe e l approximation e la méthoe AV 58.4 Exemple e calcul e la istance minimal et maximal u vecteur requête par rapport à l approximation suivant la méthoe AV MBRs e l arbre PCR et u R-Tree La structure u KD-Tree et ses partitions ans le plan La subivision 'un espace e onnées par la méthoe stanar Application e a stratégie e ivision u point méian à l ensemble e points e l exemple précéent Partitionnement une page point. 73

9 Table es figures 3.5. Structure 'un -D-B-Tree écomposition une page région Exemple e coage es régions ans un espace e imension eux Structure inex u RA-Blocks Les istances minimales et maximales une région par rapport à un vecteur requête L algorithme e recherche es k ppv u RA-Blocks L algorithme e écoupage e l espace e onnées u RA+-Blocks Exemple e subivision es régions selon K-D-B-Tree Exemple e subivision es régions selon notre méthoe PCs for ifferent δ values. (a) Original ata. (b) PCA. (c) KPCA, δ = () KPCA, δ = (e) KPCA, = 0. 5 δ. (f) KPCA KRA+-Blocks approximations. (a) onnées originales. (b) les onnées projetées avec ACPK. (c) les bornes minimales et maximales 5.1 Le nombre e régions obtenues en fonction e la imension (a) pour es onnées 98 réelles (b) et uniformes Nombre e régions obtenues en fonction e la taille e la base e onnées La capacité e stockage u RA-Blocks et RA+-Blocks Temps e réponse en fonction e la imension Temps e réponse en fonction e la imension Temps e réponse en fonction e la taille e la base e onnées Temps e réponse en fonction e la taille e la base e onnées Un exemple (a) images e la base COIL-100 (b) classes e la base images (a) γ (, δ ) (b) σ (, δ ) (c) valeurs optimales es paramètres u noyau les courbes e rappel et e précision pour ifférentes valeurs es paramètres u noyau Les Coubes e rappel et e précision en utilisant (a) la base B1 (700) et (b) la base B (40000) Les résultats e la recherche avec la méthoe KRA+-Block ans la base COIL- 100 : la première image e chaque ligne représente l image requête et le 11 images représentent les résultats triés par orre croissant e similarité Les Coubes e rappel et e précision en utilisant (a) la base B1 (700) et (b) la base B 40000) Résultat e la recherche en utilisant a. KRA+-Block avec les paramètres optimaux et b. en utilisant une itération u bouclage e pertinence: la première image e chaque ligne représente l image requête et les autres 11 images sont les résultats retournés le temps e réponse en fonction e la imension pour la base (a) BD3. (b) BD Evolution u temps e réponse en fonction e la imension pour la base (a) BD3. (b) BD4. 18

10 Liste es tableaux Liste es tableaux.1 Récapitulatif es avantages et inconvénients es ifférentes méthoes citées Précéemment 9. Récapitulatif es avantages et inconvénients es ifférentes méthoes citées précéemment 37.3 Récapitulatif es avantages et inconvénients es méthoes inexation basée sur l approche approximation locale citées précéemment 64.4 Récapitulatif es avantages et inconvénients es méthoes inexation basée sur l approche approximation globale citées précéemment Récapitulatif e quelques propriétés générales es méthoes inexation basées sur l approximation locale citées précéemment Récapitulatif e quelques propriétés générales es méthoes inexation basées sur l approximation globale citées précéemment La variance cumulée ans les premières composantes principales en fonction e δ. Les zones en couleur grise corresponent à une variance cumulée supérieure ou égale à 98% Valiation es équations 5.1 et 5. pour les régions e la figure Les quatre méthoes utilisées pour la comparaison e la qualité e la recherche Comparaison e la précision (en %) utilisant la couleur et la couleur + la forme Comparaison e la précision (en %) utilisant la couleur et la couleur avec la forme.. 15

11 Introuction Générale Introuction Générale L une es conséquences irectes e la baisse es coûts es équipements informatiques, u éveloppement es télécommunications et e la isponibilité es techniques e numérisation e haute qualité, est la création et l échange e volumes e plus en plus importants e onnées multiméias numérisées. Ces onnées sont par essence hétérogènes et leur contenu préponérant est visuel. Les éveloppements récents ans les omaines u traitement u signal et es bases e onnées offrent tous les éléments nécessaires pour l extraction, l inexation et la recherche u contenu visuel es onnées multiméias, notamment es images. Dans cette thèse, nous nous intéressons aux techniques l inexation multiimensionnelles et la recherche es images fixes par le contenu. Ces techniques sont complémentaires et fonamentales pour une recherche rapie et efficace ans un système e recherche images par le contenu. Les techniques inexation image ont pour but organiser un ensemble e escripteurs (un escripteur étant un vecteur e réels écrivant le contenu visuel une image et pouvant être e très grane imension) afin que les procéures e recherche soient performantes en temps e réponse. Cette organisation se trauit généralement par une structuration es escripteurs en petits ensembles et par l application e stratégies e recherche capable e filtrer toutes les images non pertinentes qui seront évitées (non parcourues) penant la recherche garantissant ainsi un temps e recherche acceptable par l utilisateur. Les techniques e recherche par le contenu quant à elles, consistent à évelopper et à appliquer es outils qui permettent e sélectionner les images les plus pertinentes par leurs contenus. Lors une interrogation, un (ou plusieurs) escripteur, généralement hétérogène, est tout abor extrait à partir e l image requête. Ce escripteur requête est ensuite utilisé pour retrouver les escripteurs stockés ans la base qui lui sont les plus proches en terme e similarité. Les escripteurs trouvés permettent obtenir les images auxquelles ils sont associés et qui, e fait, sont censés être similaires à l image requête. La mise en œuvre e ces outils inexation et e recherche ans un contexte e très grane collection images fait appel à es techniques éveloppées ans eux omaines ifférents : l analyse images et les bases e onnées. Cette mise en œuvre s effectue ans le care un Système e Recherche Images par le Contenu (SRIC ou CBIR pour Content Base Image Retrieval). Objectif e la thèse Les techniques inexation et e recherche images basée sur le contenu visent à extraire automatiquement es caractéristiques visuelles es images et à les organiser ans es inex multiimensionnels pour ensuite faciliter la recherche ans les granes bases images. Ces techniques ont une complexité particulière liée à la nature es onnées manipulées. La littérature fait état e iverses approches inexation et e recherche e onnées e caractère multiimensionnelles. Parmi ces approches, certaines souffrent e la maléiction e la 1

12 Introuction Générale imension [Web 98][Ams 01]. D autres, par contre, sont spécifiques à une représentation particulière es onnées (istribution uniforme es onnées, espaces métriques ). Il parait onc nécessaire élaborer es techniques inexation multiimensionnelles qui soit aaptées aux applications réelles pour aier les utilisateurs à faire une recherche rapie et efficace. L inexation et la recherche basées sur le contenu comporte trois principales opérations relativement complexes 1. La escription automatique consistant à extraire es signatures compactes u contenu visuel e l image.. La structuration e l espace e escription (inexation), consistant à mettre en place une structure inex multiimensionnelle permettant une recherche efficace pour es milliers, voire es millions images. 3. La recherche par similarité ans laquelle une istance est associée à chaque type e escripteur, puis une recherche es k plus proches voisins est effectuée. Notre thèse consiste à traiter les ifférentes étapes citées ci-essus en se focalisant essentiellement sur l inexation multiimensionnelle et la recherche par le contenu ans les granes bases images fixes. En fait, il s agit e évelopper une méthoe rapie et efficace inexation et e recherche es k ppv qui soit aaptée aux applications inexation par le contenu et aux propriétés es escripteurs images. Nous nous intéressons ans un premier temps à l inexation multiimensionnelle. En effet, la problématique se complexifie lorsque la taille e la base evient conséquente et que les escripteurs eviennent e grane imension. La recherche est généralement effectuée une manière exhaustive sur la totalité e la base ce qui se trauit par un temps e réponse inacceptable par l utilisateur. Dans la littérature, plusieurs techniques conventionnelles inexation multiimensionnelles ont été proposées pour l optimisation u temps e réponse. Ces techniques permettent e réuire la recherche séquentielle à un sous ensemble e paquets e vecteurs en regroupant ces erniers ans es formes géométriques particulières (rectangle, sphère, etc.) et en utilisant es stratégies e filtrage. Ceci permet par conséquent e réuire le nombre E/S ainsi que le nombre e calculs e istance. Malheureusement, la performance es techniques conventionnelles inexation multiimensionnelle se égrae ramatiquement lorsque la imension es onnées augmente [Web 98], phénomène connu sous le nom e la maléiction e la imension qui ren la recherche séquentielle exhaustive bien meilleure qu une recherche sur les structures inex conventionnelles. Pour cela, es techniques inexation multiimensionnelles basées sur l approche approximation ont été proposées [SYUK 00][Ter 0], elles reposent sur la compression es onnées où un coage particulier es onnées est appliqué permettant améliorer la recherche séquentielle par es stratégies e filtrage. Les méthoes inexation basées sur l approche approximation sont consiérées comme efficaces pour gérer les vecteurs e grane imension [Web 98], mais leur intégration ans un système e recherche et inexation basé sur le contenu (très gran volume e onnées, très grane imension, aucune hypothèse sur la istribution es onnées, etc.) pose e sérieux problèmes. Notre objectif est améliorer l efficacité e ces techniques inexation et apporter es réponses au problème u passage à l échelle et e la maléiction e la imension pour pouvoir ensuite intégrer ces techniques ans un système e recherche par le contenu. Notre secon objectif consiste à appliquer une méthoe inexation multiimensionnelle basée sur l approche approximation, à la recherche images basée sur le contenu. Rappelons qu il s agit e mettre en place es techniques permettant e sélectionner les images les plus pertinentes par leur contenu relativement à une requête onnée selon ifférents types e escripteurs (couleur, texture, forme). L intégration e ces techniques ans un système SRIC est confrontée à e nombreux problèmes. Le premier se pose lors e l étape inexation. En effet,

13 Introuction Générale cette étape consiste à gérer les escripteurs caractéristiques es images auxquelles sont associés plusieurs types e onnées écrivant à la fois la couleur, la texture, la forme, etc. es images. Ces escripteurs possèent généralement un très gran nombre e composantes (>100), onc une grane imension ifficile à gérer par les méthoes inexation existantes en raison u problème e la maléiction e la imension. Le euxième problème se présente lors e la structuration e l espace e escription. Il s agit à ce stae e structurer et organiser en inex es vecteurs multiimensionnels composés es ifférents types attributs qu on ésignera par escripteurs hétérogène. Cette structure inex evrait regrouper les escripteurs ans es formes géométriques particulières e sorte que les escripteurs appartenant à la même forme soient similaires en termes une istance onnée. D où le troisième problème qui consiste à éfinir une istance permettant une part e mieux approximer la proximité entre les vecteurs attributs hétérogène ans l espace multiimensionnel et autre part estimer le plus fièlement possible la similarité visuelle entre les images. Notre objectif est onc élaborer une technique inexation multiimensionnelle qui répone efficacement à ces problématiques et permettant ainsi une recherche efficace et rapie ans un SRIC. Synthèse es contributions Notre travail a abor porté sur l amélioration es méthoes inexation basées sur l approche approximation, pour réponre aux problèmes e la maléiction e la imension et réuire le temps e la recherche ans les espaces e grane imension et au passage à l échelle. D abor, nous avons passé en revue les principales méthoes basées sur l approche approximation et nous avons ensuite comparé leurs principales caractéristiques. Sur la base e cette étue, nous avons choisi améliorer les performances e la méthoe RA-Blocks [Ter 0] en raison es avantages quelle présente. La méthoe proposée (RA + -Block) repose sur un nouvel algorithme e partitionnement qui permet améliorer notablement les performances e la structure inex u RA-Blocks en terme e capacité e stockage et e temps e recherche en générant es régions compactes et isjointes. Les résultats e ces travaux ont été publiés ans [1][8] La euxième contribution est la proposition une mesure e similarité aaptée aux onnées réelles lors e l inexation et e la recherche par le contenu. Nous avons opté pour une représentation e la similarité par fonction noyau. Ainsi, toutes les mesures e similarité et calculs e istance auxquels nous nous sommes intéressés sont entièrement basés sur ce formalisme. Nous avons étuié les ifférents paramètres e la fonction noyau et nous avons proposé une stratégie e sélection es paramètres qui permettent une meilleure estimation e la similarité entre escripteurs hétérogènes ainsi qu une représentation iscriminante es onnées ans l espace e caractéristiques. Les résultats e ces travaux ont été publiés ans [4]. La troisième et principale contribution est la conception une méthoe efficace inexation et e recherche par le contenu particulièrement aaptée aux onnées e nature hétérogènes (KRA + - Blocks). Cette méthoe permet accélérer consiérablement le temps e la recherche et améliorer significativement la qualité es résultats retournés, particulièrement pour les granes bases e escripteurs attributs hétérogènes. La méthoe proposée combine une méthoe non linéaire e la réuction e la imension et une méthoe inexation multiimensionnelle fonée sur l approche approximation pour faire face au problème e la maléiction e la imension et à celui e l inexation es onnées hétérogènes. La réuction non linéaire e la imension permet utiliser et exploiter les propriétés es fonctions noyau pour éfinir une mesure e similarité aaptée à la nature es onnées. Pour améliorer la qualité 3

14 Introuction Générale e la recherche, nous avons également implémenté un schéma e bouclage e pertinence avec une approche statistique. Nous avons moélisé le problème e la recherche par une classification binaire, ans laquelle nous avons créé un moèle pour iscriminer la classe es images pertinentes e celle es images non pertinentes, ceci à travers le calcul es probabilités es classes e vecteurs. Les résultats e ces travaux ont été publiés ans [5][6]. La quatrième contribution e cette thèse est l intégration e la méthoe inexation multiimensionnelle KRA + -Blocks au moteur e recherche par le contenu es images fixes IMALBUM, éveloppé au sein u LIRIS. Nous avons mené es expérimentations pour évaluer nos eux méthoes (RA + -Blocks et KRA + -Blocks) à très granes échelle (base e éléments) et avec es escripteurs visuelles e grane imension (=5), ce qui est rarement le cas ans la littérature. Cela nous a permis e montrer que l utilisation e l approche approximation e régions et l approche noyau permettent être très robuste à l augmentation e la taille e la base e onnées et e la imension es escripteurs utilisés aussi bien pour la qualité que pour le temps e recherche. Cela a également montré que la combinaison e plusieurs types e escripteurs en une seule structure inex est possible grâce à l approche e similarité que nous avons proposée. Description es chapitres Ce ocument écrit l ensemble es travaux menés ans le care e cette thèse sur la recherche par similarité ans les granes bases e onnées multiméias: application à la recherche par le contenu ans les bases images. Il comporte cinq chapitres écrits comme suit : Le premier chapitre propose un tour horizon es principales approches e la escription e l apparence visuelle. Nous commençons par la présentation es principales méthoes extraction automatiques es caractéristiques visuelles es images (couleur, texture, et forme) en précisant à chaque fois, les techniques mises en œuvre ans cette thèse pour la escription. Nous présentons ensuite les principales mesures e similarité qui existent ans la littérature et nous énumérons celles utilisées par les systèmes e recherche images basée sur le contenu. Enfin, nous introuisons la notion e similarité par l approche noyau, nous présentons quelque aspect e cette théorie ans notre contexte et nous proposons une généralisation e la notion e istance par cette approche. Le euxième chapitre est composé e trois paragraphes. Dans le premier, nous passons en revue les principales techniques conventionnelles inexation multiimensionnelle en étaillant respectivement les approches basées sur le partitionnement e onnées et sur le partitionnement e l espace. Le euxième présente brièvement les problèmes e la maléiction e la imension qui perturbent le fonctionnement es techniques inexation. Nous présentons ans le même paragraphe les principales techniques e la réuction e la imension qui ont été proposées ans la littérature pour contourner ces problèmes. Dans le ernier paragraphe e ce chapitre, sont présentées les nouvelles méthoes pour la recherche et l inexation es onnées multiimensionnelles basées sur l approche approximation ou filtrage Pour épasser les limites e la méthoe inexation basée sur l approche approximation RA- Blocks, particulièrement au niveau u écoupage e l espace e onnées, nous proposons ans le troisième chapitre une autre méthoe que nous avons appelée RA+-Blocks. Nous présentons abor les méthoes e partitionnement e l espace e onnées KD-Tree et KDB-Tree sur lesquelles sont basées respectivement les eux méthoes RA + -Blocks et RA-Blocks. Nous présentons ensuite la méthoe RA-Blocks. Enfin notre méthoe inexation et e recherche basée sur l approche approximation RA+-Blocks est étaillée. 4

15 Introuction Générale Le quatrième chapitre est consacré à la présentation e notre méthoe KRA + -Blocks. Nous présentons abor les principales méthoes inexation basée sur l approche noyau, puis nous étaillons notre nouvelle méthoe inexation. Dans le cinquième chapitre, estiné à la présentation et à la iscutions es résultats expérimentaux, nous présentons le contexte es évaluations, puis nous effectuons une série expérimentations qui permettent e valier nos eux méthoes inexation et e recherche sur es bases images réelles et synthétiques. La conclusion générale présente une synthèse es travaux effectués ans cette thèse. Elle écrit aussi les perspectives que nous proposons au prolongement e ce travail e recherche 5

16 Chapitre 1 : Recherche par le contenu ans les bases images fixes Chapitre 1 Recherche par le contenu ans les bases images fixes L objectif e ce chapitre est faire un tour horizon es principaux concepts e base relatifs à la recherche images basée sur le contenu. Nous présentons abor les principales approches pour la escription e l apparence visuelle es images fixes permettant une recherche efficace par le contenu. Ensuite, nous introuisons les ifférentes approches e mesure e similarité proposées ans la littérature, nous intéressant particulièrement à la notion e similarité par l approche noyau. 1 Introuction Comme l inique clairement leur nom, les "systèmes e recherche images par le contenu" (SRIC ou CBIR avec le vocable Anglais) ont pour fonction principale e permettre la recherche images en se basant non pas sur es mots clefs, mais sur le contenu propre es images. Les applications e tels systèmes sont très nombreuses et assez variées. Elles incluent es applications juiciaires : les services e police possèent e granes collections inices visuels (visages, empreintes) exploitables par es systèmes e recherche images. Les applications militaires, bien que peu connues u gran public, sont sans oute les plus éveloppées [Eak 99] : reconnaissance engins ennemis via images raars, systèmes e guiage, ientification e cibles via images satellites en sont quelques exemples. Bien autres applications existent telles que le iagnostic méical, les systèmes information géographiques, la gestion œuvres art, les moteurs e recherche images sur Internet et la gestion e photos personnelles, etc. Le besoin en recherche images par le contenu est réel, et les problématiques sont nombreuses et variées. Dans le omaine militaire par exemple, la recherche engins ennemis ans les bases images raars ne présentera pas les mêmes ifficultés que la recherche e voitures, voire une voiture en particulier, ans une base images généralistes. Toutefois, certaines phases relatives aussi bien à l inexation e la base qu à la recherche ans celle-ci vont être nécessaires ans tous les cas e figure. Les SRIC ont pour vocation e réponre efficacement aux requêtes e l utilisateurs, ils s appuient généralement sur une représentation e bas niveau u contenu e l image. La recherche se fait ainsi par comparaison es caractéristiques. Malheureusement, la conception 1

17 Chapitre 1 : Recherche par le contenu ans les bases images fixes un système permettant assister es utilisateurs ans leurs tâches e recherche images est confrontée à es problèmes très ivers. Parmi les ifficultés pouvant être rencontrées [Eak 99] : 1. Comprenre les utilisateurs images et leurs comportements : e quoi les utilisateurs ont-ils réellement besoin?. Ientifier une manière "convenable" pour écrire le contenu e l image. C est une tâche renue ifficile par l aspect sémiotique es images. 3. Comparer les requêtes et les images e la base e manière à refléter fièlement les jugements e similarité humains. Cette comparaison s effectue à travers une mesure e similarité, généralement explicité sous forme une istance 4. Fournir es interfaces conviviales : c est la vitrine u système permettant la représentation es résultats et qui peut s avérer fonamentale en présence un mécanisme e bouclage e pertinence. 5. Offrir es temps e réponse acceptables : cette contrainte requière une stratégie inexation et e recherche pour naviguer efficacement ans les granes bases images. Le schéma générique SRIC peut être représenté par le igramme e la figure 1.1. Deux processus principaux oivent exister. Un premier qui calcule les escripteurs es images e la base et un secon qui, à partir es escripteurs et es paramètres e la requête, recherche les images positives et les fournit à l utilisateur. Base images Base inex Inexation Calcul es escripteurs Requête e l utilisateur Descripteur e la requête Utilisateur Réponse Requête Pertinence Moteur e recherche Fig 1.1 Schéma un système e recherche images par le contenu Cette phase e recherche est souvent couplée avec une possibilité interaction u système avec l utilisateur, ce qui permet e raffiner le processus e recherche en iniquant au système les résultats pertinents et ceux qui ne le sont pas. Les informations fournies sont alors exploitées pour améliorer la recherche ans une phase ite e bouclage e pertinence (Relevance feeback). Toutes les images e la base sont écrites à l aie es escripteurs. Ceux-ci oivent contenir es attributs iscriminants permettant une bonne escription u contenu e l image et être associés à une mesure efficace e la similarité.

18 Chapitre 1 : Recherche par le contenu ans les bases images fixes Représentation u contenu visuel es images La performance es systèmes e recherche épen pour une grane partie u choix es escripteurs employés et es techniques associées à leur extraction. De nombreux escripteurs sont utilisés ans les systèmes e recherche pour écrire les images. Ceux-ci peuvent être ifférenciés selon eux niveaux : Les escripteurs e bas niveau : les plus utilisés ans les systèmes actuels sont la couleur, la texture et la forme, leur pouvoir e iscrimination étant limité au contenu visuel e l image. Les escripteurs e haut niveau : tenent à se rapprocher u contenu sémantique e l image, et peuvent être soit extraits automatiquement soit fournis par l utilisateur sous forme e mots-clefs lors e l inexation. Cepenant, l extraction automatique ne semble réaliste actuellement que sur es bases thématiques. La normalisation MPEG7 [Man 0] a justement pour objectif e stanariser la escription es contenus multiméia, en proposant pour chaque type e contenu (image, son, viéo), les attributs à écrire ainsi que les escripteurs associés à chaque attribut. Le but ici n est pas u tout être exhaustif, mais plutôt e présenter brièvement quelques escripteurs proposés pour l image, puis e revenir sur ceux que nous avons utilisés ans le care e ce travail..1 Descripteurs couleur Le fort pouvoir e iscrimination e la couleur en fait un attribut omniprésent ans la grane majorité es systèmes inexation et e recherche par le contenu. De nombreux escripteurs sont proposés ans la littérature et nous pouvons consiérer qu ils forment granes catégories : o Les escripteurs relatifs à l espace couleur, où il s agit e représenter les principales couleurs une image, tout en fournissant es informations sur leur importance, leur istribution colorimétrique, etc. o Les escripteurs incluant es informations spatiales relatives à la istribution ans le plan image e la couleur, à la connexité entre couleurs, etc. Ces classes e escripteurs sont complémentaires et généralement les systèmes font appel à ces eux aspects. MPEG7 propose naturellement es escripteurs pour les familles. Les couleurs ominantes, les quantifications es espaces couleur pour la première, et les escripteurs "Color Layout", "Color Structure" et "Scalable Color" pour la secone. Nous ne étaillerons pas ces escripteurs ici. Toute fois, l approche la plus courante et la plus rencontrée ans la littérature est l histogramme couleur. De très nombreux auteurs ont proposé iverses manières utiliser l histogramme comme escripteur, ainsi que iverses istances associées qui permettent e mesurer la similarité entre eux histogrammes. Dans [Swa 91], Swain et Ballar ont suggéré e écrire la couleur une image à l aie e son histogramme couleur et ont éfini l intersection histogrammes couleur comme mesure e similarité entre une image histogramme I et un moèle histogramme M par : n j= 1 min ( I, ) j M j (1.1) 3

19 Chapitre 1 : Recherche par le contenu ans les bases images fixes qu il est possible e normaliser par : H sect n ( I, M ) min j j j= 1 ( I, M ) = (1.) n M j= 1 j Cette mesure semble la plus référencée ans la littérature car ayant servi e base à bon nombre e travaux qui ont cherché à l améliorer. Stricker & Orengo [Str 95] montrent que l utilisation e l histogramme cumulé H I) = ( h, h,..., h ) une image I éfini par : ( c1 c cn h = (1.3) c h j c l c l < c j où H ( I) = ( hc1, hc,..., hcn ) représente l histogramme couleur classique, permet e gagner en robustesse aux changements locaux e forme et aux petits écalages ans l image. La mesure e similarité peut être effectuée par la istance L1, L ou L. Les auteurs consièrent que c i < c j si les valeurs es 3 composantes e la couleur c i sont inférieures respectivement aux 3 composantes couleur e la couleur c j. Syea [Sye 00] propose e écrire la couleur par le vecteur : ( C Nb, { δ C }, { H ( δ )} ), (1.4) i C i C étant un paramètre pour iniquer l espace e travail, Nb le nombre e couleurs quantifiées ième utilisées, δ C i la valeur e la i couleur et H ( δ C i ) le pourcentage e pixels rattachés à cette couleur. Une istance e mesure e similarité est proposée, à partir e la éfinition une matrice A e similarité entre couleurs, où l élément a ( i, j) représente la similarité entre la couleur i et la couleur j. La istance est onnée par : V T = V. AV. (1.5) V étant un vecteur représentant la ifférence, élément par élément, es histogrammes es images à comparer. Cette istance tient compte aussi bien e la ifférence entre les couleurs, que e la quantité e présence une couleur ans les eux images. Hafner [Haf 95] propose une istance ponérée entre histogrammes afin e tenir compte e la similarité entre couleurs : ist hist ( H H ') = a ( h h ')( h '), ij i j h i j (1.6) ' où et h ésignent respectivement bins es histogrammes H et H ', et ou h i j a ij i j istij = 1 (1.7) max ij ( ist ) ( ) ist ij a ij = exp cst maxij istij (1.8) représente la similarité entre les couleurs i et j, istij étant la istance eucliienne entre ces couleurs et cst une constante positive. L auteur fait appel à une autre istance ist avr, plus souple et beaucoup plus rapie à calculer, afin e réaliser un premier filtrage sur les images e la base, éliminant ainsi une bonne partie e celles-ci, et n effectuant le calcul e la istance que sur les images éjà présélectionnées. ij ist hist 4

20 Chapitre 1 : Recherche par le contenu ans les bases images fixes La istance ist avr choisie représente en fait la istance eucliienne entre les vecteurs e couleur moyens e images. Une autre approche pour caractériser la couleur est l utilisation es moments statistiques, l histogramme étant une ensité e probabilité. Stricker [Str 96] propose e calculer pour chaque canal la moyenne, la variance et le moment orre 3, afin e caractériser la istribution e la couleur. Il éfinit ensuite une istance entre eux images par : I H I H I ( I, H ) = w µ + w σ σ + w s µ s (1.9) i1 i i i i i i3 I I I avec µ i, σ i et s i représentent respectivement la moyenne, la variance et le moment orre 3 ième u i canal e l image I. Les w ij étant es ponérations associées à chaque terme. Au niveau es espaces couleur utilisés, e très nombreux travaux ont également été menés, notamment ceux cherchant à offrir es espaces perceptuellement uniforme, et ans lesquels une istance mesurée entre couleurs reflète bien la ifférence entre celles-ci. L espace e base est l espace RGB, cepenant non seulement il ne présente pas cette propriété, mais en plus les trois composantes Rouge, Vert, Bleu sont très corrélées. Parmi les espaces perceptuellement uniformes les plus utilisés nous avons les espaces Lab et Luv. Ceux-ci sont obtenus à partir e l espace RGB par es transformations non linéaires. Dans ce travail, nous avons opté pour les couleurs ominantes en limitant le nombre maximal e celles-ci à 5, le escripteur utilisé est celui utilisé ans le système IMALBUM [Ir 03], il contient les couleurs ominantes CDi, leur pourcentage pri, leur variance σ i, la cohérence spatiale SCR(i), et le maximum e l histogramme u graient G [Ir 01]. Notons que CDi, pri,etσ i sont éterminés lors e la segmentation en consiérant l espace couleur Lab. H s ( c) Rappelons que la cohérence spatiale est onnée par : SCR( i) =, où H représente H ( c) Y = 1X 1 i= 0 j= 0 l histogramme couleur classique, et H ( c) δ ( I( i, j), c). α( i, j), où I est l image segmentée s e taille ( X, Y), c est la couleur u pixel ( i, j), δ ( i, j) est le symbole e Kronecker et α ( i, j) éfini par : ' ' 1 si k, k [ W, W ] I( i + k, j + k ) = I( i, j) α( i, j) = (1.10) 0 sin on i H i En éfinitif, le escripteur couleur associé à chaque image e la base est e la forme : CD, pr, σ, SCR(1),..., CD, pr, σ, SCR( L), ) ( L L L G où L est le nombre e couleurs ominantes utilisées (ans notre cas L =5) Nous avons également utilisé l histogramme couleur es couleurs ominantes (Lab) en supposant une istribution Gaussienne es couleurs.. Descripteurs texture La texture est une caractéristique fonamentale es images, car elle concerne un élément important e la vision humaine. Il n existe pas e éfinition précise et consensuelle e la texture en vision par orinateur. On parle fréquemment e répétition e motifs similaires, sans pour autant que cette notion soit exhaustive. De manière générale, la texture se trauit par un arrangement spatial es pixels que l intensité ou la couleur seules ne suffisent pas à écrire. Elle peut consister en un placement structuré 5

21 Chapitre 1 : Recherche par le contenu ans les bases images fixes éléments mais peut aussi n avoir aucun élément répétitif. On peut ainsi grâce à la texture faire la ifférence entre un coucher u soleil et une orange. Elle trauit onc l aspect homogène une zone et peut être écrite selon ses propriétés spatiales et fréquentielles. L approche basée sur la configuration spatiale e l image consiste à représenter la texture sous forme un histogramme en niveau e gris. Des moments statistiques sont alors calculés sur les matrices e cooccurrences pour onner es inications sur le contraste, la irectionalité, la périoicité u motif, etc. [Har 73, Ha 93]. Les matrices e cooccurrence éfinissent la probabilité jointe e l occurrence e eux niveaux e gris quelconques ans une image. Chaque élément i ( x, y) e position ( x, y) ans cette matrice, ren compte e la probabilité que eux niveaux e gris x et y apparaissent conjointement ans un certain voisinage. Plusieurs statistiques peuvent alors être calculées sur la matrice e cooccurrence. Citons, par exemple : l énergie, l entropie, le contraste et l homogénéité. Néanmoins, e telles approches sont limitées u fait que la pertinence es résultats épen es zones traitées e l image, ainsi que es valeurs es paramètres liés à la méthoe (orientation et pas). L une es méthoes e escription e la texture les plus utilisées concerne les propriétés fréquentielles et s appuie sur la transformée e Fourier, la représentation e Gabor, les onelettes et la transformée en cosinus iscrète [Man 96a, Nas 98]. Elle repose sur l analyse une fonction e ensité spectrale ans un omaine fréquentiel [Baj 73], les coefficients une transformation biimensionnelle iniquant la corrélation es motifs ans une image. La granularité e la texture étant proportionnelle à la périoe spatiale, les textures e grane granularité ont une énergie spectrale concentrée aux fréquences basses alors que les textures plus fines concentrent leur énergie aux fréquences hautes. Puisque les textures sont la répétition un motif, elles seront caractérisées par es pics ans la représentation fréquentielle e l image (les textures fines ans les fréquences hautes et les textures grossières ans les basses fréquences). L iée consiste onc à écrire une image I( x, y) comme étant un signal à eux variables spatiales x et y. Ce signal est écomposé comme une somme ponérée e fonctions sinusoïales. Le pois e chacune e ces fonctions ans la écomposition est calculé par le coefficient e Fourier F f x, f ) où : F( f, f ) x y = + + I( x, y) e iπ ( f x x+ f y y) ( y xy, (1.11) f x et f y sont les fréquences spatiales e l image I( x, y). Les escriptions e type Fourier écomposent l image sur es fonctions sinusoïales, qui ont la propriété e s étenre inéfiniment ans l espace. Une telle escription est onc aaptée à es signaux périoiques ou quasi-périoiques, mais trouve sa limitation pour es signaux plus complexes, présentant e fortes iscontinuités. Or, les images présentent justement ce type e caractéristiques. C est pourquoi autres écompositions ont été utilisées, comme celles ite e Gabor. L iée fonatrice e la méthoe e Gabor est e écomposer l image sur es fonctions analysantes obtenues à partir une fonction sinusoïale orientée sur l axe es x et moulée par une enveloppe gaussienne ans les irections x et y. Ces fonctions sont ensuite générées par ilatation et rotation. Les filtres e Gabor sont largement utilisés aujour hui, notamment u fait e leur pertinence en regar u système visuel humain. En effet, Marcelja [Mar 80] a montré que les cellules u cortex humain pouvaient être moélisées par es fonctions e Gabor à une imension. Daugman [Dau 85] a élargi ce moèle à eux imensions. 6

22 Chapitre 1 : Recherche par le contenu ans les bases images fixes Cepenant, une limitation provient u choix non trivial es paramètres pour éformer la fonction analysante. Une classe plus générale e méthoes e escription espace - fréquence est ainsi couramment utilisée en traitement images : les analyses multi-résolution par onelettes. Etant onnée la nature es bases images utilisées ans le care e notre travail, nous n avons pas fait appel au escripteur e texture..3 Descripteurs forme La forme est l un es attributs bas niveau également le plus utilisé pour écrire le contenu visuel es images. L importance e la forme pour la recherche images peut être constatée par le simple fait que plusieurs systèmes SRIC incorporent une façon ou une autre es escripteurs e formes [Fli 95, Gev 00, Pen 96]. Ces erniers sont utilisés pour écrire la structure géométrique générique u contenu visuel. Zhang et al. [Zha 04] ont proposé e classifier les escripteurs e forme en eux familles : o Descripteurs orientés région : qui écrivent les objets selon la istribution spatiale es pixels qui les constituent. o Descripteurs orientés contour : qui écrivent les objets selon leur contour externe. Pour chacune e ces approches (région ou contour), on peut ensuite istinguer eux sous familles : o Celles qui écrivent globalement les objets. o Celles qui écrivent les objets en les consiérant comme un arrangement e sous parties (structurelles). o La hiérarchie entière e cette classification et les principales méthoes couramment citées ans la littérature sont présentées ans la figure 1.. Descripteur e forme Basé contour Basé région Structurel Global Global Structurel Chaînes Smooth curve ecomposition Les approximations polygonales primitives géométriques simples Distance e Hausorff Shape contexte Elastic matching Analyse multi-echelle Transformé e Fourier Moment e périmètre Shape signature Angular Raial Transform Les moments géométriques Les moments orthogonaux Shape matrix Les moments e Zernike Les moments e Legenre Axe méiane Enveloppe Fig. 1.. Classification es escripteurs e formes D 7

23 Chapitre 1 : Recherche par le contenu ans les bases images fixes Quelque soit la méthoe utilisée, il emeure important que certaines propriétés invariance soient vérifiées, notamment pour la translation, le changement échelle et la rotation, u fait que l être humain corrige instinctivement les effets e ces transformations lors e la recherche un objet. Dans certaines applications, la robustesse à l occultation peut également être souhaitée. Pour les escripteurs orientés contour, un exemple classique est l histogramme es orientations es contours [Jai 98], qui pren en compte l angle u graient calculé pour es pixels e contours. Cet histogramme onne une escription approximative e la forme ans une image, calculée sur les régions e l image où il y a suffisamment activité e la couleur pour générer es contours. D autres escripteurs sont basés sur les coins et les contours ans les segments e frontières [Pet 00]. En utilisant seulement l information sur la frontière es objets, ces escripteurs ignorent les informations ponctuellement importantes contenues à l intérieure es objets. Dans [Bel 0, Scl 95] les auteurs utilisent es configurations spatiales e points intérêt situés à l intérieur es contours, mais la méthoe est couteuse en temps e calcul, en raison e la nécessité e localier les points. De plus, l absence e points intérêt peut affecter les performances. La théorie es moments géométriques, qui utilisent es éveloppements en série pour représenter la forme es objets, évite ce type e problème [Ter 98]. [Hu 6] propose plusieurs fonctions non linéaires éfinies sur les moments géométriques qui sont invariantes à la translation, à la rotation et aux changements échelle. Ces escripteurs ont été appliqués avec succès à l ientification avions, e navires et e visage [Ter 98]. Dans cette catégorie nous trouverons également les escripteurs e Fourier qui écrivent le contour par ses composantes fréquentielles [Per 77, Zha 01], les moments e Zernike et Zernike moifié [Tea 80], qui ont été aaptés par e nombreux auteurs [Ter 98, Kim 00], les invariants ifférentiels [Gev 04], es escripteurs basés sur la transformée e Hough [Fer 05], et les escripteurs élémentaires, comme le rapport longueur/largeur u rectangle englobant, l isotropie, et enfin le escripteur CSS (Curvature Scale Space) [Mok 9] recommané par MPEG7. Daoui et al [Dao 00] ont proposé utiliser la istance géoésique éfinie ans [Ebe 94]. Ainsi au lieu e calculer cette istance parmi l ensemble e points e CSS ( u, σ ), les auteurs ont proposé l utilisation es maximums es CSS calculés à partir un certain seuil σ pour inexer le contour e la forme Les escripteurs orientés région ont également été beaucoup utilisés. Nous focalisons sur le escripteur ART (Angular Raial Transform) introuit par [Kim 99], et que nous avons exploité ans le care e ce travail. Le principe e ce escripteur est e projeter l objet à étuier sur une série e fonctions e base (Fig1.3) Fig 1.3 Parties réelles es fonctions e base ART Le escripteur est constitué un vecteur e 33 coefficients obtenus par l équation : 8

24 Chapitre 1 : Recherche par le contenu ans les bases images fixes F π 1 * = I nm( ρ, θ ), f ( ρ, θ) = I nm( ρ, θ ), f ( ρ, θ ρρθ (1.1) nm ) 0 0 ans laquelle I représente l image à écrire et f, l une es 33 fonctions e bases utilisées. Ce escripteur e formes possèe e nombreuses propriétés : petite taille, robuste aux bruits, invariance aux changements échelle et à la rotation, possibilité e écrire es objets complexes..4 Combinaison es escripteurs Les attributs e bas niveau (couleur, texture, forme) écrivent les images par leur contenu visuel. Ces attributs peuvent être combinés pour caractériser e façon encore plus efficace le contenu. Cepenant, ans e très nombreuses situations, un attribut seul ne suffit pas pour écrire le contenu e l image. Il est onc intéressant e combiner ces ifférents attributs pour une recherche plus efficace et plus iscriminante. Les problèmes qui se posent lors e la combinaison e ces ifférents attributs pour la recherche et l inexation sont au moins e trois orres : La mesure e similarité : Celle-ci est une étape primoriale ans tout système e recherche. Dans le cas où les images sont écrites par ifférents attributs, une solution classique pour mesurer la similarité est e calculer séparément les mesures e similarité pour chaque attribut puis en éuire une mesure composée e la similarité globale entre les images. Cela suppose bien éviement que les ifférents attributs sont inexés séparément (avec es structures inex séparées). Or, en base e onnées, Il existe peu e méthoes qui utilisent plusieurs inex pour structurer les onnées. Une autre ifficulté relative à la similarité est e éterminer comment combiner plusieurs mesures éfinies souvent sur es omaines ifférents, avec es ynamiques ifférentes, es egrés importance ifférents, notamment pour l utilisateur, mais également e natures ifférentes. L espace e escription : Le choix e l espace e escription consiste à chercher les attributs (escripteurs) visuels significatifs e la base images, l ensemble e ces attributs étant représenté par un nuage e points ans un espace e imension élevée. Un problème qui se pose, si les vecteurs contiennent plusieurs attributs, est celui e la imension e l espace e escription. Ce problème est connu ans la communauté es bases e onnées par "la maléiction e la imension" ou "imensionality curse avec le vocable anglais" La structuration : la phase e construction une structure inex est une étape utile ans le cas où les onnées sont volumineuses et appartiennent à un espace e escription e grane imension. Cela revient à structurer les nuages e points relatifs aux escripteurs es images et à les stocker efficacement en machine. Cette tâche e structuration peut s avérer ifficile ans le cas où les onnées à structurer sont e nature hétérogène. La ifficulté résie notamment ans le choix e la istance à utiliser pour la structuration (mise en place un inex) et ans la normalisation es ifférents types e onnées. Dans le paragraphe suivant nous aborons les ifférents aspects e la mesure e similarité. Les problèmes liés aux bases e onnées à savoir le problème e la maléiction e la imension et celui e la structuration seront traités ans les chapitres suivants. 3 Mesure e similarité Dans la majorité es SRIC, la recherche images similaires est basée sur la similarité es caractéristiques visuelles telles que la couleur, la texture ou la forme. La fonction istance 9