Recherche par similarité dans les bases de données multimédia : application à la recherche par le contenu d images

Transcription

1 UNIVERSITÉ MOHAMMED V AGDAL FACULTÉ DES SCIENCES Rabat N orre 460 THÈSE DE DOCTORAT Présentée par DAOUDI Imane Discipline : Sciences e l ingénieur Spécialité : Informatique & Télécommunications Titre : Recherche par similarité ans les bases e onnées multiméia : application à la recherche par le contenu images Soutenue le 17 juillet 009. Devant le jury Présient : D. ABOUTAJDINE Professeur à la Faculté es Sciences e Rabat Examinateurs : A. Baskurt Professeur à l Institut National es Sciences Appliquées e Lyon-LIRIS M. DAOUDI Professeur à Télécom Lille 1-ENIC H. Ibn El Haj Professeur Habilité à l Institut National es postes et télécommunication e Rabat K. Irissi Maître e conférence à l Institut National es Sciences Appliquées e Lyon-LIRIS S. Ouatik Professeur Habilité à la Faculté es Science Dhar El-Mahraz e Fès Faculté es Sciences, 4 Avenue Ibn Battouta B.P RP, Rabat Maroc Tel +1 (0) /35/38, Fax : +1 (0) ,

2

3 Table es matières Avant Propos Le travail présenté ans ce mémoire a été effectué ans le care 'une co-tutelle entre le laboratoire marocain LRIT (laboratoire e Recherche en Informatique et Télécommunications) e la Faculté es Sciences e Rabat sous la irection u Professeur Driss Aboutajine et le laboratoire français LIRIS (Laboratoire 'Informatique en Image et Systèmes information) sous la irection u Professeur Atilla Baskurt. Je remercie M. Driss Aboutajine Professeur enseignement supérieur à la faculté es Sciences e Rabat pour son suivi et ses encouragements tout au long e ce travail e thèse e octorat. Mes remerciements vont aussi à Mr Atilla Baskurt Professeur enseignement supérieur à l INSA e Lyon pour son encarement et son suivi rigoureux et patient urant ces années e thèse. Ensuite, je tiens à remercier Mr Mohame DAOUDI Professeur es universités à Télécom Lille 1 et Mr Ibn Lhaj El Hassan Professeur Habilité pour avoir consacré u temps à lecture e cette thèse ainsi pour avoir soumis leur précieux jugement sur la qualité et le contenu e ce travail. Je vourais exprimer ma profone reconnaissance envers mon co-irecteur Khali Irissi maitre e conférence à l INSA e Lyon pour toute l attention et le soutien qu il m a portés penant ces années e thèse et pour sa très grane isponibilité urant toute cette périoe. Mes remerciements vont aussi à mon co-encarant Mr Sai Ouatik professeur Habilité à la faculté es Sciences e Fès pour son suivi. Merci à mes parents et mes frères et sœurs pour leur soutien urant toutes ces années 'étues: je ne saurais être qu'infiniment reconnaissante quant aux sacrifices qu'ils ont consentis. Merci à tous les collègues u laboratoire LRIT et le laboratoire LIRIS pour leur amitié et bonne humeur qui ont égayé ma vie au laboratoire. Enfin merci à ceux et celles que je n'ai pas pu citer, mes sincères amitiés et remerciements.

4 Table es matières Table es matières Introuction Générale Chapitre 1 : Recherche par le contenu ans les bases images fixes 1 Introuction... 6 Représentation u contenu visuel es images 8.1 Descripteurs couleur Descripteurs texture Descripteurs forme Combinaison es escripteurs Mesure e similarité Similarités attentive et pré-attentive Similarité ans les moteurs recherche Similarité par approche noyau Astuce u noyau «Kernel Trick»...

5 Table es matières 4. Fonctions noyaux classiques Généralisation e la notion e istance à travers l astuce u noyau Synthèse... 5 Chapitre : inexation Multiimensionnelle 1 Introuction... 7 Méthoes inexation conventionnelles 8.1 Méthoes e partitionnement e onnées Méthoes e partitionnement e l espace Maléiction e la imension Problèmes inexation et e recherche ans les espaces e grane imension Techniques e réuction e la imension Méthoes inexation multiimensionnelles basées sur l approche approximation Approximation globale Approximation locale Synthèse... 63

6 Table es matières 5 Synthèse Chapitre 3: Méthoe proposée pour l'inexation et la recherche ans les espaces multiimensionnels : RA+-Blocks 1 Introuction KD-Tree Construction un KD-Tree Stratégies e subivision K-D-B-Tree et ses variantes RA-Blocks Approximation Inexation Recherche Synthèse RA + -Blocks Structuration es onnées Structure inex Interrogation e la base e onnées... 87

7 Table es matières 6 Synthèse Chapitre 4: Nouvelle méthoe multiimensionnelle par approche noyau pour l'inexation et la recherche ans les granes bases 'images basées sur le contenu : KRA+-Blocks 1 Introuction Techniques inexation par approche noyau 90.1 M-Tree à noyau KVA-File KRA + -Blocks : structure inexation multiimensionnelle pour la recherche par le contenu Réuction e la imension Propriétés e l ACPK Inexation Mesure e similarité Recherche Bouclage e pertinence Synthèse

8 Table es matières Chapitre 5 : Expérimentations 1 Evaluation es performances e RA + - Blocks Environnement expérimental Description es onnées Expérimentation 1 : Nombre e régions obtenues Expérimentation : Taux e remplissage Expérimentation 3 : Temps e réponse Evaluation es performances u KRA + - Blocks Environnement expérimental Description es onnées Expérimentation 1 : Estimation es paramètres u noyau Expérimentation : Qualité e la recherche par similarité Expérimentation 3 : Bouclage e pertinence Expérimentation 4 : Intérêt sur la combinaison es escripteurs globaux 15.7 Expérimentation 5 : Temps e la recherche Synthèse Conclusion Générale

9 Table es matières Annexe : Algorithmes 1 Construction e l inex KDB-Tree Construction e l inex KD-Tree Algorithme e recherche VA-NOA centrage es onnées ans l espace à noyau Références e l'auteur Références Bibliographiques

10 Table es figures Tables es figures 1.1 Schéma un système e recherche images par le contenu.. 1. Classification es escripteurs e formes D Parties réelles es fonctions e base ART Effet une transformation linéaire à une classification basée sur une istance Eucliienne les contours e ifférentes istances Structure u R-Tree 4. Structure géométrique u M-Tree. 6.3 Fonctionnement e l algorithme "Slim-own" La structure géométrique e la méthoe u pivot métrique PM le partitionnement e onnées selon (a) M-Tree (b) MH-Tree La corresponance entre les régions (b) et les pyramies (a) en eux imensions selon la technique e la pyramie 3.7 Exemple e requête e forme non-hyper cube Résultat u partitionnement un espace à eux imensions selon la méthoe iminmax où (a) θ = 0 (b) θ = 0. 5 (c) θ = Exemple e partitionnement e l espace e onnées (a) et (b) e construction e la structure space-tree Représentation géométrique e l inexation selon la méthoe ViTri La structure inex u Kpyr[Thi 05] Exemple estimation une istance géoésique entre eux point p 1 et p Principe e fonctionnement e l algorithme LLE Construction u VA-File Distance minimale est maximale par rapport au vecteur requête Coage es vecteurs selon LPC-File Calcul e la istance minimale et e la istance maximale entre un vecteur requête et l ensemble e vecteurs ayant la même approximation Exemple e VBR Structure inex u A-Tree. 5.0 structure inex IQ-Tree Partitionnement e l espace selon GC-Tree... Construction e l inex e l arbre GC. (a)partitionnent e l espace e onnées. 57 (b) la structure inex corresponante [Gua 0b] le principe e l approximation e la méthoe AV 58.4 Exemple e calcul e la istance minimal et maximal u vecteur requête par rapport à l approximation suivant la méthoe AV MBRs e l arbre PCR et u R-Tree La structure u KD-Tree et ses partitions ans le plan La subivision 'un espace e onnées par la méthoe stanar Application e a stratégie e ivision u point méian à l ensemble e points e l exemple précéent Partitionnement une page point. 73

11 Table es figures 3.5. Structure 'un -D-B-Tree écomposition une page région Exemple e coage es régions ans un espace e imension eux Structure inex u RA-Blocks Les istances minimales et maximales une région par rapport à un vecteur requête L algorithme e recherche es ppv k u RA-Blocks L algorithme e écoupage e l espace e onnées u RA+-Blocks Exemple e subivision es régions selon K-D-B-Tree Exemple e subivision es régions selon notre méthoe PCs for ifferent δ values. (a) Original ata. (b) PCA. (c) KPCA, δ = () KPCA, δ = (e) KPCA, = 0. 5 δ. (f) KPCA KRA+-Blocks approximations. (a) onnées originales. (b) les onnées projetées avec ACPK. (c) les bornes minimales et maximales 5.1 Le nombre e régions obtenues en fonction e la imension (a) pour es onnées 98 réelles (b) et uniformes Nombre e régions obtenues en fonction e la taille e la base e onnées La capacité e stockage u RA-Blocks et RA+-Blocks Temps e réponse en fonction e la imension Temps e réponse en fonction e la imension Temps e réponse en fonction e la taille e la base e onnées Temps e réponse en fonction e la taille e la base e onnées Un exemple (a) images e la base COIL-100 (b) classes e la base images (a) γ (, δ ) (b) σ (, δ ) (c) valeurs optimales es paramètres u noyau les courbes e rappel et e précision pour ifférentes valeurs es paramètres u noyau Les Coubes e rappel et e précision en utilisant (a) la base B1 (700) et (b) la base B (40000) Les résultats e la recherche avec la méthoe KRA+-Block ans la base COIL- 100 : la première image e chaque ligne représente l image requête et le 11 images représentent les résultats triés par orre croissant e similarité Les Coubes e rappel et e précision en utilisant (a) la base B1 (700) et (b) la base B 40000) Résultat e la recherche en utilisant a. KRA+-Block avec les paramètres optimaux et b. en utilisant une itération u bouclage e pertinence: la première image e chaque ligne représente l image requête et les autres 11 images sont les résultats retournés le temps e réponse en fonction e la imension pour la base (a) BD3. (b) BD Evolution u temps e réponse en fonction e la imension pour la base (a) BD3. (b) BD4. 18

12 Liste es tableaux Liste es tableaux.1 Récapitulatif es avantages et inconvénients es ifférentes méthoes citées Précéemment 9. Récapitulatif es avantages et inconvénients es ifférentes méthoes citées précéemment 37.3 Récapitulatif es avantages et inconvénients es méthoes inexation basée sur l approche approximation locale citées précéemment 64.4 Récapitulatif es avantages et inconvénients es méthoes inexation basée sur l approche approximation globale citées précéemment Récapitulatif e quelques propriétés générales es méthoes inexation basées sur l approximation locale citées précéemment Récapitulatif e quelques propriétés générales es méthoes inexation basées sur l approximation globale citées précéemment La variance cumulée ans les premières composantes principales en fonction e δ. Les zones en couleur grise corresponent à une variance cumulée supérieure ou égale à 98% Valiation es équations 5.1 et 5. pour les régions e la figure Les quatre méthoes utilisées pour la comparaison e la qualité e la recherche Comparaison e la précision (en %) utilisant la couleur et la couleur + la forme Comparaison e la précision (en %) utilisant la couleur et la couleur avec la forme.. 15

13 Introuction Générale Introuction Générale L une es conséquences irectes e la baisse es coûts es équipements informatiques, u éveloppement es télécommunications et e la isponibilité es techniques e numérisation e haute qualité, est la création et l échange e volumes e plus en plus importants e onnées multiméias numérisées. Ces onnées sont par essence hétérogènes et leur contenu préponérant est visuel. Les éveloppements récents ans les omaines u traitement u signal et es bases e onnées offrent tous les éléments nécessaires pour l extraction, l inexation et la recherche u contenu visuel es onnées multiméias, notamment es images. Dans cette thèse, nous nous intéressons aux techniques l inexation multiimensionnelles et la recherche es images fixes par le contenu. Ces techniques sont complémentaires et fonamentales pour une recherche rapie et efficace ans un système e recherche images par le contenu. Les techniques inexation image ont pour but organiser un ensemble e escripteurs (un escripteur étant un vecteur e réels écrivant le contenu visuel une image et pouvant être e très grane imension) afin que les procéures e recherche soient performantes en temps e réponse. Cette organisation se trauit généralement par une structuration es escripteurs en petits ensembles et par l application e stratégies e recherche capable e filtrer toutes les images non pertinentes qui seront évitées (non parcourues) penant la recherche garantissant ainsi un temps e recherche acceptable par l utilisateur. Les techniques e recherche par le contenu quant à elles, consistent à évelopper et à appliquer es outils qui permettent e sélectionner les images les plus pertinentes par leurs contenus. Lors une interrogation, un (ou plusieurs) escripteur, généralement hétérogène, est tout abor extrait à partir e l image requête. Ce escripteur requête est ensuite utilisé pour retrouver les escripteurs stockés ans la base qui lui sont les plus proches en terme e similarité. Les escripteurs trouvés permettent obtenir les images auxquelles ils sont associés et qui, e fait, sont censés être similaires à l image requête. La mise en œuvre e ces outils inexation et e recherche ans un contexte e très grane collection images fait appel à es techniques éveloppées ans eux omaines ifférents : l analyse images et les bases e onnées. Cette mise en œuvre s effectue ans le care un Système e Recherche Images par le Contenu (SRIC ou CBIR pour Content Base Image Retrieval). Objectif e la thèse Les techniques inexation et e recherche images basée sur le contenu visent à extraire automatiquement es caractéristiques visuelles es images et à les organiser ans es inex multiimensionnels pour ensuite faciliter la recherche ans les granes bases images. Ces techniques ont une complexité particulière liée à la nature es onnées manipulées. La littérature fait état e iverses approches inexation et e recherche e onnées e caractère multiimensionnelles. Parmi ces approches, certaines souffrent e la maléiction e la

14 Introuction Générale imension [Web 98][Ams 01]. D autres, par contre, sont spécifiques à une représentation particulière es onnées (istribution uniforme es onnées, espaces métriques ). Il parait onc nécessaire élaborer es techniques inexation multiimensionnelles qui soit aaptées aux applications réelles pour aier les utilisateurs à faire une recherche rapie et efficace. L inexation et la recherche basées sur le contenu comporte trois principales opérations relativement complexes 1. La escription automatique consistant à extraire es signatures compactes u contenu visuel e l image.. La structuration e l espace e escription (inexation), consistant à mettre en place une structure inex multiimensionnelle permettant une recherche efficace pour es milliers, voire es millions images. 3. La recherche par similarité ans laquelle une istance est associée à chaque type e escripteur, puis une recherche es k plus proches voisins est effectuée. Notre thèse consiste à traiter les ifférentes étapes citées ci-essus en se focalisant essentiellement sur l inexation multiimensionnelle et la recherche par le contenu ans les granes bases images fixes. En fait, il s agit e évelopper une méthoe rapie et efficace inexation et e recherche es k ppv qui soit aaptée aux applications inexation par le contenu et aux propriétés es escripteurs images. Nous nous intéressons ans un premier temps à l inexation multiimensionnelle. En effet, la problématique se complexifie lorsque la taille e la base evient conséquente et que les escripteurs eviennent e grane imension. La recherche est généralement effectuée une manière exhaustive sur la totalité e la base ce qui se trauit par un temps e réponse inacceptable par l utilisateur. Dans la littérature, plusieurs techniques conventionnelles inexation multiimensionnelles ont été proposées pour l optimisation u temps e réponse. Ces techniques permettent e réuire la recherche séquentielle à un sous ensemble e paquets e vecteurs en regroupant ces erniers ans es formes géométriques particulières (rectangle, sphère, etc.) et en utilisant es stratégies e filtrage. Ceci permet par conséquent e réuire le nombre E/S ainsi que le nombre e calculs e istance. Malheureusement, la performance es techniques conventionnelles inexation multiimensionnelle se égrae ramatiquement lorsque la imension es onnées augmente [Web 98], phénomène connu sous le nom e la maléiction e la imension qui ren la recherche séquentielle exhaustive bien meilleure qu une recherche sur les structures inex conventionnelles. Pour cela, es techniques inexation multiimensionnelles basées sur l approche approximation ont été proposées [SYUK 00][Ter 0], elles reposent sur la compression es onnées où un coage particulier es onnées est appliqué permettant améliorer la recherche séquentielle par es stratégies e filtrage. Les méthoes inexation basées sur l approche approximation sont consiérées comme efficaces pour gérer les vecteurs e grane imension [Web 98], mais leur intégration ans un système e recherche et inexation basé sur le contenu (très gran volume e onnées, très grane imension, aucune hypothèse sur la istribution es onnées, etc.) pose e sérieux problèmes. Notre objectif est améliorer l efficacité e ces techniques inexation et apporter es réponses au problème u passage à l échelle et e la maléiction e la imension pour pouvoir ensuite intégrer ces techniques ans un système e recherche par le contenu. Notre secon objectif consiste à appliquer une méthoe inexation multiimensionnelle basée sur l approche approximation, à la recherche images basée sur le contenu. Rappelons qu il s agit e mettre en place es techniques permettant e sélectionner les images les plus pertinentes par leur contenu relativement à une requête onnée selon ifférents types e escripteurs (couleur, texture, forme). L intégration e ces techniques ans un système SRIC est confrontée à e nombreux problèmes. Le premier se pose lors e l étape inexation. En effet,

15 Introuction Générale cette étape consiste à gérer les escripteurs caractéristiques es images auxquelles sont associés plusieurs types e onnées écrivant à la fois la couleur, la texture, la forme, etc. es images. Ces escripteurs possèent généralement un très gran nombre e composantes (>100), onc une grane imension ifficile à gérer par les méthoes inexation existantes en raison u problème e la maléiction e la imension. Le euxième problème se présente lors e la structuration e l espace e escription. Il s agit à ce stae e structurer et organiser en inex es vecteurs multiimensionnels composés es ifférents types attributs qu on ésignera par escripteurs hétérogène. Cette structure inex evrait regrouper les escripteurs ans es formes géométriques particulières e sorte que les escripteurs appartenant à la même forme soient similaires en termes une istance onnée. D où le troisième problème qui consiste à éfinir une istance permettant une part e mieux approximer la proximité entre les vecteurs attributs hétérogène ans l espace multiimensionnel et autre part estimer le plus fièlement possible la similarité visuelle entre les images. Notre objectif est onc élaborer une technique inexation multiimensionnelle qui répone efficacement à ces problématiques et permettant ainsi une recherche efficace et rapie ans un SRIC. Synthèse es contributions Notre travail a abor porté sur l amélioration es méthoes inexation basées sur l approche approximation, pour réponre aux problèmes e la maléiction e la imension et réuire le temps e la recherche ans les espaces e grane imension et au passage à l échelle. D abor, nous avons passé en revue les principales méthoes basées sur l approche approximation et nous avons ensuite comparé leurs principales caractéristiques. Sur la base e cette étue, nous avons choisi améliorer les performances e la méthoe RA-Blocks [Ter 0] en raison es avantages quelle présente. La méthoe proposée (RA + -Block) repose sur un nouvel algorithme e partitionnement qui permet améliorer notablement les performances e la structure inex u RA-Blocks en terme e capacité e stockage et e temps e recherche en générant es régions compactes et isjointes. Les résultats e ces travaux ont été publiés ans [1][8] La euxième contribution est la proposition une mesure e similarité aaptée aux onnées réelles lors e l inexation et e la recherche par le contenu. Nous avons opté pour une représentation e la similarité par fonction noyau. Ainsi, toutes les mesures e similarité et calculs e istance auxquels nous nous sommes intéressés sont entièrement basés sur ce formalisme. Nous avons étuié les ifférents paramètres e la fonction noyau et nous avons proposé une stratégie e sélection es paramètres qui permettent une meilleure estimation e la similarité entre escripteurs hétérogènes ainsi qu une représentation iscriminante es onnées ans l espace e caractéristiques. Les résultats e ces travaux ont été publiés ans [4]. La troisième et principale contribution est la conception une méthoe efficace inexation et e recherche par le contenu particulièrement aaptée aux onnées e nature hétérogènes (KRA + - Blocks). Cette méthoe permet accélérer consiérablement le temps e la recherche et améliorer significativement la qualité es résultats retournés, particulièrement pour les granes bases e escripteurs attributs hétérogènes. La méthoe proposée combine une méthoe non linéaire e la réuction e la imension et une méthoe inexation multiimensionnelle fonée sur l approche approximation pour faire face au problème e la maléiction e la imension et à celui e l inexation es onnées hétérogènes. La réuction non linéaire e la imension permet utiliser et exploiter les propriétés es fonctions noyau pour éfinir une mesure e similarité aaptée à la nature es onnées. Pour améliorer la qualité

16 Introuction Générale e la recherche, nous avons également implémenté un schéma e bouclage e pertinence avec une approche statistique. Nous avons moélisé le problème e la recherche par une classification binaire, ans laquelle nous avons créé un moèle pour iscriminer la classe es images pertinentes e celle es images non pertinentes, ceci à travers le calcul es probabilités es classes e vecteurs. Les résultats e ces travaux ont été publiés ans [5][6]. La quatrième contribution e cette thèse est l intégration e la méthoe inexation multiimensionnelle KRA + -Blocks au moteur e recherche par le contenu es images fixes IMALBUM, éveloppé au sein u LIRIS. Nous avons mené es expérimentations pour évaluer nos eux méthoes (RA + -Blocks et KRA + -Blocks) à très granes échelle (base e éléments) et avec es escripteurs visuelles e grane imension (=5), ce qui est rarement le cas ans la littérature. Cela nous a permis e montrer que l utilisation e l approche approximation e régions et l approche noyau permettent être très robuste à l augmentation e la taille e la base e onnées et e la imension es escripteurs utilisés aussi bien pour la qualité que pour le temps e recherche. Cela a également montré que la combinaison e plusieurs types e escripteurs en une seule structure inex est possible grâce à l approche e similarité que nous avons proposée. Description es chapitres Ce ocument écrit l ensemble es travaux menés ans le care e cette thèse sur la recherche par similarité ans les granes bases e onnées multiméias: application à la recherche par le contenu ans les bases images. Il comporte cinq chapitres écrits comme suit : Le premier chapitre propose un tour horizon es principales approches e la escription e l apparence visuelle. Nous commençons par la présentation es principales méthoes extraction automatiques es caractéristiques visuelles es images (couleur, texture, et forme) en précisant à chaque fois, les techniques mises en œuvre ans cette thèse pour la escription. Nous présentons ensuite les principales mesures e similarité qui existent ans la littérature et nous énumérons celles utilisées par les systèmes e recherche images basée sur le contenu. Enfin, nous introuisons la notion e similarité par l approche noyau, nous présentons quelque aspect e cette théorie ans notre contexte et nous proposons une généralisation e la notion e istance par cette approche. Le euxième chapitre est composé e trois paragraphes. Dans le premier, nous passons en revue les principales techniques conventionnelles inexation multiimensionnelle en étaillant respectivement les approches basées sur le partitionnement e onnées et sur le partitionnement e l espace. Le euxième présente brièvement les problèmes e la maléiction e la imension qui perturbent le fonctionnement es techniques inexation. Nous présentons ans le même paragraphe les principales techniques e la réuction e la imension qui ont été proposées ans la littérature pour contourner ces problèmes. Dans le ernier paragraphe e ce chapitre, sont présentées les nouvelles méthoes pour la recherche et l inexation es onnées multiimensionnelles basées sur l approche approximation ou filtrage Pour épasser les limites e la méthoe inexation basée sur l approche approximation RA- Blocks, particulièrement au niveau u écoupage e l espace e onnées, nous proposons ans le troisième chapitre une autre méthoe que nous avons appelée RA+-Blocks. Nous présentons abor les méthoes e partitionnement e l espace e onnées KD-Tree et KDB-Tree sur lesquelles sont basées respectivement les eux méthoes RA + -Blocks et RA-Blocks. Nous présentons ensuite la méthoe RA-Blocks. Enfin notre méthoe inexation et e recherche basée sur l approche approximation RA+-Blocks est étaillée.

17 Introuction Générale Le quatrième chapitre est consacré à la présentation e notre méthoe KRA + -Blocks. Nous présentons abor les principales méthoes inexation basée sur l approche noyau, puis nous étaillons notre nouvelle méthoe inexation. Dans le cinquième chapitre, estiné à la présentation et à la iscutions es résultats expérimentaux, nous présentons le contexte es évaluations, puis nous effectuons une série expérimentations qui permettent e valier nos eux méthoes inexation et e recherche sur es bases images réelles et synthétiques. La conclusion générale présente une synthèse es travaux effectués ans cette thèse. Elle écrit aussi les perspectives que nous proposons au prolongement e ce travail e recherche

18 Chapitre 1 : Recherche par le contenu ans les bases images fixes Chapitre 1 Recherche par le contenu ans les bases images fixes L objectif e ce chapitre est faire un tour horizon es principaux concepts e base relatifs à la recherche images basée sur le contenu. Nous présentons abor les principales approches pour la escription e l apparence visuelle es images fixes permettant une recherche efficace par le contenu. Ensuite, nous introuisons les ifférentes approches e mesure e similarité proposées ans la littérature, nous intéressant particulièrement à la notion e similarité par l approche noyau. 1 Introuction Comme l inique clairement leur nom, les "systèmes e recherche images par le contenu" (SRIC ou CBIR avec le vocable Anglais) ont pour fonction principale e permettre la recherche images en se basant non pas sur es mots clefs, mais sur le contenu propre es images. Les applications e tels systèmes sont très nombreuses et assez variées. Elles incluent es applications juiciaires : les services e police possèent e granes collections inices visuels (visages, empreintes) exploitables par es systèmes e recherche images. Les applications militaires, bien que peu connues u gran public, sont sans oute les plus éveloppées [Eak 99] : reconnaissance engins ennemis via images raars, systèmes e guiage, ientification e cibles via images satellites en sont quelques exemples. Bien autres applications existent telles que le iagnostic méical, les systèmes information géographiques, la gestion œuvres art, les moteurs e recherche images sur Internet et la gestion e photos personnelles, etc. Le besoin en recherche images par le contenu est réel, et les problématiques sont nombreuses et variées. Dans le omaine militaire par exemple, la recherche engins ennemis ans les bases images raars ne présentera pas les mêmes ifficultés que la recherche e voitures, voire une voiture en particulier, ans une base images généralistes. Toutefois, certaines phases relatives aussi bien à l inexation e la base qu à la recherche ans celle-ci vont être nécessaires ans tous les cas e figure. Les SRIC ont pour vocation e réponre efficacement aux requêtes e l utilisateurs, ils s appuient généralement sur une représentation e bas niveau u contenu e l image. La recherche se fait ainsi par comparaison es caractéristiques. Malheureusement, la conception

19 Chapitre 1 : Recherche par le contenu ans les bases images fixes un système permettant assister es utilisateurs ans leurs tâches e recherche images est confrontée à es problèmes très ivers. Parmi les ifficultés pouvant être rencontrées [Eak 99] : 1. Comprenre les utilisateurs images et leurs comportements : e quoi les utilisateurs ont-ils réellement besoin?. Ientifier une manière "convenable" pour écrire le contenu e l image. C est une tâche renue ifficile par l aspect sémiotique es images. 3. Comparer les requêtes et les images e la base e manière à refléter fièlement les jugements e similarité humains. Cette comparaison s effectue à travers une mesure e similarité, généralement explicité sous forme une istance 4. Fournir es interfaces conviviales : c est la vitrine u système permettant la représentation es résultats et qui peut s avérer fonamentale en présence un mécanisme e bouclage e pertinence. 5. Offrir es temps e réponse acceptables : cette contrainte requière une stratégie inexation et e recherche pour naviguer efficacement ans les granes bases images. Le schéma générique SRIC peut être représenté par le igramme e la figure 1.1. Deux processus principaux oivent exister. Un premier qui calcule les escripteurs es images e la base et un secon qui, à partir es escripteurs et es paramètres e la requête, recherche les images positives et les fournit à l utilisateur. Base images Base inex Inexation Calcul es escripteurs Requête e l utilisateur Descripteur e la requête Utilisateur Réponse Requête Pertinence Moteur e recherche Fig 1.1 Schéma un système e recherche images par le contenu Cette phase e recherche est souvent couplée avec une possibilité interaction u système avec l utilisateur, ce qui permet e raffiner le processus e recherche en iniquant au système les résultats pertinents et ceux qui ne le sont pas. Les informations fournies sont alors exploitées pour améliorer la recherche ans une phase ite e bouclage e pertinence (Relevance feeback). Toutes les images e la base sont écrites à l aie es escripteurs. Ceux-ci oivent contenir es attributs iscriminants permettant une bonne escription u contenu e l image et être associés à une mesure efficace e la similarité.

20 Chapitre 1 : Recherche par le contenu ans les bases images fixes Représentation u contenu visuel es images La performance es systèmes e recherche épen pour une grane partie u choix es escripteurs employés et es techniques associées à leur extraction. De nombreux escripteurs sont utilisés ans les systèmes e recherche pour écrire les images. Ceux-ci peuvent être ifférenciés selon eux niveaux : Les escripteurs e bas niveau : les plus utilisés ans les systèmes actuels sont la couleur, la texture et la forme, leur pouvoir e iscrimination étant limité au contenu visuel e l image. Les escripteurs e haut niveau : tenent à se rapprocher u contenu sémantique e l image, et peuvent être soit extraits automatiquement soit fournis par l utilisateur sous forme e mots-clefs lors e l inexation. Cepenant, l extraction automatique ne semble réaliste actuellement que sur es bases thématiques. La normalisation MPEG7 [Man 0] a justement pour objectif e stanariser la escription es contenus multiméia, en proposant pour chaque type e contenu (image, son, viéo), les attributs à écrire ainsi que les escripteurs associés à chaque attribut. Le but ici n est pas u tout être exhaustif, mais plutôt e présenter brièvement quelques escripteurs proposés pour l image, puis e revenir sur ceux que nous avons utilisés ans le care e ce travail..1 Descripteurs couleur Le fort pouvoir e iscrimination e la couleur en fait un attribut omniprésent ans la grane majorité es systèmes inexation et e recherche par le contenu. De nombreux escripteurs sont proposés ans la littérature et nous pouvons consiérer qu ils forment granes catégories : o Les escripteurs relatifs à l espace couleur, où il s agit e représenter les principales couleurs une image, tout en fournissant es informations sur leur importance, leur istribution colorimétrique, etc. o Les escripteurs incluant es informations spatiales relatives à la istribution ans le plan image e la couleur, à la connexité entre couleurs, etc. Ces classes e escripteurs sont complémentaires et généralement les systèmes font appel à ces eux aspects. MPEG7 propose naturellement es escripteurs pour les familles. Les couleurs ominantes, les quantifications es espaces couleur pour la première, et les escripteurs "Color Layout", "Color Structure" et "Scalable Color" pour la secone. Nous ne étaillerons pas ces escripteurs ici. Toute fois, l approche la plus courante et la plus rencontrée ans la littérature est l histogramme couleur. De très nombreux auteurs ont proposé iverses manières utiliser l histogramme comme escripteur, ainsi que iverses istances associées qui permettent e mesurer la similarité entre eux histogrammes. Dans [Swa 91], Swain et Ballar ont suggéré e écrire la couleur une image à l aie e son histogramme couleur et ont éfini l intersection histogrammes couleur comme mesure e similarité entre une image histogramme I et un moèle histogramme M par : n ( I, ) min (1.1) j= 1 j M j