Descripteurs couleurs Recherche d images similaires à partir de descripteurs couleurs Romain Bachy supervisé par Emi Aldea Romain Bachy Master 2 IMA - UPMC 20 janvier 2010 Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 1 / 14
Introduction Media formats Input capabilities (e.g. keyboard, m Descripteurs couleurs Processing power Introduction An application that makes available a customized content variation according to the users co UMA enabled application. In UMA applications, it would be desirable (to avoid the extraction to have available descriptions of the parts that have to be matched/bridged the user charact the content characteristics in order to more easily customize the desired content: - Description of the content characteristics: information on the content features instrumental to perform an efficient customization of that content. Comment sortir de la recherche basée sur le texte? Recherche basée sur le contenu (QBS) Utilisation de descripteurs visuels (couleur, texture, forme) - Description of the user environment: information on the user conditions which a make available a customized variation of the pretended content. The Universal Multimedia Access concept involves the idea of content customization based descriptions of the user environment and of the content. Considering a scenario where th customized according to these two types of descriptions, it is clear that such a system wo component implementing the UMA customization that is the UMA Engine (see Figure 1.2). multimedia content description UMA Engine Figure 1.2 Conceptual diagram of the UMA Engine. Figure: [Magalhães, 2002] user environment description Multimedia content features can be automatically, semi-automatically or manually extracted, de the type of features involved; certain types of features can only be extracted by heavy process multimedia content. Content descriptions may also include a link to the multimedia conten typically do). To accomplish the task of fully describing the user environment, it is necessary to gather about the user conditions and then provide it to the UMA Engine in order to receive a conte that is tailored to the concerned user environment. These characteristics may have to b (bandwidth, location, etc.) or may be simply available (display color components and video res Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 2 / 14
Descripteurs couleurs Introduction 1 Descripteurs couleurs 2 Présentation Fonctionnement 3 Proposition Implémentation Résultat Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 3 / 14
Descripteurs couleurs Exemple de descripteurs couleurs Histogramme : Densité de probabilité par vecteur de représentation Pas d information spatiale à priori Différents espace de représentation possibles Couleurs dominantes : Couleurs les plus caractéristiques de l image ou d une région Evaluation du taux, de la variance, de la cohérence Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 4 / 14
Illustration Descripteurs couleurs Figure: Histogramme de couleurs dominantes. img(rummager) Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 5 / 14
Le logiciel FlickrPickr Descripteurs couleurs Présentation Fonctionnement Application Googgle Web Toolkit élaborée par Emi Aldea La base d image est Flickr Recherche d images similaires à partir d un exemple CBIR (Content-Based Information Retrieval) QBE (Query By Example) Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 6 / 14
Descripteurs couleurs Fonctionnement du logiciel Présentation Fonctionnement Description par un histogramme : Choix d un espace couleur RGB, HSV, YCbCr, XYZ, L*a*b*, L*U*V* Choix du calcul de distance L 2 ou χ 2 Tri visuel des images en fonction de la distance calculée Figure: Interface Web de FlickrPickr Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 7 / 14
Descripteurs couleurs Proposition Implémentation Résultat Proposition d un nouveau workflow Inspiré de Netra, cours INDIX, MPEG-7 1 Projection des histogrammes dans l espace des couleurs d une charte adaptée : Couleurs naturelles GretagMacbeth ColorChecker SG Couleurs spécifiques Charte spécifique Ce n est pas un apprentissage mais une expertise 2 Recupération des couleurs les plus caractéristiques (DC). 3 Comparaison avec plusieurs DC des images de la BDD Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 8 / 14
Illustration Descripteurs couleurs Proposition Implémentation Résultat Figure: GretagMacbeth ColorChecker SG Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 9 / 14
Descripteurs couleurs Choix de l histogramme initial Proposition Implémentation Résultat Choix d un espace perceptif, linéaire et uniforme CIE L*U*V* Initialement : 3 histogrammes à 255 valeurs (dimension RGB) Maintenant : 1 histogramme à 96 valeurs (dimension charte) le taux de probabilité de chaque couleur définit naturellement sa prédominance Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 10 / 14
Calcul des distances Descripteurs couleurs Proposition Implémentation Résultat Création d une matrice de distance entre les couleurs de la charte Distance de type L 2 (analogie avec le E) : E = L 2 + U 2 + V 2 Chaque couleur dominante cherche la couleur la plus similaire (k voisins) Recherche du E min Pondération par la prédominance de la couleur analysée Pondération par la différence du taux de probabilité entre les 2 couleurs comparées Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 11 / 14
Résultat Descripteurs couleurs Proposition Implémentation Résultat Choix d une base exploitable (les champignons) Evaluation de la position des images visuellements similaires Exploitation statistique nécessaire Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 12 / 14
Conclusion Descripteurs couleurs Conclusion De nombreux paramètres sont à tester et à optimiser : Pondération par le taux d une couleur et son index. Normalisation. Nombre de DC à garder Nombre de voisins à "regarder" Analyse statistique des résultats : Retrieval Rate Efficacité des calculs Beaucoup de travail en perspective! Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 13 / 14
Descripteurs couleurs Magalhães, J. (2002). Universal access to multimedia content based on the mpeg-7 standard. Master s thesis. Romain Bachy Master 2 IMA - UPMC QBE avec descripteurs couleurs 14 / 14