Indexation par le contenu de documents Audio-Vidéo Média M2 SID Julien Pinquier, pinquier@irit.fr 2 Objectifs et besoins Etat de l art sur le texte, l audio, l image et la vidéo Mesures de performances : objectifs et besoins Quantité de vidéos disponibles chaque jour : un problème! 3 4 : objectifs et besoins : objectifs et besoins Quantité de vidéos disponibles chaque jour : une solution! Demande grand public encore plus importante et variée Solutions d indexation automatique pour : réduire les coûts d indexation harmoniser des descriptions dans une base améliorer la consistance proposer de nouvelles formes d accès proposer de nouveaux services sur les réseaux 5 6 1
: objectifs et besoins MAIS Quelles unités? Décomposition? Agrégation? Eléments «homogènes» ou modèles «composites» prédéfinis Quels systèmes d accès? Forme de la requête, interfaces, diffusion... Expertise dans de nombreux domaines : objectifs et besoins Description des informations de contenu Approche normative Ecole du texte Objectif des normes : Données non-textuelles MPEG-1 : MPEG-2 : MPEG-4 : MPEG-7 : 7 8 : objectifs et besoins Attention, la norme ne garantit pas : Problèmes Concilier les impératifs des algorithmes d'extraction, des algorithmes d'encodage et des algorithmes exploitant les données dans les applications Assurer des traitements offrant des garanties : Qualité Rapidité Adaptabilité Objectifs et besoins Etat de l art sur le texte, l audio, l image et la vidéo Mesures de performances 9 10 : état de l art TEXTE : état de l art TEXTE Stemming (racinisation) Réduction de l'ensemble des mots d'un texte à un index de mots de forme morphologiquement invariante Algorithme de Porter Concepts similaires sous un même terme Analyse syntaxique Par automates d'états finis et appariement de chaque phrase sur l'automate Analyse probabiliste Elimination des faibles ou fortes fréquences Thesaurus Production automatique d'un index 11 12 2
: état de l art AUDIO Parole : voir l autre partie du cours! : état de l art IMAGE Points d'intérêts Musique Caractéristiques de la scène photographiée Caractéristiques techniques des appareils d'acquisition, de transfert et de restitution Caractéristiques techniques des supports intermédiaires Bruit 13 Modèle du signal des images Modèle de la perception des images Espaces de couleur Couleurs dominantes Couleur d une région 14 : état de l art IMAGE : état de l art VIDEO Segmentation spatiale en régions Texte en objets Indexation du mouvement Trace des objets dans le temps Mouvements de caméra Modèle projectif de la scène filmée Caractérisation du mouvement global Segmentation en objets Entrée / sortie de personnages 15 16 : état de l art VIDEO Changements plans Macrosegmentation Microsegmentation Objectifs et besoins Etat de l art sur le texte, l audio, l image et la vidéo Mesures de performances Indexation automatique de la vidéo Connaissances extérieures 17 18 3
: mesures de performances Rappel : Précision : numérique Codage Quantification Distances et mesures de similarité F-mesure : 19 20 : image : image en niveaux de gris Echantillonnage : discrétisation spatiale d'une image R(x,y) 21 22 : image : image Echantillonnage Quantification 256x256 8 bits 4 bits 3 bits 128x128 64x64 32x32 23 2 bits 1 bit 24 4
: image : image en couleur RGB : couleur RGB niveaux de gris 25 26 : codage Espace de couleur numérique Codage Quantification Distances et mesures de similarité Lié à l affichage : Lié à la perception : Lié à l éclairage : CIE xyz / D65 Lié à l encodage analogique : etc. 27 28 : codage : codage Perception : La Commission Internationale de l Eclairage (CIE), suite à des tests perceptifs, a proposé 3 longueurs d ondes primaires 29 30 5
: codage RGB : par composition, il est possible de produire toute la palette des couleurs perceptibles : codage HLS (Hue, Luminance, Saturation) Lié à la perception H : teinte L : luminance S : saturation CMYK (Cyan, Magenta, Yellow, black) 31 32 : codage : codage Conversion RGB/HLS Intensité (physique) : Conversion RGB/YUV (JPEG) YUV : espace de représentation analogique de la couleur Luminance (analogique) : Conversion : Conversion RGB/YCbCr (MPEG) YCbCr : comme YUV, codage en luminance/chrominance 33 34 numérique Codage Quantification Distances et mesures de similarité : quantification But : réduire le nombre de couleurs présentes dans une image à un sous-ensemble de couleurs possibles clairement identifiées Applications Evaluation de sa qualité 35 36 6
: quantification Méthode : LUT (Look Up Table) Tableau qui associe un index (un numéro d'ordre) à une couleur donnée Exemple : index R G B 0 0 0 0 1 1 0 0 2 0 1 0 3 1 1 1 : quantification Quantification par sous-échantillonnage Construire des LUT a priori Exemple : image RGB avec une intensité sur 8 bits Utilisation : la couleur d'un pixel est remplacée par la couleur la plus proche dans la LUT 37 38 : quantification : quantification Quantification par sous-échantillonnage : exemple Histogramme de Thomas Principe Avantages Structure de données peu couteuse en mémoire Accès rapide au nombre de pixels d'une couleur donnée Histogramme plus compact et donc plus manipulable Inconvénients Perte d information Espace de couleurs pas forcément adapté aux caractéristiques de l'image 39 40 : quantification : quantification Quantification par popularité Quantification ascendante Quantifier l'espace de couleurs en fonction des couleurs les plus «représentatives» de l'image (et non pas de façon arbitraire) Algorithme Principe Inconvénient : les N couleurs les plus fréquentes ne sont pas nécessairement représentatives du contenu visuel d'une image Solution palliative : effectuer une partition régulière de l'espace de couleur (en M parties) ou de l'image, puis d'extraire sur chaque parties les N/M couleurs les plus fréquentes 41 42 7
: quantification Quantification ascendante Exemple de fusion, avec C l échantillon argmind C,LUT,, argmin d LUT,LUT,,, Si d C,LUT d LUT,LUT alors LUT moyennec,lut sinon LUT moyennelut,lut LUT C fin : quantification Quantification ascendante Avantages Même complexité que la popularité (un seul parcours de l image pour produire la LUT) Prise en compte des valeurs marginales Inconvénient Dépendance avec l'organisation du signal : la fin et mieux quantifiée que le début 43 44 : quantification : quantification K-means (ou centres mobiles) K-means (ou centres mobiles) Technique ascendante nécessitant plusieurs parcours de l'image Algorithme Avantage : indépendance de la solution avec la position des valeurs dans l image Inconvénients Algorithme s'arrête dès l'atteinte d un minium de l EQM qui peut être un minium local! Complexité difficilement prévisible Solution 45 46 : quantification : quantification Quantification descendante Principe Quantification descendante : algorithme de l Octree Soit n le nombre d entrées de la LUT Soit N le nombre d entrées de la LUT espéré Soit L l'espace RGB (correspondant à un cube contenant l ensemble des pixels qui composent l'image) Algorithme de l Octree Médian cut 47 48 8
: quantification Quantification descendante : médian cut Principe calqué sur l'octree numérique Codage Quantification Distances et mesures de similarité 49 50 : distances Quantifications identiques : distances Quantifications identiques Intersection d histogrammes Distance de Minkowski Si p=1 distance de Manhattan Mesure khi2 Si p=2 distance Euclidienne 51 52 : distances Quantifications identiques Divergence de Kullback-Leibler : distances Quantifications identiques Histogramme cumulé Distance quadratique Divergence de Jensen-Shannon 53 54 9
: distances Quantifications différentes Exercice 1 : soit une image en niveau de gris de taille 800x600 pixels, codée sur 8 bits. 1. Quelle est la taille brute de cette image (en ko)? Distance du cantonnier (Earth Mover Distance EMD) 2. Même question si elle codée sur 7 bits et 2 bits. 3. Dans le dernier cas, que devrait-on constater visuellement? 55 56 Exercice 2 : soit l'image suivante de résolution 5x5 pixels, codée sur 8 bits 1 2 1 2 1 0 120 0 120 0 1. Binariser l'image, en seuillant à 128. Conclure. 2. Tracer l'histogramme des niveaux de gris de 0 120 120 120 0 cette image. 3. Binariser de nouveau l'image I en tenant compte de la répartition des valeurs sur l'histogramme. 0 1 120 2 0 1 120 2 0 1 4. Tracez une courbe montrant l'évolution de la valeur des pixels de la 1 ère ligne de l'image. Est-ce une zone de haute ou de basse fréquence? 5. Tracez une courbe montrant l'évolution de la valeur des pixels de la 3 ème ligne de l'image. Où sont les zones haute et basse fréquence? 6. En déduire une façon de détecter le H dans l'image. Exercice 2 (solution) 1. Binarisation (seuil 128) 2. Histogramme 57 58 Exercice 2 (solution) Exercice 2 (solution) 3. Binarisation 5. Courbe de la valeur des pixels de la 3 ème ligne 4. Courbe de la valeur des pixels de la 1 ère ligne 0 6. Détection du «H» 0 59 60 10
Exercice 3 : nous souhaitons améliorer le contraste de l image ci-dessous en étirant la dynamique A l aide d une LUT, ré-écheler les niveaux de gris entre 0 et 255 Exercice 3 (solution) : Etirement de la dynamique Histogramme 61 62 Exercice 3 (solution) : Etirement de la dynamique Illustration du résultat Transformée de Fourier Transformée en Cosinus Discrète Transformée en Ondelettes 63 64 Perception humaine & dispositifs physiques (capteurs, systèmes de restitution) sont liées à la notion de La propagation de l'information (sonore ou visuelle) peut être modélisée sous la forme d'une au cours du temps Objectif : trouver un mécanisme permettant de représenter une telle onde dans un espace Théorème de Fourier Décomposer une fonction en série de Fourier revient à l'exprimer sous la forme :! " *+ *+ # 2 % &" cos)!% &- sin)!,, i.e. trouver l expression des " et - ". / 1*2 1!cos )! 0! et -. / 1*2 1!sin )! 0! Toute fonction périodique f, de période T, non-sinusoïdale, continue et dérivable sur tout intervalle [t, t+t], peut se décomposer en une somme infinie de fonctions sinusoïdales dont les fréquences sont des multiples de celle de la fonction f. Si Si est paire alors la série de Fourier est une série de cosinus est impaire alors la série de Fourier est une série de sinus 65 66 11
Transformée de Fourier Application qui associe à un signal 3, une fonction complexe d'une variable réelle, appelée «transformée de Fourier de 3» *+ 4 5 36 781 03 7+ avec 6 781 cos 943 %sin 943 cos 43 9sin 43 4 représente le amplitude des fréquences correspondant à la Les signaux numériques sont composé d un sous-ensemble fini de fréquences Transformée de Fourier discrète 2D TFD : TFD inverse : <7 : 4 & 36 7;.81 < 1,# <7 3 1 > & :46;.81 < 8,# 67 68 Transformée de Fourier 2D Transformée de Fourier 2D et texture TFD ligne par ligne de l image résultat TFD colonne par colonne du résultatmatrice de coefficients complexes (plan de Fourier) TFD 2D : F7 <7 :?,@ & &!,A6 7;.BC < E,# C,# 6 7;.DE F La texture se caractérise par : est perpendiculaire à la distribution des maxima d'énergie de la fréquence peut être observée dans le spectre «grossière» si le spectre est fortement concentré autour des basses fréquences et «fine» sinon But : mettre en évidence les caractéristiques fréquentielles d'une texture TFD 2D inverse : F7 <7!,A 1 G & 1 > & :?,@6;.BC < D,# B,# 6 ;.DE F Spectre distribution énergétique de l image Respect de la périodicité et de l orientation des motifs de l image de texture 69 70 Interprétation Exemple : motif de direction horizontale Le pic dominant dans le spectre donne la direction principale de la texture La localisation des pics permet de déterminer la période spatiale fondamentale de la texture Chaque pic représente une périodicité spatiale dans un sens particulier Spectre 71 72 12
Exemple : motif de direction verticale Exemple : lignes perpendiculaires (quadrillage) Périodicité selon les composantes horizontales et verticales Spectre Spectre 73 74 Exemple : image réelle Translation Spectre Spectre 75 76 Rotation Transformée de Fourier de la rotation de l image Rotation Pour limiter le repliement spectral Spectre Spectre 77 78 13
Homothétie Transformée de Fourier de l homothétie de l image Remarque : Spectre 79 80 Filtres de Gabor Filtres de Gabor But : identifier une région de forme approximativement ellipsoïdale dans l'espace de Fourier MPEG-7 propose un Méthode : calculer la réponse de la texture au filtre en multipliant l'énergie du spectre sous le filtre par les coefficients du filtre H 4,I 6 7 87JK L ;ML K 6 7 N7J L O ;ML O où 4 représente la coordonnée radiale (i.e. la fréquence), P 8 est la distance du centre de l'espace de Fourier au centre de l'ellipse, Q 8 donne la dimension de l'ellipse selon 4, I est l'orientation perpendiculaire à la texture, P N est l'axe sur lequel se situe le centre de l'ellipse, Q N est la dimension de l'ellipse selon I. 81 82 Filtres de Gabor Dans MPEG-7, les paramètres P 8, Q 8,P N et Q N évoluent dans un espace discret En indexation, vecteur de donnée est constitué de : Transformée de Fourier Transformée en Cosinus Discrète Transformée en Ondelettes Distance possible : R, &S T H 9H T 83 84 14
: DCT : DCT DCT : Transformée en Cosinus Discrète DCT : Transformée en Cosinus Discrète Variante de la transformée de Fourier discrète Formule DCT sur des blocs 8x8 de pixels : Utilisation : couramment utilisée en codage d'images à débit réduit si " 0 avec X " [ ; 1 sinon Méthode : approximer l'image de départ par une somme pondérée de motifs de «textures». Ces motifs sont construits à l'aide de "cosinusoïdes" orientée en x et en y de fréquences variables. Coefficient DCT(0,0) est appelé il est proportionnel à l'intensité moyenne sur le bloc 8x8 Autres coefficients sont appelés UVW?,@ 2X? X @ > <7 <7 & &cos C,# E,#!% 1 2?Y > cos A% 1 2 @Y > Z!,A Coefficient DCT(7,7) correspond à 85 86 : DCT DCT : Transformée en Cosinus Discrète Formule DCT inverse Z!,A 1 4 &&d? R @ cos 2!%1?Y cos 16 B,# D,# 2A%1 @Y 16 UVW?,@ Transformée de Fourier (et DCT) permettent d explorer la composition fréquentielle de l image Signal est décomposé en cosinus, sinus Technique utilisée pour la caractérisation globale de la texture Mais l'analyse locale n est pas suffisamment précise si " 0 avec R " [ ; 1 sinon 87 88 Transformée de Fourier Transformée en Cosinus Discrète Transformée en Ondelettes : ondelettes Décomposition en Ondelettes Formalisme identique à la transformée de Fourier (représentation fréquentielle) mais pour traiter aussi bien les textures avec une forte périodicité que celles avec une périodicité moindre Le nombre de niveaux ( i.e. le nombre d itération du processus sur les basses-fréquences) peut être fixé a priori, ou dépendre d un seuil sur le nombre de valeurs produites après souséchantillonnage 89 90 15
: ondelettes Décomposition en Ondelettes : principe Haar (1909) : ondelettes Décomposition en Ondelettes : principe Haar (1909) Considérons un signal discret ` ` 1 3 8 4 5 3 3 13 Approximons grossièrement ce signal en remplaçant chaque couple d échantillons par leur moyenne Réitérons le processus à partir de `; Moyenne, et la différence à la moyenne de la première valeur Reconstruction possible en codant pour chaque couple la moyenne, et la différence à la moyenne de la première valeur Réitérons le processus à partir de `a Moyenne, et la différence à la moyenne de la première valeur 91 92 : ondelettes Décomposition en Ondelettes : principe Haar (1909) En utilisant et l écart reconstruit : ondelettes Transformée en ondelettes 2D Principe Avec les écarts suivants Puis avec reconstruit reconstruit La décomposition conduit à représenter le signal sous la forme suivante : hx*hy gx*hy Cette décomposition est le principe mis en œuvre dans le calcul de la Partie gauche de cette représentation (prépondérantes dans le cas d une image naturelle) Partie droite hx*gy gx*gy 93 94 : ondelettes : ondelettes Transformée en ondelettes 2D Le processus est répété sur l image des basses fréquences obtenue dans la partie (hx*hy) Exemple Soit la matrice (image) suivante : a c b d Soit b 0.5 0.5 et e 0.5 90.5 hx*hy gx*hy gx*hy gx*hy La transformée en ondelettes donne : hx*gy gx*gy hx*gy gx*gy hx*gy gx*gy Application numérique : a=8 b=16 c=24 d=32 95 96 16
: ondelettes Illustration : ondelettes Illustration 97 98 : ondelettes : ondelettes Exercice : appliquer la décomposition dyadique sur 2 niveaux de l image ci-dessous, en prenant b 1 1 et e 91 1 Case noire : valeur «0» Case blanche : valeur «1» 0 0 0 0 0 0 0 0 Exercice (solution) : 0 0 0 0 0 0 0 0 99 100 Définition : étape qui consiste à reconnaître un objet à partir de sa seule silhouette (forme) basée sur l utilisation d un descripteur de forme Idéalement, un descripteur de formes a les propriétés suivantes : Description basée région Description basée contour 2 types de description 101 102 17
, basée région Description d une forme, basée région Caractéristiques spatiales Boîte englobante Le canal alpha est une version plus sophistiquée Masque exprime un degré de transparence sur 8 bits (par exemple) Centre de gravité On code ainsi les formes (shapes) 103 104, basée région, basée région Caractéristiques spatiales Centre géodésique Soit R f ",- la distance géodésique dans la région g Distance Caractéristiques spatiales Aire Diamètre Diamètre géodésique : la plus grande distance géodésique entre deux points de la région Fonction de propagation : h f " sup k f R f ",- Centre géodésique Rayon géodésique 105 106, basée région, basée région Caractéristiques spatiales Nombre d'intercepts (ou calcul de la variation diamétrique) caractériser la région caractériser la direction Les directions possibles sont proposées a priori Caractéristiques statistiques Moment cartésien d'ordre l%m (cas discret) pour une image de taille >ng F < op & &! o A p!,a E,# C,# Périmètre : peut être calculé de différentes manières Pour une image binaire,!, A 1 si le point appartient à la région et 0 sinon 107 108 18
, basée région Caractéristiques statistiques Moments centraux F < P op & &!9! o A9Ar p!,a Moments d ordre 1 E,# C,# Moments d ordre 2 Moments d inertie Moments de projection, basée région Caractéristiques statistiques Moments invariants G 1 P ;# %P #; G 2 P ;# 9P ; ; #; %4P G 3 P a# 93P ; ; % 3P ; 9P #a ; G 4 P a# %P ; ; % P ; %P #a ; G7 109 110, basée contour Code de Freeman 3 paramètres Description basée région Description basée contour Exemple 1 111 112, basée contour Code de Freeman Exemple 2, basée contour BitQuads Principe 4-voisins 8-voisins Donne des informations sur la région Changer le point de départ Rotation de la forme 113 114 19
, basée contour Descripteur de Fourier Méthode 1. Considérons l équation paramétrique d un contour!v et Av, basée contour Descripteur de Fourier Méthode 2. Calculons la fonction qui représente l évolution de l angle de la tangente (dérivée première) en tout point du contour : 115 116, basée contour, basée contour Descripteur de Fourier Méthode 3. Calculons une fonction paramétrique représentant la courbure (dérivée seconde) en tout point du contour : Descripteur de Fourier En pratique : approximation des dérivées première et seconde Dans le cas d un contour fermé, les fonctions!v et Av sont *+ v & X,7+ X : coefficients de Fourier 6 ;. w x 117 118, basée contour Descripteur de Fourier Propriétés d invariance Exercice : soit l image suivante et un voisinage en 8-connexité Illustration 1. Calculer l aire 2. Donner le code de Freeman en partant de la croix dans le sens horaire 3. En déduire le périmètre 119 120 20
Exercice (solution) : 1. Calculer l aire 2. Donner le code de Freeman en partant de la croix dans le sens horaire 3. En déduire le périmètre Références Remerciements à Philippe JOLY pour les supports de cours 121 122 21