F4B202 Analyse de texture

Transcription

1 F4B202 Analyse de texture Ronan Fablet Département Signal & Communications Tél : Fax : courriel : ronan.fablet@telecom-bretagne.eu Web : perso.enst-bretagne.eu/ronanfablet

2 Source : Y. Gousseau, Telecom Paris Tech

3 Des exemples de texture Exemples de textures de Brodatz

4 Comment analyser des textures? Source : Y. Gousseau, Telecom Paris Tech

5 Comment analyser des textures? Source : Y. Gousseau, Telecom Paris Tech

6 Comment analyser des textures?

7 Statistiques d ordre 1 et d ordre supérieur

8 Statistiques d ordre 1 Source : Stina Svensson, Representation and Description, Computerized image analysis, SLU (Sweden)

9 Statistiques d ordre 1 : distance entre histogrammes Distance du Chi 2 entre histogrammes de textures j i k d( p,q) = 2 i ( p(i) q(i) ) 2 p(i) + q(i) Source : Cornelia Fermüller, Texture, CMCS 426 Image Processing, UMD (USA)

10 Statistiques d ordre 1: descripteurs! Descripteurs extraits des des histogrammes! Moyenne! Variance M = u p σ 2 = u 2 p M 2! Kurtosis κ = (u p M) 4 σ 4 3!! Entropie! E = h(v)log(h(v)) 11

11 Statistiques d ordre 1: descripteurs moyenne=137 moyenne=50 variance=30 variance=71 skew=0.25 skew=-1.15 kurt=2.31 kurt=-0.09 Source : html/contenu/part3.pdf 11

12 Statistiques d ordre 1: descripteurs Source : Stina Svensson, Representation and Description, Computerized image analysis, SLU (Sweden) 12

13 Matrices de cooccurrences (Haralick'73)! Définition : Il s'agit de statistiques du second-ordre de l'image. Pour un voisinage (dx,dy), la matrice de cooccurrence M(dx,dy) est donnée par : M [dx,dy] (u,v) = 1 ( N x dx) N y dy! (N x,n y ) : taille de l'image ( )! (u,v) : niveaux de gris de l'image (valeur quantifiée)! Chaque matrice est de taille GxG où G est le nombre de niveaux de gris (on considère généralement 8 ou 16 niveaux)! On considère généralement des matrices de cooccurrences pour un ensemble de voisinage (dx,dy) (e.g., (1,0), (0,1), (1,1),...) i, j [ ] 1 I(i, j) = u & I(i + dx, j + dy) = v! Remarque : les statistiques de cooccurrences sont les statistiques suffisantes d'un champ de Markov défini sur des cliques d'ordre 2

14 Matrices de cooccurrences (Haralick'73) Source : Y. Gousseau, Telecom Paris Tech

15 Matrices de cooccurrences (Haralick'73)! Calcul de descripteurs Source : A. Boucher, IFI, transparents de cours «texture»

16 Matrices de cooccurrences (Haralick'73) contraste=120 contraste=626 contraste=42 contraste=142 entropie=6.7 entropie=4.7 mdi=0.03 mdi=

17 Approche par bancs de filtre (Gabor)

18 Filtres de Gabor n Les filtres de Gabor sont le produit de Gaussiennes par des sinus ou des cosinus n n Sinus / cosinus : analyse en fréquences Gaussienne : différents niveaux de lissage (échelles) * = Gaussienne * Sinus/Cosinus = Gabor Source : C. Rasmussen, Texture, CIS 489/689 Computer Vision, Univ. of Delaware (USA)

19 Bancs de filtres : filtres de Gabor! Principe de l analyse de texture par banc de filtres : La texture est caractérisée par différentes statistiques (moyenne, variance, histograme, ) des réponses aux filtres (énergie).! Filtres de Gabor : Il s'agit de filtres extrayant une information fréquentielle localisée et orientée. Le filtre de Gabor horizontal en (0,0) de paramètres (σ 1, σ 2,f 0 ) est donné par : G θ,σ (x,y) = exp x 2 + 2σ 2 y 2 cos(2πλ x /σ) x = y cosθ sinθ x sinθ cosθ y! Application à l analyse de texture : 5-10 orientations et 5-10 fréquences.

20 Réponses impulsionnelles des filtres de Gabor Exemples à différentes échelles pour la direction horizontale Filtres anti-symétriques (impairs - sinus) Filtres symétriques (pairs - cosinus) Source : C. Rasmussen, Texture, CIS 489/689 Computer Vision, Univ. of Delaware (USA) 29

21 Bancs de filtres : filtres de Gabor Source : Y. Gousseau, Telecom Paris Tech

22 Bancs de filtres : filtres de Gabor Source : Y. Gousseau, Telecom Paris Tech

23 Image d'entrée Filtres de Gabor Banc de filtres Réponse des filtres à une échelle Source : A. Boucher, IFI, transparents de cours «texture» 30

24 Filtres de Gabor à différentes échelles Source : A. Boucher, IFI, transparents de cours «texture» 31

25 (s) Echelle des filtres Filtres de Gabor Partie réelle Partie imaginaire Orientation des filtres (o) Source : A. Boucher, IFI, transparents de cours «texture» 32

26 Décomposition en ondelettes Principe de l analyse de texture par ondelettes : Le principe est analogue à l utilisation d un banc de filtres. On utilise en général des trames d ondelettes redondantes, comportant plus de 3 orientations et invariantes par translation. Comme prédécemment, on peut caractériser les statistiques (moyenne, variance, histogramme) des coefficients d ondelettes dans chaque sousbande fréquentielle. Une solution alternative consiste à modéliser la distribution des coefficients dans chaque sous-bande, par exemple par un modèle gaussien généralisé : Dans ce cas, la texture est caractérisée par les paramètres des modèles de chaque sous-bande. ( ) ~ exp C k,l µ p C k,l Source : Y. Gousseau, Telecom Paris Tech σ γ

27 Mesure de similarité

28 Des descripteurs à la mesure de similarité Objectif : définir une distance (ou une mesure de similarité) entre deux textures A et B Cas des vecteurs de descripteurs dans R N : Distance euclidienne Distance de Mahalanobis: Cas des histogrammes : Distance de Battacharrya Divergence de Kullbakc-Leibler D(A;B) = x A x B 2 D(A;B) = ( x A x B ) t Σ 1 ( x A x B ) D(A;B) =1 p A (u) p B (u) Distance EMD (Eartth s Mover Distance) (Distance de Wassertein) The EMD measures the least amount of work needed to fill the holes with earth. Here, a unit of work corresponds to transporting a unit of earth by a unit of ground distance u D(A B) = u p A (u)log p (u) B p A (u)

29 Application: recherche par l exemple Decreasing response vector similarity Query image Ordered list of best matches from Forsyth & Ponce

30 Des descripteurs à la classification Méthodes de classification : Classifieur bayésien Analyse linéaire discriminante Classifieur non-linéaire (eg, SVM, Réseaux de neurones) Arbres de classification/forêts aléatoires.. Principe général Recherche d une fonction de discrimination dans l espace de description Caractérisation de la distribution des caractéristiques pour chaque classe

31 Méthodes de classification Principe généraux Formulation en termes de classification par apprentissage statistique Constitution d une base d images interprétées Utilisation de ces exemples pour généraliser des «règles» d interprétation élément à classer? classe A classe B

32 Classification supervisée Principe généraux Apprentissage On présente des exemples interprétés au système ; Le système apprend ; Il ajuste ses paramètres pour que la prédiction corresponde à la sortie désirée. Utilisation Nouveaux exemples à classer Propriétés de généralisation Techniques d apprentissage supevisé : réseaux de neurones, SVM

33 Classifieur par plus proche voisin You can use nearest neighbor classifiers if you have some way of defining distances between attributes The k-nearest neighbor classifier classifies a point based on the majority of the k closest training points

34 Classifieur par plus proche voisin Here is a plot I made using R showing the 1- nearest neighbor classifier on a 2- dimensional data set.

35 Réseaux de neurones Le Neurone Formel -Classe 1: a>0 -Classe 2: a<0 Classe 1 Séparateur linéaire Classe 2

36 Réseaux de neurones Le perceptron multicouche Neurones organisés en couches X : caractéristiques d entrée Y : prédiction (codage binaire) Comportement collectif des neurones : combinaison linéaire des réponses de chaque neurone

37 SVM (Support Vector Machines) Principe : problème linéaire à 2 classes Classe 2 Classe 1 Beaucoup de frontières peuvent séparées les deux classes. Laquelle est la meilleure?

38 SVM (Support Vector Machines) D

39 SVM (Support vector Machine) C-SVM SVs Optimisation quadratique Résolution H Maximiser la distance entre les éléments bien classés et l hyperplan H Minimiser la distance entre les éléments mal classés et l hyperplan H Solution : identification des SVs (Support Vectors)

40 SVM (Support Vector Machines) Application à la classification non-linéaire Solution : plonger le problème non-linéaire dans un nouvel espace de plus grande dimension où les données deviennent linéairement séparables Choix d un noyau caractérisant le nouvel espace caractéristique x x y Extension à la classification multi-classes : combinaison de classifieurs binaires z y

41 Decision trees / random forests Decision Trees for Churn Example: Change in consumption < Customer care calls Age Yes < 3 3 No Yes 55 < 26 55< & 26 Handset price No $150 <$150 No Yes

42 Quelle mesure de similarité? " Existe-t-il des descripteurs optimaux? Evaluation expérimentale des performances des descripteurs statistiques de texture Randen etal., IEEE PAMI, 1999 Conclusions : Pas de descripteurs optimaux dans tous les cas

43 Texture et caractérisation invariante

44 Propriétés d invariance recherchées Invariance aux conditions d acqusition des images Invariance géométrique : translation, rotation, zoom, transformation affine

45 Propriétés d invariance recherchées Invariance aux conditions d acqusition des images Invariance photométrique : invariance au changement de contraste Le changement de contraste entre deux images est une transformation ϕ de l image telle que: Φ(0) = 0 Φ(1) =1 Φ ʹ (x) 0

46 Méthodes de caractérisation invariante Méthodes globales : Calcul de statistiques invariantes à des transformations géométriques (rotation), e.g. cooccurrences sur des voisinages «circulaires» Calcul de statistiques invariantes à des changements de contraste linéaires, e.g. statistiques de différence d intensité pour des points voisins Méthodes locales : Extraction de points d intérêt (Détecteur de Harris, DoG, ) Caractérisation invariante des points d intérêt (eg, descripteur SIFT)

47 Principe : Méthodes basées sur l extraction de points d intérêt Détection de points anguleux «coins» : points de fort changement de contraste Eg, détecteur de Harris (Harris&Stephens 88) Coin = variations fortes de l intensité dans deux directions Cf., F4B402

48 Extraction de points d intérêt DescripteursSIFt (Lowe, 2000) Calcul des histogrammes des orientations dans 8 direction dans des fenêtres 4x4 autour du point d intérêt Invariance au changement de contraste et au changement d échelle Application à la caractérisation de textures : Définition d une distance entre vecteurs de descripteurs Caractérisation d une texture par l ensemble des points d intérêt et descripteurs SIFT associés

49 Description invariante des texture Exemple de résultats [base UIUC, Zhang et al., 2007]

50 Synthèse de texture

51 Synthèse de texture : principe image d'entrée SYNTHESE Texture infinie image générée Source : David Lowe, Texture, CPSC 425: Computer Vision, UBC (Canada).

52 Synthèse de texture Catégories de méthodes utilisées : Modèle auto-régressifs Modèles de Gibbs (cf cours sur les champs de Markov) Méthodes par analyse en ondelettes : ajustement de statistiques des coefficients (eg, histogramme des coefficients à chaque niveau [Heeger & Bergen 95], statistiques d ordre supérieur [Portilla & Simoncelli, 99]) Méthode par ré-échantillonnage

53 Exemples (Efros et Leung) Source : David Lowe, Texture, CPSC 425: Computer Vision, UBC (Canada).

54 Pas seulement un copier-coller Photo Source : David Lowe, Texture, CPSC 425: Computer Vision, UBC (Canada). Répétition seulement

55 Exemple d algorithmes par rééchantillonnage [Efros & Leung] [Efros & Freeman, 2001] Source : Frank Dellaert, Texture, CS x495 Computer Vision, GaTech (USA).

56 Synthèse par ré-échantillonnage [Efros & Leung] Principe L idée est de considérer la texture comme la réalisation d un champs de Markov, mais au lieu d échantillonner à partir d un modèle du type Gibbs (dont les paramétres sont appris sur la texture), on échantillonne directement sur l image de départ A. La synthèse s effectue pixel par pixel. Pour chaque nouveau pixel de B, on suppose qu une partie de son voisinage est déjà synthétisé, et on cherche dans A le pixel dont le voisinage est le plus proche.

57 Synthèse par ré-échantillonnage [Efros & Leung] Source : Y. Gousseau, Telecom Paris Tech

58 bloc Texture d'entrée B1 B2 B1 B2 B1 B2 Placement aléatoire des blocs Recouvrement des blocs voisins Calcul de la frontière d'erreur minimale Source : Marc Pollefeys, Pyramids and textures, Comp256 Computer Vision, UNC (USA). 39

59 Frontière d erreur minimale Recouvrement de blocs Frontière verticale Erreur de recouvrement Erreur minimale Source : Marc Pollefeys, Pyramids and textures, Comp256 Computer Vision, UNC (USA). 40

60 Influence de la taille de l éhantillon Source : David Lowe, Texture, CPSC 425: Computer Vision, UBC (Canada).

61 Résultats de synthèse Taille de l'échantillon Source : David Lowe, Texture, CPSC 425: Computer Vision, UBC (Canada).

62 Source : David Lowe, Texture, CPSC 425: Computer Vision, UBC (Canada).

63 Problèmes Source : David Lowe, Texture, CPSC 425: Computer Vision, UBC (Canada).

64 Extrapolation d'images Source : David Lowe, Texture, CPSC 425: Computer Vision, UBC (Canada).

65 Extrapolation d images Source : Frank Dellaert, Texture, CS x495 Computer Vision, GaTech (USA).

66 Extrapolation d images Source : Frank Dellaert, Texture, CS x495 Computer Vision, GaTech (USA).

67 Références

68 Références " David Lowe, University of British columbia, " Frank Dellaert, Georgia Institute of Technology, static.cc.gatech.edu/classes/ay2005/cs4495_fall/09- Texture.ppt " Yann Gousseau, Telecom Paris, ~gousseau/ " Projet INRIA LEAR,