Plan. Composantes d un système. Réduction de dimension. Sélection de caractéristiques. Apprentissage

Transcription

1 Analyse et codage des signaux de reconnaissance des formes Méthodes statistiques pour la réduction de dimension Techniques d apprentissage Mohamed CHETOUANI Mohamed.Chetouani@upmc.fr 2 Composantes d un système Système de reconnaissance des formes Définition générale: A partir de mesures d une forme inconnue, il s agit de: Trouver une représentation pertinente de la forme Classer en catégorie Composantes d un système Système de reconnaissance des formes Capteur Pré-traitements Extraction de paramètres Algorithme de classification Mais également des données (étiquetées ou non) 3 4

2 Terminologie Terminologie Composantes d un système Caractéristiques, codes: ensemble de variables déterminé à partir de propriétés de l objet. «Choisir» des caractéristiques discriminantes et indépendantes est un point clé de tout problème de reconnaissance des formes. Vecteur de caractéristique: Association de plusieurs caractéristiques. Vecteur de dimension d représentant l objet. Composantes d un système Espace des caractéristiques: espace de dimension d formé par l ensemble des caractéristiques. Espace 3D Distribution des données dans l espace des caractéristiques 5 6 Terminologie Terminologie Composantes d un système Classe: Catégorie à laquelle appartient l objet. Forme: Ensemble des caractéristiques de l objet traité. Dans certains cas, on associe au vecteur caractéristique la classe de l objet. Composantes d un système Frontière de décision: Hyper-plan, fonction de dimension d permettant la séparation des formes en différentes classes. Exemple: une des instances d un même objet Objet: lettre A Exemple de l objet «A» Variabilité entre scripteurs 7 8

3 Terminologie Problème de dimension des vecteurs caractéristiques Composantes d un système Données/Base d apprentissage: données utilisées pour la conception du système de reconnaissance. Ces données sont a priori étiquetées. Explosion du nombre et de la dimension des données Données/Base de test: données utilisées pour l estimation des performances du système de reconnaissance. Utilisation industrielle: lecteur de chèques, code postaux, biométrie 9 10 Problème de dimension des vecteurs caractéristiques Problème de dimension des vecteurs caractéristiques Aspects pratiques: Relation dimension des vecteurs caractéristiques / performances du classifieur Approches pour la réduction de dimension: extraction de caractéristiques: créer un sousensemble de nouvelles caractéristiques par combinaison des caractéristiques existantes sélection de caractéristiques: choisir un sousensemble de caractéristiques pertinent Rechercher une solution optimale 11 12

4 Problème de dimension des vecteurs caractéristiques Problème de dimension des vecteurs caractéristiques Formalisation du problème de la réduction de dimension: La réduction de dimension consiste à transformer le vecteur le x (dimension N) en un vecteur y (dimension M) avec M<N: y=f(x) par projection du vecteur caractéristique: y=f(x)=wx La fonction f réalise la réduction de dimension. La réduction de dimension ne doit pas diminuer les performances en classification. Projection (combinaison) linéaire ou non-linéaire, séparation des classes (discriminantes) Stratégies de réduction de dimension La projection de données nécessite la minimisation d un critère. Deux types de critères: Représentation du signal: Représenter les données dans un espace de plus petite dimension. Classification: Projection dans un espace (de plus petite dimension) qui maximise la séparabilité des classes. Analyse Discriminante Données Ensemble d apprentissage : S exemples étiquetés formés de N descripteurs (variables) X = {x (1), x (2), x (S) } avec x (j) = (x 1, x 2,, x N ) X : réalisation d un échantillon de taille S d un vecteur aléatoire de dimension N Statistiques associées à X - moyenne : x = 1 S - matrice de covariance : " j x (j) (j) (j)! =!( x " x)( x " S 1 j T x) 15 16

5 Analyse de la variabilité des données à travers la matrice de variance-covariance Excepté si l une des variables peut s exprimer comme une fonction d autres variables, N variables sont nécessaires pour rendre compte de toute la variabilité Objectif de l ACP : décrire à l aide de M < N variables un maximum de cette variabilité compression des données décrites par M nouvelles variables visualisation des données en 2D ou 3D (si M = 2 ou 3) interprétation des données : liaisons inter-variables Composantes : b 1, b 2 b M b k : nouvelle variable = combinaison linéaire des variables b k = u 1k x 1 + u 2k x u Mk x M Coefficients u ik à déterminer pour que les b k soient : - 2 à 2 décorrélés - de variance maximale - d importance décroissante Données image = un vecteur, 1 composante / pixel Données codées = un vecteur, 1 composante / descripteur Trouver le sous-espace de dimension M approchant au mieux les données = = x 2 R 4200 vecteur «texture» N = 4200 pixels 19 20

6 Directions de variation = vecteurs φ 1, φ 2,, φ M Illustration: Illustration: Calcul: φ 1,,φ M : vecteurs propres associées aux plus grandes valeurs propres λ 1,, λ M de la matrice de covariance: X =E[(X-µ).(X-µ) t ] Matrice de covariance du vecteur X Décorrélation des axes Diagonaliser: X =Φ.Λ.Φ t Où: Λ est une matrice diagonale contenant les valeurs propres de la matrice de covariance Et Φ est une matrice contenant les vecteurs propres

7 Vecteurs et valeurs propres Inertie expliquée: λ i = variance de la i ème composante transformée b i = inertie du i ème axe principal % inertie par axe " i = N! " i i= 1 % inertie cumulée M! i i= 1 = N! " " i i= Critère de Joliffe : conserver les λ i tq le % d inertie expliquée est supérieur à un seuil (δ = 90/95 %) Applications: ACP pour la compression de données : Exemple 1 : modélisation des expressions faciales Critère de Kaiser : conserver les λ i supérieures à la moyenne ACP pour la classification : Exemple 2 : reconnaissance de caractères Critère de Catell (scree test): conserver les λ i avant apparition du «coude» ACP pour l analyse de données : 27 28

8 Base de visages de Carnegie-Mellon University (CMU) : une centaine de sujets, sans barbe ni lunettes images de visages en vue frontale images normalisées, incluant les 6 expressions faciales : joie, peur, tristesse, dégoût, colère, surprise + neutre Visages propres φ 1,,φ M : eigenfaces Reconstruction avec 30 modes : Exemple 2 : ACP sur les caractères Base NIST : 250 exemples/classe (apprentissage : 200, test : 50) Images 12x12 normalisées Compression : M composantes principales Classification : ppv sur les exemples compressés Exemple 2 : ACP sur les caractères Compression 31 32

9 Exemple 2 : ACP sur les caractères Reconnaissance Réseau auto-associatif : Y d = X non-linéaire Couche cachée de petite taille compression des données Les composantes principales sont les sorties de la couche cachée : minimisation de l erreur de reconstruction Utilisation : codage des données Formalisation du problème de la réduction de dimension: La réduction de dimension consiste à transformer le vecteur le x (dimension N) en un vecteur y (dimension M) avec M<N: y=f(x) La fonction f réalise la réduction de dimension. La réduction de dimension ne doit pas diminuer les performances en classification. La projection de données nécessite la minimisation d un critère. Deux types de critères: Représentation du signal: Représenter les données dans un espace de plus petite dimension. Classification: Projection dans un espace (de plus petite dimension) qui maximise la séparabilité des classes. Analyse Discriminante 35 36

10 Limites de l ACP : - cherche à expliciter la variance totale des variables mesurées - ne tient pas compte de l information de classe (technique non supervisée) - mesure : variance totale Variable 2 classe 1 Objectifs de l AFD : - cherche à maximiser la covariance entre les variables - utilise l information de classe - mesure : variances inter-classe et intra-classe classe 2 Variable 1 Trouver un nouvel espace (combinaison des variables initiales) permettant de discriminer au mieux les classes Mesure de séparation entre deux projections: Distance entre les «moyennes projetées»: Distributions normales Variables indépendantes Zone d incertitude sur les 2 variables incorrecte 39 40

11 Distance entre les «moyennes projetées»: Critère de Fisher: Pour chacune des classes: estimation de la variance (appelée scatter): Séparabilité plus importante within-class scatter Le critère de Fisher vise à maximiser: Distance plus importante Critère de Fisher: Le critère de Fisher vise à maximiser: Critère de Fisher: Expression du critère dans l espace des données x (vs espace de projection y) Explication: «Rapprochement» des exemples d une même classe «Eloignement» des moyennes S W : Matrice de dispersion intra-classe: Expression de la matrice de dispersion de l espace projeté y dans l espace des données 43 44

12 Critère de Fisher: Expression de la moyenne de l espace projeté y dans l espace des données Critère de Fisher: Maximum du critère J(w) Dérivée du critère de Fisher: S B : matrice de dispersion inter-classe Critère de Fisher exprimé en fonction des matrices de dispersion S W et S B : Solution: Exemple: X1= (x1,x2)= {(4,1),(2,4),(2,3),(3,6),(4,4)} X2= (x1,x2)= {(9,10),(6,8),(9,5),(8,7),(10,8)} Exemple: Estimation des matrices de dispersion: inter et intra classe: 47 48

13 Exemple: Espace de projection au sens du critère de Fisher: Généralisation à un problème à C classes: Matrice de dispersion intra-classe: Avec: Généralisation à un problème à C classes: Matrice de dispersion inter-classe: Généralisation à un problème à C classes: Matrice de dispersion totale : Avec: S T = S W + S B 51 52

14 Généralisation à un problème à C classes: Projection des données Limitations: Distributions non-gaussiennes Critère de Fisher non-linéaire Limitations: Discrimination des données selon la variance? non-linéaire par réseau de neurones: 55 56

15 non-linéaire Transformation de caractéristiques par réseaux de neurones: non-linéaire Transformation de caractéristiques par réseaux de neurones: non-linéaire Transformation de caractéristiques par réseaux de neurones: non-linéaire Retour sur le dilemme extracteur de caractéristique / classifieur p(ci X) = ( ) P X Ci p(c i) P(X) p(ci) : probabilité a priori (probabilité de la classe Ci avant d observer X) P(X Ci) : densité de probabilité conditionnelle de X par rapport à Ci P(X) : densité de probabilité de X : p(x)= p(x Ci)p(Ci) p(ci X) : probabilité a posteriori (l observation change la probabilité de Ci) 59 60

16 non-linéaire Retour sur le dilemme extracteur de caractéristique / classifieur p(ci X) = ( ) P X Ci p(c i) P(X) Règle de décision: Avec 2 hypothèses: décider C1 si p(c1 X) > p(c2 X) Sélection de caractéristiques Approches pour la réduction de dimension: extraction de caractéristiques: créer un sousensemble de nouvelles caractéristiques par combinaison des caractéristiques existantes sélection de caractéristiques: choisir un sousensemble de caractéristiques pertinent Maximum a posteriori (MAP) Extracteur de caractéristiques: estimation des probabilités Classifieur: fonction «max» Sélection de caractéristiques Choisir un sous-ensemble de caractéristiques pertinent Recherche de solution: Recherche exhaustive impossible Exemple: sélection de 10 caractéristiques parmi 100: plus de sous-ensembles Définition d un critère, d une fonction pour la sélection Sélection de caractéristiques Deux voies pour la sélection de paramètres (feature subset selection) : Filter control strategy n utilise pas le classifieur, mais une fonction d évaluation qui permet de mesurer la pertinence du sous-ensemble de paramètres légère en calcul fonction d évaluation difficile à déterminer Wrapper control strategy utilise le résultat de la classification comme mesure de performance. nécessité d évaluer, pour chaque jeu de paramètres, le taux de reconnaissance du classifieur 63 64

17 Sélection de caractéristiques Deux voies pour la sélection de paramètres (feature subset selection) : Sélection de caractéristiques Filter control strategy: Mesures de séparabilité des classes: Distances Euclidiennes, Mahalanobis, Critère de Fisher: det(s W -1 S B ) Corrélation, information théorique Corrélation linéaire des caractéristiques Maximum d information mutuelle Factorisation en matrices nonnégatives Sélection de caractéristiques Comparaison: Filter: Avantages: Exécution rapide Généralisation Inconvénients: Sélection d un sous-ensemble important: nécessité de fixer la dimension «désirée» du sous-ensemble Wrapper: Avantages: Performances en terme de score de reconnaissance Possibilité de combiner des critères d arrêt pour la généralisation Inconvénients: Exécution lente «Spécialisation» à un classifieur 67 Projection Principe: Obtenir une représentation des données en utilisant des contraintes de non-négativité. Contraintes issues des données: combinaison additive, interprétation 68

18 Factorisation en matrices nonnégatives Factorisation en matrices nonnégatives Principe: Principe: Projection Projection V: matrice de dimension nxm Les colonnes représentent les vecteurs caractéristiques de dimension n (m vecteurs) Matrices non-négatives W: matrice factorisée de dimension nxr H: matrice factorisée de dimension rxm Choix: (n+m) r < nm Chaque colonne de W est vecteur de base (basis vector) Les colonnes de H représentent les poids nécessaires pour approximer la colonne correspondante de W Comparaison avec l ACP: W représente le vecteurs propres (eigenvectors) H les valeurs propres (eigenprojections) ACP n a pas de contraintes spécifiques sur la non-négativité des matrices Factorisation en matrices nonnégatives Factorisation en matrices nonnégatives Principe: Résultats: Projection Algorithmes Projection Critère: optimisation de la divergence: Méthode itérative: 71 72

19 Factorisation en matrices nonnégatives Factorisation en matrices nonnégatives Résultats: Résultats: Projection Projection Factorisation en matrices nonnégatives Base de données Analyse de l interaction : Classification Sélection de caractéristiques Méthodes directes K-ppv bonne mauvaise Génération de Projection prototypes Frontière réelle Frontière estimée exemples nombreux densité homogène exemples peu nombreux densité non homogène 75 76

20 Performances d un classifieur Performances d un classifieur Classification Méthodes directes K-ppv Génération de prototypes Mesurées sur l ensemble de test : % formes bien classées % formes mal classées % formes non classées facteur de qualité étude des confusions critères de rejet Classification Méthodes directes K-ppv Génération de prototypes Estimation des performances sur une base de test Matrice de confusion : décision étiquette 1 2 Coût d une décision? Notion de risque Performances d un classifieur Performances d un classifieur Classification Méthodes directes N-folds cross-validation Classification Méthodes directes N-folds cross-validation K-ppv K-ppv Génération de Génération de prototypes prototypes 79 80

21 Performances d un classifieur Performances d un classifieur Classification Méthodes directes K-ppv Visualisation des performances: Courbe ROC (Receiver Operating Characteristic) Classification Méthodes directes K-ppv Visualisation des performances: Courbe ROC (Receiver Operating Characteristic) Génération de Génération de prototypes prototypes Performances d un classifieur Classification Méthodes directes K-ppv Visualisation des performances: AUC: Area Under ROC Curve Génération de prototypes 83