Mesures d évaluation Multi-classes Réduction de dimension

Transcription

1 Mesures d évaluation Multi-classes Réduction de dimension Cours 10 Nicolas Baskiotis nicolas.baskiotis@lip6.fr Master 1 DAC équipe MLIA, Laboratoire d Informatique de Paris 6 (LIP6) Université Pierre et Marie Curie (UPMC) S2 ( ) N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 1 / 26

2 Plan 1 Mesures d évaluation 2 Problème multi-classes 3 Réduction de dimensions 4 Conclusion N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 2 / 26

3 Mesures d évaluation Objectifs Estimer la qualité des prédictions fournies par une approche Comparer des approches entre elles sur un problème donné Comparer des algorithmes sur un ensemble de problèmes Le résultat dépend Choix de la mesure Choix du protocole de test (paramétrisation) Choix de l échantillage N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 3 / 26

4 Une mesure unique? Tutorial icmla 2011, N. Japkowicz N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 4 / 26

5 Matrice de confusion Contexte Un problème de classification binaire, étiquettes positif/négatif TP : Vrai positif (True positive), TN : Vrai négatif (True negative) FP : Faux positif (False positive), FN : Faux négatif (False negative) Matrice de confusion Mesures dérivées Label + Label f (x) = +1 TP FP f (x) = 1 FN TN P = TP + FN N = FP + TN Erreur 0 1 : FP+FN Précision : P+N TP TP+FP Rappel (TP rate) : TP P FP Rate : FP N F β = (1 + β 2 ) precision rappel β 2 precision+rappel N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 5 / 26

6 Exemple (ou le problème du déséquilibre) Label + Label f (x) = f (x) = Erreur : 60% Précision : 40%, Rappel : 40% F 1 : 0.4 Label + Label f (x) = f (x) = Erreur : 60% Précision : 66%, Rappel : 40% F 1 : 0.5 Label + Label f (x) = f (x) = Erreur : 60% Précision : 66%, Rappel : 80% F 1 : 0.66 Label + Label f (x) = f (x) = Erreur : 66% Précision : 66%, Rappel : 40% F 1 : 0.5 N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 6 / 26

7 Courbe ROC et AUC Courbe ROC : TP rate en fonction du FP rate permet de calibrer un classifieur mesure d intérêt : AUC, aire sous la courbe N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 7 / 26

8 Comment comparer deux algos? Test statistique N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 8 / 26

9 Plan 1 Mesures d évaluation 2 Problème multi-classes 3 Réduction de dimensions 4 Conclusion N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 9 / 26

10 Cas usuel Contexte Classes : C = {C 1, C 2,..., C K } Classification binaire ne marche pas directement Approches naïves utilisant la classification binaire One-versus-one : matrice M ij = C i vs C j One-versus-all : vecteur M i = C i vs {C j i } Adaptation de la classification binaire Arbres, forets, k-nn : adaptation triviale SVMs multi-classes Réseau de neuronnes : vecteur de sortie y et softmax : p(y j ) = e y j i e y i N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 10 / 26

11 Très grand nombre de classes Problèmes des approches usuelles Coût d une classification τ au mieux linéaire en fonction de K : temps τk grand nombre de dimensions passage à l échelle difficile en temps de calcul et en perfs Deux grandes familles d approche Approche flat : plonger les classes dans un espace R K, K << K Intérêt : K τ pour trouver la bonne classe Approche hiérarchique : organiser les classes hiérarchiquement dans un arbre de classes Intérêt : inférence en log(k)τ pour un arbre binaire N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 11 / 26

12 Approches Error Correcting Output Code (ECOC) Principe Plonger les classes dans R K, K << K Codage : une classe un code dans K Inférence = codage : f : X K, f (x) donne un code dans K Décodage : classe dont le code est le plus proche En pratique Un code c i : un vecteur ternaire de K : ( 1, 0, 1,..., 0, 1) A chaque code, un classifieur binaire f i qui sépare {C j c i j > 0} et {C j c i j < 0} Matrice M de codage de K : matrice K K des M ij = c i j Codage d une classe C j : (c 1 j, c2 j,... ck j ) codage d un exemple : (f 1 (x), f 2 (x),..., f k (x)) Inférence : argmin j d(f (x), M.j ) en O(K τ + K) N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 12 / 26

13 Approche hiérarchique Objectif Construire un arbre de partitionnement (hard ou soft) des classes Pour un nœud n : un ensemble Cn de classes, pour les fils n 1,..., n c sous-ensembles C n 1,..., C n c C n, et C n j = C n un classifieur fn à valeur dans {n 1,..., n c} Racine : ensemble de toutes les classes, feuilles : une seule classe Classification : un chemin dans l arbre (en utilisant f n ), classe de la feuille Problèmatiques Construire l hiérarchie : information a priori sur les classes : ontologie ou hiérarchie des classes apprentissage de l hiérarchie : clustering, approches gloutonnes Apprendre les classifieurs : problème de données non équilibrés Correction des erreurs : redondance des classes dans les nœuds de l arbre N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 13 / 26

14 Plan 1 Mesures d évaluation 2 Problème multi-classes 3 Réduction de dimensions 4 Conclusion N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 14 / 26

15 Problèmatique Ajouter des dimensions augmente l expressivité Trop de dimension : peu de variance sur une même dimension, problème sur-appris, sujet au bruit,... En texte, image (et ailleurs) : trop de dimensions dimensions peu informatives, très corrélées Réduire les dimensions mais sans perte d informations! Objectif : chercher une projection φ : R d R d avec d << d Applications apprentissage visualisation réduction du bruit N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 15 / 26

16 Analyse en Composante Principale Réduction en dimension 1 Soit X = {x 1,..., x n } et x 0 un vecteur représentant ces données objectif : J(X, x 0 ) = i x 0 x i 2 plus petit possible! Minimiseur : µ = 1 n i x i, et J(x 0 ) = i x 0 µ + µ x i 2 = i x 0 µ 2 + i x i µ 2 N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 16 / 26

17 Analyse en composante principale Réduction sur une dimension on cherche à projeter sur une ligne ae + b, ou e vecteur unitaire en dimension d Chaque point x i : a i e + b J(X, e) = i a ie + b x i 2 = i a2 i 2 i a ie (x i b) + i x i b 2 J a i = 0 a i = e (x i b) J(X, e) = i a2 i 2 i a2 i + i x k b 2 = i (e (x i b)) 2 + i x i b 2 avec S = i (x i b)(x i b), J(X, e) = e Se + i x i b 2 Solution (lagrangien) : Se = λe Réduction en plusieurs dimensions Même démarche : ensemble des vecteurs propres Equivalent à X µ = WSV, S diagonale, V vecteurs propres, W coordonnées des points dans le nouveau repère Ou à la diagonalisation de la matrice de covariance (X µ)(x µ ) N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 17 / 26

18 Exemple N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 18 / 26

19 Apprentissage de dictionnaire Une image : constituée d un petit ensemble de primitives. Problème de la PCA : base orthogonale! pas de redondance Peut-on apprendre un dictionnaire de primitives pour représenter un jeu de données? N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 19 / 26

20 Compress sensing Objectif : trouver D tel que x Dx Contrainte de sparsité : x 0 très faible, peu d atomes sont nécessaires à reconstruire x simplicité : quelques atomes suffisent à expliquer x signification : la représentation explique x parcimonie : x est décrit que parce qui le représente Problème d optimisation : argmin D Dx x + λ x 0 (différentes normes, différentes variantes) Approche dérivée de la physique (analyse de wavelet, fourier,... ) N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 20 / 26

21 Applications Débruitage [Mairal et al 2009] N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 21 / 26

22 Applications Inpainting N. Baskiotis (LIP6, UPMC) [Mairal, Elad, Sapiro 2008] ARF S2 ( ) 21 / 26

23 Factorisation matricielle non négative Décomposition sur un dictionnaire additif uniquement x Dx, avec x > 0 Intérêt : plus interprétable, plus réaliste sur un ensemble de problèmes Multiples applications : séparation de sources, en topic discovery,... N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 22 / 26

24 Auto-encoders Principe Apprendre un réseau de neuronnes qui reconstruit au mieux l entrée Encodage sur une couche cachée réduction de dimension Applications Visualisation Débruitage Réduction de dimension, espace latent de représentation N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 23 / 26

25 Plan 1 Mesures d évaluation 2 Problème multi-classes 3 Réduction de dimensions 4 Conclusion N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 24 / 26

26 Ce qu on a vu Ce qu est l apprentissage supervisé, non supervisé Les algos usuels d apprentissage : estimation de densité, classification linéaire, réseau de neuronnes, k-means Quelques concepts plus généraux : fonction de coût, expressivité, pénalisation, dimensionalité, noyaux, ensemble learning Comment s évaluer : validation croisée N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 25 / 26

27 Ce qu on n a pas vu Ce qu est l apprentissage semi-supervisé, l apprentissage actif, le reinforcement learning, le multi-instance, le ranking, le collaborative filtering, l optimisation exploration/exploitation, l optimisation multi-critère, l apprentissage relationel, les séquences, l apprentissage de données structurées,... Le détail des approches présentées : chaque cours pourrait faire une UE à part entière! Les techniques avancées : réseaux profonds,... Les maths dérrière l ensemble de ces notions : théorie de la statistique, théorie de la décision, les bornes Les techniques d optimisation pour le big data Une (petite) partie sera couverte en M2 N. Baskiotis (LIP6, UPMC) ARF S2 ( ) 26 / 26