Modèles markoviens et extensions pour la classification de données complexes

Transcription

1 Modèles markoviens et extensions pour la classification de données complexes THÈSE présentée par Juliette BLANCHET réalisée sous la direction de Cordelia Schmid et Florence Forbes Mercredi 10 octobre / 41

2 1 Problématique : classification de données structurées 2 Classification d individus soumis à un bruit complexe 3 Classification d individus à partir d observations incomplètes 4 Conclusion et perspectives 2 / 41

3 1 Problématique : classification de données structurées 2 Classification d individus soumis à un bruit complexe 3 Classification d individus à partir d observations incomplètes 4 Conclusion et perspectives 3 / 41

4 Problématique : classification Objectif : Faire des groupes d individus à partir d observations. Hypothèse : Dépendances particulières entre les individus, définies à l aide d un graphe d interactions fixé et connu. Noeuds = individus/sites Arêtes = dépendance directe voisins Exemple : segmentation d image Classification supervisée : observations étiquetées (base d apprentissage) Classification non supervisée 4 / 41

5 Approche probabiliste I les individus, K les classes (ex. : vélo/fond), G un graphe observations x = {x i IR D, i I} classification z = {z i K, i I} Classification probabiliste optimale : Maximum a posteriori (MAP) : z map = argmax P(z x) z }{{} loi a posteriori Maximum des probabilités marginales (MPM) : pour tout i I, z mpm i = argmax P(z i x) z i Quel modèle pour tenir compte du graphe? 5 / 41

6 Modèle de champ de Markov caché P(x,z) = P(x z) }{{} P(z) }{{} modèle de bruit loi a priori Définition : On dit que (X,Z) est un champ de Markov caché à bruit indépendant si : Hypothèse de bruit indépendant : P(x z) = i I P(x i z i ) En général P(. Z i = k) N(µ k,σ k ) Z est un champ de Markov graphe P(z) i I P(z i ) 6 / 41

7 Loi a priori markovienne Définition : Z est un champ de Markov si z, i, P(z i z I\i ) = P(z i z Ni ) Z suit une distribution de Gibbs : P G (z) = W 1 exp( V c (z c )) c C clique c C = ensemble de sites tous voisins les uns des autres 7 / 41

8 Loi a priori markovienne Définition : Z est un champ de Markov si z, i, P(z i z I\i ) = P(z i z Ni ) Z suit une distribution de Gibbs : P G (z) = W 1 exp( V ij (z i, z j )) i j en se restreignant aux potentiels sur les cliques d ordre 2 7 / 41

9 Loi a priori markovienne Définition : Z est un champ de Markov si z, i, P(z i z I\i ) = P(z i z Ni ) Z suit une distribution de Gibbs : P G (z) = W 1 exp( V (z i, z j )) i j en supposant les potentiels homogènes et isotropes. Paramètre = matrice symétrique V = (V (k, k )) k,k K V (k, k ) coefficient de compatibilité entre les classes k et k 7 / 41

10 Loi a priori markovienne Définition : Z est un champ de Markov si z, i, P(z i z I\i ) = P(z i z Ni ) Z suit une distribution de Gibbs : P G (z) = W 1 exp( V (z i, z j )) i j en supposant les potentiels homogènes et isotropes. Paramètre = matrice symétrique V = (V (k, k )) k,k K V (k, k ) coefficient de compatibilité entre les classes k et k W ne peut pas être calculé. Des approximations sont nécessaires. 7 / 41

11 Illustration graphique Considérons 3 individus i, s et t tels que : s i t Modèles graphiques associés : Z s Z i Z t Z s Z i Z t X s X i X t champ de Markov caché à bruit indépendant X s X i X t mélange indépendant Il existe divers algorithmes d estimation (ICE, gradient stochastique, EM-champ moyen...) et de classification (recuit simulé, ICM...). 8 / 41

12 Contributions On s intéresse à la classification d individus structurés à partir d observations dites «complexes» : Classification d individus à partir d observations de grande dimension > Modèle parcimonieux de [Bouv07] dans un cadre markovien Classification d individus soumis à un bruit complexe > Famille de modèles de Markov triplet Classification d individus à partir d observations incomplètes > Cadre markovien, sans complétion préalable des données 9 / 41

13 1 Problématique : classification de données structurées 2 Classification d individus soumis à un bruit complexe 3 Classification d individus à partir d observations incomplètes 4 Conclusion et perspectives 10 / 41

14 Limites des hypothèses classiques Le modèle de champ de Markov caché à bruit indépendant suppose : (A) Z est un champ de Markov (B) Le bruit est indépendant : P(x z) = i I P(x i z i ) On va chercher à relâcher l hypothèse de bruit indépendant (B). Remarque : En pratique dans les algorithmes, l hypothèse (A) n est pas nécessaire puisque seule est utilisée la markovianité de Z X = x (et non directement celle de Z). 11 / 41

15 Relâcher les hypothèses classiques Zs Xs Zs Zi Xi Zi Xs Xi Zt Xt Zt Xt (X,Z) est un champ de Markov caché à bruit indépendant (A) Z est markovien (B) P(x z) = i I P(x i z i ) (X,Z) est un champ de Markov couple si sa distribution est markovienne : P G (x,z) exp( c C V c (x c,z c )) Zs Zi Zt Ys Yi Yt Xs Xi Xt Ajout d un champ auxilliaire Y = (Y i ) i I discret, Y i L (X,Y,Z) est un champ de Markov triplet si sa distribution est markovienne : P G (x,y,z) exp( c C V c (x c,y c,z c )) 12 / 41

16 Intérêt du modèle triplet En notant U = (Y,Z), U i = (Y i, Z i ) L K, P G (x,u) exp( c C V c (x c,u c )) (X,U) est un champ de Markov couple On est ramené au cadre connu des champs de Markov couples par l ajout d un champ auxiliaire modélisant des bruits complexes. On passe d un problème à K classes associées à des bruits complexes à un problème à LK classes associées à des bruits plus simples. Le champ auxilliaire Y peut être interprété de diverses façons : stationnarités (image) sous-classes (textures) / 41

17 Cas particulier P G (x,y,z) exp( V c (y c,z c )) P(x i y i, z i ) c C i I }{{} P G (y,z) }{{} P(x y,z) (X, U) est un champ de Markov caché à bruit indépendant. Zs Zi Zt Ys Yi Yt Xs Xi Xt Avantage : plus général que P(x y,z) = P(x i z i ) de [Benb05,07] Inconvénient : nécessite le cadre supervisé i I 14 / 41

18 Notre modèle de Markov triplet P G (x,y,z) exp( B ziz j (y i, y j ) + C(z i, z j )) f(x i θ yiz i ) i j i I }{{}}{{} P G (y,z) P(x y,z) Paramètres : les θ lk associés aux LK classes les K 2 matrices B kk de taille L L la matrice C de taille K K C(k, k ) compatibilité entre les classes k et k B kk (l, l ) compat. entre les sous-classes l et l des classes k et k. 15 / 41

19 Caractéristiques de notre modèle P G (x,y,z) exp( B ziz j (y i, y j ) + C(z i, z j )) f(x i θ yiz i ) i j i I }{{} P G (y,z) }{{} P(x y,z) 1 Avec U = (Y,Z), le couple (X,U) est un champ de Markov caché à bruit indépendant à LK classes 2 Y Z = z est un champ de Markov : P G (y z) = 1 W(z) exp( B ziz j (y i, y j )) i j 3 Conditionnellement à Z = z, le couple (X,Y) est un champ de Markov caché à bruit indépendant adapté au cadre supervisé 16 / 41

20 Schéma de la classification supervisée Modèle de Markov triplet initial Zs Zi Zt Ys Yi Yt Xs Xi Xt Phase d apprentissage sur le modèle de champ de Markov caché à bruit indépendant (X,Y Z = z) : estimation des θ lk et B kk. Phase de test sur le modèle de champ de Markov caché à bruit indépendant (X,U) : estimation de la matrice C avec les ˆθ lk et ˆB kk appris, puis classification. Y s z Xs Us Xs Y i z Xi Ui Xi Y t z Xt Ut Xt 17 / 41

21 Application : reconnaissance de textures Base d apprentissage : 7 textures, 10 7 = 70 images uni-texture Brique Moquette Tissu Sol 1 Sol 2 Marbre Bois Base de test : 70 images uni-texture et 63 images multi-textures. Les images sont prises dans des conditions naturelles : grandes variations de luminosité, différentes échelles, différents angles de vue. Niveaux de gris inefficaces. Descripteurs d image, très classiques en vision par ordinateur. 18 / 41

22 Descripteurs d image L extraction des descripteurs d image s effectue en deux étapes : 1 Détection des points d intérêt et calcul des échelles associées : identifie les zones ayant des caractéristiques particulières Ex : Laplace : régions les plus saillantes 2 Calcul des descripteurs sur les zones détectées Ex : SIFT découpe les zones en 4 4 zones puis calcule le gradient de l intensité dans les 8 directions dimension D = = / 41

23 Choix du réseau d interaction Les points d intérêt sont irrégulièrement espacés. Quel graphe? Il n existe pas d outils pour le choix du meilleur graphe. Graphe de Delaunay 20 / 41

24 Les modèles considérés Mélange indépendant : P(x,z) = i I π zi f(x i θ zi ) Champ de Markov caché : P(x,z) exp(c 1 zi=z j ) f(x i θ zi )) i j i I Mélange de mélange indépendant : P(x,y,z) = i I λ yiz i π zi f(x i θ yiz i ) Champ de Markov triplet : P G (x,y,z) exp( i j [B ziz j (y i, y j ) + c] 1 zi=z j ) i I f(x i θ yiz i ) où f est gaussienne de matrice de covariance diagonale ou paramétrée pour la grande dimension [Bouv07] 21 / 41

25 Taux de classification correcte Modèle Brique Moqu. Tissu Sol 1 Sol 2 Marbre Bois Mélange diagonal Mélange grande dimension Markov caché diagonal Markov caché grande dimension Mél. de mél. diagonal Mél. de mél. grande dimension Markov triplet diagonal Markov triplet grande dimension / 41

26 Illustration Brique Moqu. Tissu Sol 1 Sol 2 Marbre Bois Taux Vraie classif. Markov caché grande dimension 37.9% Mél. de mél. diagonal 41.5% Mél. de mél. grande dimension Markov triplet diagonal Markov triplet grande dimension 43.4% 79.9% 94.3% 23 / 41

27 1 Problématique : classification de données structurées 2 Classification d individus soumis à un bruit complexe 3 Classification d individus à partir d observations incomplètes 4 Conclusion et perspectives 24 / 41

28 Données incomplètes Certaines observations sont manquantes : elles n ont pas pu être observées. Ex : sondé ne répondant pas à une question elles sont incohérentes. Ex : spectres de Mars Express (Labo. de Planétologie de Grenoble) Objectif : classer les individus à partir d observations incomplètes et du graphe d interaction. 25 / 41

29 Traitement heuristique Se ramener à des observations complètes... suppression des vecteurs d observations incomplets imputation : remplacer les observations manquantes par une valeur raisonnable (zéro, moyenne, k-plus proches voisins...)... puis classer les individus à partir des observations complétées. Ne tient compte ni de l incertitude sur les valeurs imputées, ni du graphe, ni de l objectif de classification. Modifie les relations entre les observations (sous-estime la variabilité). Approche probabiliste ne nécessitant pas le remplacement préalable des valeurs manquantes 26 / 41

30 Modélisation du problème I les individus, K les classes, G un graphe observations x = {x i IR D, i I} classification z = {z i K, i I} absence m = {m i {1,, D}, i I} + x = (x o,x m ) x o = {x oi i } xm = {x mi i } Ce qu on connait : x o, m, G Ce qui est manquant : x m, z 27 / 41

31 Modélisation probabiliste Nécessite de définir la loi jointe : P(x,z,m ψ; ρ) = P(m x,z, ρ) P(x,z ψ) où ρ paramètres de P(m x,z) ψ paramètres de P(x,z) Classification optimale : Maximum a posteriori (MAP) : z map = argmax P(z x o, ψ) z Maximum des probabilités marginales (MPM) : pour tout i I, z mpm i Nécessite la connaissance de ψ... = argmax z i P(z i x o, ψ) 28 / 41

32 Hypothèse MAR On se place sous l hypothèse MAR (Missing At Random) : le processus d absence ne dépend que des données observées P(m x,z) = P(m x o ) Intérêt : factorisation de la vraisemblance P(x o,m ψ, ρ) = P(m x o, ρ) P(x o ψ) Chercher ˆψ maximisant la vraisemblance P(x o,m ψ, ρ) revient à chercher ˆψ maximisant la vraisemblance P(x o ψ), indépendamment du mécanisme d absence. 29 / 41

33 Estimation Modèle pour (X, Z) : champ de Markov caché à bruit indépendant P(x,z ψ) = P G (z φ) i I f(x i θ zi ) On cherche ψ maximisant la vraisemblance des observations : ˆψ = argmax ψ log P(x o ψ) 30 / 41

34 Estimation Modèle pour (X, Z) : champ de Markov caché à bruit indépendant P(x,z ψ) = P G (z φ) i I f(x i θ zi ) On cherche ψ maximisant la vraisemblance complétée : ˆψ = argmax ψ logp(x o,x m,z ψ) 30 / 41

35 Estimation Modèle pour (X, Z) : champ de Markov caché à bruit indépendant P(x,z ψ) = P G (z φ) i I f(x i θ zi ) On cherche ψ maximisant la vraisemblance complétée : ˆψ = argmax ψ logp(x o,x m,z ψ) }{{} E(log P(x o,x m,z ψ) x o ) 30 / 41

36 Estimation Modèle pour (X, Z) : champ de Markov caché à bruit indépendant P(x,z ψ) = P G (z φ) i I f(x i θ zi ) On cherche ψ maximisant la vraisemblance complétée : ˆψ = argmax ψ logp(x o,x m,z ψ) }{{} E(log P(x o,x m,z ψ) x o ) Algorithme itératif EM pour observations incomplètes : ψ (q+1) = argmax E(log P(x o,x m,z ψ) x o, ψ (q) ) ψ Problème : Incalculable lorsque Z markovien Mais : facile lorsque Z indépendant [Litt86] se ramener à une distribution factorisée [Cel03] sur observations complètes 30 / 41

37 EM de type champ moyen Approximation par une distribution factorisée : P G (z) i I Q i (z i ) 31 / 41

38 EM de type champ moyen Approximation en champ moyen : P G (z) i I P(z i µ Ni ) 31 / 41

39 EM de type champ moyen Approximation de type champ moyen : z = champ constant P G (z) i I P(z i z Ni ) 31 / 41

40 EM de type champ moyen Approximation de type champ moyen : z = champ constant P G (z) i I P(z i z Ni ) Algorithme itératif EM-champ moyen pour observations incomplètes : 1 Fixer une configuration z à partir de x o et ψ (q) 2 Appliquer EM sur le modèle factorisé pour mettre à jour les paramètres ψ (q+1). En particulier, z peut être simulé selon P(Z x o, ψ (q) ) (échantillonneur de Gibbs) : algorithme en champ simulé (SF). 31 / 41

41 L étape (EM) (E) Calcul des probabilités a posteriori t (q) ik = P(Z i = k z Ni, x oi i, ψ(q) ) : π (q) t (q) ik f(xoi i θ(q) k ik = ) si o i π (q) ik f(x oi i θ(q) k ) k K si o i = où π (q) ik = P(Z i = k z Ni, φ (q) ) (M) Mise à jour des paramètres φ de P G (z φ) et θ = (θ k ) k K des densités f(. θ k ) : φ (q+1) = argmax t (q) ik log π ik (1) φ θ (q+1) i I k K k = argmax θ k i I π (q) ik t (q) ik E(log f(xoi i, Xmi i θ k ) x oi i, θ(q) k ) (2) L équation (1) est identique au cas complet (descente de gradient) L équation (2) est identique au cas du mélange indépendant [Litt86] 32 / 41

42 Cas gaussien - moyenne On s intéresse au cas où f(. θ k ) est gaussienne, avec θ k = (µ k, Σ k ). f(x oi i θ k) f(x mi i x oi i, θ k) où η ik et Γ ik = N(x oi i µoi k, Σoioi = N(x mi i η ik, Γ ik ) = µ mi k = Σ mimi k + Σ mioi k k ) Σ mioi k (Σ oioi k (Σ oioi k ) 1 (x oi i µ oi ) 1 Σ oimi k Mise à jour de la composante d 1, D de la moyenne µ k : µ d k = t i ik lik d { x i t avec lik d = d i si d o i ik ηik d sinon k ) consiste à remplacer les valeurs manquantes x mi i conditionnellement aux observations x oi i. par leur moyenne η ik 33 / 41

43 Cas gaussien - covariance On s intéresse au cas où f(. θ k ) est gaussienne, avec θ k = (µ k, Σ k ). f(x oi i θ k) f(x mi i x oi i, θ k) où η ik et Γ ik = N(x oi i µoi k, Σoioi = N(x mi i η ik, Γ ik ) = µ mi k = Σ mimi k + Σ mioi k k ) Σ mioi k (Σ oioi k (Σ oioi k ) 1 (x oi i µ oi ) 1 Σ oimi k Mise à jour de la composante d, d 1, D de covariance Σ k : k ) Σ dd k = (S dd ik ) = i t ik S dd ik i t ik avec (x d i µd k )(xd i µ d k ) k ) k ) (x d i µd k )(ηd ik µd (ηik d µd k )(xd i µ d (ηik d µd k )(ηd ik µd k ) + Γdd ik si d o i et d o i si d o i et d m i si d m i et d o i si d m i et d m i n est pas équivalent à remplacer les valeurs manquantes x mi i moyenne η ik conditionnellement aux observations x oi i. par leur 34 / 41

44 Application : sur images synthétiques Bruit gaussien non diagonal, D = 4 % erreur EMmiss ZERO+SF MEAN+SF KNN+SF UMEAN+SF CMEAN+SF SFmiss Absence aléatoire 10 (MAR) % absence 0% 30% 60% 80% 90% e = 0.61% e = 0.77% e = 1.12% e = 3.08% e = 4.94% 35 / 41

45 Application : sur images synthétiques EMmiss ZERO+SF MEAN+SF KNN+SF UMEAN+SF CMEAN+SF SFmiss Bruit gaussien non diagonal, en dimension D = 4 Absence par censure % erreur (NMAR) % absence 0% 30% 50% 60% 70% e = 0.61% e = 2.24% e = 5.56% e = 11.47% e = 32.45% 36 / 41

46 Application : classification de gènes On souhaite classer des gènes de Saccharomyces cerevisiae (levure) régulés lors de la division cellulaire. Les données [Spel98] : 612 gènes observés toutes les 10 minutes durant 160 minutes Observations = scores de biopuces, D = / 41

47 Application : classification de gènes On souhaite classer des gènes de Saccharomyces cerevisiae (levure) régulés lors de la division cellulaire. Les données [Spel98] : 612 gènes observés toutes les 10 minutes durant 160 minutes Observations = scores de biopuces, D = 17 5% d observations manquantes, > 80% des gènes affectés Réseau d interactions entre protéines arêtes (11.5 voisins par gène) 41 gènes non connectés 37 / 41

48 Classification de gènes de la levure : résultats Groupes plus homogènes avec notre algorithme (SFmiss) 38 / 41

49 Classification de gènes de la levure : résultats Groupes plus homogènes avec notre algorithme (SFmiss) Groupe mieux les gènes de fonctions biologiques similaires (GO) n o p-valeur p-valeur p-valeur de classe pour SFmiss pour EMmiss pour KNN+SF k=4 GO : , coenzyme met. process > 0.1 > 0.1 k=5 GO : , spindle GO : , sulf. met. process GO : , mitotic cell cycle > 0.1 GO : , mit. spin. org. & biogen. in nucleus k=6 GO : , resp. to DNA dam. stim GO : , dbl-str. bk rep. via hom. comb GO : , mannosyltransf. act k=9 GO : , MCM cplx GO : , ATP-dep. helicase act GO : , DNA unwind. replic GO : , ATPase act. coupl / 41

50 Classification de gènes de la levure : résultats Groupes plus homogènes avec notre algorithme (SFmiss) Groupe mieux les gènes de fonctions biologiques similaires (GO) Etude de stabilité : EMmiss 5 KNN+SF PREV+SF SFmiss / 41

51 1 Problématique : classification de données structurées 2 Classification d individus soumis à un bruit complexe 3 Classification d individus à partir d observations incomplètes 4 Conclusion et perspectives 39 / 41

52 Conclusion Modèles et méthodes pour la classification d individus structurés à partir d observations complexes : Famille de champs de Markov triplets pour la classification d individus soumis à des bruits complexes. > Application à la reconnaissance d images de textures. Cadre markovien pour la classification d observations incomplètes. > Application à la classification de gènes de la levure. Logiciel SpaCEM 3 (Spatial Clustering with EM and Markov Models) en C++, disponible à l adresse : 40 / 41

53 Perspectives A court terme, dans les applications : Introduction de poids w, fixés, connus, pour pondérer l importance relative des arêtes (distance, confiance...) V ij (z i, z j ) = w ij V (z i, z j ) Reconstruire les observations manquantes en les estimant par la moyenne conditionnelle, après classification : 2 (ẑ i, ˆx mi i ) = argmax z i,x m i i P(z i, x mi i x oi i ) { ẑi = argmax zi P(z i x oi i ) ˆx mi i = argmax m x i f(x mi i i x oi i, ẑ i) = η iẑi erreur relative moyenne ZERO MEAN KNN SFmiss A plus long terme : Graphe non fixé? Incomplet? Modèle de Markov triplet en situation non supervisée? % absence 41 / 41