ILOG 3. Traitement Informatique des Données

Transcription

1 ILOG 3 Traitement Infrmatique des Dnnées Yunès BENNANI Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées Pan du curs Recnnaissances des Frmes Méthdes statistiques Méthdes paramétriques Méthdes nn-paramétriques Cassificatin autmatique Etractin et séectin de traits Méthdes structurees Structures de chaîne Etractin de primitives Méthdes syntaiques Grammaires et autmates Arbres et graphes Méthdes Factriees Anayse en Cmpsantes Principaes Anayse des crrespndances Anayse Discriminante Mdèes Cnneinnistes Mdèes supervisés Mdèes nn-supervisés Mdèes Hybrides Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées

2 Recnnaissance Statistique des Frmes Partie I Yunès BENNANI Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 3 Bibigraphie (RdF Keinsuke Fukunaga «Statistica Pattern Recgnitin» Acacemic Press Cmputer Science and Scientific Cmputing M. Friedman A. Kande «Intrductin t Pattern Recgnitin» Wrd Scientific Machine Perceptin Artificia Inteigence, V. 3. A. Y. Beaïd «Recnnaissance des Frmes» Inter Editins Infrmatique Inteigence Artificiee Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 4

3 RdF Statistique et Structuree RdF Structuree A RdF Statistique X e =[,,, n] = b b b h h h a a f d Méthdes syntaiques - Grammaires et autmates - Arbres et graphes c g h b a =[,,, n] = Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 5 X Méthdes statistiques - Méthdes paramétriques+ nn-paramétriques - Etractin et séectin de traits - Cassificatin autmatique (t Cdage numérique des frmes t t t3 tn- tn t X = M " n ( ( t t = M % " t n ( % Pie A X = M " n ( ( = M % " n % ( Pie n Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 6

4 Frmes et variabiité Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 7 Un eempe : Chernff faces f the speaker data Représentatin numérique Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 8

5 Cassificatin : «Custering» Espace des frmes C3 C regrupement C4 C Espace des «custers» Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 9 Cassement C Espace des frmes identificatin C C3 Espace de décisin C4 Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 0

6 Système de RdF Mnde Physique Espace des Frmes Recnnaissance Micrphne Caméra Anagique --> Numérique Espace de Représentatin fréquenc e(hz Cdage Prétraitement Anayse Décisin Séectin de inf. nécessaire Eiminatin du bruit Suppressin de a redndance Cacu de paramètres Espace des Paramètres Cacu de distance u de prbabiité Apprentissage Mdéisatin Espace des Nms Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées Système de RdF X = M " % n : g(x, W. g - w w W = M " % w n Prfesseur Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées

7 Système de RdF Espace des frmes Espace des décisins X = M " % n :. Cassificateur Ma Min P( C i / X u ( d X,C i Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 3 Linear Discriminant Functins Définir des fnctins permettant de séparer des casses représentées par eurs échantins. g(=w.x t =w +w + +wn n +wn+ X i g(< 0 " > 0 si C g( = W.X t % < 0 si C C g(> 0 g(=0 Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 4 C

8 Linear Discriminant Functins Sit M e nmbre de casses : C, C,..., C M casse cntre e reste : I eiste M fnctins de discriminatin : g k ( = W k.x t k = {,,..., M} " > 0 si C k k =KM g k ( = W k.x t % < 0 sinn g j (=0 Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées C 5 j C i Linear Discriminant Functins Casses séparabes à : I eiste M(M-/ fnctins de discriminatin : g ij ( = W ij.x t si C i ars g ij ( > 0 " ji et g ij ( = - g ji ( Cas particuier : g ij ( = g i ( - g j ( = (W i - W j.x t = W ij.x t g ij ( =0 Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées C 6 j C i

9 Méthdes paramétriques Bayes Cassifier N bservatins D = { X, X,...,X N } dans n réparties en M casses {C,C,..., C M }, n cherche à estimer a prbabiité dappartenance a psteriri de X à chacune des c casses. P(C i : prbabiité a priri dappartenance à a casse C i. P(X/C i : a densité de prbabiité cnditinnee dans a casse C i. X i C i Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 7 Méthdes paramétriques Bayes Cassifier Suppsns que sient cnnues P(C i et P(X/C i, pur tut i variant de à M, et suppsns que n veuie identifier a casse dun bjet incnnu X : La rège de Bayes cnsiste à déterminer a prbabiité dappartenance a psteriri de X à chacune des M casses : Densité de prbabiité cnditinnee dans a casse Ci Prbabiité a psteriri d appartenance de X à a casse Ci P(C i / X = P(X / C i P(C i M i = P( X / C i P(C i Prbabiité a priri d appartenance à a casse Ci Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 8

10 Méthdes paramétriques Bayes Cassifier Lbjet X sera affecté à a casse pur aquee P(C i /X sera maimum. Une autre frmuatin du prbème sera de cacuer es fnctins discriminantes g i (X : g i (X = P(X / C i P(C i La rège de décisin sera ars daffecter X à a casse C i crrespndant à g i (X maimum. Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 9 (µ i, % i pur a casse C i µ i Bayes Cassifier Hypthèse de Muti-nrmaité est e vecteur myenne % i est a matrice de cvariance " µ = N µ = µ i = N M µ n = N N k = X k N k X k = N k = X n k % " var( X cv( X, X L L cv( X, X n % var( X i = M M M M M M M M cv(x n, X L L var( X n var( X i = (X i = k "(X N i µ i N N k = cv( X i, X j = k (X i " µ i (X k j " µ j N k = Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 0

11 Bayes Cassifier Hypthèse de Muti-nrmaité " " 3 3 " Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées Bayes Cassifier Hypthèse de Muti-nrmaité La fnctin de densité muti-nrmae a pur epressin : P(X / C i = ( n e (X µ i t " i (X µ i % ( " i Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées

12 Bayes Cassifier Hypthèse de Muti-nrmaité g i (X = P(X / C i P(C i si n prend e garithme népérien : La fnctin de décisin est : [ ] + n[ P(C i ] g i (X = n P(X / C i g i (X = (X µ i t " i (X µ i n n [ ] n [ " i ] + n[ P(C i ] Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 3 Bayes Cassifier Hypthèse de Muti-nrmaité Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 4

13 Bayes Cassifier Hypthèse de Muti-nrmaité et d équi-cvariance es casses nt une même matrice de cvariance : P(X / C i "(µ i, La fnctin de décisin est : g i (X = (X µ i t " (X µ i + n[ P(C i ] Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 5 Bayes Cassifier Hypthèse de Muti-nrmaité, d équi-cvariance et d équi-prbabiité P(C i = P(C j i, j En faisant hypthèse suppémentaire dégaité dappartenance à priri au casses, a fnctin de décisin devient : g i (X = (X µ i t " (X µ i On retruve a distance de Mahaanbis : d mahaanbis (X,µ i = (X µ i t " (X µ i Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 6

14 Eercice On cnsidère dans espace -D un prbème à 3 casses : = = 0, = 0 " 0 % 3 " 0 % µ = " 0%, µ = 0 " %, µ = 3 " % P( C = P( C = 4, P ( C 3 = - Dnner es epressins des fnctins de décisin - Dnner es epressins des frntières entre es 3 casses - Dnner une représentatin graphique Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 7 Eercice (crrigé = =, n = n = n 3 =, n = 0 3 " = " = % 0 (, " 0 3 = % 0 0 La fnctin de décisin pur C: g (X = " % t " %* " 0 % " % ( 0 +, 0 / " %* ( 0 +, n( + n " % 4 ( = = ( ( + " 0 % " % 0 / n( + n " % 4 Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 8 * + 5 n(

15 Les fnctins de décisin : g (X = " ( + g (X = " + Les frntières entre es 3 casses : ( g 3 ( X = ( + % 5 n( % 5 n( [ ( ] n( entre C et C g (X = g (X g (X entre C et C3 entre C et C3 = 4 = 0 g 3 ( X = g (X g 3 (X = n( g 3 (X = g (X g 3 (X = n( Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 9 = 0 = 0 Représentatin graphique g 3 (X g (X µ 3 0 µ - µ g 3 ( X Université Paris 3/Yunès Bennani Traitement Infrmatique des Dnnées 30