Texte Analyse en composantes principales

Transcription

1 Uverstés Rees I Épreuve de modélsato - Agrégato Extere de Mathématques 2007 Page Texte Aalyse e composates prcpales Itroducto E archéologe, l aalyse de la composto de matéraux est deveue u outl essetel pour l étude des échages das les écoomes atques Des objets d orges dstctes ot gééralemet des sgatures chmques dfféretes qu permettet d detfer leur orge Pour detfer ces sgatures l faut être capable de regrouper etre eux des objets de composto smlare S la composto état u vecteur de dmeso 2 (teeur e deux composats), chaque objet pourrat être représeté das le pla, des groupes dstcts pourraet être detfés, et u ouvel objet pourrat être attrbué à u de ces groupes sas grade dffculté Les problèmes commecet lorsque la dmeso augmete Des chercheurs ot mesuré la composto de 45 poteres trouvées e Grade Bretage datat de l époque romae, obteue par spectrophotométre La composto est la teeur e 9 oxydes Ces poteres proveet de 5 fours dfférets (les 2 premères mesures proveet du four, les 2 suvates du four 2, les 2 suvates du four 3, les 5 suvates du four 4 et les 5 derères du four 5) PAl 2 O 3 Fe 2 O 3 MgO CaO Na 2 O K 2 O TO 2 MO BaO Four 5 5 Sot plus gééralemet u tableau de dvdus et p varables, > p x x x p X = = x x x p est typquemet grad devat p Chaque lge x est u dvdu et chaque coloe x k représete ue varable Chaque dvdu est u pot de l espace R p S l y a deux varables, la représetato des dvdus e pose pas de problème : o les postoe das le pla (chaque axe représete ue varable) O peut vor apparaître as typquemet des les etre les varables (s les dvdus sot sur ue (ou pluseurs) drotes), ou be des groupes d dvdus L objectf de l ACP est de réalser cette démarche das le cas de plus de deux varables L dée est la suvate : supposos das u premer temps que les dvdus soet e fat cocetrés das u pla de R p, le bo ses veut alors que l o représete drectemet les dvdus das ce pla Mathématquemet D après JHollad Joes et IGRobertso, wwwstafordedu/class/athsc92 Mars 2007 Copyrght c B Delyo GNU FDL Copyleft Page

2 Uverstés Rees I Épreuve de modélsato - Agrégato Extere de Mathématques 2007 Page 2 cela sgfe que l o fat u chagemet de base où les deux premers axes sot das le pla et les autres leurs sot orthogoaux ; les coordoées de 3 à p serot doc ulles pour tous les dvdus Supposos mateat que les dvdus sot presque das u pla (le presque devra être précsé et pose justemet problème, mas o se peut se fare tutvemet ue dée rasoable de ce que cela peut sgfer, de même lorsque l o parle de pots presque algés das le pla) L dée est alors de trouver le pla le melleur (e gros au ses où la somme des dstaces des pots au pla est la plus pette possble) et de représeter les doées das ce pla O va vor que cec peut se fare mathématquemet sas grade dffculté S ce melleur pla est e réalté pas très bo, o peut alors chercher le sous-espace de dmeso tros le melleur, mas la représetato des doées sera plus dffcle : e pratque o représetera pluseurs projecto e dmeso deux et l terprétato commece à être dffcle U chagemet de base sur les varables produt u tableau C = XU où U est la matrce de chagemet de base, de dmesos p p La questo posée est de trouver u chagemet de base tel que les premères ouvelles varables (premères coloes de C) cocetret l formato (varables sgfcatves) possèdet de boes proprétés descrptves : absece de corrélato etre varables Le but de L ACP est d extrare de ouvelles varables classées par ordre d mportace décrossate e u ses que l o défra 2 Ierte des espaces Notos x, X les dvdus recetrés : x = x x, X = x x x x La moyee emprque x est auss appelée cetre de gravté O déft l erte des dvdus par la quatté I = x 2 L erte est doc égalemet la somme des varaces emprques des p varables ; c est ecore fos le carré de la orme de Frobeus de X (somme des carrées des coeffcets) Cette quatté réelle mesure la dsperso des dvdus das l espace à p dmesos Ue autre mesure de dsperso, cette fos-c matrcelle, est la matrce de covarace emprque des dvdus R = x T x = X T X, Rjk = x j xk L erte est smplemet la trace de R Sot P u projecteur de R p ; par abus, o désgera c égalemet par P la matrce de P das la base caoque 2 ; le vecteur x état u vecteur lge, la projecto de x sera la projecto du vecteur coloe 2 O rappelle que, comme la base caoque est orthogoale, P est u projecteur orthogoal s et seulemet s la matrce P est dempotete et symétrque Mars 2007 Copyrght c B Delyo GNU FDL Copyleft Page 2

3 Uverstés Rees I Épreuve de modélsato - Agrégato Extere de Mathématques 2007 Page 3 assocé, remse e lge, sot P (x ) = (P x T )T : P (x ) = x P T, XP T = x P T x P T Sot E u sous-espace de R p et P E le projecteur orthogoal sur E, o ote I E l erte des dvdus projetés : I E = P E ( x ) 2 = x 2 x P E ( x ) 2 (oter que les dvdus projetés pus recetrés sot auss les projetés des dvdus recetrés) L erte de E est doc ue mesure de la proxmté etre les dvdus et E O appellera auss I E l erte de E O vérfe mmédatemet que l erte de E est I E = Tr(P E RP E ) 3 Proprétés fodametales de l ACP Soet E et F deux espaces orthogoaux, o a alors P E F = P E + P F pus par le théorème de Pythagore : I E F = I E + I F Théorème 3 Désgos par I k l erte maxmale des espaces de dmeso k ; alors l exste ue sute crossate F k d espaces de dmeso k tels que I Fk = I k, F k F k+, k =, p Démostrato Rasoos par récurrece et costrusos F k+ à partr de F k Sot E u espace de dmeso k + dot l erte vaut I k+ Comme o peut trouver u vecteur u das E F k dm(e) + dm(f k ) = k + + p k > p, ; sot G l orthogoal de u das E, alors I k+ = I E = I G + I u I Fk + I u = I Fk u I k+ Doc l espace F k+ = F k Ru est d erte maxmale Lemme 32 Le vecteur utare u k (uque au sge près) tel que F k = F k Ru k est d erte maxmale parm tous les vecteurs orthogoaux à F k Tout vecteur possédat cette proprété déft u espace F k de dmeso k d erte maxmale Démostrato Sot F u espace de dmeso k coteat F k et u le vecteur utare de F orthogoal à F k ; alors I F = I Fk + I u, doc F est d erte maxmale s et seulemet s u est d erte maxmale parm tous les vecteurs orthogoaux à F k Par alleurs o a, comme la matrce de projecto sur Ru k est u k u T k : Il s esut que u k est soluto du problème : I uk = u T k Ru k Mars 2007 Copyrght c B Delyo GNU FDL Copyleft Page 3

4 Uverstés Rees I Épreuve de modélsato - Agrégato Extere de Mathématques 2007 Page 4 Problème : Maxmser u T Ru Sous u = et u u j, j =, k qu se résout à l ade du Théorème 33 Toute sute u k satsfasat les codtos c-dessus est ue sute de vecteurs propres de R assocé chacu à la k-ème valeur propre (par ordre décrossat) λ k de R Il s esut que l espace de dmeso k d erte maxmale F k est egedré par les k vecteurs propres assocées aux k plus grades valeurs propres (s des valeurs propres sot égales l y a pas ucté) Démostrato S R est dagoale, la démostrato est drecte So, l exste ue matrce orthogoale O et ue matrce dagoale D telles que R = O T DO S l o pose u k = O k, le problème se réécrt, du fat que O est orthogoale Maxmser u kt D k sous u k = et u k u j, j =, k O s est doc rameé à la stuato dagoale et o sat que u k est la sute des vecteurs de la base caoque prs par ordre décrossat de valeur de u kt Du k Les u k = O T u k sot doc be les vecteurs propres de r choss par valeur décrossate de u T k ru k, c est-à-dre de la valeur propre correspodate Calcul pratque de l ACP Dagoalser R = X T X sous la forme R = UDU T, D dagoale décrossate, U orthogoale Les u sot das les coloes de U Les composates prcpales sot das la matrce C = XU La -ème composate prcpale est la combaso léare des varables avec les pods coteus das la -ème coloe de U Défto 34 Les u k sot les axes prcpaux Le vecteur c k = Xu k est la k-ème composate prcpale λ ++λ k λ ++λ p = I F k I est la fracto d erte explquée par F k Il résulte de ce qu précède que la matrce de covarace des c est la dagoale des λ k Plus la fracto d erte explquée par F k est proche de, plus la projecto des varables x j sur F k est proche de x j, c est-à-dre que les c, c k permettet de be représeter les dvdus Bla L aalyse e composates prcpales propose doc u chagemet de base C = XU sur les varables explcatves tel que les ouvelles varables (composates prcpales) soet emprquemet décorrélées et que les varables d orge soet le plus proche possble des sous espaces emboîtés F k Ce chagemet de base est orthogoal 4 Normalsato : ACP sur doées rédutes L ACP est pas varate par chagemet d échelle sur les varables Il est doc mportat, s les coloes de X cotet des doées o comparables (e des mètres et des klogrammes) de les ormalser, af d avor u résultat dépedat des utés utlsées S e revache les coloes sot comparables, o peut préférer de e pas fare de ormalsato : o cosdère as que l formato de veau relatf etre les dfféretes varables est mportate, et les varables de fable ampltude serot péalsées au ses où elles tervedrot mos das les premères composates prcpales Mars 2007 Copyrght c B Delyo GNU FDL Copyleft Page 4

5 Uverstés Rees I Épreuve de modélsato - Agrégato Extere de Mathématques 2007 Page 5 5 Représetatos das les plas prcpaux Il s agt de la représetato des dvdus comme u uage de pots das u des plas (c, c j ) Le tracé des dvdus das le pla (c, c 2 ) peut fare apparaître des dvdus margaux ou des classes be séparées Cette représetato est d autat melleure que la fracto d erte explquée par F 2 est grade Repreos le problème tal des poteres atques La matrce X est la matrce 45 9 des compostos O a tracé les dvdus das le pla (c, c 2 ) e marquat le uméro du four O vot ettemet des regroupemets qu permettet de classfer dfférets types de potere (l ACP est c ormalsée mas ue ACP o ormalsée doe des résultat smlares) : Répartto des poteres selo les 5 fours das les deux premères composates prcpales ormalsées 4 3 four four 2 four 3 four 4 four Approfodssemets 6 Les avec la décomposto e valeurs sgulères Théorème 6 Sot X R p ue matrce, avec p Il exste deux matrces à coloes orthoormées U et V (e U T U = V T V = Id) et ue matrce dagoale D R p p à etrées postves telles que X = UDV T Par coséquet, e appelat u et v les vecteurs coloe de U et V et d les élémets dagoaux de D, o a la décomposto e somme de matrces de rag : X = p d u v T = La matrce D cotet écessaremet les races carrées des valeurs propres de X T X, et s ces derères sot dstctes cette décomposto est uque Mars 2007 Copyrght c B Delyo GNU FDL Copyleft Page 5

6 Uverstés Rees I Épreuve de modélsato - Agrégato Extere de Mathématques 2007 Page 6 Démostrato O e trate que le cas où X T X a toutes ses valeurs propres o ulles O peut dagoalser X T X : X T X = V V T O vérfe alors que D = et U = XV D covet Pour l ucté, oter que u (resp de v ) est le vecteur propre de XX T (resp X T X) assocé à d 2 62 Approxmato de matrces Notos M F la orme de Frobeus de M : M 2 F = T r(m T M) = Mj 2 Le théorème 3 s éoce égalemet comme sut : Pour toute matrce de projecto P orthogoale sur u espace de dmeso k, o a Mas plus gééralemet : Théorème 62 Pour toute matrce A de rag k o a X XP k F X XP F X XP k F X A F Démostrato E effet, s P désge le projecteur orthogoal sur l orthogoal du oyau de A, o a A = AP et doc : X A 2 F = X(Id P ) + (X A)P 2 F = X(Id P ) 2 F + (X A)P 2 F X XP k F 7 Suggestos O pourra démotrer certas résultats présetés das le texte 2 O pourra explquer le prcpe de l aalyse e composates prcpales 3 O pourra fare le le etre ACP et décomposto d ue matrce e valeurs sgulères 4 O pourra utlser le fcher poteredat pour llustrer la méthode géérale (et retrouver e partculer la fgure du texte 5 O pourra smuler des pots presque algés sur ue drote pus calculer la drote correspodat à la premère composate prcpale 6 O pourra auss smuler des pots e dmeso 3 proches d u pla doé (passat par l orge pour smplfer) pus essayer de vor s le pla déf par les deux premères composates prcpales est proche du pla de départ Mars 2007 Copyrght c B Delyo GNU FDL Copyleft Page 6