Analyse canonique généralisée régularisée et approche PLS

Transcription

1 Aalyse caoique gééralisée régularisée e approche PLS Arhur Teehaus, Michel Teehaus To cie his versio: Arhur Teehaus, Michel Teehaus. Aalyse caoique gééralisée régularisée e approche PLS. 4èmes ourées de Saisique, 00, Marseille, Frace, Frace. 00. <iria > HAL Id: iria hps://hal.iria.fr/iria Submied o 4 u 00 HAL is a muli-discipliary ope access archive for he deposi ad dissemiaio of scieific research documes, wheher hey are published or o. The documes may come from eachig ad research isiuios i Frace or abroad, or from public or privae research ceers. L archive ouvere pluridiscipliaire HAL, es desiée au dépô e à la diffusio de documes scieifiques de iveau recherche, publiés ou o, émaa des éablissemes d eseigeme e de recherche fraçais ou éragers, des laboraoires publics ou privés.

2 Résumé ANALYSE CANONIQUE GÉNÉRALISÉE RÉGULARISÉE ET APPROCHE PLS Arhur Teehaus () & Michel Teehaus () () SUPELEC, Campus de Gif-sur-Yvee, 3 rue olio-curie, 99 Gif-sur-Yvee () HEC Paris, rue de la Libéraio, 7835 ouy-e-osas Nous doos das cee commuicaio ue défiiio de l aalyse caoique gééralisée au iveau de la populaio (ACG-populaio) qui cosiue le cadre héorique de l approche PLS proposée par Herma Wold e à ses exesios proposées par a-berd Lohmöller e Nicole Krämer. E écriva les équaios saioaires de l ACG-populaio au iveau de l échaillo e e uilisa des esimaios régularisées (shriage esimaios) des marices de covariace des blocs, ous obeos de ouvelles équaios saioaires au iveau de l échaillo. Ces équaios saioaires so égaleme celles d u problème d opimisaio que ous appelos aalyse caoique gééralisée régularisée (ACGR). E rechercha u poi fixe de ces équaios saioaires au iveau de l échaillo ous obeos u algorihme rès similaire à l approche PLS de Wold-Lohmöller-Krämer. De plus, ous démoros la covergece moooe de l algorihme proposé. Mos-clés: Aalyse de ableaux muliples, Approche PLS, Aalyse caoique gééralisée régularisée Absrac I his paper, we give a defiiio of geeralized caoical correlaio aalysis for populaio (GCCA-populaio) which cosiues a heoreical framewor for he Parial Leas Squares (PLS) pah modelig algorihm proposed by Herma Wold ad o he exesios proposed by a-berd Lohmöller ad Nicole Krämer. Wriig he saioary equaios relaed o GCCA- populaio a he sample level ad usig shriage esimaios for he bloc covariace marices, we ge ew saioary equaios a he sample level. These saioary equaios are also saioary equaios of a opimizaio problem ha we call regularized geeralized caoical correlaio aalysis (RGCCA). Searchig for a fixed poi for hese sample level saioary equaios, we obai a algorihm very similar o he PLS approach of Wold-Lohmöller-Krämer. Furhermore, moooe covergece of he proposed algorihm is prove. Keywords: Muli-bloc daa aalysis, PLS pah modelig, Regularized GCCA Iroducio Ce papier es orgaisé de la maière suivae : () Défiiio de l aalyse caoique gééralisée au iveau de la populaio e cosrucio des équaios saioaires au iveau de la populaio. () Cosrucio des équaios saioaires au iveau de l échaillo e uilisa des esimaios régularisées des marices de covariace des blocs. (3) Défiiio de l aalyse caoique gééralisée régularisée (ACGR).

3 (4) Recherche d u poi fixe des équaios saioaires au iveau de l échaillo : l algorihme PLS/Gauss-Seidel. Propriéés de covergece de l algorihme PLS/Gauss-Seidel.. Aalyse caoique gééralisée au iveau de la populaio Nous doos ici ue défiiio de l ACG-populaio plus géérale que la défiiio habiuelle. Cosidéros veceurs coloes aléaoires x. Nous cosidéros aussi u réseau de coecios ere ces veceurs défii par ue marice de srucure C { c } = : c = si x ad x so coecés e 0 sio. Efi, ous cosidéros deux combiaisos liéaires η = x e η = x. La corrélaio ere η e η es défiie par : Σ () ρ( x, x) = Σ Σ où Σ = E(x x ), Σ = E(x x ) e Σ = E(x x ). L ACG-populaio es défiie par le problème d opimisaio suiva : Maximiser c g( ρ( x, x)) (),...,, =, sous les coraies Var( x ) =, =,..., où g es la focio ideié, valeur absolue ou carré. Le problème () es équivale au problème d opimisaio suiva : Maximiser c g( Σ ) (3),...,, =, sous les coraies Σ =, =,..., O cosidère esuie le Lagragie associé au problème d opimisaio (3) : λ (4) F(,...,, λ,..., λ) = cg( Σ ) ϕ ( Σ ), =, = où ϕ = lorsque g es l ideié ou la valeur absolue e lorsque g es le carré. Aula les dérivées du Lagragie, o obie les équaios saioaires suivaes : (5) Σ c g'( Σ ) Σ =, =,..., ϕ λ =, avec les coraies de ormalisaio (6) Σ =, =,...,

4 . Ecriure des équaios saioaires au iveau de l échaillo avec uilisaio des esimaios régularisées des marices de covariace des blocs de variables Σ Cosidéros ableaux de doées (ou blocs),..., formés de variables cerées mesurées sur u esemble de idividus. Désigos par C = { c } la marice décriva le réseau de relaio ere les blocs : c = pour deux blocs coecés e 0 sio. Les marices de covariace empiriques so S = ad S =. Das le cas de fore mulicoliéarié ou bie lorsque le ombre d observaios es iférieur au ombre de variables, la marice de covariace empirique S es ue mauvaise esimaio de la vraie marice de covariace Σ. Afi de rouver ue meilleure esimaio de la vraie marice de covariace Σ, Ledoi e Wolf (004) suggère de cosidérer la classe des combiaisos liéaires { S ˆ ( ), 0 = τ I + τ S τ }. La marice S ˆ es appelée ue esimaio régularisée (shriage esimaio) de Σ e τ es la cosae de régularisaio (shriage cosa). Schäfer e Srimmer (005)) doe ue formule aalyique permea de choisir τ de maière opimale. Das cee secio, ous cosidéros la versio échaillo des équaios saioaires (5) avec les coraies de ormalisaio (6), où Σ es remplacé par S ˆ = τ I + ( τ ) S e Σ par S. Ceci codui aux équaios saioaires au iveau de l échaillo suivaes : (7) τ I + ( τ ) S c g'( asa ) Sa = λa, =,..., ϕ avec les coraies de ormalisaio =, (8) a τ I + ( τ ) S a =, =,..., O peu se rapprocher des équaios saioaires de l algorihme PLS usuel e iroduisa pour chaque bloc ue composae exere Y = a e ue composae iere Z défiie par (9) Z = c g' Cov( Y, Y ) Y ϕ =, O rerouve le schéma de Hors pour g = ideié ( Z =, = c Y ), le schéma facoriel pour g = =, carré ( Z = c Cov( Y, Y ) Y ) e le schéma ceroïde pour g = valeur absolue ( Z = c sige Cov( Y, Y) Y ). =, 3

5 Puis e uilisa les équaios saioaires (7) e les coraies de ormalisaio (8) ous obeos les poids exeres : (0) a = [ τ I + ( τ ) ] Z Z [ τ I+ ( τ ) ] Z Pour les valeurs exrêmes 0 e de τ, l équaio (0) doe des résulas similaires aux modes B e A de l approche PLS, sauf au iveau des coraies de ormalisaio. Das l algorihme PLS d origie, oues les composaes exeres Y so réduies. 3. Aalyse caoique gééralisée régularisée (ACGR) E cosidéra les blocs de doées,..., C = c i, la focio g e les cosaes de régularisaio τ,..., τ décris das la secio, ous pouvos défiir l aalyse caoique gééralisée régularisée (ACGR) comme le problème d opimisaio suiva :, la marice de srucure { } Maximiser c (),..., g( Cov( a, a )) a a, =, sous les coraies τ a + ( τ ) Var( a ) =, =,..., E aula les dérivées du Lagragie associé au problème d opimisaio (), o rerouve exaceme les équaios saioaires (7) avec les coraies de ormalisaio (8). Applicaio à l approche PLS Das l approche PLS, o cosidère que chaque bloc es l expressio d ue variable laee o observable e que des relaios srucurelles exise ere ces variables. O cosidère que deux blocs e so coecés si les variables laees associées apparaisse esemble das la même équaio srucurelle. Défiissos la marice de srucure C: c = si les blocs ad so coecés das le modèle à équaios srucurelles e = 0 sio. Nous cosidéros esuie la maximisaio des crières suivas, qui so e fai reliés à des algorihmes PLS exisas ou modifiés, e so ous des cas pariculiers du problème d opimisaio (): SUMCOR-PLSPM : SSQCOR-PLSPM : ccor( a, a ) [Hors avec Var( a ) =, =,..., ],, ccor ( a, a ) [Facoriel avech ( ),,...,,, Var a = = ] SABSCOR-PLSPM : SUMCOV-PLSPM : c Cor( a, a ) [Ceroïde avec Var( a ) =, =,..., ],, ccov( a, a ) [Hors avec a =, =,..., ],, SSQCOV-PLSPM : SABSCOV-PLSPM: ccov ( a, a ) [Facoriel avec,,...,,,,, a = = ] c Cov( a, a ) [Ceroid wih a =, =,..., ] 4

6 4. L algorihme PLS/Gauss-Seidel Il exise pas de soluio aalyique au problème d opimisaio (). Cepeda, il es possible de cosruire u algorihme à covergece moooe, c'es-à-dire que le crière à maximiser das () augmee à chaque pas de la procédure iéraive proposée. Nous proposos ue suie d opéraios similaire à celle uilisée par Wold (985) e Haafi (007). Nous appelos ce algorihme PLS/Gauss-Seidel parce qu il es similaire à l algorihme de Gauss-Seidel pour résoudre u sysème d équaios liéaires. Ce algorihme es décri das le ableau. Tableau : L algorihme PLS/Gauss-Seidel A. Iiialisaio A. Choisir veceurs arbiraires a, a,..., a A. Calculer des poids exeres a, a,..., a verifia (8) : a = [ τ I + ( τ ) ] a ( a ) [ τ I + ( τ ) ] a A3. Calculer les composaes exeres Y = a Y = a 0 0,..., 0 0 B. Calcul de la composae iere du bloc Calculer la composae iere selo le schéma uilisé : Z c g Cov Y Y Y c g Cov Y Y Y s s s+ s+ s s s = ' (, ) ' (, ) ϕ + < > où g'( x) / ϕ = pour le schéma de Hors, x pour le schéma facoriel e sige( x ) pour le schéma ceroïde. C. Calcul de la composae exere du bloc C. Calculer le poids exere + a = [ τ I + ( τ ) ] Z s s ( Z ) [ τ I + ( τ ) ] Z s s C. Calculer la composae exere Y = a s+ s+ La procédure commece par u choix arbiraire de valeurs iiiales (éape A das le ableau ). s+ s+ s+ Supposos que des composaes exeres Y, Y,..., Y aie éé cosruies pour les blocs s,,...,. La composae exere Y + s es calculée e cosidéra la composae iere Z pour le bloc (éape B das le Tableau ), puis la composae exere (éape C das le Tableau ). La procédure es iérée usqu à covergece du crière boré due à la proposiio doée cidessous. 5

7 s s Proposiio : Soi Y = a, =,...,, s =,,..., ue suie de composaes exeres géérées par l algorihme PLS/Gauss-Seidel. La focio suivae es défiie pour des veceurs a, a,..., a vérifia les coraies (8) : () f( a, a,..., a) = cg Cov( a, a), =, Les iégaliés suivaes so vérifiées : (3) s f( a, a,..., a ) f( a, a,..., a ) s s s s+ s+ s+ La démosraio de cee proposiio es doée das Teehaus & Teehaus (00). Doos deux limiaios de ce algorihme : ) Il es pas garai que l algorihme coverge vers u poi fixe des équaios saioaires uilisées, bie que cela soi presque ouours le cas das les applicaios praiques. ) Il es pas garai que l algorihme coverge vers u opimum global du crière uilisé. Krämer (007) a doé u exemple de covergece vers u opimum local. Il es uile de préciser que Lohmöller a modifié l algorihme de Wold e uilisa l approche plus simple de acobi à la place de l approche de Gauss-Seidel das l algorihme PLS. Ce éai pas ue boe idée parce qu il se rouve que la procédure obeue e possède plus la propriéé de covergece moooe (voir Haafi (007)). Cee procédure «PLS/acobi» es uilisée das ous les logiciels pour l approche PLS parce qu ils so ous basés sur le logiciel de Lohmöller LVPLS (Lohmöller, 984). Das la praique cepeda, les deux procédures coverge presque ou le emps vers le même poi fixe des équaios saioaires. Bibliographie [] Haafi M. (007): PLS Pah modellig: compuaio of lae variables wih he esimaio mode B, Compuaioal Saisics,, [] Krämer N. (007): Aalysis of high-dimesioal daa wih parial leas squares ad boosig. Docoral disseraio, Techische Uiversiä Berli. [3] Ledoi O. & Wolf M. (004): A well codiioed esimaor for large-dimesioal covariace marices. oural of Mulivariae Aalysis, 88, [4] Lohmöller.-B. (984): LVPLS Program Maual, Versio.6, Zeralarchiv für Empirische Sozialforschug, Uiversiä zu Köl, Köl [5] Schäfer ad Srimmer K. (005): A shriage approach o large-scale covariace marix esimaio ad implicaios for fucioal geomics, Saisical applicaios i geeics ad molecular biology 4,, Aricle 3. [6] Teehaus A. & Teehaus M.: A PLS approach o regularized geeralized caoical correlaio aalysis (soumis à publicaio). [7] Wold H. (985): Parial Leas Squares, i Ecyclopedia of Saisical Scieces, vol. 6, Koz, S & ohso, N.L. (Eds), oh Wiley & Sos, New Yor, pp