La régression PLS 1, cas particulier de la régression linéaire séquentielle orthogonale (RLSO)

Transcription

1 La égsson PLS, cas acul d la égsson lnéa séqunll ohogonal RLSO) Jacqus Gou RConFo, 4 avnu Pchon Pas. Fanc. jacqus@gou.com RÉSUMÉ La égsson lnéa classqu foun un sul soluon souvn basé su l cè ds monds caés. Losqu l a baucou d vaabls, on squ d obn un modèl suaaméé, c s-à-d modélsan ls us. Pou év c suaamésaon, la égsson PLS a éé nodu ca éan un égsson séqunll, ll m d aê l ocssus d égsson avan d modéls l u. Mas la PLS n oos qu qulqus soluons n m as vamn d omsaon. Nous oosons dans c acl un égsson séqunll ohogonal baucou lus soul qu la PLS, la égsson lnéa séqunll ohogonal ou RLSO. C égsson m d év la suaamésaon ll facl l omsaon d la modélsaon ca ls dcons d ojcon uvn ê choss au mu ds néês d l éud. Ls soluons ossbls oosés a la RLSO son n nomb nfn. C qu lass la ossblé d uls ous ls chnqus d omsaon ou ouv la ou ls mllus soluons. Comm la égsson lnéa séqunll ohogonal RLSO) s nouvll, nous avons dévloé ous ls éas d calcul. Mos clés: Régsson séqunll, Régsson PLS, Régsson ohogonal. ASTRACT Th classcal lna gsson ovds jus on soluon ofn basd on h las squas con. Whn h a man vaabls, on can oban a modl wh oo man suaams and consqunl a modl whch modlzs h o. To avod such an ov aamzaon, h PLS gsson has bn noducd. PLS s a squnal gsson and nabls o so h gsson ocss bfo h o modllng. u h PLS gsson has onl a fw numbs of soluons and h omzaon s no all ossbl. s wh a nw of squnal gsson s oosd n hs acl: h squnal ohogonal lna gsson o SOL gsson. s much mo vsal han h PLS ; nabls o avod suaamzaon and facla h modllng omzaon bcaus h dcons of ojcon can b chosn a h bs fo h sud. Th numb of h soluons oosd b h SOL gsson s nfn and all h chnqus of omzaon can b usd. As h SOL gsson s nw, all h calculaons hav bn lagl land. K wods: squnal gsson, PLS gsson, ohogonal gsson. MODULAD, Numéo

2 . NTRODUCTON La égsson lnéa a ou objcf d ouv la laon mahémaqu lnéa qu ésn l mu l ln n un gandu d'néê ou éons),, ds gandus lcavs ou facus),. La égsson ossèd un mnolog ès ch ès dvs ou désgn ls gandus d'néê ls gandus lcavs Tablau ). Gandu d'néê Vaabl lqué Vaabl ndogèn Vaabl déndan Réons Obsvaon Vaabl d néê Vaabl Vaabl lcav Vaabl ogèn Vaabl ndéndan Facu Régssu Pédcu Conôl Tablau : Pncals mnologs ds gandus d'néê ds vaabls Dans c acl nous avons chos la mnolog ds lans d'éncs c's-à-d "éons" ou gandu d'néê "facus" ou vaabls lcavs. Cs facus on ds nvau,, défns ou msués a l'obsvau. On nodu un éca,, ou n com du fa qu l modèl nu n's as acmn l modèl él qu la gandu d'néê s un gandu aléao. On a donc f,,..., ) Dans la égsson lnéa, on suos qu la foncon f s un foncon lnéa. Pou éabl c foncon, c's-à-d ouv la valu ds coffcns du modèl, l fau ésoud un ssèm d'équaons lnéas don ls ms connus son ls ls, don ls ms nconnus son ls coffcns ls écas. Nous suosons qu ous ls gandus son cnés édus, c qu n aucun généalé à la héo ou au calculs. On éc l ssèm à ésoud sous fom macll a {} où n s l vcu n,) ds éonss msués ou obsvés. C's l vcu à égss. C mac-vcu s cné édu. s la mac n,) ds nvau ds facus du modèl mahémaqu. C mac s cné édu. Ell s suosé d ln ang. a s l vcu,) ds coffcns. C's l vcu à démn. s l vcu n,) ds écas. C mac s nconnu. MODULAD, Numéo

3 S'l a n éonss coffcns dans l modèl, l a n équaons n nconnus. Pou ouv ls équaons manquans, on uls la méhod ds monds caés qu conss à mnms la somm ds caés ds écas. L ssèm d la égsson lnéa classqu s donc a {} 0 a En fasan al à qulqus hohèss smlfcacs, on obn la soluon d c ssèm, c's-à-d qu l'on obn ls coffcns : aˆ ) {} Aan cs coffcns, on a la ossblé d'obn ls éonss calculés connassan ls nvau ds facus : ˆ aˆ {4} où ŷ s l vcu n,) ds éonss calculés avc la méhod ds monds caés. C s la soluon classqu ds monds caés. â s l vcu,) ds coffcns calculés avc la méhod ds monds caés. A a d cs ésulas, on u éc lusus laons qu son fo uls ou obn ls valus numéqus ds dfféns gandus. On nodu la mac d ojcon, ou mac "ha", ll qu : [ ] {5} La laon {4} u alos s'éc ˆ {6} La mac assocé à la mac uné m égalmn d calcul l vcu ds ésdus. ˆ ) {7} Ls coffcns du modèl uvn égalmn ê més a la laon ˆ a ) ˆ {8} Cs fomuls maclls uvn ê llusés a ds ésnaons géoméqus donnan ans un éclaag néssan d la égsson ans qu un suo vsul à la éflon à l anals.. LES CONCEPTS Suosons qu l modèl n como qu'un coffcn qu du msus d la éons an éé éalsés, l'un au nvau, l'au au nvau,. Ls valus ds éonss son scvmn. L ssèm d'équaons s : a, a, On u éc c ssèm d'équaons sous fom macll ou fa aaaî ls vcus : MODULAD, Numéo

4 , [ a], avc, a [ a ], Pou llus c laon, nodusons un éfénl don l m a o la éons don l scond, ohogonal au m, o la éons. C éfénl sa alé «éfénl ds éonss». On u ac l vcu ds éonss msués Fgu ) qu a ou comosans. Réons A O Réons Fgu : L vcu OA ésn ls éonss msués dans l éfénl ds éonss. L vcu s la somm d du vcus, l vcu ds éonss ossbls, [ a] l vcu ds écas., Ls nvau,, son consans afamn défns slon ls hohèss d la égsson. L ao d cs nvau s égalmn consan :,, consan La valu du coffcn a s nconnu c's ll qu l'on chch à démn. S l'on donn la valu uné à c coffcn, on démn l on M d coodonnés,, Fgu ). S l'on donn la valu à c coffcn, on démn un on M d coodonnés,,. S l'on donn la valu zéo à c coffcn, on obn l on O, ogn du éfénl. S l'on fa va la valu d c coffcn d à, l on N acou un do D. C do u ê gadué n foncon ds valus du coffcn a. Chaqu on d la do D ésn un soluon ossbl du ssèm d'équaons, c's ouquo c do s'all «l'sac ds éonss calculés ossbls» ou lus smlmn «l'sac ds éonss ossbls» ou ERP. MODULAD, Numéo

5 Réons A M N D, M a O a 0, a Réons Fgu : La do D ésn l'nsmbl d ous ls éonss calculés ossbls. On alla "vcu nvau", l vcu OM don ls comosans son,,. C's c vcu qu défn la dcon d la do D. C's donc auss l vcu nvau qu défn l'erp., OM, L vcu OA s égal au vcu ON augmné du vcu NA Fgu ), on a OA ON L vcu OA s un ésnaon d la mac ds éonss msués. L vcu ON s un ésnaon d la mac ds éonss calculés ossbls, ', l vcu NA s un ésnaon d la mac ds écas. NA Réons A D ' N O Réons Fgu : L vcu ds éonss msués s la somm vcoll du vcu ds éonss ossbls du vcu ds écas. Dans l cad du cè ds monds caés, on suos qu la soluon la lus vasmblabl s donné a l vcu ds écas l lus ossbl. On obn c soluon losqu l vcu s ohogonal à la do D. La soluon s MODULAD, Numéo

6 alos l vcu qu nous avons noé ŷ. L vcu ds écas dvn l vcu ds ésdus noé ê. L on N nd la oson aculè Fgu 4). Réons A D O Réons Fgu 4 : L vcu ds ésdus, ê, s ohogonal à la do D ds éonss ossbls ans qu'au vcu ds éonss calculés ŷ. l s moan d no, qu dans l cad d la héo ds monds caés, l vcu ds ésdus ê s ohogonal au vcu ds éonss calculés, ŷ. On u d auss qu l vcu ds éonss calculés, ŷ, s la ojcon ohogonal su la do D du vcu ds éonss msués,. On u d auss qu égss un nsmbl d donnés, c's oj ohogonalmn l vcu ésnaf d la mac ds éonss msués su l'sac ds éonss ossbls. Ls os côés du angl cangl OA joun un ôl ssnl dans la héo d la égsson nous ls ouvons consammn : L vcu ds éonss msués ou vcu à égss s l hoénus du angl cangl OA. L vcu ŷ ou vcu égssé s l côé d l'angl do qu s dans l'erp. L vcu ê ou vcu ds ésdus s l côé d l'angl do qu n's as dans l'erp. La laon {4}, ˆ aˆ, u ê néé d la manè suvan : L vcu O ésn auss bn l vcu â qu l vcu ŷ. L vcu â s défn dans l ERP ossèd comosan. L vcu ŷ s défn dans l éfénl ds éonss l ossèd comosans. La mac ansfom donc un vcu d l ERP n son équvaln dans l éfénl ds éonss.. LA REGRESSON LNEARE CLASSQUE Ls concs nodus à l'ad d du éonss d'un coffcn uvn faclmn ê éndus à n éonss à coffcns. L éfénl ds éonss ossèd n dmnsons c s un éfénl ohonomé. L vcu ds éonss msués ossèd égalmn n dmnsons. MODULAD, Numéo

7 n On u défn dos D ngndan l'erp qu ossèd donc dmnsons. Ls dcons d cs dos son défns a ls vcus nvau,,,,. Cs vcus n éan généalmn n ohogonau n d mêms noms, l ERP s défn a un éfénl oblqu non nomé. Ls dos D son gadués n foncon ds valus ds coffcns cosondans chaqu on d l'erp ésn un ju ossbl d coffcns ou l modèl d égsson, donc un soluon ossbl. Ls vcus,,, son ls colonns d la mac. L'sac ds éonss ossbls s donc défn a ls colonns d la mac. Réons n A Réons D j j D 0 Réons D Fgu 5 : L vcu ds éonss msués,, s décomosé n du vcus : l vcu ds éonss calculés, ŷ l vcu ds ésdus, ê. La égsson classqu conss à ouv l vcu ds écas aan la nom la lus ossbl. Comm dans l aagah écédn, c's la ojcon ohogonal d su l'erp qu donn la soluon classqu ds monds caés. On obn ans l vcu ds éonss calculés, ŷ, l vcu ds ésdus, ê. Ls vcus ŷ ê son ohogonau Fgu 5). 4. REGRESSON LNEARE SUR UNE DRECTON Au lu d égss l vcu su l'hlan d l EPR, on u chos un dcon aculè dans c sac. Chosssons un dcon,, sué dans l'sac ds éonss ossbls. C dcon s défn a son vcu una. L vcu s éé a ss aamès dcus. MODULAD, Numéo

8 L'ERP aan dmnsons, l vcu una ossèd aamès dcus. Régss l vcu su la do, c s l oj ohogonalmn su c do. La ojcon d su s un vcu d comosans b qu l'on chch à démn. Cs comosans son égals, à un coffcn d ooonnalé ès, au aamès dcus d la dcon chos su laqull on va oj : b L facu d ooonnalé n's as connu. On l calcul à l'ad d la méhod ds monds caés. l fau donc ésoud l ssèm d'équaons suvan : ) : b 0 b mac n,) ds éonss msués. C's l vcu à égss. mac n,) ds nvau ds facus du modèl mahémaqu. b mac,) ds coffcns. Cs coffcns son ooonnls au aamès dcus d. mac,) ds aamès dcus d la do su laqull on oj. Cs aamès son connus usqu choss a l'émnau. mac n,) ds écas. coffcn d ooonnalé. C s l nconnu à démn. La soluon ds monds caés s la suvan vo déal du calcul n ann MODULAD, Numéo {9} [ ] {0} D où Fgu 6) ls comosans du vcu égssé : b l vcu ojé su D, soluon d la égsson b La laon, b vcus b son défns dans l ERP, ls on donc comosans. L vcu s défn dans l éfénl ds éonss, l ossèd donc n comosans. La mac ansfom l vcu b ou ) d l ERP n un vcu équvaln,, du éfénl ds éonss. La ésnaon gahqu n dffén as cs du vcus qu son afamn suosés. La mac ansfom un vcu d comosans n un vcu d n comosans.

9 Au vcu comosans) défn dans l ERP cosond l ansfomé qu s éé dans l éfénl ds éonss n comosans). L éfénl ds éonss éan ohonomé, nous ffcuons ls calculs dans c è. l vcu ds ésdus d la égsson A D j j 0 A d ojcon D D Fgu 6 : Régsson du vcu su la do d aamès dcus. L angl cangl OA s cangl. On ouv : L vcu à égss : L vcu égssé L vcu ds ésdus On u égalmn nodu la mac d ojcon On a l vcu égssé l vcu ds ésdus [ ] su : {} {} ) {} Ls coffcns du modèl cosondan au vcu son donnés a b ) {4} La mac ) ansfom l vcu d n comosans n son équvaln, l vcu b à comosans. MODULAD, Numéo

10 5. REGRESSON LNEARE SEQUENTELLE ORTOGONALE Au lu d'obn mmédamn la soluon ds monds caés comm dans la égsson classqu, on u océd a éas. On oj d'abod su un dcon qulconqu d l'erp us, on chch à ouv ogssvmn l vcu ŷ. Nous ndons d'abod l cas d'un modèl à du coffcns, l'epr n ossèd alos qu du dmnsons nous vons qu l vcu égssé d la égsson classqu, ŷ, s décomosé n du vcus ohogonau. Pus, nous éndons no éud à un modèl à os coffcns. L vcu ŷ s alos décomosé n os vcus ohogonau. Enfn, nous vons l cas du modèl à n coffcns d'un décomoson d ŷ n n vcus ohogonau. 5. DEU COEFFCENTS Dans l cas d'un modèl à du coffcns, on a du vcus nvau,, oés a dos D D. Cs dos défnssn l'erp. La égsson classqu d condu au vcu ŷ sué dans l'erp Fgu 7). A,, D 0,, D Fgu 7 : L vcu s égssé su la do,, ou su la do,, ou su un do, du lan D D. On oj su un mè dcon,. On obn un m vcu ds éonss calculés, O,. Ls angls O O A son cangls n. On oj su un duèm dcon,. On obn un duèm vcu ds éonss calculés, O,. Ls angls O O A son cangls n. On oua oj su n'mo qull au dcon, d l ERP. Ls angls dos O O son sous ndus a l mêm sgmn O qu n's au qu l vcu ŷ. Ls ons son donc su un ccl d damè O Fgu 8) l'on a MODULAD, Numéo

11 ou ˆ, ˆ, D un manè généal, qul qu so l on, on a ˆ, C's-à-d qu l vcu ŷ u ê décomosé n du vcus ohogonau,,.,,,, 0,, Fgu 8 : l vcu ŷ s décomosé n du vcus ohogonau. Chosssons un dcon aculè ou oj l vcu. On obn l vcu égssé,, l vcu ds ésdus. Régssons mannan l vcu su un dcon ohogonal à défn a. On obn l vcu égssé,, l vcu ds ésdus Fgu 9). A D ) 0 D Fgu 9 : L vcu s égssé su la dcon aallèl à la do. MODULAD, Numéo

12 Eamnons l angl A cangl n. On consa qu la égsson d su la dcon du vcu condu au vcu égssé lu-mêm qu l vcu ds ésdus,, n s au qu l vcu ds ésdus, ê, d la égsson classqu. La Fgu 0 a du angls moans d la Fgu 9 ou facl la coméhnson : l angl O qu assmbl l vcu ojé d la égsson classqu, ŷ ; l vcu ojé su la dcon, ; l vcu égssé d ) ohogonal à. l angl A qu assmbl l vcu ds ésdus d la égsson d su la dcon, ; l vcu ds ésdus d la égsson classqu, ê ; l vcu égssé d la égsson d su la dcon,. A ) 0 Fgu 0 : Tangls O A as d la fgu 9. Pou éals la égsson d su la dcon d, l fau connaî ls aamès dcus d c dcon. Pou cla, on égss ls vcus nvau su. On obn du vcus ds ésdus,, qu son ohogonau à qu son donc aallèls à usqu l'on oè dans un lan, l lan D D Fgu ). On a ans ls aamès dcus dnqus à cu d ) d la dcon, ohogonal à. MODULAD, Numéo

13 D 0,,,, D Fgu : Ls vcus nvau son décomosés n du vcus ojés,, du vcus ds ésdus,, Fnalmn, ou ouv ŷ n ffcuan un égsson séqunll ohogonal, l fau éals du ojcons succssvs su du dcons ohogonals :. Analsons cs du ojcons. Pojcons su Nous allons consdé du ojcons ou égssons) su la do d aamès dcus. La mè ojcon cosond à la égsson du vcu qu foun un mè soluon. La scond ojcon cosond à la consucon d un nouvl ERP ohogonal à la do. Régsson d su Nous avons déjà ndqué ls laons donnan l vcu égssé, su la do l vcu ds ésdus cosondan : {5} ) {6} avc la mac d ojcon su [ ] {7} L cho d c mè dcon d ojcon s nèmn lb u ê démné au mu ds néês d l'éud. La mac ) s la mac d ojcon su un sac ohogonal à. Régsson d su C égsson a ou objcf d'obn un ERP ohogonal à a conséqun, dans l cas d du coffcns, aallèl à. Losqu on égss ls vcus su, on obn ls vcus égssés,, qu son oés MODULAD, Numéo

14 a la do ls vcus ds ésdus,, qu son ohogonau à c mêm do Fgu ). On a,, ),, ) L nouvl sac ds éonss ossbls s ohogonal à son ogn s n. l a un dmnson d mons qu ERP, a conséqun, l n a qu un dmnson. C s donc un do, la do. L ERP s ngndé a ls vcus ds ésdus,,. Cs vcus uvn ê goués dans un mac ll qu [ ],, C mac m d éc la laon suvan qu mon qu l ERP s ojé su un sac ohogonal à a la mac d ojcon ) : ) {8} Ls vcus ds ésdus,, son dans l lan défn a ls dos D D, éan ohogonau à la do, ls son aallèls n u. ls n son donc as lnéamn ndéndans la mac n's as d ln ang. Au vcu comosans) défn dans l ERP cosond l ansfomé qu s éé dans l éfénl ds éonss qu ossèd n comosans. A D 0,, D Fgu : Régsson ds vcus su la dcon d la do. Pojcons su On consdè un ojcon ou égsson) su la do aanan à ERP don ls aamès dcus son défns dans l ERP. C ojcon cosond à la décomoson du vcu ds ésdus ll condu à la scond soluon d la égsson qu, dans c cas, s ŷ. L cho ds aamès dcus d s nèmn lb. MODULAD, Numéo

15 Régsson d su la dcon L vcu u ê gadé comm l égssé d su la dcon d mêms aamès dcus qu ls vcus,,. C égsson s'ffcu dans un lan ohogonal à n. L ésdu d c égsson s l ésdu ê d la égsson classqu d. On obn l vcu égssé : avc [ ] {9} Au vcu d l ERP cosond l vcu n comosans) défn dans l éfénl ds éonss. Réducon dmnsonnll ds ERP La ojcon ) oj ls vcus d l ERP su un do ohogonal à Fgu ). Ell ansfom l vcu défn dans ERP, n un ' vcu ohogonal à sué dans l ERP qu n ossèd qu un sul ' dmnson. La do s aallèl à. D 0,, ' D Fgu : La ojcon ) ansfom l ERP aan du dmnsons n ERP n aan lus qu un dmnson. Ls soluons d la égsson l a du vcus ouvan énd ê soluon d la égsson : l vcu ojé su l vcu ŷ d la soluon classqu Fgu 4). On a ˆ MODULAD, Numéo

16 0 Fgu 4 : llusaon d la décomoson du vcu ŷ. Coffcns ds vcus égssés Ls coffcns b du modèl mahémaqu donnan l vcu égssé, son founs a la laon b [ ] Ls coffcns s obnnn égalmn avc la laon : b ) Ls coffcns â du modèl mahémaqu donnan l vcu égssé ŷ, son founs a la laon classqu: aˆ Résumé ds ncals oéaons [ ] L Tablau l Tablau ndqun ls ncals oéaons ffcués dans ERP ERP. Pojcon su Pojcon à ),, Tablau : Oéaons dans ERP obnon d ERP Pojcon su Pojcon à ) ê Tablau : Oéaons dans ERP MODULAD, Numéo

17 5. TROS COEFFCENTS Dans l cas d coffcns, l a os vcus-nvau,,, oés a dos D, D D. Cs dos défnssn l'erp nal ou ERP. La égsson classqu d condu au vcu ŷ sué dans l'erp. On oj su un mè dcon. On obn un m vcu ds éonss calculés, O Fgu 5). S l'on chos un au do d ojcon, on a un scond vcu ds éonss calculés. L lu ds émés d cs vcus s un shè S d damè O. Ls vcus ohogonau à O n son sués dans un lan ohogonal à O n. C lan ass a la do A l cou la shè S slon un ccl d damè. On u alos décomos l vcu n vcus ohogonau, C C. On a donc ˆ O C C Ls vcus O, C C éan ohogonau n u, l vcu ŷ s décomosé n os vcus ohogonau. Fnalmn, ou ouv ŷ n ffcuan un égsson séqunll ohogonal, on écu os ojcons succssvs su os dcons ohogonals :,. D S C D O D Fgu 5 : l vcu s décomosé n os vcus ohogonau. Pojcons su l a du ojcons ou égssons) su d aamès dcus. La mè cosond à la égsson du vcu qu foun un mè soluon MODULAD, Numéo

18 . La scond cosond à la consucon d un nouvl ERP ohogonal à la do. Régsson d su On chos la mè dcon d ojcon. On obn, comm écédmmn, l vcu égssé l vcu ds ésdus cosondan. On a avc la mac d ojcon ) [ ] Régsson ds vcus nvau su C égsson a ou objcf d'obn un nouvl ERP, l ERP, ohogonal à. C sac a un dmnson d mons qu l'erp, donc c du dmnsons. L'ERP s donc un lan ohogonal à assan a l on. On égss ls os vcus nvau, su. On obn ls vcus égssés,,,, qu son oés a la do ls vcus ds ésdus,,,, qu son ohogonau à c mêm do,, ),, ),, ),,, Fgu 6 : Ls dcons, défnssn un lan ohogonal à. L nouvl sac ds éonss ossbls, ohogonal à n, s ngndé a ls vcus ds ésdus,,,,. On u ls gou dans la mac ll qu MODULAD, Numéo

19 [ ],,, Ls vcus ds ésdus,,,, son dans l lan ohogonal à la do ls défnssn l ERP Fgu 6). ls n son as lnéamn ndéndans. On chos lbmn ls aamès dcus d qu oufos n dovn as ê ous nuls qu dovn ê dfféns d cu d. On défn ans la do sué dans ERP. On a la laon ) Pojcons su Du ojcons ou égssons) su von ê consdéés. La mè ojcon cosond à la décomoson du vcu ds ésdus ll condu à la scond soluon d la égsson. La scond ojcon cosond à la consucon d un nouvl ERP ohogonal à la do. Régsson d su la dcon La égsson du m ésdu su la dcon condu au vcu égssé oé a au vcu ds ésdus, ohogonal à Fgu 7). C Fgu 7 : L ésdu s décomosé n du vcus ohogonau. : L vcu, égssé d su, s égal à : {0} L vcu ds ésdus cosondan à la égsson d su, s égal à {} ) avc la mac d ojcon [ ] {} MODULAD, Numéo

20 L m vcu ds éonss calculés s l vcu, ojcon d su la do. La scond égsson nodu l vcu oé a la do. La somm d cs du vcus s un nouvau vcu ds éonss calculés qu l'on u dénomm Fgu 8). C nouvau vcu u ê consdéé comm un soluon d la égsson {} A 0 ' C Fgu 8 : La duèm soluon s la somm vcoll d d. Régsson ds vcus ds ésdus, su C égsson a ou objcf d défn un nouvl ERP, l ERP, ohogonal à. C sac ossèd un dmnson d mons qu l'sac écédn, donc c, l n a qu un sul dmnson. L ERP s édu à la do. C's donc un do ohogonal à l'on sa qu'll ass a l on d la égsson classqu. On égss ls os vcus ésdus,,,, su. On obn ls vcus égssés,,,, qu son oés a la do d nouvau vcus ds ésdus,,,, qu son ohogonau à c mêm do,,, ),,,, ),,,, ), L nouvl sac ds éonss ossbls s ohogonal à n C l s ngndé a ls vcus ds ésdus,,,,. Cs vcus son goués dans la mac ll qu [ ],,, MODULAD, Numéo

21 Ls vcus ds ésdus,,,, son ohogonau à la do. ls son aallèls n u défnssn l ERP qu n ossèd qu un sul dmnson. Ls vcus ds ésdus,,,, n son as lnéamn ndéndans la mac n s as d ln ang. On a {4} ) ) ) {5} Pojcons su C s la dnè ojcon ou égsson) ll sa écué su. Ell cosond à la décomoson du vcu ds ésdus ll condu à la soluon classqu d la égsson : ŷ. Régsson d su la dcon On obn l vcu égssé Fgu 9): C {6} à : L vcu ds ésdus cosondan à la égsson d su, s égal avc {7} ) [ ] {8} A ) C Fgu 9 : L vcu s décomosé n un vcu égssé C un vcu ds ésdus,, qu s c ê. MODULAD, Numéo

22 Réducon dmnsonnll ds ERP La ojcon ) oj ls vcus d l ERP su un lan ohogonal à. Ell ansfom l vcu défn dans ERP, n un vcu ' ohogonal à sué dans l ERP qu n ossèd qu du dmnsons. Pou fa ls calculs on ass dans l éfénl ds éonss, l vcu s ansfomé n. On a ' ) La ojcon ) ansfom l vcu d ERP os dmnsons) n ' un vcu d ERP du dmnsons). ' ) La ojcon ) ansfom l vcu ' d ERP du dmnsons) " n un vcu d ERP un dmnson). " ' ) ) ) On u donc chos au mu ds néês d l éud ls dcons défns a ls aamès dcus. Ls soluons d la égsson l a os vcus canddas comm soluon d la égsson : l vcu ojé su, l vcu qu ésul d la scond ojcon l vcu ŷ qu s la soluon classqu. On a ˆ ˆ Pou facl la coméhnson, on u ésn ls os vcus soluons dans un lan n nan n com qu ls vcus ls vcus Fgu 0). C 0 Fgu 0 : llusaon, dans un lan, ds os soluons d la égsson. MODULAD, Numéo

23 Coffcns ds vcus égssés Ls coffcns b du modèl mahémaqu donnan l m vcu égssé, son founs a la laon b [ ] Ls coffcns b du modèl mahémaqu donnan l scond vcu égssé, son founs a la laon : b [ ] Ls coffcns â du modèl mahémaqu donnan l osèm vcu égssé ŷ, son founs a la laon classqu : aˆ [ ] Résumé ds ncals oéaons L Tablau 4, l Tablau 5 l Tablau 6 ndqun ls ncals oéaons ffcués dans ERP, ERP ERP. Pojcon su Pojcon à ),, Tablau 4 : Oéaons dans ERP obnon d ERP Pojcon su Pojcon à ),,, Tablau 5 : Oéaons dans ERP obnon d ERP MODULAD, Numéo

24 Pojcon su Pojcon à ) ê Tablau 6 : Oéaons dans ERP 5. N COEFFCENTS Ls asonnmns qu nous avons nus uvn s alqu losqu l a n coffcns. Dans c cas, on a n vcus-nvau,,,, n, oés a n dos D, D,, D n. Cs n dos défnssn l'erp. La égsson classqu d condu au vcu ŷ sué dans l'erp. On oj su un mè dcon. On obn un m vcu ds éonss calculés O. S l'on consdè ous ls dcons ossbls, l lu ds émés ds vcus O s un hshè S à dmnsons d damè O. Ls vcus ohogonau à O n son dans un hlan ohogonal à O n. C hlan ass a la do A l cou l'hshè S slon un hshè S d dmnsons - d damè. On u alos décomos n - vcus ohogonau n assan a ds hshès don ls dmnsons dmnun d'un uné à chaqu fos. On mn c ocssus d décomoson a un ccl du vcus ohogonau. L vcu ŷ u ans ê décomosé n vcus ohogonau. Dans l ERP, on égss su un dcon. On obn un vcu égssé, oé a, un vcu ésdu sué dans l'hlan ohogonal à n. On a ) On défn l nouvl ERP, l ERP, n égssan ls vcus nvau,, su. Ls vcus ds ésdus obnus,,,, ngndn l ERP qu à - dmnsons qu s ohogonal à. On défn un dcon d ojcon su laqull on oj l ésdu. On obn un vcu égssé oé a la do un vcu ds ésdus ohogonal à. ) On obn ans un scond soluon d la égsson On u ousuv la décomoson n défnssan un osèm ERP, l ERP. On obn ERP n égssan ls vcus ds ésdus,,,, su. C MODULAD, Numéo

25 égsson foun ls ésdus,,,, qu son ohogonau à qu ngndn l ERP qu n comnd lus qu - dmnsons. On chos un osèm dcon d ojcon. L vcu ds ésdus s ojé su la nouvll dcon,, ohogonal à à. On obn un vcu ojé,, un nouvau vcu ds ésdus, Fgu ). ) A A C C D Fgu : A gauch l vcu s égssé su la dcon. L vcu ds ésdus d c égsson s à son ou égssé su dcon fgu d do). L vcu ds ésdus ans obnu sa, lu auss, égssé su un nouvll dcon 4. On obn ans un osèm soluon, Fgu ) : A 0 D C Fgu : La osèm soluon s la somm vcoll d d. MODULAD, Numéo

26 A son ou l ésdu, s décomosé n un vcu ojé, 4, un vcu ds ésdus, 4. D décomoson n décomoson, on av à ouv l vcu ŷ d la égsson classqu. La Fgu llus ls soluons succssvs oosés a la égsson séqunll ohogonal Fgu : La égsson séqunll ohogonal oos lusus soluons ou l la éons au facus. Réducon dmnsonnll ds ERP La ojcon ) oj ls vcus d ERP su un sac ohogonal à. Ell ansfom l vcu comosans dans ERP n comosans dans l éfénl ds éonss) d l sac ERP d dmnsons n un vcu ' ohogonal à sué dans l sac ERP d - dmnsons. Ell ansfom la mac n un mac don ls colonns, consdéés comm ds vcus, défnssn ERP. ) ) ' La ojcon ) ansfom l vcu ' d ERP - dmnsons) n un vcu " d ERP - dmnsons). Ell ansfom n qu défn ERP. " ' " ) ou ) ) ) ou ) ) Ls ojcons s ousuvn jusqu à obn l ERP j ). L vcu ojé j-) fos, on a donc s j ) ' MODULAD, Numéo

27 j ) ' j) ) ) La mac s obnu aès j-) ojcons, on a donc j- ) ) ) j j Ls soluons d la égsson l a soluons d la égsson dus l vcu ojé su jusqu au vcu ŷ d la soluon classqu. On a smlmn On u égalmn éc ls soluons succssvs avc ls macs d ojcons : ) ) ) ) c. La égsson séqunll ohogonal oos donc lusus soluons ossbls usqu chaqu vcu ésn un modèl mahémaqu man d'obn ds éonss calculés ochs ds éonss msués. On u ésn, dans un lan, ous ls soluons d la égsson n n nan n com qu ls vcus ls vcus Fgu 4). G - 4 E 4 D C 0 Fgu 4 : llusaon, dans un lan, ds soluons d la égsson MODULAD, Numéo

28 Coffcns ds vcus égssés Ls coffcns â du modèl mahémaqu donnan l vcu égssé classqu ŷ, son founs a la laon classqu : aˆ ) Ls coffcns b du modèl mahémaqu cosondan au dvss soluons ossbls son donnés a [ ] b 6. REGRESSON PLS La égsson PLS s un sml alcaon d la égsson séqunll ohogonal. Dans c cas, on décd qu ls aamès dcus d la mè dcon d ojcon son ooonnls au covaancs n l vcu ds éonss msués,, ls vcus-nvau. On a donc,,, Cov, ), ) κ Cov κ Cov Cov, ) {9} mac,) ds aamès dcus d la do su laqull on oj. κ scala d ooonnalé. Cov mac,) ds covaancs n l vcu ds éonss msués,, ls vcus-nvau,. Cs covaancs son connus. Dans c cas la mac d ojcon s égal à Cov [ Cov Cov ] Cov D où l vcu, ojcon d su la do : [ Cov Cov ] Cov Cov C vcu ds éonss calculés,, obnu a égsson su la do, s alé m vcu ds éonss PLS. L vcu ds ésdus s sué dans l'hlan ohogonal à n l s égal à ) C's c vcu ds ésdus,, qu va ê décomosé à nouvau dans un ERP d - dmnsons défn a ls ms vcus ds ésdus,,,,,,. Dans la égsson PLS, on défn la scond dcon d ojcon a ls covaancs n l vcu ds ésdus ls vcus ds ésdus,. MODULAD, Numéo

29 , Cov,, ),,, ) Cov κ Cov, Cov,, ) On obn un vcu égssé un vcu ds ésdus. Comm dans la égsson séqunll ohogonal, on ousu ls décomosons jusqu'à obn l vcu ŷ d la égsson classqu. Pou facl l cho d la mllu soluon l s ds cès sasqus ls qu l Q ou l PRESS. L'dé généal d cs cès s d s'aê quand ls vcus qu l'on ajou dvnnn égau ou nféus à l'u. On ouv ous ls laons qu nous avons ndqués n mlaçan a sa valu :,,, Cov Cov Cov,,,,,, ) ) κ Cov ) {0} S la égsson PLS condu à n n qu du as d ojcons ou obn l modèl l lus och d la mllu soluon, l s ossbl avc la RLSO d n ffcu qu un sul ojcon. En ff, l suff d oj l vcu ds éonss msués su un a don ls aamès dcus son ooonnls au coffcns du vcu soluon d la PLS. Dans c cas on oua chos d aus dcons d ojcon d manè à nou la soluons PLS. L smaon du mllu modèl sa ans éalsé su ds ojcons vosns d la soluon PLS mas ouvan ê mllus nco. La égsson PLS n donn qu ds soluons dsconnus alos qu la égsson RLSO m d obn ous ls soluons ossbls d chos la mllu n accod avc l cè d omsaon. 7. COMPARASON DES REGRESSONS PLS ET RLSO La dffénc la lus moan n cs du égssons séqunlls s l lb cho d la dcon d ojcon off a la RLSO. En ff, ls du égssons offn l mêm nomb d soluons ossbls mas la PLS mos l mlacmn d cs soluons dans l sac défn a l éfénl ds éonss. Au cona, la RLSO off la ossblé d lac ls soluons n un nfné d osons. l s ans ossbl d gou ls soluons dans un fabl sac favoabl d chos la mllu soluon. C cho u s fa n ulsan ls cès ms au on ou la PLS n ls assocan à ds lans d éncs ou ouv la mllu soluon ou l mllu comoms ossbl. Avc la RLSO, l s auss ossbl d mos ds conans comm, a ml, la valu d un ou d lusus coffcns. En acul l s facl d élmn ous ls coffcns non sgnfcafs d ouv la mllu soluon ulsan l nflunc d qulqus facus éondan à ds méafs bn écs. La soulss d la RLSO s oos à la gdé d la PLS off a là un mulud d ossblés nouvlls à ous ls ulsaus d la égsson. MODULAD, Numéo

30 ANNEE CALCUL DU COEFFCENT DE LA REGRESSON SUR UNE DRECTON La soluon ds monds caés s la suvan : b) b) b ) b) b b b b MODULAD, Numéo 0 O, éan un mac n,) ; un n,) un,), on a ca un scala s égal à son ansosé. D où s bn un scala : [ ],),n)n,),),),n)n,),) D où ls comosans du vcu égssé b ANNEE DEFNTON DES DRECTONS Ls dcons on éé défns a ls aamès dcus ds vcus unas. Mas l s ou à fa ossbl d uls d aus vcus à condon, bn sû, qu ls ossèdn la mêm dcon qu. S on a ulsé un vcu v aallèl à mas n'éan as una, on a κ v Ls coffcns du modèl mahémaqu s'écvn alos b κ v[ κ v κ v] κ v so [ v v] v b v L coffcn d ooonnalé a dsau d la mac ds coffcns.

31 Consdéons mannan la mac d ojcon so κ v [ κ v κ v] κ v [ v v] v v L coffcn d ooonnalé a dsau d la mac d ojcon. A la lac d, on u mlo ls caacésqus d un vcu aallèl. ANNEE ORTOGONALTE DES DRECTONS DE PROJECTON On u véf l ohogonalé ds dcons. On oè dans l éfénl ohonomé ds éonss on uls ls ansfomés ds vcus. Calculons l odu scala PS du vcu d l ERP avc l vcu ojé dans l ERP. On a so PS PS PS PS ' [ ] ' [ ] ) [ ] ' [ [ ] ] ) ' [ [ ] ] ) PS PS ' [ ] ) ' [ ] MODULAD, Numéo ) ' PS 0 ) 0 ANNEE 4 Dans la Fgu 4 ls angls OC, OCD, OG son ous cangls. On a donc : C s donc l vcu d la égsson classqu qu a la lus gand nom. ANNEE 5 L angl OA d la fgu 6 s cangl, on a donc la laon d Phago : ˆ

32 MODULAD, Numéo Quand on cn qu l on édu ls éonss bus avc n- ou l calcul d la vaanc), la somm ds caés ds éonss cnés édus s égal à n-, so n D aès la fgu 7, on a donc la laon d Phago : ˆ ˆ ˆ ˆ 4 4 On a auss ˆ ˆ ˆ ˆ n ANNEE 6 Connassan, ls, on u calcul ous ls éonss soluons. Pmè éons [ ] ) Duèm éons ) [ ] )

33 MODULAD, Numéo ) u ê mé avc, ls, Tosèm éons ) ) [ ] ) u ê mé avc, ls, èm éons ) ) ) [ ] ) u ê mé avc, ls, ANNEE 7 Ls gandus suvn la mêm évoluon au cous ds calculs. En ff, on a ) ) ) j ' ) j ) ) ) j j ) ) ) Avc ls macs d ojcon, on a

34 ANNEE 8 S l on no ls vcus msués dans l sac ds éonss ossbls ERP d dmnsons, la nom d cs vcus s s égal à S l on no n ls vcus msués dans l éfénl ds éonss d n dmnsons, on a n n Pa conséqun, la nom d cs vcus s s égal à On a donc n n n n n La mac s, à un facu n- ès, égal au nsu fondamnal ou nsu méqu d l sas ds éonss ossbls. G En ff, ls élémns du nsu méqu son ls odus scalas ds vcus d bas només d la nouvll bas. C nsu u égalmn ê éc : cos, ) G cos, ) On conna c la mac d vaanc covaanc ds vcus nvau. ANNEE 9 La égsson PLSl s llusé a l fch Ecl «PLS_4_cof». L lcu oua n ls 4 coffcns d un modèl ouv ls soluons PLS ans qu la soluon classqu d la égsson. l oua consa qu la quaèm soluon PLS s égal à la soluon classqu. ANNEE 0 La RLSO Régsson Lnéa Séqunll Ohogonal) s llusé a l fch Ecl «RLSO_4_cof». L lcu oua n un modèl d 4 coffcns modf à sa gus ls dcons d ojcons. L logcl calcula ls soluons RLSO ans qu la soluon classqu d la égsson. l oua consa qu la quaèm soluon RLSO s oujous égal à la soluon classqu. Losqu ls dcons d ojcon son clls d la égsson PLS, la RLSO foun ls mêms soluons qu la égsson PLS. Cs mls sous Ecl on bénéfcé d l ad d n Aub d Jacqus Vallé. MODULAD, Numéo

35 blogah Régsson classqu. DRAPER Noman and SCMTT "Ald Rgsson Analss" John Wl and Sons. Nw-Yo. 708 ags. 98). Régsson PLS. ATES Douglas M. and WATTS Donald G. "Nonlna Rgsson analss and s alcaons" John Wl and Sons. Nw-Yo. 65 ags. 988).. WLLAMS E.J. "Rgsson Analss" John Wl and Sons. Nw-Yo. 967). 4. TENENAUS Mchl "La égsson PLS. Théo aqu" Edons Tchn. 54 ags 998. )Pas. SN WOLD. "Sof modlng. Th basc dsgn and som nsons" n vol of Josog K.G.and Wold Eds. Ssm und ndc obsvaon. Noh olland, Amsdam. 98). 6. WOLD Swan, RUE A., DUNN W. J. and WOLD. "Th collna oblm n Lna Rgsson. Th Paal Las Squa Aoach o Gnalzd nvss" SAM J. Sc. Sa. Com ) OSKULDSSONN A. "PLS Rgsson Mhods" J. Chmomcs, ). 8. TENENAUS M., GAUC Jan-P MENARDO C. "Régsson PLS alcaons" Rv. Sasqu Alqué vol. L ), ). 9. GAUC Jan-P "Ulsaon d la égsson PLS ou l'anals ds lans d'éncs n chm d fomulaon" Rv. Sasqu Alqué vol. L ), ). 0. RANDVK P.J. and DALNG P.S. "Omsng ol sll dssans as a funcon of ol and wahng dg: a mulvaa aoach usng aal las squas PLS)." Chmomcs and nllgn Laboao Ssms 4 998): LNDGREN F., GELAD P. WOLD S. "Th nl algohm fo PLS" J. Chmomcs. 7, ).. CAVENT Ma PATOULLE g. "Calcul ds cffcns d égsson du Pss n égsson PLS" Modulad n ).. ASTEN Phl, VNZ Vncnzo Esoso, TENENAUS Mchl "PLS gnalsd lna gsson" Comuaonal sascs and daa analss. 48, ). MODULAD, Numéo