Mauscrt auteur, publé das "REVUE DES NOUVELLES TECHNOLOGIES DE L'INFORMATION, C- (008) 43-56" Aalyse e composates prcpales d u ux de doées d espérace varable das le temps. Jea-Mare Moez Isttut Ele Carta UMR 750 Nacy-Uversté, CNRS, INRIA al-0035896, verso - 4 Feb 009 Abstract We cosder a data stream ad suppose tat eac data s a realzato of a radom vector wose expectato vares tme, eac compoet followg a lear model. We use stocastc approxmato processes to estmate o le te parameters of te lear models ad smultaeously te prcpal compoets of te data. Key Words ad Prases : Data stream, stocastc approxmato, prcpal compoet aalyss. AMS A99 Subject Class cato : prmary : 6 ; secodary : H5, L0. Modèle de ux et pla d étude Sot u ux de doées, représeté par ue sute de vecteurs (z ; :::; z ; :::) das R p.. Modèle d étude et formulato O suppose que:. pour tout, z est la réalsato d u vecteur aléatore Z, d espérace matématque varable das le temps ;. les vecteurs aléatores Z sot mutuellemet dépedats ;. pour tout, o a la décomposto Z = + R, = ( ::: p ) 0 état u vecteur de R p, la lo du vecteur aléatore R e dépedat pas de, E [R ] = 0; Covar [R ] = (matrce de covarace de R ) ; cec revet à supposer que les R = Z costtuet u écatllo..d. d u vecteur aléatore R das R p tel que E [R] = 0; Covar [R] = ; o a alors E [Z ] = ; Covar [Z ] = ; r = z E [Z ] représete la doée z cetrée ;. pour = ; :::; p, l exste u vecteur de R cou et, pour tout, u vecteur U de R cou au temps tels que = ; U, :; : désgat le produt scalare euclde usuel das R ; U peut être u vecteur de foctos coues du temps ( est alors ue combaso léare de foctos coues du temps) ou u vecteur de valeurs de varables explcatves cotrôlées ; s l o ote Z, respectvemet R, la eme composate de Z, respectvemet R, o a alors le modèle de régresso léare Z = ; U + R ; = ; :::; p: O pose le problème suvat : réalser ue aalyse e composates prcpales (ACP) du vecteur aléatore R das R p que l o mut d ue métrque M ; o e ectue as ue ACP de doées corrgées de l e et du temps ou d e ets explcatfs. O étude c l estmato des facteurs de cette aalyse. O rappelle das le paragrape ue présetato de l ACP d u vecteur aléatore (cf Moez 006).
. Prcpe et pla de l étude Les facteurs de l ACP du vecteur aléatore R sot vecteurs propres de la matrce C = M assocés aux valeurs propres ragées par ordre décrossat. O va e e ectuer ue estmato e lge, e actualsat au temps, après avor trodut l observato z, l estmato d u facteur obteue au temps. O fat cette estmato e parallèle avec celle des paramètres, doc des composates de. O utlse pour cela des processus d approxmato stocastque de la famlle de ceux de Robbs-Moro (95), Bezécr (969), Krasula (970). O dé t les processus das le paragrape 3, o doe les téorèmes de covergece presque sûre das le paragrape 4, o étude le cas partculer où l o pred pour métrque M celle de l ACP ormée das le paragrape 5, o doe ue cocluso das le paragrape 6 et les démostratos das le paragrape 7. ACP d u vecteur aléatore al-0035896, verso - 4 Feb 009 Sot u vecteur aléatore R das R p, dé sur u espace probablsé (; A; P ), de composates R ; R ; :::; R P de carré tégrable. O ote la matrce de covarace de R. O mut R p d ue métrque M ; o ote k:k la orme assocée : kr(!)k = R 0 (!)MR(!). A partr de M est dé e la dstace etre deux réalsatos R(!) et R(! 0 ) de R qu est la mesure de la d érece vs-à-vs de R etre les élémets, ou dvdus,! et! 0. Le cox de cette métrque est prmordal et codtoe les résultats de l ACP. O désge par F r u sous-espace a e de R p de dmeso r auquel appartet l espérace matématque E [R] de R. O ote R le vecteur aléatore das R p qu, à tout!, fat correspodre la projecto ortogoale, au ses de la métrque M, R(!) de R(!) sur F r. O a E [R] = E [R] et : E kr. Etude géométrque E [R]k = E kr Rk + E kr E [R]k : L ACP du vecteur aléatore R cosste à détermer u sous-espace F r qu resttue au meux e dmeso r la dsperso de R mesurée par E kr E (R)k, doc qu sot tel que E kr E (R)k sot maxmale ou E kr Rk mmale. S l o ote (u ; u ; :::; u r ) ue base M-ortoormée de F r, o a E kr E [R]k rx = u 0 k MMu k: Pour k = ; ; :::; r, o recerce alors u vecteur u k qu red maxmale la forme quadratque u 0 MMu sous les cotrates d être M-utare et M-ortogoal aux vecteurs u j, j = ; :::; k ; u k est vecteur propre de la matrce M assocé à la k eme plus grade valeur propre k ; o a u 0 k MMu k = k ; l axe (E [R] ; u k ) est appelé le k eme axe prcpal de l ACP de R. k=. Iterprétato statstque La formulato statstque, équvalete à la géométrque, est le cadre usuel de présetato de l ACP d u vecteur aléatore. Sot l élémet a k = Mu k du dual R p de R p, appelé k eme facteur prcpal de l ACP de R. A partr du crtère de détermato de u k, o obtet que a k red maxmale la forme quadratque a 0 a sous les cotrates a 0 a j = 0; j = ; ; :::; k et a 0 M a = ; la combaso léare des composates cetrées de R, C k = a 0 k (R E [R]), appelée keme composate
prcpale, est doc de varace maxmale sous les cotrates d être o corrélée aux composates précédetes et que a k sot M -utare. a k est vecteur propre assocé à la k eme plus grade valeur propre k de la matrce M -symétrque M et o a a 0 k a k = k. 3 Dé to des processus d approxmato stocastque Sot M u estmateur de M au temps. O ote :; : le produt scalare das le dual R p de R p au ses de la métrque M. Sot (a ) ue sute de ombres réels postfs. Pour = ; :::; p, o dé t le processus d approxmato stocastque (B) de tel que B + = B a U (U 0 B Z ): O dé t : b = B ; U ; b = ( b ::: b p ) 0 ; C = M (Z Z 0 b b 0 ): al-0035896, verso - 4 Feb 009 Sot r le ombre de facteurs à estmer. Pour = ; :::; r, o dé t les processus (X) d estmato des facteurs tels que : C X; X F (X ) = X ; X Y + = X + a (C F (X )I)X X + = ort M (Y +): I désge la matrce-detté d ordre p. X+ = ort M (Y+ ) sg e que (X + ; :::; X + ) est obteu e ortogoalsat par rapport à M au ses de Gram-Scmdt (Y+ ; :::; Y + ). 4 Téorèmes de covergece presque sûre 4. Prcpe de l étude de la covergece des processus d estmato des facteurs L étude de la covergece du type précédet de processus a été fate par Bouamae et Moez (997, 998) e se plaçat das l algèbre extéreure d ordre j de R p. O rappelle d abord quelques élémets téorques relatfs à cette algèbre. 4.. Algèbre extéreure d ordre j de R p O ote ^ le produt extéreur de vecteurs de R p et pour j = ; :::; p, j^rp l algèbre extéreure d ordre j de R p : (e ; :::; e p ) état ue base de R p, l esemble des Cp j produts extéreurs e ^:::^e j pour < ::: < j p est ue base de j^rp. O dé t u produt scalare das j^rp à partr de celu das R p dut par la métrque M ; das cette dé to, G j est l esemble des permutatos de fk ; :::; k j g, s () est le ombre d versos de la permutato et " () = ( ) s() : X D E e^:::^e j ; e k^:::^e kj = " () e ; e (k ) ::: e M j ; e (kj ) : M G j 3
O suppose que les r plus grades valeurs propres de l edomorpsme C das R p sot dfféretes : > ::: > r. O dé t pour j = ; :::; r, l edomorpsme j C das j^r p par j C(x ^::::::^x j ) = jx x ^:::^Cx ^:::^x j ; x l R p ; l = ; :::; j: = S V ; :::; V j sot des vecteurs propres de C correspodat respectvemet à ; :::; j, V ^:::^V j est vecteur propre de j C correspodat à la plus grade valeur propre j = P j l= l. O ote j S le sous-espace propre correspodat à j et ( j S )? so supplémetare ortogoal. 4.. Covergece des processus al-0035896, verso - 4 Feb 009 O e ectue la démostrato de la covergece e deux étapes. Sot le processus ( j X ) das l algèbre extéreure d ordre j de R p dé par : j X = X^:::^X. j O démotre d abord que, pour j = ; :::; r, coverge p:s: das u esemble j E vers j X k j X k V ^:::^V j j S (o suppose les vecteurs V l ormés). O démotre esute que, pour l = ; :::; r, X l kxk coverge p:s: das l \l j= j E vers V l. O doe c-dessous la dé to de l esemble j E. Das le cas où l o coaît C et M, o dé t et le processus j ( j x) = j U das j^r p par j C j x; j x j x; j x ; j x j^r p ; j U + = I + a j C j ( j U )I j U : j Das ce cas, j E est l esemble X = j o? S ; X ; :::; Xj e dovet pas être ortogoaux au sous-espace egedré par les vecteurs propres de B correspodat à ses j plus grades valeurs propres. Le processus ( j X ) = (X^:::^X ) j peut être cosdéré comme ue perturbato stocastque du processus j U. O ote : j = + a ( j j ( j X )) X Q j = j j X + I + a j C j ( j X )I j X X + Q = : j = L esemble j E est Q j = ( j S )?. O remarque que Q j = j X pour ( j X ) = j U. 4. Hypotèses O fat les ypotèsessuvates. (H)(a) max sup U <. (b) Pour = ; :::; p, l exste u eter r, u réel > 0, ue sute crossate d eters ( l ; l ) tels que = ; ;l+ l +r, m ( P Uj U j 0), avec I l = f l ; :::; ;l+ g : (H) P M! M p:s: a km Mk < p:s: (H3) a = c ; c > 0; P < : (H3 ) a > 0; m a j = ; P a < : 4
4.3 Téorèmes O a les éocés suvats. Téorème Sous H et H3, pour = ; :::; p, B! et b! 0 p:s: Téorème Sous H et H3, pour = ; :::; p : ) pour < ou ( = et c r > ) : lm E B < et lm E b < ; ) pour = et c r = : lm l E B < et lm l E b < ; al-0035896, verso - 4 Feb 009 3) pour = et c r < : lm c B r E < et lm c r E b < : Téorème 3 Sous H, H, H3, s l o suppose que R admet des momets d ordre 4r, pour j = ; :::; r, Q j coverge presque sûremet et, s l o suppose que les r plus grades valeurs propres de C = M sot dstctes, alors, pour = ; :::; r, X coverge presque sûremet das \ j= j E vers u vecteur propre de C assocé à sa eme plus grade valeur propre. 5 Cas partculer de la métrque de l ACP ormée Sot = V ar R ; = ; :::; p. La métrque de l ACP ormée das R p est la métrque dagoale M des. ( ) = P j= Zj b j de et la métrque dagoale M das de faço récursve. O cosdère l estmateur M R p des M. O peut calculer M Téorème 4 O suppose que R admet des momets d ordre 4. Alors, sous H et H3 avec =, M! M et P a km Mk < p:s:; doc, l ypotèse H est vér ée. 6 Cocluso et extesos O a traté c l estmato e lge des facteurs de l ACP d u ux de doées. O peut égalemet estmer e lge les valeurs propres assocées (Bouamae et Moez, 998), les corrélatos etre les varables et les facteurs ; o peut auss estmer e lge la valeur d u facteur pour u dvdu et procéder évetuellemet à ue class cato des dvdus. Cette étude troductve sera développée das les drectos suvates : ) étude d u modèle où l espérace et la varace varet das le temps ; ) étude de modèles o léares de varato des paramètres ; 3) autres cox de métrques M ; 4) applcato à d autres métodes d aalyse factorelle. 5
7 Démostratos 7. Démostrato du téorème O a dé : B+ = B a U(U 0 B Z): Comme Z = + R = U 0 + R, o a: B + = B a U U 0 (B ) + a U R : A xé, otos : Y = B ; V = U ; S = R ; l = l ; r = r : O a : Y + = Y a V V 0 Y + a V S : Pour établr la covergece presque sûre, o utlse le lemme suvat (Robbs et Segmud, 97). Lemme 5 Sot (; A; P ) u espace probablsé, (T ) ue sute crossate de sous-trbus de A: Sot, pour tout, ; ; des varables aléatores réelles T - mesurables, o égatves, tégrables, telles que al-0035896, verso - 4 Feb 009 E [ + j T ] ( + ) + ; X X < ; < p:s: Alors, la sute ( ) coverge presque sûremet vers ue varable aléatore e et o a P < p:s: ) O a : ky + k = ky k + a V VY 0 a Y ; V VY 0 V S + a Y ; V S ky k + a kv k ky k + a kv k S + a Y ; V S a Y ; V V 0 Y : Sot T la trbu du passé au temps, par rapport à laquelle Y ; :::; Y sot mesurables. O a E [S j T ] = E R = 0, E S j T = E (R ) : E ky + k j T ( + a kv k ) ky k + a kv k E S a Y ; V VY 0 p:s: Sous les ypotèses Ha et H3, o a : P a kv k < : D après le lemme 5 : 9T 0 : ky k! T p:s: ; X a Y ; V VY 0 < p:s: ) O a: ky + Y k a kv k ky k + a kv S k : P E a kv S k = P a kv k E S < : Doc : P a kv S k < p:s: ; a kv S k! 0 p:s: Sous Ha et H3, a kv k! 0 p:s: O e dédut que ky + Y k! 0 p:s: 6
3) O rasoe à! xé, apparteat à l tersecto des esembles de covergece presque sûre dé s. Supposos T (!) 6= 0. O supprme das la sute l écrture de!. Alors : 90 < < ; 9N( ) : 8 > N( ); < ky k < : Doc, sous Hb, à partr d u certa rag L, o a : * Y l ; X V j V 0 j Y l + : O e dédut qu l exste u eter m l I l tel que: Yl ; V ml V 0 m l Y l r : O cosdère la décomposto : Yml ; V ml V 0 m l Y ml = Yml + Y l ; V ml V 0 m l (Y ml Y l ) + Y l ; V ml V 0 m l Y l : Sot > 0 tel que 3 4r C, avec C = sup kv k < sous Ha. A partr d u certa rag : ky + Y k < ; doc : ky ml Y l k < r ; al-0035896, verso - 4 Feb 009 =) Y ml + Y l ; V ml V 0 m l (Y ml Y l ) < C r r =) Y ml ; V ml V 0 m l Y ml > r : Sous H3, o a alors : P l= a m l Yml ; V ml V 0 m l Y ml = : Doc : P = a Y ; V V 0 Y = ; l y a cotradcto. Par coséquet : T (!) = 0. 7. Démostrato du téorème ) O repred les otatos du téorème. D après la parte de sa démostrato, o a : E ky + k ( + a kv k )E ky k + a kv k E S D après le lemme 5 : 9t 0 : E ky k! t ; a E Y ; V V 0 Y : ) Doc, l exste b > 0 tel que, avec l = m jil a j : X a E Y ; V VY 0 < : E ky + k E E Yl+ E ky k + ba kv k a E Y ; V V 0 Y ky l k + b XjIl a j kv j k l X E Yj ; V j V 0 j Y j : X E Yj ; V j V 0 j Y j = X E Y l ; V j V 0 j Y l + X E Y j + Y l ; V j V 0 j (Y j Y l ) 7
Sous Hb : P D E Y l ; V j V 0 E j Y l E O ote C = sup kv k. Il exste a > 0 tel que: ky l k : X E Yj + Y l ; V j Vj 0 (Y j X E ky j + Y l k kv j k ky j Y l ) Y l k C X E ky j + Y l k E ky j Y l k a X E ky j Y l k al-0035896, verso - 4 Feb 009 Or : Y j Y l = P j k= l ( a k V k Vk 0Y k + a k V k S k ): ky j Y l k P j k= l (a k C ky k k + a k C ks k k): Il exste d > 0 tel que : E ky j Y l k d P ki l a k dr max ki l a k : Doc, l exste f > 0 tel que : X E Y j + Y l ; V j V 0 j (Y j Y l ) f max ki l a k : Par coséquet, l exste g > 0 tel que : E Y l+ ( l )E ky l k + brc max a k + f l max ki l ( l )E ky l k + g max a k : ki l c ( l+ ) c Or : l = (lr) ; max ki l a k = Doc, l exste > 0 tel que : E Y l+ c ( l ) c l : c r l E ky l k + l : 3) Das le cas < <, o applque u lemme de Scmetterer (969) : lml E ky l k < : Das le cas =, o applque u lemme de Veter (966) : c pour > ; lmle ky l k < ; r c pour = ; lm l r l l E ky l k < ; pour Comme E ky + k E c r < ; lml c r E ky l k < : ky k + ba kv k, o a pour I l : ki l a k E ky k E ky l k + l : Comme l lr, o obtet des résutats semblables aux précédets pour E ky k, e remplaçat l et l par. 8
7.3 Démostrato du téorème 3 D après le téorème 4 de Bouamae et Moez (998), o a les coclusos de ce téorème sous les ypotèses : ) P a ke [C j T ] Ck < p:s: ) Pour j = ; :::; r, P aj E kc Ck j j T < p:s: 3) M est T -mesurable ; M! M p:s: ; P a km Mk < p:s: 4) a > 0, P a =, P a <. O vér e l ypotèse. C = M (Z Z 0 b b 0 ) ; C = M = M(E Z Z 0 0 ): C C = M (Z Z 0 E Z Z 0 ) + (M M)(E Z Z 0 0 ) M ( b ) b 0 M ( b ) 0 : E [C j T ] C = (M M) M ( b ) b 0 M ( b ) 0 : al-0035896, verso - 4 Feb 009 D après les coclusos du téorème, e utlsat la orme eucldee usuelle das R p, o a das tous les cas : " # X E b X E b Doc : P b < p:s: D après le téorème, b! 0 p:s: Sous H, o a alors : X px X = = E b ke [C j T ] Ck < p:s: < : O vér e l ypotèse e écrvat que : kc Ck j 4 j (km k j Z Z 0 E Z Z 0 + km Mk j kk j + km k j b j b j + km k j k k j b j ); X a j km Mk j < ; a j M! M; b! 0 p:s: 7.4 Démostrato du téorème 4 ) Motros que, pour = ; :::; p : X b j X < ; a j < ; X j= (Z j b j)! ( ) p:s: 9
= X j= (Z j X (Zj j) + j= b j) = X ((Zj j= X (Zj j)( j j= j) + ( j b j) + b j)) X j= ( j b j) : Les Zj j costtuet u écatllo..d. de R P. Doc : j= (Z j j)! ( ) p:s: O a : j b j! 0 p:s: ; doc : P j= ( j b j )! 0 p:s: Notos V = (Z )( b ), W+ = P j= V j, W = 0. O a : W + = ( )W + V (W +) = ( + )(W ) + ( Sot T la trbu du passé au temps. ) V W + (V ) (W ) : E V j T = E Z j T ( b ) = E Z ( b ) = 0: al-0035896, verso - 4 Feb 009 E (W +) j T = ( + )(W ) + E (V ) j T (W ) Or : E (V) j T = E (Z ) j T ( b ) = E (R ) ( b ). Doc : P E (V ) j T = E (R ) P ( b ) < p:s: E applquat le lemme 5, o obtet : 9T 0 : (W )! T p:s: ; X p:s: (W ) < p:s: =) W! 0 p:s: P Par coséquet : j= (Z j b j )! ( ) p:s: O e dédut que : M! M p:s: ) O utlse das la sute le lemme suvat. Lemme 6 Sot, pour tout : w + = ( a )w + a u ; w = 0; u > 0; 0 < a <. S P a = et P a u <, alors P a w < et w! 0. O remarque que, pour a =, w + = P j= u j. Démostrato Pour >, w > 0. D après le lemme 5, l exste w 0 : w! w et P P a w < ; comme a =, o a w = 0. 3) Motros que, pour = ; :::; p, P = P j= (Z j b j ) ( ) < p:s: O utlse la décomposto de P j= (Z j b j ) vue das la premère parte de la démostrato. Sot 4 le momet cetré d ordre 4 de R. O a : 3 E 4( X (Zj j) ( ) ) 5 = X V ar (Zj j) = 4 ( ) 4 ; j= X E 4 j= 3 X (Zj j) ( ) 5 < : j= 0
D après le téorème, o a : P = E P j= ( j b j ) < : P E ( b ) <. O dédut du lemme 6 que : X E (Z )( O dédut du lemme 6 que : X E 4 = b ) X (Zj j= X (E (Z ) ) E ( (E (R ) ) j)( j X E ( 3 b j) 5 < p:s: b ) b ) < : al-0035896, verso - 4 Feb 009 O dédut des tros coclusos précédetes que : 3 X E 4 X (Zj b = j) ( ) 5 < j= X X (Zj b j) ( ) < p:s: = j= Par coséquet, presque sûremet, P = M Refereces X = km Mk = X = M < et M (M M )M < : [] Agular-Ruz, J.S. (006), Recet advaces data stream mg, 38 emes Jourées de Statstque de la SFDS (Clamart). [] Bezécr, J.P. (969), Approxmato stocastque das ue algèbre ormée o commutatve, Bull. Soc. Mat. Frace 97, 5-4. [3] Bouamae, A. (996), Métodes d approxmato stocastque e aalyse des doées, tèse de doctorat d Etat ès Sceces Applquées (Uversté Moammed V, EMI, Rabat). [4] Bouamae, A., Moez, J.M. (997), Covergece d ue classe de processus d approxmato stocastque de vecteurs propres, Pub. Ist. Stat. Uv. Pars XXXXI, fasc. -, 97-7. [5] Bouamae, A., Moez, J.M. (998), Approxmato stocastque de vecteurs et valeurs propres, Pub. Ist. Stat. Uv. Pars XXXXII, fasc. -3, 5-38. [6] D Aubgy, G. (00), Data mg et statstque, dscusso et commetares, Joural de la Socété Fraçase de Statstque 4,, 37-5. [7] Krasula, T.P. (970), Metod of stocastc approxmato te determato of te largest egevalue of te matematcal expectato of radom matrces, Automato ad Remote Cotrol, 5-.
[8] Lebart, L. (974), O te Bezécr s metod for computg egevectors by stocastc approxmato (te case of bary data), Proceedgs Computatoal Statstcs, Pysca Verlag, Vee, 0-. [9] MacGregor, J.F. (997), Usg o-le process data to mprove qualty : calleges for statstcas, Iteratoal Statstcal Revew 65, 3, 309-33. [0] Moez, J.M. (994), Covergece d u processus d approxmato stocastque e aalyse factorelle, Pub. Ist. Stat. Uv. Pars XXXVIII, fasc., 37-56. [] Moez, J.M. (006), Approxmato stocastque e aalyse factorelle multple, Pub. Ist. Stat. Uv. Pars L, fasc. 3, 7-45. [] Robbs, H., Moro, S. (95), A stocastc approxmato metod, A. Mat. Stat., 400-407. [3] Robbs, H., Segmud, D. (97), A covergece teorem for oegatve almost supermartgales ad some applcatos, Optmzg Metods Statstcs, Rustag, J.S. (ed.), Academc Press, New York, 33-57. al-0035896, verso - 4 Feb 009 [4] Scmetterer, L. (969), Multdmesoal stocastc approxmato, Multvarate Aalyss II, Proc. d It. Symp., Dayto, Oo, Academc Press, 443-460. [5] Veter, J.H. (966), O Dvoretzky stocastc approxmato teorems, A. Mat. Stat. 37, 534-544. Jea-Mare Moez Uversté Her Pocaré Isttut Ele Carta - Laboratore de Matématques BP 39 - F 54506 - Vadoeuvre lès Nacy Cedex moez@ec.u-acy.fr