Fouille de données fonctionnelles

Transcription

1 Fouille de données foncionnelles Gilber Sapora Chaire de Saisique Appliquée Conservaoire Naional des Ars e Méiers 292 Rue Sain Marin Paris Cedex 3 gilber.sapora@cnam.fr 1

2 Premiers ravaux: J. J. C. Deville 1974 P. P. Besse 1979 G. G. Sapora 1981 Ensuie... INRODUCION Aguilera, Valderrama 1993, 1995, 1998 Ramsay, Ramsay, Silverman 1995, 1997 VanVan der Heijden 1997 Preda,, Cohen 1999 Cardo, Ferray, Vieu , 25 2

3 Données foncionnelles NUMERIQUES X QUALIAIVES i n sae 1 sae 2 i n i 2 x (n) x (2) x (1) i 2 i 1 sae 3 sae 4 i 1 «even hisory daa» 3

4 Exemples: PROCESSUS NUMERIQUE aille d une famille années après le mariage Valeur boursiere Pour chaque variable numérique: x (1). =.. x ( n ) Infinié non dénombrable de variables si [;] x 4

5 Exemples: PROCESSUS QUALIAIF Phases du sommeil Sau social Sau marimonial A chaque insan variable nominale x à m caégories. 5

6 I ACP FONCIONNELLE X cenré X 2 ( ) L Ω foncion foncion de covariance: Opéraeur de covariance C f s ( ) ( ) ( ) C, s f sds Combinaison linéaire Cs (, ) = EXX ( ) ξ = s f () X d 6

7 Opéraeurs linéaires associés à X U U * ( ) ( Ω) L L 2 2 () () f X f d 2 2 L Ω L Y ( ) ( ) E YX ( ) U * U = C U U * =W L Ω L Ω ( ) ( ) ( ) 2 2 Y X E X Y d 7

8 I.1 Processus quasi deerminise X i =ξ f ( ) ( ) i Même forme à une consane près ξ i relaive à l individu i

9 ou processus peu êre approché par une somme de processus quasi déerminises. ξ i # ξ (k) =coordonnée sur l axe k k k k () X f 9

10 Choix de la base f k () Foncions orhogonales de L 2 () k 1 () l sik = l f f () d = sik l Fourier par exemple: 2 2 () cos k π f k ou sin k π k = ξ () MAIS les ξ k son corrélés. k = X f d 1

11 I.2 Décomposiion de Karhunen Loeve Décomposiion unique k k k= 1 f k = ensemble orhonormé de foncions de L 2 () ξ k = ensemble orhogonal (non-corr corrélaion) de variables de L 2 (Ω) f k foncions propres de C λ f () C(, s) f ( s) ds V ( ξ k) = λk = k k k ξ k foncions propres de W () X = ξ f ξ = k k () X f d 11

12 Preuve 1. Muliplier des deux côés par f k () e inégrer sur () Xf() = ξ f f() k j j k j= 1 () Xf() d= ξ f() f d= k j k j k j= 1 ξ 12

13 2 Muliplier des deux côés par ξ k e prendre l espérance k j k j j= 1 () X ξ = ξ ξ f 2 () () E( X ξ ) = E( ξ ξ f ) = E( ξ ) f k j k j k k j= 1 E( X X f ( sds ) ) = EXX ( ) f ( sds ) s k s k () = Cs (, ) f( sds ) = λ f k k k 13

14 Wξ = X E( X ξ) d = ( ) () s XE X X f sds d = ( ) ( ) ( ) X E X X f s ds d s = X λf d = () λξ 14

15 I.3 décomposiion de Karhunen Loeve e ACP f k faceurs principaux ξ k composanes principales (coordonnées sur l axe k) KARHUNEN LOEVE SVD (SINGULAR VALUE DECOMPOSIION) 15

16 ξ 2 ω 1 X X X X X X ω 2 ξ 1 X ω n Coordonnées indépendanes de ; faceurs foncions de 16

17 Comme en ACP Inerpréaion: ( ; ) r X fk ( ) () Exemple: aille des familles ξ = k λ k σ r(x, ξ 1 ) r(x, ξ 2 ) size effec speed 17

18 LA PRODUCION INDUSRIELLE EN FRANCE DE 198 A hèse G.Cohen,

19 LES SIX PREMIÈRES COMPOSANES EMPORELLES E LEURS PRÉVISIONS Composanes emporelles N 1, 3 5, 3, 2 5, 2, 1 5, 1, 5, Composanes emporelles N 2, 3, 2, 1, -, , 2 -, 3 Composanes emporelles N 3,4,3,2,1, -,1 -,

20 Composanes emporelles N 4, 4, 3, 2, 1, -, , 2 -, 3 -, 4 Composanes emporelles N 5, 4, 3, 2, 1, -, , 2 Composanes emporelles N 6, 5, 4, 3, 2, 1, -,1 -,2 -,3 -,

21 Remarques: Si le processus X es périodique en moyenne quadraique de période sous muliple de : C(,s+/k)=C(,s), alors la décomposiion de Karhunen-Loeve es la décomposiion de Fourier avec valeurs propres doubles associées à sin(2kπ/) e cos(2kπ/) L ordre des valeurs propres n es pas celui des fréquences 21

22 Résoudre: I.4 Résoluion R numérique Soluions analyiques pour quelques processus bien connus (eg mouvemen e pon brownien moion) Pur n rajecoires: W marice n n (mulidimensional scaling); w ij se calcule facilemen pour des processus de saus soluions exaces () () ij i j Difficile si n es grand 1 Cs (, ) f( sds ) = λf ( ) ou Wξ= λξ n w = x x d n λ i = 1 i i 11 n () ξ () f = X 22

23 Discréisaion, 1,.., p Inégraion numérique de p = (, ) ( ) = λf() C f a j j j (, ) ( ) = λ ( ) C s f sds f Marice diagonale de poids méhode méhode des recangles: méhode méhode des rapèzes: Simpson CAf = λ f a = j j+ 1 j ( ) a a a j+ 1 j 1 p p 1 = j=... p= 23

24 Projecion on a subspace Ep X PX ; C PCP Convergence is proved if E p L 2 Sep funcions a a s [, ] Y = X if a b ( ) [ ; ] = X f s ds if a b ( ) VX ( ); VY f () VY ( ) Cs ( ) f ( sds ) =λf ( ) = a 1 b a b b max, a 24

25 ( ) ( ) = ( ) V X V Y E X M ds b s ab a Δ 2 C C ε + 2M εwih C = supcf f 2 M > E( X ) λ λ ε ε Δ 2 j 1 < + 2M j Δ 2 2 < + δ 2 δ where ε + 2 M ε < 2 2 f j f 1 ε 2 M j ε 25

26 he bes discreizaion problem: If X brownian noion: N(; σ 2 ()) Bes Δ: : fixed lengh inervals = l = i for ε i 1 p p 1 ( ) 2 2 i+ 1 i l = λ λ Δ p( 3p 1) i= 6 Min ε i i Generalized o process wih independen and saionary incremens 6 26

27 II. L analyse harmonique (Deville, Sapora 1979) qualiaive Évoluion d une variable qualiaive, rajecoires d un processus qualiaif i n sae 1 sae 2 i 2 sae 3 sae 4 i 1 27

28 Cas général X [; ] Principe barycenrique en emps coninu: 1 z = α X a d 1 x x i = α 1 x () z a i d a α N X z ( ) = 1 n a = a,..., a 1 ' 1 1 N N sa sds = λ a 1 Ad z = λ z équaion inégrale équaion m aricielle 28

29 «Mulidimensional scaling» avec un indice de présence rareé j ' ( ) 1 ' A = X X X X = i A marice de similarié Ad marice inégrée, posiive définie ~ produis scalaires représenaion euclidienne 1/n x 29

30 Résoluion numérique Exace Rassemblemen de oues les daes de changemen d éa AFC Approchée Décomposer en p périodes Approximaion par des foncions consanes par inervalles 3

31 Exemple Exemple (Deville 82): French women married more han 3 imes n=423 m=4 single [15; 45] married divorced widowed

32 Variables Variables supplémenaires NO CHILD workers Firs marriage wihou child clerks > or 2 children upper classes 3 o 5 children Las marriage wih child 32

33 Premier Premier faceur 3 divorce 2 1 maries celibaaires (single) -3-4 veuve (widow) 33

34 Deuxième faceur single married divorced widow 34

35 roisieme faceur maries celibaaires veuve divorce 35

36 III Classificaion (non supervisée) k-means, Ward ec. applicables sans difficulé à des courbes dès que l on a une disance. Processus numériques 2 d (; i j) = x () () i xj d ( ) 2 D aures disances son possibles 36

37 Espaces de Sobolev Conséquences inaendues d un lissage ou d une inerpolaion lissée quand il manque des observaions (Besse, 1979): uiliser des splines de lissage revien à changer de mérique e donc d espace car c es aussi faire des hypohèses de régularié (dérivabilié..) sur le processus. Inerpoler revien à faire une ransformaion des données donc impliciemen des produis scalaires; L analyse n es pas meilleure, elle es différene. 37

38 Développemens e perspecives Uiliser les composanes de l ACP foncionnelle pour faire du supervisé Mais moins bon que PLS Plusieurs foncions : foncionnel vecoriel exension des méhodes 3-way 3 way 38

39 Références COHEN G., 1999 Conribuion à la prévision des processus aléaoires par l'analyse harmonique, Ph.D. CNAM Dabo-Niang S., Ferray F. (28): Funcional and Operaorial Saisics, Springer- Verlag DEVILLE J.C., 1974, «Méhodes saisiques e numériques de l analyse harmonique», Annales de l INSEE 15, 3-11 DEVILLE J.C., SAPORA G., 1979, «Analyse harmonique qualiaive», Daa Analysis and Informaics, E. Diday eds., Norh-Holland, DEVILLE J.C., SAPORA G., 1983, «Correspondence analysis, wih an exension owards nominal ime-series», Journal of Economerics 22, HEIJDEN PGM van der.,1987, Correspondence analysis of longiudinal caegorical daa, DSWO Press, Leiden PREDA C., 1999, Analyse facorielle d un processus, Ph.D. Universié Lille 1 RAMSAY, J.O. and SILVERMAN, B.W.,25: Funcional Daa Analysis. 2 nd ed. Springer RAMSAY, J.O. and SILVERMAN, B.W., 22: Applied Funcional Daa Analysis. Mehods and Case Sudies. Springer SAPORA G., 1985, «Daa analysis for numerical and caegorical individual imeseries», Applied Sochasic Models and Daa Analysis vol.1., n 2,