Modélisation stochastique et analyse de données

Transcription

1 Modélisation stochastique et analyse de données Formation FIL - Année 1 Régression par la méthode des moindres carrés 2011/2012 Tony Bourdier Modélisation stochastique et analyse de données 1 / 25

2 Plan 1 Comprendre le problème et savoir modéliser 2 Savoir résoudre et appliquer Modélisation stochastique et analyse de données 2 / 25

3 Le principe de la régression variables explicatives = facteurs variable expliquée = réponse v 1 v 2 f? b v n Modélisation stochastique et analyse de données 3 / 25

4 Le principe de la régression Le principe de la régression variables explicatives = facteurs variable expliquée = réponse v 1 v 2 f? b v n Variables explicatives : données que l on peut toujours mesurer / obtenir Modélisation stochastique et analyse de données 4 / 5 âge, taille, masse, temps, pression, abscisse, Modélisation stochastique et analyse de données 4 / 25

5 Le principe de la régression Le principe de la régression variables explicatives = facteurs variable expliquée = réponse v 1 v 2 f? b v n Variable expliquée : donnée que l on souhaite calculer à partir des variables explicatives parce que Modélisation stochastique et analyse de données 4 / 5 l on ne peut pas toujours ou difficilement la mesurer p = 2πr rayon r facilement mesurable périmètre plus difficilement! Modélisation stochastique et analyse de données 4 / 25

6 Le principe de la régression Le principe de la régression variables explicatives = facteurs variable expliquée = réponse v 1 v 2 f? b v n Variable expliquée : donnée que l on souhaite calculer à partir des variables explicatives parce que Modélisation stochastique et analyse de données 4 / 5 l on ne peut en obtenir que des mesures imprécises / «bruitées» On a obtenu des données par mesure «physique» entachées de «bruit» on souhaite «corriger» les données On parle d «ajustement» Modélisation stochastique et analyse de données 4 / 25

7 Le principe de la régression Le principe de la régression variables explicatives = facteurs variable expliquée = réponse v 1 v 2 f? b v n Variable expliquée : donnée que l on souhaite calculer à partir des variables explicatives parce que Modélisation stochastique et analyse de données 4 / 5 l on peut la mesurer dans certaines conditions et l on souhaiterait pouvoir l estimer dans d autres conditions Une donnée évoluant au cours du temps t on peut la mesurer si t current_time (à moins d être devin) on veut connaître sa valeur pour t > current_time On parle de «prédiction» Modélisation stochastique et analyse de données 4 / 25

8 Le principe de la régression Le principe de la régression variables explicatives = facteurs variable expliquée = réponse v 1 v 2 f? b v n Variable expliquée : donnée que l on souhaite calculer à partir des variables explicatives parce que Modélisation stochastique et analyse de données 4 / 5 l on veut établir sa dépendance avec les variables explicatives Production, travail et capital : Cobb et Douglas affirment que la production P dépend du capital K (valeur des usines, ) et du travail fourni T selon la relation suivante : P = f (K, T ) = a 1 K a2 T a3 Modélisation stochastique et analyse de données 4 / 25

9 Applications Compression de données Modélisation stochastique et analyse de données 5 / 25

10 Applications Compression de données Données manquantes dans les BDD Modélisation stochastique et analyse de données 5 / 25

11 Applications Compression de données Données manquantes dans les BDD Estimation des préférences des utilisateurs Modélisation stochastique et analyse de données 5 / 25

12 Applications Compression de données Données manquantes dans les BDD Estimation des préférences des utilisateurs Détection d intrusion / de virus Modélisation stochastique et analyse de données 5 / 25

13 Applications c Bruno Levy (2007) Compression de données Données manquantes dans les BDD Estimation des préférences des utilisateurs Détection d intrusion / de virus Plaquage de texture Modélisation stochastique et analyse de données 5 / 25

14 Le principe de la régression variables explicatives = facteurs variable expliquée = réponse v 1 v 2 f? b v n Modélisation stochastique et analyse de données 6 / 25

15 Le principe de la régression variables mesurées variables explicatives = facteurs modèle variable expliquée = réponse v 1 v 2 m 1 m k f? b v n Modélisation stochastique et analyse de données 7 / 25

16 Modèle Modèle = fonction caractérisée par : des variables explicatives des paramètres faisant apparaître une variable d erreur y = f (x) = 3 i=1 α ix i + ε = α 1 x + α 2 x 2 + α 3 x } {{ } 3 +ε ŷ p = f (k, t) = mk } {{ α t β } +ε ˆp q = f (t) = λe } {{ t/τ } +ε y = f (t) = acos (2πt/T ) +ε } {{ } ŷ ˆq Modélisation stochastique et analyse de données 8 / 25

17 Modèle Modèle = fonction caractérisée par : des variables explicatives des paramètres faisant apparaître une variable d erreur y = f (x) = 3 i=1 α ix i + ε = α 1 x + α 2 x 2 + α 3 x } {{ } 3 +ε ŷ p = f (k, t) = mk } {{ α t β } +ε ˆp q = f (t) = λe } {{ t/τ } +ε y = f (t) = acos (2πt/T ) +ε } {{ } ŷ ˆq Pour chaque modèle, identifiez les variables mesurées, explicatives et la variable expliquée Modélisation stochastique et analyse de données 8 / 25

18 Régression linéaire variables mesurées variables explicatives paramètres erreur variable expliquée v 1 a 1? m 1 m k v 2? a 2 v n? a n +ε b Modélisation stochastique et analyse de données 9 / 25

19 Modèle linéaire Modèle linéaire = fonction caractérisée par : des variables explicatives des paramètres faisant apparaître une variable d erreur linéaire en ses paramètres y = f (x) = 3 i=0 α ix i + ε = α 0 + α 1 x + α 2 x } {{ } 2 +ε ( t ( t y = f (t) = a + bcos + csin +ε } 2) {{ 2) } ŷ ŷ Modélisation stochastique et analyse de données 10 / 25

20 Modèle linéaire Modèle linéaire = fonction caractérisée par : des variables explicatives des paramètres faisant apparaître une variable d erreur linéaire en ses paramètres y = f (x) = 3 i=0 α ix i + ε = α 0 + α 1 x + α 2 x } {{ } 2 +ε ( t ( t y = f (t) = a + bcos + csin +ε } 2) {{ 2) } ŷ Pour chaque modèle, identifiez les variables mesurées, explicatives et la variable expliquée ŷ Modélisation stochastique et analyse de données 10 / 25

21 Régression linéaire ( t Modèle : y = f (t) = a + bcos 2) variable mesurée variables explicatives ( t + csin +ε 2) } {{ } ŷ paramètres variable expliquée 1 a? t cos( t 2 ) b? +ε y sin( t 2 ) c? Modélisation stochastique et analyse de données 11 / 25

22 Régression Objectif : On souhaite établir une relation entre une variable (dite expliquée) et d autres variables (dites explicatives) Le principe : 1 On propose une forme de relation (le modèle) qui comporte des inconnues (les paramètres) 2 On cherche les valeurs optimales 1 des paramètres : On prend un échantillon (des variables explicatives et expliquée) On estime les paramètres à partir de cet échantillon 2 1 selon un certain critère 2 la méthode d estimation dépend du critère d optimalité choisi Modélisation stochastique et analyse de données 12 / 25

23 Régression 1 On propose une forme de relation (le modèle) qui comporte des inconnues (les paramètres) Exemple : y = f (t) = a + bcos ( t 2) + csin ( t 2) + ε 2 On prend un échantillon (des variables explicatives et expliquée) mesures calcul des calcul de la var explicatives var expliquée mesure 1 (t 1, y 1 ) 1 cos (t 1 /2) sin (t 1 /2) y 1 mesure 2 (t 2, y 2 ) 1 cos (t 2 /2) sin (t 2 /2) y 2 mesure m (t m, y m ) 1 cos (t m /2) sin (t m /2) y m Modélisation stochastique et analyse de données 13 / 25

24 Forme matricielle Dans le cas linéaire, on exprime le modèle sous forme matricielle à partir de l échantillon : ˆb { }} { mesure 1 v 1,1 v 1,2 v 1,n ε 1 b 1 mesure 2 v 2,1 v 2,2 v 2,n ε 2 b 2 mesure m } v m,1 v m,2 {{ v m,n } A a 1 a n } {{ } x A : matrice des données (variables explicatives) x : vecteur des paramètres ˆb : vecteur réponse estimé par le modèle ε : vecteur des erreurs b : vecteur réponse (variable expliquée) + ε m } {{ } ε = b m } {{ } b Modélisation stochastique et analyse de données 14 / 25

25 Forme matricielle Dans le cas linéaire, on exprime le modèle sous forme matricielle à partir de l échantillon : ˆb { }} { mesure 1 v 1,1 v 1,2 v 1,n ε 1 b 1 mesure 2 v 2,1 v 2,2 v 2,n a 1 ε 2 b 2 mesure m } v m,1 v m,2 {{ v m,n } A A : valeurs données par l échantillon x : valeurs recherchées a n } {{ } x + ˆb : valeurs déduites une fois x déterminé (ˆb = Ax) ε : valeurs déduites une fois x déterminé (ε = b ˆb) b : valeurs données par l échantillon ε m } {{ } ε = b m } {{ } b Modélisation stochastique et analyse de données 14 / 25

26 Forme matricielle Exemple : y = f (t) = a + bcos ( t 2) + csin ( t 2) + ε 1 cos (t 1 /2) sin (t 1 /2) 1 cos (t 2 /2) sin (t 2 /2) 1 cos (t m /2) sin (t m /2) a b c + ε 1 ε 2 ε m = y 1 y 2 y m Modélisation stochastique et analyse de données 15 / 25

27 Forme matricielle Donnez la forme matricielle du problème de regression défini par : le modèle : y = f (x) = a + bx + cx 2 l échantillon suivant : i (x i, y i ) 1 (3, 81) 2 (2, 425) 3 (4, 1415) 4 (5, 2205) 5 (9, 735) 6 (7, 4385) 7 (1, 19) Modélisation stochastique et analyse de données 16 / 25

28 Critères Quel critère pour estimer les paramètres? Modélisation stochastique et analyse de données 17 / 25

29 Critères Quel critère pour estimer les paramètres? Solution 1 (Maximum { de vraisemblance) : ε N (0, σ Hypothèses : 2 ) donc b N (ˆb, σ 2) k j, ε k independant de ε j Trouver les a i qui maximisent la probabilité d avoir obtenu l échantillon : max (P(b = b 1 ) P(b = b 2 ) P(b = b m )) Abus de notation : P doit être remplacé par la fonction de densité Modélisation stochastique et analyse de données 17 / 25

30 Critères Solution 2 : Trouver les a i qui minimisent l erreur pour l échantillon considéré : ( m ) min ε 2 = min b ˆb ( 2 = min b k ˆb ) 2 k k=1 Modélisation stochastique et analyse de données 18 / 25

31 Critères Solution 2 (méthode des moindres carrés) : Trouver les a i qui minimisent l erreur pour l échantillon considéré : ( m ) min ε 2 = min b ˆb ( 2 = min b k ˆb ) 2 k k=1 Modélisation stochastique et analyse de données 18 / 25

32 Critères Solution 2 (méthode des moindres carrés) : Trouver les a i qui minimisent l erreur pour l échantillon considéré : ( m ) min ε 2 = min b ˆb ( 2 = min b k ˆb ) 2 k k=1 solution 1 = solution 2!!! Modélisation stochastique et analyse de données 18 / 25

33 Solution On suppose l existence 1 de la fonction suivante : pmc : M m,n R m R n ( A, b ) ˆx tq Aˆx b 2 = min Ax b 2 x Rn ou (informatiquement) : double[] pmc (Matrix A, double[] b); //@ requires AgetRowDimension() == blength //@ ensures AgetColumnDimension() == \resultlength 1 On établira cette fonction lors de la séance suivante Modélisation stochastique et analyse de données 19 / 25

34 Si on dispose de la fonction pmc, alors on n a plus rien à faire Modélisation stochastique et analyse de données 20 / 25

35 Si on dispose de la fonction pmc, alors on n a plus rien à faire Lourdement tu te trompes Bien modéliser le problème tu dois! Modélisation stochastique et analyse de données 20 / 25

36 Si on dispose de la fonction pmc, alors on n a plus rien à faire Lourdement tu te trompes Bien modéliser le problème tu dois! Modéliser? Modélisation stochastique et analyse de données 20 / 25

37 Si on dispose de la fonction pmc, alors on n a plus rien à faire Lourdement tu te trompes Bien modéliser le problème tu dois! Modéliser? Bien identifier la matrice A et le vecteur b il faut Modélisation stochastique et analyse de données 20 / 25

38 Ben a priori si on a toutes les infos, j vois pas l problème Modélisation stochastique et analyse de données 21 / 25

39 Ben a priori si on a toutes les infos, j vois pas l problème Non nécessairement linéaire, le problème d origine est Modélisation stochastique et analyse de données 21 / 25

40 Ben a priori si on a toutes les infos, j vois pas l problème Non nécessairement linéaire, le problème d origine est S il n est pas linéaire, alors on n peut rien faire, si? Modélisation stochastique et analyse de données 21 / 25

41 Ben a priori si on a toutes les infos, j vois pas l problème Non nécessairement linéaire, le problème d origine est S il n est pas linéaire, alors on n peut rien faire, si? Changer de variable(s) pour linéariser le problème souvent tu peux Modélisation stochastique et analyse de données 21 / 25

42 OK, et c est tout? Modélisation stochastique et analyse de données 22 / 25

43 OK, et c est tout? Non De dimension supérieure à 1 la variable expliquée peut être Modélisation stochastique et analyse de données 22 / 25

44 OK, et c est tout? Non De dimension supérieure à 1 la variable expliquée peut être Qu est-ce qu on fait dans ce cas là? Modélisation stochastique et analyse de données 22 / 25

45 OK, et c est tout? Non De dimension supérieure à 1 la variable expliquée peut être Qu est-ce qu on fait dans ce cas là? Compositionnellement ton problème tu définiras Modélisation stochastique et analyse de données 22 / 25

46 Exemples Formulez chacun des problèmes suivants, lorsque cela est possible, sous la forme d un problème de moindre carrés : c-à-d identifier les matrices A et b et explicitez le résultat du problème (en invoquant la fonction pmc) Modélisation stochastique et analyse de données 23 / 25

47 Exemples # Modèle Mesures 1 z = a + bx + cy + ε (x i, y i, z i ) i=1,,m 2 z = a + bx + cy + dx 2 + exy + f y 2 + ε (x i, y i, z i ) i=1,,m 3 p = mk α t β + ε (p i, k i, t i ) i=1,,m 4 z = λe λt + ε (z i, t i ) i=1,,m 5 y ( = acos ) (2πt/T ( ) + ε ) ( ) (y i, t i ) i=1,,m x a + rcos(θ) ε1 6 = + (x y b + rsin(θ) ε i, y i, θ i ) i=1,,m 2 7 v = 2 at 2 + ε (v i, t i ) i=1,,m 2 8 v = 1 + at 2 + ε (v i, t i ) i=1,,m ( ) ( ) ( ) x a + bt ε1 9 = y b + ct 2 + (x ε i, y i, t i ) i=1,,m ( ) ( ) ( 2 ) x a + bt ε1 10 = y ce bt + (x ε i, y i, t i ) i=1,,m ( ) ( ) ( 2 ) x a + bt ε1 11 = y be ct + (x i, y i, t i ) i=1,,m ε 2 Modélisation stochastique et analyse de données 24 / 25

48 Une question? Un doute? Une incertitude? Modélisation stochastique et analyse de données 25 / 25