M1-Mathématiques Appliquées 2ème partie: Modèle linéaire. Christine Keribin

Transcription

1 1/50 M1-Mathématiques Appliquées 2ème partie: Modèle linéaire 1 Laboratoire de Mathématiques Université Paris-Sud

2 2/50 Bibliographie I V. Rivoirard et G. Stoltz. en action. Vuibert, Paris, J.-M. Azais et J.-M. Bardet. Le modèle linéaire par l exemple. Dunod, Paris, J. Pagès. générales pour utilisateurs. Presses Universitaires de Rennes, Rennes, P.-A. Cornillon et E. Matzner-Løber. Régression Théorie et applications. Springer, Paris, 2007.

3 3/50 Introduction Expliquer ou prédire une variable aléatoire réponse Y en fonction d une liste de variables ou prédicteurs X = (X 1,..., X p ) observées sur des individus Approcher Y par une fonction h(.) de la variable X. Théorème La fonction qui minimise le risque quadratique h R(h) = IE[(Y h(x )) 2 ] = (y h(x)) 2 dp(x, y). est m(x ) = E(Y X ), l espérance de Y conditionnellement à X x, m(x) = E(Y X = x). Elle est appelée fonction de régression.

4 4/50 Fonction de régression PB : on ne sait pas la calculer dans le cas général (exception : cas gaussien) poser des de modélisation. On suppose le bruit additif Y X =x = m(x) + ε où ε est centré IE(ε X = x) = 0 de variance finie indépendante de x. la linéarité de la fonction de régression Si X est déterministe, on travaille également à X = x fixé... et les développements sont identiques.

5 5/50 Régression : Sir Galton ( )

6 6/50 Régression linéaire à partir de n observations (x 1, Y 1 ),..., (x n, Y n ) 1. Modèle à bruit additif posant une relation de linéarité de l espérance E(Y i X i = x i ) en un paramètre θ : Y i = x i1 θ x ip θ p + ε i = x i θ + ε i, 2. Les résidus sont centrés : E(ε i ) = La variance de l erreur est constante : Var(ε i ) = σ Les résidus sont décorrélés : cov(ε i, ε j ) = 0 pour i j. 5. Eventuellement : ε i est gaussien Rappel : tout est conditionnel à X i = x i, même si on ne le rappelle pas.

7 7/50 Modèle linéaire gaussien Matriciellement : Y = X θ + ε Y n 1 = X n p θ p 1 + ε n 1 ; IE(ε n 1 ) = 0; Var(ε n 1 ) = I n, X est la matrice du plan d expérience, concaténation des n vecteurs lignes x i ou des p variables colonnes X j = (x 1j,..., x nj ). Remarque : En général, i, x i1 = 1, X 1 est l intercept. Modèle linéaire gaussien Y = m + ε; ε N (0, Σ); (Σ = σ 2 I n ) où m V, sous espace vectoriel de IR n de dimension p.

8 8/50 Régression multiple Toutes les variables sont quantitatives. Un cas particulier : régression polynômiale X = 1 t 1 t p t n tn p 1.

9 9/50 ANOVA1 : analyse de la variance à un facteur 1 variable explicative qualitative à I niveaux. Y ik : observation du k-ème individu du groupe i. Y ik = µ + α i + ε ik, i = 1,..., I ; k = 1,..., n i ; n = vecteur colonne des observations Y = (Y 11,..., Y 1n1,..., Y I 1,..., Y InI ), paramètre θ = (µ, α 1,..., α I ) matrice du plan d expérience X = 1I n1. 1I ni 1I n1... 1I ni où 1I ni étant un vecteur colonne de 1 de longueur n i. I i=1 n i

10 10/50 Définition : deux paramètres différents définissent deux lois différentes Théorème (CNS d identifiabilité) La paramétrisation IE(Y ) = X θ est identifiable si et seulement si l une des propriétés équivalentes suivantes est vérifiée : les colonnes de X sont indépendantes, X est de rang plein, X est injective, Ker(X ) = {0}. On suppose dans la suite que le modèle est identifiable ou régulier.

11 11/50 Estimateur des Moindres Carrés () Recherche un estimateur de θ sous forme d un minimiseur de la somme des carrés résiduels SCR(θ) = Y X θ 2 : On a : θ = (X X ) 1 X Y θ = Arg min θ Θ Y X θ 2. Proposition Ŷ = X θ = H X Y est la projection orthogonale de Y sur Im(X ) : H X = X (X X ) 1 X H X : Hat matrix Ŷ : valeurs ajustées ε = Y Ŷ : résidus

12 12/50 Exemple : régression linéaire (simple) Vectoriellement, Y = α1i n + βx 2 + ε. Notons moyenne : Y = 1 n n i=1 Y i variance empirique : v(y ) = 1 n n i=1 (Y i Y ) 2 covariance empirique : c(y 1, Y 2 ) = 1 n n i=1 (Y 1,iY 2,i ) Y 1 Y 2 On a : β = c(y, X 2) v(x 2 ) = γ(y, X 2) v(x2 )v(y ) ; α = Y X 2 β. La droite de régression passe par le point moyen (X 2, Y ).

13 13/50 ne nécessitant pas l hyp. gaussienne Proposition L θ de θ est sans biais : IE( θ) = θ de variance Var( θ) = σ 2 (X X ) 1. De plus, θ vérifie la propriété de Gauss-Markov : Théorème (Gauss-Markov) Parmi les linéaires et sans biais de θ, l O θ est de variance minimum. Estimateurs de la variance : ŝ 2 = SCR( θ)/n est biaisé à distance finie, et asymptotiquement sans biais σ 2 = SCR( θ)/(n p) est sans biais

14 14/50 Estimateur du Maximum de Vraisemblance () Si la loi de ε est connue (gaussienne), la vraisemblance de l échantillon est ( L n (θ, σ 2 1 ; Y ) = ( 2πσ 2 ) exp 1 ) Y X n θ 2. 2σ2 L β = ( θ, ŝ 2 ) est D où β = Arg max log L n(β; Y ). β IR p IR + θ = (X X ) 1 X Y.... identique à l. L de σ 2 est ŝ 2 = 1 2 Y X θ n

15 15/50 Loi de l gaussien Théorème L β = ( θ, ŝ 2 ) du modèle linéaire gaussien Y = X θ + ε, ε N p (0, σ 2 I n ), θ IR p, σ IR +, supposé régulier, suit la loi suivante : θ N ( θ, σ 2 (X X ) 1) ; De plus, θ et σ 2 sont indépendants n σ 2 ŝ2 = n p σ 2 σ 2 χ 2 (n p). Csq : Soit A une matrice q p de rang q et Z = [A(X X ) 1 A ] 1/2 A( θ θ) alors, Z/σ N (0, Id q ) et Z Z/σ 2 χ(q)

16 16/50 Lois dérivées Théorème Soit L de dimension 1 p définissant une forme linéaire Lθ du paramètre θ d un modèle linéaire gaussien identifiable. Si σ 2 est estimée par l estimateur sans biais σ 2, alors : L θ Lθ σ 2 L(X X ) 1 L T (n p). (1) T (n p) est la loi à n p degrés de liberté. Definition Soit N N (0, 1), et V χ 2 (t), indépendante de N. Alors, la variable Z suivante suit une loi à t degrés de liberté : Z = N T (t). V /t

17 17/50 Lois dérivées Théorème Soit A de dimension q p de rang r q p. Alors W W = 1 r σ 2 (A( θ θ)) [A(X X ) 1 A ] 1 A( θ θ) F(r, n p). suit une loi à r et n p degrés de liberté. Definition Soient D 1 χ 2 (t 1 ) et D 2 χ 2 (t 2 ) indépendantes. Alors F suit la loi F(t 1, t 2 ). F = D 1/t 1 D 2 /t 2 F(t 1, t 2 ).