R esum e du Cours d Econom etrie Yves Till e 16 d ecembre 2008

Transcription

1 Résumé du Cours d Économétrie Yves Tillé 16 décembre 2008

2 Avertissement Ce document n est pas un compte rendu exhaustif du cours d Économétrie, mais un résumé Il reprend les principaux développements, mais il est complété au cours par de nombreux graphiques, commentaires, et approfondissements Nous remercions Jérôme Taillard pour la préparation de plusieurs exercices, Guido Pult pour nous avoir donné plusieurs exercices et Ines Pasini pour son aide à la dactylographie Les étudiants sont invités à consulter les ouvrages de références suivants cités dans la bibliographie : Judge et al (1985), Johnston (1988), Theil (1979), Maddala (1988), Gourieroux and Monfort (1989a), Gourieroux and Monfort (1989b), Greene (1990), Cohen and Pradel (1993), Bourbonnais (1993), Johnston (1997), Johnson (1999), Ruud (2000) Yves Tillé 1

3 Chapitre 1 Éléments d algèbre linéaire 11 Espace vectoriel 111 Vecteur Un élément de R n est une suite ordonnée de n éléments de R On peut disposer cette suite, appelée vecteur soit en ligne, soit en colonne Exemple 11 Le vecteur a = [3 est un vecteur colonne 0], est un vecteur ligne et le vecteur b = La transposition transforme un vecteur ligne en vecteur colonne et réciproquement Exemple 12 Si a = (3 0), la transposée de a est a = ( 3 0) 112 Multiplication par un scalaire et addition On peut multiplier un vecteur par un scalaire Soit un scalaire c R et un vecteur colonne a de R n, alors a 1 ca 1 c a = c = a n ca n Deux vecteurs lignes (ou deux vecteurs colonnes) peuvent s additionner s ils sont de même dimension a 1 1 a 1 + b 1 + b = a n b n a n + b n En utilisant la multiplication par un scalaire et l addition, on peut définir une combinaison linéaire de deux vecteurs a et b : a 1 1 c 1 a 1 + c 2 b 1 c 1 a + c 2 b = c 1 + c 2 b = a n b n c 1 a n + c 2 b n où c 1, c 2 R 2

4 113 Définition d un espace vectoriel On se réfère à la définition suivante : la définition suivante : Définition 11 Soit K un corps commutatif d élément unité noté 1 On nomme espace vectoriel sur K, un ensemble E muni d une loi de composition interne (+) conférant à E la structure de groupe commutatif ou abélien, et d une seconde loi dite externe, application de E K dans E notée ( ), aussi appelée multiplication, faisant intervenir les éléments de K, appelés scalaires Cette loi externe doit vérifier les axiomes suivants, x, y E, a, b K désignant des scalaires : 1 a (x + y) = a x + a y (distributivité) 2 (a + b) x = a x + b x (distributivité) 3 a (b x) = ab x (associativité) 4 1 x = x Si on prend K = R, on vérifie que R n doté de la loi interne + et de la loi externe est un espace vectoriel 114 Vecteurs linéairement indépendants Définition 12 Les vecteurs u 1,, u j,, u J sont dit linéairement indépendants, si implique que a 1 = a 2 = = a J = Sous-espace vectoriel a 1 u 1 + a 2 u a J u J = 0 Définition 13 Un sous-ensemble non-vide V de R n est un sous-espace vectoriel, si pour tous u, v V, 1 u + v V, 2 au V pour tout a R 116 Système générateur d un sous-espace vectoriel Définition 14 Un ensemble de p vecteurs u 1,, u p du sous-espace vectoriel V forment un système générateur de V si et seulement si 1 u 1,, u p sont tous différents de 0, 2 pour tout v V, on peut écrire v = a 1 u a p u p 117 Base d un sous-espace vectoriel Définition 15 Un ensemble de p vecteurs u 1,, u p du sous-espace vectoriel V forment une base de V si et seulement si 1 ils sont linéairement indépendants, 2 ils forment un système générateur de V Autrement dit, tout vecteur de V peut s écrire comme une combinaison linéaire de u 1,, u p 118 Base canonique de R n La base canonique de R n est , 0, 1,,

5 119 Dimension d un sous-espace vectoriel Définition 16 La dimension d un sous-espace vectoriel est le plus petit nombre de vecteurs suffisants pour l engendrer Cette dimension correspond en particulier au nombre de vecteurs constituant une base quelconque de V 12 Espace euclidien 121 Produit scalaire On définit la multiplication d un vecteur ligne a par un vecteur colonne b comme le résultat scalaire : 1 a b = (a 1 a n ) b = a i b i b n Le produit scalaire de deux vecteurs colonnes u et b de même dimension est noté < u, b > et est défini par : 1 < u, b >= u b = (u 1 u n ) b = u i b i Définition 17 Un espace euclidien est un espace vectoriel muni d un produit scalaire 122 Norme Définition 18 La norme (ou longueur) d un vecteur colonne u est vecteur de norme égale à 1 est dit normé 123 Distance entre deux vecteurs u = < u, u > Définition 19 La distance entre les vecteurs u et v de R n est définie par d(u, v) = u v = n (u i v i ) 2 Définition 110 La projection d un vecteur u sur un vecteur v est définie par 124 Vecteurs orthogonaux Définition 111 Deux vecteurs non-nuls u et v de R n sont orthogonaux si On note alors u v b n p v (u) = < u, v > v v 2 (11) < u, v >= 0 Théorème 11 (de Pythagore) Si u et v sont orthogonaux, alors u + v 2 = u 2 + v 2 4

6 125 Orthogonal d un sous-espace vectoriel Définition 112 Un vecteur u est orthogonal à un sous-espace vectoriel V si et seulement si il est orthogonal à tous les vecteurs de V, on note alors u V Définition 113 Les sous-espaces V et W sont dits orthogonaux, si tout vecteur de V est orthogonal à tout vecteur de W Définition 114 L ensemble de tous les vecteurs orthogonaux à V est appelé l orthogonal de V et est noté V Propriété 11 (V ) = V, V V = {0} 13 Application linéaire et matrices 131 Application linéaire Une application f() de R J dans R I est dite linéaire si pour tous u, v, de R J et tout a R f(u + v) = f(u) + f(v), f(au) = af(u) 132 Matrice Une matrice est un tableau de nombres Par exemple : a 11 a 1j a 1J A = a i1 a ij a ij a I1 a Ij a IJ est une matrice de I lignes et de J colonnes En statistique, on manipule souvent des matrices Par convention, les lignes représentent souvent les unités statistiques, et les colonnes des variables Comme les vecteurs, les matrices peuvent être multipliées par un scalaire On peut également additionner deux matrices à condition qu elles aient le même nombre de lignes et de colonnes Sous cette même condition, on peut aussi définir une combinaison linéaire de deux matrices 133 Produit d une matrice et d un vecteur Soient une matrice A de dimension I J et un vecteur colonne u de dimension J le produit Au est donné par J a 11 a 1j a 1J u 1 j=1 a 1ju j Au = a i1 a ij a ij a I1 a Ij a IJ u j u J = J j=1 a iju j J j=1 a Iju j Le produit d un vecteur par une matrice est la représentation d une application linéaire dans la base canonique 5

7 134 Produit matriciel Soient deux matrices A de dimension I J et B de dimension J K, alors le produit de ces deux matrices est donné par a 11 a 1j a 1J b 11 b 1k b 1K AB = a i1 a ij a ij b j1 b jk b jk = a I1 a Ij a IJ b J1 b Jk b JK c 11 c 1k c 1K c i1 c ik c ik c I1 c Ik c IK = C, où c ik = J a ij b jk C est le produit des lignes par les colonnes La matrice C est de dimension (I K) 135 Transposition j=1 Transposer une matrice revient à remplacer les lignes par les colonnes et vice versa Par exemple, si A = 1 2 ( ) 4 3 alors A = Remarque 11 Soient A, B, C de dimension respectives (I J), (J K) et (K L), alors la transposée de ABC vaut (ABC) = C B A 136 Matrices carrées, symétriques et diagonales Définition 115 Une matrice est dite carrée si elle a le même nombre de lignes et de colonnes Si un vecteur de dimension n est prémultiplié par une matrice carrée n n, le résultat est donc aussi de dimension n Une matrice carrée n n est donc une application linéaire de R n dans R n Définition 116 Une matrice est dite symétrique si elle est égale à sa transposée Une matrice symétrique est donc toujours carrée Définition 117 Une matrice est dite diagonale, si elle est carrée et que tous ses éléments extradiagonaux sont nuls Par exemple, est une matrice diagonale D =

8 Définition 118 Une matrice identité I est une matrice diagonale dont tous les éléments de la diagonale sont égaux à 1 Par exemple, est une matrice identité de dimension 3 3 I = Rang d une matrice Définition 119 Le rang d une matrice est le nombre maximum de lignes (ou de colonnes) linéairement indépendantes Propriété 12 Le rang est toujours inférieur ou égal au minimum du nombre de lignes et du nombre de colonnes de la matrice Définition 120 Si le rang de la matrice est égal au minimum du nombre de lignes et du nombre de colonnes, la matrice est dite de plein rang (ou de rang maximal) Propriété 13 Le rang d un produit de matrices est inférieur ou égal au rang de chaque matrice 138 Trace d une matrice Définition 121 La trace d une matrice carrée est la somme des éléments de sa diagonale Propriété 14 1 trace(a + B) = trace(a) + trace(b) 2 trace(ab) = trace(ba) mais trace(ab) trace(a)trace(b) 139 Matrices inversibles Définition 122 Une matrice carrée A est dite inversible, s il existe une matrice A 1 qui vérifie AA 1 = A 1 A = I Propriété 15 Si une matrice carrée est de plein rang, alors elle est inversible 1310 Inversion par parties Soit une matrice F composée de quatre sous-matrices : ( ) A B F = C D Les matrices A et D sont carrées et inversibles La technique d inversion par partie permet d obtenir l inverse de F ( ) F 1 A = 1 + A 1 BQCA 1 A 1 BQ QCA 1 Q où Q = ( D CA 1 B ) 1 Ce résultat peut être démontré aisément en réalisant le produit F 1 F 7

9 1311 Déterminant Définition 123 Le déterminant d une matrice carrée A (J J) est noté A et est défini par Si J = 1, A = A Si J > 1, J A = ( 1) i+j M ij a ij, pour tout j fixé, où M ij est le mineur de a ij Le mineur est le déterminant de la matrice (J 1) (J 1) obtenue en enlevant la colonne i et la ligne j de la matrice A Exemple 13 Soit A une matrice (2 2), ( ) a b A = c d en prenant j = 1, on a A = a d c b = ad cb On peut aussi calculer le déterminant de A en prenant j = 2 Exemple 14 Soit une matrice A de dimension (3 3), le calcul se fait en prenant j = 1 A = alors son déterminant vaut A = = ( ) 2 ( ) 9 + ( ) 4 = = 360 Propriété 16 1 A = A, 2 AB = A B, en particulier A k = A k 3 ca = c J A, (où A est de dimension J J), 1312 Quelques propriétés Propriété 17 En général, si A, B et C sont des matrices carrées de même dimension, on a 1 AB BA, 2 A + B = B + A, 3 (AB)C = A(BC), 4 AI = A = IA, où I est une matrice identité, 5 (ABC) = C B A, 6 trace(ab) = trace(ba), 7 trace(a + B) = trace(a) + trace(b), 8 deta = deta, 9 (ABC) 1 = C 1 B 1 A 1 8

10 1313 Matrices orthogonales Définition 124 Une matrice Γ est dite orthogonale si son inverse est égale à sa transposée : Γ = Γ Valeurs propres et vecteurs propres Définition 125 Soit A une matrice J J λ i est une valeur propre de A si λ i est une solution de l équation Propriété 18 A λi = 0 Une matrice carrée symétrique de dimension J J possède toujours J valeurs propres La trace d une matrice carrée est toujours égale à la somme des valeurs propres Le déterminant d une matrice carrée symétrique est toujours égal au produit de ses valeurs propres Définition 126 Le vecteur u i 0 est un vecteur propre de A associé à la valeur propre λ i si Au i = λ i u i Propriété 19 Si A est une matrice J J réelle symétrique, il existe J vecteurs propres normés et orthogonaux Théorème 12 (de diagonalisation) Soient A une matrice symétrique (J J), et u i, λ i, i = 1,, J, ses valeurs propres et vecteurs propres associés Soient la matrice orthogonale Γ dont les colonnes sont les J vecteurs propres de A, et la matrice diagonale Λ ayant sur sa diagonale principale les J valeurs propres Alors Γ AΓ = Λ, A = ΓΛΓ 1315 Formes et applications linéaires, formes quadratiques Définition 127 Soient A une matrice (I I), B une matrice (J I), a un vecteur colonne de R J et b un vecteur colonne de dimension I On appelle forme linéaire définie par le vecteur a, l application de R I dans R a b, application linéaire de R I dans R J définie par la matrice B, Bb, et forme quadratique définie par la matrice A, l expression b Ab Définition 128 Une matrice A de dimension (I I) est dite définie positive si pour tout b R I \{0} b Ab > 0, Définition 129 Une matrice A de dimension (I I) est dite semi-définie positive si pour tout b R I b Ab 0, 9

11 Propriété 110 Une condition nécessaire et suffisante pour qu une matrice soit définie positive (resp semidéfinie positive) est que toutes ses valeurs propres soient strictement positives (resp positives ou nulles) Propriété 111 Pour toute matrice D, la matrice D D est semi-définie positive Démonstration En posant a = Db la forme quadratique b D Db peut s écrire b D Db = a a = i a 2 i 0 Propriété 112 Une matrice définie positive est toujours inversible 1316 Image et noyau d une matrice Définition 130 Le noyau d une matrice A de dimension I J est le sous-espace de R J défini par Ker(A) = { u R J Au = 0 } La définition implique que tous les vecteurs de Ker(A) sont orthogonaux à tous les vecteurs lignes contenus dans la matrice A Définition 131 L image d une matrice B de dimension I J est le sous-espace de R I défini par Im(B) = { x R I il existe u R J tel que Bu = x } Le sous-espace Im(B) est l ensemble des vecteurs qui peuvent s écrire comme une combinaison linéaire des colonnes de B L image de la matrice B est souvent appelé sous-espace engendré par les colonnes de B La dimension de l image de B est égale au rang de B Remarque 12 Le sous-espace Im(B) est l orthogonal de Ker(B ) Propriété 113 Si u Im(B) et v Ker(B ), alors u et v sont orthogonaux En statistique, on utilise souvent des matrices X (individus-variables) de dimension n p avec n p Le sous-espace engendré par les colonnes de X est l image de X 14 Projection et matrice idempotente 141 Projection L opération de projection se déduit du théorème suivant : Théorème 13 Soit V un sous-espace vectoriel de R n, alors tout vecteur u R n se décompose de manière unique en une somme d un vecteur de V et d un vecteur de V 142 Projection orthogonale Définition 132 Soit V un sous-espace de R n, l application linéaire qui à un vecteur u fait correspondre un vecteur u tel que u u soit orthogonal à V est appelé projection orthogonale (u V ) 10

12 143 Projection orthogonale dans l image et le noyau d une matrice Le projecteur orthogonal dans l image d une matrice X de plein rang de dimension n p avec n p est donné par P X = X(X X) 1 X Le projecteur orthogonal dans le noyau d une matrice X de plein rang de dimension n p avec n p est donné par P X = I X(X X) 1 X = I P X Remarque 13 Si X = v est un vecteur, alors le projecteur est et la projection de u sur v P v = v(v v) 1 v = v v 2 v = vv v 2, p v (u) = P v u = ce qui correspond à la définition donnée en (110) v v 2 v u = v < v, u > v 2, 144 Matrice idempotente Définition 133 Une matrice P est dite idempotente si PP = P Une matrice de projection est idempotente Remarque 14 Les matrices P X et P X sont évidemment idempotentes, en effet P X P X = { X(X X) 1 X } { X(X X) 1 X } = X(X X) 1 X X(X X) 1 }{{} = I = X(X X) 1 X = P X X De plus P XP X = (I P X )(I P X ) = I 2P X + P X P }{{ X = I P } X = PX = P X Le projecteur orthogonal dans le noyau d une matrice X de plein rang de dimension n p est donné par P X = I X(X X) 1 X = I P X Théorème 14 Toutes les valeurs propres d une matrice idempotente valent 1 ou 0 Démonstration Un vecteur propre non-nul u d une matrice P doit satisfaire au système d équation où λ est la valeur propre associée à u En multipliant (12) par P, on obtient Pu = λu, (12) et donc, En prémultipliant par u on a }{{} PP u = Pλu, P λu = λ 2 u u λu = u λ 2 u, 11

13 on obtient donc λ = λ 2, ce qui n est vérifié que si λ vaut 0 ou 1 Comme la trace d une matrice carrée est aussi la somme de ses valeurs propres, la trace d une matrice idempotente est le nombre de valeurs propres non-nulles, ce qui donne la propriété suivante Propriété 114 La trace d une matrice idempotente est égale à son rang Remarque 15 Le rang et la trace de X(X X) 1 X sont égaux au rang de la matrice (X X) 1 Cette matrice est supposée de plein rang (sinon X X ne serait pas inversible) Le rang de (X X) 1 et donc de P X = X(X X) 1 X est donc égal au nombre de colonnes de X Le rang de P X est la dimension du sousespace sur lequel projette P X 145 Projecteurs obliques Il existe des projecteurs non-orthogonaux On parle alors de projecteurs obliques Soit Z une matrice ayant le même nombre de lignes et de colonnes que X, alors P O = X(Z X) 1 Z est un projecteur oblique Il est facile de vérifier que la matrice P O est idempotente et qu elle projette sur l image de X 146 Théorème des trois perpendiculaires Théorème 15 Soit V et W deux sous-espaces vectoriels tels que V W, alors P V P W = P W P V = P V 15 Dérivée par rapport à un vecteur 151 Gradient Soit une fonction f() de R p dans R : f(x) = f(x 1,, x j,, x p ) On suppose en outre que toutes les dérivées partielles existes On appelle gradient de f() le vecteur des dérivées partielles : grad f = f ( f x =,, f,, f ) x 1 x j x p 152 Derivation d une forme linéaire Soit a un vecteur de R p, alors a ( p x x = a ix i,, p a ix i,, p a ) ix i = (a 1,, a j,, a p ) = a x 1 x j x p 153 Derivation d une application linéaire Soit A une matrice de dimension q p, alors p j=1 a 1jx j Ax = p j=1 a ijx j p j=1 a qjx j 12

14 On a Donc, a 11 Ax x = a i1,, a q1 a 1j a ij a qj Ax x j = a 1j a ij a qj a 1p a 11 a 1i a 1p,, a ip = a j1 a ji a jp = A a q1 a qi a qp a qp 154 Dérivée d une forme quadratique Donc, et Soit A une matrice de dimension p p, alors x Ax x k x Ax = p j=1 = 2a kk x k + j k p a ij x i x j = p a ii x 2 i + a kj x j + i k a ik x i = p j=1 a 1jx j + p a i1x i p p a ij x i x j j=1 j i p a kj x j + x Ax = p x j=1 a kjx j + p a ikx i = Ax + A x p j=1 a pjx j + p a ipx i Si la matrice A est symétrique, on a x Ax = 2Ax x Exercices Exercice 11 Calculez (y Xb) (y Xb), b où y R n, b R n, et X est une matrice de dimension n p j=1 p a ik x i, Exercice 12 1 Construisez des projecteurs orthogonaux P 1,P 2,P 3, sur des sous-espaces engendrés par les colonnes des matrices x 1 1 x 1 1 X 1 =, X 2 = x i, X 3 = 1 x i 1 x n 1 x n 13

15 2 Construisez les trois projecteurs qui projettent sur l orthogonal des sous-espaces engendré par les colonnes de X 1, X 2,X 3 3 Vérifiez que ces 6 projecteurs sont des matrices idempotentes 4 Projetez le vecteur y 1 y = y i au moyen de ces 6 projecteurs y n Exercice 13 Soient les matrices x 1 1 x 1 1 A =, B = x i, C = 1 x i 1 x n 1 x n Décomposez le vecteur z = (z 1,, z n ) en fonction de ses projections sur respectivement 1 Ker(A ) et Im(A) 2 Ker(B ) et Im(B) 3 Ker(C ) et Im(C) Exercice 14 Soient les matrices , ( ) /5 3/5, 3 3/5 9/ Calculez 1 leur rang 2 leur trace ( ) 1/9 4/9 4, ( ) , 6 2 4/9 16/ Quelles sont les matrices idempotentes et orthogonales? Avec les matrices idempotentes, projetez le vecteur ( x 1 x 2 ) ou ( x1 x 2 x 3 ) selon leur dimension Exercice 15 Soient X et Z, deux matrices de plein rang de dimension n p définissant le même sous-espace vectoriel 1 Donnez l application linéaire (la matrice) permettant de passer de X à Z et réciproquement Cette matrice est définie en fonction de X etz 2 Montrez que les projecteurs orthogonaux sur les sous-espaces engendrés par les colonnes de X et Z sont égaux 14

16 Exercice 16 Soient les matrices Construisez les projecteurs sur 1 x 1 1 A =, B = 1 x i 1 1 x n Im(A) Im(B) notés respectivement P A et P B Si Im(A) Im(B) vérifier le théorème des 3 perpendiculaires 15

17 Chapitre 2 Géométrie des moindres carrés 21 Série statistique bivariée On s intéresse à deux variables x et y Ces deux variables sont mesurées sur les n unités d observation Pour chaque unité, on obtient donc deux mesures La série statistique est alors une suite de n couples des valeurs prises par les deux variables sur chaque individu : (x 1, y 1 ),, (x i, y i ),, (x n, y n ) Chacune des deux variables peut être soit quantitative, soit qualitative 211 Représentation graphique de deux variables Dans ce cas, chaque couple est composé de deux valeurs numériques Un couple de nombres (entiers ou réels) peut toujours être représenté comme un point dans un plan (x 1, y 1 ),, (x i, y i ),, (x n, y n ) Exemple 21 On mesure le poids Y et la taille X de 20 individus Tab 21 Taille et poids de 20 individus y i x i y i x i Analyse des variables Les variables x et y peuvent être analysées séparément On peut calculer tous les paramètres dont les moyennes et les variances : x = 1 x i, s 2 x = 1 (x i x) 2, n n 16

18 poids taille Fig 21 Le nuage de points ȳ = 1 n y i, s 2 y = 1 n (y i ȳ) 2 Ces paramètres sont appelés paramètres marginaux : variances marginales, moyennes marginales, écarts-types marginaux, etc 213 Covariance La covariance est définie s xy = 1 (x i x)(y i ȳ) n Remarque 21 La covariance peut prendre des valeurs positives, négatives ou nulles Quand x i = y i, pour tout i = 1, n, la covariance est égale à la variance La covariance peut également s écrire s xy = 1 n x i y i xȳ 214 Corrélation Le coefficient de corrélation est la covariance divisée par les deux écart-types marginaux r xy = s xy s x s y Le coefficient de détermination est le carré du coefficient de corrélation Remarque 22 rxy 2 = s2 xy s 2 xs 2 y Le coefficient de corrélation mesure la dépendance linéaire entre deux variables 17

19 1 r xy 1 0 r 2 xy Droite de régression La droite de régression est la droite qui ajuste au mieux un nuage de points au sens des moindres carrés On considère que la variable X est explicative et que la variable Y est dépendante L équation d une droite est y = a + bx Le coefficient a est appelé la constante, et le coefficient b la pente de la droite de régression Le principe des moindres carrés consiste à chercher la droite qui minimise M(a, b) = (y i a bx i ) 2 Le minimum s obtient en annulant les dérivées partielles par rapport à a et b M(a, b) = 2 (y i a bx i ) = 0 a M(a, b) = 2 (y i a bx i ) x i = 0 b On obtient un système de deux équations à deux inconnues, qui peuvent également s écrire ȳ = a + b x x i y i a x i b x 2 i = 0 La première équation montre que la droite passe par le point ( x, ȳ) De plus, on obtient a = ȳ b x En remplaçant a par sa valeur dans la seconde équation divisée par n, on a 1 n x i y i (ȳ b x) x b 1 x 2 i n ( ) = 1 1 x i y i xȳ b x 2 i x 2 n n = s xy bs 2 x = 0, ce qui donne La droite de régression est donc ce qui peut s écrire aussi b = s xy s 2 x a = ȳ s xy s 2 x x y = ȳ s xy s 2 x x + s xy s 2 x, x y ȳ = s xy s 2 (x x) x Remarque 23 La droite de régression de y en x n est pas la même que la droite de régression de x en y 18

20 Fig 22 La droite de régression poids taille 216 Résidus et valeurs ajustées Les valeurs ajustées sont obtenues au moyen de la droite de régression : y i = a + bx i Les valeurs ajustées sont les prédictions des y i réalisées au moyen de la variable x et de la droite de régression de y en x Remarque 24 La moyenne des valeurs ajustées est ȳ Les résidus sont les différences entre les valeurs observées et les valeurs ajustées de la variable dépendante : e i = y i y i Les résidus représentent la partie inexpliquée des y i par la droite de régression Remarque 25 La moyenne des résidus est nulle : De plus, e i = 0 x i e i = Variance de régression et variance résiduelle La variance de régression est la variance des valeurs ajustées s 2 Y = 1 n (yi ȳ) 2 Théorème 21 La variance de régression peut également s écrire s 2 Y = s 2 yr 2, où r 2 est le coefficient de détermination 19

21 Démonstration s 2 Y = 1 n (yi ȳ) 2 = 1 { ȳ + s xy n s 2 (x i x) ȳ x = s2 xy 1 s 4 (x i x) 2 x n } 2 = s2 xy s 2 x s 2 xy = s 2 y s 2 xs 2 y = s 2 yr 2 La variance résiduelle est définie par : s 2 e = 1 n e 2 i Théorème 22 La variance résiduelle peut également s écrire s 2 e = s 2 y(1 r 2 ), où r 2 est le coefficient de détermination Démonstration s 2 e = 1 n = 1 n = 1 n = 1 n e 2 i (y i yi ) 2 { y i ȳ s xy s 2 (x i x) x (y i ȳ) 2 + s2 xy s 4 x = s 2 y + s2 xy 2 s2 xy = s 2 y ( s 2 x 1 s2 xy s 2 xs 2 y s 2 x ) 1 n } 2 (x i x) 2 2 s xy s 2 x 1 n (x i x)(y i ȳ) Théorème 23 La variance marginale est la somme de la variance de régression et de la variance résiduelle, s 2 y = s 2 Y + s 2 e La démonstration découle directement des deux théorèmes précédents 20

22 22 La régression multivariée 221 Représentation matricielle des données La matrice x 11 x 1j x 1p X = x i1 x ij x ip x n1 x nj x np peut représenter des données statistiques Plus précisément, on suppose que x ij représente la valeur prise par la variable explicative j sur l unité statistique i De même, le vecteur y = (y 1 y i y n ) représente les valeurs prises par la variable dépendante sur les n unités statistiques Dans la plupart des applications, on supposera également que la première variable est la constante, c est-à-dire que x i1 = 1, i = 1,, n (Néanmoins, il est intéressant dans certains cas particulier d utiliser une régression sans constante) On supposera alors que la matrice est de la forme : 1 x 12 x 1j x 1p X = 1 x i2 x ij x ip 1 x n2 x nj x np Dans ce qui suit, on suppose toujours que la première variable est une constante Si ce n est pas le cas, nous le notifierons expressément 222 Principe des moindres carrés La régression de y en X au sens des moindres carrés consiste à chercher l ajustement qui minimise en b : Q(b) = y Xb 2 = (y Xb) (y Xb), où b = (b 1 b p ) Pour obtenir le minimum, de Q(b), on annule le vecteur des dérivées ce qui donne la valeur de b : Q(b) b = 2X (y Xb) = 0, X Xb = X y En faisant l hypothèse que X X est inversible, on peut déterminer b : 223 Valeurs ajustées et résidus b = (X X) 1 X y Le vecteur des valeurs ajustées est le vecteur des prédictions de y au moyen de X et de b, c est-à-dire y = Xb = X(X X) 1 X y }{{} P X Le vecteur des valeurs ajustées peut être interprété comme la projection de y sur le sous-espace engendré par les colonnes de la matrice X y = P X y, où P X est un projecteur (c est-à-dire une matrice idempotente) sur le sous-espace engendré par les colonnes de X P X = X(X X) 1 X 21

23 Le vecteur des résidus est la différence entre y et y e = y y = y Xb = y X(X X) 1 X y = (I X(X X) 1 X )y Le vecteur des valeurs ajustées peut également être interprété comme la projection de y dans le noyau de X (ou l orthogonal du sous-espace engendré par les colonnes de X) e = P Xy, (21) où P X est un projecteur (c est-à-dire une matrice idempotente) sur le noyau de X Propriété 21 P X = I X(X X) 1 X y = y + e, y est une combinaison linéaire des colonnes de X, y et e sont orthogonaux, e est orthogonal avec toutes les colonnes de X, c est-à-dire e X = Variance de régression et variance résiduelle Soit le vecteur de R n contenant n fois la moyenne de la variable y : La variance peut être définie simplement par : ȳ = (ȳ,, ȳ) s 2 y = 1 n (y ȳ) (y ȳ) = 1 n (y i ȳ) 2 La variance de régression est la moyenne des valeurs ajustées : s 2 Y = 1 n (y ȳ) (y ȳ) = 1 (yi ȳ) 2 n La variance résiduelle est la variance résiduelle : s 2 e = 1 n e e = 1 n (y y ) (y y ) = 1 n 225 Coefficient de détermination Le coefficient de détermination vaut R 2 = s2 Y s 2 y (y i yi ) 2 = 1 n = 1 s2 e s 2 y e 2 i Il est important de noter que le R 2 ne peut être calculé que si la régression inclut une constante Si ce n est pas le cas, le R 2 peut prendre des valeurs négatives Le racine carrée du coefficient de détermination est appelée le coefficient de corrélation multiple 23 Matrice de variance-covariance et matrice de corrélation Si la première colonne de la matrice X contient uniquement des 1, alors ont peut calculer les covariances entre les p 1 dernières variables La matrice variance-covariance, de dimension (p 1) (p 1), des variables explicatives est s 2 2 s 2j s 2p Σ = s j2 s 2 j s jp, (22) s p2 s pj s 2 p 22

24 où et s jk = 1 n (x ij x j )(x ik x k ) s 2 j = 1 n x j = 1 n x ij, (x ij x j ) 2 Si la première colonne de la matrice X est une constante, alors la matrice variance-covariance est une matrice de dimension (p 1) (p 1) correspondant aux p 1 dernières colonnes de X On peut également construire la matrice diagonale des écart-types : s S = 0 s j s p La matrice des corrélations : est obtenue par 1 r 2j r 2p R = r j2 1 r jp, r p2 r pj 1 R = S 1 ΣS 1 24 Corrélations partielles Soit deux variables y et z et le vecteur de leurs valeurs y et z sur les n unités de l échantillon La matrice idempotente P X = I X(X X) 1 X permet d obtenir le vecteur des résidus de la régression de y en X le vecteur des résidus de la régression de z en X e y X = P Xy, e z X = P Xz Le coefficient de corrélation partielle est le coefficient de corrélation entre e y X et e z X Si la première colonne de la matrice X contient une colonne de constante, alors ce coefficient s écrit e y X r yz x2,,x p = e z X y P X e y X e y Xe z X e = z z X y P X yz P X z Le coefficient de corrélation partielle mesure la corrélation entre les variables y et z auxquelles on a enlevé la partie explicable par les variables de X 23

25 25 Condition pour que la somme des résidus soit nulle La matrice X peut contenir une variable constante de manière explicite, c est-à-dire qu une des colonnes de cette matrice contient une variable constante La constante peut également être définie de manière implicite, ce qui signifie qu il existe une combinaison linéaire des colonnes de X qui permet d obtenir une colonne de uns Formellement, on suppose qu il existe un vecteur λ de R p tel que Xλ = 1 n = (1 1 1) Théorème 24 Si la matrice X contient une variable constante définie de manière explicite où implicite, alors la somme des résidus est nulle Démonstration On a e i = 1 ne Or, il existe un vecteur λ de R p tel que Xλ = 1 n On obtient donc e i = λ X e = λ X { I X(X X) 1 X } y = λ X λ X X(X X) 1 }{{} = 0 Une autre manière d aboutir à ce résultat, consiste à se remémorer que le vecteur de résidus est toujours orthogonal aux variables explicatives, c est-à-dire e X = 0 Or, s il existe un vecteur λ de R p tel que Xλ = 1 n, alors e Xλ = e 1 n = 0 λ = 0 Si la somme des résidus est nulle, la moyenne des valeurs ajustées est égale à la moyenne des valeurs observées, autrement dit 1 yi = 1 y i = ȳ n n 26 Décomposition en sommes de carrés Théorème 25 Soit une régression pour laquelle la constante est une variable explicative (éventuellement définie de manière implicite), alors la somme des carrés totale des écarts à la moyenne SC tot = (y ȳ) (y ȳ) = se décompose donc en une somme de deux termes : la somme des carrés expliquée par la régression, I X (y i ȳ) 2 SC regr = (y ȳ) (y ȳ) = y (yi ȳ) 2, 24

26 la somme des carrés des résidus SC res = e e = (y i yi ) 2 = Démonstration En notant ȳ le vecteur de R n contenant n fois la moyenne ȳ, on a Donc, y ȳ = y ȳ + e e 2 i (23) (y ȳ) (y ȳ) = (y ȳ + e) (y ȳ + e) = (y ȳ) (y ȳ) + e e + 2e (y ȳ) or e et (y ȳ) sont orthogonaux En effet e est toujours orthogonal à y et, e ȳ = ȳ n e i Or la somme des résidus est nulle quand la constante est une variable explicative Donc e (y ȳ) = 0, ce qui donne finalement (y ȳ) (y ȳ) = (y ȳ) (y ȳ) + e e 27 Régression avec les données centrées Supposons que la première colonne de la matrice X soit composée de constantes : 1 x 12 x 1j x 1p X = 1 x i2 x ij x ip 1 x n2 x nj x np Dans ce cas, la régression multiple s écrit : y i = b 1 + x i2 b 2 + x i3 b x ip b p + e i (24) On peut aussi travailler avec les données centrées En sommant sur les i et en divisant par n l équation (24), on obtient : ȳ = b 1 + x 2 b 2 + x 3 b x p b p, (25) et donc en soustrayant (25) à (24), on a finalement : Définissons maintenant y i ȳ = (x i2 x 2 )b 2 + (x i3 x 3 )b (x ip x p )b p + e i (26) 1 b : le vecteur de R p 1 composé des p 1 dernières composantes de b, b = (b 2, b 3,, b p ), 2 X : la matrice n (p 1) composée des p 1 dernières colonnes de X, x 12 x 1j x 1p X = x i2 x ij x ip, x n2 x nj x np 3 1 = (1, 1,, 1) : le vecteur colonne de n uns, 4 la matrice idempotente qui centre les valeurs : 1 1/n 1/n 1/n 1/n 1/n 1 1/n 1/n 1/n P c = I 11 n = 1/n 1/n 1 1/n 1/n, (27) 1/n 1/n 1/n 1 1/n 25

27 5 y c = P c y = y 1ȳ = y ȳ = (y 1 ȳ, y 2 ȳ,, y n ȳ) 6 X c = P c X la matrice X centrée x 12 x 2 x 1j x j x 1p x p X c = x i2 x 2 x ij x j x ip x p x n2 x 2 x nj x j x np x p La régression multiple peut maintenant s écrire : Le vecteur b est évidemment défini par y c = X c b + e ( ) X b = (X cx c ) 1 X 1 cy c = c X c X cy c n n (28) Cette présentation est intéressante à plus d un titre En effet (X cx c )/n n est autre que la matrice variancecovariance Σ donnée en (22) s 2 2 s 2j s 2p Σ = X cx c = n s j2 s 2 j s jp, s p2 s pj s 2 p et X cy c /n est le vecteur des covariances entre les variables explicatives et la variable dépendante : où pour j = 2,, n Comme, s jy = 1 n X cy c n s 2y = s jy s py (x ij x j )(y i ȳ), y c = X c b + e, la décomposition en somme de carrés vient directement : y cy c = (X c b + e) (X c b + e) = b X cx c b + e e + 2e X }{{ c b } 0 Le dernier terme s annule, car les résidus observés sont orthogonaux aux colonnes de X On peut donc à nouveau décomposer la somme des carrés totales en une somme de deux termes : SC tot = SC regr + SC res, où la somme des carrés totales SC tot = y cy c = (y i ȳ) 2, (29) 26

28 la somme des carrés expliquée par la régression, car et que donc la somme des carrés des résidus 28 Retour au cas bivarié 281 Méthode 1 SC regr = b X cx c b, (210) p j=2 b j(x 1j x j ) y 1 ȳ X c b = p j=2 b j(x ij x j ) = yi ȳ p j=2 b j(x nj x j ) yn ȳ b X cx c b = (y ȳ) (y ȳ) = SC res = e e = (yi ȳ) 2 = SC regr, e 2 i (211) Le cas particulier le plus fréquemment étudié consiste à utiliser deux variables explicatives (p = 2) : une constante et une variable x i Dans ce cas, 1 x 1 X = 1 x i 1 x n On a alors X X = ( n n x ) i n x n, i x2 i (X X) 1 = = = = = 1 n n x2 i ( n x i) 2 1 { n 2 1 n n x2 i ( 1 n n x ) } 2 i ( 1 n x2 i n x ) i n 2 s 2 x n x i n ( ) 1 ns 2 x + n x 2 n x n 2 s 2 x n x n ( ) 1 s 2 x + x 2 x, x 1 ns 2 x ( n x2 i n x i n x i n ) ( n x2 i n x i n x i n ) où De plus, s 2 x = 1 n x 2 i ( 1 n ) 2 x i ( n X y = y ) ( ) i ȳ n x = n, iy i s xy + xȳ 27

29 ce qui permet de calculer b En général, on note et b = (X X) 1 X y = 1 s 2 x On a finalement le vecteur des valeurs ajustées avec y i = 1 b 1 + x i b 2 = ( ) (s 2 x + x 2 )ȳ x(s xy + xȳ) = xȳ + (s xy + xȳ) b 1 = ȳ x s xy s 2, x b 2 = s xy s 2 x y = (y i ) = Xb, ( ȳ x s ) xy s xy s 2 + x i x s 2 x ȳ x s xy s 2 x s xy s 2 x = ȳ + (x i x) s xy s 2 x Le cas bivarié consiste donc à utiliser deux variables explicatives, la première est la constante et la seconde est la variable x 282 Méthode 2 Une autre manière de traiter le même problème est de d utiliser les données centrées Dans ce cas, on a y 1 ȳ x 1 x y c = y i ȳ, X c = x i x y n ȳ x n x On obtient Il reste a déduire b 1 de l équation ce qui donne Exercices X cx c = ns 2 x, X cy c = ns xy et b = (X c X c ) 1 X cy c = s xy s 2 x b 1 = ȳ s xy s 2 x Exercice 21 Au moyen du tableau 21, calculez 1 tous les paramètres marginaux, 2 la covariance, 3 la droite de regression de la taille par le poids, 4 les résidus et les valeurs ajustées, ȳ = b 1 + s xy s 2 x, x x, et b 2 = s xy s 2 x 5 le coefficient de la régression, la variance résiduelle et la variance de régression Exercice 22 En quoi consiste la régression, 1 quand une seule variable x est utilisée, 28

30 2 quand seule la constante est utilisée, 3 quand l échantillon est partitionné en p parties notées U 1,, U p et que x ij = 1 si l unité i est dans la partie j et 0 sinon? Représentez les deux droites de régression, pour les points 1 et 2 Exercice 23 À partir du tableau 22, calculez les coefficients de corrélation et de régression a et b de la régression de y en x Tab 22 Données pour les variables x et y t y t x t Somme Moyenne Exercice 24 Application du principe des moindres carrés : Soit Q(b) = y Xb 2, qui peut également s écrire Q(b 1,, b p ) = y i 2 p x ij b j Annulez les dérivées partielles Q = 0 b j Écrivez ensuite ce système de p équations à p inconnues sous forme matricielle j=1 Exercice 25 (extrait de Cohen and Pradel, 1993) Parmi les relations suivantes donnant y en fonction de x et peut être z, quelles sont celles qui peuvent être déterminées à l aide d un modèle linéaire? 1 y = ax + b 2 y = ax 2 + b 3 y = ax 2 + bx + c 4 y = ax 3 + b 5 y = x a z b 6 y = a exp bx 29

31 c 7 y = 1 + a exp bx 8 y = x 2 + ax + b 9 y = a log(x) y = ab x + c z 11 y = a x 1 + b 12 y = aln(x) + bz 5 + c Exercice 26 Dans un modèle où on cherche un ajustement linéaire de Y sur X et la constante, on dispose des résultats suivants portant sur 52 observations : y t = x t, x = 1063 s 2 y = s 2 x = Déterminez successivement les valeurs du coefficient de corrélation linéaire entre X et Y, le coefficient de détermination R 2 et les SC tot, SC res et SC regr de la régression Exercice 27 Soit une matrice 1 x 1 X = 1 x i 1 x n Calculez le coefficient de corrélation partiel r yz x et exprimez-le en fonction des coefficients de corrélation (non-partiels) r yz, r xy et r yx Exercice 28 A partir des données du tableau 23, calculez le vecteur des coefficients de la régression des y i en x i1 et x i2 (avec une constante) Les données sont les suivantes : Indication : travailler avec la matrice Tab 23 Données sur le travail, le capital et la production Entreprise(i) Travail(x i ) Capital(z i ) Production(y i ) variance-covariance permet de simplifier considérablement les calculs (voir calcul de b dans l expression (28)) 30

32 Exercice 29 On procède à l estimation d un modèle linéaire avec une constante Les informations disponibles sont : X X = X y = Calculez : y y = 200 (a) La taille de l échantillon (b) n x i1; n x2 i1 (c) n x i2; n x2 i2 (d) n x i1x i2 2 Calculez la droite de régression des y i en x i1 et x i2 (avec constante) 3 Calculez la matrice variance-covariance des variables explicatives 4 Calculez la matrice des corrélations des variables explicatives Exercice 210 Retour au cas bivarié Calculez les droites de régression de { y en x x en y 1 Si sur un graphique on a x en abscisse et y en ordonnée, quelle est la droite ayant la plus grande pente? (Attention la réponse dépend de la valeur du coefficient de corrélation) 2 Quelle est le point d intersection des deux droites (faites les calculs)? 31

33 Chapitre 3 Rappel sur le calcul des probabilités, les variables aléatoires, et l inférence statistique 31 Probabilités 311 Événement Une expérience est dite aléatoire si on ne peut pas prédire a priori son résultat On note ω un résultat possible de cette expérience aléatoire L ensemble de tous les résultats possibles est noté Ω Par exemple, si on jette deux pièces de monnaie, on peut obtenir les résultats Ω = {(P, P, ), (F, P ), (P, F ), (F, F )}, avec F pour face et P pour pile Un événement est une assertion logique sur une expérience aléatoire Formellement, un événement est un sous-ensemble de Ω Exemple 31 L expérience peut consister à jeter un dé, alors Ω = {1, 2, 3, 4, 5, 6}, et un événement, noté A, est obtenir un nombre pair On a alors A = {2, 4, 6} Soient deux événements A et B, si A B =, alors on dit qu ils sont mutuellement exclusifs Exemple 32 Par exemple, si on jette un dé, l événement obtenir un nombre pair et l événement obtenir un nombre impair ne peuvent pas être obtenus en même temps Ils sont mutuellement exclusifs D autre part, si l on jette un dé, les événements A : obtenir un nombre pair n est pas mutuellement exclusif avec l événement B : obtenir un nombre inférieur ou égal à 3 En effet, l intersection de A et B est non-vide et consiste en l événement obtenir 2 On appelle complémentaire d un événement A = Ω\A On va associer à Ω l ensemble A de toutes les parties (ou sous-ensembles) de Ω Exemple 33 Si on jette un pièce de monnaie alors Ω = {P, F }, et A = {, {F }, {P }, {F, P }} 32

34 Définition 31 Les événements A 1,, A n forment un système complet d événements, si ils constituent une partition de Ω, c est-à-dire si tous les couples A i, A j sont mutuellement exclusifs quand i j, n A i = Ω 312 Axiomatique des Probabilités Définition 32 Une probabilité P () est une application de A dans [0, 1], telle que : Pr(Ω) = 1, Pour tout ensemble dénombrable d événements A 1,, A n tels que A i A j =, pour tout i j, ( n ) Pr A i = Pr(A i ) A partir des axiomes, on peut déduire les propriétés suivantes : Pr( ) = 0, Pr(A) = 1 Pr(A), Pr(A) Pr(B) si A B, Pr(A B) = Pr(A) + Pr(B) Pr(A B), Pr ( n A i) n Pr(A i), Si A 1,, A n forment un système complet d événements, alors Pr(B A i ) = Pr(B) 313 Probabilités conditionnelles et indépendance Définition 33 Soient deux événements A et B, si Pr(B) > 0, alors Pr(A B) = Pr(A B) Pr(B) Définition 34 Deux événements A et B sont dits indépendants si Pr(A B) = Pr(A) On peut montrer facilement que si A et B sont indépendants, alors Pr(A B) = Pr(A)Pr(B) 314 Théorème des probabilités totales et théorème de Bayes Théorème 31 (des probabilités totales) Soit A 1,, A n un système complet d événements, alors En effet, Pr(B) = Pr(A i )Pr(B A i ) Pr(A i )Pr(B A i ) = Comme les événements A i B sont mutuellement exclusifs, Pr(B A i ) n Pr(B A i ) = Pr (B A i ) = Pr(B) Théorème 32 (de Bayès) Soit A 1,, A n un système complet d événements, alors Pr(A i B) = Pr(A i )Pr(B A i ) n j=1 Pr(A j)pr(b A j ) 33

35 En effet, par le théorème des probabilités totales, 32 Variables aléatoires 321 Définition Pr(A i )Pr(B A i ) n j=1 Pr(A j)pr(b A j ) = Pr(B A i) = Pr(A i B) Pr(B) La notion de variable aléatoire formalise l association d une valeur au résultat d une expérience aléatoire Définition 35 Une variable aléatoire X est une application de l ensemble fondamental Ω dans R Exemple 34 On considère une expérience aléatoire consistant à lancer deux pièces de monnaie L ensemble des résultats possibles est Ω = {(F, F ), (F, P ), (P, F ), (P, P )} Chacun des éléments de Ω a une probabilité 1/4 Une variable aléatoire va associer une valeur à chacun des éléments de Ω Considérons la variable aléatoire représentant le nombre de Faces obtenus : 0 avec une probabilité 1/4 X = 1 avec une probabilité 1/2 2 avec une probabilité 1/4 322 Variables aléatoires discrètes Définition, espérance et variance Une variable aléatoire discrète prend uniquement des valeurs entières (de Z) Une distribution de probabilité p X (x) est une fonction qui associe à chaque valeur entière une probabilité La fonction de répartition est définie par p X (x) = Pr(X = x), x Z F X (x) = Pr(X x) = z x p X (z) L espérance mathématique d une variable aléatoire discrète est donné par µ = E(X) = x Z xp X (x), et sa variance ( σ 2 = var(x) = E {X E(X)} 2) = p X (x)(x µ) 2 x Z Variable indicatrice ou bernoullienne La variable indicatrice X de paramètre p [0, 1] a la distribution de probabilité suivante : { 1 avec une probabilité p X = 0 avec une probabilité 1 p L espérance vaut et la variance vaut µ = E(X) = 0 (1 p) + 1 p = p, σ 2 = var(x) = E(X p) 2 = (1 p)(0 p) 2 + p(1 p) 2 = p(1 p) Exemple 35 On tire au hasard une boule dans une urne contenant 18 boules rouges et 12 boules blanches Si X vaut 1 si la boule est rouge et 0 sinon, alors X a une loi bernoullienne de paramètre p = 18/(18+12) = 06 34

36 Variable binomiale où Une variable X suit une loi binomiale de paramètre 0 < p < 1 et d exposant n, si ( n ) Pr(X = x) = p x (1 p) n x, x = 0, 1,, n 1, n, x La somme de ces probabilités vaut 1, en effet Pr(X = x) = x=0 x=0 L espérance et la variance sont données par ( n ) n! = x x!(n x)! ( n x ) p x (1 p) n x = {p + (1 p)} n = 1 E(X) = np, var(x) = np(1 p) Exemple 36 On tire au hasard avec remise et de manière indépendante 5 boules dans une urne contenant 18 boules rouges et 12 boules blanches Si X est le nombre de boules rouges obtenues, alors X a une loi binomiale de paramètre p = 18/( ) = 06, et d exposant n = 5 Donc, ( ) 5 Pr(X = x) = 06 x 04 5 x, x = 0, 1,, 4, 5, x ce qui donne Pr(X = 0) = Pr(X = 1) = Pr(X = 2) = Pr(X = 3) = Pr(X = 4) = Pr(X = 5) = 5! 0!(5 0)! = = ! 1!(5 1)! = = ! 2!(5 2)! = = ! 3!(5 3)! = = ! 4!(5 4)! = = ! 5!(5 5)! = = Variable de Poisson La variable X suit une loi de Poisson, de paramètre λ R + si Pr(X = x) = e λ λ x, x = 0, 1, 2, 3, x! L espérance et la variance d une loi de Poisson sont égales au paramètre λ E(X) = λ, var(x) = λ 35

37 323 Variable aléatoire continue Définition, espérance et variance Une variable aléatoire continue prend des valeurs dans R ou dans un intervalle de R La probabilité qu une variable aléatoire continue soit inférieure à une valeur particulière est donnée par sa fonction de répartition Pr(X x) = F (x) La fonction de répartition d une variable aléatoire continue est toujours : dérivable, positive : F (x) 0, pour tout x, croissante, lim x F (x) = 1, lim x F (x) = 0 On a Pr(a X b) = F (b) F (a) La fonction de densité d une variable aléatoire continue est la dérivée de la fonction de répartition en un point df (x) f(x) = dx Une fonction de densité est toujours : positive : f(x) 0, pour tout x, d aire égale à un : f(x)dx = 1 On a évidemment la relation : F (b) = b f(x)dx La probabilité que la variable aléatoire soit inférieure à une valeur quelconque vaut : Pr(X a) = a f(x)dx = F (a) La probabilité que la variable aléatoire prenne une valeur comprise entre a et b vaut Pr(a X b) = b a f(x)dx = F (b) F (a) Si la variable aléatoire est continue, la probabilité qu elle prenne exactement une valeur quelconque est nulle : Pr(X = a) = 0 L espérance d une variable aléatoire continue est définie par : et la variance Variable uniforme E(X) = var(x) = xf(x)dx, (x µ) 2 f(x)dx Une variable est dite uniforme dans un intervalle [a,b], (avec a < b) si sa répartition est : 0 si x < a F (x) = (x a)/(b a) si a x b 1 si x > b Sa densité est alors 0 si x < a f(x) = 1/(b a) si a x b 0 si x > b 36

38 On peut montrer que µ = E(X) = b + a 2 et σ 2 (b a)2 = var(x) = 12 Les logiciels gênèrent en général des variables aléatoires uniformes dans [0,1] Variable normale Une variable aléatoire X est dite normale si sa densité vaut f µ,σ 2(x) = 1 ( ) 2 x µ σ 2π exp 1 (31) 2 σ De manière synthétique, pour noter que X a une distribution normale de moyenne µ et de variance σ 2 on écrit : X N(µ, σ 2 ) On peut montrer que et La fonction de répartition vaut F µ,σ 2(x) = 324 Distribution bivariée x E(X) = µ, var(x) = σ 2 ( ) 2 1 u µ σ 2π exp 1 du 2 σ Deux variables aléatoires peuvent avoir une distribution jointe Cas continu Soit deux variables aléatoires X et Y continues, leur distribution de densité f(x, y) est une fonction continue, positive, et telle que La fonction de répartition jointe est définie par F (x, y) = Pr(X x et Y y) = On appelle densités marginales les fonctions f X (x) = f(x, y)dxdy = 1 x f(x, y)dy, et f Y (y) = y f(u, v)dvdu f(x, y)dx Avec les distributions marginales, on peut définir les moyennes marginales, et les variances marginales : σ 2 X = µ X = xf X (x)dx, et µ Y = (x µ X ) 2 f X (x)dx, et σ 2 Y = On appelle densités conditionnelles, les fonctions yf Y (y)dy, (y µ Y ) 2 f Y (y)dy f(x y) = f(x, y) f Y (y) et f(y x) = f(x, y) f X (x) 37

39 Avec les distributions conditionnelles, on peut définir les moyennes conditionnelles, et les variances conditionnelles : σ 2 X(y) = µ X (y) = xf(x y)dx, et µ Y (x) = {x µ X (y)} 2 f(x y)dx, et σ 2 Y (x) = Enfin, la covariance entre X et Y est définie par σ xy = cov(x, Y ) = 325 Indépendance de deux variables aléatoires Deux variables aléatoires X et Y sont dites indépendantes, si yf(y x)dy, {y µ Y (x)} 2 f(y x)dy (x µ X )(y µ Y )f(x, y)dxdy Pr(X x et Y y) = Pr(X x)pr(y y), pour tout x, y R Si X et Y sont discrètes, cela implique que Pr(X = x et Y = y) = Pr(X = x)pr(y = y), pour tout x, y Z Si X et Y sont continues, en notant f X () et f Y () les fonctions de densité marginales respectives de X et Y, et en notant f XY (x, y) la densité jointe des deux variables, alors X et Y sont indépendants si f XY (x, y) = f X (x)f Y (y), x, y R 326 Propriétés des espérances et des variances De manière générale, pour des variables aléatoires X et Y, et avec a et b constants : De plus, si X et Y sont indépendantes : E(a + bx) = a + be(x) E(aY + bx) = ae(y ) + be(x) var(a + bx) = b 2 var(x) var(x + Y ) = var(x) + var(y ) + 2cov(X, Y ) E(XY ) = E(X)E(Y ) cov(x, Y ) = 0, var(x + Y ) = var(x) + var(y ) Enfin, il est possible de calculer l espérance et la variance d une somme de variables aléatoires indépendantes, et identiquement distribuées Théorème 33 Soit X 1,, X n une suite de variables aléatoires, indépendantes et identiquement distribuées et dont la moyenne µ et la variance σ 2 existent et sont finies, alors si X = 1 X i, n on a Démonstration et E ( X) = E ( 1 n var ( X) = var ( 1 n E( X) = µ, et var( X) = σ2 n ) X i = 1 n E (X i ) = 1 n ) X i = 1 n n 2 var (X i ) = 1 n 2 µ = µ n σ 2 = σ2 n 38

40 327 Autres variables aléatoires Variable khi-carrée Soit une suite de variables aléatoires indépendantes, normales, centrées réduites, X 1,, X p, (c est-à-dire de moyenne nulle et de variance égale à 1), alors la variable aléatoire χ 2 p = p Xi 2, est appelée variable aléatoire khi-carré à p degrés de liberté Il est possible de montrer que E(χ 2 p) = p, et que Variable de Student var(χ 2 p) = 2p Soit une variable aléatoire X normale centrée réduite, et une variable aléatoire khi-carré χ 2 p à p degrés de liberté, indépendante de X, alors la variable aléatoire t p = X χ 2 p/p est appelée variable aléatoire de Student à p degrés de liberté Variable de Fisher Soient deux variables aléatoires khi-carrés indépendantes χ 2 p, χ 2 q, respectivement à p et q degrés de liberté, alors la variable aléatoire F p,q = χ2 p/p χ 2 q/q est appelée variable aléatoire de Fisher à p et q degrés de liberté Remarque 31 Il est facile de montrer que le carré d une variable de Student à q degrés de liberté est une variable de Fisher à 1 et q degrés de liberté 328 Variable normale multivariée Le vecteur de variables aléatoires X = (X 1,, X p ) a une distribution normale multivariée de moyenne µ = (µ 1,, µ p ) et de matrice variance-covariance Σ (on suppose par simplicité que Σ est de plein rang), si sa fonction de densité est donnée par [ 1 f X (x) = exp 1 ] (2π) p/2 Σ 1/2 2 (x µ) Σ 1 (x µ), (32) pour tout x R p Remarque 32 Si p = 1, on retrouve l expression (31) 39