Rappels de Statistique et d Algèbre Linéaire. Emmanuel Duguet

Transcription

1 Rappels de Statistique et d Algèbre Linéaire Emmanuel Duguet Septembre 200

2 table des matières Moments empiriques et moments théoriques 2 Momentsempiriquesdesvecteurs 2 Moyennearithmétique 2 2 Varianceempirique 3 3 Ecart-typeempirique 3 4 Covarianceempirique 4 5 Corrélationempirique 4 2 Momentsempiriquesdesmatrices 5 2 Moyennearithmétique 5 22 Matricedecovarianceempirique 5 3 Convergence en probabilité 9 4 InégalitédeBienaymé-Chebichev 0 5 Laloifaibledesgrandsnombres 2 6 Théorèmedelalimitecentrale 3 2 Algèbre linéaire 4 2 Calculmatriciel 4 22 Matrices définiespositives 5 23 ProduitsdeKronecker 6

3 AEXE Moments empiriques et moments théoriques Moments empiriques des vecteurs Le but de cette section est de se familiariser avec les notations de calcul matriciel, car c est sous cette forme qu apparaissent le plus souvent les moments empiriques Il faut donc savoir les simplifier quand on les recontre dans une expression Moyenne arithmétique La moyenne arithmétique d un vecteur colonne z =(z,z 2,, z ) 0 peut se trouver sous les formes équivalentes suivantes : car on a : et : z 0 e =(z,z 2,, z ) z = z0 e e 0 e = z0 e = e 0 e =(,,, ) z i, = z + z z = z i, =++ {z + } = fois 2

4 3 2 Variance empirique La variance empirique de la série z, notée Ve (z), peut se trouver sous les formes équivalentes : car ce qui implique : z ze = Ve (z) = z z 2 z = (z i z) 2 zi 2 (z) 2 = (z ze)0 (z ze), = z0 z (z)2 z z z = z z z 2 z z z (z ze) 0 (z ze) =(z z, z 2 z,, z z), z z z 2 z z z =(z z) 2 +(z 2 z) 2 + +(z z) 2 = (z i z) 2 En posant z =0, on trouve : z 0 z = 3 Ecart-type empirique zi 2 Ils agitsimplementdelaracinecarréedelavarianceempiriqueonlenote: σ e (x) = p Ve (x)

5 4 4 Covariance empirique La covariance empirique entre le vecteur z =(z,z 2,, z ) 0 et le vecteur x = (x,x 2,, x ) 0, Cov e (z, x), s écrit : En effet : Cov e (x, z) = = (z i z)(x i x) z i x i z x = (z ze)0 (x xe) = z0 x z x (z ze) 0 (x xe) =(z z, z 2 z,, z z) x x x 2 x x x =(z z)(x x)+ +(z z)(x x) = (z i z)(x i x) En posant z =0=x dans l expression précédente, on a : z 0 x = z i x i On remarque de plus que lorsque z = x : Cov e (x, x) = = (x i x)(x i x) (x i x) 2 = Ve (x) 5 Corrélation empirique Le coefficient de corrélation linéaire empirique entre les séries z et x, noté ρ e (x, z) est défini par : ρ e (x, z) = Cov e (x, z) p Ve (x) Ve (z) = Cov e (x, z) σ e (x) σ e (z)

6 5 Il peut donc prendre différentes formes en fonction des expressions que nous avons vu plus haut On peut faire apparaître son expression dans la définition des différents estimateurs 2 Moments empiriques des matrices 2 Moyenne arithmétique On considère maintenant une matrice X de dimension (,p) Chaque ligne de X correspond à une observation et chaque colonne de X corrrespond à une variable On note ces variables X = X () X (2) X (p) On a : X = X0 e = {z} (p,) X ()0 X (2)0 X (p)0 e = X ()0 e X (2)0 e X (p)0 e 22 Matrice de covariance empirique = Contrairement au cas univarié, on définit une matrice qui contient à la fois les variances et les covariances des variables Les variances sont sur la diagonale de lamatricedecovarianceona: Ve (X) = X0 X X X0 On peut définir la matrice des produits croisés des variables explicatives X 0 X à partir du modèle écrit par observations ou par variables Selon le contexte une expression peut s avérer plus pratique que l autre, et il faut pouvoir passer facilement entre les différentes expressions x x 2 x p

7 6 Par rapport aux variables, on a: X ()0 X 0 X = X (2)0 ³X (p) () X (2) X (,p) (,p) X (p)0 = X ()0 X () X ()0 X (2) X ()0 X (p) X ()0 X (2) X (2)0 X (2) X (2)0 X (p) X (p)0 X () X (p)0 X (2) X (p)0 X (p) = P x2 i P x P ix i2 P x ix ip x P P ix i2 x2 i2 x i2x ip P x P ix ip x i2x ip P x2 ip La matrice des moments empiriques non centrés de X est définie par : x2 i x ix ip X 0 X = x ix i2 x i2x ip x ix ip P x2 ip On en déduit la matrice de covariance empirique : Ve (X) = x2 i x ix ip x ix i2 x i2x ip x ix ip x2 ip x x 2 x p x x 2 x p

8 7 = x2 i x ix ip x ix i2 x i2x ip x ix ip P x2 ip x 2 x x p x x 2 x 2 x p x x p x 2 p = x2 i x2 x ix ip x x p x ix i2 x x 2 x i2x ip x 2 x p x ix ip x x p x2 ip x2 p On obtient donc finalement : Ve (x ) Cov e (x,x 2 ) Cov e (x,x p ) Cov e (x,x 2 ) Ve (x 2 ) Cov e (x 2,x p ) Ve (X) = Cov e (x,x p ) Cov e (x 2,x p ) Ve (x p ) Par rapport aux observations La matrice de covariance empirique peut s écrire : Ve (X) = X 0 ix i X X 0 on a : XiX 0 i = (x i,x i2,, x ip ) x i x i2 x ip = x 2 i x i x i2 x i x ip x i x i2 x 2 i2 x i2 x ip x i x ip x i2 x ip x 2 ip = P x2 i P x P ix i2 P x ix ip x P P ix i2 x2 i x i2x ip P x P ix ip x i2x ip P x2 ip = X 0 X

9 8 On retrouve donc le même résultat que précédemment De même pour les produits croisés entre les variables explicatives et la variable expliquée, on a : X 0 y (,p)(,) = X ()0 X (2)0 X (p)0 y = Les moments centrés donnent donc : X ()0 y X (2)0 y X (p)0 y = P x iy i P x i2y i P x ipy i = X Xi 0 y i Cov e (X, y) = X 0 iy i X y = X0 y X y Le vecteur correspondant est égal à : Cov e (X, y) = = x iy i x i2y i x ipy i x iy i x i2y i x ipy i x iy i x y = x i2y i x 2 y P x ipy i x p y = Cov e (x,y) Cov e (x 2,y) Cov e (x p,y) x y x 2 y x p y x x 2 x p y Sous certaines conditions, les moments empiriques que nous venons de voir convergent en probabilité vers les moments théoriques correspondants Ce point est examiné dans la section suivante

10 9 3 Convergence en probabilité définition Soit b une variable aléatoire dont la réalisation dépend du nombre d observations disponibles dans un échantillon (noté ) On dit que cette suite de variables aléatoires b converge en probabilité vers une valeur b lorsquelenombred observations tend vers l infini,siellevérifie lapropriété suivante : i ε >0, Pr h b b b >ε 0 + La convergence en probabilité de b vers b est notée de manière abrégée par l expression : Plim b = b, où Plim est l abréviation de probability limit (ie, limite en probabilité) Elle s écrit également : b P b b + Cette définition signifie que l évènement b s écarte de b d une distance supérieure à ε est de probabilité nulle (ie, impossible) lorsque + Cette propriété s étend à certaines fonctions de b, comme le montre le théorème suivant THÉORÈME [Slutsky] Soit b b une suite de variables aléatoires qui converge en probabilité vers b : Plim b b = b, et soit g () une fonction continue définie au point b On a : ³ Plim g bb = g ³Plim b = g (b) Les définitions précédentes et le théorème de Slutsky s étendent au cas vectoriel en raisonnant composante par composante En particulier le théorème de Slutsky permet de simplifier considérablement le calcul des limites en probabilités Prenons deux estimateurs convergents, ba d un paramètre a et b b d un paramètre b On a : Plim ba + b b = Plim ba + Plim b b = a + b, car la fonction g (a, b) =a + b est continue et les estimateurs convergent en probabilité De même, en utilisant les fonctions g (a, b) =ab, g (a, b) =a/b (pour b 6= 0) on obtient les propriétés : Plim ba b b = Plim ba Plim b b = ab, Plim ba b b = Plim ba Plim b = a, b 6= 0 b

11 0 4 Inégalité de Bienaymé-Chebichev Le théorème suivant est très important Il nous permet notamment de démontrer la loi des grands nombres et le fait que la convergence en moyenne quadratique implique la convergence en probabilitéen une seule ligne THÉORÈME 2 [Inégalité de Bienaymé-Chebichev] Soit Z une variable de carré intégrable, on a : δ >0, Pr [ Z δ] δ 2 E Z 2 preuve : Soit la variable de Bernoulli : ½ si Z δ D = 0 sinon son espérance mathématique est égale à : D autre part : E (D) = Pr [ Z δ]+0 Pr [ Z <δ]=pr[ Z δ] Si Z δ on a D =donc : Z δ 2 Si Z <δon a D =0donc : Z 2 δ 2 Z δ Z2 δ 2 D = 0 Z2 δ 2 D =0 donc dans tous les cas on a : µ Z 2 D E E (D) δ 2 δ 2 E Z 2 Pr [ Z δ] Remarque En posant Z = X E (X), on obtient l expression : h car V (X) =E (X E (X)) 2i δ >0, Pr [ X E (X) δ] δ 2 V (X),

12 La convergence en probabilité est parfois difficile à vérifier directement, on utilise alors une conditions suffisante, qui correspond en fait à la convergence en moyenne quadratique définition 2 Soit b une variable aléatoire dont la réalisation dépend du nombre d observations disponibles dans un échantillon (noté ) On dit que cette suite de variables aléatoires b converge en moyenne quadratique vers une valeur b lorsquelenombred observations tend vers l infini, si elle vérifie une des deux propriétés équivalentes suivantes : ³bb 2 E b 0 lorsque + ³ ³ 2 E bb b et V bb 0 lorsque + On note ce résultat : b b mq + b Cette définition porte directement sur la distance entre b b et b Elle impose que cette distance s annule quand le nombre d observations devient suffisamment grand L équivalence entre les deux définitions vient du développement suivant : ³bb 2 h i h ³ i 2 E b = V bb b + E bb b ³ ³ ³ = V bb + E bb b 2 0 Les deux termes précédents sont positifs ou nuls donc pour que³ l expression s annule lorsque +, il faut que l on ait simultanément V bb 0 et ³ E bb b propriété Soit b b une suite de variables aléatoires, on a : b b mq b Plimb b = b, + la convergence en moyenne quadratique implique la convergence en probabilité preuve : C est une conséquence de l inégalité de Bienaymé-Chebichev En posant Z = b b b et δ = ε>0 dans le théorème [2], on obtient : i ε >0, 0 Pr h b b b ε ³bb 2 ε 2 E b + 0 On rappelle que : V(X) = E X 2 E(X) 2 E X 2 = V(X)+E(X) 2 Ici on pose X = b n b

13 2 5 La loi faible des grands nombres Cette section permet de faire le lien entre les moments empiriques que nous avons vu plus haut et la convergence en probabilité que nous venons de voir Elle signifie que sous certaines conditions, les moments empiriques convergent en probabilité vers les moments théoriques correspondants On l appelle loi faible des grands nombres, car la convergence en probabilité est également appelée convergence faible La version de cette loi que nous utilisons est due à Markov (cf Petrov 995, p34) THÉORÈME 3 [Markov] Soit (X,, X ) une suite de variables aléatoires qui admettent une espérance mathématique E (X k )=m k pour toute valeur de k {,, }, et qui vérifient la propriété suivante : " # X 2 V X k 0 lorsque +, alors " Plim X k # m k =0 preuve : Il suffit deposerz = (X k m k ) dans l inégalité de Bienaymé- Chebichev (théorème [2]) : # " δ >0, Pr " X k m δ # X k δ 2 V X 2 k 0 + En effet, on a : E (Z) = [E (X k ) m k ]=0 " # " # V (Z) =V X k m k = V X k car m k est une quantité certaine et que l on a :V h P i 2 V X k h X k i = Une moyenne arithmétique de variable aléatoires converge donc vers la moyenne des espérances mathématiques h des variables aléatoires, à condition que la variance de leur moyenne V P i X k tende vers 0 lorsque +

14 3 Exemple On considère un échantillon de variables (X,, X k ) indépendantes, d espérance et de variance constantes : k, m k = m et V (X k )=σ 2 Sous hypothèse d indépendance, on obtient la condition suivante : " # X 2 V X k = 2 V (X k )= σ2 2 = σ2 0 quand + D autre part m k = ( m) =m On a donc le résultat de convergence suivant : Plim X = m, la moyenne empirique converge vers l espérance mathématique commune des variables (X,,X k ) Exemple 2 On considère un échantillon de variables (X,, X k ) indépendantes de variances différentes et finies : V (X k )=σ 2 k La moyenne arithmétique de ces variances σ2 k = σ est également finie En effet : ce qui implique : " # X 2 V X k On en déduit que : σ = 2 max,, σ2 k qui est finie σ 2 k = σ 0 quand + Plim X = Plim E (X k ) 6 Théorème de la limite centrale Le théorème suivant nous permet de déterminer la loi asymptotique de la plupart de nos estimateurs THÉORÈME 4 (Liapunov) Soit u,u 2,, u une suite de variables aléatoires indépendantes d espérances mathématiques E (u i )=μ i et de variances respectives V (u i )=E(u i μ i ) 2 = σ 2 i 6=0,,, n On suppose également que le moment absolu d ordre trois existe E u i μ i 3 = β i i Soient : Ã! /3 Ã X! /2 X B = β i,d = σ 2 i, alors, si lim B /D =0lorsque +, on a : u i μ i D (0, ) +

15 AEXE 2 Algèbre linéaire 2 Calcul matriciel On considère une matrice A =[A ij ] de format (m, n) La transposée de A, notée A 0, est définie par A 0 =[A ji ], on intervertit donc les lignes et les colonnes 2 A est de plein rang colonne si ses colonnes sont linéairement indépendantes C est-à-dire si : α IR n, Aα =0 α =0 3 A est de plein rang ligne si ses lignes sont linéairement indépendantes (ie, si A 0 est de plein rang colonne) On considère maintenant deux matrices A de format (m, n) et B de format (r, p) Le produit matriciel de A par B n existe que si le nombre de colonnes de A est égal au nombre de lignes de B : n = r Dans ce cas, on le note F = AB et il est de format (m, p) 2 Les élements de la matrice produit F =[F ij ]=AB sont définis comme les produits scalaires de la i ème ligne de A et de la j ième colonne de B 3 AB n est généralement pas égal à BA, le produit matriciel n est pas commutatif 4 A (B + C) =AB + BC 5 (A + B) C = AC + BC 6 (AB) 0 = B 0 A 0 4

16 5 On considère maintenant deux matrices carrées A de format (m, m) et B de format (r, r) Une matrice est carrée si elle a autant de lignes que de colonnes 2 Une matrice carrée A est symétrique si A 0 = A 3 La trace d une matrice carrée A est définieparlasommedesesélements diagonaux On la note tr (A) = P m A ii 4 tr (A + B) =tr(a)+tr(b) 5 Si ABC est une matrice carrée et si les formats sont compatibles : tr (ABC) = tr (CAB)=tr(BCA) Il n est pas nécessaire que chaque matrice soit carrée à l intérieur des produits précédents 6 Si A est une matrice carrée de plein rang (ligne ou colonne), elle admet une inverse notée A telle que AA = A A = I 7 Si les matrices A et B sont inversibles : (AB) = B A 8 Une matrice carrée A est idempotente si A 2 = A 22 Matrices définies positives définition 2 Une matrice A de format (m, m) est semi définie positive lorsque : α IR m,s(α, A) =α 0 Aα 0 définition 22 Une matrice A de format (m, m) est définie positive lorsque : α IR m,α6= 0,s(α, A) =α 0 Aα > 0 La propriété suivante est utile pour comparer les variances des différents estimateurs propriété 2 Soit X (n,p) une matrice quelconque, alors X 0 X est semi définie positive preuve : En posant A = X 0 X, on obtient : s (α, X 0 X)=α 0 X 0 Xα =(Xα) 0 (Xα) = kxαk 2 0 {z } {z } (,n) (n,) La propriété suivante est utile pour montrer l existence de certains estimateurs

17 6 propriété 22 Soit X (n,p) une matrice de plein rang colonne, rang (X) =p, alors X 0 X est définiepositive(doncderangégalàp) preuve : La matrice X est de plein rang colonne : α IR p, X 0 α =0 α =0 donc kxαk 2 ne peut être nul que dans le cas α =0 En conséquence : α IR p,α6= 0, kxαk 2 > 0 23 Produits de Kronecker Soient deux matrices A =[A ij ] de format (a, b) et B =[B ij ] de format (c, d) Le produit de Kronecker de la matrice A par la matrice B, noté A B, donne une matrice F =[F ij ] de format (ac, bd) Cette matrice est définie par : A, B A,2 B A,b B A 2, B A 2,2 B A 2,b B F =[A ij B]=, A a, B A a,2 B A a,b B chaque élément originel de la matrice A se voit multiplié par la totalité de la matrice B Chacun des éléments de la matrice ci-dessus est donc de dimensions égales à celles de B, et C est de format (ac, bd) Les propriétés suivantes sont valables sous réserve que les formats des matrices autorisent les multiplications matricielles indiquées Dans le cas général (A B) n est pas égal à (B A), le produit de Kronecker n est donc pas commutatif 2 0 A =0 3 A 0 = 0, mais attention, le format de ce 0 n est pas nécessairement le même que celui de la propriété précédente 4 A (B + C) =A B + A C 5 (A + B) C = A B + B C 6 (x, y) IR 2, (xa) (yb) =xy (A B) 7 (A B)(C D) =(AC BD) 8 (A B) 0 =(A 0 B 0 ) 9 Si A et B sont inversibles : (A B) = A B 0 tr (A B) =tra tr B