Statistique Mathématique 2 (MATH-F-309, Chapitre #3)

Documents pareils
3 Approximation de solutions d équations

Moments des variables aléatoires réelles

Chapitre 7. Statistique des échantillons gaussiens. 7.1 Projection de vecteurs gaussiens

Exo7. Matrice d une application linéaire. Corrections d Arnaud Bodin.

Exercices - Polynômes : corrigé. Opérations sur les polynômes

Baccalauréat ES Pondichéry 7 avril 2014 Corrigé

Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles

Simulation de variables aléatoires

Sur certaines séries entières particulières

MÉTHODE DE MONTE CARLO.

Probabilités sur un univers fini

Exercices - Fonctions de plusieurs variables : corrigé. Pour commencer

4. Martingales à temps discret

Méthodes de Simulation

Corrigé du baccalauréat S Asie 21 juin 2010

Probabilités III Introduction à l évaluation d options

PRIME D UNE OPTION D ACHAT OU DE VENTE

Souad EL Bernoussi. Groupe d Analyse Numérique et Optimisation Rabat http ://

Correction du Baccalauréat S Amérique du Nord mai 2007

Introduction à l étude des Corps Finis

FONCTIONS DE PLUSIEURS VARIABLES (Outils Mathématiques 4)

Séminaire TEST. 1 Présentation du sujet. October 18th, 2013

* très facile ** facile *** difficulté moyenne **** difficile ***** très difficile I : Incontournable T : pour travailler et mémoriser le cours

Amphi 3: Espaces complets - Applications linéaires continues

Probabilités sur un univers fini

LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING»

PRECISION - REJET DE PERTURBATIONS T.D. G.E.I.I.

3. Conditionnement P (B)

Capes Première épreuve

Econométrie et applications

TESTS PORTMANTEAU D ADÉQUATION DE MODÈLES ARMA FAIBLES : UNE APPROCHE BASÉE SUR L AUTO-NORMALISATION

Calcul matriciel. Définition 1 Une matrice de format (m,n) est un tableau rectangulaire de mn éléments, rangés en m lignes et n colonnes.

Tests du χ 2. on accepte H 0 bonne décision erreur de seconde espèce on rejette H 0 erreur de première espèce bonne décision

Espérance conditionnelle

Intégration et probabilités ENS Paris, TD (20)13 Lois des grands nombres, théorème central limite. Corrigé :

Introduction à la statistique non paramétrique

CONCOURS D ENTREE A L ECOLE DE 2007 CONCOURS EXTERNE. Cinquième épreuve d admissibilité STATISTIQUE. (durée : cinq heures)

INTRODUCTION À L ANALYSE FACTORIELLE DES CORRESPONDANCES

Capacité d un canal Second Théorème de Shannon. Théorie de l information 1/34

Chapitre 2 Le problème de l unicité des solutions

CHAPITRE V SYSTEMES DIFFERENTIELS LINEAIRES A COEFFICIENTS CONSTANTS DU PREMIER ORDRE. EQUATIONS DIFFERENTIELLES.

Programmation linéaire

Formes quadratiques. 1 Formes quadratiques et formes polaires associées. Imen BHOURI. 1.1 Définitions

Cours 7 : Utilisation de modules sous python

Correction de l examen de la première session

Chapitre 3. Quelques fonctions usuelles. 1 Fonctions logarithme et exponentielle. 1.1 La fonction logarithme

Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications

Le Modèle Linéaire par l exemple :

Chapitre 2. Matrices

Une forme générale de la conjecture abc

Corrigé Problème. Partie I. I-A : Le sens direct et le cas n= 2

Résolution d équations non linéaires

Comparaison de fonctions Développements limités. Chapitre 10

Exercice autour de densité, fonction de répatition, espérance et variance de variables quelconques.

Méthodes de quadrature. Polytech Paris-UPMC. - p. 1/48

La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1

Quelques tests de primalité

Baccalauréat ES Polynésie (spécialité) 10 septembre 2014 Corrigé

Approximations variationelles des EDP Notes du Cours de M2

EXERCICE 4 (7 points ) (Commun à tous les candidats)

L ANALYSE EN COMPOSANTES PRINCIPALES (A.C.P.) Pierre-Louis GONZALEZ

Texte Agrégation limitée par diffusion interne

Introduction à la Statistique Inférentielle

Exercices - Nombres complexes : corrigé. Formes algébriques et trigonométriques, module et argument

Fonctions de deux variables. Mai 2011

Intégrale de Lebesgue

Université Paris-Dauphine DUMI2E 1ère année, Applications

Calcul fonctionnel holomorphe dans les algèbres de Banach

Dérivées d ordres supérieurs. Application à l étude d extrema.

Optimisation des fonctions de plusieurs variables

Le produit semi-direct

Pour l épreuve d algèbre, les calculatrices sont interdites.

Intégration et probabilités TD1 Espaces mesurés Corrigé

Géométrie dans l espace Produit scalaire et équations

Analyse fonctionnelle Théorie des représentations du groupe quantique compact libre O(n) Teodor Banica Résumé - On trouve, pour chaque n 2, la classe

MODELE A CORRECTION D ERREUR ET APPLICATIONS

Un K-espace vectoriel est un ensemble non vide E muni : d une loi de composition interne, c est-à-dire d une application de E E dans E : E E E

4 Distributions particulières de probabilités

Programmes des classes préparatoires aux Grandes Ecoles

1 Complément sur la projection du nuage des individus

Exo7. Limites de fonctions. 1 Théorie. 2 Calculs

Chapitre 3. Les distributions à deux variables

Probabilités et Statistiques. Feuille 2 : variables aléatoires discrètes

Cours de méthodes de scoring

IV- Equations, inéquations dans R, Systèmes d équations

ÉTUDE ASYMPTOTIQUE D UNE MARCHE ALÉATOIRE CENTRIFUGE

LEÇON N 7 : Schéma de Bernoulli et loi binomiale. Exemples.

Tests d indépendance en analyse multivariée et tests de normalité dans les modèles ARMA

Loi d une variable discrète

Notes de cours Statistique avec le logiciel R

OM 1 Outils mathématiques : fonction de plusieurs variables

Economie de l incertain et de l information Partie 1 : Décision en incertain probabilisé Chapitre 1 : Introduction à l incertitude et théorie de

La problématique des tests. Cours V. 7 mars Comment quantifier la performance d un test? Hypothèses simples et composites

DOCM Solutions officielles = n 2 10.

Théorie et codage de l information

Projet Etienne Marceau Méthodes statistiques en assurance non vie

Probabilité. Table des matières. 1 Loi de probabilité Conditions préalables Définitions Loi équirépartie...

Incertitudes expérimentales

8.1 Généralités sur les fonctions de plusieurs variables réelles. f : R 2 R (x, y) 1 x 2 y 2

Continuité en un point

Transcription:

Statistique Mathématique 2 (MATH-F-309, Chapitre #3) Thomas Verdebout Université Libre de Bruxelles 2015/2016

Plan du cours 1. Vecteurs aléatoires. 2. Loi normale multivariée. 3. Inférence dans les modèles gaussiens. 4. Méthodes classiques de l analyse multivariée. 5. Données directionelles. 6. Modèle linéaire.

3. Inférence dans les modèles gaussiens. 3.1. Sur le paramètre de position. 3.1.1. Estimateurs MLE. 3.1.2. Tests de Hotelling. 3.1.3. Zones de confiance. 3.1.4. Problèmes à plusieurs échantillons. 3.2. Sur le paramètre de dispersion. 3.3. Autres types de problèmes.

MLE Le résultat suivant donne les estimateurs du maximum de vraisemblance de µ et Σ pour un échantillon gaussien p-varié. Théorème: soient X 1,..., X n i.i.d. N p(µ, Σ). Alors les estimateurs du maximum de vraisemblance de µ et de Σ sont respectivement ˆµ = X := 1 n 1 X i et ˆΣ := n n W := 1 n (X i n X)(X i X). i=1 i=1 Preuve: la vraisemblance de cet échantillon est donnée par n [ ( ) p ( L (n) 1 µ,σ = 2 1 exp 1 2π Σ 1 2 2 (Xi µ) Σ 1 (X i µ)) ], i=1 de sorte que la log-vraisemblance est log L (n) µ,σ = C n 2 log Σ 1 2 n i=1 [ ] (X i µ) Σ 1 (X i µ).

MLE En décomposant X i µ en (X i X) + ( X µ), on obtient n [ ] (X i µ) Σ 1 (X i µ) ce qui livre i=1 = n i=1 [ ] (X i X) Σ 1 (X i X) + n( X µ) Σ 1 ( X µ) log L (n) µ,σ = C n log Σ 2 1 n [ ] (X i 2 X) Σ 1 (X i X) n 2 ( X µ) Σ 1 ( X µ). i=1 Puisque Σ (et donc Σ 1 ) est définie-positive, on en déduit que, pour toute valeur fixée de Σ, arg max log L(n) µ,σ = arg min ( X µ) Σ 1 ( X µ) = X. µ µ

MLE Il ne reste donc qu à maximiser, en Σ, la quantité log L (n) X,Σ = C n 2 log Σ 1 n [ ] (X i 2 X) Σ 1 (X i X). Pour ce faire, remarquons que i=1 n [ (Xi X) Σ 1 (X i X) ] i=1 = = n tr [ (X i X) Σ 1 (X i X) ] i=1 n tr [ Σ 1 (X i X)(X i X) ] i=1 = tr [ Σ 1 n (X i X)(X i X) ] i=1 = tr [ Σ 1 W ].

MLE Donc log L (n) X,Σ = C + n 2 log Σ 1 (W /n) 1 2 tr [ Σ 1 W ] = C + n [ log Σ 1 (W /n) tr [ Σ 1 (W /n) ]] 2 pour une certaine quantité C qui ne dépend pas de Σ. Comme, en écrivant W = W 1/2 (W 1/2 ), on a [ ˆΣ = arg max log L (n) = arg max log Σ 1 (W /n) tr [ Σ 1 (W /n) ]] Σ X,Σ [ Σ = arg max log (W 1/2 ) Σ 1 W 1/2 /n tr [ (W 1/2 ) Σ 1 W 1/2 /n ]], Σ le résultat suivant permet de conclure (puisqu il montre que ˆΣ est tel que (W 1/2 ) ˆΣ 1 W 1/2 /n = I p, ce qui livre ˆΣ = W /n).

MLE Lemme: soit S la collection des matrices (p p) symétriques et définies positives. Alors [ ] arg max T S log T tr T = I p. Preuve du lemme: décomposons T en T = OΛO, où O est orthogonale et Λ est diagonale (notons λ i := Λ ii > 0). Alors log T tr T = log OΛO tr [ OΛO ] = log( O Λ O ) tr [ ΛO O ] ( p ) = log Λ tr Λ = log λ i i=1 p λ i = i=1 p i=1 [ log λ i λ i ]. Comme arg max x>0(log x x) = 1, on en déduit que le maximum en T de log T tr T est atteint pour λ 1 =... = λ p = 1, c est-à-dire en T = OI po = I p.

MLE Le résultat suivant donne les estimateurs du maximum de vraisemblance de µ et Σ pour un échantillon gaussien p-varié. Théorème: soient X 1,..., X n i.i.d. N p(µ, Σ). Alors les estimateurs du maximum de vraisemblance de µ et de Σ sont respectivement ˆµ = X := 1 n 1 X i et ˆΣ := n n W := 1 n (X i n X)(X i X). i=1 i=1 Remarques: ˆµ est sans biais pour µ; par contre, ˆΣ est seulement asymptotiquement non biaisé (E[ˆΣ] = E[ n 1 S] = n 1 Σ). n n Tout ceci est similaire à ce qui se passe dans le cas univarié (p = 1). En particulier, ˆµ = X est convergent, normal, UMVU, affine-équivariant, etc.

3. Inférence dans les modèles gaussiens. 3.1. Sur le paramètre de position. 3.1.1. Estimateurs MLE. 3.1.2. Tests de Hotelling. 3.1.3. Zones de confiance. 3.1.4. Problèmes à plusieurs échantillons. 3.2. Sur le paramètre de dispersion. 3.3. Autres types de problèmes.

Tests de Hotelling (Σ connu) Soient X 1,..., X n i.i.d. N p(µ, Σ). Soit µ 0 un p-vecteur fixé. Considérons le problème de test { H0 : µ = µ 0 H 1 : µ µ 0. Comme pour p = 1, il est naturel de baser la règle de décision sur X (et plus spécifiquement sur la distance entre X et µ 0). Puisque X N p(µ 0, 1 Σ) sous H0, on a que, sous H0, n T 2 c (X) = n( X µ 0) Σ 1 ( X µ 0) = d 2 1 n Σ ( X, µ 0) χ 2 p. On rejete H 0 pour de grandes valeurs de T 2 c (X). Il en découle qu au niveau α, un test convenable est le test φ qui consiste à rejeter H 0 ssi T 2 c (X) > χ 2 p;1 α.

Tests de Hotelling asymptotique Bien entendu, ceci requiert que Σ soit connu. Si Σ est inconnu, il est naturel de remplacer Σ par ˆΣ = S... T 2 (X) = n( X µ 0) S 1 ( X µ 0) (notation usuelle: T 2 ). En utilisant le lemme de Slutzky, on obtient que, sous H 0, T 2 = n( X µ 0) Σ 1 ( X µ 0) + o P (1) L χ 2 p. Donc, un test asymptotique (au niveau asymptotique α) consiste à rejeter H 0 ssi T 2 > χ 2 p;1 α. Remarque: il découle du TCL multivarié que ce test ne requiert pas que la loi commune des X i soit normale, mais seulement que celle-ci ait des moments finis d ordre 2.

Test de Student Pour p = 1, cette statistique est simplement 2 T 2 = n ( X µ0) s, où s 2 := 1 n (X i n 1 X) 2, ce qui est le carré de la statistique de Student usuelle. i=1 Si X 1,..., X n sont i.i.d. N 1(µ 0, σ 2 ), le lemme de Fisher implique que n( X µ 0) t n 1, s de sorte que la loi exacte de T 2 sous H 0 (pour p = 1) est F 1,n 1. Un test exact (au niveau α) consiste donc à rejeter H 0 ssi T 2 > F 1,n 1;1 α (c est le test de Student usuel). Remarque: ce test exact, contrairement au précédent, requiert clairement la normalité des X i.

Tests de Hotelling (loi exacte) Une question naturelle est: Pour p > 1, quelle est la loi exacte (sous H 0) de la statistique de test T 2 = n( X µ 0) S 1 ( X µ 0), si les X i sont i.i.d. de loi normale p-variée? Le lemme suivant permet de répondre à cette question: Lemme: soient Y N p(0, Σ) et V W p(m, Σ). Alors, si m p et Y V, m p + 1 p Y V 1 Y F p,m p+1.

Tests de Hotelling (loi exacte) Soient X 1,..., X n i.i.d. N p(µ, Σ), où n p + 1. En utilisant le lemme de Fisher multivarié, il découle de ce lemme que, sous H 0 : µ = µ 0, n p p(n 1) T 2 F p,n p. Un test exact (au niveau α) consiste donc à rejeter H 0 ssi n p p(n 1) T 2 > F p,n p;1 α. Remarque: la version asymptotique de ce test est bien le test asymptotique vu précédemment. Ce test, qui est appelé test de Hotelling, étend donc au cas multivarié le test de Student usuel.

Tests de Hotelling Preuve du lemme: comme d habitude nous supposons que Σ > 0. Alors Y V 1 V = (Y ) (V ) 1 Y où Y = Σ 1/2 Y et V = Σ 1/2 V Σ 1/2. Donc on peut supposer que Y N p(0, I p) et V W p(m, I p) = W p(m). On peut montrer (c est un peu délicat), que a V 1 a a a 1 χ 2 m p+1 a R p, a 0. (Par contre, il est facile de montrer que a Va a a χ2 m a R p, a 0.) Nous écrivons Y V 1 Y = Y V 1 Y Y Y Y Y = A(Y, V ) B(Y ).

Tests de Hotelling On note F la fonction de répartition de Y. Alors par indépendence de V et Y P(A(Y, V ) x B(Y ) y) = P(A(h, V ) x B(h) y)df (h) R p = P(A(h, V ) x)i{b(h) y}df (h) R ( p ) 1 = P x I{B(h) y}df (h) χ 2 m p+1 R ( ) p 1 = P x P(B(Y ) y). χ 2 m p+1 }{{} P(χ 2 p y)

Tests de Hotelling Il découle des calculs précédants, que Y V 1 Y D = χ2 p χ 2 m p+1 = = χ 2 m p+1 χ 2 p/p p /(m p + 1) m p + 1 p m p + 1 Fp,p m+1.

Tests de Hotelling Soient X 1,..., X n i.i.d. N p(µ, Σ). Le test de Hotelling, pour consiste (au niveau α) à rejeter H 0 ssi { H0 : µ = µ 0 H 1 : µ µ 0, n p p(n 1) T 2 (n p)n = p(n 1) ( X µ 0) S 1 ( X µ 0) > F p,n p;1 α. Quelles sont les propriétés de ce test? Théorème: le test de Hotelling coïncide avec le test du rapport de vraisemblance (gaussien).

Test du rapport de vraisemblance Preuve: pour rappel, pour le problème de test H 0 : θ Θ 0 contre H 1 : θ Θ\Θ 0, la statistique du test du rapport de vraisemblance est Λ (n) = L θ, L ˆθ où θ := arg max θ Θ0 L θ et ˆθ := arg max θ Θ L θ sont respectivement les estimateurs de maximum de vraisemblance contraint et non contraint pour θ. Et le test associé consiste à rejeter H 0 : θ Θ 0 (au niveau asymptotique α) ssi 2 ln Λ (n) > χ 2 k k 0 ;1 α, où k et k 0 sont respectivement les nombres de paramètres libres dans Θ et Θ 0.

Test du rapport de vraisemblance Ici, θ = (µ, Σ), Θ = R p V p, où V p désigne la collection des matrices p p symétriques et définies positives. Et Θ 0 = {µ 0} V p. k = p + p(p + 1)/2 et k 0 = p(p + 1)/2. Comme on l a vu, ˆθ = (ˆµ, ˆΣ) = ( X, W /n). Que vaut θ = ( µ, Σ)? Clairement, µ = µ 0. Et en utilisant les mêmes arguments que lors du calcul de l estimateur de maximum de vraisemblance de Σ, on montre que Donc Σ := W 0/n, où W 0 := Λ (n) = L θ L ˆθ n (X i µ 0)(X i µ 0). i=1 = L µ 0,W 0 /n. L X,W /n

Test du rapport de vraisemblance Ceci livre Λ (n) = (2π) np/2 W 0/n n/2 exp[ 1 n 2 i=1 (Xi µ0) (W 0/n) 1 (X i µ 0)] (2π) np/2 W /n n/2 exp[ 1 n 2 i=1 (Xi. X) (W /n) 1 (X i X)] Comme et n (X i X) (W /n) 1 (X i X) i=1 = tr[(w /n) 1 W ] = tr[n I p] = np n (X i µ 0) (W 0/n) 1 (X i µ 0) i=1 = tr[(w 0/n) 1 W 0] = tr[n I p] = np, on obtient que

Test du rapport de vraisemblance Λ (n) = W0/n n/2 W /n n/2 = W 0W 1 n/2 = (W + n( X µ 0)( X µ 0) )W 1 n/2, où on a obtenu W 0 = W + n( X µ 0)( X µ 0) en décomposant X i µ 0 en (X i X) + ( X µ 0). Le lemme suivant est très utile: Lemma Soit C R p p avec C > 0. Alors pour tout y R p C + yy = C (1 + y C 1 y).

Test du rapport de vraisemblance En utilisant le lemme, on voit que Λ (n) = 1 + n( X µ 0) W 1 ( X µ 0) n/2 = (1 + (n 1) 1 n( X µ 0) S 1 ( X µ 0)) n/2 = (1 + (n 1) 1 T 2 ) n/2. Les statistiques Λ (n) et T 2 sont donc en bijection. Par conséquent, les tests associés sont équivalents.

Test du rapport de vraisemblance Remarque: comme nous l avons rappelé, le test de rapport du vraisemblance associé consiste à rejeter H 0 : θ Θ 0 (au niveau asymptotique α) ssi 2 ln Λ (n) > χ 2 k k 0 ;1 α, c est-à-dire, dans ce cas, ssi (pour n grand) 2 ln Λ (n) 2 ln ( (1 + (n 1) 1 T 2 ) n/2) = n ln(1 + (n 1) 1 T 2 ) T 2 > χ 2 p;1 α, ce qui n est rien d autre que la version asymptotique du test de Hotelling.

Tests de Hotelling Autres propriétés du test de Hotelling: pour H 0 : µ = 0, la statistique de test T 2 (et par suite, le test lui-même) est invariante par transformations linéaires, ce qui signifie que T 2 (AX 1,..., AX n) = T 2 (X 1,..., X n) pour toute matrice A (p p) inversible (interprétation!) Cette invariance explique le fait que la loi de T 2 sous H 0 ne dépende pas de Σ... Par contre, il n y a pas invariance par rapport au groupe des translations (T 2 (X 1 + b,..., X n + b) = T 2 (X 1,..., X n) pour tout p-vecteur b). Heureusement! (commenter). Le test de Hotelling est UMPI ( uniformly most poweful invariant"), c est-à-dire que, pour tout test φ de niveau α et invariant par transformations linéaires, la puissance du test de Hotelling est supérieure à celle de φ en tout µ( µ 0).

3. Inférence dans les modèles gaussiens. 3.1. Sur le paramètre de position. 3.1.1. Estimateurs MLE. 3.1.2. Tests de Hotelling. 3.1.3. Zones de confiance. 3.1.4. Problèmes à plusieurs échantillons. 3.2. Sur le paramètre de dispersion. 3.3. Autres types de problèmes.

Zones de confiance Les résultats distributionnels de la section précédente permettent de construire des zones de confiance pour µ. Definition (Zones de confiance) On appelle un ensemble C (n) 1 α = C1 α(x1,..., Xn) Rp un zone de confiance pour un parametre θ au niveau (1 α) 100%, si P(C (n) 1 α contient θ) = 1 α. En effet, si X 1,..., X n i.i.d. N p(µ, Σ), on a vue [ ] P n( X µ) S 1 p(n 1) ( X µ) n p Fp,n p;1 α = 1 α.

Zones de confiance Par conséquent une zone de confiance (au niveau de confiance (1 α) 100%) est donnée par l ellipsoïde: { } C (n) 1 α := µ R p T 2 p(n 1) (µ) n p Fp,n p;1 α { } = µ R p d 2 S ( X, p(n 1) µ) n(n p) Fp,n p;1 α.

Zones de confiance De même, le fait que [ ] P T 2 (µ) χ 2 p;1 α 1 α, si n, implique, qu une zone de confiance (au niveau de confiance asymptotique (1 α) 100%) est donnée par l ellipsoïde C ( ) 1 α {µ } := R p T 2 (µ) χ 2 p;1 α = { µ R p d 2 S ( X, µ) 1 } n χ2 p;1 α. Remarque: tout comme le test de Hotelling asymptotique, cette procédure ne requiert pas la normalité des X i, mais seulement l existence de moments finis d ordre 2.

Exemple Ellipses de confiance exact (rouge) ( ) et asymptotique ( )(noir) pour X 1,..., X 10 4 5 3 (X 1,..., X 50) N 2(µ, Σ), où et Σ =. 3 3 2.25 X_2 2 0 2 4 6 8 10 2 0 2 4 6 8 10 X_2 2 0 2 4 6 8 10 X_1 2 0 2 4 6 8 10 X_1

Zones de confiance A ces zones de confiance elliptiques { } C (n) 1 α = µ R p d 2 S ( X, p(n 1) µ) (n p)n Fp,n p;1 α, il est souvent préféré en pratique des zones rectangulaires", qui livrent des intervalles de confiance pour chacune des composantes de µ = (µ 1,..., µ p). Bien entendu, il est facile de construire des intervalles de confiance pour toute combili a µ des composantes de µ (ici, a est un p-vecteur non nul fixé). puisque a X 1,..., a X n sont i.i.d. N 1(a µ, a Σa).

Zones de confiance On obtient en effet directement que C (n) 1 α {t (a) := R d 2 a Sa(a X, t) 1 }, n F1,n 1;1 α constitue une zone (un intervalle) de confiance à (1 α) 100% pour a µ. Cet intervalle de confiance se réécrit simplement a a X Sa ± n ou encore F1,n 1;1 α, a a X Sa ± n t n 1;1 α/2.

Zones de confiance Ainsi, un intervalle de confiance à (1 α) 100% pour µ i (i = 1,..., p) est donné par C i,(n) 1 α = ( X) (S) ii i ± n F1,n 1;1 α. Néanmoins, il faut insister sur le fait qu il s agit là d intervalles de confiance individuels, dans le sens où, s il est vrai que, i = 1,..., p, P [ µ i C1 α] i,(n) 1 α, il est faux (pour p 2) que [ ] P i = 1,..., p, µ i C i,(n) 1 α 1 α. Le zone rectangulaire C 1,(n) 1 α... C p,(n) 1 α n est donc pas une zone de confiance à (1 α) 100% pour µ.

Zones de confiance Question naturelle: Comment construire des intervalles de confiance simultanés? Nous aurons besoin du lemme suivant: Lemme Soit M une matrice p p symétrique et définie positive. Alors, a, b R p, (a b) 2 (a Ma)(b M 1 b). Preuve: Notons que a Ma = M 1/2 a 2 et que l inégalité de Cauchy-Schwarz donne (a b) 2 = (a M 1/2 M 1/2 b) 2 = M 1/2 a, M 1/2 b 2 M 1/2 a 2 M 1/2 b 2.

Zones de confiance Conséquence: pour tout a R p, on a (a ( X µ)) 2 (a Sa)(( X µ) S 1 ( X µ)), ou encore (a ( X µ)) 2 a Sa 1 n T 2 (µ), de sorte que P [ sup a (a ( X µ)) 2 a Sa (n 1)p n(n p) Fp,n p;1 α ] 1 α.

Zones de confiance Des intervalles de confiance simultanés (pour tout a R p ) pour a µ à (1 α) 100% sont donc donnés par (n 1)p a X ± n(n p) (a Sa) F p,n p;1 α. Ceux-ci sont à comparer aux intervalles de confiance individuels a a X Sa ± n F1,n 1;1 α, qui ont été obtenus plus haut.

Exemple Intervalles de confiance ( simultanés ) (noir) ( et individuels ) (rouge!) pour X 1,..., X 10 4 5 3 i.i.d. N 2(µ, Σ), où µ = et Σ =. 3 3 2.25 X_2 2 0 2 4 6 8 10 2 0 2 4 6 8 10 X_1

Exemple Intervalles de confiance ( simultanés ) (noir) ( et individuels ) (rouge!) pour X 1,..., X 50 4 5 3 i.i.d. N 2(µ, Σ), où µ = et Σ =. 3 3 2.25 X_2 2 0 2 4 6 8 10 2 0 2 4 6 8 10 X_1

3. Inférence dans les modèles gaussiens. 3.1. Sur le paramètre de position. 3.1.1. Estimateurs MLE. 3.1.2. Tests de Hotelling. 3.1.3. Zones de confiance. 3.1.4. Problèmes à plusieurs échantillons. 3.2. Sur le paramètre de dispersion. 3.3. Autres types de problèmes.

Problèmes à plusieurs échantillons Soient deux échantillons indépendants: X 1,..., X n1 i.i.d. N p(µ 1, Σ) et Y 1,..., Y n2 i.i.d. N p(µ 2, Σ). Nous considérons le problème de test { H0 : µ 1 = µ 2 H 1 : µ 1 µ 2. Remarque: plus généralement, on pourrait traiter le cas où les matrices de variance-covariance des deux échantillons sont différentes. Dans ce cas, les tests gaussiens fondent la règle de décision sur X Ȳ (et plus spécifiquement sur la distance entre X et Ȳ ).

Tests de Hotelling la statistique du test de Hotelling pour deux échantillons est ( T 2 1 = + 1 ) 1( ( X Ȳ ) S 1 n 1 n pool( X 1 Ȳ ) = + 1 ) 1d 2 Spool ( X, Ȳ ), 2 n 1 n 2 où X := 1 n 1 Ȳ := 1 n 2 n 1 i=1 n 2 i=1 n 1 X i, W x := (X i X)(X i X), i=1 n 2 Y i, W y := (Y i Ȳ )(Yi Ȳ ), i=1 et S pool := Wx + Wy n 1 + n 2 2. Et il convient de rejeter H 0 : µ 1 = µ 2 pour de grandes valeurs de T 2.

Tests de Hotelling (loi exacte) Le résultat suivant précise la loi exacte (sous H 0) de la statistique de test de Hotelling: Proposition: supposons que n 1 + n 2 p + 2. Alors sous H 0, n 1 + n 2 p 1 p(n 1 + n 2 2) T 2 F p,n1 +n 2 p 1. Le test de Hotelling exact consiste donc (au niveau α) à rejeter H 0 : µ 1 = µ 2 ssi n 1 +n 2 p 1 p(n 1 +n 2 2) T 2 > F p,n1 +n 2 p 1;1 α. Dans sa version asymptotique, ce test rejette H 0 : µ 1 = µ 2 ssi T 2 > χ 2 p;1 α. Dans ce cas, comme pour le problème à un échantillon, la normalité n est pas requise (seules l existence de moments finis d ordre 2 et l égalité des matrices de variance-covariance population le sont). Exercice: vérifier ceci en utilisant le TCL.

Tests de Hotelling Preuve de la proposition: comme dans le cas à un échantillon, la loi (sous H 0) de la statistique T 2 découle du lemme suivant: Lemme: soient Y N p(0, Σ) et V W p(m, Σ). Alors, si m p et Y V, Y V 1 Y F p,m p+1. m p+1 p En effet, sous H 0, X et Ȳ sont indépendantes et de loi respective N p(µ, 1 n 1 Σ) et N p(µ, 1 n 2 Σ) (où µ est la valeur commune de µ 1 et µ 2). Donc X Ȳ Np(0, ( 1 n 1 + 1 n 2 )Σ). D autre part, W x W p(n 1 1, Σ) et W y W p(n 2 1, Σ) sont aussi indépendantes, de sorte que (n 1 + n 2 2)S pool = W x + W y W p(n 1 + n 2 2, Σ). Le lemme fournit alors le résultat en prenant Y := ( 1 n 1 + 1 n 2 ) 1/2 ( X Ȳ ) et V := (n 1 + n 2 2)S pool.

Propriétés d invariance La statistique de test T 2 (et par suite, le test lui-même) est ici invariante par transformations linéaires et par translations : pour toute matrice A (p p) inversible et pour tout p-vecteur b, T 2 (AX 1 + b,..., AX n1 + b, AY 1 + b,..., AY n2 + b) = T 2 (X 1,..., X n1, Y 1,..., Y n2 ). Cette invariance affine explique le fait que la loi de T 2 sous H 0 ne dépende ni de la valeur de Σ, ni de la valeur commune de µ 1 = µ 2.

Test du rapport de vraisemblance Comme dans le cas à un échantillon, le test de Hotelling est essentiellement celui du rapport de vraisemblance gaussien: Théorème: soit Λ (n 1,n 2 ) la statistique du test du rapport de vraisemblance. Alors ( Λ (n 1,n 2 ) T 2 ) (n1 +n 2 )/2 = 1 +. n 1 + n 2 2 Preuve: exercice.

Remarque Pour ce problème, on a constamment supposé que les deux échantillons (X 1,..., X n1 ) et (Y 1,..., Y n2 ) sont indépendants. Si ce n est pas le cas, tout ce qui a été fait plus haut s effondre... Exemple classique: Supposons que les deux échantillons soient pairés : (X 1,..., X n) et (Y 1,..., Y n), où X i et Y i reprennent p mesures effectuées, avant et après traitement respectivement, sur un même individu. Dans ce cas, si on veut tester H 0 : µ 1 = µ 2, il convient d effectuer un test à un échantillon de H 0 : µ = 0 sur la série des différences (Y 1 X 1,..., Y n X n).

3. Inférence dans les modèles gaussiens. 3.1. Sur le paramètre de position. 3.1.1. Estimateurs MLE. 3.1.2. Tests de Hotelling. 3.1.3. Zones de confiance. 3.1.4. Problèmes à plusieurs échantillons. 3.2. Sur le paramètre de dispersion. 3.3. Autres types de problèmes.

Test d adéquation sur Σ Tous les tests suivants sont des test de rapport de vraisemblance. Je laisse les preuves pour les TP. Soient X 1,..., X n i.i.d. N p(µ, Σ). Considérons le problème de test { H0 : Σ = Σ 0 H 1 : Σ Σ 0, où Σ 0 une matrice p p symétrique et définie positive fixée. Dans ce cas, le test de rapport de vraisemblance rejette H 0 (au niveau asymptotique α) si 2 ln Λ (n) > χ 2 p(p+1)/2;1 α, où [ Λ (n) = e np/2 Σ 1 0 ˆΣ n/2 exp n 2 ] tr (Σ 1 0 ˆΣ).

Problème à deux échantillons Soient deux échantillons indépendants: X 1,..., X n1 i.i.d. N p(µ 1, Σ 1) et Y 1,..., Y n2 i.i.d. N p(µ 2, Σ 2). Pour le problème de test { H0 : Σ 1 = Σ 2 H 1 : Σ 1 Σ 2 le test de rapport de vraisemblance rejette H 0 (au niveau asymptotique α) si 2 ln Λ (n 1,n 2 ) > χ 2 p(p+1)/2;1 α, où Λ (n 1,n 2 ) = W x/n 1 n 1/2 W y /n 2 n 2/2 (W x + W y )/(n 1 + n 2) (n 1+n 2 )/2.

Test de sphéricité Soient X 1,..., X n i.i.d. N p(µ, Σ). Considérons le problème de test { H0 : λ > 0 tel que Σ = λi p H 1 : λ > 0, Σ λi p, qui consiste à tester la sphéricité des contours d équidensité sous-jacents. Dans ce cas, le test de rapport de vraisemblance rejette H 0 (au niveau asymptotique α) si ( ) S 2 ln Λ (n) > χ 2 1/p np/2, où p(p+1) 1;1 α Λ(n) =. 1 2 (tr S) p

Test de sphéricité Remarque: en écrivant ( λ1 S = OΛO λ2, où Λ :=... et où O est orthogonale, on obtient que λ p ) (Λ (n) ) 2/(np) = i λ1/p i, 1 p i λi qui n est autre que le quotient de la moyenne géométrique des valeurs propres de S par leur moyenne arithmétique (intuition).

3. Inférence dans les modèles gaussiens. 3.1. Sur le paramètre de position. 3.1.1. Estimateurs MLE. 3.1.2. Tests de Hotelling. 3.1.3. Zones de confiance. 3.1.4. Problèmes à plusieurs échantillons. 3.2. Sur le paramètre de dispersion. 3.3. Autres types de problèmes.

Test d indépendance Soient Z 1 = (X 1, Y 1),..., Z n = (X n, Y n) i.i.d. N p1 +p 2 (µ, Σ), où µ = ( ) ( ) µ 1 Σ µ et 2 Σ = 11 Σ 12 Σ 21 Σ 22. Considérons le problème de test { H0 : Σ 12 = 0 H 1 : Σ 12 0 qui ( dans cette situation gaussienne ) consiste à tester l indépendance entre X 1 et Y 1.

Test d indépendance Le test de rapport de vraisemblance rejette ici H 0 (au niveau asymptotique α) si 2 ln Λ (n) > χ 2 p 1 p 2 ;1 α, où avec S z := 1 n 1 i=1 Λ (n) = ( ) n/2 Sz, S x S y n ( Xi X ) ( Xi X ) ( ) Sx S xy Y i Ȳ Y i Ȳ =:. S yx S y