Statistique. Jean-Yves Tourneret (1) (1) Université of Toulouse, ENSEEIHT-IRIT-TéSA Thème 1 : Analyse et Synthèse de l Information jyt@n7.

Transcription

1 Statistique Jean-Yves Tourneret (1) (1) Université of Toulouse, ENSEEIHT-IRIT-TéSA Thème 1 : Analyse et Synthèse de l Information jyt@n7.fr Cours Statistique, 2010 p. 1/52

2 Plan du cours Chapitre 1 : Estimation Modèle statistique, qualités d un estimateur, exemples Inégalité de Cramér Rao Maximum de vraisemblance Méthode des moments Estimation Bayésienne Intervalles de confiance Chapitre 2 : Tests Statistiques Cours Statistique, 2010 p. 2/52

3 Bibliographie B. Lacaze, M. Maubourguet, C. Mailhes et J.-Y. Tourneret, Probabilités et Statistique appliquées, Cépadues, Athanasios Papoulis and S. Unnikrishna Pillai, Probability, Random Variable and Stochastic Processes, McGraw Hill Higher Education, 4th edition, Cours Statistique, 2010 p. 3/52

4 Modèle Statistique Observations x 1,...,x n Échantillon X 1,...,X n n va iid associées aux observations Estimateur θ(x 1,...,X n ) ou θ n ou θ Cours Statistique, 2010 p. 4/52

5 Qualités d un estimateur θ R Biais (erreur systématique) : b n (θ) = E Variance v n (θ) = E [ ( θn E ( θn )) 2 ] = E ( θn ) [ θ 2 n ] E Erreur quadratique moyenne (précision) [ ) ] 2 e n (θ) = E ( θn θ = v n (θ) + b 2 n(θ) θ ( θn ) 2 CS de convergence : θ n est un estimateur convergent si lim b n(θ) = lim v n(θ) = 0 n + n + Cours Statistique, 2010 p. 5/52

6 Qualités d un estimateur θ R p Biais b n (θ) = E ( θn ) θ R p Matrice de covariance E [ ( θn E ( θn )) ( θn E ( θn )) T ] Cours Statistique, 2010 p. 6/52

7 Exemples Exemple 1 : X i N(m,σ 2 ), θ = m et σ 2 connue Moyenne empirique θ n = 1 n X i n Autre estimateur θ n = i=1 2 n(n + 1) n ix i i=1 Exemple 2 : X i N(m,σ 2 ), θ = σ 2, m connue ou inconnue Exemple 3 : X i N(m,σ 2 ), θ = (m,σ 2 ) T Cours Statistique, 2010 p. 7/52

9 Inégalité de Cramér Rao Vraisemblance L(x 1,...,x n ;θ) = { X i va discrète : P[X 1 = x 1,...,X n = x n ] X i va continue : p(x 1,...,x n ) Inégalité pour θ R Définition ) Var ( θn E [1 + b n(θ)] 2 [ 2 ln L(X 1,...,X n ;θ) θ 2 ] = BCR(θ) BCR(θ) est appelée Borne de Cramér Rao de θ Hypothèses Log-vraisemblance deux fois dérivable et support de la loi indépendant de θ (contre-exemple : loi U[0,θ]) Cours Statistique, 2010 p. 9/52

10 Inégalité de Cramér Rao Estimateur ) Efficace : estimateur sans biais tel que Var ( θn = BCR(θ) (Il est unique!) Exemple : X i N(m,σ 2 ), θ = m et σ 2 connue Cas où (X 1,...,X n ) est un échantillon Var ( θn ) ne [1 + b n(θ)] 2 [ 2 ln L(X 1 ;θ) θ 2 ] = BCR(θ) Cours Statistique, 2010 p. 10/52

11 Cas multivarié Inégalité pour un estimateur non biaisé de θ R p ) Cov ( θ I 1 n (θ) [ ] avec I ij = E 2 ln L(X 1,...,X n ;θ) θ i θ j pour i,j = 1,...,p et A B signifie A B matrice semi définie positive x T (A B)x 0, x R p On en déduit Var ( θi ) [ I 1 n (θ) ] ii Exemple : X i N(m,σ 2 ), θ = (m,σ 2 ) T. Cours Statistique, 2010 p. 11/52

13 Méthode du Maximum de Vraisemblance Définition θ MV = arg max θ L(X 1,...,X n ;θ) Recherche du maximum pour θ R Si L(X 1,...,X n ;θ) est deux fois dérivable et si les bornes de la loi de X i sont indépendantes de θ L(X 1,...,X n ;θ) θ = 0 ou ln L(X 1,...,X n ;θ) θ = 0 On vérifie qu on a bien un maximum en étudiant ln L(X 1,...,X n ;θ) θ 0 ou 2 ln L(X 1,...,X n ; θ MV ) θ 2 < 0 Cours Statistique, 2010 p. 13/52

14 Méthode du Maximum de Vraisemblance Recherche du maximum pour θ R p L(X 1,...,X n ;θ) = 0 ou ln L(X 1,...,X n ;θ i ) θ i θ = 0 pour i = 1,...,p Exemples Exemple 1 : X i P(λ), θ = λ Exemple 2 : X i N(m,σ 2 ), θ = (m,σ 2 ) T Cours Statistique, 2010 p. 14/52

15 Propriétés Estimateur asymptotiquement non biaisé Estimateur convergent ] lim [ θmv E n + θ = 0 Estimateur asymptotiquement efficace ) ( θi lim n + Normalité Asymptotique Var [ I 1 n (θ) ] ii = 1 Cours Statistique, 2010 p. 15/52

16 Propriétés Invariance Fonctionnelle Si µ = h(θ), où h est une fonction bijective d un ouvert O R p dans un ouvert V R p, alors ) µ MV = h ( θmv Conclusions L estimateur du maximum de vraisemblance θ MV possède beaucoup de bonnes propriétés asymptotiques mais peut être difficile à étudier car il est la solution d un problème d optimisation. Cours Statistique, 2010 p. 16/52

18 Méthode des moments Définition : supposons que X 1,...,X n ont la même loi de paramètre inconnu θ R p. En général, le vecteur paramètre à estimer θ est lié aux premiers moments de la loi commune des va X i par une relation notée θ = h(m 1,...,m q ) avec m k = E[Xi k ] et q p. Un estimateur des moments de θ est défini par n θ Mo = h( m 1,..., m q ) avec m k = 1 n Exemple : X i N(m,σ 2 ), θ = (m,σ 2 ) T i=1 X k i Cours Statistique, 2010 p. 18/52

19 Propriétés Estimateur convergent Normalité Asymptotique Conclusion : peu de propriétés mais cet estimateur est généralement facile à étudier. Cours Statistique, 2010 p. 19/52

21 Estimation Bayésienne Principe : l estimation Bayésienne consiste à estimer un vecteur paramètre inconnu θ R p à l aide de la vraisemblance de X 1,...,X n (paramétrée par θ) et d une loi a priori ( p(θ). Pour cela, on minimise une fonction de coût c θ, θ ) qui représente l erreur entre θ et θ. Estimateur MMSE : l estimateur qui minimise l erreur ( quadratique moyenne c θ, θ ) [ ( = E θ θ ) ] 2 est θ MMSE = E (θ X 1,...,X n ) Remarque : p (θ x 1,...,x n ) est la loi a posteriori de θ Preuve : voir cours Cours Statistique, 2010 p. 21/52

22 Estimation Bayésienne Estimateur MAP : l estimateur du maximum a posteriori (MAP) est défini par θ MAP = arg max θ p(θ X 1,...,X n ) Cet estimateur minimise la fonction de coût ( c θ, θ ) 1 si θ θ > = 0 si θ θ < avec arbitrairement petit. Preuve : voir livre de H. Van Trees Cours Statistique, 2010 p. 22/52

23 Exemple Vraisemblance Loi a priori Loi a posteriori X i N(θ,σ 2 ) θ N(µ,ν 2 ) θ X 1,...,X n N ( m p,σp 2 ) Estimateurs Bayésiens θ MAP = θ MMSE = m p = X ( nν 2 nν 2 + σ 2 ) + µ ( σ 2 ) σ 2 + nν 2 Cours Statistique, 2010 p. 23/52

25 Intervalles de confiance Principe : un intervalle de confiance [a,b] pour le paramètre θ R est un intervalle tel que P[a < θ < b] = α, où α est le paramètre de confiance (en général α = 0.99 ou α = 0.95). Détermination pratique de l intervalle : on cherche un estimateur de θ noté θ (par la méthode des moments, du maximum de vraisemblance,...), on en déduit une statistique T(X 1,...,X n ) qui dépend de θ de loi connue, on cherche c(θ) et d(θ) tels que P[c(θ) < T(X 1,...,X n ) < d(θ)] = α On en déduit l intervalle [a, b]. Cours Statistique, 2010 p. 25/52

26 Exemples Exemple 1 : X i N(m,σ 2 ), m inconnue, σ 2 connue. T = 1 n n i=1 X i m σ/ n N(0, 1) Exemple 3 : X i N(m,σ 2 ), IC pour m, σ 2 inconnue. donc T N(0, 1) et U = 1 n ( Xi σ 2 X ) 2 χ 2 n 1 T U n 1 i=1 t n 1 suit une loi de Student à n 1 degrés de liberté. Cours Statistique, 2010 p. 26/52

27 Plan du cours Chapitre 1 : Estimation Chapitre 2 : Tests Statistiques Généralités, exemple Courbes COR Théorème de Neyman Pearson Test du rapport de vraisemblance généralisé Test du χ 2 Test de Kolmogorov Cours Statistique, 2010 p. 27/52

28 Généralités Principe : un test statistique est un mécanisme qui permet de décider entre plusieurs hypothèses H 0,H 1,... à partir de n observations x 1,...,x n. On se limitera dans ce cours à deux hypothèses H 0 et H 1. Effectuer un test, c est déterminer une statistique de test T(X 1,...,X n ) et un ensemble tel que H 0 rejetée si T(X 1,...,X n ) H 0 acceptée si T(X 1,...,X n ) /. (1) Vocabulaire H 0 est l hypothèse nulle H 1 est l hypothèse alternative {(x 1,...,x n ) T(x 1,...,x n ) } : région critique Cours Statistique, 2010 p. 28/52

29 Définitions Tests paramétriques et non paramétriques Hypothèses simples et hypothèses composites Risque de première espèce = probabilité de fausse alarme α = PFA = P[Rejeter H 0 H 0 vraie] Risque de seconde espèce = probabilité de non-détection β = PND = P[Rejeter H 1 H 1 vraie] Puissance du test = probabilité de détection : π = 1 β Cours Statistique, 2010 p. 29/52

30 Exemple Hypothèses X i N(m,σ 2 ), σ 2 connue Stratégie du test H 0 : m = m 0, H 1 : m = m 1 > m 0 Rejet de H 0 si X = 1 n n i=1 X i > S α Problèmes Déterminer le seuil S α, le risque β et la puissance du test π. Cours Statistique, 2010 p. 30/52

32 Courbes COR Caractéristiques opérationnelles du récepteur PD = h(pfa) Exemple : X i N(m,σ 2 ), σ 2 connue H 0 : m = m 0, H 1 : m = m 1 > m 0 Probabilité de fausse alarme S α = m 0 + σ F 1 (1 α) n Probabilité de détection PD = π = F ( ) S α m 1 σ n Cours Statistique, 2010 p. 32/52

33 Représentation graphique ROC s for iid and correlated sequences Probability of Detection iid sequence λ 1 =22 correlated sequence λ 1 =22 iid sequence λ 1 =23 correlated sequence λ 1 = Probability of False Alarm Cours Statistique, 2010 p. 33/52

35 Théorème de Neyman-Pearson Test paramétrique à hypothèses simples H 0 : θ = θ 0 et H 1 : θ = θ 1 (2) Variables aléatoires continues Théorème : à α fixé, le test qui minimise β (ou maximise π) est défini par Rejet de H 0 si L(x 1,...,x n H 1 ) L(x 1,...,x n H 0 ) > S α Remarque : L(x 1,...,x n H i ) = f(x 1,...,x n θ i ) Exemple : X i N(m,σ 2 ), σ 2 connue H 0 : m = m 0, H 1 : m = m 1 > m 0 Cours Statistique, 2010 p. 35/52

36 Résumé Effectuer un test de Neyman-Pearson, c est 1) Déterminer la statistique et la région critique du test 2) Déterminer la relation entre le seuil S α et le risque α 3) Calculer le risque β et la puissance π du test (ou la courbe COR) 4) Application numérique : on accepte ou rejette l hypothèse H 0 en précisant le risque α donné Cours Statistique, 2010 p. 36/52

37 Théorème de Neyman-Pearson Variables aléatoires discrètes Théorème : parmi tous les tests de risque de première espèce α fixé, le test de puissance maximale est défini par Remarque : Rejet de H 0 si L(x 1,...,x n H 1 ) L(x 1,...,x n H 0 ) > S α L(x 1,...,x n H i ) = P [X 1 = x 1,...,X n = x n θ i ] Exemple : X i P(λ), H 0 : λ = λ 0, H 1 : λ = λ 1 > λ 0 Loi asymptotique : quand n est suffisamment grand, utilisation du théorème de la limite centrale Cours Statistique, 2010 p. 37/52

39 Test du rapport de vraisemblance généralisé Test paramétrique à hypothèses composites H 0 : θ Θ 0 et H 1 : θ Θ 1 (3) Définition (Test GLR) Rejet de H 0 si L L ) (x 1,...,x n θ MV 1 (x 1,...,x n θ MV 0 ) > S α MV MV où θ 0 et θ 1 sont les estimateurs du maximum de vraisemblance de θ sous les hypothèses H 0 et H 1. Remarque L ) (x 1,...,x n θ MV i = sup θ Θ i L (x 1,...,x n θ) Cours Statistique, 2010 p. 39/52

41 Test du χ 2 Le test du χ 2 est un test non paramétrique d ajustement (ou d adéquation) qui permet de tester les deux hypothèses suivantes H 0 : L = L 0, H 1 : L L 0 où L 0 est une loi donnée. Le test consiste à déterminer si (x 1,...,x n ) est de loi L 0 ou non. On se limitera dans ce cours au cas simple où x i R. Définition Rejet de H 0 si φ n = K k=1 (Z k np k ) 2 np k > S α Remarque : L 0 peut être une loi discrète ou continue Cours Statistique, 2010 p. 41/52

42 Test du χ 2 Statistique de test Z k : nombre d observations x i appartenant à la classe C k, k = 1,...,K p k : probabilité qu une observation x i appartienne à la classe C k sachant X i L 0 P [X i C k X i L 0 ] n : nombre total d observations Loi de la statistique de test φ n L n χ 2 K 1 Cours Statistique, 2010 p. 42/52

43 Remarques Interprétation de φ φ n = K k=1 n p k ( ) 2 Zk n p k Distance entre probabilités théoriques et empiriques Loi asymptotique de φ n : voir notes de cours ou livres Nombre d observations fini Une heuristique dit que la loi asymptotique de φ n est une bonne approximation pour n fini si 80% des classes vérifient np k 5 et si p k > 0, k = 1,...,K Classes équiprobables Cours Statistique, 2010 p. 43/52

44 Remarques Correction Lorsque les paramètres de la loi L 0 sont inconnus φ n L n χ 2 K 1 n p où n p est le nombre de paramètres inconnus estimés par la méthode du maximum de vraisemblance Puissance du test Non calculable Cours Statistique, 2010 p. 44/52

45 Exemple Est-il raisonnable de penser que ces observations sont issues d une population de loi N (1, 4)? Solution Classes C 1 : ], 0.34],C 2 : ] 0.34, 1],C 3 : ]1, 2.34],C 4 : ]2.34, [ Nombres d observations Z 1 = 7, Z 2 = 12, Z 3 = 10, Z 4 = 11 Cours Statistique, 2010 p. 45/52

46 Exemple Statistique de test φ n = 1.4 Seuils χ 2 2 χ 2 3 S S donc on accepte l hypothèse H 0 avec les risques α = 0.01 et α = Cours Statistique, 2010 p. 46/52

48 Test de Kolmogorov Le test de Kolmogorov est un test non paramétrique d ajustement (ou d adéquation) qui permet de tester les deux hypothèses suivantes H 0 : L = L 0, H 1 : L L 0 où L 0 est une loi donnée. Le test consiste à déterminer si (x 1,...,x n ) est de loi L 0 ou non. On se limitera dans ce cours au cas simple où x i R. Définition Rejet de H 0 si D n = sup F(x) F 0 (x) > S α x R Remarque : L 0 doit être une loi continue Cours Statistique, 2010 p. 48/52

49 Remarques Statistique de test F 0 (x) est la fonction de répartition théorique associée à L 0 et F(x) est la fonction de répartition empirique de (x 1,...,x n ) Loi asymptotique de D n : voir livres P[ nd n < y] n + k= ( 1) k exp( 2k 2 y) = K(y) Détermination du seuil S α : S α = 1 n K 1 (1 α) Le seuil dépend de α et de n. Cours Statistique, 2010 p. 49/52

50 Remarques Calcul de D n E + i = F ( x + i D n = max i {1,...,n} max{e+ i,e i } ) F0 (x i), E i = F ( x i ) F0 (x i) Rq : x 1,...,x n est la statistique d ordre de x 1,...,x n. Rq : F ( x + ) ( ) i = i/n et F x i = (i 1)/n. Puissance du test Non calculable Cours Statistique, 2010 p. 50/52

51 Exemple Est-il raisonnable de penser que ces observations sont issues d une population de loi uniforme sur [0, 1]? x i E i E + i Max(E + i, E i ) x i E i E + i e 3 Max(E + i, E i ) Cours Statistique, 2010 p. 51/52

52 Exemple Statistique de test D n = 0.17 Seuils pour n = 20 S S donc on accepte l hypothèse H 0 avec les risques α = 0.01 et α = Cours Statistique, 2010 p. 52/52