Statistiques mathématiques : cours 1

Transcription

1 Statistiques mathématiques : cours 1 Guillaume Lecué 4 septembre /54 1/54

2 Organisation 9 cours de 2h (18h) Guillaume Lecué guillaume.lecue@ensae.fr Les lundis de 17h à 19h et jeudis de septembre de 10h30 à 12h30 (du lundi 4/09 au lundi 2 octobre). (Pas cours les vendredis 22/09 et 29/09 ni jeudi 5/10.) Slides du cours et recueil d exos et annales téléchargeables à 6 TD (12h) Alexander Buchholz Les mardis 26/09 et 3/10 et les mercredis 20/09 et 4/10 de 8h45 à 12h. Examen Fin octobre/ début novembre 2/54 2/54

3 Présentation (succinte) du cours de stats math Echantillonnage et modélisation statistique. Fonction de répartition empirique (2 cours) Méthodes d estimation classiques (2 cours) Information statistique, théorie asymptotique pour l estimation (2 cours) Décision statistique et tests (2 cours) Compléments sur le modéle linéaire et statistiques Bayésiennes(1 cours) 3/54 3/54

4 Aujourd hui Organisation du cours Echantillonnage et modélisation statistique Données d aujourd hui Expérience statistique Modéle statistique Fonction de répartition empirique et théorème fondamentale de la statistique Loi d une variable aléatoire Fonction de répartition empirique Approche non-asymptotique 4/54 4/54

5 Les données d aujourd hui : fichiers (en local).csv ou.txt Les chiffres du travail Taux d activité par tranche d âge hommes vs. femmes 5/54 5/54

6 Les données d aujourd hui : séries temporelles Le monde de la finance 6/54 6/54

7 Les données d aujourd hui : grandes matrices Biopuces et analyse d ADN 7/54 7/54

8 Les donne es d aujourd hui : graphes acteurs de se ries 8/54 8/54

9 Les données d aujourd hui : le métier en data science Problèmatique : stockage, requettage : expertise en base de données data jujitsu, data massage data-vizualization (Gephi, Tulip, widget python, power BI, etc.) mathématiques : modélisation (statistiques) construction d estimateurs implémentation d algorithmes Python, R, H2O, TensorFlow, vowpal wabbit, spark,..., github,... Pour s entrainer aux métiers en data science : notebooks python Coursera 9/54 9/54

10 Objectif du cours statistiques mathématiques 1. Construire des modèles statistiques pour des données classiques 2. Construire des estimateurs / tests classiques 3. Connaître leurs propriétés statistiques et les outils mathématiques qui permettent de les obtenir 0/54 10/54

11 Problématique statistique 1) Point de départ : données (ex. : des nombres réels) x 1,..., x n 2) Modélisation statistique : les données sont des réalisations X 1(ω),..., X n(ω) de v.a.r. X 1,..., X n. (autrement dit, pour un certain ω, X 1(ω) = x 1,..., X n(ω) = x n) La loi P (X 1,...,X n) de (X 1,..., X n) est inconnue, mais appartient à une famille donnée (a priori) { P n θ, θ Θ } : le modéle On pense qu il existe θ Θ tel que P (X1,...,Xn) = P n θ. 3) Problématiques : à partir de l observation X 1,..., X n, peut-on estimer θ? tester des propriétés de θ? 1/54 11/54

12 Problématique statistique (suite) θ est le paramètre et Θ l ensemble des paramètres. Estimation : à partir de X 1,..., X n, construire ϕ n (X 1,..., X n ) qui approche au mieux θ. Test : à partir des données X 1,..., X n, établir une décision T n (X 1,..., X n ) {ensemble de décisions} concernant une hypothèse sur θ. Definition Une statistique est une fonction mesurable des données!attention! Une statistique ne peut pas dépendre du paramètre inconnu : une statistique se construit uniquement à partir des données! 12/54 12/54

13 Exemple du pile ou face On lance une pièce de monnaie 18 fois et on observe (P = 0, F = 1) 0, 0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0 Modéle statistique : on observe n = 18 variables aléatoires (X i ) 18 i=1 indépendantes, de Bernoulli de paramètre inconnu θ Θ = [0, 1]. Estimation. Estimateur X18 = 1 18 précision? 18 i=1 X ici i = 8/18 = Quelle Test. Décision à prendre : la pièce est-elle équilibrée?. Par exemple : on compare X 18 à 0.5. Si X petit, on accepte l hypothèse la pièce est équilibrée. Sinon, on rejette. Quel seuil choisir, et avec quelles conséquences (ex. probabilité de se tromper). 3/54 13/54

14 Echantillonnage = répétition d une même expérience L expérience statistique la plus centrale : on observe la réalisation de X 1,..., X n, v.a. où les X i sont indépendantes, identiquement distribuées (i.i.d.), de même loi commune P X {P θ : θ Θ}. problème : à partir des données X 1,..., X n que dire de la loi P X commune aux X i? (moyenne, moments, symétrie, densité, etc.) 4/54 14/54

15 Expérience statistique Consiste à déterminer : l espace des observations Z (ex. : Z = {0, 1} 18 ) C est l espace où vivent les observations Une tribu : Z (on modélise les données comme des réalisations de variables aléatoires...) (ex. : Z = P(Z) = tous les sous-ensembles de Z) Une famille de lois = modéle {P θ, θ Θ} (ex. : P θ = P n θ = (θδ 1 + (1 θ)δ 0 ) 18 ) 5/54 15/54

16 Expérience statistique Definition Une expérience statistique E est un triplet où E = ( Z, Z, { P θ, θ Θ }) ( Z, Z ) espace mesurable (ex. : (R n, B(R n ))), {P θ, θ Θ} famille de probabilités définies simultanément sur le même espace ( Z, Z ). 16/54 16/54

17 Modéles statistiques (jargon) {P θ, θ Θ} est appelé modéle quand il existe k tel que Θ R k, on parle de modéle paramétrique quand θ est un paramètre infini dimensionnel, on parle de modéle non-paramétrique (ex. : densité) quand θ = (f, θ 0 ) où f est infini dimensionnel (souvent, paramètre de nuisance) et θ 0 R k (paramètre d intérêt), on parle de modéle semi-paramétrique quand θ Θ P θ est injectif, on dit que le modéle est identifiable 17/54 17/54

18 Modéles statistiques Question centrale en statistiques : Quel modéle est le plus adapté à ces données? Il existe deux manières équivalentes de définir un modéle : 1. soit en se donnant une famille de loi {P θ, θ Θ} 2. soit en se donnant une équation 8/54 18/54

19 Exemple de modéle/modélisation (1) On observe un n-uplet de variables aléatoires réelles : Z = (X 1,..., X n ) On peut modéliser ces observations de deux manières (équivalentes) : Famille de lois : {P θ : θ R}, par exemple, P θ = ( N (θ, 1) ) n Par une équation : pour tout i 1,..., n, X i = θ + g i où g 1,..., g n sont n variables aléatoires Gaussiennes centrées réduites indépendantes. 19/54 19/54

20 Exemple de modéle/modélisation (2) On observe un n-uplet de variables aléatoires réelles : Z = (X 1,..., X n ) On peut modéliser ces observations de deux manières (équivalentes) : Par une équation : X 1 = g 1 et pour tout i 1,..., n 1, X i+1 = θx i + g i où g 1,..., g n sont iid N (0, 1). Famille de lois : {P θ : θ R} où P θ = f θ.λ n où λ n est la mesure de Lebesgue sur R n et f θ (x 1,..., x n ) = f (x 1 )f (x 2 θx 1 ) f (x n θx n 1 ) et f (x) = exp( x 2 /2) 2π. 20/54 20/54

21 Pourquoi modéliser? Données Problème concrêt Modélisation Pourquoi modéliser? : 1) Outils mathématiques 2) Résultats mathématiques 3) Algorithmes Processus stochastique Problème mathématique 21/54 21/54

22 3 modèles (non-paramétriques) classiques 1. Modéle de densité : on observe un n-échantillon X 1,..., X n de v.a.r. de densité f tel que f C où C est une classe de densités sur R (Lebesgue). 2. Modéle de régression : on observe un n-échantillon de couples (X i, Y i ) n i=1 tel que Y i R, X i R d et Y i = f (X i ) + ξ i où ξ i sont des v.a.r.i.i.d. indépendantes des X i et f C. quand f (Xi ) = θ, X i : modéle de regression linéaire, et quand ξi N (0, σ 2 ) : modéle linéaire Gaussien 3. modéle de classification : on observe un n-échantillon (X i, Y i ) n i=1 tel que Y i {0, 1} et X i X. Par ex. : P[Y i = 1 X i = x] = σ( x, θ ) où σ(x) = (1 + e x ) 2/54 22/54

23 Partie 2 Fonction de répartition empirique et théorème fondamentale de la statistique 3/54 23/54

24 Question fondamentale Considérons le modéle d échantillonnage sur R : on observe X 1,..., X n qui sont i.i.d. de loi commune P X. Rem. : Comme la loi de l observation (X 1,..., X n ) est P n X, se donner un modéle est ici (pour le modéle d échantillonnage) équivalent à se donner un modéle sur P X. Par exemple : P X {N (θ, 1) : θ R} Question fondamentale On considère le modéle total = P X { toutes les lois sur R}, est-il possible de connaître exactement P X quand le nombre n de données tends vers? 24/54 24/54

25 Rappel : loi d une variable aléatoire réelle Definition X : ( Ω, A, P ) ( R, B ) Loi de X : mesure de probabilité sur (R, B), notée P X, définie par P X [ A ] = P[X A], A B. Formule d intégration E [ ϕ(x ) ] = ϕ ( X (ω) ) P(dω) = ϕ(x) P X (dx) pour toute fonction test ϕ. Ω R 25/54 25/54

26 Loi d une variable aléatoire (1/4) Exemple 1 : X suit la loi de Bernoulli de paramètre 1/3 La loi de X est décrite par P [ X = 1 ] = 1 3 = 1 P [ X = 0 ] Ecriture de P X : P X = 1 3 δ δ 0 Formule de calcul (ϕ fonction test) E [ ϕ(x ) ] = ϕ(x) P X (dx) R = 1 3 ϕ(x)δ 1 (dx) ϕ(x)δ 0 (dx) R = 1 3 ϕ(1) ϕ(0) R 26/54 26/54

27 Loi d une variable aléatoire (2/4) Exemple 2 : X loi de Poisson de paramètre 2 La loi de X est décrite par P [ X = k ] = 2k k! e 2, k = 0, 1,... Ecriture de P X : P X = e 2 k N 2 k k! δ k Formule de calcul (ϕ fonction test) E [ ϕ(x ) ] = ϕ(x) P X (dx) = e 2 ϕ(k) 2k k! R k N 27/54 27/54

28 Loi d une variable aléatoire (3/4) Exemple 3 : X N (0, 1) (loi normale standard). La loi de X est décrite par P [ X [a, b] ] = Ecriture de P X : e x 2 /2 dx 2π [a,b] λ : mesure de Lebesgue Formule de calcul E [ ϕ(x ) ] = P X = f.λ où f (x) = 1 2π e x 2 /2 R ϕ(x) P X (dx) = R ϕ(x)e x 2 /2 dx 2π 28/54 28/54

29 Loi d une variable aléatoire (4/4) Exemple 4 : X = min(z, 1), où la loi de Z a une densité f par rapport à la mesure de Lebesgue sur R. Ecriture de P X : P X = g.λ + P [ Z 1 ] δ 1, où g(x) = f (x)i ( x < 1 ), x R. Formule de calcul E [ ϕ(x ) ] = 1 ϕ(x)f (x)dx + P [ Z 1 ] ϕ(1) 29/54 29/54

30 Fonction de répartition Les lois sont des objets compliquées. On peut néanmoins les caractériser par des objets plus simples. Definition Soit X variable aléatoire réelle. La fonction de répartition de X est : F (x) := P [ X x ], x R. F est croissante, cont. à droite, F ( ) = 0, F (+ ) = 1 F caractérise la loi P X : P X [ (a, b] ] = P [ a < X b ] = F (b) F (a) Si F est dérivable alors P X << λ et f X = F Désormais, la loi de X désignera indifféremment F ou P X. 30/54 30/54

31 Retour sur la question fondamentale On observe X 1,..., X n i.i.d. F, F fonction de répartition quelconque, inconnue. Question : Est-il possible de retrouver exactement F quand n tends vers? Idée : On va chercher à estimer F sur R. Soit x R. F (x) = P[X x] est la probability que X soit plus petit que x. On va alors compter le nombres de X i qui sont plus petit que x et diviser par n : 1 n n I (X i x). i=1 31/54 31/54

32 Fonction de répartition empirique Definition Fonction de répartition empirique associée au n-échantillon (X 1,..., X n ) : F n (x) = 1 n n I ( X i x ), x R. i=1 (C est une fonction aléatoire) 32/54 32/54

33 Propriétés asymptotiques de F n (x) Pour tout x R : F n (x) p.s. F (x) quand n C est une conséquence de la loi forte des grands nombres appliquée à la suite de v.a.r.i.i.d. ( I (X i x) ) i. On dit que F n (x) est un estimateur fortement consistant de F (x). 33/54 33/54

34 Propriétés asymptotiques de F n Theorem (Glivenko-Cantelli) F n F p.s. 0 quand n Aussi appelé Théorème fondamental de la statistique. Interprétation : Avec un nombre infini de données dans le modéle d échantillonnage, on peut donc reconstruire exactement F et donc déterminer exactement la loi des observations. 34/54 34/54

35 Notebooks Glivenko-Cantelli 5/54 35/54

36 Autres propriétés asymptotiques de F n (x) Soit x R. On sait que si n alors F n (x) p.s. F (x) Question : Quelle est la vitesse de convergence de F n (x) vers F (x)? Outil : Théorème central-limite appliqué à la suite de v.a.r.i.i.d. ( I (Xi x) ) i : n ( Fn (x) F (x) ) d N ( 0, F (x)(1 F (x)) ) On dit que F n (x) est asymptotiquement normal de variance asymptotique F (x)(1 F (x). 36/54 36/54

37 TCL et intervalle de confiance asymptotique On a montré par le TCL que pour tout 0 < α < 1, quand n, [ P Fn (x) F (x) ] σ(f ) cα exp( x 2 /2) dx = α n x >c α 2π où σ(f ) = F (x)(1 F (x)) et c α = Φ 1 (1 α/2). Attention! ceci ne fournit pas un intervalle de confiance : σ(f ) = F (x) 1/2( 1 F (x) ) 1/2 est inconnu! Solution : remplacer σ(f ) par σ( F n ) = F n (x) 1/2( 1 F n (x) ) 1/2 (qui est observable), grâce au lemme de Slutsky. 7/54 37/54

38 TCL et intervalle de confiance asymptotique Proposition Pour tout α (0, 1), I asymp n,α = [ F n (x) ± F n (x) 1/2( 1 F n (x) ) ] 1/2 Φ 1 (1 α/2) n est un intervalle de confiance asymptotique pour F (x) au niveau de confiance 1 α : P [ F (x) In,α asymp ] 1 α. 38/54 38/54

39 Notebooks Glivenko-Cantelli 9/54 39/54

40 Vitesse de convergence dans le Théorème de Glivenko-Cantelli Theorem (Théorème de Kolmogorov-Smirnov) Soit X une v.a.r. de fonction de répartition F qu on suppose continue et (X n ) n une suite de v.a.r. i.i.d. de même loi que X alors : d n Fn F K où K est une variable aléatoire telle que pour tout x R P[K x] = 1 2 ( 1) k+1 exp( 2k 2 x 2 ) k=1 Utile pour le test de Kolmogorov-Smirnov version non-asymptotique de ce résultat : quand F est continue, la loi de F n F est indépendante de F 0/54 40/54

41 résultats asymptotiques et non-asymptotiques On classe les résultats statistiques en deux catégories : 1. Un résultat obtenu quand n tend vers l infini est un résultat dit asympotique 2. Un résultat obtenu à n fixé est un résultat dit non-asympotique 41/54 41/54

42 Estimation non-asymptotique de F (x) par F n (x) Soit 0 < α < 1 donné (petit). On veut trouver ε, le plus petit possible, de sorte que P [ F n (x) F (x) ε ] α. On a (Tchebychev) P [ F n (x) F (x) ε ] 1 ε 2 Var[ Fn (x) ] = F (x)( 1 F (x) ) nε 2 1 4nε 2 α Conduit à ε = 1 2 nα 42/54 42/54

43 Intervalle de confiance non-asymptotique Conclusion : pour tout n 1 et tout α > 0, [ P F n (x) F (x) 1 ] 2 α. nα Terminologie L intervalle I n,α = [ F n (x) ± 1 ] 2 nα est un intervalle de confiance non-asymptotique pour F (x) au niveau de confiance 1 α. 43/54 43/54

44 Inégalité de Hoeffding Proposition Y 1,..., Y n v.a.r.i.i.d. telles que a Y 1 b p.s.. Alors [ ] 1 n ( ) P Y i E Y 1 t 2 exp 2nt2 n (a b) 2 i=1 Application : on fait Y i = I (x i x) et p = F (x). On en déduit P [ Fn (x) F (x) ε ] 2 exp( 2nε 2 ). On résout en ε : soit 2 exp( 2nε 2 ) = α, ε = 1 2n log 2 α. 44/54 44/54

45 Comparaison Tchebychev vs. Hoeffding Nouvel intervalle de confiance I hoeffding n,α = [ ] 1 F n (x 0 ) ± 2n log 2 α à comparer avec [ In,α tchebychev = F n (x 0 ) ± 1 ] 2 nα Même ordre de grandeur en n. Gain significatif dans la limite α 0. 45/54 45/54

46 Observation finale Comparaison des longueurs des 3 intervalles de confiance : Tchebychev (non-asymptotique) 2 n 1 2 α Hoeffding (non-asymptotique) 2 n 1 2 log 2 α TCL (asymptotique) 2 n Fn (x 0 ) 1/2( 1 F n (x 0 ) ) 1/2 Φ 1 (1 α/2). La longueur la plus petite est celle fournie par le TCL. Mais la longueur de l intervalle de confiance fournie par l inégalité de Hoeffding est comparable à celle du TCL en n et α (dans la limite α 0). 6/54 46/54

47 Version non-asymptotique de Kolmogorov-Smirnov X 1,..., X n i.i.d. de loi F continue, F n leur fonction de répartition empirique. Proposition (Inégalité de Dvoretsky-Kiefer-Wolfowitz) Pour tout ε > 0. P [ sup Fn (x) F (x) ] ( ε 2 exp 2nε 2 ). x R Résultat difficile (théorie des processus empiriques). Permet de construire des régions de confiance avec des résultats similaires au cadre ponctuel : [ P x R, F (x) [ Fn 1 (x) ± 2n log α] ] 2 1 α 47/54 47/54

48 Rappels de probabilités 8/54 48/54

49 Tribus et mesures de probabilité Soit Z un ensemble. 1. Une tribu Z sur Z est un ensemble de parties de Z tel que : Z est stable par union et intersection dénombrable Z est stable par passage au complémentaire Z Z Les éléments de Z sont appelés des événements. 2. Une mesure de probabilité sur (Z, Z) est une appplication P : Z [0, 1] telle que P[Z] = 1 Si (An) est une famille dénombrable d événements disjoints alors P [ ] n A n = P[A n] Le dernier point est aussi équivalent à : pour (A n ) une suite croissante d événements on a P(A n ) P( A n ). n 9/54 49/54

50 Type de convergence de suite de variables aléatoires Soit (Z n ) une suite de variable aléatoires et Z une variable aléatoire à valeurs dans (R, B) (toutes définies sur un espace probabilisé (Ω, F, P)). 1. (Z n ) converge en loi vers Z, noté Z n d Z, quand pour pour toute fonction continue bornée f : R R on a E f (Z n ) E f (Z) 2. (Z n ) converge en probabilité, vers Z, noté Z n P Z, quand pour tout ɛ > 0, P [ Z n Z ɛ ] 0 3. (Z n ) converge presque surement vers Z, noté Z n p.s. Z, quand il existe un événement Ω 0 F tel que P[Ω 0 ] = 1 et pour tout ω Ω 0 Z n (ω) Z(ω) 0/54 50/54

51 Loi forte des grands nombres Theorem Soit (X n ) une suite de v.a.r.i.i.d. telle que E X 1 <. Alors 1 n n i=1 X i p.s. E X 1 Il y a aussi une équivalence ( à ce résultat : si (X n ) est une suite de ) 1 n v.a.r.i.i.d. telle que n i=1 X i converge presque surement alors n E X 1 < et elle converge presque surement vers E X 1. 51/54 51/54

52 Théorème central-limite Theorem Soit (X n ) une suite de v.a.r.i.i.d. telle que E X 2 1 <. Alors n ( 1 σ n n ) d X i E X 1 N (0, 1) i=1 TCL : vitesse dans la loi des grands nombres. Interprétation du TCL : 1 n n Y i = µ + σ ξ (n), ξ (n) d N (0, 1). n i=1 Le mode de convergence est la convergence en loi. Ne peut pas avoir lieu en probabilité. 52/54 52/54

53 Lemme de Slutsky Le vecteur (X n, Y n ) d (X, Y ) si E [ ϕ(x n, Y n ) ] E [ ϕ(x, Y ) ], pour ϕ continue bornée. d d Attention! Si X n X et Yn Y, on n a pas en général (X n, Y n ) d (X, Y ). d P Mais (lemme de Slutsky) si X n X et Yn c (constante), alors (X n, Y n ) d (X, Y ). Par suite, sous les hypothèses du lemme, pour toute fonction continue g, on a g(x n, Y n ) d g(x, Y ). 3/54 53/54

54 Continuous map theorem Soit f : R R une fonction continue et (X n ) une suite de v.a.r. 1. si (X n ) converge en loi vers X alors f (X n ) converge en loi vers f (X ) 2. si (X n ) converge en probabilité vers X alors f (X n ) converge en probabilité vers f (X ) 3. si (X n ) converge p.s. vers X alors f (X n ) converge p.s. vers f (X ) 54/54 54/54