cours 1 2 septembre 2015 Rappels de statistiques mathématiques : : cours 1 Guillaume Lecué Agenda Echantillonnage et modélisation statistique

Transcription

1 /55 s s : cours 1 2 septembre 2015

2 2/55 Aujourd hui 1 2 Données d aujourd hui Expérience Modéle 3 Approche non-asymptotique s

3 /55 Organisation Cours Les lundis mercredis de septembre de 11h à 13h TD Vincent Cott Les lundis de septembre les vendredis septembre de 14h à 16h. Examen s Fin octobre/ début novembre

4 4/55 Présentation (succinte) du cours de rappels stats s. (2 cours) Méthodes d estimation classiques (2 cours) Information, théorie asymptotique pour l estimation (2 cours) Décision tests (2 cours) Compléments sur le modéle linéaire s Bayésiennes(1 cours)

5 5/55 Plan s Données fonction de

6 6/55 Les données d aujourd hui : fichiers (en local).csv ou.txt Les chiffres du travail Taux d activité par tranche d âge hommes vs. femmes s Données d aujourd hui Expérience Modéle

7 /55 Les données d aujourd hui : séries temporelles Le monde finance s Données d aujourd hui Expérience Modéle

8 8/55 Les données d aujourd hui : grandes matrices Biopuces analyse d ADN s Données d aujourd hui Expérience Modéle

9 Les donn ees d aujourd hui : graphes 9/55 acteurs de s eries s math ematiques Lecu e mod elisation Donn ees d aujourd hui Exp erience Mod ele r epartition th eor` eme

10 Les données d aujourd hui : le métier en data science 10/55 Problèmatique : stockage, requtage : expertise en base de données data jujitsu, data massage data-vizualization (Gephi, Tulip, widg python, c.) : (s) construction d estimateurs implémentation d algorithmes Python, R, H2O, Torch7, vowpal wabbit, spark, github,... Pour s entrainer aux métiers en data science : notebooks python Coursera s Données d aujourd hui Expérience Modéle

11 11/55 Objectif du cours s s 1 Construire des modèles s pour des données classiques 2 Construire des estimateurs / tests classiques 3 Connaître leurs propriétés s les outils qui permtent de les obtenir Données d aujourd hui Expérience Modéle

12 2/55 Problématique 1) Point de départ : données (ex. : des nombres réels) x 1,..., x n 2) Modélisation : les données sont des réalisations X 1 (ω),..., X n (ω) de v.a.r. X 1,..., X n. La loi P (X1,...,Xn) de (X 1,..., X n ) est inconnue, mais appartient à une famille donnée (a priori) { P n θ, θ Θ } : le modéle On pense qu il existe θ Θ tel que P (X 1,...,X n) = P n θ. 3) Problématique : à partir de l observation X 1,..., X n, peut-on estimer θ? tester des propriétés de θ? s Données d aujourd hui Expérience Modéle

13 13/55 Problématique (suite) θ est le paramètre Θ l ensemble des paramètres. Estimation : à partir de X 1,..., X n, construire ϕ n (X 1,..., X n ) qui approche au mieux θ. Test : à partir des données X 1,..., X n, établir une décision ϕ n (X 1,..., X n ) {ensemble de décisions} concernant une hypothèse sur θ. Definition Une est une fonction mesurable des données!attention! Une ne peut pas dépendre du paramètre inconnu : une se construit uniquement à partir des données! s Données d aujourd hui Expérience Modéle

14 14/55 Exemple du pile ou face On lance une pièce de monnaie 18 fois on observe (P = 0, F = 1) 0, 0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0 Modéle : on observe n = 18 variables aléatoires X i indépendantes, de Bernoulli de paramètre inconnu θ Θ = [0, 1]. Estimation. Estimateur X 18 = i=1 X ici i = 8/18 = Quelle précision? Test. Décision à prendre : la pièce est-elle équilibrée?. Par exemple : on compare X 18 à 0.5. Si X pit, on accepte l hypothèse la pièce est équilibrée. Sinon, on rejte. Quel seuil choisir, avec quelles conséquences (ex. probabilité de se tromper). s Données d aujourd hui Expérience Modéle

15 5/55 = répétition d une même expérience s L expérience la plus centrale : on observe la réalisation de X 1,..., X n, v.a.r. où les X i sont indépendantes, identiquement distribuées, de même loi commune P X {P θ : θ Θ}. problème : à partir des données X 1,..., X n que dire loi P X commune aux X i? (moyenne, moments, symétrie, densité, c.) Données d aujourd hui Expérience Modéle

16 16/55 Expérience Consiste à déterminer : l espace des observations Z (ex. : Z = {0, 1} 18 ) C est l espace où vivent les observations Une tribu : Z (on modélise les données comme des réalisations de variables aléatoires...) (ex. : Z = P(Z)) Une famille de lois = modéle {P θ, θ Θ} (ex. : P θ = P n θ = (θδ 1 + (1 θ)δ 0 ) 18 ) s Données d aujourd hui Expérience Modéle

17 17/55 Expérience Definition Une expérience E est un tripl E = ( Z, Z, { P θ, θ Θ }) où (Z, Z ) espace mesurable (ex. : (R n, B(R n ))), {P θ, θ Θ} famille de probabilités définies simultanément sur le même espace ( Z, Z ). s Données d aujourd hui Expérience Modéle

18 18/55 Modéles s (jargon) {P θ, θ Θ} est appelé modéle quand il existe k tel que Θ R k, on parle de modéle paramétrique quand θ est un paramètre infini dimensionnel, on parle de modéle non-paramétrique (ex. : densité) quand θ = (f, θ 0 ) où f est infini dimensionnel (souvent, paramètre de nuisance) θ R k (paramètre d intérêt), on parle de modéle semi-paramétrique quand θ Θ P θ est injectif, on dit que le modéle est identifiable s Données d aujourd hui Expérience Modéle

19 19/55 Modéles s s Question centrale en s : Quel modéle est le plus adapté à ces données? Il existe deux manières équivalentes de définir un modéle : 1 soit en se donnant une famille de loi {P θ, θ Θ} 2 soit en se donnant une équation Données d aujourd hui Expérience Modéle

20 0/55 Exemple de modéle/ (1) On observe un n-upl de variables aléatoires réelles : Z = (X 1,..., X n ) On peut modéliser ces observations de deux manières (équivalentes) : Famille de lois : {P θ : θ R}, par exemple, P θ = ( N (θ, 1) ) n Par une équation : pour tout i 1,..., n, X i = θ + g i où g 1,..., g n sont n variables aléatoires Gaussiennes centrées réduites indépendantes. s Données d aujourd hui Expérience Modéle

21 Exemple de modéle/ (2) On observe un n-upl de variables aléatoires réelles : Z = (X 1,..., X n ) On peut modéliser ces observations de deux manières (équivalentes) : Par une équation : X 1 = g 1 pour tout i 1,..., n 1, X i+1 = θx i + g i où g 1,..., g n sont iid N (0, 1). Famille de lois : {P θ : θ R} où P θ = f θ.λ n où λ n est la mesure de Lebesgue sur R n f θ (x 1,..., x n ) = f (x 1 )f (x 2 θx 1 ) f (x n θx n 1 ) s Données d aujourd hui Expérience Modéle 21/55 f (x) = exp( x2 /2) 2π.

22 22/55 Pourquoi modéliser? Données Problème concrêt Modélisation Processus stochastique Problème mathématique Pourquoi modéliser? : 1) Outils 2) Résultats 3) Algorithmes s Données d aujourd hui Expérience Modéle

23 23/55 3 modèles (non-paramétriques) classiques 1 Modéle de densité : on observe un n-échantillon X 1,..., X n de v.a.r. de densité f tel que f C où C est une classe de densités sur R (Lebesgue). 2 Modéle de régression : on observe un n-échantillon de couples (X i, Y i ) n i=1 tel que Y i R, X i R d Y i = f (X i ) + ξ i où ξ i sont des v.a.r.i.i.d. indépendantes des X i f C. quand f (X i ) = θ, X i : modéle de regression linéaire, quand ξ i N (0, σ 2 ) : modéle linéaire Gaussien 3 modéle de classification : on observe un n-échantillon (Y i, X i ) n i=1 tel que Y i {0, 1} X i X. Par ex. : P[Y i = 1 X i = x] = σ( x, θ ) où σ(x) = (1 + e x ) s Données d aujourd hui Expérience Modéle

24 24/55 Partie 2 s

25 25/55 Question Considérons le modéle d échantillonnage sur R : on observe X 1,..., X n qui sont i.i.d. de loi commune P X. Rem. : Comme la loi de l observation (X 1,..., X n ) est P n X, se donner un modéle est ici (pour le modéle d échantillonnage) équivalent à se donner un modéle sur P X. Par exemple : P X {N (θ, 1) : θ R} Une question est la suivante : Question On considère le modéle total = P X { toutes les lois sur R}, est-il possible de connaître exactement P X quand le nombre n de données tends vers? s

26 26/55 Rappel : loi d une réelle Definition X : ( Ω, A, P ) ( R, B ) Loi de X : mesure de probabilité sur (R, B), notée P X, définie par P X [ A ] = P [ X 1 (A) ], A B. Formule d intégration E [ ϕ(x ) ] = pour toute fonction test ϕ. Ω ϕ ( X (ω) ) P(dω) = R ϕ(x) P X (dx) s

27 27/55 (1/4) Exemple 1 : X suit la loi de Bernoulli de paramètre 1/3 La loi de X est décrite par P [ X = 1 ] = 1 3 = 1 P [ X = 0 ] s Ecriture de P X : P X = 1 3 δ δ 0 Formule de calcul (ϕ fonction test) E [ ϕ(x ) ] = ϕ(x) P X (dx) R = 1 3 ϕ(x)δ 1 (dx) R = 1 3 ϕ(1) ϕ(0) R ϕ(x)δ 0 (dx)

28 28/55 (2/4) Exemple 2 : X loi de Poisson de paramètre 2 La loi de X est décrite par Ecriture de P X : P [ X = k ] = 2k k! e 2, k = 0, 1,... P X = e 2 k N 2 k k! δ k Formule de calcul (ϕ fonction test) E [ ϕ(x ) ] = ϕ(x) P X (dx) = e 2 ϕ(k) 2k k! R k N s

29 9/55 (3/4) Exemple 3 : X N (0, 1) (loi normale standard). La loi de X est décrite par P [ X [a, b] ] = Ecriture de P X : λ : mesure de Lebesgue [a,b] e x2 /2 dx 2π P X = f.λ où f (x) = 1 2π e x2 /2 Formule de calcul E [ ϕ(x ) ] = ϕ(x) P X (dx) = R R ϕ(x)e x2 /2 dx 2π s

30 0/55 (4/4) Exemple 4 : X = min(z, 1), où la loi de Z a une densité f par rapport à la mesure de Lebesgue sur R. Ecriture de P X : P X = g.λ + P [ Z 1 ] δ 1, où g(x) = f (x)i ( x < 1 ), x R. Formule de calcul E [ ϕ(x ) ] = 1 ϕ(x)f (x)dx + P [ Z 1 ] ϕ(1) s

31 1/55 Les lois sont des objs compliquées. On peut néanmoins les caractériser par des objs plus simples. Definition Soit X réelle. La fonction de de X est : F (x) := P [ X x ], x R. F est croissante, cont. à droite, F ( ) = 0, F (+ ) = 1 F caractérise la loi P X : P X [ (a, b] ] = P [ a < X b ] = F (b) F (a) Désormais, la loi (distribution) de X désignera indifféremment F ou P X. s

32 2/55 Rour sur la question On observe X 1,..., X n i.i.d. F, F fonction de quelconque, inconnue. Question : Est-il possible de rrouver exactement F quand n tends vers? Idée : On va chercher à estimer F sur R. Soit x R. F (x) = P[X x] est la probability que X soit plus pit que x. On va alors compter le nombres de X i qui sont plus pit que x diviser par n : 1 n I (X i x). n i=1 s

33 33/55 s Definition associée au n-échantillon (X 1,..., X n ) : F n (x) = 1 n n I ( X i x ), x R. i=1 (C est une fonction aléatoire)

34 34/55 Propriétés asymptotiques de F n (x) s Pour tout x R : F n (x) p.s. F (x) quand n C est une conséquence loi forte des grands nombres appliquée à la suite de v.a.r.i.i.d. ( I (X i x) ) i. On dit que F n (x) est un estimateur fortement consistant de F (x).

35 35/55 Propriétés asymptotiques de F n Theorem (Glivenko-Cantelli) F n F p.s. 0 quand n Aussi appelé Théorème fondamental. Interprétation : Avec un nombre infini de données dans le modéle d échantillonnage, on peut donc reconstruire exactement F donc déterminer exactement la loi des observations. s

36 36/55 Notebooks s /notebooks/cdf_.ipynb Glivenko-Cantelli

37 37/55 Autres propriétés asymptotiques de F n (x) Soit x R. On sait que si n alors F n (x) p.s. F (x) Question : Quelle est la vitesse de convergence de F n (x) vers F (x)? Outil : Théorème central-limite appliqué à la suite de v.a.r.i.i.d. ( I (Xi x) ) i : n ( Fn (x) F (x) ) d N ( 0, F (x)(1 F (x)) ) On dit que F n (x) est asymptotiquement normal de variance asymptotique F (x)(1 F (x). s

38 38/55 Notebooks s /notebooks/cdf_.ipynb Glivenko-Cantelli

39 9/55 TCL intervalle de confiance asymptotique On a montré par le TCL que pour tout 0 < α < 1, quand n, P [ Fn (x) F (x) σ(f )] c α exp( x 2 /2) dx = α n x >c α 2π où σ(f ) = F (x)(1 F (x)) c α = Φ 1 (1 α/2). Attention! ceci ne fournit pas un intervalle de confiance : σ(f ) = F (x) 1/2( 1 F (x) ) 1/2 est inconnu! Solution : remplacer σ(f ) par σ( F n ) = F n (x) 1/2( 1 F n (x) ) 1/2 (qui est observable), grâce au lemme de Slutsky. s

40 40/55 TCL intervalle de confiance asymptotique Proposition Pour tout α (0, 1), I asymp n,α = [ F n (x) ± F n (x) 1/2( 1 F n (x) ) ] 1/2 Φ 1 (1 α/2) n s est un intervalle de confiance asymptotique pour F (x) au niveau de confiance 1 α : P [ F (x) In,α asymp ] 1 α.

41 41/55 Vitesse de convergence dans le Théorème de Glivenko-Cantelli Theorem (Théorème de Kolmogorov-Smirnov) Soit X une v.a.r. de fonction de F qu on suppose continue (X n ) n une suite de v.a.r. i.i.d. de même loi que X alors : n Fn F d K où K est une telle que pour tout x R P[K x] = 1 2 ( 1) k+1 exp( 2k 2 x 2 ) k=1 Utile pour le test de Kolmogorov-Smirnov version non-asymptotique de ce résultat : quand F est continue, la loi de F n F est indépendante de F s

42 42/55 résultats asymptotiques non-asymptotiques s On classe les résultats s en deux catégories : 1 Un résultat obtenu quand n tend vers l infini est un résultat dit asympotique 2 Un résultat obtenu à n fixé est un résultat dit non-asympotique

43 43/55 Estimation non-asymptotique de F (x) par F n (x) Soit 0 < α < 1 donné (pit). On veut trouver ε, le plus pit possible, de sorte que On a (Tchebychev) Conduit à P [ F n (x) F (x) ε ] α. P [ F n (x) F (x) ε ] 1 ε 2 Var[ Fn (x) ] ε = 1 2 nα = F (x)( 1 F (x) ) nε 2 1 4nε 2 α s

44 44/55 Intervalle de confiance Conclusion : pour tout α > 0, Terminologie L intervalle [ P F n (x) F (x) 1 ] 2 α. nα I n,α = [ F n (x) ± 1 ] 2 nα est un intervalle de confiance pour F (x) au niveau de confiance 1 α. s

45 Inégalité de Hoeffding 45/55 Proposition Y 1,..., Y n v.a.r.i.i.d. telles que a Y 1 b p.s.. Alors P [ 1 n n i=1 Y i E Y 1 t ] ( 2 exp 2nt2 ) (a b) 2 Application : on fait Y i = I (x i x) p = F (x). On en déduit On résout en ε : soit P [ Fn (x) F (x) ε ] 2 exp( 2nε 2 ). 2 exp( 2nε 2 ) = α, ε = 1 2n log 2 α. s

46 Comparaison Tchebychev vs. Hoeffding 46/55 Nouvel intervalle de confiance [ à comparer avec I hoeffding n,α = I tchebychev n,α = F n (x 0 ) ± Même ordre de grandeur en n. ] 1 2n log 2, α [ F n (x 0 ) ± 1 ] 2. nα Gain significatif dans la limite α 0. La prise de risque devient marginale par rapport au nombre d observations. Optimalité d une telle approche? s

47 47/55 Observation finale Comparaison des longueurs des 3 intervalles de confiance : 2 Tchebychev (non-asymptotique) n α Hoeffding (non-asymptotique) 2 n 1 2 log 2 α TCL (asymptotique) 2 n Fn (x 0 ) 1/2( 1 F n (x 0 ) ) 1/2 Φ 1 (1 α/2). La longueur la plus pite est (sans surprise!) celle fournie par le TCL. Mais la longueur de l intervalle de confiance fournie par l inégalité de Hoeffding comparable au TCL en n α (dans la limite α 0). s

48 48/55 Version non-asymptotique de Kolmogorov-Smirnov X 1,..., X n i.i.d. de loi F continue, F n leur fonction de. Proposition (Inégalité de Dvorsky-Kiefer-Wolfowitz) Pour tout ε > 0. P [ sup Fn (x) F (x) ε ] 2 exp ( 2nε 2). x R Résultat difficile (théorie des processus s). Perm de construire des régions de confiance avec des résultats similaires au cadre ponctuel : [ P x R, F (x) [ Fn 1 (x) ± 2n log α] ] 2 1 α s

49 49/55 s probabilités

50 Tribus mesures de probabilité 0/55 Soit Z un ensemble. 1 Une tribu Z sur Z est un ensemble de parties de Z tel que : Z est stable par union intersection dénombrable Z est stable par passage au complémentaire Z Z Les éléments de Z sont appelés des événements. 2 Une mesure de probabilité sur (Z, Z) est une appplication P : Z [0, 1] telle que P[Z] = 1 Si (A n ) est une famille dénombrable d événements disjoints alors P [ ] n A n = P[A n ] Le dernier point est aussi équivalent à : pour (A n ) une suite croissante d événements on a P(A n ) P( A n ). n s

51 Type de convergence de suite de variables aléatoires 1/55 Soit (Z n ) une suite de s Z une variable aléatoire à valeurs dans (R, B) (toutes définies sur un espace probabilisé (Ω, F, P)). 1 (Z n ) converge en loi vers Z, noté Z n d Z, quand pour pour toute fonction continue bornée f : R R on a E f (Z n ) E f (Z) 2 (Z n ) converge en probabilité, vers Z, noté Z n P Z, quand pour tout ɛ > 0, P [ Z n Z ɛ ] 0 3 (Z n ) converge presque surement vers Z, noté Z n p.s. Z, quand il existe un événement Ω 0 F tel que P[Ω 0 ] = 1 pour tout ω Ω 0 Z n (ω) Z(ω) s

52 2/55 Loi forte des grands nombres Theorem Soit (X n ) une suite de v.a.r.i.i.d. telle que E X 1 <. Alors 1 n n i=1 X i p.s. E X 1 Il y a aussi une équivalence à ce résultat : si (X n ) est une suite de v.a.r.i.i.d. telle que n i=1 i) X converge presque ( 1 n surement alors E X 1 < elle converge presque surement vers E X 1. n s

53 53/55 Théorème central-limite Theorem Soit (X n ) une suite de v.a.r.i.i.d. telle que E X 2 1 n ( 1 σ n n ) d X i E X 1 N (0, 1) i=1 <. Alors TCL : vitesse dans la loi des grands nombres. Interprétation du TCL : 1 n n Y i = µ + σ ξ (n), ξ (n) d N (0, 1). n i=1 Le mode de convergence est la convergence en loi. Ne peut pas avoir lieu en probabilité. s

54 4/55 Lemme de Slutsky Le vecteur (X n, Y n ) d (X, Y ) si E [ ϕ(x n, Y n ) ] E [ ϕ(x, Y ) ], pour ϕ continue bornée. d d Attention! Si X n X Yn Y, on n a pas en général (X n, Y n ) d (X, Y ). d P Mais (lemme de Slutsky) si X n X Yn c (constante), alors (X n, Y n ) d (X, Y ). Par suite, sous les hypothèses du lemme, pour toute fonction continue g, on a g(x n, Y n ) d g(x, Y ). s

55 5/55 Continuous map theorem s Soit f : R R une fonction continue (X n ) une suite de v.a.r. 1 si (X n ) converge en loi vers X alors f (X n ) converge en loi vers f (X ) 2 si (X n ) converge en probabilité vers X alors f (X n ) converge en probabilité vers f (X ) 3 si (X n ) converge p.s. vers X alors f (X n ) converge p.s. vers f (X )