Statistique avec des petits échantillons

Transcription

1 Statistique avec des petits échantillons Gilles Celeux Select, Inria Saclay, Université Paris-Sud Gilles Celeux (Inria) Petits échantillons 1 / 40

2 Plan 1 Modélisation statistique Estimation du maximum de vraisemblance Choix de modèles 2 Problèmes statistiques à information faible 3 Inférence bayésienne Traduction des informations a priori en lois a priori Approximation de la loi a posteriori Illustration pour une loi de Weibull très censurée Sélection bayésienne de modèles Gilles Celeux (Inria) Petits échantillons 2 / 40

3 Inférence statistique Des données x = (x 1,..., x n ) dans R d sont issues d une loi de probabilité inconnue de densité f (x). Les données sont utilisées pour tirer de l information sur cette densité f (x). Modèle paramétrique : on suppose que f (x) = f (x; θ), avec θ paramètre inconnu à estimer à partir de (x 1,..., x n ). Gilles Celeux (Inria) Petits échantillons 3 / 40

4 Exemple : la loi normale Les données (x 1,..., x n ) représentent le poids de n objets fabriqués en série. On suppose que ces poids suivent une loi normale de moyenne µ et de variance σ 2 : f (x; θ) = Le paramètre à estimer est θ = (µ, σ 2 ). 1 (x µ)2 exp( (2π)σ σ 2 ). Gilles Celeux (Inria) Petits échantillons 4 / 40

5 Exemple : la loi de Weibull Les données (x 1,..., x n ) représentent les durées de vie de n matériels. Une loi couramment utilisée pour modéliser des durées de vie est la loi de Weibull. Elle utilise un paramètre d échelle η et un paramètre de forme β : f (x; θ) = β( x η )β 1 exp(( x η )β ) Le paramètre à estimer est θ = (η, β). Gilles Celeux (Inria) Petits échantillons 5 / 40

6 Estimation du maximum de vraisemblance La vraisemblance du paramètre θ associé aux données s écrit L(θ) = n f (x i ; θ). i=1 La vraisemblance contient toute l information apportée par (x 1,..., x n ) sur le paramètre θ. La méthode du maximum de vraisemblance consiste à estimer θ par ˆθ = arg max L(θ). θ Cet estimateur jouit de bonnes propriétés lorsque n est grand devant la dimension de θ. Gilles Celeux (Inria) Petits échantillons 6 / 40

7 Exemples d estimateurs du MV Cas gaussien ˆσ 2 = 1 n ˆµ = 1 n n i=1 x i n (x i ˆµ) 2. i=1 Cas de Weibull. Les équations de vraisemblance sont 1 n ˆβ + i=1 log(x n i) i=1 x i ˆβ log(x i ) n n i=1 x ˆβ = 0. i et ˆη = [ n i=1 x ˆβ i 1/ ] ˆβ. n Gilles Celeux (Inria) Petits échantillons 7 / 40

8 Test du rapport de vraisemblance Pour choisir entre deux modèles M 0 et M 1 dont les espaces des paramètres sont emboîtés, on dispose du test de rapport de vraisemblance. Λ = L(ˆθ 0 ) L(ˆθ 1 ) Sous l hypothèse que les données sont issues de la loi f (x; θ 0 ), 2 log Λ suit asymptotiquement une loi du χ 2 à dim θ 1 - dim θ 0 degrés de liberté. Gilles Celeux (Inria) Petits échantillons 8 / 40

9 Critères de vraisemblance pénalisée Les critères de vraisemblance pénalisé sont utilisés pour choisir un modèle parmi des modèles non nécessairement emboîtés. AIC(M) = 2 log L(ˆθ M ) + 2dim(θ M ) BIC(M) = 2 log L(ˆθ M ) + dim(θ M ) log(n) Ces critères sont obtenus sous des arguments asymptotiques et jouissent de propriétés asymptotiques optimales. Gilles Celeux (Inria) Petits échantillons 9 / 40

10 Plan 1 Modélisation statistique Estimation du maximum de vraisemblance Choix de modèles 2 Problèmes statistiques à information faible 3 Inférence bayésienne Traduction des informations a priori en lois a priori Approximation de la loi a posteriori Illustration pour une loi de Weibull très censurée Sélection bayésienne de modèles Gilles Celeux (Inria) Petits échantillons 10 / 40

11 Petits échantillons La taille d un échantillon n est à comparer au nombre ν de paramètres à estimer. Typiquement, pour une distribution dans R avec 2 paramètres à estimer les problèmes peuvent commencer avec n<20. Les problèmes deviennent sérieux lorsque ν n... Les statisticiens sont de plus en plus confrontés à des tailles n plus petites que la dimension d des données. Gilles Celeux (Inria) Petits échantillons 11 / 40

12 Donnés censurées Il arrive fréquemment que des données de durées de vie soient censurées. Données censurées à droite : une durée de vie x est censuré à droite en c si l on sait juste que x > c. Données censurées à gauche : une durée de vie x est censuré à gauche en c si l on sait juste que x < c. Données censurées par intervalle : une durée de vie x est censuré par intervalle si l on sait juste que a < x < b. Gilles Celeux (Inria) Petits échantillons 12 / 40

13 Modèles à structure manquante Il existe de nombreuses situations où les données générées par un phénomène ne sont pas toutes disponibles. Exemple : modèles de durées de vie à risques concurrents. Soit un matériel constitué de k composants C 1,..., C k montés en série. Les données complètes sont de la forme (x i, z i ), i = 1,..., n, x i étant la durée de vie du matériel i et z i le numéro du composant ayant causé la panne. Mais souvent les z i sont manquants,... Gilles Celeux (Inria) Petits échantillons 13 / 40

14 Dangers des petits échantillons Forte variabilité des estimations Forte sensibilité aux valeurs atypiques Exagération des contrastes Gilles Celeux (Inria) Petits échantillons 14 / 40

15 Attitudes devant de petits échantillons Renoncer à l analyse Régulariser les estimations Apporter de l information extérieure aux données, ce qui conduit à l inférence bayésienne Contourner la difficulté (contexte de l apprentissage statistique ou de la fouille de données) Gilles Celeux (Inria) Petits échantillons 15 / 40

16 Plan 1 Modélisation statistique Estimation du maximum de vraisemblance Choix de modèles 2 Problèmes statistiques à information faible 3 Inférence bayésienne Traduction des informations a priori en lois a priori Approximation de la loi a posteriori Illustration pour une loi de Weibull très censurée Sélection bayésienne de modèles Gilles Celeux (Inria) Petits échantillons 16 / 40

17 Le paradigme bayésien Le paramètre θ associé au modèle statistique f (x; θ) est considéré lui-même aléatoire de loi a priori Π(θ). Sachant les données x, θ suit une loi a posteriori Π(θ/x): Π(θ/x) = L(θ/x)Π(θ) L(θ/x)Π(θ)dθ. L inférence statistique se conduit sur la base de cette loi a posteriori. Gilles Celeux (Inria) Petits échantillons 17 / 40

18 La loi a priori La loi a priori Π(θ) résume l information préalable à l obtention des données que l on possède sur le paramètre θ. Elle résume également l incertitude sur la valeur de cette information. Elle fournit un cadre cohérent et contrôlable pour quantifier les connaissances et les opinions d expert. Grâce au théorème de Bayes, elle donne naissance à la loi a posteriori Π(θ/x) qui tire toute l information des données et de la loi a priori. Gilles Celeux (Inria) Petits échantillons 18 / 40

19 La loi a posteriori Une fois la loi a posteriori établie ou approché, on en déduit un estimateur ponctuel de θ qui peut être la moyenne a posteriori le mode a posteriori la médiane a posteriori. Potentiellement, la loi a posteriori contient les éléments pour évaluer l incertitude de cet estimateur ponctuel. Gilles Celeux (Inria) Petits échantillons 19 / 40

20 Un exemple: la moyenne d une loi normale Soit le modèle gaussien f (x; θ) = N (θ, σ 2 ) avec σ 2 connu. Loi a priori : Π(θ) = N (µ, τ 2 ), µ et τ 2 étant des hyperparamètres fixés par un expert. Loi a posteriori : Π(θ/x) = N ( σ2 µ+nτ 2 x σ 2 +nτ 2, σ 2 τ 2 σ 2 +nτ 2 ), où x = 1 n n x i. i=1 L estimateur bayésien de θ est θ = σ2 µ + nτ 2 x σ 2 + nτ 2. Gilles Celeux (Inria) Petits échantillons 20 / 40

21 Un exemple: loi exponentielle Soit le modèle exponentiel f (x; η) = 1 η exp( x η ), x 0. Loi a priori : Π(η) = Gamma(a, b), de moyenne a/b et de variance a/b 2, les hyperparamètres étant a et b. Loi a posteriori : Π(θ/x) = Gamma(a + n x, b + n), où x = 1 n n x i. i=1 Un estimateur bayésien de η est η = a + n x b + n. Gilles Celeux (Inria) Petits échantillons 21 / 40

22 Difficultés de l approche bayésienne Traduction des informations a priori : choix des lois a priori, détermination des hyperparamètres. Que faire en l absence d information a priori? Lois a priori non informatives. Difficultés analytiques de détermination de la loi a posteriori à cause de l intégrale L(θ/x)Π(θ)dθ. Difficultés numériques et algorithmiques pour calculer des approximations de cette loi a priori : méthodes de Monte Carlo. Gilles Celeux (Inria) Petits échantillons 22 / 40

23 Traduction des informations a priori en lois a priori La première tâche consiste à choisir une forme de loi a priori. Ce n est pas la tâche la plus sensible. Le plus important est de bien choisir les hyperparamètres de la loi a priori. Typiquement, pour un paramètre scalaire, on dispose de deux hyperparamètres. Cela permet de rentrer l information en moyenne sur le paramètre (point de vue de l expert terrain), L incertitude que l on a sur cette information (point de vue de l expert statisticien). Des études de sensibilité sont indispensables pour un réglage fiable de ces hyperparamètres. Gilles Celeux (Inria) Petits échantillons 23 / 40

24 Lois a priori conjuguées Pour beaucoup de modèles classiques, il existe des lois a priori conjuguées : Ce sont des lois a priori qui assurent que la loi a posteriori est de même forme paramétrique que la loi a priori. Exemples : modèle de Poisson, lois a priori Gamma modèle gaussien univarié, loi a priori normale pour la moyenne et inverse Gamma pour la variance modèle gaussien multivarié, loi a priori normale pour la moyenne et loi de Wishart pour la matrice variance modèle exponentiel, loi a priori Gamma modèle binomiale, loi a priori Bêta. Mais la loi de Weibull n admet pas de lois a priori conjuguées,... Gilles Celeux (Inria) Petits échantillons 24 / 40

25 Exemples de choix d hyperparamètres Soit un matériel dont la durée de vie est modélisée par une loi exponentielle f (x; η) = 1 η exp( x η ), x 0. Loi a priori : Π(η) = Gamma(a, b), de moyenne a/b et de variance a/b 2, Les hyperparamètres à déterminer sont a et b. Point de vue de l expert terrain : on choisit le rapport a/b de sorte à tenir compte de son avis sur la durée de vie moyenne du matériel. Point de vue de l expert statisticien : On choisit ensuite b suffisamment petit pour assurer une variance suffisamment grande de la loi a priori. Gilles Celeux (Inria) Petits échantillons 25 / 40

26 Lois a priori non informatives Ce sont des lois intégrant l ignorance sur les paramètres du modèle : elles ne doivent pas dépendre de la paramétrisation. La solution de Jeffreys consiste à prendre une loi proportionnelle à deti(θ) 1/2, où I(θ) est l information de Fisher de θ: Exemples : I(θ) = E θ [ 2 i j log f (x; θ)]. loi normale N (µ, σ 2 ), alors Π(θ) 1/σ 2 loi de Weibull W(η, β), alors Π(θ) 1/(ηβ) Gilles Celeux (Inria) Petits échantillons 26 / 40

27 Approximation de la loi a posteriori La loi a posteriori Π(θ/x) = L(θ/x)Π(θ) L(θ/x)Π(θ)dθ. doit souvent être approximée. Les approches possibles sont l intégration numérique les méthodes de simulation de Monte-Carlo Les méthodes MCMC (Monte Carlo Markov Chains) l échantillonnage préférentiel (Importance Sampling) Gilles Celeux (Inria) Petits échantillons 27 / 40

28 Chaînes de Markov de Monte-Carlo Le principe de ces méthodes est de simuler une chaîne de Markov dont la loi limite est la loi a posteriori visée. La méthode la plus populaire est l échantillonnage de Gibbs, cas particulier de l algorithme général d Hasting-Metropolis. Les problèmes des méthodes MCMC concernent le contrôle de la convergence : à partir de combien d itérations chaîne de Markov a-t-elle atteint son régime limite? Combien d itérations sont ensuite nécessaires pour obtenir une bonne approximation de la loi a posteriori visée? Gilles Celeux (Inria) Petits échantillons 28 / 40

29 Échantillonnage de Gibbs On part d un choix au hasard θ (0) = (θ (0) 1,..., θ(0) d ) Étant donné θ (i), l échantillonnage de Gibbs consiste en simulation de θ (i+1) 1 Π(θ 1 θ (i) 2,..., θ(i) d, x) simulation de θ (i+1) 2 π(θ 2 θ (i+1) 1, θ (i) 3,..., θ(i) d, x). simulation de θ (i+1) d π(θ d θ (i+1) 1,..., θ (i+1) d 1, x) La suite θ (l+1),..., θ (M+l) est la réalisation de la loi limite de la chaîne de Markov. Et pour toute fonction d intérêt h 1 M M+l i=l+1 h(θ (i) ) p.s. E Π (h(θ)). Gilles Celeux (Inria) Petits échantillons 29 / 40

30 Échantillonnage préférentiel L échantillonnage préférentiel comporte deux étapes et peut être complété par une troisème étape à partir d une loi instrumentale ρ 1 simulation de m réalisations indépendantes (θ 1,..., θ M ) de la loi ρ; 2 calcul des poids d importance w i Π(θ i /x)/ρ(θ i ) et des probabilités p i = w i / M j=1 w j; 3 tirage de (θ 1,..., θ l ) échantillon indépendant parmi (θ 1,..., θ M ) selon la loi (p i ) i=1,...,m. Il est important que ρ ait un support plus grand que celui de la loi a posteriori visée. Gilles Celeux (Inria) Petits échantillons 30 / 40

31 Exemple : loi de Weibull censurée Simulations de Monte- Carlo pour des lois de W(β, η) avec η = 100 et β = 0.5; 1.2; 2; 3. On considère des échantillons de taille n = 25 avec un temps de censure à droite c = 40. Chaque situation est répétée 50 fois. Le nombre moyen de défaillances observées fut de 12 pour la W(0.5, 100), 7 pour la W(1.2, 100), 4 pour la W(2, 100) et 2 pour la W(3, 100). Gilles Celeux (Inria) Petits échantillons 31 / 40

32 Maximum de vraisemblance pour Weibull censuré On note n le nombre d observations et m n le nombre de défaillances. L estimateur du maximum de vraisemblance ˆβ du paramètre de forme β est solution de 1 m [ ] β + i=1 log(t n i) i=1 tβ i log(t i ) m n = 0 i=1 tβ i et ˆη = [ n i=1 ] 1ˆβ t ˆβ i /m. Ces estimateurs ( ˆβ, ˆη) sur données censurées sont biaisés même pour n grand. Gilles Celeux (Inria) Petits échantillons 32 / 40

33 Lois a priori choisies Les connaissances a priori β est supposé être dans [β l = 0.5, β r = 5]. η est supposé être dans [η l = 50, η r = 300], et sa valeur est évaluée à 120. Les lois a priori La loi pour le paramètre de forme est une loi Bêta sur [β l, β r ]: π(β) (β β l) p 1 (β r β) q 1 (β r β l ) p+q 1 I [βl,β r ](β) avec p = q = 1.5. La loi pour le paramètre d échelle est une loi Gamma de moyenne a/b = 120 et telle que 99% de sa masse soit concentrée sur [50, 300]. ( π(η) η a 1 exp η ), η > 0 b Ce qui conduit à prendre a = 52 et b = 0.43 Gilles Celeux (Inria) Petits échantillons 33 / 40

34 Une procédure d échantillonnage préférentiel : WLB Elle s apparente à une procédure bootstrap : 1 simulation d un vecteur de poids ω j = ( ω j 1,..., ωj N ) selon une loi P(ω 1,..., ω N ), (typiquement une distribution uniforme de Dirichlet) et normaliser ces poids pour qu ils soient de somme 1. 2 Utiliser ces poids pour calculer l estimateur de maximum de vraisemblance pondéré (procédure de type bootstrap). En répétant ces étapes M fois, on obtient (θ 1,..., θ M ). On en tire une densité ˆρ par une méthode de lissage de type "noyaux" qui est au final utilisée comme densité instrumentale pour mener l échantillonnage préférentiel. Gilles Celeux (Inria) Petits échantillons 34 / 40

35 Une autre procédure d échantillonnage préférentiel : BRM Elle tire parti de la structure à données manquantes en 3 étapes : (B) simulation de θ selon la loi a priori Π(θ); (R) simulations des défaillances manquantes au-delà des censures selon leur loi conditionelle sachant les données et le paramètre θ obtenu à l étape B; (M) Calcul de θ maximisant la vraisemblance de l échantillon complété. En répétant ces étapes M fois, on obtient (θ 1,..., θ M ). On en tire une densité ˆρ par une méthode de lissage de type "noyaux" qui est au final utilisée comme densité instrumentale pour mener l échantillonnage préférentiel. Gilles Celeux (Inria) Petits échantillons 35 / 40

36 Comparaison maximum de vraisemblance et inférence bayésienne ML WLB-IS BRM-IS E (Std) E (Std) E (Std) β = (0.196) (0.096) (0.098) η = ( ) (8.244) (21.108) β = (2.540) (2.534) (0.325) η = ( ) (14.517) (6.505) β = (2.738) (2.774) (0.284) η = ( ) (24.281) (4.932) β = (20.783) (0.180) (0.176) η = ( ) (28.502) (3.898) Gilles Celeux (Inria) Petits échantillons 36 / 40

37 Modèles à risques concurrents Soit 100 données fortement censurés issues d un système à deux risques concurrents. On compare les performances d une version stochastique de l algorithme EM et de l échantillonneur de Gibbs. La loi a priori choisi est une loi Bêta sur [1, 3] pour β 1, une loi Bêta sur [2, 4] pour β 2, et une loi non informative proportionnelle à 1/η pour η 1 et η 2. β 1 = 2 η 1 = 50 β 2 = 3 η 2 = 100 Mean Std Mean Std Mean Std Mean Std c=50 SEM Bayes c=30 SEM Bayes Gilles Celeux (Inria) Petits échantillons 37 / 40

38 Le facteur de Bayes La vraisemblance intégrée d un modèle m s écrit f(x m) = f(x θ m )Π(θ m )dθ m, Cette vraisemblance intégrée est un critère prédictif pour comparer deux modèles dénommé le facteur de Bayes B 21 : f(m 2 x) f(m 1 x) = f(x m 2) p(m 2 ) f(x m 1 ) p(m 1 ) Pour n assez grand, le logarithme de cette vraisemblance intégrée peut être approximé par le critère BIC. Gilles Celeux (Inria) Petits échantillons 38 / 40

39 Approximation du facteur de Bayes La vraisemblance intégrée d un modèle m s écrit f(x m) = f(x θ m)π(θ m ) Π(θ x) On peut tirer profit le fait que le terme de droite ne dépende pas de θ pour choisir une "bonne" valeur de θ pour approximer cette vraisemblance intégrée. Un choix naturel est de prendre θ, le mode a posteriori obtenu sur les réalisations d un algorithme MCMC: f(x θ ˆf(x m) = m)π(θm) Π(θ. x) Gilles Celeux (Inria) Petits échantillons 39 / 40

40 Les sujets non traités Dans cette présentation, il n a pas été question des techniques de régularisation de la statistique prévisionnelle multivarié avec de nombreuses variables (d > n,... ) Régresssion linéaire : ridge regression, méthodes Lasso, Elastic Net,... Classification supervisée : Support Vector Machine, techniques de régularisation des matrices variance Merci pour votre attention... Σ Σ + λi... Gilles Celeux (Inria) Petits échantillons 40 / 40