Statistiques inférentielles

Transcription

1 Chapitre 5 : Estimation ponctuelle Télécom Saint-Étienne 2015

2 Sommaire 1 Introduction 2 Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne 3

3 Plan 1 Introduction 2 3

4 Introduction - 1 Cette fois, il s agit d estimer certaines caractéristiques statistiques de la loi (moyenne, variance, fonction de répartition) au travers d une série d observations. C est la problématique inverse de l échantillonnage.

5 Introduction - 1 Cette fois, il s agit d estimer certaines caractéristiques statistiques de la loi (moyenne, variance, fonction de répartition) au travers d une série d observations. C est la problématique inverse de l échantillonnage. Le problème de l estimation peut s énoncer de la façon suivante : disposant d observations x 1,x 2,,x n d une variable aléatoire X, obtenues à partir d un échantillonnage aléatoire (n-échantillon de la variable aléatoire X), quelle loi théorique inconnue peut-on retenir comme loi de X? (loi parente)

6 Introduction - 2 Si ce choix devait être fait parmi l ensemble de toutes les lois de probabilité existantes, on conçoit que le problème serait difficilement résolu sans un échantillon de taille très grande. Mais, dans ce chapitre, nous allons voir que les résultats sur l échantillonnage permettent de résoudre le problème dès lors que l on restreint le choix de la loi parente à une famille de lois de probabilité parfaitement déterminées par la donnée d un ou plusieurs paramètres.

7 Introduction - 2 Si ce choix devait être fait parmi l ensemble de toutes les lois de probabilité existantes, on conçoit que le problème serait difficilement résolu sans un échantillon de taille très grande. Mais, dans ce chapitre, nous allons voir que les résultats sur l échantillonnage permettent de résoudre le problème dès lors que l on restreint le choix de la loi parente à une famille de lois de probabilité parfaitement déterminées par la donnée d un ou plusieurs paramètres. Le problème devient alors de choisir une valeur de chaque paramètre (estimation ponctuelle).

8 Introduction - 2 Si ce choix devait être fait parmi l ensemble de toutes les lois de probabilité existantes, on conçoit que le problème serait difficilement résolu sans un échantillon de taille très grande. Mais, dans ce chapitre, nous allons voir que les résultats sur l échantillonnage permettent de résoudre le problème dès lors que l on restreint le choix de la loi parente à une famille de lois de probabilité parfaitement déterminées par la donnée d un ou plusieurs paramètres. Le problème devient alors de choisir une valeur de chaque paramètre (estimation ponctuelle). L estimation consiste à donner des valeurs approximatives aux paramètres d une population à l aide d un échantillon de n observations issues de cette population. On peut se tromper sur la valeur exacte, mais on donne la meilleure valeur possible que l on peut supposer.

9 Exemple - 1 Exemple Avant de choisir un véhicule automobile, on se fixe un critère de choix basé sur le nombre X de pannes par an que l on est susceptible d avoir avec un modèle donné. Ayant la possibilité de faire une étude statistique chez un concessionnaire donné, on prélève au hasard n dossiers de véhicules et l on note x 1,x 2,,x n le nombre de pannes subies la première année de mise en circulation de ces véhicules. La loi de Poisson est bien adaptée à la modélisation du nombre de pannes. Conséquemment, le choix de la loi parente est fait parmi la famille de lois {P(λ); λ > 0}. L unique paramètre déterminant la loi est ici λ. Or, on sait que λ est l espérance de la loi : λ = E[X].

10 Exemple - 2 On estime donc la valeur de ce paramètre par la moyenne des valeurs observées sur l échantillon : x := 1 n n x i. On utilise donc comme estimateur la moyenne d échantillon (estimation ponctuelle) : X n := 1 n i=1 n X i, où les X 1,X 2,,X n sont les variables aléatoires donnant respectivement les nombres de pannes x 1,x 2,,x n dans les échantillons aléatoires de taille n. i=1

11 Définitions Définition Un estimateur T n est une statistique permettant d évaluer un paramètre inconnu θ relatif à la loi de probabilité parente.

12 Définitions Définition Un estimateur T n est une statistique permettant d évaluer un paramètre inconnu θ relatif à la loi de probabilité parente. Définition On parle d estimation de θ associée à cet estimateur la valeur observée lors de l expérience, c est-à-dire la valeur prise par la fonction au point observé (x 1,,x n ).

13 Exemples d estimateurs Exemple L expression d un estimateur découle souvent très naturellement de l interprétation que l on peut donner du paramètre θ. Par exemple, si θ = E[X], alors on retient logiquement comme estimateur la moyenne d échantillon : X n := 1 n n X i. i=1

14 Exemples d estimateurs Exemple L expression d un estimateur découle souvent très naturellement de l interprétation que l on peut donner du paramètre θ. Par exemple, si θ = E[X], alors on retient logiquement comme estimateur la moyenne d échantillon : X n := 1 n n X i. De même, si θ = Var[X], alors on retient logiquement comme estimateur la variance d échantillon : S 2 n := 1 n n i=1 i=1 ( X i X n ) 2.

15 Remarque Remarque La loi de probabilité d un estimateur T n dépend de la valeur du paramètre θ. C est pourquoi, dans la suite de ce cours, on note E θ [T n ] (respectivement Var θ [T n ]) l espérance (respectivement la variance) de la statistique T n.

16 Plan 1 Introduction 2 Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne 3

17 Définitions Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Définition : Biais d un estimateur On appelle biais de T n pour θ la valeur b θ (T n ) := E θ [T n ] θ.

18 Définitions Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Définition : Biais d un estimateur On appelle biais de T n pour θ la valeur b θ (T n ) := E θ [T n ] θ. Définition Un estimateur est dit sans biais si b θ (T n ) = 0 c est-à-dire si E θ [T n ] = θ.

19 Définitions Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Définition : Biais d un estimateur On appelle biais de T n pour θ la valeur b θ (T n ) := E θ [T n ] θ. Définition Un estimateur est dit sans biais si b θ (T n ) = 0 c est-à-dire si E θ [T n ] = θ. On dit qu un estimateur est sans biais si en moyenne, on ne fait pas d erreur systématique.

20 Exemple d estimateur sans biais Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Exemple Si le paramètre à estimer est l espérance de la loi θ = E[X], l estimateur naturel est la moyenne d échantillon X n := 1 n n X i. D après le chapitre sur l échantillonnage, on a E θ [T n ] = E[X] = θ. Il s ensuit que X n est un estimateur sans biais de l espérance. i=1

21 Estimateur asymptotiquement sans biais Définition On dit que T n est un estimateur asymptotiquement sans biais de θ si pour tout θ Θ, on a lim n b θ [T n ] = 0 c est-à-dire si lim n E θ [T n ] = θ.

22 Estimateur asymptotiquement sans biais Définition On dit que T n est un estimateur asymptotiquement sans biais de θ si pour tout θ Θ, on a lim n b θ [T n ] = 0 c est-à-dire si Exemple lim n E θ [T n ] = θ. Si le paramètre à estimer est la variance de la loi, θ = Var[X], l estimateur naturel est la variance d échantillon S 2 n := 1 n n i=1 ( X i X n ) 2. D après le chapitre sur l échantillonnage, E θ [Sn] 2 = n 1 n 1 n Var[X] = n θ. Il s ensuit que S2 n n est pas un estimateur sans biais de la variance. Mais, c est un estimateur asymptotiquement sans biais.

23 Définition Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Définition : Estimateur convergent On dit que T n est un estimateur convergent si la suite de variables aléatoires (T n ) n converge en probabilité vers la valeur du paramètre θ.

24 Définition Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Définition : Estimateur convergent On dit que T n est un estimateur convergent si la suite de variables aléatoires (T n ) n converge en probabilité vers la valeur du paramètre θ. En d autres termes, un estimateur est convergent si pour tout ǫ > 0, la suite numérique de terme général converge vers 0. P( T n θ > ǫ)

25 Propriété Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Remarque La distribution d échantillonnage d un estimateur convergent tend à se concentrer autour de la valeur θ du paramètre à estimer quand la taille de l échantillon augmente.

26 Propriété Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Remarque La distribution d échantillonnage d un estimateur convergent tend à se concentrer autour de la valeur θ du paramètre à estimer quand la taille de l échantillon augmente. Démontrer la convergence en probabilité n est pas facile. On peut toutefois montrer qu un estimateur est convergent en utilisant le théorème suivant.

27 Propriété Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Remarque La distribution d échantillonnage d un estimateur convergent tend à se concentrer autour de la valeur θ du paramètre à estimer quand la taille de l échantillon augmente. Démontrer la convergence en probabilité n est pas facile. On peut toutefois montrer qu un estimateur est convergent en utilisant le théorème suivant. Théorème Un estimateur asymptotiquement sans biais dont la variance tend vers zéro est convergent.

28 Exemple Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Exemple Si le paramètre à estimer est l espérance de la loi, θ = E[X], ce paramètre est estimé sans biais par X n. Or, on sait d après le chapitre sur l échantillonnage que l on a Var θ [X n ] = Var[X] n 0. Il s ensuit que la moyenne d échantillon est un estimateur convergent de l espérance.

29 Exemple Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Exemple Si le paramètre à estimer est l espérance de la loi, θ = E[X], ce paramètre est estimé sans biais par X n. Or, on sait d après le chapitre sur l échantillonnage que l on a Var θ [X n ] = Var[X] n 0. Il s ensuit que la moyenne d échantillon est un estimateur convergent de l espérance. De la même manière, on sait, sous certaines hypothèses, que la variance de Sn 2 tend vers 0 quand n tend vers l infini. Par conséquent, Sn 2 (ainsi que Sn 1 2 ) est un estimateur convergent de la variance.

30 Erreur quadratique moyenne Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Définition : Erreur quadratique moyenne L erreur [ quadratique moyenne d un estimateur T n est E (T n θ) 2].

31 Erreur quadratique moyenne Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Définition : Erreur quadratique moyenne L erreur [ quadratique moyenne d un estimateur T n est E (T n θ) 2]. Propriété Soit T n un estimateur du paramètre θ à étudier. On a alors [ (T n θ) 2] = Var θ [T n ]+(E[T n ] θ) 2.

32 Erreur quadratique moyenne Estimateurs sans biais Estimateur convergent Erreur quadratique moyenne Définition : Erreur quadratique moyenne L erreur [ quadratique moyenne d un estimateur T n est E (T n θ) 2]. Propriété Soit T n un estimateur du paramètre θ à étudier. On a alors [ (T n θ) 2] = Var θ [T n ]+(E[T n ] θ) 2. Remarque Entre deux estimateurs sans biais, le meilleur est celui dont la variance est minimale. On parle d efficacité.

33 Plan 1 Introduction 2 3

34 Principe de la méthode - 1 Soit X une variable aléatoire réelle de loi paramétrique (discrète ou continue), dont on veut estimer le paramètre θ. Alors, on définit une fonction f telle que f(x, θ) := f θ (x) si X est une variable aléatoire continue de densité f

35 Principe de la méthode - 1 Soit X une variable aléatoire réelle de loi paramétrique (discrète ou continue), dont on veut estimer le paramètre θ. Alors, on définit une fonction f telle que f(x, θ) := f θ (x) si X est une variable aléatoire continue de densité f et f(x, θ) := P θ (X = x) si X est une variable aléatoire discrète.

36 Principe de la méthode - 2 Définition On appelle fonction de vraisemblance de θ pour une réalisation (x 1,,x n ) d un échantillon, la fonction de θ : L (x1,,x n)(θ) := n f(x i, θ). i=1

37 Principe de la méthode - 2 Définition On appelle fonction de vraisemblance de θ pour une réalisation (x 1,,x n ) d un échantillon, la fonction de θ : L (x1,,x n)(θ) := n f(x i, θ). La méthode qui consiste à estimer θ par la valeur qui maximise L (x1,,x n) (la vraisemblance) s appelle méthode du maximum de vraisemblance. i=1

38 Principe de la méthode - 2 Définition On appelle fonction de vraisemblance de θ pour une réalisation (x 1,,x n ) d un échantillon, la fonction de θ : L (x1,,x n)(θ) := n f(x i, θ). La méthode qui consiste à estimer θ par la valeur qui maximise L (x1,,x n) (la vraisemblance) s appelle méthode du maximum de vraisemblance. On appelle ˆθ l estimateur associé : { } ˆθ := i=1 θ : L (x1,,x n)(ˆθ) = supl (x1,,x n)(θ) θ Θ.

39 Principe de la méthode - 3 Ceci est un problème d optimisation. On utilise généralement le fait que si L (x1,,x n) est dérivable et si L (x1,,x n) admet un maximum global en une valeur, alors la dérivée première de L (x1,,x n) s y annule et sa dérivée seconde y est négative.

40 Principe de la méthode - 3 Ceci est un problème d optimisation. On utilise généralement le fait que si L (x1,,x n) est dérivable et si L (x1,,x n) admet un maximum global en une valeur, alors la dérivée première de L (x1,,x n) s y annule et sa dérivée seconde y est négative. Réciproquement, si la dérivée première de L (x1,,x n) s annule en θ 0 := ˆθ, et si sa dérivée seconde est négative strictement en ˆθ, alors ˆθ est un point où L (x1,,x n) admet un maximum local (et non global). Il est alors nécessaire de vérifier que le maximum est global.

41 Principe de la méthode - 3 Ceci est un problème d optimisation. On utilise généralement le fait que si L (x1,,x n) est dérivable et si L (x1,,x n) admet un maximum global en une valeur, alors la dérivée première de L (x1,,x n) s y annule et sa dérivée seconde y est négative. Réciproquement, si la dérivée première de L (x1,,x n) s annule en θ 0 := ˆθ, et si sa dérivée seconde est négative strictement en ˆθ, alors ˆθ est un point où L (x1,,x n) admet un maximum local (et non global). Il est alors nécessaire de vérifier que le maximum est global. La vraisemblance étant positive et le logarithme népérien, log, étant une fonction croissante, il est équivalent et souvent plus simple de maximiser le logarithme népérien de la vraisemblance (le produit se transforme en somme, ce qui est plus simple à dériver).

42 Exemple - 1 Avec une loi discrète On souhaite estimer le paramètre λ d une loi de Poisson à partir d un n-échantillon. On a ici λ λn f(n, λ) = P λ (X = n) = e n!.

43 Exemple - 1 Avec une loi discrète On souhaite estimer le paramètre λ d une loi de Poisson à partir d un n-échantillon. On a ici λ λn f(n, λ) = P λ (X = n) = e n!. La fonction de vraisemblance s écrit ainsi L (x1,,x n)(λ) = n i=1 e λ λx i x i! = e λn n i=1 λ x i x i!.

44 Exemple - 1 Avec une loi discrète On souhaite estimer le paramètre λ d une loi de Poisson à partir d un n-échantillon. On a ici λ λn f(n, λ) = P λ (X = n) = e n!. La fonction de vraisemblance s écrit ainsi L (x1,,x n)(λ) = n i=1 On prend le logarithme népérien : e λ λx i x i! = e λn ( ) log L (x1,,x n)(λ) = λn+log(λ) n i=1 n x i i=1 λ x i x i!. n log(x i!). i=1

45 Exemple - 2 La dérivée première vaut n+ 1 λ n x i. i=1

46 Exemple - 2 La dérivée première vaut n+ 1 λ Elle s annule pour ˆλ := 1 n ni=1 x i. n x i. i=1

47 Exemple - 2 La dérivée première vaut n+ 1 λ n x i. Elle s annule pour ˆλ := 1 ni=1 n x i. Et, la dérivée seconde, qui est égale à ni=1 x i λ 2, est toujours négative. i=1

48 Exemple - 2 La dérivée première vaut n+ 1 λ n x i. Elle s annule pour ˆλ := 1 ni=1 n x i. Et, la dérivée seconde, qui est égale à ni=1 x i λ 2, est toujours négative. Ainsi, la méthode du maximum de vraisemblance nous donne comme estimateur : ˆλ := x, la moyenne d échantillon. i=1