Estimation Ponctuelle

Dimension: px

Commencer à balayer dès la page:

Download "Estimation Ponctuelle"

Germain Lanthier
il y a 7 ans
Total affichages :

1 Chapitre 3 Estimation Ponctuelle Cours 7 On donne dans ce chapitre et les chaprites suivants, les bases de la démarche statistique dont le but est de décrire le modèle P θ sous jacent aux observations. En particulier, nous allons voir comment estimer le paramètre θ, construire des intervalles de confiance pour ce dernier ou encore tester des hypothèses sur θ. Modèle Statistique Un modèle statistique paramétrique consiste en la donnée d un ensemble d observations, réalisations d une variable aléatoire, que l on note X et d une loi de probabilité paramétrée associée à l observation de la variable aléatoire. On note cette loi P θ, θ désignant le paramètre qui est inconnu. Tout le travail du statisticien sera d obtenir de l information sur celui-ci en exploitant les observations qui décrivent en quelque sorte P θ. Pour ce faire, on va chercher à construire une statistique. Définition 13 On appelle statistique toute fonction de l observation représentée par une réalisation d un échantillon de v.a.. En général, on note l échantillon de v.a. X = (X 1,, X n ) qu on appelle également par abus de language l observation. On donne alors la définition suivante d un estimateur du paramètre θ : 49

2 L1 - ELÉMENTS DE STATISTIQUE Définition 14 Un estimateur du paramètre θ est une statistique g(x 1,, X n ). Un estimateur propose donc une valeur pour le paramètre du modèle, qui dépend de ce que l on a observé. Remarque : X i désigne une variable aléatoire. Ainsi un estimateur de θ étant une fonction de v.a., est également une v.a.. En général, on note x i, une réalisation de la v.a. X i. g(x 1,..., x n ) est appelé une estimation de θ. Exemple : Considérons une population dont une partie possède un certain caractère A. Supposons que la proportion p d individus possèdant le caractère A ne soit pas connue. On prélève un échantillon de taille n dans la population et on note X i la v.a. qui vant 1 si l individu possède le caractère A et 0 sinon. Il s agit d une v.a. de Bernoulli de paramètre p. L espace des observations X est ici {0,1} n et P θ, la loi de l observation est un modèle de Bernoulli avec θ = p. Il va s agir d estimer ce paramètre p sur la base de l observation d un échantillon (X 1,..., X n ). Autre exemple : La loi exponentielle est couramment utilisée pour modéliser le temps qui s écoule avant qu un événement donné ne se produise. Rappellons l expression de la densité de sa loi de probabilité : f (x)= 1 θ exp{ x θ }, θ> 0, x R+. Le paramètre d intérêt est ici θ. Nous verrons également dans le paragraphe suivant comment estimer θ mais remarquons d ores et déjà que E(X)=θ, i.e. le temps moyen (l espérance mathématique de X) qui s écoule avant que l événement n ait lieu, est égal au paramètre. Une manière d estimer θ pourrait donc consister à chercher à estimer le temps moyen d occurrence de l événement. C est l objet du paragraphe suivant. 50

3 CHAPITRE 3. ESTIMATION PONCTUELLE 3.1 Méthode des Moments La méthode des moments consiste à égaler les moments théoriques aux moments empiriques. On rappelle ci-dessous, la définition des moments d ordre supérieur : moments théoriques d ordre q si X est discrète : si X est continue : E(X q )= x V x q P(X = x) E(X q )= x q f X (x)dx. V moments empiriques d ordre q pour un n-échantillon (X 1,, X n ) : m q = 1 n X q i. La méthode est motivée par le fait que les moments théoriques s expriment en fonction du paramètre. On a ainsi un système d équations en θ dont les solutions exprimées en fonction des moments empiriques seront des estimateurs de θ. D une manière générale, il s agit donc de résoudre un système d équations : m q = E(X q ;θ) où l on écrit E(X q ;θ) à la place de E(X q ) pour signifier que cette quantité dépend de θ. Le nombre d équation q sera exactement égal à la dimension de θ (voir l exemple de la loi normale de paramètre ci-dessous). Exemple Dans le cas d une loi Bernoulli de paramètre p, un estimateur de p peut donc être obtenu en égalant la moyenne théorique i.e. l espérance mathématique p à la moyenne empirique X n. On a donc : p= X n et si on note ˆp l estimateur de p : ˆp= X n. 51

4 L1 - ELÉMENTS DE STATISTIQUE Autre exemple Pour une loi normale le paramètre, θ= (µ,σ 2 ) est un élément de R 2, on aura donc besoin de former deux équations pour estimer θ. On calculera alors les moments théoriques et empiriques d ordre 1 et 2. On a : E(X)=µ et V ar(x)=σ 2. Ainsi E(X 2 )=σ 2 +µ 2. On obtient donc des estimateurs de µ et σ 2 en résolvant le système : X i/n=e(x) X 2 i /n=e(x 2 ) X i/n=µ X 2 i /n=σ2 + µ 2 Il vient les estimateurs : 2 ˆµ= X i /n= X n et ˆσ 2 = X 2 i /n ( X i /n). On donne dans la table ci-dessous les estimateurs des paramètres obtenus par la méthodes des moments pour quelques modèles (soin est laissé au lecteur de retrouver ces résultats) : Paramètre Estimateur Binomiale (N, p) ˆp= X n N Poisson λ ˆλ= X n Exponentielle θ ˆθ= X n Normale (µ,σ 2 ) ˆµ= X n ˆσ 2 = 1 n (X i X n ) Méthode du maximum de vraisemblance La méthode du maximum de vraisemblance consiste à considérer que ce que l on a observé est en quelque sorte ce qu il y a de plus probable. Si les ob- 52

5 CHAPITRE 3. ESTIMATION PONCTUELLE servations sont indépendantes, la loi de l échantillon est le produit des densités. Ce produit dépend du paramètre. On pourra proposer d estimer ce dernier en cherchant la valeur du paramètre qui maximise le produit des densités qui est vu comme une fonction du paramètre. Soit (X 1, X 2,..., X n ) un n-échantillon de v.a. indépendantes et identiquement distribuées c est-à-dire toute de même loi de densité f (x θ), θ Θ, l espace des paramètres. Définition 15 - On appelle fonction de vraisemblance, ou vraisemblance la fonction : n L(θ)= f (x i θ). Remarque si la variable est discrète de loi P(X = x θ), la vraisemblance s écrira : n L(θ)= P(X i = x i θ). Définition 16 - L estimateur du maximum de vraisemblance (emv) de θ est la valeur ˆθn de θ qui maximise la quantité logl(θ x), appelée log-vraisemblance. En pratique, la démarche pour calculer l emv est la suivante : 1. Ecrire la vraisemblance : n L(θ)= f (x i θ). 2. Calculer la log-vraisemblance : logl(θ). 3. Ecrire les équations dites du maximum de vraisemblance : 4. Résoudre ces équations : d dθ logl(θ)=0. ˆθ n = ArgmaxlogL(θ). θ Θ 53

6 L1 - ELÉMENTS DE STATISTIQUE Exemple : loi exponentielle Considérons un n-échantillon de v.a. de loi exponentielle de paramètre θ. Calculons l estimateur du maximum de vraisemblance (emv) de θ. 1. Vraisemblance L(θ)= ( ) ( ) n 1 θ e x i/θ 1 n = exp{ 1 θ θ 2. Log-vraisemblance [ (1 ) n logl(θ)=log exp{ 1 θ θ } x i }] x i = nlogθ 1 θ Rappel : logab= loga+logb log x a = a log x x i log1/a= loga log e x = e log x = x 3. Equation de vraisemblance [ nlogθ 1 ] x i = 0 n θ θ + 1 θ 2 x i = 0 n+ 1 θ x i = 0 4. Résolution La solution est : ˆθ= 1 n x i = X n. Remarque : L estimateur du maximum de vraisemblance est identique à l estimateur obtenu par la méthode des moments. Exemple : loi normale Considérons un n-échantillon de loi normale de paramètre (µ,σ 2 ). Supposons σ 2 connu et calculons l estimateur du maximum de vraisemblance (emv) de µ. 1. Ecrivons la vraisemblance : ( ( ) { n 1 L(µ)= e (x i µ) 2 /2σ )= 2 1 n exp 1 2πσ 2πσ } (x i µ) 2 54

7 CHAPITRE 3. ESTIMATION PONCTUELLE 2. Calculons la log-vraisemblance : [ ( ) 1 n/2 log L(µ) = log exp{ 2πσ 2 1 = n 2 log(2πσ2 ) 1 }] (x i µ) 2 (x i µ) 2 3. On dérive cette dernière quantité par rapport à µ. [ n 2 log(2πσ2 ) 1 ] (x i µ) 2 = 0 1 2(x i µ)=0 x i nµ=0 La solution est ˆµ n = 1 n x i = x n. L estimateur du maximum de vraisemblance de µ est donc égal à la moyenne empirique. Considérons maintenant le cas où µ est connu et calculons l emv de σ 2. Le calcul de la log-vraisemblance est identique et on a : L(σ 2 )= n 2 log(2π) n 2 log(σ2 ) 1 En dérivant par rapport à σ 2, il vient : (x i µ) 2. d dσ 2 L(σ2 )=0 n 1 2 σ (σ 2 ) 2 (x i µ) 2 = 0 n+ 1 σ 2 (x i µ) 2 = 0 La solution est donc ˆσ 2 = 1 n (x i µ) 2. 55

Documents pareils

Méthodes de Simulation

Méthodes de Simulation JEAN-YVES TOURNERET Institut de recherche en informatique de Toulouse (IRIT) ENSEEIHT, Toulouse, France Peyresq06 p. 1/41 Remerciements Christian Robert : pour ses excellents transparents