Statistique : Estimation : modèle statistique, notion d estimateur, biais / variance.

Dimension: px

Commencer à balayer dès la page:

Download "Statistique : Estimation : modèle statistique, notion d estimateur, biais / variance."

Laure Cormier
il y a 6 ans
Total affichages :

1 Fondamentaux pour le Big Data c Télécom ParisTech / Statistique : : Statistique : : modèle statistique, notion Septembre 0

2 Plan du cours Fondamentaux pour le Big Data c Télécom ParisTech / Statistique : :

3 : contexte Fondamentaux pour le Big Data c Télécom ParisTech / Statistique : : Rappel On observe des réalisations (y,..., y n ) de variables aléatoires inconnues (éventuellement vectorielles) On suppose ici que les variables sont indépendantes et identiquement distribuées (i.i.d.) selon une loi P Y Selon la situation, la loi P Y a certaines caractéristiques. Exemple: Pile ou face : on sait que PY = Bernoulli(p) pour un certain p [0, ] inconnu Reformulation : on a une famille de lois candidates pour P Y, Exemple: la famille des lois de Bernoulli

4 Fondamentaux pour le Big Data c Télécom ParisTech / Statistique : : La loi cible P Y est indéxée par un paramètre θ Θ : P Y = P θ pour un θ inconnu, et Θ est l ensemble d indexation Exemple: Pile ou face θ = p, Θ = [0, ] Un modèle statistique est une famille de lois de probabilité M = {P θ : θ Θ} indexées par un ensemble de paramètres Θ.

5 paramétrique Fondamentaux pour le Big Data c Télécom ParisTech / Statistique : : Modèle paramétrique Un modèle paramétrique est une famille de lois de probabilité M = {P θ : θ Θ} indexée par un ensemble fini, disons p, de paramètres : Θ R d Rem: le modèle est indexé par un nombre ou un vecteur réel. d est la dimension du modèle. Exemple: Pile ou face (Bernoulli) θ = p ; Θ = [0, ] ; ici d = Modèle gaussien : θ = (µ, σ ), Θ = R R + ; ici d =

6 Exemple Fondamentaux pour le Big Data c Télécom ParisTech / Statistique : : (y,..., y n ) un échantillon. Si on remarque que l échantillon est symétrique par rapport à sa moyenne empirique, avec un histogramme en cloche : Quel modèle choisir?

7 Exemple : cas gaussien Fondamentaux pour le Big Data c Télécom ParisTech / Statistique : : Il peut être raisonnable de chercher la loi des données dans un modèle gaussien. Le paramètre du modèle est dans ce cas θ = (µ, σ ), θ Θ = R R +

8 Fondamentaux pour le Big Data c Télécom ParisTech / Statistique : : Objectif : Estimer une quantité g = g(θ) qui ne dépend que de la loi P θ des observations. g est une constante inconnue déterministe i.e., non aléatoire. Exemple: l espérance, un quantile, la variance, etc. Intuition : Un estimateur ĝ est calculé à partir de l échantillon (y,..., y n ), dans le but d approcher g(θ). : définition Un estimateur ĝ est une fonction des observations : ĝ : (y,..., y n ) ĝ(y,..., y n )

9 Propriétés d un estimateur : le biais Fondamentaux pour le Big Data c Télécom ParisTech 9/ le biais d un estimateur ĝ est l espérance de l erreur Statistique : : Biais(ĝ) = E(ĝ(y,..., y n )) g (dépend de θ). sans biais Un estimateur ĝ de g est non biaisé si, quel que soit θ Θ, E(ĝ(y,..., y n )) = g(θ) Rem: Le biais est une mesure de l erreur systématique d une méthode. La vraie quantité d intérêt est plutôt la valeur absolue du biais.

10 sans biais de l espérance Fondamentaux pour le Big Data c Télécom ParisTech 0/ L espérance théorique dépend de la loi P θ. on cherche à estimer g(θ) = E(Y ) Statistique : : Théorème La moyenne empirique ĝ(y,..., y n ) = y n = n n i= y i est un estimateur sans biais de l espérance E(Y ) En effet, E(ĝ(y,..., y n )) = E( n n y i ) = n i= n E(y i ) = E(Y ) i= car E(y i ) = E(Y ) (caractère i.i.d. des y i ) Rem: L estimateur ĝ(y,..., y n ) = y est aussi un estimateur sans biais de l espérance

11 sans biais de la variance Fondamentaux pour le Big Data c Télécom ParisTech / Statistique : : La variance théorique dépend de la loi P θ. on cherche à estimer g(θ) = Var(Y ) Théorème L estimateur ĝ(y,..., y n ) = n n i= (y i y n ) est un estimateur sans biais de la variance Var(Y ) Rem: Attention au terme n. La variance empirique (avec un facteur /n) est en effet biaisée

12 Propriétés d un estimateur : la variance Fondamentaux pour le Big Data c Télécom ParisTech / Statistique : : la Variance d un estimateur est sa variance théorique : Var(ĝ) = Var(ĝ(y,..., y n )) = E(ĝ E(ĝ)) Rem: La variance mesure donc la dispersion d un estimateur autour de sa moyenne

13 Statistique : : Biais ou variance? Fondamentaux pour le Big Data c Télécom ParisTech /

14 Biais ou variance? Fondamentaux pour le Big Data c Télécom ParisTech / Statistique : : Si ĝ 0 et ĝ sont sans biais, on préfère celui de plus faible variance.

15 Biais ou variance? Fondamentaux pour le Big Data c Télécom ParisTech / Statistique : : Si ĝ 0 et ĝ ont la même variance, alors on préfère celui de biais le plus faible.

16 Fondamentaux pour le Big Data c Télécom ParisTech / Risque quadratique / compromis biais-variance Risque quadratique d un estimateur de g Le risque quadratique d un estimateur ĝ est : Statistique : : R(ĝ) = E [ (ĝ g) ] On fait apparaître le biais B = E[ĝ] g et on développe. R(ĝ) = E [ (ĝ E(ĝ) + B) ] = E [ (ĝ E(ĝ)) + B + B(ĝ E(ĝ)) ] = Var(ĝ) + B + B E [ĝ E(ĝ)] }{{} =0 Risque (ĝ) = Variance(ĝ) + ( Biais(ĝ) ) Règle de choix : prendre l estimateur dont le risque est le plus petit

Documents pareils

Probabilités III Introduction à l évaluation d options

Probabilités III Introduction à l évaluation d options Jacques Printems Promotion 2012 2013 1 Modèle à temps discret 2 Introduction aux modèles en temps continu Limite du modèle binomial lorsque N + Un