Introduction à la Statistique Inférentielle

UNIVERSITE MOHAMMED V-AGDAL SCIENCES FACULTE DES DEPARTEMENT DE MATHEMATIQUES SMI semestre 4 : Probabilités - Statistique Introduction à la Statistique Inférentielle Prinemps 2013

0 INTRODUCTION La statistique est la science dont l'objet est de recueillir, de traiter et d'analyser des données issues de l'observation de phénomènes aléatoires, c'est-à-dire dans lesquels le hasard intervient. L'analyse des données est utilisée pour décrire les phénoménes étudiés, faire des prévisions et prendre des décisions à leur sujet. En cela, la statistique est un outil essentiel pour la compréhension et la gestion des phénomènes complexes. Les données étudiées peuvent être de toute nature, ce qui rend la statistique utile dans tous les champs disciplinaires et explique pourquoi elle est enseignée dans toutes les filières universitaires, de l'économie à la biologie en passant par la psychologie, et bien sûr les sciences de l'ingénieur. Les méthodes statistiques se répartissent en deux classes : - La statistique descriptive, statistique exploratoire ou analyse des données, a pour but de résumer l'information contenue dans les données de façon efficace. Elle utilise pour cela des représentations de données sous forme de graphiques, de tableaux et d'indicateurs numériques (par exemple des moyennes). Elle permet de dégager les caractéristiques essentielles du phénomène étudié et de suggérer des hypothèses pour une étude ultèrieure plus sophistiquée. Les probabilités n'ont ici qu'un rôle mineur. - La statistique inférentielle va au delà de la simple description des données. Elle a pour but de faire des prévisions et de prendre des décisions au vu des observations. Les probabilités jouent ici un rôle fondamental. L'objet de ce cours est de décrire les techniques de la statistique inférentielle utilisées pour recueillir de l'information et prendre des décisions à partir des données observées. 2

1 - ECHANTILLONNAGE Tout, dans la statistique inférentielle, repose sur l'étude des distributions des échantillons. 1.1 - Généralités Le terme d'échantillon est souvent associé à un sous-ensemble de cardinal n tiré d'une population finie ou infinie selon certaines règles: il s'agit alors d'un échantillon d'individus. Dans cette partie, on s'intéresse plutôt aux échantillons de variables que l'on relie aux échantillons d'individus par la considération élémentaire suivante: Sur chaque individu tiré, on mesure une certaine grandeur X et on note observées. Le n-uplet x = ( ) est un échantillon de valeurs. les valeurs Exemple 1: On prélève au hasad n ampoules électriques dans une production et on mesure leur durée de fonctionnement. Si les caractéristiques de fabrication n'ont pas varié d'une ampoule à l'autre, les différences entre les (x i ) peuvent être considérées comme des fluctuations de nature aléatoire. Cette dernière remarque justifie l'hypothèse fondamentale de la théorie de l'échantillonnage: Les valeurs observées x i sont des réalisations d'une même variable aléatoire X, appelée variable parente ou de population. Dans notre exemple, ceci revient à postuler l'existence d'une variable abstraîte, la durée de vie d'une ampoule de type donné, fabriquée dans des conditions données. On peut cependant introduire aussi le modèle suivant: À chaque individu tiré, on associe une variable aléatoire X i dont on observe une seule réalisation x i. L'hypothèse formulée plus haut revient alors à dire que les X i sont des variables aléatoires réelles ayant toutes la même distribution, celle de X. On supposera également que les X i sont indépendantes (dire qu'elles sont indépendantes sous entend qu'elles sont définies sur le même espace de probabilit ). Définition 1: Les variables aléatoires forment un échantillon aléatoire de taille n (on dit aussi un n-échantillon) si les v.a. sont indépendantes et identiquement distribuées (i.i.d. en abrégé). On dit que ( ) est un échantillon de taille n (ou aussi un n-échantillon),si pour tout i, x i est une réalisation de X i. Dans toute la suite on notera les variables aléatoires par des lettres capitales, et leurs réalisations (non aléatoires ou déterministes) par des lettres minuscules. En convenant de noter par f X (.) aussi bien la masse de probabilité dans le cas discret que la densité marginale dans le cas continu de la v.a. X, c'est-à-dire:, La densité conjointe du n-uplet (X 1,..., X n ) est donnée par: 3

Cette densité conjointe peut être utilisée pour calculer diverses probabilités relatives à l échantillon. En particulier, si f X (x) appartient à une famille paramétrique de densités de probabilités { (x), } où l'espace des paramètres est contenu dans IR k, k 1, nous avons: avec inconnu. En considérant différentes valeurs possibles de, on peut étudier le comportement de notre échantillon pour différentes distributions appartenant à la famille considérée. Exemple 2 : Soit un n-échantillon représentant les n durées de fonctionnement (en mois) de n ampoules issues d'une population exponentielle de paramètre : n n f(x 1,...,x n ) = f (x i ) = (1/ ) e -x i / = (1/ n ) e - n x i / i 1, x 1,...,x n 0. i 1 i 1 Quelle est la probabilité que toutes les ampoules admettent une durée de fonctionnement d'au moins 2 mois? P(X 1 > 2,..., X n > 2) = 2... 2 f(x1,...,x n )dx 1 dx 2...dx n n = 2... 2 (1/ ) e -x i / dx 1 dx 2...dx n i 1 = e -2/ n 2... 2 {i 1/ e -x i / }dx 2...dx n (intégration p.r. à x 1 ) 1 =... (intégration p.r. à x i ) = (e -2/ ) n = e -2n/. On peut retrouver ce résultat en utilisant l'indépendance des v.a. X 1,...,X n : P(X 1 > 2,..., X n >2) = P(X 1 >2)... P(X n >2) (indépendance) = (P[X 1 > 2]) n (lois identiques) Remarques: = e-2n / (loi exp( )) 1) Le modèle d'échantillonnage décrit dans la définition 1 est aussi appelé échantillonnage à partir d'une population infinie. 2) Echantillonnage d'une population finie: dans ce cas, les hypothèses d'indépendance peuvent ne pas être vérifiées selon que le tirage est avec ou sans remise. Considérons en effet une population finie dont les N mesures ou observations possibles de X sont {x 1,..., x N }. Un échantillon est à constituer à partir de cette population. On peut procéder de deux manières: i) tirage avec remise: dans ce cas, chaque X i est une variable discrète prenant chaque valeur x i avec la même probabilité 1/N : P(X i =x i ) = 1 N, i=1,...,n 4

Les (X i ) sont indépendantes car le processus de choix de toute variable X i est le même indépendamment de la valeur obtenue. ii) tirage exhaustif ou sans remise: l'indépendance est en défaut car par exemple, si x et y sont deux éléments distincts de l'ensemble {x 1,...,x N }, on a P(X 2 =y/x 1 =y)=0 car y ne peut être choisi à l'étape suivante, alors que P(X 2 =y/x 1 =x) = 1/(N-1) et donc la loi de X 2 dépend de celle de X 1. Cependant, si N est grand comparativement à n, les variables aléatoires peuvent être considérées comme presque indépendantes. Ceci est illustré par l'exemple suivant. Exemple 3: P = {1,...,1000} est notre population de taille N=1000. Un échantillon de taille n=10 est tiré sans remise. Quelle est la probabilité que toutes les 10 valeurs échantillonnées soient > 200? Si X 1,..., X 10 sont indépendantes et, puisque P(X i > 200) = 800/1000, i, on a: 10 P(X 1 > 200,..., X 10 > 200) = P(X 1 >200) = ( 800 1000) 10 = 0,107374. i 1 Calcul exact: Soit la v.a. Y = nombre de X i > 200 parmi n. Alors, Y suit la loi hypergéométrique H(N,n,r) avec N=1000, n=10, r=800, et donc 10 0 10 P (Y=10) = P(X 1 >200,..., X 10 >200) = C 800C200 / C 1000 = 0,106164, valeur qui est très proche de celle obtenue sous l'hypothèse d'indépendance Dans la suite du cours, nous utilisons la définition 1 comme définition d'un échantillon aléatoire. 1.2 - Statistiques basées sur un échantillon aléatoire Il est d'usage dans la pratique de résumer les n valeurs x 1,..., x n observées d'un échantillon X = ( ) par quelques caractéristiques simples telles que la moyenne, la variance, l'étendue, la plus grande valeur, etc. Ces caractéristiques sont elles-mêmes des réalisations ou observations de variables aléatoires qui sont fonctions de l'échantillon aléatoire X. Définition 2: Soit un échantillon de taille n de X et soit T( ) une fonction vectorielle définie sur l'espace image du vecteur X=( ). Alors la variable aléatoire ou vecteur aléatoire défini par T=T(X) est appelée statistique. La distribution de probabilité de la statistique est appelée distribution échantillonnale de T. Exemple4 : Remarque: est une statistique est sa valeur observée a) La définition d'une statistique est assez large, mais il est sous-entendu qu'une statistique ne peut dépendre d'un paramètre. 5

b) Une statistique peut être à valeurs dans IR ou dans IR p. Dans ce dernier cas, on parlera de statistique vectorielle. Les résumés empiriques par une statistique peuvent contenir diverses informations. La plus petite et la plus grande de ces valeurs ainsi que leur valeur moyenne constituent des exemples courants de tels résumés. Définition 3: 1) La moyenne échantillonnale est la variable aléatoire définie par: 2) La variance échantillonnale est la variable aléatoire définie par: S 2 = 1 n (X i X) 2. n -1 i 1 L'écart-type échantillonal est la racine carrée S de la variance échantionnale. 3) La statistique d'ordre de l'échantillon X 1,..., X n est l'échantillon ordonné dans l'ordre croissant et noté X (1),..., X (n) avec : X (1) = min X 1 i n i, X (2) = seconde plus petite observation,.., X (n) = max X 1 i n i. 4) L'étendue échantillonnale R est la variable aléatoire : R = X (n) - X (1). Remarques: a) Dans cette définition, on devrait écrire: X = X( ), S = S(X 1,...,X n ), R = R(X 1,...,X n ), etc. b) La variance et l'écart-type échantillonnaux sont deux mesures de la variabilité dans l'échantillon. Ces deux caractéristiques sont liées à la variance et l écart-type inconnus de la population comme nous le verrons plus loin. 1.2.1 - Propriétés de X et S2 Lemme 1: Soit X = ( ) un échantillon aléatoire et x une observation ou réalisation de X. Soit x la moyenne empirique des x i. Alors: a) Min n n (x i 1 i ) 2 = (x i x) 2 i 1 b) (n-1) s 2 n = (x i x) 2 n 2 = x i 1 i 1 i - n x 2 n n Preuve : (x i 1 i ) 2 = (x i 1 i x + x - ) 2 n = (x i x) 2 n n + (x ) 2 + 2 (x i 1 i 1 i 1 i x)(x - ) n = (x i x) 2 n + (x ) 2. i 1 i 1 Cette dernière expression résulte du fait que 6

Elle montre clairement que est minimisée par =x, d'où a). L'identité b) se déduit par un calcul analogue au précédent Commentaires: Pour résumer les n valeurs observées d'un échantillon, il ne faut jamais perdre de vue qu'un resumé par une seule caractéristique n'a aucun sens: la statistique commence précisement là où il y a variabilité et on ne peut évidemment pas se contenter d'une valeur unique telle que la moyenne. Il convient donc de définir à la fois une valeur centrale et une mesure de dispersion autour de cette valeur. La recherche de cette valeur centrale répond à la préoccupation suivante: "Résumer les n valeurs par une valeur unique aussi voisine que possible des (x i )". Nous commençons par étudier les distributions échantillonnales de X et de S 2 en considérant d'abord l'espérance de ces statistiques. En utilisant la linéarité de l'espérance mathématique ainsi que l'indépendance, on peut établir le théorème suivant: Théorème 1: Soit X un n-échantillon d'une population de moyenne et de variance 2 finie. Alors on a : a) E[X] = b) Var[X] = 2 n c) E[S 2 ] = 2. Preuve: a) E[X] = = ; (Car X 1,..., X n sont de même loi) = b) étant indépendantes et de même loi, donc Var(X) = n var( 1 X 1 ) n = n 2 n2 = 2 n. c) Puisque:, on a: X X 7

Commentaires: les deux relations a) et c) du théorème précédent sont des relations entre une statistique ( X ou S 2 ) et un paramètre de la population ( ou 2 ). Ce sont deux exemples de statistiques sans biais (à voir plus loin en détail). Théorème 2: (Théorème central limite) Soit un n-échantillon de X. On pose =E(X) et 2 =var(x). On considère la variable aléatoire centrée réduite Z n définie par: Alors, pour n grand, la distribution de Z n est approximativement (0,1): P (Z n x) P (Z x) pour n grand, avec Z de loi (0,1). Ainsi, lorsque n est suffisamment grand, la moyenne X est assimilée à une v.a. normale quelque soit la distribution de l'échantillon X. 1.3 - Echantillonnage à partir d'une distribution normale Le théorème central limite est souvent utile lorsque la distribution échantillonnale de X ou de S 2 est inconnue ou difficile à déterminer. Dans le cas où X 1,..., X n est issu d'une population de loi normale, il est facile de déduire plusieurs propriétés échantillonnales intéressantes. En particulier, nous avons: Théorème 3: (Théorème de Fisher). Soit ( ) un n-échantillon issu d'une population normale (, 2 ). Soient X et S 2 sa moyenne et sa variance échantillonnales. Alors: a) X et S 2 sont deux variables aléatoires indépendantes; b) ; c) la loi Khi-deux à (n-1) degrés de libertés d.d.l. d) la loi de Student à (n-1) d.d.l. La détermination des lois de X et S 2 est une des premières étapes dans l'analyse statistique. En particulier, la variance 2 est inconnue dans la plupart des cas pratiques et, pour avoir une idée précise de la variablilité de X (considérée comme estimateur de ), il est nécessaire d'estimer cette variance. Si suit la loi (, 2 ), alors la variable aléatoire. Si on connait et on observe X, on peut utiliser Z pour faire de l'inférence concernant car ce paramètre est le seul inconnu dans ce cas. Cependant, lorsque est inconnu, l'utilisation de Z devient impossible. Student (pseudonyme de W.S Gosset, 1900) a proposé dans ce cas d'utiliser plutôt la statistique. 8

2 ESTIMATION PONCTUELLE On observe un échantillon issu d'une variable aléatoire X dont la loi de probabilité dépend d'un paramètre inconnu. Le problème qui se pose est celui de l'estimation du paramètre. L estimation statistique consiste à donner, à partir des observations, une approximation ou une évaluation de que l'on espère la plus proche possible de la vraie valeur inconnue. On pourra proposer une unique valeur vraisemblable pour (estimation ponctuelle), ou un ensemble de valeurs vraisemblables (estimation ensembliste ou région de confiance). Exemple5 : Supposons qu'on fabrique des pièces sur une machine, chaque pièce ayant une probabilité inconnue (mais la même pour chaque pièce) d'être défectueuse. On cherche, à l'aide d'un échantillon de n pièces, à obtenir des renseignements sur. Pour cela, on dispose de l'observation, constituée du nombre X de pièces défectueuses parmi les N pièces fabriquées. Il est "naturel" de prendre comme valeur de la proportion X N de pièces défectueuses. Il est "vraisemblable" que la valeur exacte de soit proche de X/N, mais tout-à-fait invraisemblable qu'elle soit égale à X N exactement. 2.1 - Méthodes d'estimation ponctuelle Dans cette section, nous présentons deux méthodes classiques qui permettent de sélectionner des estimateurs raisonnables pour le paramètre inconnu (ou encore une fonction de ce paramètre). Mais il faut d'abord définir précisement ce que sont une estimation et surtout un estimateur. Pour estimer on ne dispose que des données, donc une estimation de sera une fonction de ces observations. Définition4 : Soit un échantillon issu d une loi de paramètre. On appelle estimateur de toute staistique T(X)=T à valeurs dans l'ensemble des valeurs possibles de. Une estimation de est une réalisation t de l'estimateur T. Un estimateur est donc une variable aléatoire, alors qu'une estimation est une valeur déterministe. 2.1.1 - Méthode des moments Soit X un échantillon d'une distribution dépendant de k paramètres 1,..., k. Soient les k moments d'ordre j ( ) de la v.a X. On définit les moments échantillonnaux d'ordre j correspondants par : Pour pouvoir appliquer la méthode des moments, supposons pouvoir exprimer les k premiers moments en fonction des k paramètres 1,..., k : On remplace ensuite les moments système : par leurs estimateurs respectifs m j puis on résout le 9

Les k solutions paramètres. Exemple6: Soit paramètre à estimer est On a dans ce cas: de ce système, constituent les estimateurs des moments des k un échantillon issu d une v.a aléatoire X. Supposons que le, où est la moyenne de X et 2 est sa variance. le système à résoudre est: D'où : Et l estimateur des moments pour est. 2.1.2 - Méthode du maximum de vraisemblance Soit un échantillon aléatoire issu d une loi inconnue appartenant à la famille de lois paramétriques { }, et soit x = la valeur observée correspondante. Définition 5: On appelle fonction de vraisemblance, la fonction définie sur par. Les va étant indépendantes, donc N.B: Dans la suite de ce cours on notera par la loi de probabilité d une v.a discrète ( et la densité de probabilité d une v.a continue(. Définition 6: Soit un échantillon aléatoire issu d une loi inconnue appartenant à la famille de lois paramétriques { }, et soit x = une valeur observée de X. pour x fixé on note de qui maximise, la fonction de 10

La statistique vraisemblace (EMV) de est appelée l estimateur du maximum de La méthode du maximum de vraisemblance (M.M.V) consiste, étant donné un échantillon de valeurs, à estimer le paramétre par la valeur qui rend maximale la fonction de vraisemblance : Pour déterminer la valeur, il est souvent commode d'utiliser car cette dernière fonction atteint son maximum au même point que la fonction et se prète mieux aux calculs. En effet, si et est différentiable en les candidats possibles pour l E. M.V sont les valeurs de 1,..., k solutions du système Exemple7: Contrôle de qualité par sondage: Une machine fabrique une proportion inconnue de pièces défectueuses. On désire estimer. Pour cela, on effectue un sondage: On prélève n pièces avec remise et on observe les v.a où X i = 1 si la pièce tirée est défectueuse et 0 sinon. Les données x i sont les valeurs observées des n variables aléatoires indépendantes de même loi : La fonction de vraisemblance est donnée par:. En dérivant la fonction et en résolvant par rapport à l'équation: nous obtenons l'estimateur de M.V. de suivant: Exemple8: Fiabilité: Considérons la v.a. continue à valeurs positives X représentant la durée de fonctionnement sans panne d'un système. Sa densité de probabilité f est celle d'une distribution exponentielle de moyenne 1/. On désire estimer par la méthode du M.V le paramètre. Pour celà, on considère n systèmes identiques et on observe leur durée de vie. Ce sont des observations des v.a. qui sont i.i.d. de loi exp ( ) où est inconnu. La fonction de vraisemblance est donnée par: L(x, ) = 11

et la fonction logarithme de la vraisemblance L(x, ) est:. En déterminant le zéro de la dérivée de cette fonction par rapport à, on obtient: L'estimateur du maximum de vraisemblance du paramètre est donc: Exemple9: Dans le cas d'un échantillon aléatoire de loi Uniforme sur, la fonction de vraisemblance est donnée par : Cette fonction est maximale en. L'estimateur de M.V de est donc:.. 2.2 - Méthode d'évaluation d'estimateurs Dans la section précédente, nous avons présenté deux méthodes de construction d'estimateurs raisonnables d'un paramètre ou d'une fonction de celui-ci. Ces techniques d'estimation conduisent généralement à différents estimateurs et la question qui se pose tout naturellement est celle du choix entre ces derniers. Soit X = ( ) un n-échantillon dont la distribution est spécifiée grace à un paramètre inconnu, et soit T=T(X) un estimateur de la fonction de ce paramètre. T sera un bon estimateur de s'il est suffisamment proche, en un certain sens, de. Il faut donc définir une mesure de l'écart entre et T. On appelle cette mesure le risque de l'estimateur. On a intérêt à ce que le risque d'un estimateur soit le plus petit possible. Parmi les critères qui permettent d'optimiser le choix d'un estimateur, nous avons: Définition 7: Le risque moyen quadratique où erreur moyenne quadratique (EMQ en abrégé) d'un estimateur T=T(X) de est la fonction de définie par: Où désigne l'espérance mathématique relativement à. Remarque : En écrivant, il est facile d'exprimer l'emq en fonction de la moyenne et la variance de l'estimateur T. On a:, 12

où. La fonction désigne le biais de l'estimateur T. Définition 8: Soient T = T(X) et S=S(X) deux estimateurs de On dit que T est meilleur que S (au sens de l EMQ) si, pour tout, Il est dit strictement meilleur si de plus il existe au moins une valeur de l'inégalité précédente est stricte. pour laquelle Exemple10: Soit X un n-échantillon de loi. Un estimateur raisonnable de est la moyenne échantillonnale. Comme et, on a: La dernière égalité résulte du fait que suit une loi (d'après le théorème 3). D'autre part, la statistique peut aussi bien être considérée comme estimateur de. Sa moyenne est égale à et son EMQ vaut. Donc l'estimateur est strictement meilleur que (si n>1). L'exemple précédent montre que est strictement meilleur que lorsqu'on veut estimer la moyenne d'une loi normale. 2.3 - Estimateurs sans biais. Le biais mesure une erreur systématique d'estimation de par T. Par exemple, si, cela signifie que T aura tendance à sous-estimer. Définition 9: On appelle estimateur sans biais de toute statistique T=T(X) telle que : Remarque: a) Si T est un estimateur sans biais, son EMQ est égale à sa variance. On en déduit immédiatement que de deux estimateurs sans biais, le meilleur est celui qui a la plus petite variance. On a donc intérêt à ce qu'un estimateur soit sans biais et de faible variance. b) La définition précédente signifie que l'estimateur sans biais T n'a tendance ni à sousestimer ni à sur-estimer le paramètre : en moyenne il vise juste. Exemples11: Contrôle de qualité par sondage (suite): dans cet exemple, l'estimateur de M.V du paramètre est donné parx. Il s'agit là d'un estimateur sans biais puisque: Exemples12: Fiabilité: L'estimateur du MV de est. Est-il sans biais? 13

loi Suit la loi gamma, car c est la somme de n variables aléatoires i.i.d de sa densité de probabilité est: et alors, Et n'est pas un estimateur sans biais de. Par contre, l'estimateur est sans biais. Nous avons vu précédemment que le critère d'emq n'est autre que la variance d'un estimateur sans biais. Par conséquent, la comparaison d'estimateurs sans biais selon la définition 8 revient à comparer leurs variances respectives. Exemple13: Estimation du paramètre d'une distribution uniforme. Soit un échantillon d'une v.a. de loi Uniforme sur, où est un paramètre réel positif inconnu. Puisque: il est "naturel" d'utiliser l'estimateur sans biais (estimateur des moments) T=T(X)=2X. Un second estimateur de est l'estimateur du MV obtenu précédemment: S Un tel estimateur est-il sans biais? Pour calculer E[S], nous avons besoin de déterminer la densité de probabilité de la v.a. S. Soit sa fonction de répartition:. Il en résulte, en dérivant par rapport à x: 14

Par suite, on a:. et S n'est donc pas sans biais. Par contre, l'estimateur est sans biais et on peut vérifier que :. Par conséquent, l'estimateur U fonction de l'estimateur du MV est meilleur que l'estimateur naturel des moments T=2 X puisque var(u) var(t) pour tout et tout n >1. Définition 10: On dit qu'un estimateur T=T(X) de la fonction g( ) du paramètre est un estimateur sans biais de variance minimale s'il est sans biais pour g( ) et si, pour tout autre estimateur S=S(X) sans biais de g( ), on a: R(,T) = var (T) var (S) = R(,S),. La recherche du meilleur estimateur sans biais de variance minimale (s'il en existe un!) n'est pas une tache facile en général. La difficulté réside d'abord dans l'évaluation de la variance d'estimateurs potentiels. Une autre difficulté réside dans la détermination du meilleur estimateur sans biais au sens de la définition précédente: même si on montre par exemple que var (T) var (S), rien ne permet d'affirmer qu'il n'existe pas d'autres estimateurs sans biais de variance inférieure à celle de T. 15

3 - ESTIMATION ENSEMBLISTE 3.1 - Introduction Il peut parfois être intéressant de chercher à approcher le paramètre inconnu non pas par un point T(X) mais par un sous-ensemble de l'espace des paramètres. Autrement dit, au lieu d'un estimateur ponctuel, on cherche un estimateur ensembliste de appelé aussi intervalle ou domaine de confiance. Note: Comme celà était convenu précédemment, nous notons par T(x) la valeur de la statistique observée pour T(X). Définition 10: Un intervalle de confiance d un paramètre réel est un intervalle où R(x) et S(x) est une paire de fonctions telle que. L'intervalle aléatoire est appelé estimateur ensembliste de. Exemple14: Soit un échantillon de loi (,1). Lorsqu on estime le paramètre parx, la probabilité, P(X= ), que cette estimation soit exacte, est nulle. Cependant, avec un intervalle de confiance on peut évaluer la probabilité que soit dans un intervalle I(X). Un estimateur ensembliste possible pour est par exemple l'intervalle I(X) = [X-1,X+1]. Prenons pour illustrer notre échantillon gaussien, n=4. Puisque la statistique X (,1/n), nous pouvons écrire en utilisant la table de la fonction de répartition (.) de la loi normale centrée et réduite: 0,9544. Ainsi, nous avons plus de 95% de "chance" que notre paramètre soit dans l'intervalle aléatoire I(X). 3.2 - Intervalle de confiance de niveau (1- ) Pour déterminer un intervalle de confiance pour un paramètre inconnu, nous devons connaître la distribution échantillonnale d'un estimateur ponctuel de ce dernier. Définition 11: Soient R(X) et S(X) deux statistiques. L intervalle aléatoire intervalle de confiance de niveau 1- pour le parrmètre si : est un Les statistiques R(X) et S(X) sont respectivement les limites de confiance inférieure et supérieure pour. Notre objectif est donc de les déterminer. 16

est la probabilité que le paramètre n'appartienne pas à l intervalle, c'est à dire la probabilité que l'on se trompe en affirmant que. C'est donc une probabilité d'erreur, qui doit être assez petite. Les valeurs usuelles de sont 10%, 5%, 1%, etc. Nous allons illustrer la procédure générale par des exemples, en déterminant des intervalles de confiance pour la moyenne et la variance dans un échantillon de loi normale. 3.2.1 Intervalle de confiance pour la moyenne d une loi normale Soit un n-échantillon d'une population gaussienne. Intervalle de confiance pour la moyenne lorsque la variance est connue La loi normale standard étant tabulée, il est alors possible de déterminer pour tout appelé le -fractile de la loi (0,1) qui vérifie : Compte tenu de la symétrie de la densité de la loi (0,1), on a: D'après le théorème de Fisher, nous savons que Donc Ainsi un intervalle de confiance de niveau 1- pour, quand est connue, est donné par : Exemple14: Supposons que lorsqu'un signal ayant la valeur est transmis d'un endroit A, le signal reçu en B est normalement distribué avec moyenne et variance. Supposons que la même valeur est transmise 9 fois. Les valeurs reçues succéssivement en B sont : 5; 8,5 ; 12 ; 15 ; 7; 9 ; 7,5 ; 6,5 ; 10,5. Puisque x=81/9=9 et z /2 =1,96 si =0,05, un intervalle de niveau 1- =95% pour la moyenne est alors: 17

= [7,69 ; 10,31]. La vraie valeur du message sera comprise entre 7,69 et 10,31 avec 95% de confiance. Intervalle de confiance pour la moyenne lorsque la variance inconnue Dans ce qui a précédé, nous avons supposé que est connue. Cette hypothèse est souvent non vérifiée dans la pratique et dans un tel cas, on pense à remplacer le paramètre inconnu dans la v.a. par son estimateur S. Nous savons que la v.a. est distribuée selon la loi de student t à n-1 d.d.l. Soit donc le -fractile de la loi de Student t à n-1 d.d.l, c'est-à-dire le réel tel que: La loi de Student étant symétrique, donc Donc Ainsi un intervalle de niveau 1- pour lorsque est inconnu est donné par: Exemple15: Avec les valeurs utilisées dans l'exemple précédent, nous avons: x=9 et s=3,08. La table de la loi de student donne la valeur Un intervalle de confiance de niveau 95% pour la moyenne est alors: lorsque =0,05 et n=9. Un tel intervalle est bien sûr moins précis que celui obtenu lorsque la variance supposée connue. est 3.2.2. Intervalle de confiance pour la variance d une loi normale Intervalle de confiance pour la variance lorsque la moyenne est connue 18

La statistique est un estimateur sans biais pour Nous savons que la v.a. est distribuée selon la loi khi deux à n d.d.l car (0,1) et indépendantes. Soit donc le -fractile de la loi à n d.d.l. c'est-à-dire le réel tel que: Avec ces notations, nous avons : Donc Alors, un intervalle de niveau 1- pour lorsque est connu, est donné par: Intervalle de confiance pour la variance lorsque la moyenne est inconnue Dans le cas où et sont inconus on a : Où est un estimateur sans biais pour. Avec les mêmes notations ci-dessus, nous avons : où désigne -fractile de la loi à (n-1) d.d.l. Ainsi, un intervalle de confiance de niveau 1- pour lorsque est inconnu est donné par: Remarque : Dans le cas ou X n'est pas gaussienne et l échantillon est de grande taille (n > 30), d après le théorème limite centrale on peut approcher la loi de par et donc la loi de par. On a alors la même définition de l'intervalle de confiance que dans le cas où X est gaussienne et connue (si est inconnue, on lui attribue la valeur de son estimation ponctuelle). 19

Exemple16 : Intervalle de confiance pour une proportion Soit une population dont les individus possèdent un caractère A avec une probabilité p. On cherche à déterminer cette probabilité inconnue en prélevant un échantillon de taille n (n > 30) dans cette population. Soit x est le nombre d individus possèdant le caractère A dans l échantillon. est une estimation de p. La v.a. ( nombre d individus possèdant le caractère A dans la population) est la somme de n variables aléatoires indépendantes de même loi de bernouilli de paramètre p. C est donc, d après le théorème central limite, une variable aléatoire dont la loi de probabilité peut être approchée par une loi normale de moyenne np et de variance, donc la loi de peut être approchée par. Ainsi un intervalle de confiance de niveau 1- pour la proportion p est :. 20

Résumé Intervalle de confiance de niveau pour la moyenne d une loi normale connue inconnue Intervalle de confiance de niveau pour la variance d une loi normale connue inconnue Intervalle de confiance de niveau pour la moyenne d une loi inconnue (n grand) connue inconnue Intervalle de confiance de niveau pour une proportion p (n grand) 21

4 - TESTS D'HYPOTHESES 4.1 - Généralités et définitions P Dans tous les domaines de l'expérimentation scientifique à la vie quotidienne, on est amené à prendre des décisions sur une activité risquée au vu de résultats d'expériences ou d'observation de phénomènes dans un contexte incertain. Par exemple : décider si un nouveau traitement médical est meilleur qu'un ancien au vu du résultat de son expérimentation sur des malades, décider si l'accusé est innocent ou coupable à partir des informations acquises pendant le procès. Dans chaque cas, le problème de décision consiste à trancher, au vu d'observations, entre une hypothèse appelèe hypothèse nulle notée, et une autre hypothèse dite hypothèse alternative notée. Un test d'hypothèses est une procèdure qui permet de choisir entre ces deux hypothèses. Les tests qui ont pour objet de tester une certaine hypothèse relative à un ou plusieurs paramètres d une variable aléatoire de loi spécifiée, sont appelés tests paramétriques. Les tests qui ne portent pas sur la valeur d'un paramètre sont appelés tests non paramètriques. Dans tout ce qui suit, on se restreint aux hypothèses dites paramétriques, et on notera la loi (ou modèle) de la variable X dont on observe un échantillon. Si est un paramètre vectoriel, on fera des tests sur chacune de ses composantes. Par exemple, on fera des tests sur la moyenne de la loi normale, puis des tests sur la variance, mais pas sur les deux en même temps. Définition 12: Soit un n-échanitillon de X ; et une réalisation de X. Un test d'hypothèses est une règle de décision permettant, à partir d'une réalisation x, d'accépter ou de rejeter une hypothèse émise concernant le paramètre. Un test est généralement décrit en termes d'une statistique résumé des données expérimentales observées. T est appelée statistique du test. qui est un Définition 13: Soit un n-échanitillon de X et une réalisation de X. On appelle région critique ou région de rejet de un sous-ensemble R de associé à la règle de décision suivante : é é Remarque : Un test statistique est défini par sa région critique et réciproquement. Dans un problème de décision, deux types d'erreurs sont possibles : - erreur de première espèce : décider que est vraie alors que est vraie. - erreur de seconde espèce : décider que est vraie alors que est vraie. Les conséquences de ces deux erreurs peuvent être d'importances diverses. En généal, une des erreurs est plus grave que l'autre. 22

Définition 14: La probabilité de l'erreur de première espèce, qui est la probabilité de rejeter à tort, est notée et est appelée seuil ou niveau de signification du test. La probabilité de l'erreur de deuxième espèce est notée est la probabilité de décider ou de rejeter à raison. Elle est appelée puissance du test. Le tableau suivant résume simplement le rôle de ces probabilités de bonne et mauvaise décision dans un test d'hypothèses. est vraie est vraie Accepter : bonne décision : mauvaise décision Rejeter : mauvaise décision : bonne décision L'idéal serait évidemment de trouver une procédure qui minimise les deux risques d'erreur en même temps. Malheureusement, on montre qu'ils varient en sens inverse, c'est-à-dire que toute procédure diminuant va en général augmenter et réciproquement. Dans la pratique, on va donc considérer que l'une des deux erreurs est plus importante que l'autre, et tâcher d'éviter que cette erreur se produise. Par exemple, dans le cas du procés, on fait en général tout pour éviter de condamner un innocent, quitte à prendre le risque d'acquitter un coupable. On va choisir et de sorte que l'erreur que l'on cherche à éviter soit l'erreur de première espéce. Mathématiquement cela revient à se fixer la valeur du seuil du test. Les valeurs usuelles de sont 10%, 5%, 1%, ou beaucoup moins. Le principe de précaution consiste à limiter au maximum la probabilité de se tromper, donc à prendre très petit. Définition 15: Une hypothèse est simple si elle est du type = ", où est un réel fixé. Une hypothèse est composite ou multiple si elle est du type où A est une partie de non réduite à un élément. 4.2 - Tests d'hypothèses simples Le cas le plus simple à analyser est celui où les deux hypothèses à confronter sont simples. Définition 16:Tests d'hypothèses simples Un test d'hypothèses simples est un test dans lequel les hypothèses nulle et alternative sont simples toutes les deux. C'est donc un test du type :" = " contre : " = " Un tel test permet de dire laquelle des deux valeurs et est la plus vraisemblable au vu des observations. Mais il ne prend pas en compte la possibilité que ne soit égal ni à ni à. Pour cela, il faudra faire un test d'hypothèses composites. Le seuil du test est la probabilité de rejeter à tort, c'est à dire la probabilité que les observations soient dans la région critique quand la vraie valeur de est : 23

La puissance du test est la probabilité de rejeter à raison, c'est à dire la probabilité que les observations soient dans la région critique quand la vraie valeur de est : R désigne la région critique du test. Cas limites: Si on choisit c'est-à-dire on adopte la règle de ne jamais rejeter quelque soit le résultat de l'expérience, alors et. De même, si alors et. Plus généralement, si on prend près de 0 alors sera près de 1. Exemple17: Soit un n-échantillon de de taille n = 25. On désire tester les hypothèses suivantes: :" = " contre : " = ". Puisque est un estimateur de la moyenne, il est intuitif de vouloir rejeter lorsque est grand par rapport à une certaine constante. La région critique R est alors définie par. Puisque, la taille d'erreur de première espèce est définie par De la même façon on déduit la taille d'erreur de seconde espèce: A titre d'exemple, prenons k = 0.4, on trouve: = 0.1587 et = 0.0668. = sous H 0 sous H 1 0 0.4 1 Ce graphique montre que si on augmente la valeur de k, alors diminue mais augmente. Plusieurs approches sont utilisées pour choisir un test. Nous allons considérer ici l'approche qui considère l'erreur de première espèce comme étant la plus sérieuse. 24

Un niveau accéptable est fixé et le test (c-à-d la région R) est choisi de manière à minimiser. 4.3 - Méthode de construction du meilleur test de simple contre simple Soit et soient et deux hypothèses simples sur. Nous avons déjà observé qu'un test est défini de manière biunivoque par sa région critique R. Par exemple, si on se donne pour région critique Le test est déterminé selon la règle de décision suivante: on rejettera telle que, sinon n'est pas rejetée. si on observe Définition 17: Soit une région de l'espace des observations. est dite meilleure région de niveau pour tester: Si pour tout sous-ensemble R de tel que, on a i) ii) Le théorème suivant dû à Neyman-Pearson fournit un moyen systématique pour déterminer la meilleure région critique. Théorème4:(Lemme de Neyman-Pearson) Soit un n-échantillon et L(x, ) la vraisemblance associée à l'observation x de cet échantillon. La région critique définie par: est la meilleure région critique de niveau pour tester Commentaire: Le test de Neyman-Pearson (N-P en abrégé) de région est le plus puissant (donc ayant la plus petite probabilité de risque de seconde espèce *) parmi toutes les régions R ayant le même risque de première espèce. Exemple18:Test sur la moyenne d'une loi normale, connue Soit Pour fixé, la région optimale au sens de N-P est donnée par: 25

D'où la règle de décision: on rejette si on observe x tel que. La constante k est déteminée à partir de grâce à la relation: Or sous. Par conséquent on a: Pour 0.05, n=25, en utilisant la table de la loi, nous pouvons déduire k: D où la région optimale au sens de N-P pour tester la moyenne d une loi normale quand est connue est : Exemple19: Soit Pour fixé, la région optimale au sens de N-P est donnée par: Pour 0.05, n=25, en utilisant la table de la loi, nous pouvons déduire k: La puissance du test se calcule elle aussi à l aide de la table de la loi normale: 26

Or sous. Par conséquent on a: Exemple2 :Test sur la moyenne d'une loi normale, inconnue Soit Pour fixé, la région optimale au sens de N-P est donnée par: D'où la règle de décision: on rejette si on observe x tel que. La constante k est déteminée à partir de grâce à la relation: Or sous. Par conséquent on a: En utilisant la table de la loi, nous pouvons déduire k: D où la région optimale au sens de N-P pour tester la moyenne d une loi normale quand est connue est : 27

Remarque : Pour tester la moyenne d'une loi inconnue sur un échantillon de grande taille, on utilise l approximation de la loi de par la loi et applique ce qui précéde, si est inconnu on le remplace par son estimation s. 4.4 - Tests d'hypothèses composites Définition 18: Un test d'hypothèses composites est un test dans lequel l'une au moins des deux hypothèses est composite. C'est donc un test du type Les tests les plus usuels sont du type : :" " Contre : " " test bilatéral : :" = " contre : " ". (Seule est composite). tests unilatéraux : :" " contre : " " ( et sont composites). Ou :" " contre : " " Dans tous ces exemples, et sont complémentaires : des deux hypothèses, l'une est forcément vraie. Remarque : Quand une hypothèse est composite, la notion de puissance est à repréciser. En effet, a été définie comme la probabilité de rejeter quand est vraie. Or, dans les exemples ci-dessus, il y a une infinité de valeurs de pour lesquelles est vraie. Donc la puissance du test doit dépendre de la vraie valeur (inconnue) de, ce qui nous amène à redéfinir la puissance et le seuil d'un test : Définition19 : On conidère le test d hypothèses :" " contre : " " dont la région critique est R. On appelle fonction puissance du test la fonction définie par : où est la probabilité de rejeter quand la vraie valeur du paramètre est Le seuil du test est est la probabilité maximale de rejeter alors que est vraie, c'est à dire la plus forte probabilité de rejeter à tort. Par exemple, pour un test bilatéral, présenté,., et pour le premier test unilatéral 28

Notons que le "test idéal" est celui qui a pour fonction puissance: Mais un test basé sur une quantité finie de données ne peut jamais atteindre cet idéal et tout ce que l'on peut espérer est un test tel que: petit sous et grand sous. 4.5. Test du rapport de vraisemblances Définition20 : On appelle test du rapport de vraisemblances (TRV) pour tester les hypothèses :" par : " Contre : " ", le test dont la région critique est donnée, où Exemple2 :Test sur la variance d'une loi normale, connue Soit On a: Le TRV quand est inconnue a pour région critique D'où la règle de décision: on rejette si on observe x tel que. La constante k est déteminée à partir de grâce à la relation: Or sous. Par conséquent on a: En utilisant la table de la loi khi deux, nous pouvons déduire k: 29

Exemple2 :Test sur la variance d'une loi normale, inconnue Soit Le TRV quand est inconnue a pour région critique D'où la règle de décision: on rejette si on observe x tel que. La constante k est déteminée à partir de grâce à la relation: Or sous. Par conséquent on a: En utilisant la table de la loi khi deux, nous pouvons déduire k:. 30