UNIVERSITÉ D ORLEANS Année universitaire 211-212 UFR Sciences Master FAC et SAE, 2ème année OUTILS STATISTIQUES ET NUMÉRIQUES POUR LA MESURE ET LA SIMULATION T. Dudok de Wit Université d Orléans 16 septembre 214 Ce cours a pour objectif de présenter divers outils qui sont couramment utilisés dans l analyse de données. Il s agit plus d une collection de chapitres choisis que d un cours exhaustif sur l analyse de données, pour laquelle vous trouverez des références ci-dessous.
Table des matières 1 Livres utiles 3 2 Rappels sur les probabilités 4 2.1 Variable aléatoire.............. 4 2.2 Loi de probabilité.............. 4 3 Statistique descriptive : estimateurs 5 3.1 Population ou échantillon?........ 5 3.2 Densité de probabilité........... 6 3.3 Espérance et moyenne........... 8 3.4 Mode et médiane.............. 9 3.5 Variance et écart-type........... 11 3.6 Moments d ordre supérieur........ 12 4 Propriétés d un estimateur 13 4.1 Cohérence d un estimateur........ 13 4.2 Biais d un estimateur............ 13 4.3 Efficacité................... 14 5 Quelques lois de probabilité 15 5.1 Aléa de Bernouilli.............. 15 5.2 Aléa binomial................ 15 5.3 Loi uniforme................. 16 5.4 Aléa de Poisson............... 17 5.5 Loi normale ou loi de Gauss........ 18 5.6 Loi du χ 2................... 19 5.7 Théorème de la limite centrale...... 21 5.8 Simuler des lois avec Scilab........ 23 6 Erreurs 24 6.1 Quantifier les erreurs............ 24 6.2 Représenter les erreurs........... 25 6.3 Chiffres significatifs............. 27 6.4 Comment déterminer l incertitude?... 28 6.5 Propagation des erreurs.......... 28 6.6 Bootstrap et jackknife........... 3 6.7 Pourquoi moyenner?............ 31 7 Tests d hypothèse 32 7.1 Etapes du test d hypothèse........ 34 7.2 Test du χ 2.................. 34 7.3 Calculer les seuils avec Scilab...... 39 8 Tests de stationnarité 41 8.1 Test de run.................. 42 9 Régression affine et ajustement de courbes 44 9.1 Max de vraisemblance et moindres carrés 44 9.2 Résolution avec Scilab........... 47 9.3 Validation de la droite de régression... 49 9.4 Régression de fonctions affines...... 52 9.5 Régression non-linéaire.......... 55 9.6 Régression non-linéaire avec Scilab... 56 1 Ajustement de modèles : Bayes 58 2
1 Livres utiles L. Lyons, A practical guide to data analysis for physical science students, Cambridge University Press, 1991 (introduction très claire à l analyse de données). NIVEAU LI- CENCE W. Press et al., Numerical Recipes in C, Cambridge University Press, 1998 (LA référence sur les outils numériques). Voir aussi la version en ligne à http://www.nr.com NIVEAU MASTER ET +, EN BU. P. Bevington, Data reduction and error analysis for the physical sciences, McGraw-Hill, 1992 (ce livre un peu ancien reste une référence ; il est davantage orienté vers l analyse des erreurs). NIVEAU LICENCE, EN BU E. Feigelson & G. J. Babu, Modern statistical analysis for astronomy, Cambridge University Press, 213 (excellent panorama de méthodes, et bien que dédié à l astronomie, s applique aussi à d autres domaines). NIVEAU LICENCE/MASTER, EN COMMANDE À LA BU K. Protassov, Probabilités et incertitudes, Presses Universitaires de Grenoble, 2 (excellent traité sur les incertitudes). NIVEAU LICENCE, DISPONIBLE EN BU J. Max, Méthodes et techniques de traitement du signal : tome 1 Applications aux mesures physiques et tome 2 Exemples d applications, Dunod, 1987 (ces deux volumes, même s ils ont pris de l âge, restent un des rares exemples de synergie entre les outils de traitement de données et leurs applications en physique). NIVEAU MASTER ET + le cours de Philippe Depondt sur la physique numérique (ENS Cachan), orienté vers la simulation : http://www.phytem.ens-cachan.fr/ Allez dans "Licence L3 -> Cours téléchargeables -> Physique numérique" référence complète sur les techniques d analyse de données pour ingénieurs, le Data Analysis Handbook :http://www.itl.nist.gov/div898/handbook/index.htm GUM : Guide to the Expression of Uncertainty of Measurement est un document officiel et une mine d informations sur tous les aspects métrologiques liées au traitement des erreurs.http://www.bipm.org/en/publications/guides/gum.html 3
2 Rappels sur les probabilités 2.1 Variable aléatoire On appelle variable aléatoire ou aléa numérique une variable X susceptible de prendre différentes valeurs, auxquelles il est possible d affecter une probabilité. Soit V l ensemble des valeurs possibles de X : si V est fini ou dénombrable, on dit que l aléa est discret. Le cas échéant, l aléa est dit continu. Exemple : Dans le lancer d un dé, la variable aléatoire X = {1,2,3,4,5,6} est discrète et ne peut prendre que 6 valeurs. Le débit de fluide dans une conduite est une variable continue. Remarque : La plupart des observables physiques (température, pression, tension, longueur, durées,... ) sont des variables continues, bien que des effets quantiques puissent jouer à très petite échelle, par exemple pour de très faibles champs magnétiques. Les variables discrètes apparaissent généralement dans les expériences où il y a dénombrement. 2.2 Loi de probabilité Soit p(x), la probabilité qu une variable aléatoire discrète X prenne la valeur x. L ensemble des couples (x, p(x)) est appelé loi de probabilité de la variable aléatoire. Elle peut être représentée par un diagramme en bâtons ou par un histogramme. Lorsque l aléa est continu, la probabilité que X prenne la valeur x est en général infiniment petite. Ainsi, si on tire au hasard des nombres réels répartis uniformément entre et 5, la probabilité qu un tel nombre soit exactement égal 2.45388519 est très faible, quoique non nulle. Il devient dès lors plus intéressant de calculer la probabilité que X prenne une valeur dans un petit intervalle Prob(a<X b)=prob(x b) Prob(X < a) La quantité Prob(X b) Prob(X < a) b a définit la densité de probabilité dans l intervalle [a,b]. Par passage à la limite, on définit p(a)= lim b a Prob(X b) Prob(X < a) b a La quantité d c p(x) d x équivaut à la probabilité que l aléa X prenne une valeur située entre c et d. Exemple : Dans le lancer d un dé non truqué, la loi de probabilité discrète se résume à x i 1 2 3 4 5 6 p(x i ) 1/6 1/6 1/6 1/6 1/6 1/6 4
Exemple : La probabilité de tirer un nombre aléatoire issu d une distribution uniforme sur l intervalle [, 1[ vaut { 1 si x < 1 p(x)= sinon Pour un aléa discret, la probabilité de tirer une valeur parmi toutes les valeurs possibles vaut obligatoirement 1 car on est sûr du résultat. Cela signifie qu on a toujours x X p(x) = i p(x i ) = 1 De la même façon, pour un aléa continu, la probabilité de tirer une valeur parmi l ensemble des valeurs possibles est toujours égale à 1. On a donc + p(x) d x = 1 Ces résultats sont valables quelle que soit la loi de probabilité. Remarque : Pour un aléa discret, chaque probabilité satisfait forcément p(x) 1, puisque la somme des probabilités est égale à 1. La probabilité p(x) est alors un nombre sans unités. En revanche, pour un aléa continu, il est tout à fait possible d avoir p(x) > 1, puisque c est l intégrale qui est bornée. En outre, p(x) peut s exprimer en unités physiques. Par exemple, si x est une longueur mesurée en [m], alors p(x) s exprimera en [m 1 ]. 3 Statistique descriptive : estimateurs Dans une expérience, on a rarement accès à l expression exacte de la loi de probabilité ; il n est pas forcément possible de mesurer p(x) pour chaque valeur de x. On se contente donc souvent de calculer des indicateurs, qui résument à eux seuls certaines caractéristiques de la loi. Le mieux connu de ces indicateurs est la moyenne, qui est un indicateur de tendance. On recourt aussi fréquemment à des indicateurs de dispersion ou d étalement, tels que écarttype. Notre objectif est d en trouver la meilleure estimation à partir d un échantillon dont la taille sera toujours finie. 3.1 Population ou échantillon? D un point de vue formel, il existe une différence fondamentale entre les modèles et les observations. Dans le premier cas, et pour autant que la loi de probabilité soit connue, on parlera de population. Les quantités qui en seront déduites, telles que l espérance, sont théoriques et en ce sens dépourvues d erreur. Il est rare de pouvoir travailler directement sur une population, sauf si on dispose d un modèle mathématique exact du phénomène à étudier. Lorsque la loi de probabilité n est pas connue, alors il faut réaliser une expérience pour estimer les propriétés telles que la moyenne. On parlera alors d échantillon. Les valeurs obtenues seront d autant plus proches des valeurs théoriques que l expérience a été bien menée. 5
En vertu de la loi des grands nombres, les valeurs obtenues avec l échantillon convergent vers celles de la population lorsque la taille de l échantillon augmente. Tout le problème consiste à estimer au mieux ces valeurs. Sauf exception rare, l expérimentateur travaille toujours sur des échantillons. Un modèle de son expérience lui permettra cependant de définir une population, par rapport à laquelle il se référera. 3.2 Densité de probabilité La densité de probabilité figure parmi les quantités les plus importantes pour caractériser une série temporelle ou une suite de valeurs en général. Comme nous l avons vu en 2.2, p(a)d x est la probabilité qu un processus stationnaire x(t) prenne une valeur comprise dans l intervalle [a, a+ d x]. On utilise fréquemment l expression pdf (= probability density function) pour désigner la densité de probabilité p(x). Un théorème important (le théorème de la limite centrale, cf. 5.7) nous dit que pour beaucoup de processus physiques, la pdf tend vers une loi normale (ou loi de Gauss) p(x) e (x a)2 /b. FIGURE 1 A gauche : quatre exemples de séries temporelles : a) une sinusoïde, b) une sinusoïde avec du bruit de haute fréquence, c) une sinusoïde dont l amplitude fluctue au cours du temps, d) un signal aléatoire. A droite est représentée la densité de probabilité de chaque série. 6
Quelques exemples de pdf estimées à partir d échantillons sont illustrés dans la figure 1. L estimation d une pdf à partir d un échantillon est une tâche délicate pour laquelle la méthode la plus simple (mais non la meilleure) consiste à calculer un histogramme. La détermination de la pdf joue un rôle crucial dans l étude de la turbulence, où de très faibles écarts par rapport à une loi normale peuvent parfois être interprétés en termes de structures cohérentes (tourbillons, etc.). Estimer des distributions avecscilab Le logiciel Scilab dispose de quelques routines permettant d estimer des fonctions de distribution et plus particulièrement des histogrammes. histplot(n,x) affiche l histogramme de la variable x (un vecteur) en choisissant automatiquement n classes de même largeur ; l effectif de chaque classe est normalisé par l effectif total. histplot(b,x) même fonction que ci-dessus, sauf qu elle utilise les classes dont les bornes sont définies par le vecteur b. Ces bornes sont [b 1,b 2 ], (b 2,b 3 ], (b 3,b 4 ], etc. [pos,eff] = dsearch(x,b,"c") recherche parmi les éléments du vecteur x ceux qui se trouvent dans l une des classes définies par b (même syntaxe que ci-dessus). pos est un vecteur de même taille que x, qui indique le numéro de la classe à laquelle appartient chaque élément. e f f donne l effectif de chaque classe. Cette fonction convient aux lois discrètes et continues. [pos,eff] = dsearch(x,v,"d") même fonction que ci-dessus, sauf que la recherche se fait par rapport aux valeurs entières définies dans le vecteur v. Cette fonction convient uniquement aux lois discrètes. Un estimateur simple : l estimateur à noyau La méthode de l histogramme possède un sérieux défaut : les effectifs obtenus dans chaque classe fluctuent et lui donnent une allure irrégulière. Il devient lors difficile de distinguer les fluctuations statistiques des véritables variations d effectifs entre classes. Pour atténuer les premières, il convient de moyenner les effectifs entre classes. L estimateur de la densité de probabilité par histogramme peut être défini comme ˆp(x i )= 1 [ n i avec n i = nbre d observations dans x i N 2, x i + ] 2 que l on peut écrire comme ˆp(x)= 1 1 N N ( x xk ) Γ k=1 { 1/2 si u 1 avec Γ(u) = sinon L estimateur classique peut dès lors être interprété comme un empilement de boîtes de largeur 2 et de hauteur (2 N) 1. Comme l aire de chaque boîte vaut N 1, l aire totale de la densité de probabilité est bien égale à 1. 7
On peut avantageusement remplacer la fonction porte Γ(u) par une fonction plus lisse, qui atténuera les irrégularités dans la distribution. Ceci donne lieu aux estimateurs à noyau (kernel estimators), qui sont fréquemment utilisés dans la pratique. A chaque valeur z i de l échantillon on associe alors une courbe centrée sur z i ; la superposition de toutes ces courbes donne la densité p(z). p(z) z A priori, n importe quelle fonction Γ(u) peut servir de noyau, à condition de remplir les conditions suivantes Γ(u) doit être et à support compact Γ(u)du= 1 Il est toutefois préférable de choisir une fonction qui soit aussi lisse que possible, tout en étant concentrée sur un intervalle compact. Le noyau Gaussien Γ(u)= 1 2π e est particulièrement adapté et très fréquemment utilisé. Toutefois, la forme précise du noyau n a que peu d influence sur le résultat final. Le seul paramètre ajustable est le paramètre de lissage (ou encore largeur caractéristique ) pour lequel il n existe pas de recette fiable. Si les données en question suivent un loi normale de variance σ 2 alors on peut utiliser en première approximation =σn 1/5 Cette expression nous apprend que le résolution à laquelle on peut espérer dans un histogramme (à savoir la valeur de ) ne s améliore que très lentement lorsque l effectif N croît. u 2 2 2 3.3 Espérance et moyenne Quand la densité de probabilité n est pas connue, on commence par estimer certains de ses moments. Une des caractéristiques les plus importantes d une loi est sa moyenne ou espérance. En présence d une population, on parle d espérance de la variable X, qui se note habituellement µ X, E(X ) ou X. Si la loi de probabilité n est pas connue a priori, alors il faut estimer l espérance à partir d un échantillon. On parlera alors de moyenne, que l on notera habituel- 8
lement x, parfois x N ou m. On a x = x p(x) d x espérance pour un aléa continu x = i x i p i espérance pour un aléa discret x = 1 N N x i moyenne pour un échantillon Notons qu il existe d autres estimateurs de la moyenne, telles que la moyenne pondérée x = i w i x i / i w i ainsi que la moyenne géométrique x = ( N x i) 1/N. Exemple : Dans le lancer d un dé non truqué, l espérance vaut X =1 1 6 + 2 1 6 + 3 1 6 + 4 1 6 + 5 1 6 + 6 1 6 = 7 2 Ce résultat est exact, et ne dépend pas du nombre de lancers. En réalisant l expérience pour des nombres de lancers différents, obtient de même la moyenne N 1 1 1 1 1 x 3.2 3.56 3.486 3.5366 3.51 Ces valeurs convergent vers le résultat théorique pour N. Dans le logiciel Scilab, la moyenne d un échantillon s obtient avec l une des commandes m = mean(x) estime la moyenne sur tous les éléments de la matrice x m = mean(x, r ) même fonction que ci-dessus, sauf que la moyenne s effectue selon chaque rangée de x m = mean(x, c ) même fonction que ci-dessus, sauf que la moyenne s effectue selon chaque colonne de x 3.4 Mode et médiane La moyenne à elle seule ne suffit pas pour rendre compte de la notion intuitive de "valeur moyenne". On recourt parfois aussi au mode, qui est la valeur la plus probable de la distribution, cf. figure 2. Le mode n est pas toujours défini. Une autre quantité utile est la médiane : c est la valeur x m telle qu on a la même probabilité de tirer une valeur inférieure à x m qu une valeur supérieure à x m. Pour une population avec un aléa continu, nous avons xm p(x) d x = p(x) d x = 1 x m 2 Pour un échantillon, la médiane s estime de la manière suivante : soient {x i },i = 1,..., N les N résultats de l expérience. D abord on les trie par ordre croissant, pour obtenir une nouvelle suite {x k },k = 1,..., N. La valeur médiane x m est alors la valeur d indice N/2 (si N est pair) ou d indice (N + 1)/2 (si N est impair). 9
p(x) mode médiane moyenne 2 écarts-type x FIGURE 2 Représentation de quelques indicateurs statistiques pour une distribution continue. Exemple : Une mesure du courant dans un conducteur a donné les valeurs suivantes : {x i }=7, 79.4, 94, 86, 82, 81.4 et 7 [A]. La moyenne est 8.4 [A], le mode est 7 [A] et la médiane est 81.4 [A]. Exemple : Une distribution continue est donnée par la loi { 1 p(x)= 2 x si x < 2 sinon On vérifie que l on a bien + p(x) d x= 1. L espérance vaut x = + La médiane x m est donnée par x p(x) d x = 1 2 2 x 2 d x = 4 3 xm p(x) d x = 1 2 x m = 2 Estimer la médiane avecscilab Il n existe pas de fonction dédiée dans Scilab pour calculer le mode car ce dernier n est pas toujours défini. En revanche, la médiane s obtient avec la même syntaxe que la moyenne m = median(x) estime la médiane sur tous les éléments de la matrice x m = median(x, r ) même fonction que ci-dessus, sauf que la médiane se calcule selon chaque rangée de x m = median(x, c ) même fonction que ci-dessus, sauf que la médiane se calcule selon chaque colonne de x 1
3.5 Variance et écart-type Pour quantifier la dispersion des valeurs de X autour de sa valeur moyenne, on recourt habituellement à la variance σ 2 x et plus fréquemment à l écart-type (ou écart quadratique moyen) σ x = σ 2 x. La définition de la variance est σ 2 x = (x µ ) 2 p(x)d x pour un aléa continu σ 2 x = i ( xi µ ) 2 pi pour un aléa discret où µ est l espérance et non la moyenne. Les expressions ci-dessus peuvent se mettre sous une forme plus commode σ 2 x = x2 µ 2 L écart-type est donc une mesure de la largeur d une distribution, cf. figure 2. Elle s exprime dans les mêmes unités que la variable X : si cette dernière est par exemple en [Ω], alors l écarttype le sera aussi. Pour un échantillon de taille finie, on notera généralement la variance sx 2 et non σ2 x ; son expression dépendra alors de la connaissance de l espérance. Si l espérance est connue (ce qui est rarement le cas), l expression de la variance sera la même que pour celle d une population. En revanche, si l espérance n est pas connue, le fait de devoir estimer la moyenne de l échantillon pour ensuite calculer la variance à partir de ce même échantillon aura pour effet de sous-estimer cette dernière. L estimation de la variance est alors biaisée (cf. 4). Pour corriger cet effet, on peut montrer que le dénominateur doit être N 1 et non N. La plupart des calculatrices font la distinction entre les deux estimateurs. sx 2 = 1 N sx 2 = 1 N 1 N ( xi µ ) 2 l espérance est connue N (x i x) 2 l espérance n est pas connue Dans ce qui suit, j utiliserai souvent la notation σ indifféremment pour les populations et les échantillons. Exemple : Dans l exemple précédent de la distribution continue, la variance vaut + σ 2 x = x 2 p(x) d x ( x ) 2 = 1 2 L écart-type vaut donc σ x = σ 2 x =.471 2 x 3 d x 16 9 =.222 Estimer l écart-type avec Scilab Dans Scilab, l estimateur non-biaisé de l écart-type est 11
s = stdev(x) estime l écart-type sur tous les éléments de la matrice x s = stdev(x, r ) même fonction que ci-dessus, sauf que l écarttype est estimé selon chaque rangée de x s = stdev(x, c ) même fonction que ci-dessus, sauf que l écarttype est estimé selon chaque colonne de x u = x(:)-mean(x); s = sqrt(u *u/length(u)); notation compacte pour l estimateur biaisé de l écart-type 3.6 Moments d ordre supérieur L espérance et la variance sont les deux principaux moments d une densité de probabilité. Il arrive qu on soit amené à s intéresser à des moments d ordre supérieur, définis selon m q = (x µ ) q p(x)d x pour un aléa continu m q m q = i ( xi µ ) q pi pour un aléa discret m q = 1 N N (x i x) q pour un échantillon où l ordre q est habituellement un entier positif. Pour q =, on trouve par définition 1, pour q = 1, l espérance et pour q = 2, la variance. Il est souvent plus commode de normaliser les moments d ordre supérieur par rapport à la variance de la population ou de l échantillon, ce qui donne m q = m q σ q. On rencontre fréquemment le skewness (ou asymétrie), défini comme γ 1 = (x µ)3 (x µ) 2 3/2 = m 3 σ 3 et le kurtosis (ou aplatissement), défini comme γ 1 = (x µ)4 (x µ) 2 2 3= m 4 σ 4 3 Le skewness mesure l asymétrie d une distribution. Comme le montre la Figure 3, il est nul pour toute distribution symétrique par rapport à sa moyenne alors que γ 1 > implique un surcroît de grandes valeurs positives. Le kurtosis est une mesure de l étalement d une distribution, encore appelé aplatissement. Pour une loi normale, m 4 = 3 et γ 2=. Plus l ordre d un moment est élevé, plus celui-ci sera fortement pondéré par les valeurs extrêmes. Il faudra donc être très prudent avec un échantillon X de taille finie, car la valeur du moment sera presque entièrement déterminée par les quelques valeurs de x qui s écartent le plus de la moyenne. C est la raison pour laquelle on ne rencontre que très rarement les moments d ordre supérieur à 4. La seule exception est l étude expérimentale de la turbulence, où ces moments apportent une information cruciale sur les processus physiques de transfert d énergie entre les tourbillons de tailles différentes (loi de Kolmogorov). 12
.4.3 m 1 =µ=, m 2 =σ 2 =1, γ 1 = γ 2 =.6.4 m 1 =µ=, m 2 =σ 2 =1, γ 1 = γ 2 =.812 p(x).2.1 p(x).2 5 5 x 5 5 x m 1 =µ=, m 2 =σ 2 =1, γ 1 = γ 2 =1.35 m 1 =µ=, m 2 =σ 2 =1, γ 1 =.631 γ 2 =.245 p(x).25.2.15.1.5 5 5 x p(x).6.4.2 5 5 x FIGURE 3 Quelques distributions et leurs premiers moments normalisés. 4 Propriétés d un estimateur On dispose d un échantillon fini {x i } de N valeurs. Supposons que l on veuille en extraire une valeur x aussi raisonnablement proche que possible de la vraie valeur x. On appellera x estimation de x. Dans le cas plus général où on est confronté à N variables aléatoires {X i }, on appellera X estimateur de la variable aléatoire X recherchée (par exemple, la moyenne). Un bon estimateur doit satisfaire à la fois trois conditions souvent contradictoires : il doit être cohérent, non biaisé et efficace. 4.1 Cohérence d un estimateur La loi des grands nombres (cf. section 6) nous dit qu en moyennant le résultat d une expérience un grand nombre N de fois, la moyenne X ainsi obtenue tend vers une variable non aléatoire x, qui est la valeur numérique recherchée. C est la propriété de cohérence (ou consistency). 4.2 Biais d un estimateur Lorsque la taille N d un échantillon tend vers l infini, un estimateur cohérent tend vers la valeur exacte x. Mais dans le cas réel où l échantillon est de taille finie, on aimerait que l es- 13
pérance X N s écarte le moins possible de la valeur x. Cet écart est appelé biais. Pour un estimateur biaisé, on a X N = x + b N où b N est le biais de l échantillon. Pour un estimateur cohérent, lim N b N =. L estimateur de la figure 4 est biaisé. Celui de la figure 5 ne l est pas. intervalle dans lequel se répartissent les valeurs de X * biais FIGURE 4 Exemple d un estimateur cohérent et biaisé. Exemple : L estimateur de l entropie est biaisé. Soit {k i } un échantillon de N nombres entiers répartis uniformément entre et 9 compris (chaque nombre possède la même probabilité d apparition). Si f k est la fréquence d apparition du nombre k, alors l entropie vaut H = 9 f k log f k k= On montre aisément que cet estimateur est fortement biaisé. N H N valeur numérique 1 log1 2 log 1 2.69 3 log 1 3 1.1 log 1 1 2.3 4.3 Efficacité Parmi différents estimateurs de la même quantité, on choisira celui dont l écart-type est minimal : la convergence vers la valeur exacte n en sera que plus rapide. Exemple : Pour estimer la moyenne d un échantillon {x i } on effectue habituellement la moyenne arithmétique sur toutes les valeurs. On peut aussi effectuer la moyenne de la valeur minimum et de la valeur maximum. Lequel est plus efficace? 14
estimateur le moins efficace estimateur le plus efficace FIGURE 5 Deux estimateurs d efficacité différente. 5 Quelques lois de probabilité Il existe un grand nombre de lois de probabilité. A chaque modèle correspond une loi particulière. Néanmoins, la grande majorité des lois rencontrées dans la nature s avèrent être des lois de normales (ou lois de Gauss) ou encore des lois binomiales. Ces différentes lois étant apparentées, on passe de l une à l autre par un passage à la limite. 5.1 Aléa de Bernouilli L aléa de Bernouilli (ou loi de Bernouilli) est l expression la plus simple d une loi de probabilité. Elle s exprime par une variable aléatoire X qui n a que deux états : elle prend soit la valeur 1 (ou pile), avec une probabilité p, soit la valeur (ou face), avec une probabilité q. L espérance vaut dans ce cas et la variance Prob(X = 1)= p, Prob(X = )= q, et p+ q = 1 x =1 p+ q = p σ 2 x = (1 p)2 p+ ( p) 2 q = p(1 p) = pq Exemple : Dans le jeu de pile ou face, avec une pièce non truquée, on a p = q = 1/2. 5.2 Aléa binomial On considère N épreuves de Bernouilli identiques et indépendantes. La variable K est le nombre de réalisations de l événement X : par exemple le nombre de fois qu on obtient pile après N lancers successifs d une pièce. La probabilité pour que K prenne la valeur k vaut Prob(K = k)= C k N pk (1 p) N k où C k N = N! (N k)! k! On dit alors que K suit une loi binomiale de paramètres N et p, que l on note B N,p. On montre dans ce cas que l espérance, la variance et l écart-type valent respectivement 15
espérance variance écart-type K = N p σ 2 K = N pq σ K = N pq.4 p =.1.4 p =.5.4 p =.7 Prob(K=k).3.2.1.3.2.1.3.2.1 1 2 3 4 5 6 7 8 9 1 k 1 2 3 4 5 6 7 8 9 1 k 1 2 3 4 5 6 7 8 9 1 k FIGURE 6 Distribution binomiale correspondant à N = 1 et p =.1,.5,.7 Exemple : On lance une pièce de monnaie truquée N = 3 fois. Quelle est la probabilité d obtenir en tout k = 2 fois pile sachant que la probabilité d avoir pile vaut p =.6? Prob(k = 2)= 3! 2! 1!.62.4 1 =.432 La valeur moyenne et l écart-type sont respectivement K =3.6=1.8 et σ K = 3.6.4=.848 L aléa binomial intervient fréquemment dans les phénomènes physiques où il n existe que deux états possibles, chacun étant assorti d une probabilité. Par exemple, dans une expérience d analyse optique d une couche translucide, p pourrait être la probabilité qu un photon traverse la couche et q celle de voir le photon être absorbé. 5.3 Loi uniforme La loi uniforme décrit une variable aléatoire X dont les valeurs sont équiprobables sur un ou plusieurs intervalles [a, b[. Prob(a< x b)=cte Or comme on a obligatoirement p(x) d x = 1, cela donne p(x)= { 1 b a si a x< b sinon On montre dans ce cas que (a+ b) espérance x = 2 (b a) écart-type σ x = 12 Dans les ordinateurs, les générateurs de nombres aléatoires fournissent généralement par défaut des nombres distribués selon une loi uniforme sur l intervalle [, 1[. On peut générer à partir d elle des nombres distribués selon n importe quelle loi. La construction d un bon générateur est un problème ardu qui fait encore l objet de recherches intenses. 16
5.4 Aléa de Poisson Considérons des épreuves binomiales telles que N devient très grand (un lance la pièce un grand nombre de fois) et p très petit (la probabilité d obtenir pile est très petite) tout en gardant K = N p fini (ni nul, ni infini). La loi binomiale tend alors vers une loi dite de Poisson. La probabilité que K prenne la valeur k vaut Prob(K = k)= µk k! e µ où µ est un paramètre qui est égal à l espérance. Contrairement à la loi binomiale, qui nécessite deux paramètres (N et p), ici un seul paramètre (µ) suffit pour décrire la loi. On montre dans ce cas que l espérance, la variance et l écart-type valent respectivement espérance K =µ variance écart-type σ 2 K = µ σ K = µ.4 µ = 1.4 µ = 3.4 µ = 8 Prob(K=k).3.2.1.3.2.1.3.2.1 5 1 15 k 5 1 15 k 5 1 15 k FIGURE 7 Distribution de Poisson correspondant à µ = 1, 3, 8 La loi de Poisson décrit les phénomènes dont la probabilité de tirage individuel (c est-à-dire p) est très petite, mais dont le nombre de réalisations (c est-à-dire N) est si élevé, que l espérance µ atteint une valeur finie. On dira qu une loi binomiale B N,p peut être approchée par une loi de Poisson P µ dès que N p < 5 et N > 2. La loi de Poisson décrit bien des phénomènes de comptage : détection de photons par un photomultiplicateur, comptage de particules émises lors de désintégrations radioactives, comptage d ions dans un spectromètre de masse, comptage d individus en microbiologie,... Exemple : Une décharge luminescente émet en moyenne N = 3 1 1 photons par seconde. Sur ceux-ci, seule une très faible fraction p = 5 1 9 pénètre dans un photomultiplicateur. Le nombre moyen de photons détectés en une seconde vaut donc µ = N p = 15. Ce nombre fluctue au cours du temps avec un écarttype qui vaut σ= µ=12.2. Si dans l exemple qui précède on n effectue qu une seule mesure, avec par exemple n = 822 photons pendant un intervalle de temps donné, alors le seul fait d avoir une loi de Poisson nous permet d affirmer que l incertitude sur cette valeur sera de σ= µ n= 28.7. La force de la loi réside ici dans sa capacité à nous renseigner directement sur une quantité qui nécessiterait sinon plusieurs mesures. 17
5.5 Loi normale ou loi de Gauss Si on prend la loi binomiale ou la loi de Poisson dans la limite où l espérance devient très grande (N > 2 et µ>2) alors le nombre d états possibles croît rapidement : la représentation du diagramme en bâtons de p(x) se transforme petit à petit en une courbe continue. Dans la limite où le nombre N est infini, on obtient une loi normale (ou loi de Gauss), dont l expression générale est p(x)= 1 ) ( σ 2π exp (x µ)2 2σ 2 Cette expression fait apparaître deux paramètres, µ et σ, qui sont respectivement l espérance et l écart-type. On dit dès lors que X suit une loi normale N (µ,σ 2 ). Lorsqu un générateur de nombres aléatoires fournit des valeurs distribuées selon une loi normale, c est toujours d une distribution N (, 1) qu il s agit..4.3 µ=, σ=1 µ=, σ=2 µ=2, σ=3 p(x).2.1 1 5 5 1 x FIGURE 8 Distribution normale correspondant à différents couples de valeurs (µ,σ). La loi normale se rencontre très fréquemment et s applique à tous les phénomènes qui résultent de la superposition d un grand nombre d événements indépendants et d origines diverses. L explication se trouve dans le théorème de la limite centrale, cf. section 5.7. Pourquoi standardiser? Il arrive fréquemment que l on doive comparer deux ou plusieurs quantités, dont les unités de mesure diffèrent ou dont les ordres de grandeur ne sont pas les mêmes. Si en plus ces quantités obéissent à une loi normale, il peut être commode de les standardiser. Cette opération consiste à leur soustraire la moyenne (= centrer) et à les normaliser par rapport à leur écart-type (= réduire) x x x La figure ci-dessous illustre cela pour la mesure simultanée de la température et de la résistance d un thermistor dans un écoulement fluide. Les deux quantités s expriment en des unités différentes et sont difficilement comparables. Leur comparaison relative est facilitée une fois qu elles sont standardisées. 18 σ x