Chapitre 6 Quelques otios élemetaires de probabilités et statistiques 6.1 Probabilités U uivers Ω est u esemble modélisat les réalisatios possibles d ue expériece. U esemble A P(Ω) modélise la otio d évéemet 1. O appelle probabilité toute foctio P associat u ombre réel P (A) à tout évéemet A et vérifiat les trois axiomes suivats : P (A) 0 pour tout A, P (Ω) = 1, pour toute collectio (A i ) i I d évéemets disjoits, P ( i I A i )= i I P (A i ). Lorsque l uivers Ω est fii ou déombrable, pour tout évéemet A Ω, P (A) = x A P (x). Quelques propriétés élémetaires : P ( ) = 0, P (A B) =P (A)+P (B) P (A B), P (A) =1 P (A), A B P (A) P (B), 0 P (A) 1 pour tout A. Si B est u évéemet de probabilité o ulle, o défiit ue probabilité P ( B) surω par P (A B) =P (A B)/P (B). E particulier, P (x B) =P (x)/p (B) six B et P (x B) =0 sio. O dit que P (A B) est la probabilité coditioelle de A sachat que B s est réalisé. Pour tout évéemet A, o a : P (A B) =P (A B)/P (B), P (A B) = P (B A)P (A)/P (B) (formule de Bayes). 1. A doit être o vide et stable par complémetaire et par uio déombrable : u esemble vérifiat ces propriétés est appelé ue σ-algèbre. Lorsque Ω est fii ou déombrable, o peut toujours supposer que A est égal à P(Ω). Lorsque Ω est pas déombrable, il est pas toujours possible d associer ue probabilité à chacue de ses parties et il est écessaire de cosidérer u esemble d évéemets strictemet iclus das P(Ω) 1
Si (A i ) i I est ue famille d évéemets deux à deux icompatibles et telle que i I A i =Ω, alors pour tout évéemet B, o a P (B) = i I P (B A i )P (A i )(formule des probabilités totales). O dit que deux évéemets A et B sot idépedats si P (A B) =P (A)P (B). Si les probabilités de A et B sot o ulles, l idépedace de A et B est équivalete à P (A) = P (A B) ou P (B) =P (B A). 6.1.1 Exercices Exercice 1 : U sac cotiet ue pièce équilibrée et deux pièces biaisées : P (Pile)=1/3 et P (Face)=2/3. 1. O prélève ue pièce, o la lace ue fois. Quelle est la probabilité d observer Pile? 2. O prélève ue pièce, o la lace deux fois. O observe Pile puis Face?Quelleestla probabilité que la pièce soit biaisée? 3. O prélève ue pièce, o la lace deux fois, o observe Pile,Pile. O la lace ue troisième fois. Quelle est la probabilité d observer Pile? Exercice 2 : Vous êtes face à trois portes. U lot se trouve derrière l ue d etre elles. Vous vous apprêtez à ouvrir ue porte mais avat que vous le fassiez, o ouvre ue des deux portes que vous avez pas choisies : celle-ci e cache aucu lot. Avez-vous itérêt à maiteir votre choix, à chager de choix ou est-ce idifféret? 6.2 Variables aléatoires Soit P ue distributio de probabilité sur l uivers Ω. Ue variable aléatoire réelle est ue applicatio X :Ω R. O appelle loi de probabilité de X la doée des probabilités P (X I) =P (X 1 (I)) pour tout itervalle I de R. SiX e pred qu u ombre fii ou déombrable de valeurs, la loi de probabilité de X est défiie par les valeurs P (X = α) pour α X(Ω). Exemple 1. Quelques variables aléatoires : 1. O jette deux dés : X est la somme des ombres affichés par les dés. 2. O jette u dé jusqu à obteir 6 : X est le ombre de lacers réalisés. 3. O a appris u classifieur f, o teste f sur u ouvel exemple (x, y). X pred la valeur 1sif(x) = y et 0 sio. 4. Idem. O tire u ouvel échatillo T. X est le risque empirique R T emp(f) def calculé sur T. Défiitio 1. La foctio de répartitio d ue variable aléatoire X est la foctio F : R [0, 1] défiie par F (x) =P (X <x). 2
F est croissate lim x + F (x) =1 lim x F (x) =0 P (X [a, b[) = F (b) F (a) O dit qu ue variable aléatoire X est cotiue s il existe ue foctio de desité f telle que P (X I) = f(x)dx. Deux variables X et Y sot idépedates si pour tous itervalles I et J, P (X Y I J) =P (X I)P (Y J). L espérace mathématique E(X) d ue variable aléatoire est la moyee des valeurs prises par X. Elle est défiie par : E(X) = P (ω)x(ω) = xp (X = x) ω Ω pour ue variable fiie ou déombrable et par E(X) = R I x X(Ω) xf(x)dx pour ue variable cotiue X de foctio de desité f. Si X est ue variable aléatoire costate preat la valeur a, E(X) = a. L espérace mathématique est ue forme liéaire sur l espace vectoriel des variables aléatoires : E(aX + by )=ae(x)+be(y ) pour toutes v.a. X et Y et tous réels a et b. Si X et Y sot idépedates, E(XY ) = E(X)E(Y ). Iégalité de Markov : pour tout réel t, P (X t) E(X). t O peut aussi défiir ue otio d espérace coditioellemet à u évéemet. Si P (A) = 0, o défiit E(X A) comme l espérace de X relativemet à la probabilité P ( A). Das le cas discret, o a E(X A) = xp (x A). x X(Ω) Si (A i ) i I est ue famille d évéemets deux à deux icompatibles, de probabilités o ulles et telle que i I A i = Ω, alors pour tout évéemet B, o a E(B) = i I E(B A i )P (A i )(formule de l espérace totale). La variace d ue variable aléatoire mesure sa dispersio autour de sa valeur moyee. Elle est défiie par V(X) =E((X E(X) 2 ). L écart-type d ue v.a. est la racie carrée de sa variace : σ(x) = V(X). O peut iterpréter l écart-type comme ue distace das u espace euclidie. 3
V(X) =E(X 2 ) E(X) 2. V(aX) =a 2 V(X). Si X et Y sot des v.a. idépedates, V(X + Y )=V(X)+V(Y ). Iégalité de Bieaymé-Tchebitcheff : P ( X E(X) >tσ) 1 t 2 où t est u réel quelcoque o ul. Cette iégalité est remarquable : elle mesure la cocetratio de toute variable aléatoire autour de so espérace. La cotrepartie de so uiversalité est que cette iégalité est très faible. Démostratio (de l iégalité de Bieaymé-Tchebitcheff). P ( X E(X) >tσ)=p ((X E(X)) 2 >t 2 V(X)) V(X)/(t 2 V(X)) =1/t 2. d après l iégalité de Markov. O est souvet ameé à cosidérer variables aléatoires X 1,...,X idépedates et de mêmes lois, ayat µ pour espérace et σ pour écart-type. O défiit alors la somme et la moyee de ces variables par S = X 1 +...+ X et X = X 1 +...+ X. O déduit immédiatemet des formules précédetes que E(S )=µ, V(S )=σ 2, E(X) =µ et V(X) = σ2. O déduit de l iégalité de Bieaymé-Tchebitcheff que pour tout >0, P ( X µ >) σ2 0 quad. 2 Par coséquet (loi faible des grads ombres), 6.2.1 Exercices X 1 +...+ X lim = µ avec probabilité 1. Exercice 3 : O lace u dé équilibré. X est le ombre affiché par le dé. Calculez l espérace et la variace de X. Exercice 4 : O a appris u classifieur f de risque R(f). O teste f sur u ouvel exemple (x, y) tiré selo la distributio sous-jacete. X pred la valeur 1 si f(x) = y et 0 sio. Calculez l espérace et la variace de X. O tire u ouvel échatillo T de taille. X T est le risque empirique R T emp(f) def calculé sur T. Calculez l espérace et la variace de X T. Exercice 5 : O lace u dé jusqu à obteir 6 : X est le ombre de lacers réalisés. Calculez l espérace de X. Idicatio : cosidérez l évéemet A : 6 est apparu au premier lacer, motrez que E(X A) = E(X) + 1 et utilisez la formule de l espérace totale. 4
6.3 Quelques lois utiles 6.3.1 Loi de Beroulli La loi de Beroulli de paramètre p est la loi d ue variable X preat ses valeurs das {0, 1} et telle que P (X = 1) = p. OaE(X) =p et V(X) =p(1 p). Exemple : Etat doé u classifieur f, la v.a. qui cosiste à tirer u ouvel exemple (x, y) et retourer 1 si y = f(x) et 0 sio suit ue loi de Beroulli de paramètre R(f). 6.3.2 Loi biomiale La loi biomiale de paramètres et p est la loi suivie par la somme S = X 1 +...+ X de variables de Beroulli X 1,...,X, idépedates et de même paramètre p. S pred des valeurs etières, comprises etre 0 et. Pour 0 k, o a P (S = k) =Cp k k (1 p) k. E appliquat les propriétés de l espérace et de la variace, o obtiet facilemet E(S) = p et V(S) = p(1 p). Notos égalemet qu o a X1 +...+ X X1 +...+ X E = p et V = p(1 p). Exemple : Etat doé u classifieur f, la v.a. qui cosiste à tirer ouveaux exemples et retourer le ombre d erreurs commises par f suit ue loi biomiale de paramètres et R(f). 6.3.3 Loi ormale O appelle loi ormale de paramètre (µ, σ) (ou ecore loi de Laplace-Gauss) la loi d ue variable aléatoire cotiue de desité f(x) = 1 σ 2π exp (x µ)2 2σ 2. Elle est otée N(µ, σ). Si X suit ue loi ormale N(µ, σ), o a E(X) =µ et V(X) =σ 2. Si X suit ue loi ormale N(0, 1), la variable σx + µ suit ue loi N(µ, σ ). Le théorème cetral-limite : Soit (X ) ue suite de variables aléatoires idépedates de même loi, d espérace µ et d écart-type σ, alors X1 +...+X µ L N(0, 1) σ où X L Y sigifie que la foctio de répartitio de X coverge uiformémet vers celle de Y. O parle de covergece uiforme e loi. O e déduit e particulier que la loi ormale B(, p) de paramètres et p coverge vers la loi ormale N(p, p(1 p)). De même, si chaque X i suit ue loi de Beroulli de paramètre p, leurmoyee(x 1 +... + X )/ suit asymptotiquemet ue loi ormale de paramètres p et p(1 p)/. E pratique, o idetifie les deux lois dès que 30 et que p(1 p) 5. 5