Formulaire de Probabilités et Statistiques

Transcription

1 Formulaire de Probabilités et Statistiques AD+JS 1 Rappels de combinatoire Arrangements avec répétitions Nombre d applications d un ensemble à k éléments dans un ensemble à n éléments : n k Arrangements (sans répétitions) Nombre d arrangements de k objets choisis parmi n: A k n = n! = n(n 1) (n k + 1) (n k)! Permutations Nombre de permutations de n objets : A n n = n! Combinaisons (sans répétitions) Nombre de combinaisons de k objets choisis parmi n (ou nombre de sous-ensembles à k éléments dans un ensemble à n éléments): ( ) n Cn k n! n(n 1) (n k + 1) = = = (coefficient binomial) k (n k)!k! k(k 1) 1 Combinaisons avec répétitions Nombre de répartitions de n boules indiscernables dans k urnes discernables: Cn+k 1 n = (n + k 1)! Ck 1 n+k 1 = n!(k 1)! Coefficients multinomiaux Nombre de répartitions de n boules discernables dans k urnes discernables avec n 1 boules dans la 1ère urne, n 2 boules dans la 2ème urne,..., n k boules dans la kème urne: C n 1 n C n 2 n n 1 C n k n n 1 n k 1 = ( ) n = n 1,...,n k n! n 1!n 2! n k! Propriétés élémentaires des coefficients binomiaux C k 1 n + C k n = C k n+1 (triangle de Pascal) C k n+m = k (x + y) n = (1 x) n = j=0 C j m Ck j n (formule de Vandermonde ) n Cnx k k y n k k=0 (formule du binôme) Cn+k 1 k xk (série géométrique généralisée ) k=0 (coefficient multinomial) 1

2 2 Probabilités élémentaires Modelè probabiliste L ensemble fondamental Ω est l ensemble des résultats possibles d une expérience. Un événement A est un sous-ensemble de Ω. Une distribution de probabilités P sur Ω associe à tout événement A un nombre P(A), tel que 0 P(A) 1, appelé probabilité de A. Ci-dessous, soient A, B, A 1, A 2,..., A n des événements. On note A c le complémentaire de A dans Ω. Une partition de Ω (un système complet d événements) {B i } n i=1 a les propriétés que l union des événements est Ω et qu ils sont disjoints deux á deux: n B i = Ω, B j B j =, i j. i=1 Propriétés élémentaires de P P(Ω) = 1 P(A c ) = 1 P(A) P(A B) = P(A) + P(B) P(A B) Formule d inclusion-exclusion à n termes ( n ) n P A i = ( 1) k+1 i=1 k=1 1 i 1 < <i k n Événements indépendants A et B sont indépendants ssi P(A B) = P(A)P(B) Événements indépendants deux à deux P(A i1 A ik ) P(A i A j ) = P(A i )P(A j ) i j Événements totalement indépendants P(A i1 A ik ) = P(A i1 ) P(A ik ) 1 i 1 < < i k n,k = 1,...,n Probabilités conditionnelles Si A est un événement quelconque et si l événement B vérifie P(B) > 0 alors la probabilité conditionnelle de A sachant B est P(A B) = P(A B). P(B) Conditionnement multiple P(A 1 A 2 A n ) = P(A 1 )P(A 2 A 1 ) P(A n A 1 A 2 A n 1 ) Formule des probabilités totales Soit (B i ) 1 i n une partition de Ω, avec P(B i ) > 0, i. Alors pour tout événement A, P(A) = P(A B 1 )P(B 1 ) + P(A B 2 )P(B 2 ) + + P(A B n )P(B n ). 2

3 Formule de Bayes Soit {B i } n i=1 une partition de Ω, avec P(B i) > 0, i. Alors pour tout événement A de probabilité non nulle P(B i A) = P(A B i )P(B i ) P(A B 1 )P(B 1 ) + P(A B 2 )P(B 2 ) + + P(A B n )P(B n ). 3 Variables aléatoires réelles Variables discrètes Une variable aléatoire réelle X est une fonction X : Ω E ou E est un sous-ensemble de nombres réels. Si E est discrèt, alors X est appelé variable aléatoire discrète. Dans ce cas la distribution de probabilités de X est la donnée des nombres : P(X = x k ). La fonction f X (x) = P(X = x) est appelée fonction de masse. Fonction de répartition F X (t) = P(X t) Quantile Pour une probabilité 0 < p < 1, la p quantile de F X est x p = inf{x : F X (x) p}. Très souvent on a F X (x p ) = p. Variables continues X est une variable aléatoire continue si sa fonction de répartition s écrit sous la forme F X (x) = x f X (t)dt, donc f X (x) = df X(x), dx où f X (x) est une fonction non négative, appelée densité de X. Couples de variables aléatoires On considère des événements relatifs à deux variables aléatoires X et Y. Fonction de répartition conjointe F X,Y (x,y) = P(X x,y y). Pour un couple (X,Y ) conjointement continu F X,Y (x,y) = x ds y dy f X,Y (s,t) = y x f X,Y (s,t)dsdt et f X,Y (x,y) = 2 x y F X,Y (x,y). Fonction de répartition marginale F X (x) = P(X x) = lim y F X,Y (x,y). Pour un couple (X,Y ) conjointement continu F X (x) = x f X (s)ds où f X (x) est la densité marginale de X donnée par f X (x) = f X,Y (x,y)dy. 3

4 Variables aléatoires indépendantes Deux variables aléatoires X et Y sont indépendantes si pour tous ensembles A et B, En particulier: Dans le cas de deux variables discrètes P(X A et Y B) = P(X A)P(Y B). F X,Y (x,y) = F X (x)f Y (y). P(X = x k et Y = y l ) = P(X = x k )P(Y = y l ), x k,y l R, et dans le cas de deux variables continues f X,Y (x,y) = f X (x)f Y (y), x,y R. Loi de probabilité d une fonction de variables aléatoires Changement de variables à une dimension Si X est une variable aléatoire continue de densité f X (x) et si Y = g(x) pour une fonction g réelle et inversible, on a F Y (y) = f X (x)dx. g 1 (,y) Si g(x) est strictement monotone et continûment dérivable, alors la variable aléatoire Y = g(x) est une variable aléatoire continue, avec densité { f f Y (y) = X (g 1 (y)) d g 1 (y) dy, si y = g(x) pour un x quelconque, 0, si y g(x) pour tout x. Changement de variables à deux dimension Si (X 1,X 2 ) sont deux variables aléatoires conjointement continues de densité f X1,X 2 (x 1,x 2 ) et si (Y 1,Y 2 ) = (g 1 (X 1,X 2 ),g 2 (X 1,X 2 )) pour une fonction g = (g 1,g 2 ) inversible, on a F Y1,Y 2 (y 1,y 2 ) = f X1,X 2 (x 1,x 2 )dx 1 dx 2 g 1 (x 1,x 2 ) y 1 g 2 (x 1,x 2 ) y 2 En particulier, si g(x) est une bijection continûment dérivable avec son inverse noté par h = (h 1,h 2 ), alors le couple aléatoire (Y 1,Y 2 ) est conjointement continu, avec densité où J(y 1,y 2 ) est le jacobien de h, et f Y1,Y 2 (y 1,y 2 ) = f X1,X 2 (h 1 (y 1,y 2 ),h 2 (y 1,y 2 )) J(y 1,y 2 ) 4 Espérance mathématique J(y 1,y 2 ) = h 1 y 1 h 2 y 2 h 1 y 2 h 2 y 1. Définition Soit X une variable aléatoire. On désigne par E[X] = xdf X (x) l espérance mathématique de X, definie quand E( X ) <. 4

5 Espérance d une fonction de variables aléatoires Soit g une fonction réelle. L espérance de g(x) se calcul par E[g(X)] = g(x)df X (x). En particulier, pour une variable discrète E[g(X)] = k K g(x k)p(x = x k ) pour une variable continue E[g(X)] = pour un couple (X, Y ) E[g(X, Y )] = Propriétés de l espérance g(x)f X (x)dx g(x,y)f X,Y (x,y)dxdy Espérance d une constante E[c] = c pour toute constante c réelle Linéarité E[a + bx + cy ] = a + be[x] + ce[y ] pour tous réels a,b,c Positivité E[X] 0 si X 0 Variance et covariance Soient X et Y variables aléatoires telles que E(X 2 ),E(Y 2 ) < +. On définit les quantités suivantes: Variance de X Covariance de X et Y var[x] = E[(X E[X]) 2 ] = E[X 2 ] E[X] 2 = E[X 2 ] E[X] 2 cov[x,y ] = E[(X E[X])(Y E[Y ])] = E[XY ] E[X]E[Y ] Coefficient de corrélation de X et Y corr[x,y ] = cov[x,y ] var[x] var[y ] Variance et covariance propriétés: var[x] = cov[x, X], et var[x] 0. (Bi-)Linéarité de la covariance Pour a,b,c réels, cov[a + bx 1 + cx 2,Y ] = b cov[x 1,Y ] + c cov[x 2,Y ]. Variance et covariance var[x + Y ] = var[x] + var[y ] + 2cov[X,Y ] Homogénéité de la variance Pour tout a réel, var[ax] = a 2 var[x]. 5

6 Transformée de Laplace et moments Soit X une variable aléatoire et t R. On appelle fonction génératrice des moments (FGM) (aussi transformée de Laplace) la fonction définie par M X (t)( (L X (t)) = E[e tx ], si elle est finie. Moment d ordre k Pour tout entier positif k, le moment d ordre k est E[X k ]. Moment centré d ordre k Pour tout entier positif k, le moment centré d ordre k est E[(X E[X]) k ]. En particulier, si k = 2, on a var[x]. Fonction génératrice des cumulants Soit X une variable aléatoire et t R. On appelle fonction génératrice des cumulants la fonction définie par si elle est finie. K X (t) = log M X (t) = log E[e tx ], Cumulant d ordre k Pour tout entier positif k, le cumulant d ordre k est κ k donné par K X (t) = k=1 κ k t k k! ; on a également κ k = d k K X (t)/dt k t=0. En particulier, E[X] = κ 1, var[x] = κ 2. Quelques inégalités classiques Inégalité de Cauchy Schwarz E[XY ] E[X 2 ] E[Y 2 ] Inégalité de Jensen Si g est une fonction convexe, i.e. pour t [0,1]: g(t x+(1 t)y) t g(x) + (1 t)g(y), alors g(e[x]) E[g(X)] Inégalité de Markov Si X 0 et si a > 0, alors P(X a) E[X]/a. Inégalité de Bienaymé Chebychev Pour tout a > 0, on a P( X E[X] a) var[x]/a 2. 6

7 5 Variables aléatoires Lois usuelles 5.1 Lois discrètes Nom Paramètres P(X = k) E[X] var[x] M X(t) Bernoulli 0 p 1 p k (1 p) 1 k p p(1 p) pe t + 1 p k = 0, 1 t Binomiale n Cnp k k (1 p) n k np np(1 p) `pe t + 1 p n 0 p 1 k {0, 1,..., n} t Géométrique 0 < p 1 p(1 p) k 1 1 p pour k {1, 2,...} si (1 p)e t < 1 1 p p 2 pe t 1 (1 p)e t pe t n p 2 1 (1 p)e t Binomiale n {2, 3,...} C n 1 k 1 pn (1 p) k n n n 1 p p négative 0 p 1 k {n, n + 1,...} si (1 p)e t < 1 CN k C n k Hyper- n, N 1, N 1 N 2 N 1 n nn 1 N 2 (N 1 +N 2 ) 2 C N n N 1 +N 1 +N 2 (N 1 +N 2 ) 2 (N 1 +N 2 1) 2 géométrique n N 1 + N 2 max(0, n N 2) k min(n, N 1) λ λk Poisson λ > 0 e λ λ e λ(et 1) k! k {0, 1,...} t 5.2 Lois continues Nom Paramètres Densité f(x) E[X] var[x] M X(t) Uniforme a < b 1/(b a) si x [a, b] (0 sinon) t 0 a+b 2 (b a) 2 12 e tb e ta t(b a) Exponentielle λ > 0 λe λx 1 λ pour x > 0 (0 sinon) 1 λ 2 λ λ t si t < λ Gamma λ > 0, n 1 λ n x n 1 e λx Γ(n) n λ n λ 2 ( λ λ t )n pour x > 0 (0 sinon) si t < λ Gaussienne µ R, σ 2 > 0 1 2πσ 2 e (x µ)2 2σ 2 µ σ 2 exp(µt + σ2 pour tout x t 2 t2 ) Student ν 1 Γ( ν+1 2 ) ν 0 πγ( 2 )(1+x2 ) (ν+1)/2 1 ν 2 (t ν) pour tout x si ν 2 si ν 3 Chi deux ν 1 x ν/2 1 e x/2 2 ν/2 Γ(ν/2) ν 2ν (1 2t) ν 2 (χ 2 ν) pour x > 0 (0 sinon) si t < 1 2 7

8 5.3 Théorèmes limites Loi hypergéométrique vers une loi binomiale Soit (X m ) une suite de variables hypergéométriques de paramètres N 1 (m),n 2 (m) et n, avec N 1 (m) N 1 (m)+n 2 (m) m p. Alors pour chaque valeur 0 k n: P(X m = k) m C k np k (1 p) n k. Loi binomiale vers une loi de Poisson Soit X n une variable aléatoire binomiale de paramètres (n,p). Si n et p 0 tel que np λ, alors λ λk P(X n = k) e n k!, k = 0,1,2,... Loi géométrique vers une loi exponentielle Soit T une variable aléatoire géometrique de paramètre p. Si n et p 0 tel que n p λ > 0, alors P(T/n > t) n e λt, t > 0. Loi binomiale vers une loi gaussienne Soit X n une variable aléatoire binomiale de paramètres (n, p). Théorème de Moivre-Laplace Si n et k np, alors 1 P(X n = k) e (k np)2 2np(1 p) 2πnp(1 p) Théorème central limite Si n,alors pour tout t réel P(X n np + np(1 p) t) 1 n 2π t e x2 2 dx 6 Variables indépendantes et théorèmes limites Indépendance de plusieurs variables aléatoires Les variables aléatoires X 1,...,X n sont indépendantes si et seulement si elles vérifient l une des conditions équivalentes suivantes: (i) Les fonctions de répartition respectives F X,F X1,...,F Xn de X = (X 1,...,X n ),X 1,...,X n vérifient pour tous x i réels, i = 1,...,n: F X (x 1,...,x n ) = F X1 (x 1 )F X2 (x 2 ) F Xn (x n ). (ii) Pour toutes fonctions g 1,...,g n, on a E[g 1 (X 1 ) g n (X n )] = E[g 1 (X 1 )] E[g n (X n )] Une ensemble de variables X 1,...,X n indepéndantes et identiquement distribuées (iid) est iid iid appelé un échantillon aléatoire. On note, par exemple X 1,...,X n F, ou X1,...,X n f. 8

9 Cas particuliers de (ii) Si X 1,...,X n sont des variables aléatoires indépendantes: E[X 1 X n ] = E[X 1 ] E[X n ], M X1 + +X n (t) = M X1 (t) M Xn (t) Indépendance et covariance Si X 1,...,X n sont indépendantes, alors Cov[X i,x j ] = 0, i j. Maximum et minimum de variables aléatoires indépendantes Soient X (n) = max(x 1,...,X n ) et X (1) = min(x 1,...,X n ). X (n) et X (1) ont pour fonctions de répartition respectives F X(n) (x) = F X1 (x) F Xn (x), F X(1) (x) = 1 (1 F X1 (x)) (1 F Xn (x)) Théorèmes limites pour les valeurs extrêmes de variables iid Soit X 1,...,X n,... iid F, et soient τ > 0, et (x n ) n 1, une suite de nombres réels vérifiant Alors lim n[1 F(x n)] = τ. n P(X (n) x n ) n e τ. Si une telle suite existe, alors il existent des suites (b n ) n 1, (a n > 0) n 1, telles que ( ) { [ ] X(n) b n exp P y a H(y) = {1 + ξ(y η)/τ } 1/ξ +, ξ 0, n n exp [ exp { (y η)/τ}], ξ = 0, où u + = u pour u > 0 et u + = 0 pour u 0, et η,ξ R, τ > 0. iid Statistique d ordre et vecteur des rangs Soient X 1,...,X n f, ceci étant une fonction de densité. Les variables ordonnées X (1) X (2) X (n) sont appelées statistique d ordre associé à X 1,...,X n. On appelle R j le rang de la valeur X j et (R 1,...,R n ) le vecteur des rangs associé à X 1,...,X n. Alors le vecteur des rangs et la statistique d ordre sont indépendantes et (R 1,...,R n ) a une distribution uniforme dans l ensemble des permutations de {1,... n}. La statistique d ordre a pour densité { n!f(x 1 )... f(x n ), x 1 x n, f X(1),...,X (n) (x 1,...,x n ) = 0, sinon. Loi limite des statistiques d ordre centrales Soient 0 < p < 1, X 1,...,X n iid F, F une loi continue avec densité f, et x p = F 1 (p). Alors si f(x p ) > 0, X ( np ) x p [p(1 p)/{nf(x p ) 2 }] 1/2 D N(0,1) lorsque n. En particulier la mediane, avec p = 0.5, a une loi limite normale, de même que les quartiles, avec p = 0.25, 0.75: pour n grand, ( ). p(1 p) X ( np ) N x p, nf(x p ) 2. 9

10 Sommes de variables indépendantes Soient X 1,...,X n des variables aléatoires indépendantes et S n = X X n. Somme de deux variables indépendantes discrètes P(S 2 = y) = P(X 1 = x (1) j )P(X 2 = x (2) k ) (j,k):y=x (1) j +x (2) k Somme de deux variables indépendantes continues La densité f S2 de S 2 = X 1 +X 2 est donnée par la convolution de f X1 et f X2, i.e. f S2 (y) = f X1 f X2 (y) = + f X1 (y x)f X2 (x)dx Somme de n variables indépendantes continues La densité f Sn de S n = X X n est donnée par la convolution des densités f Xj : f Sn = f X1 f Xn. Théorèmes de stabilité Loi binomiale Soient S m et S n deux variables aléatoires binomiales indépendantes de paramètres (m,p) et (n,p). Alors S m + S n suit une loi binomiale de paramètres (m + n,p). Loi de Poisson Soient X 1 et X 2 deux variables aléatoires de Poisson indépendantes de paramètres λ 1 et λ 2. Alors X 1 + X 2 suit une loi Poisson de paramètres λ 1 + λ 2. Loi normale Soient X 1,...,X n des variables aléatoires indépendantes avec X j N(µ j,σ 2 j ), et soient a,b 1,...,b n des constantes. Alors la combinaison linéaire a + b 1 X b n X n N(a + b 1 µ b n µ n,b 2 1 σ b2 n σ2 n ). Lois des grands nombres Soit X 1,...,X n,... une suite de variables aléatoires réelles iid d espérance µ et variance σ 2. Alors, la moyenne S n /n = (X X n )/n converge en probabilité vers µ (loi faible). La moyenne converge aussi presque sûrement vers E[X], i.e. la probabilité de l événement S n /n converge vers E[X] est égale 1 (loi forte). Théorème central limite Soit X 1,...,X n,...une suite de variables aléatoires réelles iid d espérance µ et variance σ 2. La suite des sommes partielles centrées et réduites Z n = X 1+ +X n nµ σ n converge en distribution vers une variable N(0,1) (normale standard): z 1 P(Z n z) n 2π e y2 /2 dy = Φ(z), z R. 10

11 7 Eléments de Statistique Biais et Risque d un estimateur Si θ = θ(x 1,...,X n ) est un estimateur du paramètre θ, on appelle biais de θ: B θ ( θ) = E θ [ θ] θ et risque (quadratique) ou erreur moyenne quadratique de θ l espérance du carré de θ θ: R θ ( θ) = E θ [( θ θ) 2 ] θ sera dit consistant si θ converge en probabilité vers θ lorsque n +, i.e. si Intervalles de confiance (IC) et tests P( θ θ > ǫ) n 0, ǫ > 0 (i) Cas d un échantillon gaussien Dans ce qui suit on considère n observations x 1,...,x n correspondant aux réalisations de n variables gaussiennes indépendantes X 1,...,X n iid N(µ,σ 2 ). 1. IC au niveau 1 α fixé (e.g. 1 α = 0,95 95%, α = 0,99 99%), pour l espérance µ lorsque σ 2 est connu: soit x = n 1 (x x n ), alors l IC est I α = [x z 1 α/2 σ n ;x z α/2 σ n ], où z p est le p-quantile d une variable gaussienne Z N(0,1), donc P(Z z p ) = p. 2. IC au niveau 1 α pour l espérance µ lorsque σ 2 est inconnu: J α = [ x t n 1 (1 α/2) s n ;x t n 1 (α/2) s n ], où (n 1)s 2 = (x i x) 2 et t ν (p) est le p-quantile d une variable de Student à ν degrés de liberté. 3. L IC au niveau 1 α pour la variance σ 2 s obtient à partir de la variance empirique s 2 comme: [ (n 1)s 2 /χ 2 n 1 (1 α/2);(n 1)s2 /χ 2 n 1 (α/2) ] où χ 2 ν (p) est le p-quantile de la loi de khi-deux à ν degrés de liberté. (ii) Estimateur de maximum de vraisemblance Soit y la réalisation d une variable aléatoire Y dont la loi est f(y;θ), avec scalaire paramètre θ inconnu, alors la log vraisemblance est l(θ) = log f(y;θ) et l information observée est J(θ) = d2 l(θ) dθ 2. Sous des conditions de régularité, un IC approximé au niveau 1 α pour θ est θ±z 1 α/2 J( θ) 1/2, où θ est l estimation de maximum de vraisemblance de θ, qui satisfait l( θ) l(θ), θ. Souvent y = (y 1,...,y n ) est supposé la réalisation d un échantillon aléatoire Y 1,...,Y n, et dans ce cas n n d 2 log f(y j ;θ) l(θ) = log f(y j ;θ), J(θ) = dθ 2, j=1 f(y j ;θ) étant la densité de Y j. 11 j=1

12 (iii) Tests d hypothèses Soit x 1,...,x n un échantillon correspondant aux réalisations iid X 1,...,X n Pθ (inconnue). On fait une hypothèse H 0 sur la distribution P θ (par exemple: θ = θ 0 ) et l on veut tester si les observations x 1,...,x n permettent de rejeter l hypothèse H 0. On choisi une statistique de test T, construit de telle manière que des grandes valeurs de T suggerent que H 0 soit fausse, et on calcul le niveau de signification p obs = Pr 0 (T t obs ), où t obs est la valeur observée de T, c est à dire sa valeur calculée avec les données x 1,...,x n, et Pr 0 représent une probabilité calculée sous H 0. Plus p obs est petite, plus on doubte H 0. Une autre possibilité est de fixer un niveau α à l avance (e.g. α = 0,05 5%, α = 0,01 1% ou α = 0,001 0,1%), de trouver le (1 α) quantile de la loi de T sous H 0, et de rejeter H 0 si t obs excede ce quantile. iid Dans le cas d un échantillon x 1,...,x n correspondant à des variables X 1,...,X n N(µ,σ 2 ), avec σ 2 connue et µ inconnue, on pourra rejeter l hypothèse H 0 : µ = µ 0 au niveau α si µ 0 / I α, où I α est l intervalle de confiance de niveau 1 α pour la moyenne µ, autrement dit: on rejettera l hypothèse H 0 : µ = µ 0 au niveau α si x µ 0 σ/ n > z 1 α/2 Si σ 2 est inconnue on rejettera l hypothèse H 0 : µ = µ 0 au niveau α si µ 0 J α, donc si x µ 0 s/ n > t n 1(1 α/2). 12

13 Distribution normale standard Φ(z) Φ(z) z Pour z < 0 on utilise symmetrie: P(Z z) = Φ(z) = 1 Φ( z), z R. z

14 Distribution χ 2 ν p χ 2 ν(p) Des quantiles χ 2 ν(p) pour la distribution en khi-carré à ν degrés de liberté. ν

15 Distribution t ν de Student p Des quantiles t ν (p) pour la distribution t de Student à ν degrés de liberté. t ν (p) Pour p < 0 on utilise la symmétrie: t ν (p) = t ν (1 p). ν