BASES ET MÉTHODES POUR LE TRAITEMENT

Transcription

1 MASTER M2 RECHERCHE : ASTRONOMIE ASTROPHYSIQUE Cours BASES ET MÉTHODES POUR LE TRAITEMENT DES DONNÉES (Bruits et Signaux) par Didier PELAT

2 Note à l intention des lecteurs Un cours intitulé «Bruits et Signaux», devrait idéalement comporter au moins deux parties, une partie traitant des statistiques des variables aléatoires, et une autre partie traitant des statistiques des processus stochastiques On ne trouvera ici que la partie concernant les variables aléatoires, mais les principes de base exposés ici seront un bagage précieux pour quiconque voudra bien aborder des problèmes plus complexes Quelques chapitres contiennent des programmes écrit en FORTRAN dont le but est d illustrer tel ou tel point qui vient d être traité L auteur a la conviction que de tels programmes possèdent une valeur pédagogique mais il est également persuadé qu ils sont imparfaits, en conséquence il décline toute responsabilité en cas d usage de ces programmes Certaines parties de ce cours sont indiquées par une étoile, il s agit de compléments qui peuvent être omis en première lecture C est un plaisir de remercier ici D Alloin, J Ballet, L Carter et les étudiants de l école doctorale d Île-de-France pour leurs lectures critiques de ce texte Je tiens tout particulièrement à remercier Françoise Launay pour avoir relu entièrement ce texte et y avoir apporté d innombrables améliorations Tous commentaires, corrections de fautes de frappe etc sont vivement encouragés Meudon le 12 octobre 2006 DPELAT LUTH Observatoire de PARIS Section de MEUDON MEUDON CEDEX Tel : Fax : Internet : didierpelat@obspmfr

3 Table des matières I Éléments de théorie des probabilités 1 1 Espaces probabilisés 3 11 Les axiomes de Kolmogorov L ensemble Ω La tribu B La mesure de probabilité Pr Exemples d espaces probabilisés Ensemble de mesure nulle Probabilités conditionnelles Événements indépendants Suite d événements indépendants Exercices 18 2 Variables aléatoires Une variable aléatoire Loi d une variable aléatoire Fonction de répartition Probabilité attachée à un intervalle Propriétés de la fonction de répartition Les différents types de fonctions de répartition Densité de probabilité Propriétés de la densité de probabilité Caractéristiques numériques des lois 1D Le mode Les moments Variable aléatoire centrée et réduite La médiane et les quantiles Lois conditionnelles Les lois tronquées Lois conditionnelles par rapport à un système d événements Exercices 35 3 Plusieurs variables aléatoires Un couple de variables aléatoires Définition Variables marginales Fonction de répartition Probabilité associée à un rectangle 38 i

4 ii TABLE DES MATIÈRES 315 Densité de probabilité Lois marginales Moments des lois 2D Moments des lois marginales Variables aléatoires indépendantes Lois conditionnelles associées à une loi 2D Lois conditionnelles d une coupe Lois conditionnelles quelconques Plusieurs variables aléatoires Vecteurs aléatoires et notation matricielle Fonction de répartition Probabilité d un hyper-rectangle Densité de probabilité Lois marginales Moments Matrice des variances-covariances Lois conditionnelles Lois conditionnelles des coupes Variables aléatoires indépendantes Plusieurs vecteurs aléatoires La matrice de covariance 54 4 Changement de variable aléatoire Une variable et une fonction Variables aléatoires continues Uniformisation des variables aléatoires continues Changement de variable et indépendance Plusieurs fonctions de plusieurs variables Une fonction de plusieurs variables Somme et différence de deux variables aléatoires Produit de deux variables aléatoires Quotient de deux variables aléatoires Le point de vue des probabilités conditionnelles Exemples Module et phase d un couple de variables aléatoires Module et phase d un couple de variables aléatoires normales indépendantes Exercices et problèmes 67 5 Nombres et fonctions caractéristiques L espérance mathématique L espérance mathématique des variables aléatoires discrètes L espérance mathématique des variables aléatoires continues L espérance mathématique des variables aléatoires quelconques Propriétés de l espérance mathématique Espérance mathématique conditionnelle Espérance d une fonction de la variable aléatoire Inégalités impliquant des espérances L inégalité de Cauchy-Schwarz Les inégalités de Cauchy-Schwarz d ordre n Nombres caractéristiques 79

5 TABLE DES MATIÈRES iii 531 Les moments L erreur quadratique moyenne Fonctions caractéristiques La fonction de répartition La densité de probabilité La fonction caractéristique La fonction génératrice des moments Espérance des variables aléatoires d un couple Espérances conditionnelles des lois 2D Espérance des lois nd Espérance mathématique d une matrice Caractéristiques numériques Quantiles d une fonction de la variable aléatoire Moments d une fonction de la variable aléatoire Moments et changement de variables aléatoires linéaire Changement quasi-linéaire de variables aléatoires Exercices et problèmes 87 6 Lois normales Loi normale à une dimension Fonction de répartition Fonction caractéristique Caractéristiques numériques de la loi normale Quelques propriétés de la loi normale Loi normale à 2 dimensions Fonction caractéristique Lois conditionnelles Caractéristiques numériques de la loi normale 2D Forme quadratique associée Ellipses d égale probabilité Forme matricielle de la loi normale 2D Lois marginales Loi normale à n dimensions Fonction caractéristique nd Changement de variable linéaire Loi normale nd réduite Réduction des variables normales quelconques Caractéristiques numériques de la loi normale nd Lois marginales et conditionnelles Ellipsoïde d égale densité Composantes principales Loi du χ Contenu en probabilité de l ellipsoïde d égale densité Introduction au test du χ Aspects numériques Quantiles de la loi normale réduite Génération d un couple de variables aléatoires suivant la loi normale 2D Simulation de vecteurs suivant la loi normale nd Exercices et problèmes 113

6 iv TABLE DES MATIÈRES 7 Inégalités et convergences Inégalités L inégalité de Markov Les inégalités de type Bienaymé-Tchébychev L inégalité de Bernstein L égalité entre deux variables aléatoires La convergence stochastique La convergence en loi La convergence en probabilité La convergence presque-sûre La convergence en moyenne quadratique Hiérarchie parmi les convergences Critère de Cauchy Lois des grands nombres Loi des grands nombres de Bernoulli Lois faibles des grands nombres Lois fortes des grands nombres La loi du logarithme itéré Théorème central limite Théorème central limite pour une suite de variables aléatoires indépendantes Précision du théorème central limite Exemples Méthode de Monte-Carlo Exercices et problèmes Lois de probabilité usuelles Lois discrètes Loi de Bernoulli Loi binomiale Loi géométrique ou de Pascal Loi binomiale négative Loi de Poisson Loi Hypergéométrique Lois continues Loi uniforme Loi bêta Loi du χ Loi t de Student Loi F de Fisher Loi exponentielle Loi gamma ou loi d Erlang Loi log-normale Loi de Cauchy Lois à plusieurs variables Loi multinomiale Bibliographie Exercices et problèmes 160

7 TABLE DES MATIÈRES v 9 Flux d événements Les flux simples ou de Poisson Loi gouvernant les intervalles de temps T i Lois gouvernant les dates d arrivée des événements Loi gouvernant le nombre d événements observés dans un intervalle de temps donné T Quelques lois conditionnelles Flux de Poisson non-stationnaire L horloge stroboscopique Loi du nombre d événements dans un intervalle t 1, t Loi suivie par l intervalle de temps séparant deux événements Superposition de flux Définition Flux indépendants Superposition de flux de Poisson Tendance vers le flux de Poisson Superposition aléatoire de flux de Poisson Flux tamisés Flux d Erlang Tamisage aléatoire d un flux de Poisson Bruit de grenaille Moyenne et variance d un bruit de grenaille Flux 2D Caractéristiques locales d un flux 2D Propriétés globales d un flux 2D Flux de Poisson 2D Exercices et problèmes 184 II Statistique des variables aléatoires Les échantillons Les échantillons iid La fonction de vraisemblance Les échantillons ordonnés Loi suivie par les extrema d un échantillon Loi suivie par les variables ordonnées Loi suivie par un couple de variables ordonnées La fonction de répartition empirique Une définition «naturelle» de F n Loi suivie par la variable aléatoire F n (x) Convergence de F n vers F Les méthodes bootstrap Exercices et problèmes Les statistiques associées à l échantillon Statistiques associées à un échantillon Les statistiques en tant que fonctionnelles Convergence des statistiques Moments de l échantillon Convergence des moments empiriques 206

8 vi TABLE DES MATIÈRES 1122 Caractéristiques numériques des moments empiriques Statistiques d ordre Réduction des données Les statistiques exhaustives Exhaustivité et information La fonction score Échantillons de population normale Le théorème de Fisher Loi suivie par la moyenne X n Loi suivie par la variance modifiée Sn Indépendance de X n et Sn La loi de «Student» Échantillons issus d une loi normale 2D Exercices et problèmes L estimation ponctuelle Le problème Eléments de théorie de la décision Propriétés des estimateurs La convergence L absence de biais Les méthodes permettant de corriger du biais L efficacité L inégalité de Fréchet ou de Rao-Cramér Les estimateurs MVB Efficacité et estimateur efficace Cas des estimateurs biaisés Borne efficace et information de Fisher Les inégalités de Bhattacharyya Les estimateurs fiables Exercices et problèmes L estimation d intervalle Définition de l intervalle de confiance Les grands échantillons Le point de vue bayesien Exemple tiré de la loi normale Intervalle de confiance n-d Principe de construction Le cas de la loi normale 2D Exemples Intervalle de confiance approximatif d un rapport Exercices Comment obtenir des estimateurs? La méthode des moments La méthode du maximum de vraisemblance Principe de la méthode Propriétés de l estimateur du maximum de vraisemblance 259

9 TABLE DES MATIÈRES vii 1523 Loi et variance de l estimateur du maximum de vraisemblance Exemples Estimation d un rapport Références Exercices et problèmes La méthode des moindres carrés Le modèle général Géométrisation de la méthode des moindres carrés Le cas normal Moindres carrés pondérés Le cas linéaire Modèle linéaire Fonctions à estimer Modèle linéaire réduit Les équations normales Solution du modèle linéaire Reparamétrisation du modèle Interprétation géométrique de la méthode des moindres carrés, dans l espace des observations Le théorème de Gauss-Markov dans le cas linéaire de la méthode des moindres carrés Moyenne et variance des estimateurs des moindres carrés Estimation de la variance σ Loi suivie par les estimateurs des moindres carrés Région de confiance dans l espace des paramètres Résumé des propriétés du modèle linéaire Exercices et problèmes Estimation de paramètres Loi exponentielle Estimation ponctuelle Estimation d intervalle Loi normale Estimation de la moyenne µ connaissant σ Estimation de µ ne connaissant pas σ Estimation de σ 2 connaissant µ Estimation de σ 2 ne connaissant pas µ Estimation simultanée de µ et σ Estimation de la loi Estimation de la fonction de répartition L estimateur «naturel» F n La statistique de Kolmogorov Estimation d une loi en présence de censure Modèle de censure L estimateur de Kaplan-Meier Densité de probabilité empirique Estimateurs subordonnés à un noyau Caractéristiques numériques empiriques Histogrammes Loi suivie par le nombre de points dans une cellule 315

10 viii TABLE DES MATIÈRES 1852 Le χ 2 de Pearson Taille des cellules Étude de la dépendance Étude de la corrélation Coefficient de corrélation en présence d erreurs de mesure L estimateur «naturel» de ρ Le cas normal Estimation d intervalle La régression La régression linéaire Droites de régression empiriques Recherche de dépendances fonctionnelles 324 III Appendices 329 A Fonctions spéciales 331 A1 Fonctions eulériennes 331 A11 Fonction eulérienne de première espèce 331 A12 Fonction eulérienne de deuxième espèce 331 A2 Fonctions eulériennes incomplètes 333 A21 Fonction bêta incomplète 333 A22 Fonction gamma incomplète 333 A3 Fonction hypergéométrique 334 A31 Domaine de définition 334 A32 Propriétés de la fonction hypergéométrique 334 A33 Fonction hypergéométrique généralisée 335 A34 Fonction hypergéométrique confluente 335 A4 Aspects numériques 335 A41 Fonction gamma 336 A42 Fonction bêta 336 A43 Fonction gamma incomplète 336 A44 Fonction bêta incomplète 336 B Outils mathématiques 337 B1 Matrices 337 B11 Matrices définies positives 337 B12 Matrices projectives 338 B13 Inverses généralisées 338 B2 Éléments de topologie 339 B21 Espaces topologiques 339 B22 Espaces métriques 339 B3 Structures algébriques 339 B31 Espaces vectoriels 339 B32 L espace dual 341 B33 Espace vectoriels normés 342 B34 Formes hermitiennes et produit scalaire 342 B35 Espaces préhilbertien 344 B36 Espaces unitaires 345

11 TABLE DES MATIÈRES ix B37 Espaces vectoriels arithmétiques 345 B4 Applications linéaires 346 B41 Application adjointe 347 B42 Espaces de dimensions finies 347 C Solution des exercices 349 C1 Exercices du chapitre C2 Exercices du chapitre C3 Exercices du chapitre C4 Exercices du chapitre C5 Exercices du chapitre C6 Exercices du chapitre C7 Exercices du chapitre D Éléments biographiques 353

12 x TABLE DES MATIÈRES

13 Table des figures 11 Concept d événement réalisé en théorie des probabilités 5 12 Tribu engendrée par une classe Trois événements deux à deux indépendants, mais pas mutuellement indépendants Fonction de répartition de la loi normale Exemple de fonction de répartition d une variable aléatoire discrète Exemple de fonction de répartition d une variable aléatoire absolument continue Densité de probabilité de la loi normale «Densité» de probabilité de la loi Poisson Domaine de définition de la fonction de répartition 2D Probabilité p associée à un rectangle Domaine de définition de la fonction de répartition marginale F X Lois du min et du max d un couple de variables aléatoires Loi suivie par deux variables aléatoires non-corrélées mais pas indépendantes Exemple de changement de variable aléatoire continu mais non univoque Densité de probabilité du produit de deux variables normales réduites Relation «de Pythagore» reliant la variance, le biais et l erreur quadratique moyenne Densité de probabilité de la loi normale réduite Fonction d erreur résiduelle de la loi normale Ellipses de corrélation de la loi normale 2D Interprétation géométrique du rectangle de dispersion Simulation de points suivant la loi normale 2D Simulation de vecteurs suivant la loi normale nd Illustration graphique de l inégalité de Bienaymé-Tchébychev Exemple de convergence en loi Illustration de la loi des grands nombres de Bernoulli Illustration de la loi du logarithme itéré Probabilités de la loi binomiale Fonction de répartition de la loi binomiale négative Répartition de la loi de Poisson Densités de probabilité de la loi bêta Densité de probabilité de la loi du χ Densité de probabilité de la loi de Student 152 xi

14 xii TABLE DES FIGURES 87 Densité de probabilité de la loi de Fisher Densité de probabilité de la loi exponentielle Densité de probabilité de la loi gamma Densité de probabilité d une loi log-normale Densité de probabilité de la loi de Cauchy Représentation schématique d un flux d événements Lois des temps d arrivée d événements de Poisson Flux correspondant à n événements dans le temps T Domaine d intégration correspondant à l observation de n événements dans le temps T Bruit de photons de moyenne 5 photons par unité de temps Lois conditionnelles du temps d arrivée d événements de Poisson lorsque N = n Densité de probabilité d un flux modulé sinusoïdalement Représentation schématique de la somme de deux flux Tamisage déterministe d un flux de Poisson Exemple de bruit de grenaille Exemple de flux de Poisson 2D Densité de probabilité de la distance au plus proche événement voisin Fonction de vraisemblance d un échantillon issu d une loi exponentielle Fonction de répartition suivie par les extrema d un échantillon uniforme Répartition du temps de remplacement d une batterie de composants Densité de probabilité de l empan d un échantillon iid uniforme Fonction de répartition de l empan d un échantillon iid uniforme Réalisation de la fréquence empirique F n Ecart réduits de F n par rapport à F Domaine d intégration pour le calcul de la loi du χ Représentation graphique d un échantillon normal 2D Illustration de l indépendance entre convergence et absence de biais Performances de 6 estimateurs de la moyenne d une loi normale Performances de 6 estimateurs de la moyenne d une loi uniforme Performances de 6 estimateurs de la médiane d une loi de Cauchy Construction graphique de l intervalle de confiance de la moyenne d une loi normale Extrapolation de l intervalle de confiance sans tenir compte de l information a priori Région de confiance de l estimation de la moyenne d une loi normale 2D Abaque de l intervalle de confiance d un rapport Densités de probabilité de quatre observations spectroscopiques d un rapport de raies Estimation d un décrément de Balmer par la méthode du maximum de vraisemblance Construction de la matrice modèle par échantillonnage Interprétation géométrique de la méthode des moindres carrés Construction géométrique des écart types des estimateurs des moindres carrés Région de confiance de l estimation simultanée de deux paramètres Fonction de répartition de Kolmogorov 311

15 TABLE DES FIGURES xiii 191 Lois suivies par le coefficient de corrélation empirique Schéma de principe de la recherche d une dépendance fonctionnelle 325 A1 Logarithme de la fonction Γ 332

16 xiv TABLE DES FIGURES

17 Liste des tableaux 11 Tableau comparatif des terminologies ensembliste et probabiliste 4 21 Extrait d une table de quantiles de la loi normale réduite Fonction de répartition et densité de probabilité de la variable aléatoire Y = ϕ(x) Densités de probabilité des quatre opérations Quantiles des bijections Moyenne et variance des changements de variables linéaires Table permettant de calculer un intervalle de confiance de la loi normale réduite Caractéristiques numériques de certains changements de variable Moyenne et variance de la somme et de la différence de deux variables aléatoires normales corrélées Table des seuils du test du χ Bornes supérieures pour la fonction d erreur Extrait d une table de la fonction bêta incomplète Quatre observations des raies de l hydrogène atomique Confiance associée à «l ellipse» X 2 = Xmin Solutions du modèle linéaire par la méthode des moindres carrés Matrice des variances-covariances des paramètres estimés par la méthode des moindres carrés300 xv

18 Première partie Éléments de théorie des probabilités 1

19

20 Chapitre 1 Espaces probabilisés La base fondamentale du calcul des probabilités est la théorie de la mesure élaborée par Borel et Lebesgue au début du XX e siècle On doit à Kolmogorov, vers l année 1930 [44], d avoir reconnu qu une probabilité se concevait en tant que «mesure» de certains sous-ensembles appelés événements Avant cette date la théorie des probabilités n avait pas le statut de théorie mathématique cohérente et certaines notions comme celle de probabilité conditionnelle restaient assez vagues 11 Les axiomes de Kolmogorov Suivant Kolmogorov, un espace probabilisé est un triplet (Ω, B, Pr) constitué : 1) d un ensemble Ω dont les éléments ω sont appelés événements élémentaires ; 2) d un ensemble B possédant une structure dite de tribu dont les éléments sont des sousensembles particuliers de Ω appelés événements ; et 3) d une mesure normée Pr dite de probabilité associée aux événements Pour être complet ajoutons, sans trop insister, que la théorie des ensembles considérée est celle de Zermelo-Frænkel avec axiome du choix En ce qui concerne ce cours, on pourra se contenter de la notion intuitive que l on a généralement de cette théorie On admettra donc qu une expression comme ω Ω a un sens pour le lecteur 111 L ensemble Ω L ensemble Ω est dit espace des épreuves Ses éléments ω sont toutes les issues possibles d une expérience soumise au hasard Ces issues ou événements élémentaires ou encore événements atomiques ( ou atomes ) sont de nature abstraite, ils représentent, par exemple, le fait qu une pièce de monnaie tombe d un côté ou de l autre dans le jeu dit de «pile ou face» L espace des épreuves peut souvent s exprimer sous forme d une liste de faits : Ω = {pile, face} ou encore Ω = {yeux bleus, yeux verts, - cheveux blonds, cheveux roux,} Néanmoins, le résultat de nombreuses expériences se résume, d un point de vue pratique, à la donnée d un ou plusieurs nombres, c est le cas du jet d un dé à 6 faces : Ω = {1, 2, 3, 4, 5, 6} ou de la mesure de la taille d un individu : Ω = R + Bien que les éléments atomiques ω correspondent à une description fine des issues d une expérience aléatoire, ce ne sont pas les éléments ω eux-mêmes qui nous 3

21 4 CHAPITRE 1 ESPACES PROBABILISÉS Notation Terminologie ensembliste Terminologie probabiliste ω Ω élément, atome événement élémentaire A Ω sous-ensemble, partie idem A B partie mesurable événement Ω partie pleine événement certain partie vide événement impossible A B ou A B A est inclus dans B A implique B A B ou AB intersection de A et B A et B sont simultanés AB = parties disjointes événements incompatibles A B union de A et B A et/ou B est réalisé Ω \ A ou A c complémentaire de A événement contraire de A TAB 11 Tableau comparatif des terminologies ensembliste et probabiliste Dans ce tableau B désigne une tribu telle qu elle est définie en 112 intéressent le plus souvent, mais certaines collections d entre eux que l on appelle événements Ce regroupement des ω revient à accepter une certaine perte de résolution sur l issue de l expérience en question On accepte cette description plus grossière, soit parce que la résolution ultime de l expérience n est pas accessible, soit parce qu une description plus détaillée ne présenterait pas d intérêt Ainsi, on considère plus volontiers l événement : A = «mesurer moins de 1m 80» ou B = «mesurer entre 1m 70 et 1m 80» que l événement atomique : ω = «mesurer exactement 1m 80» Par ailleurs, ce que l on appelle événement atomique correspond effectivement à une description plus précise, mais il est lui-même un événement d une description encore plus fine, mais jugée inutile, de l expérience aléatoire Par exemple, dans le jet d un dé à 6 faces on ne s intéresse pas à l orientation précise du dé sur le plateau de jeu mais seulement au chiffre porté sur sa face supérieure Pour finir, la résolution ultime d une expérience est sans doute une notion évanescente et il faut donc admettre, en physique particulièrement, que ce que l on appelle événement atomique soit sujet à de perpétuelles révisions Les concepts d événements atomiques ou d événements sont identiques à ceux d éléments ou de parties mesurables introduits en théorie des ensembles La théorie des probabilités utilise cependant une terminologie particulière que nous tentons de résumer dans le tableau 11 En parcourant ce tableau, il est important de bien saisir ce que l on entend par la réalisation d un événement On dit que l événement A est réalisé si l issue ω est telle que ω A Quand A est réalisé, ce ne sont pas tous les ω de A qui sont réalisés mais seulement l un d entre eux Ceci étant clarifié, «A est inclus dans B» se dit en théorie des probabilités «A implique B», car si A B et si ω A alors par voie de conséquence ω B ( si A est réalisé alors B est lui aussi réalisé, voir figure 11 page ci-contre ) Remarque 11 Pour les ensembles Ω formés d un nombre fini d éléments, il n y a aucune difficulté à considérer n importe quelle partie de Ω comme constituant un événement En revanche, pour des ensembles Ω infinis il peut exister des parties pour lesquelles on ne peut affecter aucune probabilité ce sont les parties non mesurables de Ω, ce point est étudié au chapitre 112 L existence de parties non mesurables est liée à l introduction de l axiome du choix La raison pour laquelle on introduit cet axiome est qu il est nécessaire pour démontrer que la réunion d une infinité dénombrable d événements de probabilité nulle reste de probabilité nulle Ainsi, pour donner une image tirée de la physique, l intégrale d une surface mesurée en cm 3 reste égale

22 11 LES AXIOMES DE KOLMOGOROV 5 ω A C B D Ω FIG 11 Le résultat d une expérience est l événement atomique ω porté sur cette figure Par rapport à l issue ω, les événements : A, B et C sont réalisés simultanément, D n est pas réalisé et Ω est toujours réalisé Par ailleurs A, B et C sont incompatibles avec D, enfin A de même que B impliquent C à zéro cm 3 puisqu elle est calculée à partir de la réunion d une infinité dénombrable de carrés de zéro cm 3 Notations et opérations sur Ω Nous désignerons habituellement par des capitales romaines : A, B,, éventuellement affectées d un indice, les parties de Ω qui sont des événements Inclusion et ordre Soient deux parties A et B de Ω, si tous les atomes ω de A sont aussi des atomes de B alors on dit que A est inclus dans B et on note A B Si A B et B A on dit que A et B sont égaux, on note A = B L inclusion induit un ordre partiel parmi les parties de Ω, dans le sens où : si A B alors on dit que «A est plus petit que B» Si dans un ensemble de parties, un de ses membres est inclus dans tout les autres, on dit alors qu il est «le plus petit» membre de l ensemble Différence et complémentaire L ensemble des atomes de A qui n appartiennent pas à B est noté A \ B, par définition : A \ B déf = {ω A ω B} L ensemble Ω\A des atomes de Ω qui ne sont pas dans A est appelé le complémentaire de A est reçoit la notation particulière : A c L intersection A B est l ensemble des atomes qui appar- Intersection et union tiennent à A et à B : ω A B ω A et ω B (11)

23 6 CHAPITRE 1 ESPACES PROBABILISÉS En théorie des probabilités, si ω A B on dit que A et B sont simultanés, car si A est réalisé ( ω A ) alors B est réalisé ( car ω B ) L union A B est l ensemble des atomes qui appartiennent à au moins une partie A ou B : ω A B ω A ou ω B (12) Les opérations et sont commutatives, associatives et distributives l une par rapport à l autre : A (B C) = (A B) (A C), A (B C) = (A B) (A C) (13) Le plus souvent on omet l opération et on note simplement AB l ensemble A B Les deux ensembles particuliers Ω et peuvent être considérés comme les solutions uniques des équations : A = A, A =, A Ω = Ω, A Ω = A (14) De même A c peut être considéré comme l unique solution des équations : A A c = Ω, A A c =, (A c ) c = A (15) Il résulte des définitions que Ω c = et c = Ω, et que les opérations et satisfont la règle de «de Morgan» : (A B) c = A c B c, (A B) c = A c B c (16) Si A B =, on dit que les parties A et B sont disjointes ou incompatibles, dans ce cas on note A + B leur union Classes Un ensemble de parties s appelle une classe On note {A t } une classe où chaque élément est indicé par le nombre t, lui-même élément d un ensemble d indices T On note «inf A t» l ensemble des atomes qui appartiennent à tous les éléments de la classe, et «sup A t» l ensemble des atomes qui appartiennent à au moins un élément de la classe On a par définition : déf inf A t = déf A t et sup A t = A t (17) t T Si ω n appartient pas à au moins un A t (ω (sup A t ) c ), alors ω appartient à tous les A c t (ω inf A c t ) Réciproquement, si ω n appartient pas à tous les A t (ω (inf A t ) c ), alors ω appartient à au moins un A c t ( ω sup Ac t ) Ceci est l expression de la règle de de Morgan appliquée aux classes : où de manière équivalente : t T (sup A t ) c = inf A c t, (inf A t ) c = supa c t, (18) ( A t ) c = A c t, ( A t) c = A c t (19) Une classe est dite dénombrable si l ensemble des indices T peut être mis en correspondance bijective avec l ensemble N des entiers En particulier la classe {A t } est dénombrable si T est un sous-ensemble de N L ensemble sup A k d une classe dénombrable peut toujours être mis sous la forme d une somme : sup A k déf = k A k = A 1 + A c 1A 2 + A c 1A c 2A 3 +

24 11 LES AXIOMES DE KOLMOGOROV 7 Système complet de parties Une classe de parties {A t } forme un système complet si les éléments qui la composent sont non-vides, deux à deux incompatibles, et si leur union ( éventuellement infinie ) recouvre tout Ω, c est-à-dire si : t t, t t ; A t A t = et sup A t = Ω (110) Ainsi tous les atomes ω de Ω appartiennent à un et un seul élément d un système complet Exemple 11 Systèmes complets sur des espaces des épreuves finis Si Ω n est formé que du seul événement élémentaire ω 1, il n y a qu un seul système complet : {{ω 1}} ; si n = 2, il y a deux systèmes complets : {{ω 1, ω 2}} et {{ω 1}, {ω 2}} ; si n = 3 il y en a 5 : {{ω 1, ω 2, ω 3}}, {{ω 1, ω 2}, {ω 3}}, {{ω 1, ω 3}, {ω 2}}, {{ω 2, ω 3}, {ω 1}} et enfin {{ω 1}, {ω 2}, {ω 3}} Voir exercice 14 Suites et limites Une classe dénombrable infinie {A k } est appelée une suite si les parties qui la composent ont été ordonnées suivant l ordre croissant de l indice k L ensemble des ω qui appartiennent à tous les A k dès que k K s appelle la limite inférieure de la suite En envisageant tous les cas possibles, on a : liminf A k = n=1 k=n A k D après cette définition, les éléments de la limite inférieure d une suite appartiennent à tous les A k sauf un nombre fini d entre eux La limite inférieure de la suite {A c k } des complémentaires de A k est formée des ω qui n appartiennent à aucun A k dès que k K L ensemble liminf A c k est donc formé des ω qui appartiennent à un nombre fini d éléments de la suite Nous appellerons limite supérieure d une suite le complémentaire de la limite inférieure de la suite des complémentaires, c est-à-dire l ensemble formé des ω qui appartiennent à un nombre infini de A k Par application de la règle de de Morgan sur les classes, il vient : En résumé, on a : limsup A k déf = (liminf A c k )c = n=1 k=n A k liminf A k = {ω ω A k pour tous les k, sauf un nombre fin}, limsup A k = {ω ω A k pour une infinité de k} Si ω appartient à tous les A k, sauf un nombre fini, il appartient de fait à une infinité de A k Il vient alors : liminf A k limsup A k (111) Si l inclusion inverse est également vraie on dit que la suite converge vers la limite lim A k, Soit A cette limite on note alors : A k A Suites monotones Une suite {A n } est monotone si ses éléments «s emboîtent» les uns dans les autres Plus précisément, une suite est monotone croissante si A 1 A 2 A k et monotone décroissante si A 1 A 2 A k On note A n une

25 8 CHAPITRE 1 ESPACES PROBABILISÉS suite croissante et A n une suite décroissante Une suite croissante : A n est convergente On a : A n sup A n, de même une suite décroissante A n est aussi convergente On a : A n inf A n Démonstration Donnons la démonstration de A n sup A n On a, par définition, lim inf A n = n=1 k=n A k, mais pour une suite croissante : k=na k = A n d où lim inf A n = n=1a n Par ailleurs, lim sup A n = n=1 k=na k mais : k=na k = k=1a k d où n=1 k=na k = k=1a k Finalement lim inf A n = lim sup A n = n=1a n = supa n La suite A n est donc convergente : A n supa n On montrerait de même que la suite A n est convergente : A n inf A n 112 La tribu B Une tribu est un ensemble dont les éléments sont des parties de Ω, c est donc une classe de Ω Cette classe comprend le vide, Ω lui-même, ainsi que certaines parties de Ω jugées «intéressantes» pour une raison ou pour une autre De plus, la tribu doit être stable pour les opérations portant sur ses membres c est-à-dire, que le complémentaire, l union et l intersection d un nombre fini de membres de la tribu doit aussi être un membre de la tribu Finalement, elle doit comprendre les limites de toutes les suites monotones que l on peut former à partir des membres qui la composent Dans un premier temps, on peut se contenter de cette définition assez vague et passer directement au chapitre 113 page 11 On pourra se reporter plus tard au chapitre ci-après où la notion de tribu est introduite de façon plus rigoureuse Définition formelle d une tribu Pour qu un ensemble de parties de Ω constitue une tribu, il faut d abord qu il soit une algèbre de Boole ou plus simplement une algèbre Algèbre d événements Un ensemble A de parties de Ω constitue une algèbre, si les trois conditions suivantes sont satisfaites : A1 : Ω A A2 : A A A c A donc = Ω c A A3 : A 1, A 2 A A 1 A 2 A donc A 1 A 2 = (A c 1 Ac 2 )c A Exemple 12 Quelque soit Ω, on a toujours les deux algèbres suivantes : P(Ω), l ensemble des parties de Ω, G(Ω) = {,Ω}, P(Ω) est dite algèbre discrète et G(Ω) algèbre grossière Remarque 12 Accepter l axiome A2, qui dit que A c est un événement, c est franchir l étape intellectuelle qui consiste à admettre que si un événement A manque de se réaliser, c est que son contraire A c s est réalisé Cela n est possible que si l on a introduit le cadre Ω de toutes les issues possibles, par rapport auquel A c est défini Il semble que ce soit Th Bayes au XVIII e siècle qui, le premier, ait admis l équivalence entre l échec d un événement et le succès de son contraire ( voir, AI Dale 23 [20] )

26 11 LES AXIOMES DE KOLMOGOROV 9 Tribu d événements L algèbre A devient une tribu B ( ou σ-algèbre ) si l union d une infinité dénombrable d événements est aussi un événement Les axiomes définissant une tribu d événements sont donc les suivants : B1 : Ω B ; B2 : A B A c B ; B3 : A k B, (k = 1,, ) k=1 A k B Espace mesurable Un espace Ω muni d une tribu B est dit espace mesurable, on note (Ω, B) cet espace La tribu B est dite constituée de parties mesurables En théorie des probabilités, les parties mesurables de l espace mesurable (Ω, B) sont appelées événements On appelle Ω lui-même l événement certain et l événement impossible Si A et B sont des événements tels que AB =, on dit que A et B sont des événements incompatibles, dans ce cas leur union est notée A + B Il résulte des axiomes que l intersection d une suite infinie dénombrable d événements appartenant à une tribu, appartient aussi à la tribu : A k B, (k = 1,, ) A k B (112) Une tribu est donc une classe stable par rapport à toutes les opérations classiques effectuées sur, au plus, une infinité dénombrable de ses membres k=1 Exemple 13 Les classes de parties suivantes sont des tribus de Ω : 1 P(Ω), l ensemble des parties de Ω C est utile pour le cas fini, mais c est une tribu trop grande pour le cas infini 2 G(Ω) = {, Ω}, la tribu grossière 3 Si les événements A j forment un système complet dénombrable, la classe des unions des A j forment une tribu Cette tribu contient tous les événements suivants :, A 1, A 2, A 3, A 1 A 2, A 1 A 3, A 1 A 4, A 2 A 3, A 1 A 2 A 3, A 1 A 2 A 4, A 1 A 2 A 5, A 1 A 3 A 4, Ω Cette classe d événements ne constitue une tribu que parce que les A i sont deux à deux disjoints Ces exemples sont à peu près les seuls où une tribu peut être exprimée de façon explicite Tribu engendrée par une classe Jusqu à présent, une tribu est définie de façon abstraite et détachée de tout contexte expérimental, mais ce contexte apparaît dès que l on exige que certains événements fassent partie de la tribu Dans une expérience portant, par exemple, sur la mesure d une longueur, il est naturel de demander que les intervalles : {ω a < ω < b} soient des événements Une tribu digne d intérêt doit contenir cette classe d événements mais il est, par ailleurs, inutile de la choisir trop grande ( comme la classe des parties de Ω par exemple ) Il faut, d une certaine façon choisir la plus petite tribu ( au sens de l inclusion ) qui contienne la classe en question Cette construction est rendue possible grâce à des considérations sur l intersection de tribus

27 10 CHAPITRE 1 ESPACES PROBABILISÉS B 2 τ(c) C B 3 B 1 P(Ω) FIG 12 Tribu τ(c) engendrée par la classe C Cette tribu est l intersection de toutes les tribus qui contiennent C, ici : B 1, B 2, B 3 et P(Ω) L intersection d une tribu B 1 et d une tribu B 2 constitue une autre tribu car les parties qui sont dans B 1 B 2 appartiennent à B 1 et restent dans B 1 par stabilité des opérations définissant une tribu, de même ces parties sont et restent dans B 2 Les parties de B 1 B 2 sont donc stables dans B 1 B 2 pour ces opérations et par conséquent B 1 B 2 est une tribu On appelle tribu engendrée par la classe C la plus petite tribu qui contienne C, on la note : τ(c) Cette tribu, unique, est l intersection de toutes les tribus qui contiennent C, en effet τ(c) contient C et est contenu dans toutes les tribus qui contiennent C ( voir figure 12 de la présente page ) c est donc la plus petite L expression explicite de τ(c) à partir de C n est en général pas possible, mais on est sûr que τ(c) existe car C appartient au moins à la tribu P(Ω) de toutes les parties de Ω Tribu de Borel On fait appel à cette tribu lorsque le résultat d une expérience est un nombre ou un couple de nombres ou tout n-uplet de nombres, c est-à-dire lorsque Ω = R n Quelle tribu convient-il de choisir? Prenons l exemple de Ω = R, il semble naturel d exiger qu au moins les pavés ouverts de R : {ω a < ω < b} soient des événements pour tout a, b R La tribu de Borel sur R n est autre que la tribu engendrée par la classe des pavés ouverts Cette tribu contient tous les ouverts de R ( par réunion dénombrable de pavés ouverts ), mais aussi les fermés ( par complémentarité ) et les semi-ouverts ( par union et complémentarité ) En fait, il faut faire preuve de beaucoup de subtilité pour exhiber une partie de R n qui ne soit pas borélienne La tribu engendrée par les pavés ouverts ou par les ouverts quelconques de R n est la même ce qui autorise à généraliser la notion de tribu de Borel à un espace topologique : Définition 11 On appelle tribu de Borel la tribu engendrée par la classe des ouverts d un espace topologique Ω Les parties de Ω qui appartiennent à une tribu de Borel sont appelés boréliens Classe monotone Une classe monotone est un ensemble M de parties de Ω stable par rapport à la limite des suites monotones qu il contient Ceci veut dire que si une suite {A k } de M est monotone croissante sa limite k A k appartient à M, de même si elle est monotone décroissante sa limite k A k appartient aussi à M

28 11 LES AXIOMES DE KOLMOGOROV 11 Exemple 14 Une tribu est une classe monotone et réciproquement En effet soit {C k } une suite croissante d une tribu B, sa limite S k=1 A k appartient à la tribu ( de par l axiome B3 ), de même pour une suite décroissante La tribu B est donc une classe monotone Réciproquement, soit {A k } une suite quelconque extraite d une classe monotone M, il s agit de montrer que k=1a k et k=1a k appartiennent aussi à M à cette fin, formons les parties C n = n k=1a k et D n = n k=1a k Les suites {C n} et {D n} sont des suites respectivement croissante et décroissante, leurs limites n=1c n = k=1a k et n=1c n = k=1a k appartiennent à M qui donc est aussi une tribu Comme pour les tribus, la propriété caractéristique de stabilité implique qu une intersection de classes monotones est une classe monotone, ce qui conduit également aux notions équivalentes de «plus petite classe monotone comprenant une classe» et de «classe monotone engendré par cette classe» Dans le cas où la classe génératrice est une algèbre de Boole il y a identité entre la tribu et la classe monotone engendrée par cette classe Nous énonçons ce résultat sous forme de théorème : Théorème 11 Soit A une algèbre de Boole de parties de Ω La classe monotone M et la tribu B engendrées par A coïncident Démonstration Voir M Loève [51] TI 16 p La mesure de probabilité Pr Pour qu un espace mesurable (Ω, B) devienne un espace probabilisé il faut définir de plus une mesure particulière appelée probabilité portant sur les événements Une probabilité Pr est une application qui associe un nombre à un événement appartenant à une tribu B et qui possède les propriétés P1, P2 et P3 suivantes : P1 : A B Pr{A} 0 ( positivité ) La probabilité doit être additive pour des événements incompatibles, c est-à-dire : AB = Pr{A B} = Pr{A} + Pr{B} Il faut de plus qu elle soit σ- additive, c est-à-dire que si la suite dénombrable A k, (k = 1,, ) est composé d événements disjoints, alors : { } P2 : Pr A k = Pr{A k } ( additivité dénombrable) k=1 k=1 Pour que la mesure Pr soit une probabilité il faut, finalement, qu elle soit normalisée : P3 : Pr{Ω} = 1 ( normalisation ) Il y a de très nombreuses parties de Ω pour lesquelles il est possible d attacher une probabilité, mais il en existe d autres pour lesquelles cette opération est impossible L exemple suivant montre comment en construire une Exemple 15 Une partie qui n est pas un événement Considérons l expérience du choix «au hasard» d un point sur un cercle Ω de longueur 1 Il semble naturel d attribuer à l arc sous-tenu par l angle θ la probabilité θ ( techniquement il s agit de la mesure de Lebesgue de 2π l arc de cercle en question ) Ramenons à la même classe d équivalence les points de Ω qui coïncident par rotation de Ω d un angle nαπ où α est un irrationnel donné ( α R \ Q ) et n un entier quelconque Une classe d équivalence est dense dans Ω mais, comme elle ne contient qu une infinité dénombrable de points, elle n épuise pas, à elle seule, tous les points de Ω En revanche, tous les points de Ω

29 12 CHAPITRE 1 ESPACES PROBABILISÉS appartiennent à une et une seule classe d équivalence Il y a par conséquent une infinité continue de classes d équivalences Faisons maintenant appel à l axiome du choix afin de construire l ensemble Φ 0 contenant un point de chaque classe Nous voulons démontrer qu il est impossible d affecter une probabilité à Φ 0 Cette démonstration sera faite par l absurde et à partir de l observation que, si l on fait tourner une classe d équivalence d un angle nαπ ou nαπ alors : i) la classe d équivalence reste invariante, mais : ii) aucun point de la classe ne coïncide avec lui-même Construisons donc les ensembles Φ n obtenus par rotation de Φ 0 d un angle nαπ où cette fois n Z Il est clair que les Φ n sont deux à deux disjoints car on n a qu un point dans chaque classe d équivalence et que par rotation ce point coïncide avec un point de la classe qui n a pas été choisi Par ailleurs, un point quelconque de Ω appartient à un Φ n puisque les Φ n parcourent tous les membres de toutes les classes Tout ceci signifie que les Φ n constituent une partition dénombrable de Ω : Ω = [ n Z Φ n, Φ n Φ m = pour n m Si Pr {Φ n} avait un sens, on aurait en vertu de la σ-additivité de la mesure de Lebesgue : Pr {Ω} = X n= Pr {Φ n} Par ailleurs, la mesure de Lebesgue sur un cercle est invariante par rotation d où : Pr {Φ n} = Pr {Φ 0} Alors, de deux choses l une : soit Pr {Φ 0} = 0 et on doit avoir Pr {Ω} = 0 ; soit Pr {Φ 0} > 0 et alors Pr {Ω} = Les deux termes de l alternative sont contradictoires avec Pr {Ω} = 1 et donc Pr {Φ n} ( et en particulier Pr {Φ 0} ) n a pas de sens 114 Exemples d espaces probabilisés Lorsqu il s agit d utiliser dans le monde réel le modèle théorique exposé ci-dessus, il se pose alors le problème du choix de chacun des termes du triplet (Ω, B, Pr) Ce choix n est pas imposé par la théorie des probabilités, il est le résultat d une analyse critique du phénomène que l on cherche à modéliser De vigoureux débats ont eu lieu dans le passé entre les avocats de tel ou tel modèle Dans une certaine mesure ce débat dure encore aujourd hui, et porte sur le problème de l interprétation pratique de la notion de probabilité ( voir remarque 13 page 15 ) Exemple 16 Espace fini Si Ω contient un nombre fini d éléments, la tribu B est presque toujours formée des parties de Ω et la mesure de probabilité Pr est souvent constante La plupart du temps on a d ailleurs choisi Ω pour qu il en soit ainsi Dans l expérience du jet de 2 dés à 6 faces, on peut choisir les modèles suivants 1 Ω est formé de tous les couples ordonnés formés par les chiffres portés par les dés : Ω = {1, 2, 3,4, 5,6} 2 La tribu est formée des parties de Ω, par exemple A = {(1,3), (3,1), (2,2)} = «la somme vaut 4» La mesure de probabilité est égale à 1, pour tous les éléments de 36 Ω Dans ce modèle, les dés sont discernables 2 On peut accepter une description moins fine du phénomène en ne considérant que la somme des chiffres portés sur les dés On a Ω = {2, 3,4, 5,6, 7,8, 9,10, 11, 12} et Pr = { 1, 2, 3, 4, 5, 6, 5, 4, 3, 2, 1 } On peut aussi choisir le modèle, Ω = {1, 2, 3,4, 5,6, «cassé»} 2 pour lequel il n y a pas de mesure de probabilité intuitive 4 Un choix moins heureux aurait été celui défendu par le «Chevalier de Méré» 1 où les dés sont indiscernables On aurait Ω = {2, 3,4, 5,6, 7,8, 9,10, 11, 12}, et Pr = { 1, 1, 2, , 3, 3, 3, 2, 2, 1, 1 } Voir la lettre de Pascal à Fermat du 29 juillet 1654 [59]

30 11 LES AXIOMES DE KOLMOGOROV 13 Le modèle 4 ne correspond pas à l idée que l on se fait de l expérience en question 2 et il n est pas confirmé par la pratique Pour le modèle 3, on obtient un modèle utilisable en rejetant l événement «cassé» hors de Ω Le modèle 2 est celui dont on doit souvent se contenter dans le monde réel où il faut renoncer à l idée de connaître tous les paramètres d une expérience Le modèle 1 est le modèle le plus pratique mais il est rare que l on ait affaire à un cas si pur Exemple 17 Espace infini Considérons le jeu de «pile ou face» infini Un événement élémentaire ω est constitué d une suite infinie de «pile» et de «face» Affectons à «pile» la valeur 1 et à «face» la valeur 0 Posons X n(ω) égal à l issue du n e tirage, X n = 1 si on a obtenu «pile» au n e tirage, X n = 0 si c est «face» On choisit pour espace des épreuves, toutes les suites infinies de 0 et de 1 : Ω = {0, 1} On peut alors considérer un événement élémentaire comme la partie fractionnaire écrite en binaire d un nombre réel x appartenant à l intervalle [0, 1] (1 = ) On peut choisir pour algèbre des d événements les familles de parties de Ω suivantes : 1 Les intervalles quelconques ( ouverts, fermés et semi-ouverts ) de [0, 1] Ce choix peut être utile si le but du tirage aléatoire est de déterminer «au hasard» un nombre x compris entre 0 et 1 2 Si l on s intéresse plutôt à des questions comme «quelle est la probabilité en fonction de n d obtenir k piles consécutifs au cours de n tirages?» on aura intérêt à choisir n, la famille des parties de {0, 1} n Par exemple, pour n = 1 et n = 2, on a les familles de parties P 1(Ω) et P 2(Ω) : P 1(Ω) = {, {0}, {1}, {0, 1}}, P 2(Ω) = {(, ),(, {0}), (, {1}), (, {0, 1}), ({0}, ),, ({0, 1}, {0, 1})} Il est clair que ces familles constituent des algèbres, mais il existe des événements «intéressants» qui ne sont pas dans ces algèbres Par exemple l événement L, qui concerne ce que l on appelle la loi des grands nombres : 1 L = {ω lim n n nx X i(ω) = 1 } 2 Suivant cette définition, un événement élémentaire ω appartient à L si le nombre moyen de «pile» devient égal au nombre moyen de «face» lorsque le nombre d épreuves croît au delà de toute limite Par exemple, si x [0, 1] représente l issue d une épreuve, les deux rationnels x = 1 = et x = 2 = appartiennent à L, il semble bien que π 3 3 appartienne aussi à L, en revanche x = 1 = n y appartient pas Quoi qu il en 7 soit 3, L n appartient pas à l une ou l autre des deux algèbres définies ci-dessus mais, L est exprimable à l aide d unions et d intersections dénombrables d éléments de ces algèbres C est donc un événement En effet, on a : L = \ [ {ω n=1 k=n 1 2k i=1 2kX i=1 X i(ω) = 1 2 }, La probabilité de L vaut soit 0 soit 1, elle ne vaut 1 que si le jeu est équitable, c est-à-dire si : Pr{«pile»} = Pr{«face»} = Ce n était pas le cas de Leibnitz qui, comme Méré, pensait que 11 était aussi probable que 12 car il ne distinguait pas l issue (5,6) de l issue (6,5) 3 Borel a montré en 1909 ( voir [11] et [12], pp ) que presque tous les nombres réels étaient «normaux» Cela implique, en particulier, que les chiffres formant ces nombres apparaissent avec des fréquences égales quelque soit la base choisie pour les représenter Pour nous cela veut dire que presque tout les x appartiennent à L