Chapitre I Le jeu de pile ou face. Introduction aux marches aléatoires

Chapitre I Le jeu de pile ou face. Introduction aux marches aléatoires 1. 1 Expérimentation, simulation 1. 1. 1 Attente du premier, du deuxième,, du kème pile Expérience : elle se fait en deux temps. Dans un premier temps, répéter un grand nombre de fois une même expérience conduisant à un succés ou à un échec (lancer de pièce pour obtenir pile, lancer de dés pour obtenir le 1 ou le 2, lancer d une punaise pour qu elle retombe la pointe en haut,...). En comptant les succés, estimer la probabilité de succés (approche dite fréquentiste). Puis, dans un deuxième temps, répéter un grand nombre de fois la procédure suivante : faire l expérience jusqu au premier succés et noter le nombre de coups nécessaires. En additionnant et en divisant par le nombre d expériences, calculer le temps d attente moyen pour le premier succés. On constate numériquement que le temps d attente moyen n est pas très éloigné de l inverse de la fréquence de succés. De nouvelles expériences, voire des simulations, permettront de se convaincre de la généralité de cette constatation, et d énoncer une conjecture : si une expérience aléatoire conduit au succés avec une probabilité p > 0, et si on répète indépendamment cette expérience jusqu à l instant T du premier succés (T = 1 si on réussit au premier coup, 2 si on échoue au premier coup et réussit au second, etc.), E(T ) = 1 (où E désigne p l espérance mathématique). Une fois énoncées les bonnes définitions, il n est pas difficile, par un calcul de somme de série dérivée d une série géométrique, de prouver cette conjecture. Exercice 1. 1 Réfléchir aux faits suivants et énoncer de nouvelles conjectures : On désigne par T k l instant de réalisation du kème succés. L intervalle T k T k 1 décrit le temps qui s écoule entre le (k 1)ème succés et le kème. Que peut on penser des lois de T 1 et de T k T k 1? (indépendance? même loi? ). Par ailleurs, si on échoue à la première épreuve, l indépendance indique que c est comme si on repartait au début. Que peut-on penser de la loi conditionnelle de T 1 sachant que T 1 1? En moyenne, il doit falloir k fois plus de temps pour obtenir k succés que pour en obtenir 1. Que peut-on penser de E(T k )? 1. 1. 2 Suites de k piles consécutifs Expérience : essayer d écrire une suite de 100 nombres aléatoires (0 ou 1) imitant les lancements d une pièce équilibrée. Problème : comment tester la qualité de cette imitation du hasard? 1

On pense évidemment à la proportion de 1 dans la liste (qui devrait avoisiner 50%). On peut aussi regrouper les nombres 2 par 2 et compter le nombre d occurrences des quatre suites 00, 01, 10 et 11. Idéalement, ces quatre nombres devraient s approcher de 12, 5 (quoique le nombre d expériences soit un peu petit pour pouvoir appliquer les lois de grands nombres). On décrit ici un critère beaucoup moins intuitif et qui permet d éliminer beaucoup de listes. Dans ce paragraphe, l expérience aléatoire consiste à lancer un nombre indéterminé de fois une pièce pour laquelle P (pile) = p [0, 1]. Les lancers sont supposés indépendants. Théorème 1. 1. 1 Soit p(k, n) la probabilité d obtenir au moins une suite de k piles consécutifs au cours des n premiers lancers d une pièce. La suite (p(k, n)) n vérifie la relation de récurrence suivante : n k + 1, p(k, n) = p(k, n 1) + p k (1 p)(1 p(k, n k 1)) Exercice 1. 2 Déterminer p(k, 1),, p(k, k 1), p(k, k). Montrer que si p > 0, lim p(k, n) = 1 (indication : suite croissante majorée). n On écrira à l exercice 1.18 un programme de calcul exact et approché des p(k, n). 1. 1. 3 Obtenir a piles avant b faces Le problème est le suivant : deux joueurs jouent à pile ou face (ou n importe quel autre jeu désignant un vainqueur et un perdant), et le premier qui atteint un nombre N de succés remporte la partie. Mais, pour une raison quelconque, ils sont obligés d interrompre la partie alors que le joueur A a remporté N a succés et le joueur B en a remporté N b. La question est alors la suivante : quand ils reprendront la partie, quelle sera la probabilité p(a, b) pour que le joueur A l emporte? Avec un énoncé légèrement différent, ce problème est connu sous le nom de problème des paris de Pascal. Désignons par p la probabilité qu a le joueur A de remporter chaque étape. On peut visualiser ce jeu par la marche aléatoire plane suivante : on part de X 0 = (0, 0) et à chaque étape n, on fait un pas vers la droite (X n+1 = X n + (1, 0)) avec probabilité p ou un pas vers le haut (X n+1 = X n + (0, 1)) avec probabilité 1 p. La marche s arrête quand le point X n rencontre la droite d équation x = a (on dira que la marche sort par la droite) ou la droite d équation y = b (on dira que la marche sort par le haut). Le nombre p(a, b) est alors la probabilité pour que la marche sorte par la droite. Il y a diverses manières de calculer, plus ou moins explicitement, le nombre p(a, b). On en propose deux en exercices. Exercice 1. 3 Montrer que la marche sort par la droite ou par le haut en un minimum de a étapes et en un maximum de a + b 1 étapes. Soit k {a, a + b 1}. En utilisant une loi binomiale, exprimer la probabilité pour que la marche sorte par la droite en exactement k étapes (exprimer la signification de cet événement quant au résultat de la kème étape et de l ensemble des k 1 premières étapes. En déduire une formule exprimant p(a, b) sous la forme d une somme faisant intervenir des coefficients binomiaux et des puissances de p et de 1 p. Exercice 1. 4 Montrer que, si a > 0, p(a, 0) = 0 et que si b > 0, p(0, b) = 1. Montrer que si a et b sont strictement positifs, p(a, b) = p p(a 1, b) + (1 p) p(a, b 1) (considérer deux cas, en fonction du résultat de la première partie). Les deux exercices ci-dessus fournissent deux moyens de calculer p(a, b), ce que l on fera à l exercice 1.19. 2

1. 1. 4 Estimation asymptotique de la longueur maximale des suites de piles consécutifs On revient aux suites de piles consécutifs étudiées au paragraphe 1.1.2. Exercice 1. 5 Ecrire un programme (Excel, Java,...) permettant d étudier et de valider numériquement l affirmation suivante, par simulation d un grand nombre d expériences : lorsqu on lance n fois une pièce, pas forcément équilibrée, telle que P (Pile) = p ]0, 1[, la plus longue suite de piles consécutifs a presque sûrement une longueur de l ordre de grandeur de ln n quand n tend vers l infini. 1. 2 Quelques éclairages théoriques 1. 2. 1 Eléments de théorie des probabilités Espaces probabilisés Un espace probabilisé (Ω, A, P ) est un triplet formé d un ensemble Ω, d une famille A de parties appelée une tribu, et d une mesure de probabilité P sur A. Dire que A est une tribu signifie que : A contient Ω ; Si les A n (n N) sont éléments de A, leur réunion l est aussi (on dit que A est stable par réunion dénombrable) ; Si A A, le complémentaire A C de A est aussi élément de A (on dit que A est stable par complémentation). Les parties A A sont appelées des événements. Dire que P est une mesure de probabilité sur A, c est dire que P associe à toute partie A A un nombre P (A) [0, 1] en respectant les deux règles : P (Ω) = 1 Si les A n appartiennent à A et sont deux à deux disjoints, P ( A n ) = P (A n ) n N n N On reconnaît des propriétés des probabilités rencontrées au lycée, excepté que la formule sur la probabilité des réunions disjointes n est plus limitée aux réunions finies mais dénombrables. Variables aléatoires Une variable aléatoire réelle est une application X : Ω R mesurable, c est-à-dire telle que, pour tout intervalle I de R, l ensemble des éléments ω de Ω tels que X(ω) I soit un événement. La probabilité de cet événement est simplement notée P (X I), et en général son calcul se fait au moyen d une somme de série (voire une somme finie) ou d une intégrale, et parfois un mélange des deux. On appelle loi de X la mesure P X sur R qui à un intervalle I associe P X (I) = P (X I). La plupart des calculs de probabilité se font grâce à cette mesure, ce qui permet de ne pas trop s inquiéter, au moins dans un premier temps, si on a du mal avec l ensemble abstrait Ω et la notion de tribu. Les exemples les plus classiques de lois sont les lois finies ou dénombrables (pour lesquelles X ne prend qu un nombre fini de valeurs ou une infinité énumérable par les nombres entiers) et les lois continues à densité, pour laquelle P (X I) = P X (I) s écrit sous la forme f(t) dt, formule dans laquelle f est une fonction positive sur R dont l intégrale sur R vaut 1. Cette fonction f est appelée la densité de X. Variables indépendantes, événements indépendants On dit que des variables aléatoires X 1,, X n sont mutuellement indépendantes si, quels que soient les intervalles I 1,, I n, P ((X 1 I 1 ) (X n I n )) = P (X 1 I 1 ) P (X n I n ) On vérifie que si on retire certaines des X i à une famille de variables indépendantes, les variables restantes sont encore indépendantes. I 3

Si F = (X i ) i I est une famille quelconque de variables aléatoires, on dit que les X i sont indépendantes si toute sous-famille finie de F est formée de variables indépendantes. Ceci nous permettra dans la suite de parler de suites (X n ) n N de variables indépendantes. On montre que si les (X i ) i I sont indépendantes et si on pose Y 1 = ϕ 1 (X I1 ),, Y n = ϕ n (X In ), où ϕ k (X Ik ) désigne une fonction ne dépendant que des X i pour i I k, si les ensembles d indices I 1,, I n sont deux à deux disjoints, alors les variables Y 1,, Y n sont mutuellement indépendantes. Des événements A i sont dits indépendants si la probabilité de l intersection d un nombre fini quelconque d entre eux est égale au produit de leurs probabilités. Espérance On dit qu une variable aléatoire X est intégrable si X dp est finie. C est toujours vrai si X Ω ne prend qu un nombre fini de valeurs. Si X prend une infinité dénombrable x 0, x 1,, x n, de valeurs avec les probabilités respectives p 0, p 1,, p n,, X est intégrable si et seulement si la série n=0 x n p n converge. Si X est une variable continue de densité f, X est intégrable si et seulement si l intégrale impropre + E(X) = x f(x) dx converge. Lorsque cette condition est réalisée, on définit l espérance de X par : n x k p k si X est une variable prenant un nombre fini de valeurs x 1,, x n avec les probabilités k=1 respectives p 1,, p n ; E(X) = k=1 x k p k si X est une variable prenant une infinité dénombrable de valeurs x 1,, x n,, avec les probabilités respectives p 1,, p n, ; E(X) = + xf(x) dx si X est une variable continue de densité f. On démontre que toute combinaison linéaire ax +by de variables aléatoires intégrables X et Y est intégrable et que E(aX + by ) = ae(x) + be(y ). Par ailleurs, pour toute fonction ϕ : R R mesurable, ϕ(x) est intégrable si et seulement si ϕ(x k ) p k converge (cas dénombrable). On a alors E(ϕ(X)) = ϕ(x k )p k ; k=1 + ϕ(x) f(x) dx converge (cas continu à densité). On a alors E(ϕ(X)) = k=1 + ϕ(x)f(x) dx. Exercice 1. 6 Soit X une variable aléatoire réelle. Vérifier que si ϕ : R R est la fonction qui vaut 1 sur un intervalle I et 0 ailleurs, ϕ(x) est intégrable et E(ϕ(X)) = P (X A). On note ϕ = 1 I et on appelle ϕ la fonction indicatrice de I. En particulier, quand ϕ(t) = t 2, on définit les variables de carré intégrable. Si X est de carré intégrable, on pose V (X) = E(X 2 ) (E(X)) 2 et on appelle V (X) la variance de X. Exercice 1. 7 Vérifier que V (X) = E((X E(X)) 2 ). On prouve que si les X i sont des variables indépendantes de carré intégrable, E(X i X j ) = E(X i )E(X j ) pour tout i j et V (X 1 + + X n ) = V (X 1 ) + + V (X n ). 1. 2. 2 Loi binomiale Avant de définir les lois binomiales, nous définissons les lois de Bernoulli. On dit que X suit une loi de Bernoulli de paramètre p (et on note X B(p)) si X peut prendre les valeurs 0 et 1 avec les probabilités P (X = 0) = p et P (X = 1) = 1 p. Une telle variable est souvent introduite pour servir de compteur de succés dans une expérience aléatoire ne pouvant aboutir qu à deux résultats (exemple : X = 1 si on obtient pile, X = 0 sinon). Un calcul simple montre que E(X) = p et V (X) = p(1 p). 4

On dit que X suit une loi binomiale de paramètres n et p (et on note X B(n, p) si X suit la même loi que la somme de n variables de Bernoulli indépendantes X i de même paramètre p. Si chaque variable X i indique si on a obtenu un succés à la ième expérience, X donne le nombre de succés au cours des n expériences. On vérifie que la probabilité pour que X = k vaut C k np k (1 p) n k si k {0,, n} et 0 sinon. Un calcul direct à partir de ces formules ou l utilisation des résultats théoriques rappelés au paragraphe précédent (espérance d une somme quelconque, variance d une somme de variables indépendantes) permet de prouver que E(X) = np et que V (X) = np(1 p). 1. 2. 3 Le théorème central-limite Soit X une variable binomiale de loi B(n, 1/2), avec n grand. Nous nous intéressons dans ce paragraphe à une estimation de la probabilité pour que X prenne ses valeurs aux environs de la valeur centrale E(X) = n/2. Commençons par une estimation numérique : pour n = 10000, on obtient P (X = 5000) 0.00798. Ce calcul pose des problèmes numériques (les factorielles impliquées sont trop grandes pour être calculées) qui ne sont néanmoins pas difficiles à résoudre avec un peu d astuce (voir la question 1 de l exercice 1.21). On peut aussi calculer une valeur approchée de P (S 2n = n) en utilisant la formule de Stirling, qui donne un équivalent de n! pour n grand : ( ) n n n! 2πn e Exercice 1. 8 Montrer que P (S 2n=n ) 1 πn en utilisant la formule de Stirling. On propose à la question 1 de l exercice 1.21 une comparaison de la valeur exacte et de la valeur approchée de P (S 2n = n). On s intéresse maintenant aux probabilités p n (k) = P (S 2n = n + k) et s n (k) = P (n k S 2n n + k), où k est petit devant n (en pratique, cela veut dire que k ne dépasse pas 3 n). Il n est pas difficile d exprimer p n (k) = P (S 2n = n + k) en fonction de p n (0), et d en déduire une manière de calculer efficacement les p n (k) et, par sommation, les s n (k). On vérifie en effet que, si k 0 k 1 1 i p n (k) = p n (0) n i=0 1 + i + 1 n On propose à la question 1 de l exercice 1.21 d utiliser ces formules pour calculer économiquement p n (k) et s n (k). Si on trace un diagramme en bâtons avec, au dessus de l ordonnée k, le nombre p n k), et si on renormalise convenablement les choses, on constate que ce diagramme a une allure de courbe en cloche gaussienne. Ceci est confirmé par le théorème suivant, appelé théorème central-limite. Théorème 1. 2. 1 Théorème central-limite Soit S n une variable binomiale de paramètres n et p = 1/2. On pose Y n = S n n/2. La loi de la n/2 variable Y n converge vers une loi normale quand n tend vers l infini. Cela signifie que si a et b sont des réels fixés, lim P (a Y n b) = 1 b e x2 /2 dx n 2π Démonstration Par la relation de Chasles et l additivité des probabilités, on peut toujours supposer que a = 0 et renommer b = a. Il s agit alors de prouver que lim P (0 Y n a) = 1 a n 2π a 0 e x2 /2 dx Nous nous limiterons pour simplifier les calculs au cas où n est pair. Posons donc n = 2N. Compte tenu de la définition de Y n, P (0 Y n a) = P (N S 2N N + a ) 5

n avec a = a 2. Désignons par k 0 le plus grand nombre entier plus petit que a. Comme la variable aléatoire k 0 k 0 S 2N est à valeurs dans N, on cherche donc à estimer P (S 2N = N + k) = p N (k). D après les calculs faits ci-dessus et k=0 k 1 1 i p N (k) = p N (0) N i=0 1 + i + 1 N p N (0) 1 πn La première approximation faite est la suivante : dans l expression de p N (k), remplacer chaque terme de la forme 1 + j/n par e j/n (le premier est le développement limité à l ordre 1 du deuxième au voisinage de 0). Ceci va introduire sur chaque facteur une erreur et il faudra être capable de contrôler l effet cumulé de ces erreurs dans notre estimation. Après calculs, on obtient l estimation P (S 2N = N + k) p N (0)e k2 /N (vérifier ce résultat). L erreur commise peut s écrire p N (0)ε k, avec ε k = k 1 i=0 1 i N 1 + i + 1 N e k2 /N Nous vérifierons plus bas que cette erreur n influe pas sur le résultat final du calcul. 1 En remplaçant p N (0) par son équivalent, nous constatons que la probabilité cherchée est estimée par πn P 1 k 0 πn k=0 e k2 /N avec une erreur maximale de l ordre de p N (0)(ε 0 + ε 1 +... + ε k0 ). Nous montrerons plus loin que cette erreur tend vers 0 quand n tend vers l infini, en tenant compte du fait que k 0 est de l ordre de n 1/2, vu sa définition. k=0 6

Puisqu on souhaite prouver que la somme ci-dessus converge vers une intégrale, on va la faire apparaître comme une somme de Riemann d une fonction adéquate. Si on découpe l intervalle [0, a] avec un pas égal à p (de sorte que tous les intervalles sont de largeur p, sauf peut-être le dernier), on obtient une somme de Riemann du type K 0 p f(kp) où K 0 p est le plus grand multiple de p inférieur ou égal à a, comme le suggère la figure ci-dessus. Ici, on voudrait aboutir à une somme de Riemann sur [0, a] de la fonction f définie par k=0 f(x) = 1 2π e x2 /2 Pour que le quotient devant l exponentielle soit le bon, ceci nous conduit à choisir 2 p = N (vérifier ceci). Le nombre K 0 est donc le plus grand entier vérifiant ou encore K 0 2 N a N n K 0 a 2 = a 2 c est-à-dire K 0 = k 0. Par conséquent, la somme de Riemann de f sur [0, a] correspondant au pas p s écrit 1 k 0 e (kp)2 /2 = 1 k 0 πn πn k=0 k=0 e k2 /N et par conséquent coïncide avec l estimation de la probabilité P. Comme le pas tend vers 0 (il est de l ordre 1 de grandeur de ), cette somme tend vers l intégrale voulue. Une fois qu on aura démontré que l erreur n globale tend vers 0, le théorème sera établi. p N (0)(ε 0 + ε 1 +... + ε k0 ) Pour démontrer ce dernier point, on va estimer chaque ε k. On a, en valeur absolue k 1 1 i ε k = N i=0 1 + i + 1 e k2 /N N Posons On a alors, k 1 x k = ln Comme les deux nombres x k et k 2 /N sont négatifs, i=0 1 i N 1 + i + 1 N ε k = e x k e k2 /N e x k e k2 /N x k ( k 2 /N) 7

d après l inégalité des accroissements finis (car la dérivée de l exponentielle est majorée par 1 sur R ). Il suffit donc de majorer x k + k 2 /N. Vu la manière dont a été obtenu k 2 /N dans la première partie de la démonstration, on peut écrire x k + k2 k 1 N = ln(1 i k 1 N ) i=0 i=0 ln(1 + i + 1 N k 1 ) + i=0 k 1 i N + Pour N assez grand, tous les nombres j/n qui interviennent dans les sommes ci-dessus sont compris entre 1/2 et 1/2. Sur cet intervalle, l application de la formule de Taylor-Lagrange ou un prolongement par continuité montrent qu il existe une constante C telle que ln(1 + x) x Cx 2 (vérifier ceci et montrer que l on peut choisir C = 2 dans cette majoration). En regroupant la première et la troisième somme d un côté, la deuxième et la quatrième de l autre, on obtient alors finalement la majoration ( k 1 ) x k + k2 N 2C i 2 k 1 N 2 + (i + 1) 2 N 2 i=0 qui est majoré par 2C k3 N 2 2C k3 0 N 2 (en majorant tous les i et les i + 1 par k). Finalement, puisque le majorant obtenu est indépendant de k, on obtient i=0 p N (0)(ε 0 + ε 1 +... + ε k0 ) 2Cp N (0) (k 0 + 1)k 3 0 N 2 qui tend vers 0 puisque k 0 est de l ordre de N 1/2 et p N (O) tend vers 0. Ceci complète la preuve. Remarque La formule donnant la valeur de Y n peut paraître curieuse. En fait, il s agit simplement de Y n = S n E(S n ). V (Sn ) On propose à la question 3 de l exercice 1.21 de comparer les probabilités s n (k) déterminées ci-dessus à la valeur approchée obtenue grâce au théorème central-limite et de se faire ainsi une idée du domaine de validité de ce théorème. 1. 2. 4 Un outil important : le lemme de Borel-Cantelli L objectif de ce paragraphe est de présenter un outil important dans l étude de problèmes dont la conclusion s énonce sous une forme telle que : avec probabilité 1, un certain type d événement ne se produit qu un nombre fini de fois lorsqu on répète indéfiniment certaines expériences. Nous commençons par quelques exercices pour nous habituer, à travers l étude d exemples liés au pile ou face, à la notion d événements de probabilité nulle. Exercice 1. 9 On considère une suite infinie de lancers de pile ou face avec une pièce équilibrée, et on fait l hypothèse que les résultats sont indépendants. Pour tout entier k 1, on désigne par A k l événement : au cours de cette suite de lancers, pile est sorti au moins k + 1 fois. 1 Montrer que, pour tout n 1, A C 1 B n,1 où B n,1 est l événement : au cours des n premiers lancers, pile est sorti 0 ou 1 fois. Montrer que P (B n,1 = n + 1 2 n, et en déduire que P (A 1) = 1. 2 En utilisant des événements B n,k analogues, dont on montrera que la probabilité est égale à montrer que, pour tout entier k 1, P (A k ) = 1. P (B n,k ) = k i=0 C i n 2 n i=0 i + 1 N 8

3 Soit A l événement : au cours de la suite de lancers, pile est sorti une infinité de fois. Montrer que A C = + A C k k=1 et en déduire que P (A) = 1. Montrer également que la probabilité pour qu au cours de la suite de lancers, pile et face soient tous les deux sortis une infinité de fois, vaut 1. Montrer que des événements sont de probabilité nulle n est pas toujours aussi élémentaire que dans les exemples précédents. Nous donnons ci-dessous un résultat très important, dont l emploi est fréquent dans ce genre de situations. Théorème 1. 2. 2 Lemme de Borel-Cantelli Si (A n ) est une suite d événements telle que la série P (A n ) converge, P (lim sup A n ) = 0 On traduit ce résultat abstrait en disanr que la probabilité pour qu une infinité de A n se réalisent (qui est la probabilité de l ensemble des éléments ω Ω qui appartiennent à une infinité de A n ) vaut 0. Ensemblistement, lim sup A n désigne précisément cet ensemble. Démonstration Rappelons que lim sup A n = ( n 1 k n A k), qui est l ensemble des éléments ω Ω qui appartiennent à une infinité de A n. On a P (lim sup A n ) P ( ) A k k n k n P (A k ) qui tend vers 0 quand n tend vers l infini (reste d une série convergente). Remarque On aurait pu ainsi dire que si on pose f = finie p.s. ; or lim sup A n = {ω f(ω) = + }. n=1 1 An, E(f) = n=1 P (A n ) < +, donc f est Nous admettrons que ce théorème admet la réciproque partielle suivante : si les A n sont indépendants, et si la série n=1 P (A n ) diverge, alors avec probabilité 1, une infinité de A n se réalisent. Comme application du lemme de Borel-Cantelli, nous donnons la propriété suivante, qui reprend de manière formalisée l énoncé lorsqu on lance n fois une pièce, pas forcément équilibrée, telle que P (Pile) = p ]0, 1[, la plus longue suite de piles consécutifs a presque sûrement une longueur de l ordre de grandeur de ln n quand n tend vers l infini vu au paragraphe. Nous nous limiterons néanmoins dans l énoncé ci-dessous au cas d une pièce équilibrée. Théorème 1. 2. 3 On considère une suite infinie de lancers d une pièce équilibrée, les résultats des lancers étant supposés indépendants. On fixe un entier a > 1, et on désigne, pour tout entier k, par ϕ(k) le plus petit entier supérieur ou égal à a ln k ln 2. Enfin, on appelle A k l événement : au cours des lancers numéros k ϕ(k)+1, k ϕ(k)+2,, k 1, k, on n a observé que des piles. Alors : - avec probabilité 1, seul un nombre fini d événements A k se réalisent. - avec probabilité 1, il existe n 0 tel que, quel que soit n n 0, la longueur de la plus longue suite de piles consécutifs entre le premier et le nème coup est inférieure ou égale à ϕ(n). 9

Remarque On peut démontrer, avec un peu plus d efforts, que si l on désigne par L(n) la longueur de la plus longue suite de piles consécutifs entre le premier et le nème L n coup, la suite tend vers 1 avec log 2 n probabilité 1. Démonstration Rédaction à compléter 1. 2. 5 Loi forte des grands nombres Parmi les conséquences du lemme de Borel-Cantelli figure le résultat suivant, connu sous le nom de loi forte des grands nombres, dont la démonstration dans le cas général est un peu compliquée, mais qui est assez élémentaire dans le cas des variables de Bernoulli. Théorème 1. 2. 4 Loi forte des grands nombres Soit (X n ) une suite de variables indépendantes et de même loi. On suppose les variables X n intégrables et on désigne par m 1 leur espérance commune. Alors la variable converge presque sûrement vers m 1. X n = X 1 + + X n n Nous commençons par donner la preuve dans le cas où les variables X n sont dans L 4 (Ω) (cas qui s applique à des variables de Bernoulli). Nous donnons cette preuve sous forme d exercice. Exercice 1. 10 Preuve de la loi forte des grands nombres pour des variables X n dans L 4 (Ω) = S n n On pose, pour tout entier n 1, Y n = X n m 1 et Σ n = Y 1 + + Y n. 1 Prouver la formule suivante n (1) Σ 4 n = Yi 4 + 4 i=1 i<j 2 Montrer que E(Y n ) = 0. Yi 3 Y j + 6 Yi 2 Yj 2 + 12 Y 2 i<j i<j<k i Y j Y k + 24 i<j<k<l Y i Y j Y k Y l 3 En utilisant (1) et l indépendance des variables Y n (qu on ne demande pas de démontrer), montrer que (2) E(Σ 4 n) = ne(y 4 1 ) + 3n(n 1) [ E(Y 2 1 ) ] 2 4 Soit ε > 0. Montrer que (3) P ( Σ n n ) > ε E(Σ4 n) n 4 ε 4 5 Déduire de (2) et (3) que, avec probabilité 1, il existe un entier n 0 tel que, pour tout n n 0, et conclure. ε Σ n ε Nous proposons maintenant une démonstration du théorème en nous restreignant au cas particulier où les X n sont de carré intégrable. Nous poserons dans la suite m 2 = E(X 2 1 ). Démonstration Fixons ε > 0. Soit n N. Désignons par A n l événement A n : il existe p [n 2, (n + 1) 2 1] tel que S p n 2 m 1 > ε Nous allons montrer que, presque sûrement, seul un nombre fini de A n se produit. Pour que A n soit réalisé il est nécessaire que 10

soit l événement S n 2 n 2 m 1 > ε 2 soit réalisé ; soit l un des 2n événements le soit. S p S n 2 n 2 > ε 2, n2 + 1 p n 2 + 2n En utilisant l inégalité de Bienaymé-Tchebycheff, on obtient ( S P n 2 n 2 m 1 > ε ) V (S n 2/n2 ) 2 ε 2 = 4n2 m 2 n 4 ε 2 = 4m 2 n 2 ε 2 De manière analogue, en notant que E(S n 2 S p ) = 0, on a ( S p S P n 2 n 2 > ε ) 4V (S p S n 2) 2 n 4 ε 2 = 4(p n2 )m 2 n 4 ε 2 8m 2 n 3 ε 2 La probabilité de A n est majorée par celle de la réunion mentionnée ci-dessus, elle-même majorée par la somme des probabilités considérées. On obtient donc P (A n ) 4m 2 n 2 ε 2 + 8n 2m 2 n 3 ε 2 = K n 2 ε 2 Il en résulte que si l on choisit ε = 1 n, la série P (A 1/4 n ) converge et que, presque sûrement seul un nombre fini de A n est réalisé. On a donc montré que presque sûrement il existe n 0 tel que, pour tout n n 0, pour tout p [n 2, (n + 1) 2 1], S p n 2 m 1 1 Si on remarque que lorsque n 2 p (n + 1) 2 1, n 2 = ( Ent( p) ) 2 (où Ent désigne la fonction partie entière), on a donc démontré que la suite S p ( Ent( p) ) 2 converge vers m 1 presque sûrement. Comme la suite ( Ent( p) ) 2 n 1/4 tend vers 1, le résultat est prouvé. 1. 3 Quelques problèmes p 1. 3. 1 Problème de la ruine des joueurs Deux joueurs A et B disposent d une fortune initiale de a et b euros respectivement. Ils jouent à un jeu où A a une probabilité p de gagner. Si A gagne, B lui donne un euro. Si c est B qui gagne, A lui donne un euro. Le jeu s arrête quand l un des joueurs est ruiné. Calculer la probabilité p(a, b) pour que A remporte la partie. Exercice 1. 11 1 Montrer que p(a, b) = pp(a + 1, b 1) + qp(a 1, b + 1) (où q = 1 p). 2 Pour 0 n N = a + b, on pose u n = p(n, N n). Calculer u 0 et u N. 3 Pour 0 n N 1, on pose v n = u n+1 u n. a Vérifier que si p 1/2, la suite (v n ) est géométrique, et qu elle est constante si p = 1/2. b Calculer v 0 + + v r 1 de deux manières différentes et en déduire l expression exacte de v n, puis celle de u n (calculer u 0 + + u n 1 ) et enfin la valeur de p(a, b). Calculer notamment p(a, a) pour p = 1/2. 11

1. 3. 2 Le problème du scrutin et le principe de réflexion Exercice 1. 12 Un point de coordonnées (x, y) se déplace dans le plan de la manière suivante : on part de (0, 0) à l instant 0, et à chaque instant i, x augmente de 1, et y augmente de ±1. On appelle trajectoire de longueur n l ensemble des positions du point entre les instants 0 et n. Lorsqu il existe une trajectoire reliant (0, 0) à (n, m), on dit que m est accessible en n étapes. 1 Combien y-a-t-il de trajectoires de longueur n? 2 Soit (n, m) un point du plan. A quelle condition existe-t-il une trajectoire de (0, 0) à (n, m)? Quelle est alors la probabilité de cette trajectoire si on suppose toutes les trajectoires équiprobables? 3 On suppose m > 0 et accessible en n étapes. Le but de cette question est de calculer le nombre de trajectoires reliant (0, 0) à (n, m) en ne passant que par des points (x, y) où y > 0. On appelle trajectoire positive une telle trajectoire. a Montrer qu une trajectoire positive passe forcément par (1, 1). b Montrer qu il existe autant de trajectoires non positives reliant (1, 1) à (n, m) que de trajectoires reliant (1, 1) à (n, m) (principe de réflexion de Lord Kelvin). c En déduire le nombre de trajectoires positives reliant (1, 1) à (n, m) et prouver que la probabilité cherchée est égale à m n. 4 Application - Le théorème du scrutin Au cours d une élection, 1000 électeurs ont voté pour deux candidats A et B. Le candidat A a obtenu 600 voix, et le candidat B en a eu 400. On suppose que les ordres d arrivée des 1000 électeurs au bureau de vote sont équiprobables. Quelle est la probabilité pour que A ait été majoritaire tout au long du scrutin? 5 Application - Un problème de file d attente Cent personnes font la queue à un guichet de cinéma. La place vaut 5 euros. Soixante personnes ont en poche un billet de 5 euros, les quarante autres n ont qu un billet de 10 euros. Combien faut-il placer de billets de 5 euros en caisse pour qu avec une probabilité supérieure à 0, 95, chacun soit servi dès qu il se présente (on suppose que les ordres d arrivée possibles des 100 personnes sont équiprobables). 1. 3. 3 Problème des retours en 0 Nous utilisons dans ce paragraphe le résultat établi à l exercice précédent (principe de symétrie de Lord Kelvin) pour étudier les retours en zéro d une marche aléatoire, c est-à-dire les propriétés des instants n où l ordonnée d un point (x, y) se déplaçant suivant la règle indiquée au paragraphe précédent s annule. Pour simplifier les notations, on désigne par Y n l ordonnée à l instant n du point aléatoire. Exercice 1. 13 1 Vérifier que l événement Y N = 0 n est possible que si N est pair. Exprimer P (Y 2n = 0). 2 Soit v 2n le nombre de trajectoires telles que Y i > 0, pour 1 i 2n. Montrer que v 2n = Cn 2n 2 (considérer les valeurs possibles de Y 2n et utiliser le principe de symétrie). 3 En déduire que P (Y 2n = 0) = P (Y 1 0,, Y 2n 0). 4 Montrer qu il existe autant de trajectoires de longueur 2n telles que, pour 1 i 2n, S i 0 que de trajectoires de longueur 2n + 1 telles que, pour 1 i 2n + 1, S i > 0 (faire une figure). En déduire que P (Y 2n = 0) = P (Y 1 0,, Y 2n 0). 5 Premier retour en zéro Soit E 2n l événement : on retourne en zéro à l instant 2n pour la première fois. Montrer que P (E 2n ) = P (Y 2n 2 = 0) P (Y 2n = 0) (utiliser la question 3). 6 Dernier retour en zéro Soit F 2k,2n l événement : entre les instants 0 et 2n, le dernier retour en zéro s est produit à l instant 2k. 12

a Montrer que b En déduire que P (F 2k,2n ) = P (F 2n 2k,2n ). P (F 2k,2n ) = P (Y 2k = 0) P (S 1 0,, S 2n 2k 0) c Montrer que, lorsque n tend vers l infini, et lorsque k n est ni trop proche de 0 ni trop proche de n, P (F 2k,2n ) 1 n π k n 1 ( 1 k n d Soit t un nombre fixé dans l intervalle [0, 2n], ni trop proche de 0, ni trop proche de 2n. Montrer que la probabilité pour que le dernier retour en zéro entre les instants 0 et 2n compris ait lieu avant l instant t admet pour valeur approchée 2 t π arc sin. (Considérer une somme de Riemann). 2n 1. 4 Exercices ) Exercice 1. 14 Le problème des allumettes de Banach Un fumeur a dans chaque poche une boîte d allumettes contenant initialement N allumettes (le même nombre dans chaque poche). A chaque cigarette, il choisit une poche au hasard (avec équiprobabilité) et prend une allumette dans la boîte correspondante. Il ne se rend pas compte qu une boîte est vide tant qu il ne la trouve pas vide en l ouvrant. Soit r {1,, N}. Quelle est la probabilité pour que le fumeur essaie de prendre une allumette dans une boîte vide pour allumer la (N + r)ème cigarette? Indication - L événement étudié peut se produire de deux manières incompatibles et de même probabilité : la boîte trouvée vide peut se trouver dans la poche droite ou gauche. Pour calculer la probabilité pour qu il trouve la boîte vide dans sa poche gauche, considérer le schéma de Bernoulli associé à l expérience suivante : il y a succés si le fumeur choisit de prendre une allumette dans sa poche gauche, échec sinon. Le fumeur trouve la boîte gauche vide à la (N + r)ème cigarette si et seulement si le (N + 1)ème succés se produit à l étape N + r. Utiliser les résultats du paragraphe 1.1.1. Exercice 1. 15 Match de tennis Deux joueurs s affrontent au tennis en cinq sets. Le joueur A a une probabilité p de gagner chaque set. Les sets sont supposés indépendants (hypothèse discutable sut un vrai court...). Quelle est la probabilité pour que A gagne la partie? Indication - Utiliser les résultats énoncés au paragraphe consacré aux paris de Pascal pour écrire une formule explicite. Utiliser un programme pour calculer la probabilité recherchée en fonction de p. On pourra généraliser cet exemple à un match de tennis de table et exprimer en fonction de p (probabilité pour A de gagner chaque point, qu on suppose indépendante du joueur qui met en jeu) la probabilité P (p) pour que A gagne un set en 21 points (donc alors que B a obtenu au maximum 19 points). Pour cela, on écrira un programme de calcul des probabilités P (p) et on tracera la courbe d équation y = P (x) (x [0, 1]). Exercice 1. 16 Une application du lemme de Borel-Cantelli. Retours en 0 d une marche aléatoire asymétrique Soit (Y n ) une suite de variables de Bernoulli indépendantes de même loi définie par P (Y n = 1) = p et P (Y n = 1) = 1 p où 0 < p < 1 et p 1/2. On pose Z 0 = 0 et, pour tout n 1, Z n = Y 1 + + Y n. On désigne par A n l événement Z n = 0. On appelle un tel événement un retour en zéro. 1 Que représente l événement lim sup A n? 2 Montrer que presque sûrement il n y a qu un nombre fini de retours en zéro. En déduire que presque sûrement, il existe un entier n 0 tel que, pour tout n n 0, Z n garde un signe constant (utiliser le fait que, pour tout n, Z n+1 Z n = ±1). 13

Exercice 1. 17 Somme d un nombre aléatoire de variables aléatoires Soit X 1,, X n, une famille infinie de variables de Bernoulli de même paramètre p et soit N une variable de Poisson de paramètre λ. On suppose que les variables X n et N sont mutuellement indépendantes. On pose N S = (Attention : le nombre de termes de la somme est lui aussi aléatoire). 1 Calculer la loi de S. Pour cela, écrire P (S = m) = puis conclure en utilisant l indépendance. = k=0 k=0 n=1 X n P (S = m et N = k) P (X 1 + + X k = m et N = k) 2 On ne fait plus d hypothèse sur les lois des X i et de N dans cette question. On suppose encore les variables X i et N mutuellement indépendantes, on suppose que toutes ces variables sont à valeurs dans N et sont intégrables d espérance E(X i ) = λ et E(N) = µ. a Justifier pourquoi tous les E(X i ) sont égaux. b Montrer que E(S) = λµ. (Indication : commencer le calcul de la manière suivante E(S) = = k=0 m=0 mp (S = m) ( + ) m P (X 1 + + X k = m et N = k) k=0 et utiliser le résultat suivant : si les u n,m sont des réels positifs, n=1 ( + ) u n,m = m=1 m=1 ( + ) u n,m (théorème de Fubini dans le cadre des séries doubles à termes positifs). 1. 5 Exercices sur machines n=1 Exercice 1. 18 Les notations sont celles du paragraphe 1.1.2 : l expérience aléatoire consiste à lancer un nombre indéterminé de fois une pièce pour laquelle P (pile) = p [0, 1]. Les lancers sont supposés indépendants. On désigne par p(k, n) la probabilité d obtenir au moins une suite de k piles consécutifs au cours des n premiers lancers d une pièce. On a vu au théorème 1.1.1 que la suite (p(k, n)) n vérifie la relation de récurrence suivante : n k + 1, p(k, n) = p(k, n 1) + p k (1 p)(1 p(k, n k 1)) Ecrire un programme Java estimant p(k, n) pour k, n et p fixés par l utilisateur. Le programme doit vérifier la validité des données entrées par l utilisateur (p est un réel compris entre 0 et 1, k et n sont des entiers strictement positifs). Si les conditions de validité ne sont pas respectées, le programme doit remplacer le paramètre mal défini par sa valeur par défaut : 0, 5 pour p, 5 pour k et 100 pour n. 14

Ecrire une simulation estimant la probabilité d obtenir k piles consécutifs quand on lance une pièce n fois. Mêmes remarques quant à l entrée des données par l utilisateur. Il faudra dans ce cas un dernier paramètre, égal au nombre de répétitions de l expérience simulée. Exercice 1. 19 Ecrire un programme Java qui calcule de deux manières différentes la probabilité d obtenir a piles avant b faces lors d une suite de lancers de pièce (cf. le paragraphe 1.1.3). Les paramètres entrés par l utilisateur sont : la probabilité p d apparition de pile et les nombres a et b. Le programme doit vérifier la validité des données entrées par l utilisateur (p est un réel compris entre 0 et 1, a et b sont des entiers positifs, et au moins un des deux est strictement positifs). Si les conditions de validité ne sont pas respectées, le programme doit remplacer le paramètre mal défini par sa valeur par défaut : 0, 5 pour p, 1 pour a et b. Ecrire un autre programme qui simule la répétition de n parties du jeu ci-dessus et indique la fréquence de réalisation de l événement (a piles avant b faces). Le paramètre n doit être entré par l utilisateur, vérifié par le programme (entier stictement positif) et remplacé par la valeur par défaut n = 1000 si l utilisateur l a mal défini. Afficher les résultats des deux programmes afin de comparer les probabilités théoriques aux fréquences observées. Exercice 1. 20 Ecrire un programme Java qui simule la répétition de n parties de pile ou face, avec P (Pile) = p et détermine, pour chaque simulation, la plus longue suite de piles consécutifs. Les nombres n et p sont des paramètres fournis par l utilisateur. Le programme doit vérifier la validité de ces données (p est un réel compris entre 0 et 1, n est un entier strictement positif). Si l un des paramètres est rejeté par ce test, il doit être remplacé par sa valeur par défaut (0, 5 pour p, 1000 pour n). ln n Comparer le résultat obtenu par simulation à la borne presque sûre théorique, égale à ln(1/p). Exercice 1. 21 Approximation de la loi binomiale par une loi normale On désigne dans cet exercice par S n une variable binomiale de loi B(n, 1/2). 1 Ecrire un programme Java permettant le calcul exact de P (S 2n = n), pour des valeurs de n choisies par l utilisateur, et le calcul approché utilisant l équivalent fourni par la formule de Stirling. En écrivant le quotient des deux résultats, on notera la bonne qualité de l approximation y compris pour des petites valeurs de n. 2 Modifier le programme précédent pour qu il calcule les p n (k) = P (S 2n = n + k) et les s n (k) = P (n k S 2n n+k), pour des valeurs de n et k choisies par l utilisateur. On privilégiera les programmes minimisant la durée des calculs. 3 Ecrire un programme qui calcule une valeur approchée de l intégrale 1 x e u2 /2 du 2π 0 par la méthode du point médian, en découpant l intervalle [0, x] en 100 sous-intervalles égaux. Comparer grâce à ce programme les probabilités s n (k) calculées plus haut à leur approximation gaussienne (cf. le théorème central-limite). 15

Chapitre II Chaînes de Markov 2. 1 Exercices d introduction 2. 1. 1 La météo... On suppose que dans une certaine contrée, le temps chaque jour est fonction (avec un élément de hasard) de celui de la veille et pas de celui des jours précédents. On fait les hypothèses suivantes : Il n y a que deux types de temps, beau et mauvais. S il fait beau un jour, la probabilité pour qu il fasse beau le lendemain est 3/4. S il fait mauvais un jour, la probabilité pour qu il fasse beau le lendemain est 1/3. On désigne par p n et q n les probabilités respectives pour qu il fasse beau et mauvais le jour numéro n. 1 Calculer p n+1 en fonction de p n. En déduire p n en fonction de p 0. 2 Montrer que, quelle que soit la valeur de p 0, (p n, q n ) tend vers (a, b) quand n tend vers l infini, où (a, b) est l unique vecteur propre de la matrice 3 1 4 3 Π = 1 2 4 3 associé à la valeur propre 1 et vérifiant a + b = 1. 3 Simulation On désigne par b n le nombre de jours de beau temps entre le jour numéro 0 et le jour numéro n. Vérifier par simulation que b n p.s., lim n n + 1 = a 2. 1. 2 Promenade aléatoire sur un triangle On considère un triangle ABC. Un point aléatoire M n se trouve à chaque instant n en l un des trois sommets du triangle. Indépendamment de la façon dont il a atteint le sommet i où il se trouve à l instant n, il a une probabilité 1/2 de se trouver en chacun des deux sommets j adjacents à l instant n + 1. On note cette probabilité p i,j. On a donc 1 si i j p i,j = 2 0 si i = j 17

18 - Chaînes de Markov On désigne par a, b, c les probabilités pour que M 0 = A, B, C, respectivement. Pour tout entier n 0, on pose p n (A) = p(m n = A), p n (B) = p(m n = B), p n (C) = p(m n = C) On a donc (a, b, c) = (p 0 (A), p 0 (B), p 0 (C)). 1 Calculer (p 1 (A), p 1 (B), p 1 (C)) en fonction de (a, b, c) (on privilégiera une écriture matricielle). 2 En déduire une expression matricielle de (p n (A), p n (B), p n (C)) en fonction de (a, b, c). La matrice 1 1 0 2 2 1 1 Π = 0 2 2 1 1 0 2 2 s appelle la matrice de transition de la chaîne de Markov (M n ) n. 3 Diagonaliser Π. En déduire la limite de (p n (A), p n (B), p n (C)) et vérifier que cette limite ne dépend pas de (a, b, c). 4 Vérifier que, quel que soit le choix de (a, b, c), p n (A), p n (B) et p n (C) sont strictement positifs pour tout n 2. 5 Simulation Simuler la marhe aléatoire sur le triangle décrite ci-dessus. Vérifier sur la simulation la propriété suivante : quand n tend vers l infini, si on désigne par k A (resp. k B, resp. k C ) le nombre d entiers i {0,, n} tels que M i = A (resp. B, resp. C), p.s., lim n k A n + 1 = lim n k B n + 1 = lim n k C n + 1 = 1 3 On suppose maintenant que les probabilités de transition sont les suivantes : p A,B = p B,A = 2 3, p A,C = p B,C = 1 3, p C,A = p C,B = 1 2, p A,A = p B,B = p C,C = 0 Ecrire la nouvelle matrice de transition Π, et déterminer l unique vecteur propre (a, b, c) de Π associé à la valeur propre 1 et tel que a + b + c = 1. En reprenant les notations ci-dessus, vérifier par simulation que p.s., lim n k A n + 1 = a, 2. 1. 3 Promenade aléatoire sur un carré lim n k B n + 1 = b, lim n k C n + 1 = c Reprendre les questions 1 à 4 du paragraphe précédent en supposant maintenant que le point aléatoire M n se déplace sur les quatre sommets d un carré, et qu à chaque étape n, la probabilité de passer d un sommet i à un sommet j vaut 1/2 si i et j sont adjacents, et 0 si i et j sont confondus ou diamétralement opposés. On vérifiera que les résultats des questions 3 e t 4 sont modifiés. 2. 2 Chaînes de Markov 2. 2. 1 Généralités Soit S un ensemble dénombrable et P une matrice S S à coefficients positifs, vérifiant, quel que soit i S p i,j = 1 j S

Généralités 19 - Une telle matrice est appelée matrice stochastique. Remarque Il arrive parfois que l on ait également, pour tout j S, p i,j = 1 i S On dit alors que P est une matrice bistochastique. Définition 2. 2. 1 Soit X = (X n ) n 0 une suite de variables aléatoires à valeurs dans S. On dit que X est une chaîne de Markov stationnaire (ou homogène) de matrice de transition P si, pour tout n N, pour tout (i 0,, i n, j) S n+2, P (X n+1 = j X 0 = i 0,, X n = i n ) = P (X n+1 = j X n = i n ) = p in,j En d autres termes, l évolution de la chaîne entre les instants n et n + 1 ne dépend que de la position à l état n, et pas de la manière dont cette position a été atteinte. Le mot stationnaire correspond au fait que la probabilité de passage de i n à j entre les étapes n et n + 1 ne dépend pas de n. Le fait que P soit une matrice stochastique implique que l on a bien, quel que soit i, p i,j = 1 j S P (X n+1 = j X n = i) = j S ce qui est normal car A P (A X n = i) est une probabilité. Désignons par π 0 la distribution initiale de la chaîne : Théorème 2. 2. 2 i S, P (X 0 = i) = π 0 (i) (a) Quel que soit l entier n, quels que soient i 0,, i n appartenant à S, P (X 0 = i 0,, X n = i n ) = π 0 (i 0 )p i0,i 1 p in 1,i n (b) Quels que soient les entiers n et m, quels que soient i et j appartenant à S P (X n+m = j X n = i) = p i,j1 p j1,j 2 p jm 1,j = Pi,j m (j 1,,j m 1) S m 1 où P m i,j désigne l élément (i, j) de la puissance mème de P. Démonstration (a) Il suffit de faire des conditionnements successifs. (b) On raisonne par récurrence sur m. La propriété est claire pour m = 1, par définition d une chaîne de Markov. Supposons la vérifiée au rang m. On a alors : P (X n+m+1 = j X n = i) = P ( k S(X n+m+1 = j, X n+m = k) X n = i) = k S P (X n+m+1 = j, X n+m = k X n = i) = k S P (X n+m+1 = j X n+m = k, X n = i) P (X n+m = k X n = i) = k S P (X n+m+1 = j X n+m = k) P (X n+m = k X n = i) (par définition d une chaîne de Markov) = k S P k,j P m i,k (hypothèse de récurrence) = P m+1 i,j (définition du produit matriciel)

20 - Chaînes de Markov Ceci montre l hérédité et termine la preuve. On peut réénoncer la partie (b) du théorème en disant que Pi,j m sachant qu on part de i. est la probabilité d atteindre j en m étapes 2. 2. 2 Etats transitoires et récurrents Nous allons étudier les propriétés asymptotiques des chaînes de Markov en nous intéressant à la question suivante : si l on suppose que la chaîne de Markov X a pour valeur initiale un élément i de S, passera-t-elle une infinité de fois par cet élément? Nous apporterons dans cette partie une réponse à cette question grâce à un théorème de classification. Nous commençons par quelques définitions et notations. Si j S (on dit que j est un état), on définit la variable aléatoire T j de la manière suivante : T j = min{k > 0 X k = j} C est le premier instant strictement positif pour lequel la chaîne passe par l état j. On pose alors, pour tout couple (i, j) d états f (m) i,j = P (T j = m X 0 = i) probabilité que l on note plus simplement P i (T j = m). On peut remarquer qu à cause de la stationnarité de la chaîne, on a pour tout n N Enfin, on pose Définition 2. 2. 3 On dit que l état i est : (a) récurrent si f i,i = 1, (b) transitoire sinon. f (m) i,j = P (X n+m = j, X n+k j, k = 1,, m 1 X n = i) f i,j = m=1 f (m) i,j Théorème 2. 2. 4 Caractérisation des états transitoires et récurrents (a) Les conditions suivantes sont équivalentes : L état i est récurrent. P i (lim sup(x n = i)) = 1. n P n i,i = +. (a) Les conditions suivantes sont équivalentes : L état i est transitoire. P i (lim sup(x n = i)) = 0. n P n i,i < +. Démonstration Soit A k l événement : la chaîne passe au moins k fois par l état j. On a P i (A k ) = f (n1) j,j f (n k) j,j = f i,j (f j,j ) k f (m) i,j m,n 1,,n k (il n y a pas de problème de sommabilité car les termes sont positifs). Supposons j récurrent : alors, quel que soit k P i (A k ) = f i,j

Etats transitoires et récurrents 21 - Les événéments A k sont décroissants, on peut alors démontrer, par des arguments de théorie de la mesure, que P ( k 1 A k ) = lim k P (A k) = f i,j puisque P (A k ) ne dépend pas de k. Par conséquent, si j est récurrent, la probabilité, partant de i, d une infinité de passages en j, vaut f i,j, soit P i (lim sup(x n = j)) = f i,j En revanche, si j est transitoire, la probabilité, partant de i, d une infinité de passages en j est majorée par P i (A k ) quel que soit k. Comme dans ce cas f j,j < 1, on a lim k P i(a k ) = 0 et par conséquent P i (lim sup(x n = j)) = 0 En prenant i = j, on obtient la première des deux équivalences de (a) et (b). Commençons par remarquer que si n=1 P n i,i < +, P i (lim sup(x n = i)) = 0 d après le lemme de Borel- Cantelli. Il faut maintenant prouver que si la série diverge, la probabilité vaut 1. On ne peut évidemment pas utiliser la réciproque du lemme de Borel-Cantelli car les événements (X n = i) ne sont pas indépendants. On écrit d où n 1 Pi,j n = P i (X 1 j,, X n s = j (pour la première fois),, X n = j) s=0 n 1 = s=0 n Pi,i t = t=1 f (n s) i,j Pj,j s n t 1 f (t s) i,i Pi,i s t=1 s=0 n 1 = = n P s i,if (t s) i,i s=0 t=s+1 n 1 n Pi,i s f (t s) i,i s=0 t=s+1 n 1 f i,i Pi,i s (les sommes s=0 n t=s+1 f (t s) i,i sont majorées par f i,i ) On peut dans le membre de droite, ajouter Pi,i n f i,i qui est positif. Comme Pi,i 0 = 1, on a donc n n Pi,i t f i,i (1 + Pi,i) t d où t=1 (1 f i,i ) Si on avait f i,i < 1, on en déduirait que, pour tout t, et la série n=1 t=1 n Pi,i t f i,i t=1 n Pi,i t f i,i 1 f i,i t=1 P n i,i convergerait, ce qui est exclu. Donc f i,i = 1.

22 - Chaînes de Markov Définition 2. 2. 5 On dit qu une partie non vide A de S est un ensemble clos si : i A, j S \ A, P i,j = 0 (id est : une fois entré dans A, on n en sort plus). Définition 2. 2. 6 Une chaîne de Markov X est dite irréductible si S est le seul ensemble clos. Remarque On vérifie (le faire en exercice) qu une chaîne de Markov est irréductible si et seulement si, quels que soient les états i et j, on a f i,j > 0, ou encore si et seulement si, quels que soient les états i et j, il existe un entier n > 0 tel que P n i,j > 0. Théorème 2. 2. 7 Si S est une chaîne de Markov irréductible, on a l alternative suivante : (a) Soit tous les états sont transitoires, et on a alors ( ) i S, P i lim sup(x n = j) = 0 et i, j S, Pi,j n < + j S n (a) Soit tous les états sont récurrents, et on a alors ( ) i S, P i lim sup(x n = j) = 1 et i, j S, j S n P n i,j = + Démonstration Quels que soient i et j, il existe des entiers positifs r et s tels que P r i,j > 0 et P s j,i > 0, du fait de l irréductibilité. Il en résulte que P r+n+s i,i P r i,j P n j,j P s j,i Donc n P n i,i < + n P n j,j < + (car i et j jouent des rôles symétriques). Le premier point de l alternative est donc vérifié : tous les états sont du même type. (a) Si j est transitoire, P i (lim sup(x n = j)) = 0 (on l a vu lors de la démonstration du théorème 2.2.4). Comme tous les états sont transitoires et comme S est dénombrable, P i ( j S(lim sup(x n = j))) = 0 D autre part, on a vu plus haut que d où Pi,j n = n n n 1 s=0 + Pi,j n f i,j d où la convergence de la série du membre de gauche. (b) On sait que dans ce cas, pour tout état i, n f (n s) i,j Pj,j s s=0 P s j,j P i (lim sup(x n = i)) = 1