Chapitre I Chaînes de Markov

Chapitre I Chaînes de Markov 1. 1 Exercices d introduction 1. 1. 1 La météo... On suppose que dans une certaine contrée, le temps chaque jour est fonction (avec un élément de hasard) de celui de la veille et pas de celui des jours précédents. On fait les hypothèses suivantes : Il n y a que deux types de temps, beau et mauvais. S il fait beau un jour, la probabilité pour qu il fasse beau le lendemain est 3/4. S il fait mauvais un jour, la probabilité pour qu il fasse beau le lendemain est 1/3. On désigne par p n et q n les probabilités respectives pour qu il fasse beau et mauvais le jour numéro n. 1 Calculer p n+1 en fonction de p n. En déduire p n en fonction de p 0. 2 Montrer que, quelle que soit la valeur de p 0, (p n, q n ) tend vers (a, b) quand n tend vers l infini, où (a, b) est l unique vecteur propre de la matrice 3 1 4 3 Π = 1 2 4 3 associé à la valeur propre 1 et vérifiant a + b = 1. 3 Simulation On désigne par b n le nombre de jours de beau temps entre le jour numéro 0 et le jour numéro n. Vérifier par simulation que b n p.s., lim n n + 1 = a 1. 1. 2 Promenade aléatoire sur un triangle On considère un triangle ABC. Un point aléatoire M n se trouve à chaque instant n en l un des trois sommets du triangle. Indépendamment de la façon dont il a atteint le sommet i où il se trouve à l instant n, il a une probabilité 1/2 de se trouver en chacun des deux sommets j adjacents à l instant n + 1. On note cette probabilité p i,j. On a donc 1 si i j p i,j = 2 0 si i = j 1

On désigne par a, b, c les probabilités pour que M 0 = A, B, C, respectivement. Pour tout entier n 0, on pose p n (A) = p(m n = A), p n (B) = p(m n = B), p n (C) = p(m n = C) On a donc (a, b, c) = (p 0 (A), p 0 (B), p 0 (C)). 1 Calculer (p 1 (A), p 1 (B), p 1 (C)) en fonction de (a, b, c) (on privilégiera une écriture matricielle). 2 En déduire une expression matricielle de (p n (A), p n (B), p n (C)) en fonction de (a, b, c). La matrice 1 1 0 2 2 1 1 Π = 0 2 2 1 1 0 2 2 s appelle la matrice de transition de la chaîne de Markov (M n ) n. 3 Diagonaliser Π. En déduire la limite de (p n (A), p n (B), p n (C)) et vérifier que cette limite ne dépend pas de (a, b, c). 4 Vérifier que, quel que soit le choix de (a, b, c), p n (A), p n (B) et p n (C) sont strictement positifs pour tout n 2. 5 Simulation Simuler la marhe aléatoire sur le triangle décrite ci-dessus. Vérifier sur la simulation la propriété suivante : quand n tend vers l infini, si on désigne par k A (resp. k B, resp. k C ) le nombre d entiers i {0,, n} tels que M i = A (resp. B, resp. C), p.s., lim n k A n + 1 = lim n k B n + 1 = lim n k C n + 1 = 1 3 On suppose maintenant que les probabilités de transition sont les suivantes : p A,B = p B,A = 2 3, p A,C = p B,C = 1 3, p C,A = p C,B = 1 2, p A,A = p B,B = p C,C = 0 Ecrire la nouvelle matrice de transition Π, et déterminer l unique vecteur propre (a, b, c) de Π associé à la valeur propre 1 et tel que a + b + c = 1. En reprenant les notations ci-dessus, vérifier par simulation que p.s., lim n k A n + 1 = a, 1. 1. 3 Promenade aléatoire sur un carré lim n k B n + 1 = b, lim n k C n + 1 = c Reprendre les questions 1 à 4 du paragraphe précédent en supposant maintenant que le point aléatoire M n se déplace sur les quatre sommets d un carré, et qu à chaque étape n, la probabilité de passer d un sommet i à un sommet j vaut 1/2 si i et j sont adjacents, et 0 si i et j sont confondus ou diamétralement opposés. On vérifiera que les résultats des questions 3 e t 4 sont modifiés. 1. 2 Chaînes de Markov 1. 2. 1 Généralités Soit S un ensemble dénombrable et P une matrice S S à coefficients positifs, vérifiant, quel que soit i S p i,j = 1 j S 2

Une telle matrice est appelée matrice stochastique. Remarque Il arrive parfois que l on ait également, pour tout j S, p i,j = 1 i S On dit alors que P est une matrice bistochastique. Définition 1. 2. 1 Soit X = (X n ) n 0 une suite de variables aléatoires à valeurs dans S. On dit que X est une chaîne de Markov stationnaire (ou homogène) de matrice de transition P si, pour tout n N, pour tout (i 0,, i n, j) S n+2, P (X n+1 = j X 0 = i 0,, X n = i n ) = P (X n+1 = j X n = i n ) = p in,j En d autres termes, l évolution de la chaîne entre les instants n et n + 1 ne dépend que de la position à l état n, et pas de la manière dont cette position a été atteinte. Le mot stationnaire correspond au fait que la probabilité de passage de i n à j entre les étapes n et n + 1 ne dépend pas de n. Le fait que P soit une matrice stochastique implique que l on a bien, quel que soit i, p i,j = 1 j S P (X n+1 = j X n = i) = j S ce qui est normal car A P (A X n = i) est une probabilité. Désignons par π 0 la distribution initiale de la chaîne : Théorème 1. 2. 2 i S, P (X 0 = i) = π 0 (i) (a) Quel que soit l entier n, quels que soient i 0,, i n appartenant à S, P (X 0 = i 0,, X n = i n ) = π 0 (i 0 )p i0,i 1 p in 1,i n (b) Quels que soient les entiers n et m, quels que soient i et j appartenant à S P (X n+m = j X n = i) = p i,j1 p j1,j 2 p jm 1,j = Pi,j m (j 1,,j m 1) S m 1 où P m i,j désigne l élément (i, j) de la puissance mème de P. Démonstration (a) Il suffit de faire des conditionnements successifs. (b) On raisonne par récurrence sur m. La propriété est claire pour m = 1, par définition d une chaîne de Markov. Supposons la vérifiée au rang m. On a alors : P (X n+m+1 = j X n = i) = P ( k S(X n+m+1 = j, X n+m = k) X n = i) = k S P (X n+m+1 = j, X n+m = k X n = i) = k S P (X n+m+1 = j X n+m = k, X n = i) P (X n+m = k X n = i) = k S P (X n+m+1 = j X n+m = k) P (X n+m = k X n = i) (par définition d une chaîne de Markov) = k S P k,j P m i,k (hypothèse de récurrence) = P m+1 i,j (définition du produit matriciel) 3

Ceci montre l hérédité et termine la preuve. On peut réénoncer la partie (b) du théorème en disant que Pi,j m sachant qu on part de i. est la probabilité d atteindre j en m étapes 1. 2. 2 Etats transitoires et récurrents Nous allons étudier les propriétés asymptotiques des chaînes de Markov en nous intéressant à la question suivante : si l on suppose que la chaîne de Markov X a pour valeur initiale un élément i de S, passera-t-elle une infinité de fois par cet élément? Nous apporterons dans cette partie une réponse à cette question grâce à un théorème de classification. Nous commençons par quelques définitions et notations. Si j S (on dit que j est un état), on définit la variable aléatoire T j de la manière suivante : T j = min{k > 0 X k = j} C est le premier instant strictement positif pour lequel la chaîne passe par l état j. On pose alors, pour tout couple (i, j) d états f (m) i,j = P (T j = m X 0 = i) probabilité que l on note plus simplement P i (T j = m). On peut remarquer qu à cause de la stationnarité de la chaîne, on a pour tout n N Enfin, on pose Définition 1. 2. 3 On dit que l état i est : (a) récurrent si f i,i = 1, (b) transitoire sinon. f (m) i,j = P (X n+m = j, X n+k j, k = 1,, m 1 X n = i) f i,j = + m=1 f (m) i,j Théorème 1. 2. 4 Caractérisation des états transitoires et récurrents (a) Les conditions suivantes sont équivalentes : L état i est récurrent. P i (lim sup(x n = i)) = 1. n P n i,i = +. (a) Les conditions suivantes sont équivalentes : L état i est transitoire. P i (lim sup(x n = i)) = 0. n P n i,i < +. Démonstration Soit A k l événement : la chaîne passe au moins k fois par l état j. On a P i (A k ) = f (n1) j,j f (n k) j,j = f i,j (f j,j ) k f (m) i,j m,n 1,,n k (il n y a pas de problème de sommabilité car les termes sont positifs). Supposons j récurrent : alors, quel que soit k P i (A k ) = f i,j 4

Les événéments A k sont décroissants, on peut alors démontrer, par des arguments de théorie de la mesure, que P ( k 1 A k ) = lim k P (A k) = f i,j puisque P (A k ) ne dépend pas de k. Par conséquent, si j est récurrent, la probabilité, partant de i, d une infinité de passages en j, vaut f i,j, soit P i (lim sup(x n = j)) = f i,j En revanche, si j est transitoire, la probabilité, partant de i, d une infinité de passages en j est majorée par P i (A k ) quel que soit k. Comme dans ce cas f j,j < 1, on a lim k P i(a k ) = 0 et par conséquent P i (lim sup(x n = j)) = 0 En prenant i = j, on obtient la première des deux équivalences de (a) et (b). Commençons par remarquer que si + n=1 P n i,i < +, P i (lim sup(x n = i)) = 0 d après le lemme de Borel- Cantelli. Il faut maintenant prouver que si la série diverge, la probabilité vaut 1. On ne peut évidemment pas utiliser la réciproque du lemme de Borel-Cantelli car les événements (X n = i) ne sont pas indépendants. On écrit d où n 1 Pi,j n = P i (X 1 j,, X n s = j (pour la première fois),, X n = j) s=0 n 1 = s=0 n Pi,i t = t=1 f (n s) i,j Pj,j s n t 1 f (t s) i,i Pi,i s t=1 s=0 n 1 = = n P s i,if (t s) i,i s=0 t=s+1 n 1 n Pi,i s f (t s) i,i s=0 t=s+1 n 1 f i,i Pi,i s (les sommes s=0 n t=s+1 f (t s) i,i sont majorées par f i,i ) On peut dans le membre de droite, ajouter Pi,i n f i,i qui est positif. Comme Pi,i 0 = 1, on a donc n n Pi,i t f i,i (1 + Pi,i) t d où t=1 (1 f i,i ) Si on avait f i,i < 1, on en déduirait que, pour tout t, et la série + n=1 t=1 n Pi,i t f i,i t=1 n Pi,i t f i,i 1 f i,i t=1 P n i,i convergerait, ce qui est exclu. Donc f i,i = 1. 5

Définition 1. 2. 5 On dit qu une partie non vide A de S est un ensemble clos si : i A, j S \ A, P i,j = 0 (id est : une fois entré dans A, on n en sort plus). Définition 1. 2. 6 Une chaîne de Markov X est dite irréductible si S est le seul ensemble clos. Remarque On vérifie (le faire en exercice) qu une chaîne de Markov est irréductible si et seulement si, quels que soient les états i et j, on a f i,j > 0, ou encore si et seulement si, quels que soient les états i et j, il existe un entier n > 0 tel que P n i,j > 0. Théorème 1. 2. 7 Si S est une chaîne de Markov irréductible, on a l alternative suivante : (a) Soit tous les états sont transitoires, et on a alors ( ) i S, P i lim sup(x n = j) = 0 et i, j S, Pi,j n < + j S n (a) Soit tous les états sont récurrents, et on a alors ( ) i S, P i lim sup(x n = j) = 1 et i, j S, j S n P n i,j = + Démonstration Quels que soient i et j, il existe des entiers positifs r et s tels que P r i,j > 0 et P s j,i > 0, du fait de l irréductibilité. Il en résulte que P r+n+s i,i P r i,j P n j,j P s j,i Donc n P n i,i < + n P n j,j < + (car i et j jouent des rôles symétriques). Le premier point de l alternative est donc vérifié : tous les états sont du même type. (a) Si j est transitoire, P i (lim sup(x n = j)) = 0 (on l a vu lors de la démonstration du théorème 1.2.4). Comme tous les états sont transitoires et comme S est dénombrable, P i ( j S(lim sup(x n = j))) = 0 D autre part, on a vu plus haut que d où Pi,j n = n n n 1 s=0 + Pi,j n f i,j d où la convergence de la série du membre de gauche. (b) On sait que dans ce cas, pour tout état i, n f (n s) i,j Pj,j s s=0 P s j,j P i (lim sup(x n = i)) = 1 6

Soit j un autre état : P m j,i = P j (X m = i) = P j ((X m = i) (lim sup X n = j)) (car P j (lim sup(x n = j)) = 1) n>0 P j (X m = i, X m+1 j,, X m + n = j) = n>0 P m j,i f (n) i,j = P m j,i f i,j Il existe m tel que P m j,i > 0 (car X est irréductible). Il en résulte que f i,j 1 et donc f i,j = 1 puisque c est une probabilité. D après la démonstration du théorème 1.2.4, on en conclut que P i (lim sup(x n = j)) = 1 et ce résultat reste vrai en passant à l intersection dénombrable. Enfin, n P n i,j = +, sinon on aurait P i (lim sup(x n = j)) = 0 d après le lemme de Borel-Cantelli. Remarque Si la partie (a) de l alternative est réalisée, S est infinie (presque sûrement, chaque état n est visité qu un nombre fini de fois ; comme il y a une infinité d étapes, cela nécessite une infinité d états). 1. 2. 3 Distributions stationnaires Définition 1. 2. 8 Soit X une chaîne de Markov de matrice de transition P et π une distribution de probabilité sur S. On dit que π est une distribution stationnaire si, pour tout j S, i S p i,j π(i) = π(j). Il en résulte, compte tenu du point (a) du théorème 1.2.2 (avec n = 1), que si on choisit π comme distribution initiale de la chaîne, P (X 1 = j) = π(j) = P (X 0 = j) pour tout j, et cette propriété se généralise à tout entier n : P (X n = j) = P (X 0 = j). La loi de X n ne dépend pas de n, d où l expression distribution stationnaire. Remarque Vectoriellement, dire que π est une distribution stationnaire équivaut à dire que le vecteur (π(i)) i S est vecteur propre de la matrice t P (transposée de P ) associé à la valeur propre 1. Lorsque S est finie et la chaîne irréductible, la théorie de Perron-Frobenius garantit l existence et l unicité de distributions stationnaires. Nous allons tout de suite vérifier que même sans hypothèse d irréductibilité, il y a toujours au moins une probabilité stationnaire. Théorème 1. 2. 9 Toute chaîne de Markov possédant un nombre fini d états admet une mesure de probabilité invariante. Démonstration Posons S = {1,, p}. La donnée d une mesure de probabilité sur S équivaut à la donnée d un p-uplet (x 1,, x p ) tel que tous les x i soient positifs ou nuls et tel que leur somme soit égale à 1. Soit A l ensemble des tels p-uplets. C est une partie compacte de R p. Choisissons un élément quelconque X 0 A et calculons ses images successives X 1 = t P X 0, X 2 = t P X 1, etc. Posons enfin, pour tout entier n Y n = X 0 + + X n n + 1 Les Y n sont encore des éléments de A (vérification immédiate : A est une partie convexe). La suite (Y n ) n est une suite d éléments du compact A, donc elle admet une valeur d adhérence Y A. Nous allons montrer que Y est une probabilité invariante. Soit (Y nk ) k une sous-suite convergeant vers Y. On a t P Y nk = X 1 + + X nk + X nk +1 n k + 1 = Y nk + X n k +1 X 0 n k + 1 7

qui tend vers Y quand k tend vers l infini (car la suite (X nk +1 X 0 ) k est bornée donc le deuxième terme tend vers 0). En passant à la limite, on a donc t P Y = Y, d où le résultat annoncé. On établit dans la fin de ce paragraphe l unicité de la distribution stationnaire pour les chaînes irréductibles possédant une propriété supplémentaire : l apériodicité. Cette unicité résulte d une propriété asymptotique des puissances de la matrice de transition. Définition 1. 2. 10 On dit qu un état i S a pour période T si T est le pgcd des nombres n tels que P n i,i > 0. Remarque La définition de la période T de i n implique pas que Pi,i T > 0 (on pourrait par exemple avoir P i,i = 0, Pi,i 2 > 0 et P i,i 3 > 0 : on aurait alors T = 1 et P i,i T = 0). Remarque Si la chaîne est irréductible, tous les éléments ont la même période (Le vérifier à titre d exercice). On peut donc parler de la période d une chaîne irréductible. Définition 1. 2. 11 On appelle chaîne apériodique toute chaîne irréductible de période 1. Lemme 1. 2. 12 Soit X une chaîne apériodique. Quels que soient les états i et j, il existe un entier N(i, j) tel que n N(i, j), P n i,j > 0 Démonstration Puisque S est apériodique, il existe des entiers n 1,, n k de pgcd égal à 1 tels que > 0 pour tout i = 1,, k. P ni j,j Montrons que tout entier n suffisamment grand peut s écrire sous la forme k n = a i n i où les a i appartiennent à N. D après le théorème de Bezout, il existe des entiers b i Z tels que Soit N = écrire d où i=1 k b i n i = 1. k n i. Pour tout n N, il existe q N et r {0,, N 1} tels que n = qn + r. On peut donc i=1 n = r + n = k qn i, r = i=1 i=1 k rb i n i i=1 k (q + rb i )n i i=1 Soit q 0 un entier tel que tous les q 0 + rb i soient strictement positifs (possible cas il n y a qu un nombre fini de rb i possibles, puisque 0 r n 1 + + n k 1). Si n N 0 = q 0 N, le quotient q de la division euclidienne de n par N est supérieur ou égal à q 0, donc tous les entiers q + rb i sont positifs, ce qui prouve le résultat annoncé. On a alors, pour tout n N 0, P n j,j k i=1 ( P n i j,j) ai > 0 Du fait de l irréductibilité de la chaîne, il existe s > 0 tel que Pi,j s n + s N 0 + s. > 0. Donc P n+s i,j > 0 pour tout entier 8

Théorème 1. 2. 13 Soit X une chaîne de Markov apériodique admettant une distribution stationnaire π. (a) La chaîne est récurrente, et quels que soient les états i et j (b) La distribution stationnaire π est unique. lim P i,j n = π(j) n Démonstration Le point (b) découle clairement de la deuxième partie de (a). Si la chaîne était transitoiree, on aurait pour tous i et j, n part, pour tout n, ( t P ) n π = π (stationnarité répétée), donc P n i,j < + et donc lim n P n i,j = 0. Mais d autre j S, i S P n i,j π i = π j Soit ε > 0. Il existe une partie finie T S telle que i / T π i ε. On a donc 2 π j ε 2 + i T P n i,j π i ε 2 + i T P n i,j La suite ( i T P n i,j) n est une somme finie de suites tendant vers 0, donc elle tend vers 0 : il existe n 0 tel que En choisissant n = n 0, on obtient alors i T P n0 i,j ε 2 π j ε et la distribution π est identiquement nulle, donc n est pas une mesure de probabilité : contradiction. Par conséquent, la chaîne est récurrente. Pour prouver l autre partie du théorème, on introduit une chaîne sur S S de matrice de transition P ((i, j), (k, l)) = p i,k p j,l que nous appellerons chaîne-produit. (Cela revient à étudier l évolution en parallèle d un couple (X n, Y n ) de chaînes de Markov indépendantes admettant toutes les deux la matrice de transition P ). Quels que soient les états i, j, k, l, il existe, d après le lemme 1.2.12, des entiers N 0 et N 1 tels que n N 0 = P n i,k > 0, n N 1 = P n j,l > 0 (car X est irréductible et apériodique). Si on choisit n max(n 0, N 1 ), on obtient donc la chaîne-produit est irréductible. P n ((i, j), (k, l)) = P n i,k P n j,l > 0 Par ailleurs, on vérifie facilement que si on définit une mesure π (2) sur S S par (i, j) S S, π (2) (i, j) = π i π j cette mesure est une distribution de probabilité invariante pour la chaîne-produit : il en résulte, d après le début de la preuve, que cette chaîne est récurrente. On a donc, quels que soient les états i, j, i 0, P i,j (lim sup((x n, Y n ) = (i 0, i 0 ))) = 1 9

Si on définit la variable aléatoire T par T = inf{n 0 (X n, Y n ) = (i 0, i 0 )}, on a donc P i,j (T < + ) = 1. Soit m n deux entiers : P i,j ((X n, Y n ) = (k, l), T = m) = P i,j ( t < m, (X t, Y t ) (i 0, i 0 ), T = m, (X n, Y n ) = (k, l)) Sommons sur l ces égalités : Sommons les égalités précédentes sur k Ces deux termes sont identiques quand k = l : En sommant ces égalités pour m n, on en déduit = P i,j ( t < m, (X t, Y t ) (i 0, i 0 ), (X m, Y m ) = (i 0, i 0 )) P i0,i 0 ((X n m, Y n m ) = (k, l)) = P i,j (T = m) P n m i P n m 0,k i 0,l P i,j (X n = k, T = m) = P i,j (T = m) P n m i 0,k P i,j (Y n = l, T = m) = P i,j (T = m) P n m i 0,l P i,j (X n = k, T = m) = P i,j (Y n = l, T = m) P i,j (X n = k, T n) = P i,j (Y n = l, T n) On peut alors écrire P i,j (X n = k) P i,j (X n = k, T n) + P i,j (T > n) P i,j (Y n = k, T n) + P i,j (T > n) P i,j (Y n = k) + P i,j (T > n) Or, P i,j (X n = k) = P n i,k et P i,j(y n = k) = P n j,k. Donc P n i,k P n j,k P i,j (T > n) qui devient, en tenant compte du rôle symétrique de (X n ) et (Y n ) dans le raisonnement ci-dessus P n i,k P n j,k P i,j (T > n) On a vu plus haut que P i,j (T < + ) = 1 (récurrence de la chaîne-produit), donc lim n P i,j(t > n) = 0. On a donc lim n P n i,k P n j,k = 0 Or π k Pj,k n = ( ) π i Pi,k n π i Pj,k n i S i S = i S π i (P n i,k P n j,k) d où π k P n j,k i S π i P n i,k P n j,k On conclut en raisonnant de manière analogue à la méthode employée au début de la démonstration. Pour ε > 0 donné, il existe une partie finie T S telle que π i ε 2 i / T 10

La suite ( i T π i P n i,k P n j,k ) n est une somme finie de suites convergeant vers 0, donc elle converge vers 0 : il existe donc n 0 tel que, pour tout n n 0, Finalement, pour n n 0 π k P n j,k i/ T π i Pi,k n Pj,k n ε 2 i T π i P n i,k P n j,k + i T π i P n i,k P n j,k i/ T π i + ε 2 (car si x et y sont compris entre 0 et 1, x y 1) ce qui achève la démonstration. ε 2 + ε 2 = ε Nous finissons par quelques remarques concernant les propriétés des distributions stationnaires : si i est un état transitoire d une chaîne de Markov, et si π est une mesure invariante, on a forcément π(i) = 0. La même propriété s applique aux états récurrents nuls : ce sont les états i pour lesquels l espérance de l instant T i de premier retour en i est infinie (rappelons que par définition, la variable T i est presque sûrement finie quand i est récurrent, mais elle peut avoir une espérance finie ou non). Pour les autres états récurrents, que l on appelle états récurrents positifs, et dans le cas où la chaîne est irréductible, on a forcément π(i) = 1 E i (T i ). 1. 3 Exercices Exercice 1. 1 Soit P = ( ) a 1 a une matrice stochastique. 1 b b En posant a = 1 2 + x et b = 1 2 + y, montrer que la trace de P 2 est supérieure ou égale à 1. Exercice 1. 2 Montrer qu une chaîne de Markov est irréductible si et seulement si l une des deux conditions suivantes est réalisée : (a) Quels que soient les états i et j, f i,j > 0. (b) Quels que soient les états i et j, il existe un entier n > 0 tel que P n i,j > 0. Exercice 1. 3 Montrer que tous les éléments d une chaîne irréductible ont la même période. Indication - Soit d i la période de i. Montrer que d i divise tous les entiers n tels que Pj,j n > 0. Pour cela considérer N et M tels que Pi,j N > 0 et P j,i M > 0 et vérifier que d i divise N + n + M et N + 2n + M. Conclure. Exercice 1. 4 Montrer que si la matrice de transition d une chaîne de Markov est bistochastique, la loi uniforme sur S (qui n est une mesure finie que si S est finie) est une loi stationnaire. Exercice 1. 5 On suppose que, initialement, N boules blanches et N boules noires sont réparties entre deux urnes A et B, de sorte que chaque urne contienne N boules. A chaque étape, on choisit une boule au hasard dans chaque urne et on les échange. On désigne par X n le nombre de boules noires dans l urne A à l étape n. Calculer les probabilités de transition p i,j et vérifier que la chaîne est irréductible. Exercice 1. 6 On répartit initialement N boules entre deux urnes A et B : on place X 0 boules dans l urne A et N X 0 dans l urne B. On désigne par X n le nombre de boules présentes dans l urne A à l étape n. A cette étape, on fait deux tirages au sort : - On choisit l urne A avec probabilité X n N ou l urne B avec probabilité N X n N. 11

- Inépendamment de ce premier tirage au sort, on choisit de nouveau l urne A avec probabilité X n ou l urne N B avec probabilité N X n et on tire dans l urne choisie une boule au hasard. N Puis on place la boule choisie au deuxième tirage au sort dans l urne choisie au premier tirage au sort. Calculer les probabilités de transition p i,j et vérifier que la chaîne n est pas irréductible : il y a deux états absorbants 0 et N et tous les autres communiquent. Exercice 1. 7 La durée de vie T d un composant électronique est une variable aléatoire entière pouvant prendre toutes les valeurs k 1. On pose, pour k 1 α k = P (T = k), r k = P (T k) A chaque panne, le composant est immédiatement remplacé. En considérant que le processus commence à l instant n = 0, les instants de remplacement successifs sont donc T 1, T 2 + T 1, etc, où les T i représentent les durées de vie des composants successifs, supposées suivre la même loi que T et être des variables indépendantes. A chaque instant n, on désigne par X n l âge du composant en cours d utilisation. Si un composant tombe en panne à l instant n, il est immédiatement remplacé donc X n = 0. 1 Montrer que si j 0 et j i + 1, P (X n+1 = j X n = i) = 0. 2 Montrer que P (X n+1 = 0 X n = i) = P (T = i + 1 T i + 1) = α i+1 r i+1. En déduire que P i,i+1 = r i+2 r i+1. 3 Montrer que la chaîne est irréductible. 4 Pour n 1, on rappelle que f (n) 0,0 produise à l instant n. désigne la probabilité pour que le premier retour en 0 de la chaîne se Prouver que f (n) 0,0 = α n. En déduire que 0 est récurrent, et plus généralement que tous les états de cette chaîne sont récurrents. Exercice 1. 8 Processus de naissance et de mort On considère une chaîne de Markov X = (X n ) n 0, d espace d état S = N et de matrice de transition P définie par : P (x, x 1) = q x, P (x, x) = r x, P (x, x + 1) = p x avec p x + q x + r x = 1, q 0 = 0, q x > 0 si x > 0, p x > 0. Une telle chaîne est appelée chaîne de naissance et de mort. Le but est d étudier sous quelles conditions la chaîne est récurrente. Pour i élément de S, on pose T i = inf{n 0 X n = i} Etant donné trois états a, x et b tels que a x b, on désigne par u(x) la probabilité d atteindre l état a avant l état b sachant que l on part de x. On peut aussi écrire u(x) = P x (T a < T b ). 1 Justifier la terminologie. 2 Montrer que la chaîne est irréductible. 3 Montrer que u(x) = q x u(x 1) + r x u(x) + p x u(x + 1) En utilisant le fait que r x = 1 p x q x, en déduire que u(x + 1) u(x) = q x p x [u(x) u(x 1)] = q xq x 1 q a+1 p x p x 1 p a+1 [u(a + 1) u(a)] En calculant u(a) et u(b), et en sommant l égalité ci-dessus pour x = a, a + 1,, b 1, déterminer la différence u(a) u(a + 1). En sommant de nouveau l égalité ci-dessus, cette fois entre x et b 1, en déduire u(x) en fonction des nombres q 1 q t p 1 p t. 12

Déterminer en particulier u(x) quand p x = q x (processus symétrique). 4 Construire une simulation permettant de visualiser le dernier résultat de la question 3. On choisira par exemple a = 0, b = 10, x quelconque entre 1 et 9, et on prendra p x = q x = r x = 1/3. 5 Estimation de la durée moyenne du jeu On suppose dans la suite de l exercice que le jeu est homogène (les nombres p x, q x et r x sont indépendants de x : on les notera p, q et r) et équilibré (p = q). Répéter la simulation mise en place à la question précédente pour des valeurs variables de x et de r. Observer sur de nombreuses répétitions la durée moyenne T du jeu. Que constate-t-on? (On pourra s intéresser à la valeur de (1 r)t et conjecturer une formule. 6 Calcul exact de E(T ) Pour a x b, on désigne par E x (T ) l espérance de la variable T sous la condition initiale X 0 = x. On admettra dans la suite que E x (T ) est finie et on désigne ce nombre par u(x). a Calculer u(a) et u(b). b Montrer que si x {1,..., a + b 1}, u(x) = + k=1 + + kp x ((T = k) (X 1 = x 1)) + kp x ((T = k) (X 1 = x)) + kp x ((T = k) (X 1 = x + 1)) Vérifier que, si on pose T = T 1, k=1 P x (T = k X 1 = x 1) = P x 1 (T = k 1) (Utiliser la propriété de Markov en remarquant que T représente la durée du jeu à partir de l instant 1). En déduire que la première somme vaut p(1 + E x 1 (T )) et prouver finalement que u(x) = 1 + pu(x 1) + ru(x) + pu(x + 1) c En déduire que, si on pose d x = u(x + 1) u(x), la suite d x est arithmétique de raison 1/p. d Calculer d a + + d b 1 de deux manières. En déduire d a. e Calculer d a + + d x 1 de deux manières. En déduire que u(x) = à la conjecture faite grâce aux simulations de la question précédente. Exercice 1. 9 Réparation de machines k=1 (x a)(b x). Comparer ce résultat 1 r Pendant le jour n un nombre Z n+1 de machines tombe en panne et sont envoyées à un atelier de réparation. Cet atelier livre chaque jour une des machines en cours de réparation. On appelle X n le nombre de machines présentes à l atelier le jour n. Montrer que X n+1 = (X n 1) + + Z n+1 où a + = max(a, 0). On suppose que les Z n sont mutuellement indépendantes, indépendantes de X 0 et de même loi. 1 Montrer que (X n ) est une chaîne de Markov. 2 On pose, pour k 0, a k = P (Z 1 = k). Ecrire la matrice de transition de la chaîne (X n ) en fonction des a k. (On distinguera, pour calculer P (X n+1 = j X n = i), les cas i = 0 et i 0). L étude des propriétés de cette chaîne de Markov (comportement asymptotique, existence et unicité d une distribution stationnaire) dépend de la loi des variables Z n. 3 Simulation On suppose que les Z n suivent une loi de Poisson de paramètre λ = 1/2. Etudier par simulation l évolution asymptotique de la chaîne (X n ). Exercice 1. 10 Gestion de stock La demande pour un certain produit commercial entre les instants n et n + 1 est de Z n+1 unités (où les Z n sont mutuellement indépendantes, et en outre indépendantes de la valeur initiale X 0 du stock). 13

On suit la règle suivante pour la gestion des stocks d un certain produit dans une entreprise : au début de la journée n, un ordre de revalorisation du stock est donné, suivant la stratégie dite (s, S), où s et S sont des entiers vérifiant 0 < s < S. Si au début de la journée n, le stock est inférieur à s, une commande est placée pour monter le stock à S. Sinon, on ne commande rien. On suppose que le stock initial X 0 n excède pas S, de sorte que le stock X n prend ses valeurs dans l ensemble {S, S 1, S 2,...}. Les valeurs négatives sont possibles (elles correspondent à des commandes de clients à satisfaire dès restockage). 1 Vérifier que la suite (X n ) n N des valeurs du stock est une chaîne de Markov (on donnera une relation de récurrence entre X n, Z n+1 et X n+1 en distinguant deux cas). 2 Simuler le déroulement de cette chaîne de Markov sous l hypothèse s = 10, S = 20, et en supposant que les Z n valent 0, 1, 2 ou 3 avec équiprobabilité. Préciser dans ce cas l espace d état, étudier l existence d une probabilité stationnaire et son unicité. Exercice 1. 11 L urne d Ehrenfest Ce modèle d urne a été introduit en 1907 par les physiciens autrichiens Tatiana et Paul Ehrenfest pour décrire en termes de mécanique statistique les échanges de chaleur entre deux systèmes portés initialement à une température différente. On répartit initialement d boules numérotées de 1 à d entre deux urnes A et B. On tire un nombre i au hasard entre 1 et d et la boule numéro i est changée d urne. On désigne par X n le nombre de boules dans l urne A après n tirages indépendants. La chaîne (X n ) n N est appelée chaîne d Ehrenfest. 1 Montrer que (X n ) n N est une chaîne de Markov. Déterminer sa matrice de transition et montrer que la chaîne est irréductible. Vérifier aussi qu elle est périodique. 2 On suppose que X 0 est distribuée suivant une loi binomiale B(d, 1/2). Déterminer la distribution de X 1. Montrer que la loi binomiale est la seule à posséder cette propriété. 3 Dans cette question, on suppose que d = 3. Soit T 0 le nombre de tirages nécessaires pour vider A. Déterminer pour tout état x et pour n = 1, 2 ou 3, la probabilité conditionnelle P (T 0 = n X 0 = x). 4 Montrer que si l on choisit comme distribution de X 0 la loi binomiale B(d, 1/2), la chaîne (X n ) possède la propriété de réversibilité suivante : P (X n+1 = j X n = i)p (X n = i) = P (X n+1 = i X n = j)p (X n = j) 14