Chaîes de Markov jeudi 7 ovembre 203. Opératios sur les chaîes de Markov. Soit (X ) N et (Y N ) deux chaîes de Markov d espaces d états respectifs X et Y, et de matrices de trasitios respectives P et Q. Détermier das chacu des cas suivats si le processus cosidéré est ue chaîe de Markov, et doer le cas échéat la matrice de trasitio de la chaîe :. (X k ) N avec k u etier plus grad que 2. 2. ( f (X )) N avec f : X Y foctio arbitraire. 3. ( f (X )) N avec f : X Y foctio ijective. 4. (X + Y ) N si X = Y = N. 5. (X, X +,..., X +k ) N avec k fixé. 6. (X, Y ) N (doer ue coditio suffisate simple pour qu il s agisse d ue chaîe de Markov). 2. Chaîes de Markov à 2 états. O cosidère ue chaîe de Markov à deux états, et dot la matrice de trasitio s écrit doc ( β α α β ). À quelle coditio la chaîe est-elle récurrete irréductible? apériodique? Calculer e foctio de la loi iitiale π 0 les lois margiales π de la chaîe (X ) N. À quelle vitesse a-t-o covergece vers la loi limite π, et quelle est cette loi? 3. Le cube. O cosidère la chaîe de Markov d espace d états doé par les sommets d u cube, et tel qu à chaque étape o a probabilité /4 de rester au même edroit, et probabilité /4 de sauter à l u des 3 sommets voisis. Soiet x et y deux sommets diamétralemet opposés. Calculer E x [R x], E x [R y], et fialemet E x R x k= X =y qui est le ombre de visites moye de y avat le retour e x. 4. Marches aléatoires sur u graphe. Soit G = (V, E) u graphe fii o orieté, coexe, sas boucle i arête multiple. O cosidère la marche aléatoire (X ) N d espace d états V et de matrice de trasitio p(x, y) = { deg x, 0 sio. si (x, y) E Motrer que la chaîe de Markov est récurrete irréductible, et discuter de l apériodicité. Trouver ue mesure réversible pour cette chaîe, et éocer u théorème limite pour la loi de (X ) N.
5. L arbre. Étudier la marche aléatoire sur l arbre biaire ifii, avec les règles de trasitio de l exercice précédet. 6. Ures d Ehrefest. O cosidère la chaîe de Markov d espace d états [[0, ]] et de matrice de trasitio p(k, k ) = k p(k, k + ) = k Détermier la mesure ivariate de cette chaîe de Markov. p(i, j) = 0 sio. 7. Ures de Beroulli-Laplace. O cosidère deux ures U et U 2 coteat chacue k et l boules. O suppose que r boules sot de couleur rouge, et k + l r boules sot de couleur blache, et l o ote X le ombre de boules das U au temps qui sot de couleur rouge. À chaque étape, o choisit aléatoiremet ue boule das chaque ure et o échage leurs places. Motrer que X est ue chaîe de Markov sur l espace d états [[0, r]], dot o doera la matrice de trasitio. Détermier la loi limite de (X ) N. 8. Polygoes aléatoires. Soit P u polygoe covexe, auquel o applique l opératio suivate : o choisit au hasard deux côtés de P, o joit les milieux de ces côtés et l o garde l u des deux ouveaux polygoes covexes plus petits aisi obteus. Motrer que si X + 3 est le ombre de côtés de P au bout de étapes, alors (X ) N est ue chaîe de Markov. Calculer E[X ] e foctio de X 0, et trouver la loi limite de cette chaîe. 9. Chaîes réversibles. Soit P la matrice de trasitio d ue chaîe de Markov (X ) N, telle qu existe ue mesure de probabilité π qui est P-ivariate. O suppose X 0 distribué suivat π. Rappeler pourquoi toutes les variables X sot distribuées suivat π. O fixe N et o ote (Y ) N = (X N ) N. Motrer que (Y ) N est ue chaîe de Markov de matrice de trasitio P(x, y) = π(y) P(y, x) π(x) Ue mesure de probabilité π sur l espace d états X est dite réversible si pour tout couple (x, y), π(x) P(x, y) = π(y) P(y, x). Motrer que si la mesure π est réversible, alors elle est aussi P-ivariate, et que (Y ) N est das ce cas ue chaîe de Markov de même loi que (X ) N. 0. Moyees de coefficiets de matrices stochastiques. Soit P ue matrice stochastique irréductible admettat ue mesure de probabilité ivariate π. Motrer que pour tous idices x, y, lim P k (x, y) = π(y). k=
. Le processus (X k ) N est bie ue chaîe de Markov, puisque P[X k(+) = x + X 0 = x 0, X k = x, X 2k = x 2,..., X k = x ] = P[X k(+) = x + X k = x ] = P x [X k = x + ] = P k (x, x + ) sa matrice de trasitio est P k. Ue foctio d ue chaîe de Markov est pas e gééral ue chaîe de Markov : par exemple, si (X ) N est la marche aléatoire simple issue de 0 et f (X ) = X 0, alors (Y ) N = ( f (X )) N est pas ue chaîe de Markov, car P[Y = Y 0 = ] = 2 P[Y 2 = Y = ] =. E revache, ue foctio ijective d ue chaîe de Markov est ue chaîe de Markov, de matrice de trasitio Q(y, y 2 ) = P( f (y ), f (y 2 )). La somme de deux chaîes de Markov à valeurs etières est pas e gééral ue chaîe de Markov. Par exemple, cosidéros ue marche aléatoire simple (X ) N issue de 0, et posos Y = X + (Y ) N est aussi ue chaîe de Markov. Si X 0 + Y 0 =, alors X 0 = 0 et X =, doc X 2 = 0 ou 2 avec probabilité /2 et la loi coditioelle de X + Y sachat X 0 + Y 0 = est 2 (δ + δ 3 ). Maiteat, si X + Y =, alors écessairemet X = et X 2 = 0, doc X 3 = ou avec probabilité /2 et la loi coditioelle de X 2 + Y 2 sachat X + Y = est 2 (δ + δ ). La somme (X + Y ) N est doc pas ue chaîe de Markov. Si (X ) N est ue chaîe de Markov, alors il e va de même de tout k + -uplet (X,..., X +k ), car : P[(X,..., X +k ) = (y,..., y +k ) X 0 = x 0,..., X +k = x +k ] ( ) k = δ x+j,y +j P(x +k, y +k ) j=0 e utilisat la propriété de Markov pour (X ) N. O obtiet ue foctio de (x,..., x +k ) et (y,..., y +k ), ce qu il fallait démotrer. Efi, le couple (X, Y ) N formé par deux chaîes de Markov est pas e gééral ue chaîe de Markov à valeurs das X Y, mais c e est ue si les deux suites de variables aléatoires sot idépedates. Das ce cas, la matrice de trasitio du couple est le produit tesoriel P Q des matrices de trasitio de (X ) N et de (Y ) N, c est-à-dire que P[(X +, Y + ) = (x +, y + ) (X 0, Y 0 ) = (x 0, y 0 ),..., (X, Y ) = (x, y )] = P(x, x + ) Q(y, y + ).
2. La chaîe est récurrete irréductible si et seulemet si α < et β <, ce qui garatit P(a, b) > 0 et P(b, a) > 0 si a et b sot les deux états de la chaîe. Elle est de plus apériodique si α > 0 ou β > 0 sio P = ( 0 0 ) est de période 2. Les deux valeurs propres de P sot et α + β, associées aux vecteurs propres β π = ( 2 α β, α 2 α β ) et (, ). La décompositio d ue mesure de probabilité π 0 sur cette base s écrit ( π 0 = π + π 0 (a) β ) (, ). 2 α β Par coséquet, les lois margiales de la chaîe de Markov de mesure iitiale π 0 = (π 0 (a), π 0 (b)) s écrivet π (a) = β ( 2 α β + π 0 (a) β ) (α + β ) 2 α β π (b) = α ( 2 α β + π 0 (b) α ) (α + β ). 2 α β La covergece est expoetiellemet rapide, de vitesse α + β. 3. O cosidère la marche aléatoire sur le graphe suivat : 7 8=y 3 6 4 5 x = 2 Cette chaîe de Markov est clairemet irréductible, et récurrete positive puisque l espace d états est fii. La mesure uiforme π est ivariate pour la chaîe de Markov : e effet, o a bie (πp)() = π() + π(2) + π(3) + π(4) 4 = 8 = π(), et de même pour les autres sommets par symétrie. La théorie des chaîes de Markov récurretes positives assure alors que E x [R x] = π(x) = 8. De même, ν(y) = E x [ombre de visites de y avat le retour e x] est ue mesure ivariate sur le cube, doc c est u multiple de la mesure ivariate π(y), qui est la mesure uiforme. Comme ν(x) =, o a aussi ν(y) =, doc il y a
e moyee visite de y (et e fait de tous les états du cube) lors d ue excursio à partir de x. Fialemet, pour calculer E x [R y], o peut utiliser l argumet suivat. Découpos le cube e traches a = {}, b = {2, 3, 4}, c = {5, 6, 7}, et d = {8} alors la suite (Y ) N des traches visitées par la marche (X ) N est elle-même ue chaîe de Markov, de trasitios : p(a, a) = 4 p(a, b) = 3 4 p(b, a) = 4 p(b, b) = 4 p(b, c) = 2 p(c, b) = 2 p(c, c) = 4 p(c, d) = 4 p(d, c) = 3 4 p(d, d) = 4. E utilisat la propriété de Markov forte, o calcule récursivemet E a [T b ], E b [T c ] et E c [T d ] : E a [T b ] = 4 ( + E a[t b ]) + 3 4 E a [T b ] = 4 3 E b [T c ] = 4 ( + E a[t b ] + E b [T c ]) + 4 ( + E b[t c ]) + 2 E c [T d ] = 2 ( + E b[t c ] + E c [T d ]) + 4 ( + E c[t d ]) + 4 E b [T c ] = 8 3 E c [T d ] = 28 3. O coclut que E x [R y] = E a [T d ] = E a [T b ] + E b [T c ] + E c [T d ] = 40 3. 4. La marche aléatoire sur u graphe coexe est irréductible (o peut passer de x à y pour importe quel couple (x, y)), et elle est doc récurrete irréductible si le graphe est fii. Elle est apériodique si et seulemet s il existe das le graphe des cycles de logueur impair (x 0, x,..., x 2+ = x 0 ) avec. E effet, la période de la chaîe de Markov divise alors 2 +, et d autre part, (x 0, x, x 0 ) est u autre cycle du graphe, doc la période divise égalemet 2 elle est doc égale à. Réciproquemet, si le graphe e cotiet pas de cycle de logueur impair, alors P (x, y) > 0 si et seulemet si est pair, de sorte que la période de la chaîe est égalemet u ombre pair doc la chaîe est pas apériodique. Ue mesure réversible pour la chaîe de Markov est x y π(x) = deg x y V deg y = deg x 2 card E, car π(x) p(x, y) = 2 card E = π(y) p(y, x). Par le théorème ergodique pour les chaîes de Markov fiies, si le graphe cotiet des cycles de logueur impair, alors x V, lim P[X = x] = deg x 2 card E.
5. O cosidère la marche aléatoire sur l arbre : 3 2 0 Elle est clairemet irréductible. Soit (L ) N la suite des iveaux des sommets visités par la marche (X ) N. C est ue chaîe de Markov de matrice de trasitio P(0, ) = P(k = 0, k ) = 3 P(k = 0, k + ) = 2 3. Sauf au iveau de la racie, il y a deux fois plus de chaces de moter das l arbre que de descedre, doc o peut s attedre à ce que L + presque sûremet. Pour démotrer ceci rigoureusemet, o peut utiliser la représetatio suivate de la chaîe (L ) N. Soit (ζ k ) k N ue suite de variables de Beroulli idépedates avec P[ζ k = ] = 2 3. Alors, (L ) N a même loi que ( L 0 + ( ) ) ζ k + L0 + k j= k= ζ j=0 ( ζ k). N E particulier, L L 0 + k= ζ k, doc L + p.s. par la loi des grads ombres. Par coséquet, la marche aléatoire sur l arbre biaire ifii est irréductible trasiete. 6. La chaîe de Markov est irréductible, puisqu o peut se déplacer de voisi e voisi sur tout l itervalle [[0, ]] comme l espace d états est fii, elle est égalemet récurrete. Pour trouver la loi ivariate, o peut rechercher ue mesure réversible, qui vérifie les équatios de récurrece : Alors, si π(0) = λ, o a π() = ( k ) λ pour tout k. Comme p(k, k + ) π(k + ) = π(k) p(k +, k) = k k + π(k). λ, π(2) = ( ) 2 λ, et par récurrece π(k) = ( ) = 2, k λ = 2, et la mesure ivariate est π(k) = B(, /2). 2 ( k ), c est-à-dire 9 la loi biomiale
7. Les trasitios de (X ) N sot détermiées par le raisoemet suivat. Si l o tire ue boule rouge das l ure U et ue boule blache das l ure U 2, alors le ombre de boules rouges das l ure U dimiue d ue uité, doc P(i, i ) = max(i, 0) k max(l r + i, 0) l pour i [[0, k]]. Si l o tire ue boule blache das l ure U et ue boule rouge das l ure U 2, alors le ombre de boules rouges das l ure U augmete d ue uité, doc max(k i, 0) max(r i, 0) P(i, i + ) =. k l Das les autres cas, le ombre de boules rouges das l ure U reste ivariat, doc P(i, i) = max(i, 0) max(r i, 0) + max(k i, 0) max(l r + i, 0). kl O peut passer de voisi e voisi sur tout l itervalle [[max(0, r l), mi(k, r)]], doc la chaîe de Markov est récurrete irréductible sur cet itervalle. Elle est égalemet apériodique dès que cet itervalle est de logueur supérieure à 2, puisque P(i, i) > 0 pour les idices i strictemet das l itervalle. Par le théorème ergodique pour les chaîes de Markov fiies apériodiques, la loi π de X coverge vers l uique mesure ivariate par la matrice de trasitio. O peut rechercher ue mesure réversible, et elle vérifie π(i + ) = π(i) P(i, i + ) P(i +, i) = (k i)(r i) (i + )(l r + i + ) π(i) pour i et i + das l espace d états de la chaîe. E supposat pour simplifier k r k(k ) r(r ) r < l et r < k, si π(0) = λ, o obtiet π() = λ, π(2) = (l r+) 2 (l r+)(l r+2) λ, et par récurrece, π(k) = ( ) k i r (l r)! (r i)! (l r + i)! λ = ( ) ( ) k l λ. i r i Comme mi(k,r) i=max(0,r l) (k i )( l r i ) = (k+l r ), o e déduit la valeur de λ, et π(i) = (k i )( l r i ) ( k+l r ) est la loi hypergéométrique de paramètres (k, k + l, r). C est la limite de π lorsque ted vers l ifii.
8. Notos C = X + 3. État doés deux côtés F et G d u polygoe covexe à c côtés, il y a respectivemet k et c 2 k côtés etre F et G selo qu o parcourt le bord du polygoe das u ses ou das l autre. Si les deux côtés sot choisis au hasard, alors k a ue loi uiforme sur [[0, c 2]]. L opératio décrite fourit alors deux polygôes avec respectivemet 3 + k et c + k côtés, ces deux quatités suivat toutes les deux des lois uiformes sur [[3, c + ]]. Par coséquet, la loi de C + sachat C est la loi uiforme sur [[3, C + ]]. La loi de X + sachat X est doc la loi uiforme sur [[0, X + ]], et (X ) N est ue chaîe de Markov de matrice de trasitio { P(i, j) = i+2 si j [[0, i + ]], 0 sio. La chaîe est clairemet irréductible sur N. La moyee de X + sachat X est X + 2. La suite α = E[X ] est doc ue suite arithmético-géométrique d équatio α + = α + α 0 = X 0. 2 O coclut que E[X ] = X 0 2 +. E particulier, E[X ] ted vers, doc la probabilité P[X k] reste borée par C/k pour tout k. Il s esuit que la chaîe e peut pas être trasiete, elle est doc récurrete irréductible. Pour trouver ue mesure statioaire, o peut raisoer comme suit. Supposos qu il existe ue mesure de probabilité ivariate π, de foctio géératrice G(s) = π(s X ) = π(k) sk. Ce qui précède motre que π(s X ) doit être égal à π(e[s U(X+) ]), c est-à-dire + s + s 2 + + s k+ p k k + 2 O e déduit les équatios foctioelles : (s ) G(s) = = p k k + 2 p k s k+2 k + 2 s k+2 s. p k k + 2 (s ) G (s) + G(s) = s G(s) par dérivatio. Autremet dit, G (s) = G(s), et G(s) = e s est la foctio géératrice de la loi de Poisso de paramètre. O vérifie qu effectivemet, (π P)(k) = π(j) j + 2 = j=k = e j=k j=k e j!(j + 2) j + (j + 2)! = e j=k (j + )! (j + 2)! = e k! = π(k). La chaîe est doc récurrete positive, et elle est apériodique puisque P(i, i) = pour tout i. Aisi, (X ) N coverge vers la loi de Poisso P().
9. O peut calculer P[Y + = x + Y 0 = x 0, Y = x,, Y = x ] = P[Y 0 = x 0, Y = x,, Y = x, Y + = x + ] P[Y 0 = x 0, Y = x,, Y = x ] = P[X N = x 0, X N = x,, X N = x, X N = x + ] P[X N = x 0, X N = x,, X N = x ] = π(x +)P(x +, x ) P(x, x 0 ) π(x )P(x, x ) P(x, x 0 ) = π(x +)P(x +, x ) π(x ) ce qui prouve la propriété de Markov de la chaîe reversée, et doe la matrice de trasitio P(x, x + ). Pour les autres assertios, voir le cours. 0. Par le théorème ergodique, les variables aléatoires k= δ X k =y coverget p.s. vers π(y). Comme ces variables sot uiformémet borées par, par covergece domiée, o a aussi qui coverge vers π(y). E x [ ] δ Xk =y = k= P k (x, y) k=