Chaîes de Markov Arthur Charpetier École Natioale de la Statistique et d Aalyse de l Iformatio - otes de cours à usage exclusif des étudiats de l ENSAI - - e pas diffuser, e pas citer - Quelques motivatios. La setielle de la tour carrée Lors d ue rode, ue méthode simple pour tromper l eemi est d avacer ou reculer de maière aléatoire, e tirat à pile ou face. Comme précédemet, si X désige la positio du garde à l istat, l évolutio peut se modéliser à l aide d ue matrice de trasitio, /N/ /E/ /S/ /O/ N 0 /2 0 /2 P = E /2 0 /2 0 S 0 /2 0 /2 O /2 0 /2 0.2 Le système bous-malus e assurace auto A Hog Kog, il existe 6 classes de tarificatio, de (fort bous) à 6 fort malus si u assuré a pas eu de siistre, il passe de i à max{, i }, si l assuré a eu au mois u siistre, il passe de i à 6. Si p est la probabilité de e pas avoir de siistre, p 0 0 0 0 p p 0 0 0 0 p P = 0 p 0 0 0 p 0 0 p 0 0 p 0 0 0 p 0 p 0 0 0 0 p p Proportio par classe e foctio de, p=90% Proportio par classe e foctio de, p=80% 0.0 0.2 0.4 0.6 0.8.0 0.0 0.2 0.4 0.6 0.8.0
si u assuré a pas eu de siistre, il passe de i à max{, i }, si l assuré a eu k siistres, il passe de i à mi{6, i + k}. Si le ombre de siistres suit ue loi de Poisso p k = P(N = k) = e λ λ k /k!, k N, et p k = p 0 +... + p k, p 0 p p 2 p 3 p 4 p 4 p 0 0 p p 2 p 3 p 3 P = 0 p 0 0 p p 2 p 2 0 0 p 0 0 p p 0 0 0 p 0 0 p 0 0 0 0 0 p 0 p 0 Proportio par classe e foctio de, 0% Proportio par classe e foctio de, 35% 0.0 0.2 0.4 0.6 0.8.0 0.0 0.2 0.4 0.6 0.8.0.3 La ruie d u joueur Deux joueurs jouet à pile ou face, chaque fois que X gage, il touche de Y, et réciproquemet. Ils partet respectivemet d u capital X 0 et Y 0, et le jeu s arrête lorsqu u joueur a plus d arget pour payer. La fortue d u joueur pred les valeurs {0,, 2,..., X 0 + Y 0 }. Si le joueur X possède ue fortue X = k à la date, à la date + sa fortue deviet k avec probabilité p etk + avec probabilité p si 0 < k < X 0 + Y 0, sa fortue reste e 0 avec probabilité si k = 0, sa fortue reste e X 0 + Y 0 avec probabilité si k = X 0 + Y 0..4 Le modèle steppig stoe O cosidère u tableau, où chaque cellule a ue couleur choisie parmi k. A chaque date, o choisit ue cellule au hasard, qui pred la couleur d u de ses voisis immédiat, au hasard. Les figures suivates motret l évolutio de ce système pour k = 2 couleurs, et = 40, puis k = 8 couleurs, et = 80. O peut motrer qu il s agit d ue chaîe de Markov absorbate au ses où des régios absorbates vot se former, Ce type de modèle apparaît aturellemet e géétique. Ue aimatio de cet algorithme est téléchargeable sur http://www.crest.fr/pageperso/charpet/mc-st-000.avi
Le moldèle Steppig stoe, Etape 0 0 0 20 30 40 0 0 20 30 40 Figure : Le modèle steppig stoe, k = 2 et = 40. Le moldèle Steppig stoe, Etape 0 000 0 0 20 30 40 0 0 20 30 40 Figure 2: Le modèle steppig stoe, k = 2 et = 40. Le moldèle Steppig stoe, Etape 000 000 0 0 20 30 40 0 0 20 30 40 Figure 3: Le modèle steppig stoe, k = 2 et = 40.
Le moldèle Steppig stoe, Etape 0 0 20 40 60 80 0 20 40 60 80 Figure 4: Le modèle steppig stoe, k = 8 et = 80. Le moldèle Steppig stoe, Etape 000 000 0 20 40 60 80 0 20 40 60 80 Figure 5: Le modèle steppig stoe, k = 8 et = 80.
.5 Ue applicatio écoomique La plupart des etreprises qui émettet des obligatios sot otées par des ageces de otatios (Moody s ou Stadard & Poors). Les otes sot de la forme AAA, AA, A, BBB, BB, B, CCC, du plus sûr au plus risqué. De matrice de trasitio sur u a existet: AAA AA A BBB BB B CCC défaut AAA 90, 8% 8, 33% 0, 68% 0, 06% 0, 2% 0, 00% 0, 00% 0, 00% AA 0, 70% 90, 65% 7, 79% 0, 64% 0, 06% 0, 4% 0, 02% 0, 00% A 0, 09% 2, 27% 9, 05% 5, 52% 0, 74% 0, 26% 0, 0% 0, 06% BBB 0, 02% 0, 33% 5, 95% 86, 93% 5, 30%, 7% 0, 2% 0, 8% BB 0, 02% 0, 4% 0, 67% 7, 73% 80, 53% 8, 84%, 00%, 06% B 0, 00% 0, % 0, 24% 0, 43% 6, 48% 83, 46% 4, 08% 5, 20% CCC 0, 22% 0, 00% 0, 22%, 30% 2, 38% 5, 00% 64, 85% 9, 79% défaut 0, 00% 0, 00% 0, 00% 0, 00% 0, 00% 0, 00% 0, 00% 00%.6 Applicatios lexicographiques Cette applicatio a été proposée das la modélisatio iitiale d Adrei Adreevich Markov, e 93. O cosidère ue suite de 20 000 caractères pris das Eugèe Oegi d Alexadre Pouchkie, et o distigue etre les voyelles, et les cosoes. Heedless of the proud world s ejoymet, I prize the attetio of my frieds, ad oly wish that my employmet could have bee tured to worthier eds... E russe, il avait obteue la matrice de trasitio suivate, P = ( 2, 8% 87, 2% 66, 3% 33, 7% i.e. la probabilité qu ue voyelle soit suivie d ue cosoe est de 87, 2%. La loi limite associé cette matrice est π = (43, 2% 56, 8%), ce qui correspod aux fréqueces des voyelles et des cosoes respectivemet. Notos qu e fraçais les fréqueces sot π = (45, 6% 54, 4%), pour l italie π = (47, 4% 52, 6%), et pour l allemad π = (38, 5% 6, 5%)..7 Diffusio d u gaz et ure Les chaîes de Markov avaiet été itroduites avat les travaux de Markov: E 889, Galto a itroduit des chaîes de Markov pour étudier le problème de la disparitio de oms de famille. E 907, Ehrefest a itroduit des chaîes de Markov pour étudier la diffusio d u gaz..8 Chaîes de Markov et jeux de cartes E 92, Poicarré a itroduit des chaîes de Markov pour étudier le problème du battage de cartes. Ce problème a été étudié par la suite par Borel & Chero (940), Doob (954) ou Thorpe (972). Le ombre de méthodes pour battre les cartes est presque ifii, O coupe e deux, et o itervertit les deux tas (figure.8), ), 2 O pred ue carte au hasard, o la met au dessus du tas, et o recommece (figure??). Toutes ces méthodes coduiset plus ou mois vite (parfois jamais) à ue répartitio uiformémet aléatoire des cartes.
Ure d Ehrefest, étape 0 Ure d Ehrefest, étape Ure d Ehrefest, étape 2 Ure d Ehrefest, étape 0 000 Figure 6: L ure d Ehrefest. Ure d Ehrefest, étape 0 Ure d Ehrefest, étape Ure d Ehrefest, étape 2 Ure d Ehrefest, étape 0 000 Figure 7: L ure d Ehrefest. 2 3 4 5 6 7 8 9 V D R 9 V D R 2 3 4 5 6 7 8 R 2 3 4 5 6 7 8 9 V D V D R 2 3 4 5 6 7 8 9 Figure 8: Le battage de cartes.
2 3 4 5 6 7 8 9 V D R 5 2 3 4 6 7 8 9 V D R 3 5 2 4 6 7 8 9 V D R 9 3 5 2 4 6 7 8 V D R 4 9 3 5 2 6 7 8 V D R 9 4 3 5 2 6 7 8 V D R 2 9 4 3 5 6 7 8 V D R 4 2 9 3 5 6 7 8 V D R Figure 9: Le battage de cartes..9 Chaîes de Markov et ADN L ADN est ue successio de ucléotique, l adémie, la cytosie, la guaie et la thymie. Par exemple gactgaactctgag... Rappelos qu il y a e réalité deux bris complémetaires, le a s associat toujours au t, et le c avec le g. O ote cg le diucléotide c suivi de g. Ces diucléotide ot aturellemet tedace à disparaître (par méthylatio c mute facitemet e t). Les séqueces cg est alors plus rare que ce que l o pourrait espérer. Das certaies régios toutefois, appelée ilôts, o trouve beaucoup de cg. Soit X le premier ucléotide d ue séquece d ADN, de loi de probabilité λ = (λ a, λ c, λ g, λ t ), où λ a = P(X = a), λ c = P(X = c), λ g = P(X = g) et λ t = P(X = t), avec λ a + λ c + λ g + λ t = et λ a, λ c, λ g, λ t 0. Il peut paraître légitime de peser que la suite des ucléotides (X ) N est pas idépedate. U modèle Markovie devrait pouvoir faire l affaire. Das la régio d ilôts cg, la matrice de trasitio (observée empiriquemet) pour le vecteur X = a c g t est P = 8, 0% 27, 4% 42, 6% 2, 0% 7, % 36, 8% 27, 4% 8, 8% 6, % 33, 9% 37, 5% 2, 5% 7, 9% 35, 5% 38, 4% 8, 6% et das la regio où régio l o est pas e présece d ilôts cg, 30, 0% 20, 5% 28, 5% 2, 0% P = 32, 2% 29, 8% 7, 8% 30, 2% 24, 8% 24, 6% 29, 8% 20, 8% 7, 7% 23, 9% 29, 2% 29, 2%.0 Applicatio au jeu de Moopoly Le jeu de Moopoly peut être vu comme ue marche aléatoire sur 40 cases, avec pour chaque case, des répercussios sur le déplacemet (aller e priso) et/ou la fortue (payer car u adversaire a costruit u hotel, ou recevoir 20 000 fracs). La positio d u joueur est ue chaîe de Markov à 40 états (dot u de probabilité ulle allez e priso ). Il est aisi possible de motrer que l aveue Heri Marti est la plus fréquetée (3,2%) alors que la rue Lecourbe et l aveue des Champs Elysées sot les mois fréquetée (2,%), et que la zoe orage l emporte sur la zoe rouge.
le cas où T est cotiu (R ou R + ), et le cas où X est déombrable: processus de Poisso, Probabilité de gager u jeu au teis Probabilité de gager u jeu 0.0 0.2 0.4 0.6 0.8.0 0.0 0.2 0.4 0.6 0.8.0 Probabilité de gager ue balle Figure 0: Probabilité de gager u jeu au teis.. Modélisatio d ue partie de teis Le jeu de teis. Cosidéros l évolutio du score au cours d u jeu de teis. U joueur gage le jeu s il atteit 50. (0,50) (5,50) (30,50) (0,40) (5,40) (30,40) (0,30) (5,30) (30,30) (40,30) (50,30) (0,5) (5,5) (30,5) (40,5) (50,5) (0,0) (5,0) (30,0) (40,0) (50,0).2 Les processus de file d attete O cosidère ue file d attete. A chaque date arrive u ouveau cliet avec probabilité p et pas de cliet avec probabilité p. U cliet das la file qui se fait servir quitte la file avec probabilité q, ou atted ecore avec probabilité q. O ote X le ombre de cliets présets das la file à la date. (X ) N est ue chaîe de Markov. A l aide de cette modélisatio (et e gééralisat), o peut regarder s il est optimal - lorsqu il y a plusieurs guichets - de créer ue file uique, ou que les cliets choisisset leur file e arrivat (e choisissat a priori la file la mois logue)..3 Cosidératio plus géérales, itroductio aux processus U processus (X t ) t T est ue collectio de variables aléatoires à valeurs das X. Pour tout ω Ω, la suite (X t (ω)) sera appelée ue trajectoire. Parmi les processus usuels, o distiguera le cas où T est discret (N ou Z), et X est déombrable: chaîe de Markov, le cas où T est discret (N ou Z), et X = R: séries temporelles,
File d attete p>q Modèle de file d attete p>q Nombre d uagers das la queue 0 2 4 6 8 0 Nombre d usagers das la file 5 0 5 20 25 30 0 5 0 5 20 Date 0 20 40 60 80 00 Dates Figure : Evolutio de la file d attete, p > q. File d attete p>q Modèle de file d attete p>q Nombre d uagers das la queue 0 2 4 6 8 0 Nombre d usagers das la file 2 4 6 8 0 2 4 6 0 5 0 5 20 Date 0 20 40 60 80 00 Dates Figure 2: Evolutio de la file d attete, p > q. File d attete p=q Modèle de file d attete p=q Nombre d uagers das la queue 0 2 4 6 8 0 Nombre d usagers das la file 0 2 3 4 0 5 0 5 20 Date 0 20 40 60 80 00 Dates Figure 3: Evolutio de la file d attete, p = q.
File d attete p<q Modèle de file d attete p<q Nombre d uagers das la queue 0 2 4 6 8 0 Nombre d usagers das la file 0.0 0.5.0.5 2.0 2.5 3.0 0 5 0 5 20 Date 0 20 40 60 80 00 Dates Figure 4: Evolutio de la file d attete, p < q. le cas où T est cotiu et X = R : processus stochastiques. Trajectoire d ue chaîe de Markov Trajectoire d ue chaîe de Markov Trajectoire d ue chaîe de Markov Trajectoire d ue chaîe de Markov
Trajectoire d ue série temporelle Trajectoire d ue série temporelle!4!2 0 2 4!4!2 0 2 4 2 4 6 8 0 2 4 6 8 0 Trajectoire d u processus de comptage Trajectoire d u processus de comptage 0 2 4 6 8 0 2 4 6 8 0 2 4 6 8 0 0 2 4 6 8 0 Trajectoire d u processus stochastique Trajectoire d u processus stochastique!4!2 0 2 4!4!2 0 2 4 0 2 4 6 8 0 0 2 4 6 8 0 2 Quelques petits rappels de probabilité L étude des chaîes de Markov va reposer sur l étude de la loi de X + sachat X = x. 2. La loi coditioelle P(A B) Rappelos la formule de Bayes : P(A B) =. P(B) Aussi, P(X + = x + X = x ) = P(X = x, X + = x + ). P(X = x ) La formule des probabilités totales : si (B k ) k K forme ue partitio de E, alors P(A) = P(A B k ) = P(A B k ) P(B k ).
Aussi, P(X + = x + ) == P(X + = x + X = x ) P(X = x ). x E 2.2 U tout petit mot sur l idépedace X et X + sot idépedates si et seulemet si P(X + = x + X = x ) e déped pas de x. Das ce cas {X 0, X,..., X, X + } est u échatillo idépedat. Si les X i sot de même loi, et si les variables sot de variace fiie, rappelos que l o a ue loi (faible) des grads ombres (théorème de Khitchie), qui garatie que ( ) lim P X +... + X E(X) > ε = 0, qui se motre à l aide de l iégalité de Tchebychev, et doc X +... + X P E(X). La loi (forte) des grads ombres garatie ue covergece presque sûr dès lors que les variables sot d espérace fiie, ( ) X +... + X P lim (ω) = E(X) =. 3 Quelques défiitios Soit E u espace déombrable, appelé espace d états. Les i E sot appelés états. E sera isomorphe à {,..., k}, ou à N. Exemple. Das le cas de la setielle sur la tour carrée, {N, S, E, O} sera isomorphe à {, 2, 3, 4}. Ue mesure sur E est u vecteur λ = (λ i, i E) tel que 0 λ i <. O parlera de distributio de probabilité si λ =. O se doe u espace de probabilité (Ω, F, P). Ue variable aléatoire X à valeurs das E est ue foctio X : Ω E. O pose alors λ i = P(X = i) = P({ω X(ω) = i}), et λ = (λ i ) i E. Défiitio 2. O cosidère ue suite de variables aléatoires à valeurs das E, (X ) N. Cette suite est ue chaîe de Markov si pour tout, et pour tout i 0, i,..., i, i, i + telle que P(X 0 = i 0,..., X = i ) > 0, o ait P(X + = i + X = i, X = i,..., X 0 = i 0 ) = P(X + = i + X = i ). () O parlera d absece de mémoire. Remarque 3. O parlera aussi de processus Markovie à l ordre. Plus gééralemet, o peut défiir u processus Markovie à l ordre k si P(X + = i + X = i, X = i,..., X 0 = i 0 ) (2) = P(X + = i + X = i,..., X k+ = i k+ ). (3) E posat X = (X,..., X k+ ), à valeurs das E k, otos que l équatio précédate s écrit P(X + = i + X = i, X = i,..., X k = i k ) = P(X + = i + X = i ). O retrouve u processus Markovie à l ordre, sur X = (X,..., X k+ ). Défiitio 4. Ue chaîe de Markov (X ) N est dite homogèe (das le temps) si P(X + = i + X = i ) e déped pas de.
La dyamique du processus est alors etièremet caractérisée par les p = P(X + = j X = i), appelées probabilité de trasitio de l état i à l état j si la chaîe est homogèe, ou plus gééralemet p () = P(X + = j X = i). Défiitio 5. Ue matrice P = (p, i, j I) est ue matrice stochastique, ou matrice de trasitio, si chaque lige p i = (p, j I) est ue distributio de probabilité. Pour tout i, j E p peut alors s iterpréter comme la probabilité d aller à l état j sachat qu o se trouve à l état i à l istat d avat. Remarque 6. A toute matrice de trasitio, o peut associer u graphe orieté. Les sommets sot les états de la chaîe, et l orietatio est doée par la probabilité p > 0. ( ) α α Exemple 7. La matrice P = est ue matrice stochastique. β β -α -β α 2 β Les chaîes de Markov peuvet être iterprétées comme des marches aléatoires (à probabilité o uiformes) sur u graphe. /2 /2 0 Exemple 8. La matrice P = 2/3 0 /3 est ue matrice stochastique. 0 2/3 /3 /2 /3 2/3 /2 /3 2 3 2/3 /2 /2 0 Exemple 9. La matrice P = 2/3 0 /3 est ue matrice stochastique. 0 0 /2 2/3 /2 /3 2 3 Exemple 0. La matrice P = /5 /5 3/5 0 /2 /2 0 0 est ue matrice stochastique.
/5 3/5 /2 3 2 /2 Défiitio. Ue suite de variable aléatoire (X ) N est ue chaîe de Markov de distributio iitiale λ et de matrice de trasitio P = [p ] si X 0 a pour distributio iitiale λ, i.e. P(X 0 = i) = λ i, le probabilité que X + = j sachat que X = i est p, i.e. P(X + = j X = i) = p. Théorème 2. (Propriété de Markov) Si (X ) N est ue chaîe de Markov de distributio iitiale λ et de matrice de trasitio P, alors coditioellemet à X 0 = i, (X 0 +) N est ue chaîe de Markov, de distributio iitiale δ i et de matrice de trasitio P, idépedate des variables aléatoires {X 0,..., X 0 }. Propositio 3. si P est ue matrice stochastique et λ ue distributio de probabilité, (λp ) j = λ i p est ue mesure de probabilité. i Propositio 4. Ue suite récurrete aléatoire X + = f(x, U + ) avec (U ) suite de v.a. i.i.d. à valeurs das F et idépedates de X 0, f : E F E mesurable est ue chaîe de Markov homogèe à valeurs das E. E effet P(X + = x + X 0 = x 0,..., X = x ) = P(f(x, U ) = x + ). Propositio 5. Réciproquemet, si (X ) est ue chaîe de Markov homogèe à valeurs das E, de matrice de trasitio P, alors il existe ue suite de variables aléatoires i.i.d. (U ) à valeurs das F et idépedates de X 0 telle que X + = f(x, U + ) où. Il suffit de predre f(x, y) = if{u : P(x, ], u]) > y}. { x + u si u = Exemple 6. E = N, F = {0, } et f(x, u) = 0 si u = 0. O otera P () = (p () ) la matrice de probabilité, e partat de l état i e l istat 0, d arriver à l état j à l istat, p () = P(X = j X 0 = i), pour tout i, j E. Propositio 7. (Propriété de Markov) Si (X ) N est ue chaîe de Markov de distributio iitiale λ et de matrice de trasitio P, pour tout, k N, P(X = i) = (λp () ) i P(X +k = j X = i) = p (k) Théorème 8. (Equatio de Chapma-Kolmogorov ()) Pour tout N, P () = P. Théorème 9. (Equatio de Chapma-Kolmogorov (2)) Si (X ) N est ue chaîe de Markov de distributio iitiale λ et de matrice de trasitio P, pour tout, k N, pour tout h =,..., k, P(X +k = j X = i) = u E P(X +k = j X +h = u) P(X +h = u X = i),
E effet, P k = P h P k h pour tout h =,..., k. Corollaire 20. (Equatio de Chapma-Kolmogorov (3)) Si p (k) = P(X +k = j X = i), alors p (k) = u E p (h) i,u p(k ) u,j. Equatio de Chapma!Kolmogorov Equatio de Chapma!Kolmogorov ( α α Exemple 2. Reveos à l exemple où P = β β ( P 2 = ). Alors ( α) 2 + αβ [( α) 2 + αβ] [( β) 2 + αβ] ( β) 2 + αβ Plus géérallemet, otos que de P + = P P, o e déduit que p + () = ( α)p() + βp(+) 2 = ( α)p () + β[ p(+) ] = ( α β)p () + β. Cette suite défiie par récurece, avec comme valeur iitiale p (0) p () = β α + β + β α + β [ α β], dès lors que α + β > 0. Aussi, etre les dates t et t +, les probabilités de trasitios sot -α -β α 2 β ) = admet pour uique solutio etre les dates t et t + 2, les probabilités de trasitios sot ( α) 2 + αβ ( β) 2 + αβ [( α) 2 + αβ] 2 [( β) 2 + αβ] Les probabilités de trasitio p (2), et p(2),2 s iterprètet aisi
-α -α β et les probabilités de trasitio p (2) 2, α 2 β et p(2) 2,2 α α 2 -β -α -β -β α α 2 α 2 β 4 Classificatio des états L irréductibilité va ous assurer que tout poit de l espace E peut être atteit par la chaîe de Markov, mais aucue iformatio est apportée quat au ombre de passage par cet état. O itroduira la otio de récurrece afi de formaliser cette idée. Défiitio 22. État doée ue chaîe de Markov (X ) N de distributio iitiale λ et de matrice de trasitio P, o dira que j est atteigable depuis j si P(X +k = j X = i) > 0 pour u k N O otera i j. O dira que les états i et j commuiquet, oté i j si i j et j i. Propositio 23. i j si et seulemet si il existe N tel que p () > 0. Propositio 24. Si i j et i k, alors i k. Propositio 25. La relatio est ue classe d équivalece. À partir de cette propriété o peut partitioer E e esembles de valeurs qui commuiquet. Défiitio 26. Ue classe C est dite fermée si i C et i j implique j C. Défiitio 27. Si la chaîe de Markov e possède qu ue uique classe, c est à dire que tous ses élémets commuiquet, la chaîe sera dite irréductible. O e peut pas sortir d ue classe fermée. Défiitio 28. U état i est dite absorbat si {i} est ue classe fermée. Exemple 29. Cosidéros la chaîe de Markov suivate /2 /4 2/3 /2 /4 2 3 /2 /3 Cette chaîe est irréductible car tous les états commuiquet. Bie que p,3 = 0, p (),3 > 0 pour 2. 4. Pour résumer... Il existe trois type d état: trasiets (o y reviet pas toujours), récurrets uls (o y reviet toujours, au bout d u temps moye ifii), ou récurets positifs (o y reviet ue ifiité de fois, à itervalle de temps fiis, e moyee),
5 Temps d atteite d ue classe Défiitio 30. État doée ue chaîe de Markov (X ) N de distributio iitiale λ et de matrice de trasitio P, si A est u sous-esemble de I, la variable aléatoire τ A défiie par est appelée temps d atteite de A. τ A (ω) = if{ 0, X (ω) A} Notos que la probabilité d atteidre u état A dépuis i est p A i = P(τ A < X 0 = i). Défiitio 3. Si A est ue classe fermée de E, p A i est appelée probabilité d absorptio. Das ce cas, otos que le temps moye d atteite de la classe A, à partir de i est e A i = E(τ A X 0 = i) = < P(τ A = )+ P(τ A = ). O écrira aisi p A i = P(atteidre A X 0 = i) et e A i = E(temps d atteite de A X 0 = i). Exemple 32. O cosidère la chaîe suivate /2 /2 /2 2 3 4 /2 O part de X 0 = 2, et o cherche à calculer la probabilité d atteidre l état 4? O ote p 4 i la probabilité d atteidre 4 depuis l état i. Notos que p 4 = 0 et p 4 4 =. De plus p 4 2 = 2 p 4 3 + 2 p 4 et p 4 3 = 2 p 4 2 + 2 p 4 4. Aussi, p 4 2 = 2 p 4 3 = 2 ( 2 p 4 2 + ). 2 Aussi à partir de X 0 = 2, la probabilité d atteidre 4 est /3. Toujours à partir de X 0 = 2, et o cherche à calculer le temps moye pour atteidre u état absorbat? O ote e {,4} i le temps moye d atteidre ou 4 depuis l état i. Notos que e {,4} = e {,4} 4 = 0. De plus e {,4} 2 = + 2 e {,4} + 2 e {,4} 3 et e {,4} 3 = + 2 e {,4} 2 + 2 e {,4} 4. Aussi, e {,4} 2 = + 2 e {,4} 3 = + 2 ( + ) 2 e {,4} 2. Aussi à partir de X 0 = 2, le temps moye pour atteidre u état absorbat est 2. Notos que pour le vecteur de probabilité d atteidre {4}, o a le système suivat p 4 = 0, p 4 2 = [p 4 + p 4 3 ]/2, p 4 3 = [p 4 2 + p 4 4 ]/2, p 4 4 =., et pour le vecteur de temps moye d atteite des états absorbats e {,4} = 0, e {,4} 2 = + [e {,4} + p {,4} 3 ]/2, e {,4} 3 = + [p {,4} 2 + p {,4} 4 ]/2, e {,4} 4 = 0.,
De maière plus géérale, o a le résultat suivat Propositio 33. Le vecteur des probabilités p A = (p A i ) i I est la solutio miimale positive du système { pa i = si i A p A i = j I p p A j si i / A Propositio 34. Le vecteur des temps moye d atteite de la classe A e A = (e A i ) i I est la solutio miimale positive du système { ea i = 0 si i A e A i = + j / A p e A j si i / A Défiitio 35. Ue variable aléatoire T à valeurs das {0,, 2,...} { } est u temps d arrêt pour ue chaîe de Markov (X ) N si l évèemet {T = } deped seulemet de X 0, X, X 2,... Exemple 36. Le temps d atteite d ue classe A est u temps d arrêt, avec {T = } = {X 0 / A, X / A, X 2 / A,..., X / A, X A}. Exemple 37. Le derier temps de sortie d ue classe A, τ = sup{ 0, X A} est pas u temps d arrêt. Théorème 38. (Propriété de Markov forte) Si (X ) N est ue chaîe de Markov de distributio iitiale λ et de matrice de trasitio P, et T u temps d arrêt pour (X ) N, alors coditioellemet à {T < } et X T = i, (X T + ) N est ue chaîe de Markov de distributio iitiale δ i et de matrice de trasitio P. De plus, cette chaîe est idépedate de X 0, X,..., X T. 6 Récurrece et trasciece Soit (X ) N ue chaîe de Markov sur u esemble déombrable E de matrice de trasitio P. O ote (X) x N la chaîe partat de X 0 = x. Pour x E, o itroduit Tx la suite des istats sucessifs de retour e x défiie par récurrece pour Tx = T x = if{k > 0 : Xk x + = x} Tx = if{k > Tx : Xx k = x}. Avec la covetio if{ } =. Défiitio 39. Soit X x ue chaîe de Markov partat de x E. L état x est dit. trasiet pour P si P(T x < ) <, 2. récurret pour P si P(T x < ) =. Les états récurrets peuvet être de deux types : - les états récurrets uls si E(T x ) =, - les états récurrets positifs si E(T x ) <. Ue autre caractérisatio de ces otios est la suivate, Propositio 40. Soit X x ue chaîe de Markov partat de x E. L état x est dit. trasiet pour P si P(X = x pour ue ifiité de valeurs de X 0 = x) =, 2. récurret pour P si P(X = x pour ue ifiité de valeurs de X 0 = x) = 0.
Exemple 4. Cosidéros la chaîe de Markov suivate /2 /2 /4 /2 /2 /4 /4 2 3 4 /4 de matrice de trasitio P = /2 /2 0 0 /2 /2 0 0 /4 /4 /4 /4 0 0 0 Cette chaîe comporte 3 classes {, 2}, {3} et {4}. L état {4} est absorbat, les classes {, 2} et {4} sot récurretes et la classe {3} est trasiete. Propositio 42. Si E est u espace d état fii, toute chaîe irréductible est récurrete. Les temps de passage sot reliés au ombre de visites N x de la chaîe das u état par la formule N x = k=0 (Xx k = x) ombre de passage e x de la chaiîe, N x p + Tx p <, Nx = k=0 (Xx k = x) ombre de passage e x avat l istat, N x p + Tx p. Propositio 43. Soit x E, alors si T x <, les variables T x, T 2 x T x,..., T + x T x sot idépedates et idetiquemet distribuées. Propositio 44. Si x est récurret, la suite (X x ) reviet presque suremet ue ifiité de fois à so état iitial, i.e. P(N x = ) =. Propositio 45. Si x est trasiet, presque suremet la suite (X x ) visite x u ombre fii de fois. Le ombre de visite suit la loi géométrique P(N x = k) = ( π)π k, k avec π = P(T x < ). Si C est ue classe de E dot tous les élémets commuiquet, alors tous les états sot soit trasiets, soit récurrets. Propositio 46. Supposos P irréductible. Alors tous les états sot de même ature (récurrets positifs, ou récurrets uls, ou trasiets). das le cas récurret, tous les poits de E sot visités ifiimet souvet : pour x, y E P(X x = y pour u ifiité de ) =, das le cas trasiet, les sous-esembles fiis de E e sot visités (qu au plus) u ombre fii de fois : pour A E de cardial fii P(X A pour ue ifiité de ) = 0.
7 Premier temps d atteite d u état, récurrece et trasiece Défiitio 47. État doée ue chaîe de Markov (X ) N de distributio iitiale λ et de matrice de trasitio P, o cosidère la probabilité d atteidre u état pour la première fois u état j, partat de i, e étapes, otée f () (), i.e. f = P(T {j} = X 0 = i). O pose, par covetio, f (0) = 0. Propositio 48. Pour 0,p () = k=0 f (k) p( k). Si le processus passe de i ) j e étapes, o s itéresse à l istat k où le processus à atteit j pour la première fois. Cette derière écriutre permet e particulier de calculer de maière récursive les f (), e otat que f () = p(), et que f () = p () k= f (k) p( k), pour 2. O peut alors motrer le criètre de récurrece et de trasiece suivat Propositio 49. Si =0 p (k) j,j = l état j est récuret, et si =0 p (k) j,j < l état j est trasiet. Ue démostratio peut se faire à l aide des foctio géératrice, e posat P (z) = p () z et F (z) = f () z, e otat que P (z) = δ + F (z) P j,j (z) et du Lemme 0 0 d Abel, Lemme 50. Si ue série de terme gééral u coverge, et u = 0 u, alors lim Réciproquemet, si u 0, et si lim z 0 u z z = u( ) alors u = 0 u. Ce résultat permet de motrer que la récurrece est ue propriété de classe, Propositio 5. Si i j, et si i est récurret, alors j sera égalemet récurret. z 0 u z z = u. Propositio 52. Si ue chaîe de Markov a u ombre d état fii, il existe au mois u état récurret. 8 Marche aléatoire et ruie du joueur Cosidéros das u premier temps la marche aléatoire 2 das Z. 2 Ue aimatio de cet algorithme est téléchargeable sur http://www.crest.fr/pageperso/charpet/ma-000.avi
Pricipe de réflexio de la marche aléatoire A B T A Figure 5: Pricipe de réflexio. 8. Approche fréquetiste O cosidère ici la marche aléatoire, X = X + ε pour, où ε est ue suite i.i.d. de variables valat + avec probabilité p et avec probabilité p. x est la richesse d u joueur jouat à pile ou face, gagat euro dès que pile sort (probabilité p), et perdat dès que face sort, au bout de tirages. Plaços ous das le cas p = /2. Pour détermier les probabilités de trasitio, o peut compter les trajectoires. Soit A l origie (A = (0, 0)), et u B u poit atteigable e tirages, B = (, x ). Notos que x +. Notos de plus que x est forcémet de la même parité que (si est impair, x est forcémet ( impair, et réciproquemet). Le ombre de trajectoires passat de A à B est alors +x ) 2. Comme le ombre total de trajectoires de logueur est 2, la probabilité N,x = d atteidre le poit B est alors p,x = ( +x ) 2 2. Le retour à l origie correspod à la positio x = 0, qui est écessairemet possible seulemet pour pair, i.e. = 2k. Aussi, p 2k,0 = ( ) k 2 2k. 2k O peut moter que pour grad, à l aide de la formule de Stirlig, p 2k,0 / π. Avat d attaquer le problème du premier retour à l origie, rappelos le pricipe de réflexio. Cosidéros désormais deux poits quelcoques A = (a, x a ) et B = (b, x b ), dot les ordoées sot supposées strictemet positives. Le ombre de trajectoires allat de A = (a, x a ) à B = (b, x b ) est égal au ombre de trajectoires allat de A = (a, x a ) à B = (b, x b ). C est ce qui s appelle pricipe de réflexio. Ce résultat se motre simplemet par u pricipe de bijectio, e cosidérat toutes les trajectoires possibles, et e itroduisat le poit T correspodat au premier retour e 0 (cf Figure??) O peut alors utiliser ce résultat pour calculer la probabilité de e jamais reveir e 0, etre la date 0 et la date. Pour cela calculos le ombre de trajectoires qui sot toujours au dessus de la l axe horizotal etre A = (, ) et B = (, x ), oté N,x +. Le ombre total de trajectoire est N,x (compte teu du fait que l o part de (, ) et o pas de (0, 0)). O peut alors écrire que N,x = N,x + + N,x où N,x est le ombre de trajectoires allat de A à B qui touche l axe horizotal. E utilisat le pricipe de réflexio, otos que N,x correspod au ombre de trajectoires allat de A = (, ) à B, soit (par u chagemet d origie), etre (0, 0) et
(, x + ) N,x = N,x+. Aussi, N +,x = N,x N,x+ = ( +x 2 ) ( +x ) 2 = N,x x, Pour détermiier le ombre N + de trajectoires qui sot toujours au dessus de la l axe horizotal à partir de A = (, ), i.e. {X > 0,..., X > 0}, otos que, pour pair, ( N + = 4N 2 + 2 ) ( ) 2 2 2 (par récurece, et e comptat les chemis). Aussi, N + = ) 2. 2( La probabilité pour qu o ait aucu retour à l origie etre 0 et la date = 2k est alors π 2k = P(X 0 = 0, X 0, X 2 0,..., X 2k 0, X 2k = 0). Pour ce calcul, motros quelques résultats itermédiaires. Rappelos déjà que p 2k,0 = P(X 2k = 0 X 0 = 0) = p 2k,0 = ( ) k 2 2k. Motros que p 2k,0 = P(X 0, X 2 0,..., X 2k 0, X 2k 2k 0). Si la trajectoire e coupe jamais l axe horizotal, ce que soit o est toujours positif, soit toujours égatif, i.e. P(X 0, X 2 0,..., X 2k 0, X 2k 0) = 2P(X > 0, X 2 > 0,..., X 2k > 0, X 2k > 0). Or d après la questio précédate, P(X > 0, X 2 > 0,..., X 2k > 0, X 2k > 0) = 2 2k N + 2k = ( ) k 2 2k = p 2k,0, 2k aussi P(X 2k = 0 X 0 = 0) = p 2k,0 = ( ) k 2 2k 2k =P(X 0, X 2 0,..., X 2k 0, X 2k 0). Soit efi τ la variable aléatoire du premier retour e 0. qui peut s écrire P(τ = 2k) = P(X 0, X 2 0,..., X 2k 0, X 2k = 0), P(τ = 2k) = P(X 0, X 2 0,..., X 2k 0) P(X 0, X 2 0,..., X 2k 0, X 2k 0), c est à dire, e utilisat les questios précédates, P(τ = 2k) = p 2k 2,0 p 2k,0 = p 2k,0 2k = 2k 2 2k ( ) k. 2k Il est possible de motrer que cette foctio est effectivemet ue loi de probabilité (sur N ), dot la loi et la foctio de répartitio sot représetées sur le graphique?? Parmi les autres résultats classiques sur la marche aléatoire, il y a la loi de l arcsius, liée à l étude du derier passage e 0 (puisque ous avos vu que la marche aléatoire avait tedace à toujours reveir e 0, o peut légitimemet se poser la questio). Si π 2k,2 désige la probabilité que jusqu à l istat 2 - iclus - le derier passage ait eu lieu à la date 2k ( 2), alors Ce résultat s obtiet e motat que π 2k,2 = p 2k,0 p 2 2k,0, pour k = 0,,...,. π 2k,2 = P({, X 2k=0 } {X 2k+ 0,..., X 2 0}),