Chaînes de Markov. Arthur Charpentier

Transcription

1 Chaîes de Markov Arthur Charpetier École Natioale de la Statistique et d Aalyse de l Iformatio - otes de cours à usage exclusif des étudiats de l ENSAI - - e pas diffuser, e pas citer - Quelques motivatios. La setielle de la tour carrée Lors d ue rode, ue méthode simple pour tromper l eemi est d avacer ou reculer de maière aléatoire, e tirat à pile ou face. Comme précédemet, si X désige la positio du garde à l istat, l évolutio peut se modéliser à l aide d ue matrice de trasitio, /N/ /E/ /S/ /O/ N 0 /2 0 /2 P = E /2 0 /2 0 S 0 /2 0 /2 O /2 0 /2 0.2 Le système bous-malus e assurace auto A Hog Kog, il existe 6 classes de tarificatio, de (fort bous) à 6 fort malus si u assuré a pas eu de siistre, il passe de i à max{, i }, si l assuré a eu au mois u siistre, il passe de i à 6. Si p est la probabilité de e pas avoir de siistre, p p p p P = 0 p p 0 0 p 0 0 p p 0 p p p Proportio par classe e foctio de, p=90% Proportio par classe e foctio de, p=80%

2 si u assuré a pas eu de siistre, il passe de i à max{, i }, si l assuré a eu k siistres, il passe de i à mi{6, i + k}. Si le ombre de siistres suit ue loi de Poisso p k = P(N = k) = e λ λ k /k!, k N, et p k = p p k, p 0 p p 2 p 3 p 4 p 4 p 0 0 p p 2 p 3 p 3 P = 0 p 0 0 p p 2 p p 0 0 p p p 0 0 p p 0 p 0 Proportio par classe e foctio de, 0% Proportio par classe e foctio de, 35% La ruie d u joueur Deux joueurs jouet à pile ou face, chaque fois que X gage, il touche de Y, et réciproquemet. Ils partet respectivemet d u capital X 0 et Y 0, et le jeu s arrête lorsqu u joueur a plus d arget pour payer. La fortue d u joueur pred les valeurs {0,, 2,..., X 0 + Y 0 }. Si le joueur X possède ue fortue X = k à la date, à la date + sa fortue deviet k avec probabilité p etk + avec probabilité p si 0 < k < X 0 + Y 0, sa fortue reste e 0 avec probabilité si k = 0, sa fortue reste e X 0 + Y 0 avec probabilité si k = X 0 + Y 0..4 Le modèle steppig stoe O cosidère u tableau, où chaque cellule a ue couleur choisie parmi k. A chaque date, o choisit ue cellule au hasard, qui pred la couleur d u de ses voisis immédiat, au hasard. Les figures suivates motret l évolutio de ce système pour k = 2 couleurs, et = 40, puis k = 8 couleurs, et = 80. O peut motrer qu il s agit d ue chaîe de Markov absorbate au ses où des régios absorbates vot se former, Ce type de modèle apparaît aturellemet e géétique. Ue aimatio de cet algorithme est téléchargeable sur

3 Le moldèle Steppig stoe, Etape Figure : Le modèle steppig stoe, k = 2 et = 40. Le moldèle Steppig stoe, Etape Figure 2: Le modèle steppig stoe, k = 2 et = 40. Le moldèle Steppig stoe, Etape Figure 3: Le modèle steppig stoe, k = 2 et = 40.

4 Le moldèle Steppig stoe, Etape Figure 4: Le modèle steppig stoe, k = 8 et = 80. Le moldèle Steppig stoe, Etape Figure 5: Le modèle steppig stoe, k = 8 et = 80.

5 .5 Ue applicatio écoomique La plupart des etreprises qui émettet des obligatios sot otées par des ageces de otatios (Moody s ou Stadard & Poors). Les otes sot de la forme AAA, AA, A, BBB, BB, B, CCC, du plus sûr au plus risqué. De matrice de trasitio sur u a existet: AAA AA A BBB BB B CCC défaut AAA 90, 8% 8, 33% 0, 68% 0, 06% 0, 2% 0, 00% 0, 00% 0, 00% AA 0, 70% 90, 65% 7, 79% 0, 64% 0, 06% 0, 4% 0, 02% 0, 00% A 0, 09% 2, 27% 9, 05% 5, 52% 0, 74% 0, 26% 0, 0% 0, 06% BBB 0, 02% 0, 33% 5, 95% 86, 93% 5, 30%, 7% 0, 2% 0, 8% BB 0, 02% 0, 4% 0, 67% 7, 73% 80, 53% 8, 84%, 00%, 06% B 0, 00% 0, % 0, 24% 0, 43% 6, 48% 83, 46% 4, 08% 5, 20% CCC 0, 22% 0, 00% 0, 22%, 30% 2, 38% 5, 00% 64, 85% 9, 79% défaut 0, 00% 0, 00% 0, 00% 0, 00% 0, 00% 0, 00% 0, 00% 00%.6 Applicatios lexicographiques Cette applicatio a été proposée das la modélisatio iitiale d Adrei Adreevich Markov, e 93. O cosidère ue suite de caractères pris das Eugèe Oegi d Alexadre Pouchkie, et o distigue etre les voyelles, et les cosoes. Heedless of the proud world s ejoymet, I prize the attetio of my frieds, ad oly wish that my employmet could have bee tured to worthier eds... E russe, il avait obteue la matrice de trasitio suivate, P = ( 2, 8% 87, 2% 66, 3% 33, 7% i.e. la probabilité qu ue voyelle soit suivie d ue cosoe est de 87, 2%. La loi limite associé cette matrice est π = (43, 2% 56, 8%), ce qui correspod aux fréqueces des voyelles et des cosoes respectivemet. Notos qu e fraçais les fréqueces sot π = (45, 6% 54, 4%), pour l italie π = (47, 4% 52, 6%), et pour l allemad π = (38, 5% 6, 5%)..7 Diffusio d u gaz et ure Les chaîes de Markov avaiet été itroduites avat les travaux de Markov: E 889, Galto a itroduit des chaîes de Markov pour étudier le problème de la disparitio de oms de famille. E 907, Ehrefest a itroduit des chaîes de Markov pour étudier la diffusio d u gaz..8 Chaîes de Markov et jeux de cartes E 92, Poicarré a itroduit des chaîes de Markov pour étudier le problème du battage de cartes. Ce problème a été étudié par la suite par Borel & Chero (940), Doob (954) ou Thorpe (972). Le ombre de méthodes pour battre les cartes est presque ifii, O coupe e deux, et o itervertit les deux tas (figure.8), ), 2 O pred ue carte au hasard, o la met au dessus du tas, et o recommece (figure??). Toutes ces méthodes coduiset plus ou mois vite (parfois jamais) à ue répartitio uiformémet aléatoire des cartes.

6 Ure d Ehrefest, étape 0 Ure d Ehrefest, étape Ure d Ehrefest, étape 2 Ure d Ehrefest, étape Figure 6: L ure d Ehrefest. Ure d Ehrefest, étape 0 Ure d Ehrefest, étape Ure d Ehrefest, étape 2 Ure d Ehrefest, étape Figure 7: L ure d Ehrefest V D R 9 V D R R V D V D R Figure 8: Le battage de cartes.

7 V D R V D R V D R V D R V D R V D R V D R V D R Figure 9: Le battage de cartes..9 Chaîes de Markov et ADN L ADN est ue successio de ucléotique, l adémie, la cytosie, la guaie et la thymie. Par exemple gactgaactctgag... Rappelos qu il y a e réalité deux bris complémetaires, le a s associat toujours au t, et le c avec le g. O ote cg le diucléotide c suivi de g. Ces diucléotide ot aturellemet tedace à disparaître (par méthylatio c mute facitemet e t). Les séqueces cg est alors plus rare que ce que l o pourrait espérer. Das certaies régios toutefois, appelée ilôts, o trouve beaucoup de cg. Soit X le premier ucléotide d ue séquece d ADN, de loi de probabilité λ = (λ a, λ c, λ g, λ t ), où λ a = P(X = a), λ c = P(X = c), λ g = P(X = g) et λ t = P(X = t), avec λ a + λ c + λ g + λ t = et λ a, λ c, λ g, λ t 0. Il peut paraître légitime de peser que la suite des ucléotides (X ) N est pas idépedate. U modèle Markovie devrait pouvoir faire l affaire. Das la régio d ilôts cg, la matrice de trasitio (observée empiriquemet) pour le vecteur X = a c g t est P = 8, 0% 27, 4% 42, 6% 2, 0% 7, % 36, 8% 27, 4% 8, 8% 6, % 33, 9% 37, 5% 2, 5% 7, 9% 35, 5% 38, 4% 8, 6% et das la regio où régio l o est pas e présece d ilôts cg, 30, 0% 20, 5% 28, 5% 2, 0% P = 32, 2% 29, 8% 7, 8% 30, 2% 24, 8% 24, 6% 29, 8% 20, 8% 7, 7% 23, 9% 29, 2% 29, 2%.0 Applicatio au jeu de Moopoly Le jeu de Moopoly peut être vu comme ue marche aléatoire sur 40 cases, avec pour chaque case, des répercussios sur le déplacemet (aller e priso) et/ou la fortue (payer car u adversaire a costruit u hotel, ou recevoir fracs). La positio d u joueur est ue chaîe de Markov à 40 états (dot u de probabilité ulle allez e priso ). Il est aisi possible de motrer que l aveue Heri Marti est la plus fréquetée (3,2%) alors que la rue Lecourbe et l aveue des Champs Elysées sot les mois fréquetée (2,%), et que la zoe orage l emporte sur la zoe rouge.

8 le cas où T est cotiu (R ou R + ), et le cas où X est déombrable: processus de Poisso, Probabilité de gager u jeu au teis Probabilité de gager u jeu Probabilité de gager ue balle Figure 0: Probabilité de gager u jeu au teis.. Modélisatio d ue partie de teis Le jeu de teis. Cosidéros l évolutio du score au cours d u jeu de teis. U joueur gage le jeu s il atteit 50. (0,50) (5,50) (30,50) (0,40) (5,40) (30,40) (0,30) (5,30) (30,30) (40,30) (50,30) (0,5) (5,5) (30,5) (40,5) (50,5) (0,0) (5,0) (30,0) (40,0) (50,0).2 Les processus de file d attete O cosidère ue file d attete. A chaque date arrive u ouveau cliet avec probabilité p et pas de cliet avec probabilité p. U cliet das la file qui se fait servir quitte la file avec probabilité q, ou atted ecore avec probabilité q. O ote X le ombre de cliets présets das la file à la date. (X ) N est ue chaîe de Markov. A l aide de cette modélisatio (et e gééralisat), o peut regarder s il est optimal - lorsqu il y a plusieurs guichets - de créer ue file uique, ou que les cliets choisisset leur file e arrivat (e choisissat a priori la file la mois logue)..3 Cosidératio plus géérales, itroductio aux processus U processus (X t ) t T est ue collectio de variables aléatoires à valeurs das X. Pour tout ω Ω, la suite (X t (ω)) sera appelée ue trajectoire. Parmi les processus usuels, o distiguera le cas où T est discret (N ou Z), et X est déombrable: chaîe de Markov, le cas où T est discret (N ou Z), et X = R: séries temporelles,

9 File d attete p>q Modèle de file d attete p>q Nombre d uagers das la queue Nombre d usagers das la file Date Dates Figure : Evolutio de la file d attete, p > q. File d attete p>q Modèle de file d attete p>q Nombre d uagers das la queue Nombre d usagers das la file Date Dates Figure 2: Evolutio de la file d attete, p > q. File d attete p=q Modèle de file d attete p=q Nombre d uagers das la queue Nombre d usagers das la file Date Dates Figure 3: Evolutio de la file d attete, p = q.

10 File d attete p<q Modèle de file d attete p<q Nombre d uagers das la queue Nombre d usagers das la file Date Dates Figure 4: Evolutio de la file d attete, p < q. le cas où T est cotiu et X = R : processus stochastiques. Trajectoire d ue chaîe de Markov Trajectoire d ue chaîe de Markov Trajectoire d ue chaîe de Markov Trajectoire d ue chaîe de Markov

11 Trajectoire d ue série temporelle Trajectoire d ue série temporelle!4! !4! Trajectoire d u processus de comptage Trajectoire d u processus de comptage Trajectoire d u processus stochastique Trajectoire d u processus stochastique!4! !4! Quelques petits rappels de probabilité L étude des chaîes de Markov va reposer sur l étude de la loi de X + sachat X = x. 2. La loi coditioelle P(A B) Rappelos la formule de Bayes : P(A B) =. P(B) Aussi, P(X + = x + X = x ) = P(X = x, X + = x + ). P(X = x ) La formule des probabilités totales : si (B k ) k K forme ue partitio de E, alors P(A) = P(A B k ) = P(A B k ) P(B k ).

12 Aussi, P(X + = x + ) == P(X + = x + X = x ) P(X = x ). x E 2.2 U tout petit mot sur l idépedace X et X + sot idépedates si et seulemet si P(X + = x + X = x ) e déped pas de x. Das ce cas {X 0, X,..., X, X + } est u échatillo idépedat. Si les X i sot de même loi, et si les variables sot de variace fiie, rappelos que l o a ue loi (faible) des grads ombres (théorème de Khitchie), qui garatie que ( ) lim P X X E(X) > ε = 0, qui se motre à l aide de l iégalité de Tchebychev, et doc X X P E(X). La loi (forte) des grads ombres garatie ue covergece presque sûr dès lors que les variables sot d espérace fiie, ( ) X X P lim (ω) = E(X) =. 3 Quelques défiitios Soit E u espace déombrable, appelé espace d états. Les i E sot appelés états. E sera isomorphe à {,..., k}, ou à N. Exemple. Das le cas de la setielle sur la tour carrée, {N, S, E, O} sera isomorphe à {, 2, 3, 4}. Ue mesure sur E est u vecteur λ = (λ i, i E) tel que 0 λ i <. O parlera de distributio de probabilité si λ =. O se doe u espace de probabilité (Ω, F, P). Ue variable aléatoire X à valeurs das E est ue foctio X : Ω E. O pose alors λ i = P(X = i) = P({ω X(ω) = i}), et λ = (λ i ) i E. Défiitio 2. O cosidère ue suite de variables aléatoires à valeurs das E, (X ) N. Cette suite est ue chaîe de Markov si pour tout, et pour tout i 0, i,..., i, i, i + telle que P(X 0 = i 0,..., X = i ) > 0, o ait P(X + = i + X = i, X = i,..., X 0 = i 0 ) = P(X + = i + X = i ). () O parlera d absece de mémoire. Remarque 3. O parlera aussi de processus Markovie à l ordre. Plus gééralemet, o peut défiir u processus Markovie à l ordre k si P(X + = i + X = i, X = i,..., X 0 = i 0 ) (2) = P(X + = i + X = i,..., X k+ = i k+ ). (3) E posat X = (X,..., X k+ ), à valeurs das E k, otos que l équatio précédate s écrit P(X + = i + X = i, X = i,..., X k = i k ) = P(X + = i + X = i ). O retrouve u processus Markovie à l ordre, sur X = (X,..., X k+ ). Défiitio 4. Ue chaîe de Markov (X ) N est dite homogèe (das le temps) si P(X + = i + X = i ) e déped pas de.

13 La dyamique du processus est alors etièremet caractérisée par les p = P(X + = j X = i), appelées probabilité de trasitio de l état i à l état j si la chaîe est homogèe, ou plus gééralemet p () = P(X + = j X = i). Défiitio 5. Ue matrice P = (p, i, j I) est ue matrice stochastique, ou matrice de trasitio, si chaque lige p i = (p, j I) est ue distributio de probabilité. Pour tout i, j E p peut alors s iterpréter comme la probabilité d aller à l état j sachat qu o se trouve à l état i à l istat d avat. Remarque 6. A toute matrice de trasitio, o peut associer u graphe orieté. Les sommets sot les états de la chaîe, et l orietatio est doée par la probabilité p > 0. ( ) α α Exemple 7. La matrice P = est ue matrice stochastique. β β -α -β α 2 β Les chaîes de Markov peuvet être iterprétées comme des marches aléatoires (à probabilité o uiformes) sur u graphe. /2 /2 0 Exemple 8. La matrice P = 2/3 0 /3 est ue matrice stochastique. 0 2/3 /3 /2 /3 2/3 /2 / /3 /2 /2 0 Exemple 9. La matrice P = 2/3 0 /3 est ue matrice stochastique. 0 0 /2 2/3 /2 /3 2 3 Exemple 0. La matrice P = /5 /5 3/5 0 /2 /2 0 0 est ue matrice stochastique.

14 /5 3/5 /2 3 2 /2 Défiitio. Ue suite de variable aléatoire (X ) N est ue chaîe de Markov de distributio iitiale λ et de matrice de trasitio P = [p ] si X 0 a pour distributio iitiale λ, i.e. P(X 0 = i) = λ i, le probabilité que X + = j sachat que X = i est p, i.e. P(X + = j X = i) = p. Théorème 2. (Propriété de Markov) Si (X ) N est ue chaîe de Markov de distributio iitiale λ et de matrice de trasitio P, alors coditioellemet à X 0 = i, (X 0 +) N est ue chaîe de Markov, de distributio iitiale δ i et de matrice de trasitio P, idépedate des variables aléatoires {X 0,..., X 0 }. Propositio 3. si P est ue matrice stochastique et λ ue distributio de probabilité, (λp ) j = λ i p est ue mesure de probabilité. i Propositio 4. Ue suite récurrete aléatoire X + = f(x, U + ) avec (U ) suite de v.a. i.i.d. à valeurs das F et idépedates de X 0, f : E F E mesurable est ue chaîe de Markov homogèe à valeurs das E. E effet P(X + = x + X 0 = x 0,..., X = x ) = P(f(x, U ) = x + ). Propositio 5. Réciproquemet, si (X ) est ue chaîe de Markov homogèe à valeurs das E, de matrice de trasitio P, alors il existe ue suite de variables aléatoires i.i.d. (U ) à valeurs das F et idépedates de X 0 telle que X + = f(x, U + ) où. Il suffit de predre f(x, y) = if{u : P(x, ], u]) > y}. { x + u si u = Exemple 6. E = N, F = {0, } et f(x, u) = 0 si u = 0. O otera P () = (p () ) la matrice de probabilité, e partat de l état i e l istat 0, d arriver à l état j à l istat, p () = P(X = j X 0 = i), pour tout i, j E. Propositio 7. (Propriété de Markov) Si (X ) N est ue chaîe de Markov de distributio iitiale λ et de matrice de trasitio P, pour tout, k N, P(X = i) = (λp () ) i P(X +k = j X = i) = p (k) Théorème 8. (Equatio de Chapma-Kolmogorov ()) Pour tout N, P () = P. Théorème 9. (Equatio de Chapma-Kolmogorov (2)) Si (X ) N est ue chaîe de Markov de distributio iitiale λ et de matrice de trasitio P, pour tout, k N, pour tout h =,..., k, P(X +k = j X = i) = u E P(X +k = j X +h = u) P(X +h = u X = i),

15 E effet, P k = P h P k h pour tout h =,..., k. Corollaire 20. (Equatio de Chapma-Kolmogorov (3)) Si p (k) = P(X +k = j X = i), alors p (k) = u E p (h) i,u p(k ) u,j. Equatio de Chapma!Kolmogorov Equatio de Chapma!Kolmogorov ( α α Exemple 2. Reveos à l exemple où P = β β ( P 2 = ). Alors ( α) 2 + αβ [( α) 2 + αβ] [( β) 2 + αβ] ( β) 2 + αβ Plus géérallemet, otos que de P + = P P, o e déduit que p + () = ( α)p() + βp(+) 2 = ( α)p () + β[ p(+) ] = ( α β)p () + β. Cette suite défiie par récurece, avec comme valeur iitiale p (0) p () = β α + β + β α + β [ α β], dès lors que α + β > 0. Aussi, etre les dates t et t +, les probabilités de trasitios sot -α -β α 2 β ) = admet pour uique solutio etre les dates t et t + 2, les probabilités de trasitios sot ( α) 2 + αβ ( β) 2 + αβ [( α) 2 + αβ] 2 [( β) 2 + αβ] Les probabilités de trasitio p (2), et p(2),2 s iterprètet aisi

16 -α -α β et les probabilités de trasitio p (2) 2, α 2 β et p(2) 2,2 α α 2 -β -α -β -β α α 2 α 2 β 4 Classificatio des états L irréductibilité va ous assurer que tout poit de l espace E peut être atteit par la chaîe de Markov, mais aucue iformatio est apportée quat au ombre de passage par cet état. O itroduira la otio de récurrece afi de formaliser cette idée. Défiitio 22. État doée ue chaîe de Markov (X ) N de distributio iitiale λ et de matrice de trasitio P, o dira que j est atteigable depuis j si P(X +k = j X = i) > 0 pour u k N O otera i j. O dira que les états i et j commuiquet, oté i j si i j et j i. Propositio 23. i j si et seulemet si il existe N tel que p () > 0. Propositio 24. Si i j et i k, alors i k. Propositio 25. La relatio est ue classe d équivalece. À partir de cette propriété o peut partitioer E e esembles de valeurs qui commuiquet. Défiitio 26. Ue classe C est dite fermée si i C et i j implique j C. Défiitio 27. Si la chaîe de Markov e possède qu ue uique classe, c est à dire que tous ses élémets commuiquet, la chaîe sera dite irréductible. O e peut pas sortir d ue classe fermée. Défiitio 28. U état i est dite absorbat si {i} est ue classe fermée. Exemple 29. Cosidéros la chaîe de Markov suivate /2 /4 2/3 /2 /4 2 3 /2 /3 Cette chaîe est irréductible car tous les états commuiquet. Bie que p,3 = 0, p (),3 > 0 pour Pour résumer... Il existe trois type d état: trasiets (o y reviet pas toujours), récurrets uls (o y reviet toujours, au bout d u temps moye ifii), ou récurets positifs (o y reviet ue ifiité de fois, à itervalle de temps fiis, e moyee),

17 5 Temps d atteite d ue classe Défiitio 30. État doée ue chaîe de Markov (X ) N de distributio iitiale λ et de matrice de trasitio P, si A est u sous-esemble de I, la variable aléatoire τ A défiie par est appelée temps d atteite de A. τ A (ω) = if{ 0, X (ω) A} Notos que la probabilité d atteidre u état A dépuis i est p A i = P(τ A < X 0 = i). Défiitio 3. Si A est ue classe fermée de E, p A i est appelée probabilité d absorptio. Das ce cas, otos que le temps moye d atteite de la classe A, à partir de i est e A i = E(τ A X 0 = i) = < P(τ A = )+ P(τ A = ). O écrira aisi p A i = P(atteidre A X 0 = i) et e A i = E(temps d atteite de A X 0 = i). Exemple 32. O cosidère la chaîe suivate /2 /2 / /2 O part de X 0 = 2, et o cherche à calculer la probabilité d atteidre l état 4? O ote p 4 i la probabilité d atteidre 4 depuis l état i. Notos que p 4 = 0 et p 4 4 =. De plus p 4 2 = 2 p p 4 et p 4 3 = 2 p p 4 4. Aussi, p 4 2 = 2 p 4 3 = 2 ( 2 p ). 2 Aussi à partir de X 0 = 2, la probabilité d atteidre 4 est /3. Toujours à partir de X 0 = 2, et o cherche à calculer le temps moye pour atteidre u état absorbat? O ote e {,4} i le temps moye d atteidre ou 4 depuis l état i. Notos que e {,4} = e {,4} 4 = 0. De plus e {,4} 2 = + 2 e {,4} + 2 e {,4} 3 et e {,4} 3 = + 2 e {,4} e {,4} 4. Aussi, e {,4} 2 = + 2 e {,4} 3 = + 2 ( + ) 2 e {,4} 2. Aussi à partir de X 0 = 2, le temps moye pour atteidre u état absorbat est 2. Notos que pour le vecteur de probabilité d atteidre {4}, o a le système suivat p 4 = 0, p 4 2 = [p 4 + p 4 3 ]/2, p 4 3 = [p p 4 4 ]/2, p 4 4 =., et pour le vecteur de temps moye d atteite des états absorbats e {,4} = 0, e {,4} 2 = + [e {,4} + p {,4} 3 ]/2, e {,4} 3 = + [p {,4} 2 + p {,4} 4 ]/2, e {,4} 4 = 0.,

18 De maière plus géérale, o a le résultat suivat Propositio 33. Le vecteur des probabilités p A = (p A i ) i I est la solutio miimale positive du système { pa i = si i A p A i = j I p p A j si i / A Propositio 34. Le vecteur des temps moye d atteite de la classe A e A = (e A i ) i I est la solutio miimale positive du système { ea i = 0 si i A e A i = + j / A p e A j si i / A Défiitio 35. Ue variable aléatoire T à valeurs das {0,, 2,...} { } est u temps d arrêt pour ue chaîe de Markov (X ) N si l évèemet {T = } deped seulemet de X 0, X, X 2,... Exemple 36. Le temps d atteite d ue classe A est u temps d arrêt, avec {T = } = {X 0 / A, X / A, X 2 / A,..., X / A, X A}. Exemple 37. Le derier temps de sortie d ue classe A, τ = sup{ 0, X A} est pas u temps d arrêt. Théorème 38. (Propriété de Markov forte) Si (X ) N est ue chaîe de Markov de distributio iitiale λ et de matrice de trasitio P, et T u temps d arrêt pour (X ) N, alors coditioellemet à {T < } et X T = i, (X T + ) N est ue chaîe de Markov de distributio iitiale δ i et de matrice de trasitio P. De plus, cette chaîe est idépedate de X 0, X,..., X T. 6 Récurrece et trasciece Soit (X ) N ue chaîe de Markov sur u esemble déombrable E de matrice de trasitio P. O ote (X) x N la chaîe partat de X 0 = x. Pour x E, o itroduit Tx la suite des istats sucessifs de retour e x défiie par récurrece pour Tx = T x = if{k > 0 : Xk x + = x} Tx = if{k > Tx : Xx k = x}. Avec la covetio if{ } =. Défiitio 39. Soit X x ue chaîe de Markov partat de x E. L état x est dit. trasiet pour P si P(T x < ) <, 2. récurret pour P si P(T x < ) =. Les états récurrets peuvet être de deux types : - les états récurrets uls si E(T x ) =, - les états récurrets positifs si E(T x ) <. Ue autre caractérisatio de ces otios est la suivate, Propositio 40. Soit X x ue chaîe de Markov partat de x E. L état x est dit. trasiet pour P si P(X = x pour ue ifiité de valeurs de X 0 = x) =, 2. récurret pour P si P(X = x pour ue ifiité de valeurs de X 0 = x) = 0.

19 Exemple 4. Cosidéros la chaîe de Markov suivate /2 /2 /4 /2 /2 /4 / /4 de matrice de trasitio P = /2 /2 0 0 /2 /2 0 0 /4 /4 /4 / Cette chaîe comporte 3 classes {, 2}, {3} et {4}. L état {4} est absorbat, les classes {, 2} et {4} sot récurretes et la classe {3} est trasiete. Propositio 42. Si E est u espace d état fii, toute chaîe irréductible est récurrete. Les temps de passage sot reliés au ombre de visites N x de la chaîe das u état par la formule N x = k=0 (Xx k = x) ombre de passage e x de la chaiîe, N x p + Tx p <, Nx = k=0 (Xx k = x) ombre de passage e x avat l istat, N x p + Tx p. Propositio 43. Soit x E, alors si T x <, les variables T x, T 2 x T x,..., T + x T x sot idépedates et idetiquemet distribuées. Propositio 44. Si x est récurret, la suite (X x ) reviet presque suremet ue ifiité de fois à so état iitial, i.e. P(N x = ) =. Propositio 45. Si x est trasiet, presque suremet la suite (X x ) visite x u ombre fii de fois. Le ombre de visite suit la loi géométrique P(N x = k) = ( π)π k, k avec π = P(T x < ). Si C est ue classe de E dot tous les élémets commuiquet, alors tous les états sot soit trasiets, soit récurrets. Propositio 46. Supposos P irréductible. Alors tous les états sot de même ature (récurrets positifs, ou récurrets uls, ou trasiets). das le cas récurret, tous les poits de E sot visités ifiimet souvet : pour x, y E P(X x = y pour u ifiité de ) =, das le cas trasiet, les sous-esembles fiis de E e sot visités (qu au plus) u ombre fii de fois : pour A E de cardial fii P(X A pour ue ifiité de ) = 0.

20 7 Premier temps d atteite d u état, récurrece et trasiece Défiitio 47. État doée ue chaîe de Markov (X ) N de distributio iitiale λ et de matrice de trasitio P, o cosidère la probabilité d atteidre u état pour la première fois u état j, partat de i, e étapes, otée f () (), i.e. f = P(T {j} = X 0 = i). O pose, par covetio, f (0) = 0. Propositio 48. Pour 0,p () = k=0 f (k) p( k). Si le processus passe de i ) j e étapes, o s itéresse à l istat k où le processus à atteit j pour la première fois. Cette derière écriutre permet e particulier de calculer de maière récursive les f (), e otat que f () = p(), et que f () = p () k= f (k) p( k), pour 2. O peut alors motrer le criètre de récurrece et de trasiece suivat Propositio 49. Si =0 p (k) j,j = l état j est récuret, et si =0 p (k) j,j < l état j est trasiet. Ue démostratio peut se faire à l aide des foctio géératrice, e posat P (z) = p () z et F (z) = f () z, e otat que P (z) = δ + F (z) P j,j (z) et du Lemme 0 0 d Abel, Lemme 50. Si ue série de terme gééral u coverge, et u = 0 u, alors lim Réciproquemet, si u 0, et si lim z 0 u z z = u( ) alors u = 0 u. Ce résultat permet de motrer que la récurrece est ue propriété de classe, Propositio 5. Si i j, et si i est récurret, alors j sera égalemet récurret. z 0 u z z = u. Propositio 52. Si ue chaîe de Markov a u ombre d état fii, il existe au mois u état récurret. 8 Marche aléatoire et ruie du joueur Cosidéros das u premier temps la marche aléatoire 2 das Z. 2 Ue aimatio de cet algorithme est téléchargeable sur

21 Pricipe de réflexio de la marche aléatoire A B T A Figure 5: Pricipe de réflexio. 8. Approche fréquetiste O cosidère ici la marche aléatoire, X = X + ε pour, où ε est ue suite i.i.d. de variables valat + avec probabilité p et avec probabilité p. x est la richesse d u joueur jouat à pile ou face, gagat euro dès que pile sort (probabilité p), et perdat dès que face sort, au bout de tirages. Plaços ous das le cas p = /2. Pour détermier les probabilités de trasitio, o peut compter les trajectoires. Soit A l origie (A = (0, 0)), et u B u poit atteigable e tirages, B = (, x ). Notos que x +. Notos de plus que x est forcémet de la même parité que (si est impair, x est forcémet ( impair, et réciproquemet). Le ombre de trajectoires passat de A à B est alors +x ) 2. Comme le ombre total de trajectoires de logueur est 2, la probabilité N,x = d atteidre le poit B est alors p,x = ( +x ) 2 2. Le retour à l origie correspod à la positio x = 0, qui est écessairemet possible seulemet pour pair, i.e. = 2k. Aussi, p 2k,0 = ( ) k 2 2k. 2k O peut moter que pour grad, à l aide de la formule de Stirlig, p 2k,0 / π. Avat d attaquer le problème du premier retour à l origie, rappelos le pricipe de réflexio. Cosidéros désormais deux poits quelcoques A = (a, x a ) et B = (b, x b ), dot les ordoées sot supposées strictemet positives. Le ombre de trajectoires allat de A = (a, x a ) à B = (b, x b ) est égal au ombre de trajectoires allat de A = (a, x a ) à B = (b, x b ). C est ce qui s appelle pricipe de réflexio. Ce résultat se motre simplemet par u pricipe de bijectio, e cosidérat toutes les trajectoires possibles, et e itroduisat le poit T correspodat au premier retour e 0 (cf Figure??) O peut alors utiliser ce résultat pour calculer la probabilité de e jamais reveir e 0, etre la date 0 et la date. Pour cela calculos le ombre de trajectoires qui sot toujours au dessus de la l axe horizotal etre A = (, ) et B = (, x ), oté N,x +. Le ombre total de trajectoire est N,x (compte teu du fait que l o part de (, ) et o pas de (0, 0)). O peut alors écrire que N,x = N,x + + N,x où N,x est le ombre de trajectoires allat de A à B qui touche l axe horizotal. E utilisat le pricipe de réflexio, otos que N,x correspod au ombre de trajectoires allat de A = (, ) à B, soit (par u chagemet d origie), etre (0, 0) et

22 (, x + ) N,x = N,x+. Aussi, N +,x = N,x N,x+ = ( +x 2 ) ( +x ) 2 = N,x x, Pour détermiier le ombre N + de trajectoires qui sot toujours au dessus de la l axe horizotal à partir de A = (, ), i.e. {X > 0,..., X > 0}, otos que, pour pair, ( N + = 4N ) ( ) (par récurece, et e comptat les chemis). Aussi, N + = ) 2. 2( La probabilité pour qu o ait aucu retour à l origie etre 0 et la date = 2k est alors π 2k = P(X 0 = 0, X 0, X 2 0,..., X 2k 0, X 2k = 0). Pour ce calcul, motros quelques résultats itermédiaires. Rappelos déjà que p 2k,0 = P(X 2k = 0 X 0 = 0) = p 2k,0 = ( ) k 2 2k. Motros que p 2k,0 = P(X 0, X 2 0,..., X 2k 0, X 2k 2k 0). Si la trajectoire e coupe jamais l axe horizotal, ce que soit o est toujours positif, soit toujours égatif, i.e. P(X 0, X 2 0,..., X 2k 0, X 2k 0) = 2P(X > 0, X 2 > 0,..., X 2k > 0, X 2k > 0). Or d après la questio précédate, P(X > 0, X 2 > 0,..., X 2k > 0, X 2k > 0) = 2 2k N + 2k = ( ) k 2 2k = p 2k,0, 2k aussi P(X 2k = 0 X 0 = 0) = p 2k,0 = ( ) k 2 2k 2k =P(X 0, X 2 0,..., X 2k 0, X 2k 0). Soit efi τ la variable aléatoire du premier retour e 0. qui peut s écrire P(τ = 2k) = P(X 0, X 2 0,..., X 2k 0, X 2k = 0), P(τ = 2k) = P(X 0, X 2 0,..., X 2k 0) P(X 0, X 2 0,..., X 2k 0, X 2k 0), c est à dire, e utilisat les questios précédates, P(τ = 2k) = p 2k 2,0 p 2k,0 = p 2k,0 2k = 2k 2 2k ( ) k. 2k Il est possible de motrer que cette foctio est effectivemet ue loi de probabilité (sur N ), dot la loi et la foctio de répartitio sot représetées sur le graphique?? Parmi les autres résultats classiques sur la marche aléatoire, il y a la loi de l arcsius, liée à l étude du derier passage e 0 (puisque ous avos vu que la marche aléatoire avait tedace à toujours reveir e 0, o peut légitimemet se poser la questio). Si π 2k,2 désige la probabilité que jusqu à l istat 2 - iclus - le derier passage ait eu lieu à la date 2k ( 2), alors Ce résultat s obtiet e motat que π 2k,2 = p 2k,0 p 2 2k,0, pour k = 0,,...,. π 2k,2 = P({, X 2k=0 } {X 2k+ 0,..., X 2 0}),

23 Loi du premier temps de retour e 0 Loi du premier temps de retour e Probabilités cumulées Temps Figure 6: Loi du temps avat le premier retour e 0. Loi de l arcsius, =20 Loi de l arcsius, = Figure 7: Loi de l arc sius, = 20 et = 50.

24 où ces deux évèemets sot idépedats. Les probabilités associées ot été calculées auparavat. Cette loi π 2,2 est appelée loi discrète de l arcsius, doée par π 2k,2 = ( )( ) k k 2 2 lorsque. 2k 2 2k π k( k) Cette loi /π t( t) est la desité de la loi cotiue de l arc sius. O parle de loi de l arcsius car la foctio de répartitio associée est de la forme (2/ π) arcsi( ). L iterprétatio est que pour u jeu de pile ou face durat depuis périodes, la probabilité pour que le derier retour e 0 ait eu lieu das le premier quart du jeu est (2/ π) arcsi( /4) soit /3. La probabilité pour que le derier retour e 0 ait eu lieu das la première moitié du jeu est (2/ π) arcsi( /2) soit / Approche par les chaîes de Markov O cosidère la chaîe de Markov suivate p p p p k 2 k +k+ k + k + 2 p p p p avec comme état iitial X 0. O ote X la fortue du joueur à la date. Les probabilités de trasitio sot ici p 0,0 = : l état de ruie (0) est aborbat, pi, i = p: o perd si face sort (probabilité p), p i,i+ = p: o gage si pile sort (probabilité p). O ote h i la probabilité d atteidre 0 sachat qu o est à l état i, h i = P(atteidre 0 X = i), alors h i est solutio de { h0 =, h i = ph i+ + ( p)h i pour i. Aussi, pour p /2, la forme géérale de la solutio est ( ) p i h i = A + B. p Comme h i [0, ], si p < p, alors B = 0 et doc h i = pour tout i: la ruie est certaie. ( ) ( p i ( ) ) p i Si p > p, alors h i = + A. Comme h i [0, ], o e déduit p p ( ) p i que A = 0 et doc h i =. p Efi, si p = /2, h i = A + Bi, et doc h i =, comme h i [0, ]. Notos N j la variable aléatoire N j = if{ 0, X = j}, correspod au premier temps d atteite de la fortue j N. Pour la marche aléatoire das Z, commeçat e X 0 = 0. ( ) p (2) 2 0,0 = P(X 2 = 0X 0 = 0) = p ( p), Rappelos que d après la formule de Stirlig,! 2π(/e) lorsque. O peut alors motrer que p (2) 0,0 = 2! (!)2 [p( p)] [4p( p)] lorsque.

25 Marche aléatoire (+,!) e dimesio 2, =25000 Marche aléatoire (+,!) e dimesio 2, =25000 Positio e Y! Positio e Y !2000!500!000!500 0 Positio e X, probabilités 0.45!0.55!400!300!200!00 0 Positio e X, probabilités 0.49!0.5 Figure 8: Marche aléatoire o uiforme das Z 2. Aussi Das le cas symmétrique où p = p = /2, il existe 0 tel que pour > 0, p (2) 0,0 2 π. p (2) 0,0 2 =, π = 0 = 0 o e déduit que la marche aléatoire est récurrete, si p = /2. Das le cas asymmétrique où p p, 4p( p) <, o peut motrer que p (2) 0,0 2 [4p( p)] <, π = 0 = 0 o e déduit que la marche aléatoire est trasiet, si p /2. Pour la marche aléatoire 3 das Z 2, commeçat e X 0 = (0, 0), où p = /4, p (2) (0,0),(0,0) = P(X 2 = (0, 0)X 0 = (0, 0)) = d après la formule de Stirlig. Aussi ( (2 ) ( ) ) π p (2) (0,0),(0,0) 2π =, = 0 = 0 lorsque, o e déduit que la marche aléatoire est récurrete, si p = /4. La Figure?? présete des simulatios de trajectoires das le cas où p /4 (selo l axe verticale, les probabilités sot toujours 50% 50%, mais elles passet à 49% 5% puis 45% 55% selo l axe horizotal, i.e. das ce derier cas, les probabilités des 4 états sot (25%, 25%, 22.5%, 27.5%). Pour la marche aléatoire das Z 3, commeçat e X 0 = (0, 0, 0), où p = /6, p (2) (0,0,0),(0,0,0) = P(X 2 = (0, 0, 0)X 0 = (0, 0, 0)) = 3 Ue aimatio de cet algorithme est téléchargeable sur,k 0,i+j+k= (2)! (i!j!k!) 2 ( ) 2 6

26 E utilisat la formule de Stirlig, o peut motrer que pour tout i, j, k, aussi p (2) (0,0,0),(0,0,0) ( 2 p (2) (0,0,0),(0,0,0) 2(π) 3/2 ) ( ) 2 (2)! 2 ((/3)!) 3 ( ), 3 ( ) 6 3/2, lorsque, o e déduit que la marche aléatoire est trasiate, si p = /6. 9 Distributios limites ou distributios ivariates 9. Les distributios ivariates (ou statioaires) Défiitio 53. Ue mesure λ est dite ivariate pour P si λp = λ. O parlera aussi de loi statioaire. Il existe pas forcémet de loi statioaire pour ue chaîe de Markov de matrice de trasitio P (par exemple la chaîe qui fait passer de i à i + avec probabilité ). De même il peut exister ue ifiité de lois statioaires. Das le cas de la ruie du joueur, i.e. la marche aléatoire borée iférieuremet par 0, et supérieuremet par s, la fortue totale des deux joueurs, E = {0,,..., s}, alors toute loi π = (p, 0,..., 0, p) est ue loi statioaire, pour tout p ]0, [. Théorème 54. Soit (X ) N ue chaîe de Markov de matrice de trasitio P et de mesure iitiale λ ivariate pour P, alors (X h+ ) N ue chaîe de Markov de matrice de trasitio P et de mesure iitiale λ. Proof. Ceci se motre triviallemet e ivoquat la propriété de Markov, et e otat que, pour tout i E, P(X h = i) = (λp h ) i = ([λp ]P h ) i = ([λ]p h ) i =... = λ) i. 9.. Cas où E est fii Plusieurs résultats peuvet être obteus das le cas fii. E effet, das ce cas, o peut utiliser le résultat suivat Propositio 55. Si E est u espace d état fii, alors elle admet au mois u état récurret. Proof. Si E = {,..., k}, alors = k pour tout N, aussi, trasiets. p () = ( p () ) p () =. S il existait pas d état récurret, tous seraiet Or pour u état trasiet j, et pour tout état i, 0 impossible: au mois u des état est récurret. p () est fiie. Ce qui est Il est possible d avoir tous les états trasiets das le cas d ue chaîe sur E déombrable, mais o fii. Propositio 56. Si E est u espace d état fii, alors lim stochastique vérifiat ΠP = P Π = Π, et Π 2 = Π. P h = Π, où Π est ue matrice h=

27 Proof. O admettra qu ue telle limite existe (algèbre liéaire sur les matrices à coefficiets positifs: théorie de Perro-Frobeius, exposée pages das Foata & Fuchs (2004)). Notos que pour tout i E, π = j j lim h= p (h) = lim p () j p() = lim =, car j p (h) = pour tout i. Aussi les liges de Π sot de somme égale à, Π est doc ue matrice stochastique. Les derières propriétés sot obteues e otat que P + = P P = P P. Théorème 57. Si l espace d état E est fii, et s il existe i tel que p () π = (π j ) est ue distributio ivariate. π j pour tout j, alors Proof. Il suffit de oter que π j = j j lim p = lim j p =, où l iterversio de la limite et de la somme est valide puisque E est supposé fii, doc π est ue mesure de probabilité. De plus π j = lim p = lim p+ = lim p p = π k p k,j, k k c est à dire que π = (π j ) est ue distributio ivariate. Rappelos que si j E est u état trasiet, alors pour tout i, lim p =0 (le terme gééral d ue série coverget ted vers 0). Propositio 58. Si la chaîe est irréductible, et possède u ombre fii d états, alors π j = /E(T j X 0 = j), correspodat à l iverse du temps de retour moye de j à j. Théorème 59. Si E est u espace d état fii, alors existece: il existe au mois ue mesure statioaire, uicité: la loi statioaire est uique si et seulemet si la chaîe admet ue seule classe récurrete. De plus, si C désige cette classe, π j > 0 si et seulemet si j C, et π j = 0 si et seulemet si j / C Proof. O admettra l existece, qui repose sur des résultats d algèbre liéaire sur les matrices à coefficiets positifs (théorie de Perro-Frobeius, exposée pages das Foata & Fuchs (2004)). L uicité s obtiet de la maière suivate. Motros que si la chaîe admet ue seule classe récurrete, alors il existe ue loi statioaire uique, vérifiat les propriétés metioées. O sépare alors E e so uique classe récurrete C, et T la réuio des classes trasiets. Soit (i, j) E. si j T (et i quelcoque, das E) alors lim p () = 0. si j C et i C alors la restrictio du processus à la classe C est irréductible, et d après??, la limite est uique (correspodat à l iverse d u temps de retour), si j C et i T, c est u peu plus compliqué. L idée est de passer par u état itermédiaire k, qui sera soit das C soit das T à ue date itermidiaire avat, p (m+h) = k C p (m) i,k p(h) k,j + p (m) i,k p(h) k,j. k T

28 Das u secod temps, o utilise le fait que si p π, alors par le théorème de Cesarro, lim p m+h = π, et h= h= p (m+h) = k C p (m) i,k ( h= p (h) k,j ) + k T p (m) i,k E utilisat le théorème de Cesarro sur les trois sommes, [ ] [ ] π = π j + π k,j. k C p (m) i,k k T p (m) i,k ( h= p (h) k,j ). Si m, p (m) i,k 0 pour tout k T, et k C p (m) i,k, et doc π = π j > 0. Pour motrer la réciproque, raisoos par l absurde. Supposos qu il existe (au mois) deux classes récurretes C et C 2. La matrice de trasitio P a alors la forme suivate 0 0 P = 0 0 et pour tout N, P aura la même forme. Il est alors impossible d avoir lim π i,j = lim π i2,j pour i C et i 2 C 2 Exemple 60. Cosidéros la chaîe de Markov de matrice de trasitio 0 /2 /2 0 P = , alors {2} et {3, 4} sot deux classes récurretes: o a plus uicité de la distributio statioaire. E effet, π = (0, 2p, p, p) pour tout p [0, /2]. /5 /5 3/5 Exemple 6. Cosidéros la chaîe de l exemple??, P = 0 /2 /2 0 0 /5 /5 /2 3/5 /2 3 2 Les distributios ivariates sot doées par la résolutio du système x = x/5 + z y = x/5 + y/2 z = 3x/5 + z/2 Toute solutio est proportioelle au vecteur (5, 2, 4). Le vecteur de probabilité associé est ( 5 π =, 2, 4 ) (45.4%, 8.2%, 36.4%).

29 Probabilités de la matrice de trasitio Probabilités de la matrice de trasitio, k=2 Probabilités de trasitio Valeurs d arrivée (j) Probabilités de trasitio Valeurs d arrivée (j) Valeurs de départ (i) Valeurs de départ (i) Probabilités de la matrice de trasitio, k=5 Probabilités de la matrice de trasitio, k=0 Probabilités de trasitio Valeurs d arrivée (j) Probabilités de trasitio Valeurs d arrivée (j) Valeurs de départ (i) Valeurs de départ (i) Figure 9: Calcul des puissaces d ue matrice de trasitio. E guise d exemple, cosidéros le code suivat, qui permet de géérer des matrices stochastiques aléatoires, P=matrix(0,,) for(i i :){ s=c(0,sort(ruif(-)),) p=s[2:(+)]-s[:()] P[i,]=p} E eefet, la lige de code s=c(0,sort(ruif(-)),); p=s[2:(+)]-s[:()] permet de tirer au hasard u poit du simplexe e dimesio, c est à dire ue mesure de probabilité sur {, 2,..., }. Les figures 4?? suivates motret les probabilités des matrices P, P 2, P 5 et P Cas où E est ifii Das le cas où E est déombrable, mais o-fii, ue coditio suffisate est plus l irréductibilité et la récurrece d états, mais il faut ajouter la propriété de récurece positive. E particulier, la propositio?? doit être affaiblie, Propositio 62. Si E est u espace d état ifii, alors lim P h = Π, où Π est ue matrice sous-stochastique (la somme des élémets par lige est iférieure ou égale à ) vérifiat ΠP = P Π = Π. Il est aussi possible que Π = 0, par exemple si tous les états sot trasiets. E revache Propositio 63. Si E est u espace d état ifii (déombrable), et s il existe au mois u état récurret positif alors il existe au mois ue mesure statioaire. Si l o suppose la chaîe irréductible et réucurret positive, alors la probabilité statioaire est uique. 9.2 La période 9.2. Périodicité d u état j E Défiitio 64. Soit je o appelera d période de l état j le plus grad commu diviseur de tous les etiers pour lesquels p () j,j > 0. Si d = o dira que j est apériodique. 4 Des aimatios de cet algorithme sot téléchargeable sur /P-tras-2.avi, /P-tras-3.avi h=

30 U état i est apériodique si p () i,i > 0 pour tout suffisemet grad, c est à dire que d =. Exemple 65. Cosidéros la chaîe suivate 2 /2 /2 3 4 Tous les états commuiquet: il y a ue seule classe récurrete. Les lacets issus de sot 3 2 ou 4 2, de logueur 3, doc d() = 3. Les lacets issus de 2 sot ou 2 4 2, de logueur 3, doc d(2) = 3. Les lacets issus de 3 sot ou , etc, de logueur 3, 6, etc, doc d(3) = 3. Les lacets issus de 4 sot ou , etc, de logueur 3, 6, etc, doc d(4) = 3. O peut alors diviser la classe e sous-classes cycliques, {}, {2} et {3, 4}. La matrice de trasitio peut alors s écrire par blocs pour E = {2,, 3, 4}, P = /2 / Exemple 66. Pour la marche aléatoire das Z, tous les états sot périodiques de période Périodicité de classe Théorème 67. Si u état j est périodique de période d et que j i, alors i sera égalemet périodique de période d. Cette propriété de périodicité état ue propriété de classe, o pourra parler de chaîe de markov de période d pour si P est irréductible. Théorème 68. Pour ue chaîe irréductible, tous les états ot la même période. 9.3 Covergece vers la loi limite Lemme 69. Si P est ue matrice irréductible et possède u état apériodique i, alors pour tout j, k E, il existe 0 tel que p () j,k > 0 pour tout 0. Aussi, tous les états sot apériodiques. Proof. Il existe r, s tels que p (r) j,i > 0 et p(s) i,k > 0 et doc p (r++s) j,k p (r) j,i p i,i p (s) i,k > 0. Théorème 70. Soit P ue matrice irréductible et apériodique, possédat ue distributio ivariate π. État doée ue distributio iitiale λ, et (X ) N ue chaîe de Markov (λ, P ), alors P(X = j) = π j lorsque pour tout j E, et e particulier p () π j lorsque, pour tout i, j E. Pour démotrer ce résultat, o va utiliser u argumet de couplage.

31 Proof. Soit (Y ) N ue chaîe de Markov (π, P ), et pour b E o pose T b = if{ : X = Y = b}. o commece par motrer que P(T < ) =, { X si T o pose Z = Y si T, 9.4 Iterprétatio de l ivariace Exemple 7. Sur l exemple précédat, supposos λ = (, 0, 0). suivates sot alors ( 00.0% 00.0% 00.0% ) ( 20.0% 20.0% 60.0% ) ( 64.0% 4.0% 22.0% ) ( 34.8% 9.8% 45.4% ) ( 52.4% 6.9% 30.8% ) ( 4.2% 8.9% 39.9% ) ( 48.% 7.7% 34.2% )... ( 45.4% 8.2% 36.4% ) Les distributios aux dates Evolutio des proportios e foctio de Evolutio des proportios e foctio de Evolutio des proportios e foctio de Evolutio des proportios e foctio de Evolutio des proportios e foctio de Exemple 72. Si E est ifii il existe pas forcémet de loi statioaire.

32 2/3 8/9 26/27 80/ /3 /9 /27 /8 Si la chaîe est périodique il existe pas forcémet de loi statioaire. /2 2 /2 /2 /2 /2 /2 /2 4 3 /2 { P(X2+ = u X Pour des raisos de parité, lim 0 = u) = 0 P(X 2 = u X 0 = u) > Pour résumer... Les lois statioaires e charget que les évèemets récurrets (positifs si E est seulemet déombrable), La loi statioaire est uique si et seulemet il existe qu ue classe réccurrete (positive si E est seulemet déombrable), Quad il y a ue loi statioaire, les probabilités de la chaîe coverget vers la loi statioaire au ses de Cesarro. Il y a covergece simple si toutes les composates récurretes sot de période (chaîe apériodique). 0 Résultats d algèbre liéaire pour les chaîes de Markov Lemme 73. est forcémet valeur propre d ue matrice stochatique. Propositio 74. Soit P ue matrice carrée stochastique, Si est valeur propre simple de P, et si toutes les valeurs propres de P autres que sot de module strictemet iférieur à, alors la suite de matrice (P ) N coverge vers ue matrice stochastique. De plus, toutes les liges de la matrice sot idetiques. Si est valeur propre multiple de P, et que toutes les autres valeurs propres sot de module strictemet iférieur à, la suite (P ) N coverge vers ue matrice stochastique. Si P a au mois ue valeur propre autre que dot le module est égal à, alors la suite (P ) N e coverge pas. Toutefois, la suite (Q ) N, défiie par Q = I + P P coverge vers ue matrice stochastique (ou, dit autremet, la suite (P ) N coverge au ses de Cesaro vers ue matrice stochastique).

33 Rappelos que si M est ue matrice carrée d ordre r, elle admet r valeurs propres. Soit s le ombre de valeurs propres distictes, λ,..., λ s, et otos α,..., α s leur multiplicité. Il existe P telle que D λ A = P DP 0 D λ où P =..., D λs où les matrices D λi sot triagulaires supérieures, α i α i, avec λ i sur la diagoale. s O peut écrire D = (λ i J i + u i ), où J i et u i sot de la forme avec J 2 i i= , où = λ i λ i λ i Les matrices u i et J i vérifiet des propriétés d orthogoalité, Alors = J i, J i u i = u i J i = u i, et Si λ i 0, o pose Q i () = O a alors ou J i J j = J i u j = u i J j = u i u j = 0 pour i j, s J i = I. i= ( s D = (λ i J i + u i )) = i= ( J i + u ) i = λ i M = i=0 s (λ i J i + u i ). i= ( ) ( ) k ui. k λ i s (λ i ) P Q i ()P. i= Si de plus o suppose que λ =, alors Q i () = Q i. Soit Π la matrice Q associée à la valeur propre, Propositio 75. Soit P ue matrice stochastique d ordre r, alors pour tout r,. P = Π + j (λ j ) Q j + k (λ k ) Q k (), où la première somme se fait sur les valeurs propres λ i = et la secode λ i <. Notos que Π 2 = Π et Q 2 j = Q j (ce sot des projecteurs). /5 /5 3/5 Exemple 76. Cosidéros la matrice de trasitio P = 0 /2 /2, 0 0 /5 /5 3/5 /2 /2

34 alors P = T DT, où /5 /5 3/5 0 /2 /2 0 0 = La matrice état diagoale, la puissace ième se calcul aisémet /5 /5 3/5 0 /2 /2 0 0 = E particulier P 5 = et P 0 = Propositio 77. Si la matrice de trasitio P est telle qu il existe k tel que P k admet que des termes stricemets positifs, alors P P = [π]. 3/4 /4 0 Exemple 78. Soit P = /2 0 /2, alors 0 0 P 2 = ( /6 3/6 /8 3/8 5/8 0 /2 0 /2 ) (, P 3 39/64 9/64 3/32 = 9/32 3/32 5/6 3/8 5/8 0 ) et P 4 = ( 55/256 63/256 38/256 63/28 59/28 3/64 9/32 3/32 5/6 Aussi la chaîe de Markov est covergete. Or l équatio charactéristique de P est 3/4 z /4 0 detp = /2 z /2 = 0 0 z soit z 3 3/4z 2 5/8z + 3/8 = 0. Comme est racie, cette équatio se ramèe à (z )(z 2 + /4z 3/8) = 0 dot les racies sot /2 et 3/4 (de module strictemt iférieur à ). La chaîe de Markov est effectivemet covergete. Formellemet rappelos qu il suffisait de résoudre π(p I) = 0. Propositio 79. Ue chaîe de Markov de matrice de trasitio P est ergodique si et seulemet si la valeur propre est valeur propre simple, et est l uique valeur propre de module. La loi limite de la chaîe est alors doée par l uique vecteur propre à gauche (lige) de la matrice P (c est-à-dire, les probabilités limites sot les coefficiets de l uique tel vecteur propre dot la somme des coefficiets soit ). Exemples de chaîes de Markov. Modèle de Beroulli-Laplace O cosidère 2 ures, A et B, et o suppose que deux types de boules (rouges et vertes) sot itroduites, e ombre k. O ote X 0 le ombre de boules rouges das la première ure. À chaque date, o procède à u échage deux boules prises das chacue des ures, et o ote X le ombre de boules rouges das la première ure après échages. La matrice de trasitio est doée par i(k i) p i,i = 2 k 2, p i,i = ( ) i 2 et p i,i+ = k ( ) k i 2, k pour 0 < i, j < k, et p 0, = 0 = p k,k =. Cette chaîe (fiie) est effectivemet irréductible, puisqu il est possible de joidre les états i et j e i j étapes, avec ue probabilité o ulle, max{} ( ) k i 2. k )

35 Cette chaîe est apériodique car P i,i > 0 pour tout i. Compte teu de la forme quasi-diagoale de la matrice de trasitio, o peut détermier la loi ivariate π, solutio de P π = π, ce qui reviet à résoudre π 0 = p 0,0 π 0 + p,0 π π = p 0, π 0 + p, π + p 2, π 2... π i = p i,i π i + p i,i π i + p i+,i π i+...π k = p k,k π k + p k,k π k ce qui se résoud de maière récursive, soit, au fial, π i = = p 0, p,0 π 0, 2 = p,2 p 2, p 0, p,0 π 0,..., π i = p i,i p i,i... p 0, p,0 π 0, (( )) i 2 π 0, soit, par ormalisatio k π i = ( (i k) ) 2 ( i ), 2k aussi, la loi hypergéométrique H(2k, k, /2) est la loi ivariate..2 Ure de Ehrefest O cosidère deux ures A et B coteat au total m boules. O tire ue boule das ue des ures choisie au hasard et o la replace das l autre. O cherche à décrire X = ombre de boule das l ure A après tirages. (X ) est ue chaîe de Markov, avec pour probabilités de trasitio P(X + = k X = k) = k m pour k =,..., m, m, P(X + = k + X = k) = m k pour k = 0,,..., m, m P(X + = j X = i) = 0 sio. La matrice de trasitio associée est /m 0 (m )/m /m 0 (m 2)/m P = /m (m )/m 0 /m Das le cas où = 4, la chaîe est alors 3/4 /2 / /4 /2 3/ /4 0 3/4 0 0 de matrice de trasitio P = 0 /2 0 / /4 0 / La chaîe est irréductible (doc récurete positive) et admet ue probabilité ivariate.

36 Notos que pour i =,..., m, π i = π i m i m + π i+ i + m, avec des coditios de bords de la forme π 0 = π /m. Par récurece, π i = π 0 ( i m). Comme m π = alors π 0 i=0 m i=0 ( ) i = 2 m π 0 =, m aussi, π i = 2 m ( i m) pour i = 0,..., m. La loi statioaire est la loi biomiale B(m, /2)..3 Ure de Pólya O cosidère ue ure 5 avec v + r boules, de deux couleurs V et R. Lorsqu o tire ue boule, o la remet das l ure, et o rajoute ue boule de la même couleur. Il s agit d u modle(simple)decotagio. Soiet V et R le ombre de boules après tirages. X = (V, R ) est ue chaîe de Markov das N N, d état iitial (, ), et de matrice de trasitio P((i +, j) (i, j) = i (i + j et P((i, j + ) (i, j) = j (i + j. Notos Z = R /[V + R ] la proportio de boules rouge. Par récurece, o peut moter aisémet que ( P Z = k ) = pour k = r, r +, r + 2,..., r Soiet V et R le ombre de boules sorties après tirages, i.e. V = V v et R = R v. Alors P(V = i, R = i) =! r(r + )...(r + i )v(v + )...(v + i ) i!( i)! (r + v)(r + v + )...(r + v + ) Notos Z = R /[V + R ] = R / la proportio de boules rouge sorties.... Alors P(Z = z) = (r + z )! (r )!(z)! (v + ( z) )! (v )!(( z)! E utilisat la formule de Stirlig, o peut motrer que P(Z = z) (r + v )!! (r + v + )! (r + v )! (r )!(v )! zr ( z) v, pour x [0, ]..4 Processus de brachemet et taille de populatio O cosidère ue populatio dot les idividus se reproduiset, à chaque géératio, de maière idépedate, et tels que le ombre de descedats X admet ue loi de foctio géératrice g, g(t) = E(t X ). O ote S le ombre d idividus à la ième géératio. Notos que S L = X X S, où les X i sot i.i.d. E partat d u seul idividu, o obtiet que la foctio géératrice g de S est g (t) = g (t) où g k = g g k. 5 Ue aimatio de cet algorithme est téléchargeable sur

37 Si P(X = 0) = 0, la chaîe est croissate, et doc la chaîe (S ) est trasiete. Si P(X = 0) 0, il est possible que la populatio disparaisse, et la probabilité de premier retour à 0 est ρ = P(S = 0) = g (). Notos que (ρ ) vérifie alors ue relatio de récurrece ρ = g(ρ ). ρ [0, [ si et seulemet si g () >, c est à dire E(X) > : la trasiece de la chaîe est associée au ombre moye de descedat par idividu. Si g () >, la chaîe est trasiete, et si g (), la chaîe est récurete. Supposos que g (). Si (S ) admet ue loi ivariate, de foctio caractéristique ψ, alors ψ doit vérifier ψ(t) = g(t)ψ(0) + ψ(g(t)) ψ(0). Exemple 80. Si X suit ue loi de Beroulli, B(p), g(t) = ( p) + pt, et ψ est alors solutio de ψ(t) = g(t)ψ(0) + ψ(g(t)) ψ(0) = ψ(( p) + pt) + p(t )ψ(0), ce qui doe, de maière itérative ψ(t) = ψ(( p) + p( p) p k ( p) + p k t) + (p + p p k )(t )ψ(0), pour tout k N. Par passage à la limite, k, ( ) ( ) p p ψ(t) = ψ + ψ (t )ψ(0) = + p (t )ψ(0), p p p i.e. ψ(0) = p et ψ(t) = + p(t ) = ( p) + pt: la loi de Beroulli est ivariate. 2 Théorème(s) ergodique(s) Le premier théorème ergodique est ue forme de loi de grad ombre pour des suites de variables aléatoires o idépedates (mais markoviees). Rappelos que de maière classique, si les X i sot de même loi, et si les variables sot de variace fiie, la loi (faible) des grads ombres (théorème de Khitchie) garatie que ( ) lim P X X E(X) > ε = 0, qui se motre à l aide de l iégalité de Tchebychev, et doc X X résultat peut s écrire, pour toute foctio f itégrable, f(x i ) P E(f(X)) = i= E f(x)dπ(x), P E(X). Aussi, ce où π désige la loi des X i. La loi (forte) des grads ombres garatie ue covergece presque sûr dès lors que les variables sot d espérace fiie, ( P lim ) X X (ω) = E(X) =. Théorème 8. Soit (X ) N ue chaîe de Markov irréductible récurrete positive, et π so uique mesure ivariate. Pour toute foctio f borée sur E, f(x k ) P k=0 E f(x)dπ(x) = x E π(x)f(x).

38 Proof. Pour tout état x E, o ote N x () le ombre de retour à l état x avat l istat, N x () = (X k = x). O s itéresse alors à toutes les excursios, etre chaque retour à l état k=0 x, otées E 0, E,..., E Nx(), chacue de logueur L x (k). Notos que L x (0) L x (N x () ) L x (0) L x (N x ()), de telle sorte que L x (0) L x (N x () ) N x () N x () L x(0) L x (N x ()). N x () Les excursios état idépedates (propriété de Markov), o peut utiliser la loi des grads ombres, et L x (0) L x (N x ()) p.s. E(T x ), N x () où T x est le temps du premier retour à l état x, T x = if{, X = x}. Aussi, /N x () ted presque sûremet vers E(T x ), ou ecore N x() p.s. (le presque sûr état par rapport à x E(T x ) P x ( ) = P( X 0 = x), mais o peut motrer que la covergece a lieu quelle que soit la mesure iitiale λ, puisque les limites sot idetiques). Pour motrer maiteat la covergece, otos que f(x k ) π(x)f(x) = ( ) Nx () π(x) f(x). k=0 x E x E O utilise le fait que f est borée, i.e. f( ) M. Soit F E, alors f(x k ) ( ) Nx () π(x)f(x) = π(x) f(x) k=0 x E x E M N x () π(x) + M ( ) Nx () +π(x) x F x/ F 2M N x () π(x) + 2M pi(x). x F x/ F La difficulté est que E peut être de cardial ifii, o choisit alors F de cardial fii, tel que pi(x) soit aussi petit que possible (iférieure à ε). O utilise alors la covergece étable x/ F précédemet, et doc, il existe N tel que pour N, N x () x F la covergece. pi(x) ε, ce qui garatira Le secod théorème ergodique est ue forme de théorème cetrale limite pour des suites de variables aléatoires o idépedates (mais markoviees). Rappelos que de maière classique, si les variables X i sot idépedates, de même loi (et cetrées, pour simplifier l écriture) où σ 2 = Var(X) = E(X) = x 2 dπ(x). L X k N (0, σ 2 ), i=0 O supposera (das la démostratio, mais le théorème reste gééralemet vrai) que E est fii. O se placera égalemet das le cas cetré, là aussi pour simplifier. Théorème 82. Soit (X ) N ue chaîe de Markov irréductible, et π so uique mesure ivariate sur E fii. Pour toute foctio f sur E telle que f(x)dπ(x) = π(x)f(x) = 0, alors il x E existe σ (dépedat de f) telle que f(x k ) L N (0, σ 2 ). i=0 E

39 Défiitio 85. Ue matrice M est ue Q-matrice sur I si Proof. L idée est d écrire f(x k ) = ( ) Nx () Nx () π(x)f(x), π x E ( x) Nx () i=0 qui va se comportemet de la même maière que Nx () L x (0) L x (N x ()) π(x)f(x), Nx () x E où L x (k) = L x (k) /π(x). Par idépedace sur chaque excursio, o peut ivoquer le théorème cetrale limite qui assure que L x (0) L x (N x ()) Nx () L N (0, ). Notos que le calcul de la variace est pas forcémet simple à obteir (e pratique). Elle vaut σ 2 = 2 π(x)µ(x)f(x) π(x)f(x) 2, où µ(x) = E(f(X ) X 0 = x), x E x E =0 pour tout x E. 3 Iversio du temps Si (X ) 0 est ue chaîe de Markov de matrice de trasitio P, coditioellemet à la valeur présete, le passé et le futur sot idépedat. Théorème 83. Soit (X ) 0N ue chaîe de Markov de matrice de trasitio P irréductible, de distributio ivariate π, et de mesure iitiale λ = π, et poso Y = X N. Alors (Y ) 0N est ue chaîe de Markov de matrice de trasitio P et de mesure iitiale π où π j p j,i = π i p pour tout i, j, et P est irréductible, de distributio ivariate π. 4 Passage au temps cotiu 4. Approche ifiitésimale Etat doée ue matrice Q, la série k 0 Q k k! coverge, et sera otée exp(q). Théorème 84. Soit Q ue matrice défiie sur l espace d état I. Notos P (t) = exp(tq), alors la foctio P ( ) vérifie P (s + t) = P (s) + P (t), P est l uique solutio de l équatio différecielle forward d P (t) = P (t)q, dt P est l uique solutio de l équatio différecielle backward d P (t) = QP (t)., dt ( ) d k pour tout k 0, P (t) dt t = 0 = Qk.

40 q i,i (, 0], q pour tout j i, q = 0. j I Exemple 86. La matrice est ue Q-matrice. Théorème 87. Ue matrice Q est ue Q-matrice si et seulemet si P (t) = exp(tq) est ue matrice stochastique pour tout t 0. Les composates de l équatio différetielle forward P (t) = P (t)q sot p i,i (t) = λp i,i(t) p i,i (0) = pour i < N p (t) = λp (t) + λp (t) p (0) = 0 pour i<j < N p i,n (t) = λp i,n (t) p i,n (0) = 0 pour i < N La première équatio admet pour solutio p i,i (t) = exp( λt) for i < N, et pour i < j < N, (e λt p (t)) = e λt λt (λt)j i p (t), et par iductio, e. Si i = 0, o obtiet les probabilités (j i)! d ue loi de Poisso de paramètre λt. à cotiuer 4.2 Processus de Poisso Pour rappel, ue variable aléatoire positive T suit ue loi expoetielle de paramètre λ 0 si La moyee de T est alors E(T ) = /λ. P(T > t) = exp( λt), pour tout t 0. Théorème 88. T suit ue loi expoetielle si et seulemet si elle vérifie la propriété d absece de mémoire, P(T > s = t T > s) = P(T > t) pour tout s, t 0. [à compléter] 5 Statistique pour les chaîes de Markov 5. U petit exemple Cosidéros u processus de brachemet de type Galto-Watso. O part de X 0 =, et o suppose que la loi de reproductio est ue loi biomiale B(N, p, où p est icou. O suppose les reproductios sot idépedates O ote X le ombre de descedat e géératios.

41 Processus de Galto!Watso doc Notos que X + sachat X = i est la somme de i biomiales idépedates B(N, p, doc X + X = i simb(ni, p) ( ) Ni P(X + = j X = i) = p j ( p) Ni j, = p, pour j = 0,,..., Ni. j Supposos que l o ait observé à chaque date x 0 =, x,..., x. La vraisemblace de cet échatillo est ( ) Nxi L(x 0,..., x, p) = p xi,x i+ = p x i+ ( p) Nx i x i+ aussi L(x 0,..., x, p) ( i=0 La log-vraisemblace s écrit ( Nxi x i+ i=0 ( log L(x 0,..., x, p) = costate + log Aussi, log L(x 0,..., x, p) p 5.2 Gééralisatio i=0 x i+ ) ) p i=0 x i+ ( p) N i=0 x i x i+. O cherche alors p p (0, ) log L(x 0,..., x, p). argmax = 0 si et seulemet si p = N ) p p i=0 ( ) i=0 x i+ i=0 x. i x i+ + N (log( p)) O suppose que E est u espace d état fii. O cherche à estimer P = [p ], la matrice de trasitio. O ote N le ombre de trasitio de i vers j observées etre les dates 0 et, N = Soit N i, le ombre de passage e i, N i, (X k = i, X k+ = j). k=0 = (Xk = i) = N. i=0 x i.

42 Supposos que l o ait observé à chaque date x 0 =, x,..., x. La vraisemblace de cet échatillo est L (x 0,..., x, P = [p ]) = λ(x 0 ) p xk,x k+. O cherche alors k=0 P = [ p ] p (0, ) log p xk,x k+ = argmax k=0 E log p N, avec la costraite d avoir ue matrice stochastique, i.e. p = pour tout i. j E E posat λ i le multiplicateur de Lagrage associé, log L λ i = 0. i E j Ep Pour tout ie, o obtiet que λ i = N i,, et doc D après le théorème ergodique, p = N N i, = estimateur empirique. N i, = (X k = i) P as π(i), k=0 où λ est la mesure statioaire associée à la chaîe P, et aussi, pour tout i, j E, N = (X k = i, X k+ = j) P as π(i)p, k=0 p P as p. O peut e fait motrer que cet estimateur est ormalemet coverget, ( ( p p ) L N 0, p ) ( p ). π(i)

43 Refereces [] Beaïm, M. & El Karoui, N. Promeade Aléatoire, Ed. Ecole Polytechique. [2] Cottrell, M., Geo-Catalot, V., Duhamel, C. & Meyre T. Exercices de probabilits, Ed. Cassii. [3] Foata, D. & Fuchs, A. Processus Stochastiques, Ed. Duod. [4] Norris, J.R. Markov Chais, Ed. Cambridge Uiversity Press. [5] Robert, C. Méthodes de Mote Carlo par chaîe de Markov, Ed. Ecoomica. [6] Ycart, B. Premiers pas e statistique, Ed. Spriger.