PROMENADE ALÉATOIRE : Chaînes de Markov et martingales

Transcription

1 PROMENADE ALÉATOIRE : Chaîes de Markov et martigales Thierry Bodieau École Polytechique Paris Départemet de Mathématiques Appliquées thierry.bodieau@polytechique.edu Novembre 2013

2 2

3 Table des matières I Chaîes de Markov 9 1 De la marche aléatoire aux jeux de cartes 11 2 Matrice de trasitio Propriété de Markov Exemples de chaîes de Markov Équatio de Chapma-Kolmogorov Chapma-Kolmogorov Processus décalé e temps Temps d arrêt et propriété de Markov forte Applicatios Équatio de la chaleur Ruie du joueur Méthode de Mote-Carlo pour u problème de Dirichlet Mesures Ivariates Mesures ivariates Irréductibilité et uicité des mesures ivariates Irréductibilité Uicité des mesures ivariates Costructio de la mesure ivariate Réversibilité et Théorème H Réversibilité Théorème H pour les chaîes de Markov Applicatio : modèle d Ehrefest Espaces d états déombrables Chaîes de Markov récurretes et trasitoires Applicatio : marches aléatoires Marches aléatoires symétriques sur Z d U critère aalytique Mesures ivariates Applicatio : brachemet et graphes aléatoires Arbres aléatoires de Galto-Watso Graphes aléatoires d Erdös-Réyi

4 4 TABLE DES MATIÈRES 5 Ergodicité et covergece Ergodicité Théorème ergodique Applicatio : algorithme PageRak de Google Covergece Apériodicité et covergece Distace e variatio et couplage Vitesses de covergece Applicatio aux algorithmes stochastiques Optimisatio Algorithmes stochastiques Algorithme de Metropolis-Hastigs Modèle d Isig Simulatio parfaite : algorithme de Propp-Wilso Algorithme de recuit simulé Problème du voyageur de commerce Traitemet d images Applicatio : la percolatio Descriptio du modèle Trasitio de phase Absece de percolatio pour p petit Percolatio pour p proche de Poit critique Dimesio II Martigales Espérace coditioelle Espérace coditioelle sur u espace d états discret Défiitio de l espérace coditioelle Propriétés de l espérace coditioelle Processus aléatoire Martigales e temps discret Martigales Théorème d arrêt Iégalités de martigales Décompositio des surmartigales Covergece des martigales Covergece des martigales das L Applicatio : loi des grads ombres Covergece des sous-martigales Applicatio : modèle de Wright-Fisher

5 TABLE DES MATIÈRES Martigales fermées Théorème cetral limite Théorème cetral limite pour les martigales Iégalité de Hoeffdig Théorème cetral limite pour les chaîes de Markov Applicatios des martigales Mécaismes de reforcemet Ure de Polya Graphes aléatoires de Barabási-Albert L algorithme de Robbis-Moro Processus de Galto-Watso Arrêt optimal et cotrôle stochastique Arrêt optimal Eveloppe de Sell Le problème du parkig Problème des secrétaires Cotrôle stochastique Équatio de la programmatio dyamique Cotrôle des chaîes de Markov A Théorie de la mesure 169 A.1 Espaces mesurables et mesures A.1.1 Algèbres, σ algèbres A.1.2 Mesures A.1.3 Propriétés élémetaires des mesures A.2 L itégrale de Lebesgue A.2.1 Foctio mesurable A.2.2 Itégratio des foctios positives A.2.3 Itégratio des foctios réelles A.2.4 De la covergece p.p. à la covergece L A.2.5 Itégrale de Lebesgue et itégrale de Riema A.3 Trasformées de mesures A.3.1 Mesure image A.3.2 Mesures défiies par des desités A.4 Iégalités remarquables A.5 Espaces produits A.5.1 Costructio et itégratio A.5.2 Mesure image et chagemet de variable A.6 Complémets au chapitre A A.6.1 π système, d système et uicité des mesures A.6.2 Mesure extérieure et extesio des mesures A.6.3 Démostratio du théorème des classes mootoes

6 6 TABLE DES MATIÈRES B Théorie des probabilités 189 B.1 Variables aléatoires B.1.1 σ algèbre egedrée par ue v.a B.1.2 Distributio d ue variable aléatoire B.2 Espérace de variables aléatoires B.2.1 Variables aléatoires à desité B.2.2 Iégalité de Jese B.2.3 Foctio caractéristique B.3 Espaces L p et covergeces foctioelles des variables aléatoires B.3.1 Géométrie de l espace L B.3.2 Espaces L p et L p B.3.3 Espaces L 0 et L B.3.4 Lie etre les covergeces L p, e proba et p.s B.4 Covergece e loi B.4.1 Défiitios B.4.2 Caractérisatio de la covergece e loi par les foctios de répartitio B.4.3 Covergece des foctios de répartitio B.4.4 Covergece e loi et foctios caractéristiques B.5 Idépedace B.5.1 σ algèbres idépedates B.5.2 Variables aléatoires idépedates B.5.3 Asymptotique des suites d évéemets idépedats B.5.4 Moyees de variables idépedates B.6 Espérace coditioelle B.6.1 Defiitio B.6.2 Propriétés de l espérace coditioelle

7 L aléa joue u rôle détermiat das des cotextes variés et il est souvet écessaire de le predre e compte das de multiples aspects des scieces de l igéieur, citos otammet les télécommuicatios, la recoaissace de formes ou l admiistratio des réseaux. Plus gééralemet, l aléa iterviet aussi e écoomie gestio du risque), e médecie propagatio d ue épidémie), e biologie évolutio d ue populatio) ou e physique statistique théorie des trasitios de phases). Das les applicatios, les doées observées au cours du temps sot souvet modélisées par des variables aléatoires corrélées dot o aimerait prédire le comportemet. L objet de ce cours est de formaliser ces otios e étudiat deux types de processus aléatoires fodametaux e théorie des probabilités : les chaîes de Markov et les martigales. Ces otes sot ispirées du cours de Nizar Touzi [20] qui a assuré cet eseigemet etre 2008 et E 1913, A. Markov posait les fodemets d ue théorie qui a permis d étedre les lois des probabilités des variables aléatoires idépedates à u cadre plus gééral susceptible de predre e compte des corrélatios. La première partie de ce cours décrit la théorie des chaîes de Markov et certaies de leurs applicatios. Le parti pris de ce cours est de cosidérer le cadre mathématique le plus simple possible e se focalisat sur des espaces d états fiis, voire déombrables, pour éviter le recours à la théorie de la mesure. Le comportemet asymptotique des chaîes de Markov peut être classifié et prédit. Nous verros que la structure de ces processus aléatoires corrélés est ecodée das ue mesure ivariate qui permet de redre compte des propriétés ergodiques, gééralisat aisi les suites de variables aléatoires idépedates. La covergece des chaîes de Markov vers leurs mesures ivariates costitue u aspect fodametal de la théorie des probabilités, mais elle joue aussi u rôle clef das les applicatios. Plusieurs exemples serot décrits pour illustrer le rôle majeur des chaîes de Markov das différets domaies de l igéierie comme les problèmes umériques méthodes de Dirichlet, optimisatio), la recoaissace de formes ou l algorithme PageRak de Google. Des exemples issus de la physique statistique irréversibilité e théorie ciétique des gaz, trasitios de phases) ou de la dyamique des populatios arbres de Galto Watso) permettrot aussi éclairer certais aspects des chaîes de Markov. D autres applicatios des chaîes de Markov sot présetées das le livre de M. Beaim et N. El Karoui [4] et das celui de J.F. Delmas et B. Jourdai [8]. L ouvrage de J. Norris [18] costitue aussi ue excellete référece sur la théorie des chaîes de Markov. La secode partie de ce cours porte sur la théorie des martigales qui permet d étudier d autres structures de dépedace que celles défiies par les chaîes de Markov. Les martigales sot commuémet associées aux jeux de hasard et ous verros commet des stratégies optimales peuvet être défiies à l aide de martigales et de temps d arrêt. Les martigales formet ue classe de processus aléatoires aux propriétés très 7

8 8 TABLE DES MATIÈRES itéressates. E particulier, les fluctuatios de ces processus peuvet être cotrôlées et leur covergece facilemet aalysée. Les martigales permettet aussi d étudier des mécaismes de reforcemet pour mieux compredre des comportemets collectifs, des algorithmes stochastiques ou des phéomèes issus de l écologie comme la dérive géétique. D autres aspects de la théorie des martigales figuret das les livres de J. Neveu [17] et D. Williams [22]. L ouvrage de M. Duflo [9] propose de ombreux développemets sur les applicatios des martigales aux algorithmes stochastiques. Des complémets sur la théorie de la mesure et des probabilités écrits par Nizar Touzi [20] figuret e aexe. Ces deux chapitres développet das u cadre théorique les cocepts abordés das le cours de première aée [16]. Ils permettrot d approfodir certaies otios fodametales de la théorie des probabilités et pourrot servir de référece. Sur la page web du cours de MAP 432 figuret des programmes e scilab réalisés par Floret Beaych-Georges pour illustrer certaies applicatios. Je souhaite exprimer toute ma recoaissace à Nizar Touzi pour m avoir permis de repredre des élémets de so cours [20] et e particulier l aexe. Je ties aussi à remercier chaleureusemet Stéphaie Allassoière, Djalil Chafai, Jea-Fraçois Delmas, Lauret Deis, Lucas Géri, Araud Guilli, Carl Graham et Marc Hoffma qui m ot aidé das la rédactio de ce cours par leurs précieux coseils et leur relecture attetive.

9 Première partie Chaîes de Markov 9

10

11 Chapitre 1 De la marche aléatoire aux jeux de cartes La loi des grads ombres et le théorème cetral limite sot deux théorèmes clef de la théorie des probabilités. Ils motret que la limite d ue somme de variables aléatoires idépedates obéit à des lois simples qui permettet de prédire le comportemet asymptotique. Preos l exemple classique d ue marche aléatoire symétrique cf. figure 1.1) X 0 = 0 et pour 1, X = ζ i 1.1) i=1 où les {ζ i } i 1 sot des variables idépedates et idetiquemet distribuées i 1, Pζ i = 1) = Pζ i = 1) = 1/2. La loi des grads ombres implique la covergece presque sûre 1 lim X = Eζ 1 ) = 0 p.s. 1.2) et le théorème cetral limite assure la covergece e loi vers ue gaussiee de moyee ulle et de variace 1 que l o otera γ 1 loi) X γ. 1.3) Pour de ombreuses applicatios, il est écessaire d ajouter des corrélatios etre ces variables et d erichir ce formalisme au cas de processus aléatoires qui e sot pas ue simple somme de variables idépedates. Par exemple, o voudrait décrire u mobile soumis à ue force aléatoire et à ue force de rappel qui le maitiet près de l origie comme u atome qui vibre autour de sa positio d équilibre das u cristal ou le prix d ue matière première soumise à la loi de l offre et de la demade) et représeter sa positio au cours du temps par Y. Ue faço simple de predre e compte ue force de rappel est de costruire récursivemet ue suite aléatoire Y 0 = 0 et 1, Y = Y 1 + sigey 1 )ξ, 1.4) 11

12 12 CHAPITRE 1. DE LA MARCHE ALÉATOIRE AUX JEUX DE CARTES FIGURE 1.1 À gauche, ue réalisatio de la marche aléatoire symétrique X représetée après pas. À droite, ue réalisatio de la trajectoire Y représetée après pas pour p = où les {ξ i } i 1 sot maiteat des variables idépedates de Beroulli de paramètre p [0, 1/2] i 1, Pζ i = 1) = Pζ i = 1) = p. Das 1.4), le sige de y est oté sigey) {±1} et pour éviter toute ambiguïté, le sige de 0 sera pris égal à 1. Si p = 1/2, Y est égal e loi à X. Par cotre si p < 1/2, le biais aléatoire déped du sige de Y et il a tedace à rameer Y vers 0 car Eξ 1 ) < 0. O voit sur la figure 1.1 que l amplitude et la structure des processus {X } et {Y } est très différete. Même pour u biais petit p = 0.45, la trajectoire Y reste localisée autour de 0. U des ejeux de ce cours sera de décrire le comportemet asymptotique de Y. Pour le momet, essayos de devier ce comportemet limite. La figure 1.2 motre ue trajectoire de Y dix fois plus logue que celle de la figure 1.1 et o costate que l amplitude de cette trajectoire reste sesiblemet ichagée. Ceci cotraste avec l amplitude de la marche aléatoire qui croît comme par le théorème cetral limite. L histogramme de la figure 1.2 représete la fréquece des passages de la trajectoire e u site, i.e. la mesure π défiie par y Z, π y) = 1 1 {Yk =y}. k=1 O motrera que π coverge vers ue mesure limite π qui ecode le comportemet asymptotique de Y y Z, 1 lim 1 {Yk =y} = πy) p.s. k=1 Cette covergece peut s iterpréter comme u aalogue de la loi des grads ombres. Ceci pose plusieurs questios auxquelles ous essayeros de répodre das ce cours Peut o décrire la mesure π? Quel est le temps écessaire pour que π soit proche de π? Le processus {Y } 0 e 1.4) a été obteu par ue récurrece aléatoire Y +1 = f Y, ξ +1 ) pour ue foctio f bie choisie. Sous cette forme, la structure additive de la marche aléatoire X a disparu et o peut aisi evisager de costruire des processus à valeurs das u espace gééral. Par exemple, o peut défiir ue marche aléatoire sur le graphe G de

13 FIGURE 1.2 À gauche, ue réalisatio de la trajectoire Y est représetée après pas. À droite, l histogramme correspodat au ombre de passages par chaque site pour la trajectoire. la figure 1.3 : le marcheur part d u site doé et évolue à chaque pas de temps e sautat uiformémet sur u des voisis du site occupé. FIGURE 1.3 U graphe aléatoire de Barabási-Albert) avec 50 sites. Pour costruire la récurrece aléatoire correspodate, o ote Vx) l esemble des voisis d u site x de G, i.e. les sites reliés à x par ue arête. O décrit maiteat ue procédure pour choisir uiformémet u des voisis à l aide d ue variable aléatoire uiforme sur [0, 1]. O ote degx) le degré de x, i.e. le cardial de l esemble Vx) qui peut varier e foctio du site x). O umérote ue fois pour toute) par u idice etre 0 et degx) 1 chaque arête etre x et ses voisis. Pour tout x G et u [0, 1], o défiit f x, u) comme le voisi de x dot l arête a le uméro degx)u, où représete la partie etière cette procédure est idetique à celle décrite das la remarque 1.1). O a aisi ue costructio explicite d ue marche aléatoire {Y } 0 sur le graphe G e géérat l aléa à partir d ue suite {ξ } 1 de variables aléatoires idépedates et uiformémet distribuées sur [0, 1] Y 0 = 0 et 1, Y +1 = f Y, ξ +1 ). La marche état costruite, o voudrait compredre so comportemet asymptotique : après u temps très log, quelle est la probabilité que la marche soit sur u site doé? O verra etre autres que cette probabilité est proportioelle au degré de chaque site.

14 14 CHAPITRE 1. DE LA MARCHE ALÉATOIRE AUX JEUX DE CARTES Remarque 1.1. Pour simuler ue variable aléatoire Z preat uiformémet les valeurs {1, 2,..., k}, o subdivise [0, 1] e itervalles de logueur 1/k umérotés de 1 à k. O choisit esuite au hasard ue variable U uiformémet sur [0, 1] et o attribue à Z le uméro de l itervalle coteat U. Si la variable Z est pas uiformémet distribuée PZ = i) = p i, il suffit de subdiviser [0, 1] e k itervalles de logueurs {p i } i k pour retrouver le biais das les probabilités par la même procédure. 1/4 1/4 1/4 1/4 p 1 p 2 p 3 p 4 FIGURE 1.4 Deux subdivisios de l itervalle [0, 1]. Le modèle peut ecore être erichi e orietat les arêtes du graphe cf. figure 1.5) et e autorisat seulemet les trasitios selo les arêtes orietées. La probabilité de chaque saut peut aussi être podérée selo les voisis, par exemple sur le graphe de la figure 1.5 : la marche peut passer du site 1 au site 2 avec la probabilité P1, 2) = 1/2, au site 3 avec la probabilité P1, 3) = 1/4 et rester sur place avec la probabilité P1, 1) = 1/4. La seule cotraite état d ajuster la somme des probabilités à 1. 1/2 1/4 1 1/4 2 3/4 1/4 1 3 FIGURE 1.5 U graphe orieté avec 3 sites. L essetiel des exemples cocrets que ous allos recotrer das ce cours peuvet se formaliser comme ue marche aléatoire sur u graphe orieté avec des probabilités de trasitio associées à chaque lie. Parmi les exemples de marche aléatoire sur u graphe traités das ce cours, ous évoqueros les robots d idexatio qui parcouret le World Wide Web pour collecter les doées et idexer des pages Web. Certais graphes peuvet être compliqués et il est importat de développer ue théorie géérale pour appréheder cette complexité. Termios ce tour d horizo sur les chaîes de Markov par le mélage de cartes. O représete u jeu de 52 cartes e umérotat leurs positios das le paquet de 1 à K = 52. Mélager les cartes reviet à appliquer des permutatios successives sur leurs positios. Mathématiquemet, cette procédure est rie d autre qu ue marche aléatoire sur le groupe symétrique S K des permutatios sur {1, 2,..., K}. Iitialemet les cartes sot ragées das l ordre et l état de départ est la permutatio idetité Id = {1, 2,..., K}. État doé ue mesure µ de référece, o choisit au hasard ue permutatio σ 1 sous µ et le jeu de carte est réordoé e σ 1 = σ 1 Id. Pour battre les cartes, o itère plusieurs

15 15 fois cette opératio e tirat au hasard des permutatios σ 1, σ 2,..., σ et e les composat σ σ 2 σ 1. O peut imagier différetes règles pour mélager le cartes et choisir les permutatio σ k. Par exemple, permuter à chaque fois deux cartes choisies aléatoiremet ou pour u modèle plus réaliste mais mathématiquemet plus compliqué) couper le jeu e 2 paquets et isérer l u das l autre riffle shuffle). O a aisi costruit ue récurrece aléatoire sur le groupe symétrique S K. Si o mélage suffisammet logtemps le paquet, o s atted à ce que les positios des cartes soiet réparties uiformémet parmi les 52! choix possibles. Pour le joueur de poker, le comportemet asymptotique e sert à rie. La véritable questio est de savoir combie de fois il faut mélager le jeu de cartes? E termes mathématiques, o veut évaluer la vitesse de covergece vers u état d équilibre. Cette questio est détermiate pour de ombreuses applicatios. Si o souhaite réaliser ue simulatio umérique par u algorithme stochastique, il faut pouvoir prédire à quel momet la simulatio peut être arrêtée. Das ce cours, des critères théoriques sur les vitesses de covergece serot présetés. Les modèles décrits précédemmet sot tous des chaîes de Markov et peuvet être traités das u formalisme uifié qui sera décrit das les chapitres suivats.

16 16 CHAPITRE 1. DE LA MARCHE ALÉATOIRE AUX JEUX DE CARTES

17 Chapitre 2 Matrice de trasitio Das ce chapitre, ous allos défiir les chaîes de Markov et préseter leurs premières propriétés. 2.1 Propriété de Markov Ue suite de variables aléatoires {X } 0 preat ses valeurs das u esemble E est appelée u processus aléatoire discret avec espace d états E. Das ce cours, o e cosidèrera que des espaces d états E fiis ou déombrables. Le poit commu des exemples de processus aléatoires discrets présetés au chapitre 1 est la propriété de Markov : la dépedace du processus au temps + 1 par rapport à so passé se résume à la coaissace de l état X. O peut le formaliser aisi Défiitio 2.1 Propriété de Markov). Soit {X } 0 u processus aléatoire discret sur u espace d états déombrable E. Le processus satisfait la propriété de Markov si pour toute collectio d états {x 0, x 1,..., x, y} de E P X +1 = y X 0 = x 0, X 1 = x 1,..., X = x ) = P X+1 = y X = x ) dès que les deux probabilités coditioelles ci-dessus sot bie défiies. Le processus {X } 0 sera alors appelé ue chaîe de Markov. Si le membre de droite de 2.1) e déped pas de, o dira que la chaîe de Markov est homogèe. Les coditioemets das 2.1) s iterprètet comme des probabilités coditioelles d évèemets PA B) = PA B). Das ce cours, o e cosidèrera que des chaîes PB) de Markov homogèes. La distributio d ue chaîe de Markov homogèe peut doc être ecodée simplemet par ue matrice de trasitio P = {Px, y)} x,y E. La matrice de trasitio décrit la probabilité de passer de x à y et elle satisfait 2.1) x, y E, Px, y) = P X +1 = y X = x ) 2.2) x, y E, Px, y) 0 et x E, Px, y) = 1. y E 17

18 18 CHAPITRE 2. MATRICE DE TRANSITION Comme la chaîe est homogèe les trasitios e dépedet pas du temps et la relatio 2.2) est valable pour tout. Motros maiteat que les processus défiis au chapitre 1 vérifiet la propriété de Markov. Théorème 2.2 Récurrece aléatoire). Soit {ξ } 1 ue suite de variables aléatoires idépedates et idetiquemet distribuées sur u espace F. Soit E u espace d états déombrable et f ue foctio de E F das E. O cosidère aussi X 0 ue variable aléatoire à valeurs das E idépedate de la suite {ξ } 1. La récurrece aléatoire {X } 0 est ue chaîe de Markov. 1, X +1 = f X, ξ +1 ) Démostratio. Nous allos établir la propriété de Markov 2.1) P X +1 = y X 0 = x 0,..., X = x ) = P f X, ξ +1 ) = y, X 0 = x 0,..., X = x ) P X 0 = x 0,..., X = x ) = P f x, ξ +1 ) = y, X 0 = x 0, X 1 = x 1,..., X = x ). P X 0 = x 0, X 1 = x 1,..., X = x ) L évèemet {X 0 = x 0, X 1 = x 1..., X = x } e déped que des variables {X 0, ξ 1,..., ξ } qui sot idépedates de l évèemet { f x, ξ +1 ) = y}. Par coséquet le umérateur est le produit de la probabilité de ces deux évèemets idépedats et o a P X +1 = y X 0 = x 0,..., X = x ) = P f x, ξ +1 ) = y) = P X +1 = y X = x ). O e déduit aussi que la matrice de trasitio s écrit x, y E, Px, y) = P f x, ξ 1 ) = y). Iversemet à toute matrice de trasitio P idexée par N, o peut associer ue chaîe de Markov e costruisat ue récurrece aléatoire. État doé u état X = x de N, o choisit au hasard ue variable aléatoire ξ +1 uiforme sur [0, 1] et o attribue à X +1 la valeur y 1 X +1 = y si ξ +1 [ k=0 Px, k), y k=0 Px, k)] avec la covetio Px, 1) = 0. La même procédure s applique pour ue matrice de trasitio sur u espace E déombrable.

19 2.2. EXEMPLES DE CHAÎNES DE MARKOV Exemples de chaîes de Markov Chaîe de Markov à 3 états. O cosidère ue chaîe de Markov à 3 états, otés E = {1, 2, 3}, dot le graphe de trasitio est représeté figure 2.1. Sa matrice de trasitio P = {Pi, j)} est doée par P = 1/4 1/2 1/4 1/4 3/ ) 1/2 1/4 1 1/4 2 3/4 1/4 1 3 FIGURE 2.1 U graphe de trasitios à 3 états. Marche aléatoire. Ue marche aléatoire sur Z de probabilités de saut p, q = 1 p sur les plus proches voisis aura pour matrice de trasitio p, si y = x + 1 x, y Z, Px, y) = q, si y = x 1 0, sio La matrice de trasitio est cette fois idexée par Z Z mais la majorité de ses coefficiets sot uls). O peut aussi cosidérer la marche aléatoire das u domaie fii {1,..., L} par exemple e supposat que le domaie est périodique. Das ce cas si la marche aléatoire est e L, elle sautera e 1 avec probabilité p et réciproquemet elle sautera de 1 à L avec probabilité q. La matrice de trasitio P sera ue matrice L L P = 0 p q q 0 p q 0 p p q )

20 20 CHAPITRE 2. MATRICE DE TRANSITION File d attete. Les files d attete itervieet das des cotextes variés : au Maga, pour gérer des avios au décollage, pour le stockage de requêtes iformatiques avat leur traitemet, etc. Le modèle le plus simple cosister à supposer que ξ cliets arrivet das la file au temps. O choisit les variables ξ idépedates et idetiquemet distribuées à valeurs das N. Le serveur sert exactemet 1 cliet à chaque pas de temps si la file est pas vide. Le ombre de cliets X das la file au temps vérifie doc X = X 1 1) + + ξ. Le processus {X } 0 est ue récurrece aléatoire sur N et doc ue chaîe de Markov. Sa matrice de trasitio est doée pour tous x, y das N par Px, y) = P ξ 1 = y x 1) +). 2.3 Équatio de Chapma-Kolmogorov Soit {X } 0 ue chaîe de Markov homogèe sur E dot la doée iitiale X 0 est choisie aléatoiremet sur E selo la mesure µ 0 qui attribue les probabilités {µ 0 x)} x E aux élémets de E. Après pas de temps, X sera distribuée selo ue mesure que l o otera µ. L équatio de Chapma-Kolmogorov décrit l évolutio de la distributio µ au cours du temps à l aide de la matrice de trasitio P Chapma-Kolmogorov Soit h ue foctio de E das R. O défiit x E, Phx) = Px, y)hy). 2.5) y E Si E est fii, il s agit simplemet du produit à droite P h etre la matrice P et h = {hx)} x E vu comme u vecteur dot les coordoées sot das R. Soit µ = {µx)} x E ue mesure de probabilité sur E, o défiit le produit y E, µpy) = µx)px, y). 2.6) x E Si E est fii, il s agit du produit à gauche µ P etre u vecteur trasposé et ue matrice. Par covetio, o omet le symbole trasposé das 2.6). Pour 1, le produit matriciel P s écrit x, y E, avec la covetio P 1 = P. P +1 x, y) = P P x, y) = Px, z)p z, y) = P x, z)pz, y) 2.7) z E z E Théorème 2.3. Soit {X } 0 ue chaîe de Markov sur E de matrice de trasitio P dot la doée iitiale X 0 est distribuée selo la loi µ 0. Alors P X 0 = x 0, X 1 = x 1,..., X = x ) = µ0 x 0 ) Px 0, x 1 ) Px 1, x 2 )... Px 1, x ). 2.8)

21 2.3. ÉQUATION DE CHAPMAN-KOLMOGOROV 21 La loi µ de X est détermiée par l équatio de Chapma-Kolmogorov O a aussi x E, µ x) = µ 1 Px) = µ 0 P x). 2.9) x, y E, P X = y X 0 = x ) = P x, y). 2.10) Pour toute foctio borée h de E das R, l espérace de hx ) s écrit E hx ) X 0 = x ) = P hx). 2.11) O iterprète l équatio de Chapma-Kolmogorov e disat que la probabilité d observer X e y est la somme des probabilités de toutes les trajectoires possibles de la chaîe de Markov partat de x 0 et arrivat e y au temps y E, µ y) = {x 0,x 1,...,x 1 } E µ 0 x 0 ) Px 0, x 1 ) Px 1, x 2 )... Px 1, y). Démostratio. Pour prouver 2.8), o procède par des coditioemets successifs et o applique la propriété de Markov 2.1) à chaque étape pour retrouver les probabilités de trasitio 2.2) P X 0 = x 0,..., X = x ) = P X 0 = x 0,..., X 1 = x 1 ) P X = x X0 = x 0,..., X 1 = x 1 ) = P X 0 = x 0,..., X 1 = x 1 ) Px 1, x ) = µ 0 x 0 ) Px 0, x 1 ) Px 1, x 2 )... Px 1, x ). À la derière étape, ous avos utilisé que X 0 est distribuée selo µ 0. Pour obteir la loi de X, o écrit que X 1 peut predre toutes les valeurs possibles µ y) = P X = y ) = P X 1 = x, X = y ) = P X 1 = x ) P X = y X 1 = x ) x E x E = x E µ 1 x)px, y) = µ 1 Py) = µ 0 P y) où la derière relatio s obtiet par récurrece. L idetité 2.10) est qu u cas particulier de l équatio de Chapma-Kolmogorov 2.9) pour ue mesure iitiale µ 0 = δ x cocetrée e x. Fialemet l espérace de hx ) peut se décomposer à l aide de 2.10) E hx ) X 0 = x 0 ) = y hy)p X = y X 0 = x ) = P x, y)hy) = P hx). y Repreos l exemple de la chaîe à 3 états dot la matrice de trasitio est doée par 2.3). Les probabilités de trasitio après 2 pas de temps sot obteues par produit matriciel PX 2 = y X 0 = x) = P 2 x, y) P 2 = 1/16 1/4 1/16 1/16 9/

22 22 CHAPITRE 2. MATRICE DE TRANSITION Exercice 2.4. Soit {X } 0 ue chaîe de Markov à valeurs das E de matrice de trasitio P. Motrer que Y = X 3 est ue chaîe de Markov de matrice de trasitio P 3. Notatio. O utilisera l abréviatio suivate pour décrire l espérace d ue chaîe de Markov partat d u site x de E E x hx ) ) = E hx ) X0 = x ) := hy)p X = y X0 = x ). y E Si X 0 est iitialemet distribué sous ue mesure µ 0, o otera E µ0 hx ) ) = µ 0 P h = Processus décalé e temps {x 0,x 1,...,x } E +1 µ 0 x 0 ) Px 0, x 1 )... Px 1, x )hx ). La propriété de Markov se gééralise pour toute collectio d états {x 0,..., x, y 1,..., y K } de E P X +1 = y 1,..., X +K = y K X0 = x 0,..., X = x ) = P X1 = y 1,..., X K = y K X0 = x ). 2.12) Ceci s iterprète e disat que coditioellemet à {X = x }, le processus décalé e temps {X +k } k 0 est ue chaîe de Markov de matrice de trasitio P partat de x au temps 0 et idépedate du passé. O prouve le résultat e utilisat le théorème 2.3 P ) X +1 = y 1,..., X +K = y K X0 = x 0,..., X = x = P X 0 = x 0,..., X = x, X +1 = y 1,..., X +K = y K ) P X 0 = x 0,..., X = x ) = Px, y 1 )Py 1, y 2 )... Py K 1, y K ) = P X 1 = y 1,..., X K = y K X 0 = x ) où o a utilisé la relatio 2.8) pour obteir la troisième égalité. La propriété de Markov forte, établie das la sectio suivate, gééralise ce résultat. 2.4 Temps d arrêt et propriété de Markov forte U temps d arrêt T associé à u processus aléatoire discret {X } 0 est ue variable aléatoire à valeurs das N { } telle que pour tout 0, l évèemet {T = } est etièremet détermié par les variables {X 0,..., X }, c est à dire que pour tout il existe ue foctio ϕ : E +1 R telle que 1 {T=} = ϕ X 0,..., X ). U temps d arrêt très souvet utilisé est le premier temps d atteite d u sous esemble A E par le processus {X } 0 T A = if { 0; X A }.