Modélisation de phénomènes aléatoires :

Transcription

1 Modélisatio de phéomèes aléatoires : itroductio aux chaîes de Markov et aux martigales Thierry Bodieau École Polytechique Paris Départemet de Mathématiques Appliquées thierry.bodieau@polytechique.edu Février 2017

2 2

3 Table des matières I Chaîes de Markov 9 1 De la marche aléatoire aux jeux de cartes 11 2 Matrice de trasitio Propriété de Markov Exemples de chaîes de Markov Équatio de Chapma-Kolmogorov Chapma-Kolmogorov Processus décalé e temps Temps d arrêt et propriété de Markov forte Applicatios Équatio de la chaleur Ruie du joueur Méthode de Mote-Carlo pour u problème de Dirichlet Mesures ivariates Mesures de probabilité ivariates Irréductibilité et uicité des mesures de probabilité ivariates Irréductibilité Uicité des mesures de probabilité ivariates Costructio de la mesure de probabilité ivariate Réversibilité et Théorème H Réversibilité Théorème H pour les chaîes de Markov Applicatio : modèle d Ehrefest Espaces d états déombrables Chaîes de Markov récurretes et trasitoires Applicatio : marches aléatoires Marches aléatoires symétriques sur Z d U critère aalytique Mesures ivariates Applicatio : brachemet et graphes aléatoires Arbres aléatoires de Galto-Watso Graphes aléatoires d Erdös-Réyi

4 4 TABLE DES MATIÈRES 5 Ergodicité et covergece Ergodicité Théorème ergodique Applicatio : algorithme PageRak de Google Covergece Apériodicité et covergece Distace e variatio et couplage Vitesses de covergece Applicatio aux algorithmes stochastiques Optimisatio Algorithmes stochastiques Algorithme de Metropolis-Hastigs Modèle d Isig Simulatio parfaite : algorithme de Propp-Wilso Algorithme de recuit simulé Problème du voyageur de commerce Traitemet d images Applicatio : la percolatio Descriptio du modèle Trasitio de phase Absece de percolatio pour p petit Percolatio pour p proche de Poit critique Dimesio II Martigales Espérace coditioelle Espérace coditioelle sur u espace d états discret Défiitio de l espérace coditioelle Propriétés de l espérace coditioelle Processus aléatoire Martigales e temps discret Martigales Théorème d arrêt Iégalités de martigales Décompositio des surmartigales Covergece des martigales Itroductio Covergece des martigales das L Applicatio : loi des grads ombres Covergece des sous-martigales

5 TABLE DES MATIÈRES Applicatio : le modèle de Wright-Fisher Martigales fermées Théorème cetral limite Théorème cetral limite pour les martigales Iégalité de Hoeffdig Théorème cetral limite pour les chaîes de Markov Applicatios des martigales Mécaismes de reforcemet Ure de Pólya Graphes aléatoires de Barabási-Albert L algorithme de Robbis-Moro Processus de Galto-Watso Arrêt optimal et cotrôle stochastique Arrêt optimal Eveloppe de Sell Le problème du parkig Problème des secrétaires Cotrôle stochastique Équatio de la programmatio dyamique Cotrôle des chaîes de Markov A Théorie de la mesure 181 A.1 Espaces mesurables et mesures A.1.1 σ-algèbres A.1.2 Mesures A.2 Itégratio A.2.1 Foctios mesurables A.2.2 Itegratio des foctios positives A.2.3 Foctios itégrables A.2.4 Théorème de covergece domiée A.3 Espaces produits A.3.1 Mesurabilité sur les espaces produits A.3.2 Itégratio sur les espaces produits B Théorie des probabilités 195 B.1 Variables aléatoires B.2 Itégratio de variables aléatoires et espaces L p B.2.1 Théorèmes de covergece B.2.2 Iégalités classiques B.2.3 Espaces L p B.3 Covergeces B.3.1 Covergece e probabilité B.3.2 Covergece e loi B.4 Idépedace

6 6 TABLE DES MATIÈRES B.4.1 Variables aléatoires idépedates B.4.2 Comportemet asymptotique B.5 Espérace coditioelle B.5.1 Costructio de l espérace coditioelle B.5.2 Propriétés de l espérace coditioelle

7 L aléa joue u rôle détermiat das des cotextes variés et il est souvet écessaire de le predre e compte das de multiples aspects des scieces de l igéieur, citos otammet les télécommuicatios, la recoaissace de formes ou l admiistratio des réseaux. Plus gééralemet, l aléa iterviet aussi e écoomie gestio du risque, e médecie propagatio d ue épidémie, e biologie évolutio d ue populatio ou e physique statistique théorie des trasitios de phases. Das les applicatios, les doées observées au cours du temps sot souvet modélisées par des variables aléatoires corrélées dot o aimerait prédire le comportemet. L objet de ce cours est de formaliser la otio de corrélatio e étudiat deux types de processus aléatoires fodametaux e théorie des probabilités : les chaîes de Markov et les martigales. E 1913, A. Markov posait les fodemets d ue théorie qui a permis d étedre les lois des probabilités des variables aléatoires idépedates à u cadre plus gééral susceptible de predre e compte des corrélatios. La première partie de ce cours décrit la théorie des chaîes de Markov et certaies de leurs applicatios. Le parti pris de ce cours est de cosidérer le cadre mathématique le plus simple possible e se focalisat sur des espaces d états fiis, voire déombrables, pour éviter le recours à la théorie de la mesure. Le comportemet asymptotique des chaîes de Markov peut être classifié et prédit. Nous verros que la structure de ces processus aléatoires corrélés est ecodée das ue mesure ivariate qui permet de redre compte des propriétés ergodiques, gééralisat aisi les suites de variables aléatoires idépedates. La covergece des chaîes de Markov vers leurs mesures ivariates costitue u aspect fodametal de la théorie des probabilités, mais elle joue aussi u rôle clef das les applicatios. Plusieurs exemples serot décrits pour illustrer le rôle majeur des chaîes de Markov das différets domaies de l igéierie comme les problèmes umériques méthodes de Dirichlet, optimisatio, la recoaissace de formes ou l algorithme PageRak de Google. Des exemples issus de la physique statistique irréversibilité e théorie ciétique des gaz, trasitios de phases ou de la dyamique des populatios arbres de Galto Watso permettrot aussi d éclairer certais aspects des chaîes de Markov. D autres applicatios des chaîes de Markov sot présetées das le livre de M. Beaim et N. El Karoui [4] et das celui de J.F. Delmas et B. Jourdai [8]. L ouvrage de J. Norris [21] costitue aussi ue très boe référece sur la théorie des chaîes de Markov. La secode partie de ce cours porte sur la théorie des martigales qui permet d étudier d autres structures de dépedace que celles défiies par les chaîes de Markov. Les martigales sot commuémet associées aux jeux de hasard et ous verros commet des stratégies optimales peuvet être défiies à l aide de martigales et de temps d arrêt. Les martigales formet ue classe de processus aléatoires aux propriétés très riches. 7

8 8 TABLE DES MATIÈRES E particulier, les fluctuatios de ces processus peuvet être cotrôlées et leur covergece facilemet aalysée. Les martigales permettet aussi d étudier des mécaismes de reforcemet pour mieux compredre des comportemets collectifs, des algorithmes stochastiques ou des phéomèes issus de l écologie comme la dérive géétique. D autres aspects de la théorie des martigales figuret das les livres de J. Neveu [20] et D. Williams [25]. L ouvrage de M. Duflo [9] propose de ombreux développemets sur les applicatios des martigales aux algorithmes stochastiques. Des complémets sur la théorie de la mesure et des probabilités figuret e aexe. Ils permettrot d approfodir certaies otios fodametales de la théorie des probabilités et pourrot servir de référece. Les parties du cours marquées par ue étoile servet d illustratio et de complémet, elles peuvet être omises e première lecture. Des développemets plus complets figuret das l excellet cours de J.F. Le Gall [17] qui traite à la fois de la théorie de la mesure et des processus stochastiques. Les ouvrages aglophoes de R. Durrett [10] et G. Grimmett, D. Stirzaker [13] proposet aussi de ombreux approfodissemets sur la théorie des probabilités. Je souhaite exprimer toute ma recoaissace à Nizar Touzi pour m avoir permis de repredre des élémets de so cours [23]. Je ties aussi à remercier chaleureusemet Stéphaie Allassoière, Ae de Bouard, Djalil Chafai, Jea-Reé Chazottes, Jea-Fraçois Delmas, Lauret Deis, Lucas Geri, Araud Guilli, Carl Graham et Marc Hoffma qui m ot aidé das la rédactio de ce cours par leurs précieux coseils et leur relecture attetive.

9 Première partie Chaîes de Markov 9

10

11 Chapitre 1 De la marche aléatoire aux jeux de cartes La loi des grads ombres et le théorème cetral limite sot deux théorèmes clef de la théorie des probabilités. Ils motret que la limite d ue somme de variables aléatoires idépedates obéit à des lois simples qui permettet de prédire le comportemet asymptotique. Preos l exemple classique d ue marche aléatoire symétrique cf. figure 1.1 X 0 = 0 et pour 1, X = ζ i 1.1 i=1 où les {ζ i } i 1 sot des variables idépedates et idetiquemet distribuées i 1, Pζ i = 1 = Pζ i = 1 = 1/2. La loi des grads ombres implique la covergece presque sûre 1 lim X = Eζ 1 = 0 p.s. 1.2 et le théorème cetral limite assure la covergece e loi vers ue gaussiee de moyee ulle et de variace 1 que l o otera γ 1 loi X γ. 1.3 Pour de ombreuses applicatios, il est écessaire d ajouter des corrélatios etre ces variables et d erichir ce formalisme au cas de processus aléatoires qui e sot pas ue simple somme de variables idépedates. Par exemple, o voudrait décrire u mobile soumis à ue force aléatoire et à ue force de rappel qui le maitiet près de l origie comme u atome qui vibre autour de sa positio d équilibre das u cristal ou le prix d ue matière première soumise à la loi de l offre et de la demade et représeter sa positio au cours du temps par Y. Ue faço simple de predre e compte ue force de rappel est de costruire récursivemet ue suite aléatoire Y 0 = 0 et 1, Y = Y 1 + sigey 1 ζ,

12 12 CHAPITRE 1. DE LA MARCHE ALÉATOIRE AUX JEUX DE CARTES FIGURE 1.1 À gauche, ue réalisatio de la marche aléatoire symétrique X représetée après pas. À droite, ue réalisatio de la trajectoire Y représetée après pas pour p = où les {ζ i } i 1 sot maiteat des variables idépedates de Beroulli de paramètre p [0, 1/2] i 1, Pζ i = 1 = 1 Pζ i = 1 = p. Das 1.4, le sige de y est oté sigey {±1} et pour éviter toute ambiguïté, le sige de 0 sera pris égal à 1. Si p = 1/2, Y est égal e loi à X. Par cotre si p < 1/2, le biais aléatoire déped du sige de Y et il a tedace à rameer Y vers 0 car Eζ 1 < 0. O voit sur la figure 1.1 que l amplitude et la structure des processus {X } et {Y } est très différete. Même pour u biais petit p = 0.45, la trajectoire Y reste localisée autour de 0. U des ejeux de ce cours sera de décrire le comportemet asymptotique de Y. Pour le momet, essayos de devier ce comportemet limite. La figure 1.2 motre ue trajectoire de Y dix fois plus logue que celle de la figure 1.1 et o costate que l amplitude de cette trajectoire reste sesiblemet ichagée. Ceci cotraste avec l amplitude de la marche aléatoire qui croît comme par le théorème cetral limite. L histogramme de la figure 1.2 représete la fréquece des passages de la trajectoire e u site, i.e. la mesure π défiie par y Z, π y = 1 1 {Yk =y}. k=1 O motrera que π coverge vers ue mesure limite π qui ecode le comportemet asymptotique de Y y Z, 1 lim 1 {Yk =y} = πy p.s. k=1 Cette covergece peut s iterpréter comme u aalogue de la loi des grads ombres. Ceci pose plusieurs questios auxquelles ous essayeros de répodre das ce cours Peut o décrire la mesure π? Quel est le temps écessaire pour que π soit proche de π? Le processus {Y } 0 e 1.4 a été obteu par ue récurrece aléatoire Y +1 = f Y, ζ +1 pour ue foctio f bie choisie. Sous cette forme, la structure additive de la marche aléatoire X a disparu et o peut aisi evisager de costruire des processus à valeurs das u espace gééral. Par exemple, o peut défiir ue marche aléatoire sur le graphe G de

13 FIGURE 1.2 À gauche, ue réalisatio de la trajectoire Y est représetée après pas. À droite, l histogramme correspodat au ombre de passages par chaque site pour la trajectoire. la figure 1.3 : le marcheur part d u site doé et évolue à chaque pas de temps e sautat uiformémet sur u des voisis du site occupé. FIGURE 1.3 U graphe aléatoire de Barabási-Albert avec 50 sites. Pour costruire la récurrece aléatoire correspodate, o ote Vx l esemble des voisis d u site x de G, i.e. les sites reliés à x par ue arête. O décrit maiteat ue procédure pour choisir uiformémet u des voisis à l aide d ue variable aléatoire uiforme sur [0, 1]. O ote degx le degré de x, i.e. le cardial de l esemble Vx qui peut varier e foctio du site x. O umérote ue fois pour toute par u idice etre 0 et degx 1 chaque arête etre x et ses voisis. Pour tout x G et u [0, 1], o défiit f x, u comme le voisi de x dot l arête a le uméro degxu, où représete la partie etière. O a aisi ue costructio explicite d ue marche aléatoire {Y } 0 sur le graphe G e géérat l aléa à partir d ue suite {ξ } 1 de variables aléatoires idépedates et uiformémet distribuées sur [0, 1] Y 0 = 0 et 1, Y +1 = f Y, ζ +1. La marche état costruite, o voudrait compredre so comportemet asymptotique : après u temps très log, quelle est la probabilité que la marche soit sur u site doé? O verra etre autres que cette probabilité est proportioelle au degré de chaque site.

14 14 CHAPITRE 1. DE LA MARCHE ALÉATOIRE AUX JEUX DE CARTES Le modèle peut ecore être erichi e orietat les arêtes du graphe cf. figure 1.4 et e autorisat seulemet les trasitios selo les arêtes orietées. La probabilité de chaque saut peut aussi être podérée selo les voisis, par exemple sur le graphe de la figure 1.4 : la marche peut passer du site 1 au site 2 avec la probabilité P1, 2 = 1/2, au site 3 avec la probabilité P1, 3 = 1/4 et rester sur place avec la probabilité P1, 1 = 1/4. La seule cotraite état d ajuster la somme des probabilités à 1. 1/2 1/4 1 1/4 2 3/4 1/4 1 3 FIGURE 1.4 U graphe orieté avec 3 sites. L essetiel des exemples cocrets que ous allos recotrer das ce cours peuvet se formaliser comme ue marche aléatoire sur u graphe orieté avec des probabilités de trasitio associées à chaque lie. Parmi les exemples de marche aléatoire sur u graphe traités das ce cours, ous évoqueros les robots d idexatio qui parcouret le World Wide Web pour collecter les doées et idexer des pages Web. Certais graphes peuvet être compliqués et il est importat de développer ue théorie géérale pour appréheder cette complexité. Termios ce tour d horizo sur les chaîes de Markov par le mélage de cartes. O représete u jeu de 52 cartes e umérotat leurs positios das le paquet de 1 à K = 52. Mélager les cartes reviet à appliquer des permutatios successives sur leurs positios. Mathématiquemet, cette procédure est rie d autre qu ue marche aléatoire sur le groupe symétrique S K des permutatios sur {1, 2,..., K}. Iitialemet les cartes sot ragées das l ordre et l état de départ est la permutatio idetité Id = {1, 2,..., K}. État doé ue mesure µ de référece, o choisit au hasard ue permutatio σ 1 sous µ et le jeu de carte est réordoé e σ 1 = σ 1 Id. Pour battre les cartes, o itère plusieurs fois cette opératio e tirat au hasard des permutatios σ 1, σ 2,..., σ et e les composat σ σ 2 σ 1. O peut imagier différetes règles pour mélager les cartes et choisir les permutatio σ k. Par exemple, permuter à chaque fois deux cartes choisies aléatoiremet ou pour u modèle plus réaliste mais mathématiquemet plus compliqué couper le jeu e 2 paquets et isérer l u das l autre riffle shuffle. O a aisi costruit ue récurrece aléatoire sur le groupe symétrique S K. Si o mélage suffisammet logtemps le paquet, o s atted à ce que les positios des cartes soiet réparties uiformémet parmi les 52! choix possibles. Pour le joueur de poker, le comportemet asymptotique e sert à rie. La véritable questio est de savoir combie de fois il faut mélager le jeu de cartes? E termes mathématiques, o veut évaluer la vitesse de covergece vers u état d équilibre. Cette questio est détermiate pour de ombreuses applicatios. Si o souhaite réaliser ue simulatio umérique par u algorithme stochastique, il faut pouvoir prédire à quel momet la simulatio peut

15 15 être arrêtée. Das ce cours, des critères théoriques sur les vitesses de covergece serot présetés. Les modèles décrits précédemmet sot tous des chaîes de Markov et peuvet être traités das u formalisme uifié qui sera décrit das les chapitres suivats.

16 16 CHAPITRE 1. DE LA MARCHE ALÉATOIRE AUX JEUX DE CARTES

17 Chapitre 2 Matrice de trasitio Das ce chapitre, ous allos défiir les chaîes de Markov et préseter leurs premières propriétés. 2.1 Propriété de Markov Ue suite de variables aléatoires {X } 0 preat ses valeurs das u esemble E est appelée u processus aléatoire discret avec espace d états E. Das ce cours, o e cosidèrera que des espaces d états E fiis ou déombrables. Le poit commu des exemples de processus aléatoires discrets présetés au chapitre 1 est la propriété de Markov : la dépedace du processus au temps + 1 par rapport à so passé se résume à la coaissace de l état X. O peut le formaliser aisi Défiitio 2.1 Propriété de Markov. Soit {X } 0 u processus aléatoire discret sur u espace d états déombrable E. Le processus satisfait la propriété de Markov si pour toute collectio d états {x 0, x 1,..., x, y} de E P X +1 = y X 0 = x 0, X 1 = x 1,..., X = x = P X+1 = y X = x dès que les deux probabilités coditioelles ci-dessus sot bie défiies. Le processus {X } 0 sera alors appelé ue chaîe de Markov. Si le membre de droite de 2.1 e déped pas de, o dira que la chaîe de Markov est homogèe. Les coditioemets das 2.1 s iterprètet comme des probabilités coditioelles d évèemets PA B = PA B. Das ce cours, o e cosidèrera que des chaîes PB de Markov homogèes. La distributio d ue chaîe de Markov homogèe peut doc être codée simplemet par ue matrice de trasitio P = {Px, y} x,y E. La matrice de trasitio décrit la probabilité de passer de x à y et elle satisfait 2.1 x, y E, Px, y = P X +1 = y X = x 2.2 x, y E, Px, y 0 et x E, Px, y = 1. y E 17

18 18 CHAPITRE 2. MATRICE DE TRANSITION Comme la chaîe est homogèe les trasitios e dépedet pas du temps et la relatio 2.2 est valable pour tout. Motros maiteat que les processus défiis au chapitre 1 vérifiet la propriété de Markov. Théorème 2.2 Récurrece aléatoire. Soit {ξ } 1 ue suite de variables aléatoires idépedates et idetiquemet distribuées sur u espace F. Soit E u espace d états déombrable et f ue foctio de E F das E. O cosidère aussi X 0 ue variable aléatoire à valeurs das E idépedate de la suite {ξ } 1. La récurrece aléatoire {X } 0 est ue chaîe de Markov. 1, X +1 = f X, ξ +1 Démostratio. Nous allos établir la propriété de Markov 2.1 P X +1 = y X 0 = x 0,..., X = x = P f X, ξ +1 = y, X 0 = x 0,..., X = x P X 0 = x 0,..., X = x = P f x, ξ +1 = y, X 0 = x 0, X 1 = x 1,..., X = x. P X 0 = x 0, X 1 = x 1,..., X = x L évèemet {X 0 = x 0, X 1 = x 1..., X = x } e déped que des variables {X 0, ξ 1,..., ξ } qui sot idépedates de l évèemet { f x, ξ +1 = y}. Par coséquet le umérateur est le produit de la probabilité de ces deux évèemets idépedats et o a P X +1 = y X 0 = x 0,..., X = x = P f x, ξ +1 = y = P X +1 = y X = x. O e déduit aussi que la matrice de trasitio s écrit x, y E, Px, y = P f x, ξ 1 = y. Iversemet à toute matrice de trasitio P idexée par N, o peut associer ue chaîe de Markov e costruisat ue récurrece aléatoire. État doé u état X = x de N, o choisit au hasard ue variable aléatoire ξ +1 uiforme sur [0, 1] et o attribue à X +1 la valeur y 1 X +1 = y si ξ +1 [ k=0 Px, k, y k=0 Px, k] avec la covetio Px, 1 = 0. La même procédure s applique pour ue matrice de trasitio sur u espace E déombrable.

19 2.2. EXEMPLES DE CHAÎNES DE MARKOV Exemples de chaîes de Markov Variables idépedates. Ue suite de variables aléatoires idépedates et idetiquemet distribuées costitue u exemple élémetaire de chaîe de Markov. Das ce cas, la représetatio sous forme de récurrece aléatoire est évidete X +1 = f ξ +1 et la matrice de trasitio 2.2 e déped plus du site de départ x, y E, Px, y = P X +1 = y X = x = µy, où µ est la loi des variables {X } 1 sur E. Chaîe de Markov à 3 états. O cosidère ue chaîe de Markov à 3 états, otés E = {1, 2, 3}, dot le graphe de trasitio est représeté figure 2.1. Sa matrice de trasitio P = {Pi, j} est doée par P = 1/4 1/2 1/4 1/4 3/ /2 1/4 1 1/4 2 3/4 1/4 1 3 FIGURE 2.1 U graphe de trasitios à 3 états. Marche aléatoire. Ue marche aléatoire sur Z de probabilités de saut p, q = 1 p sur les plus proches voisis aura pour matrice de trasitio p, si y = x + 1 x, y Z, Px, y = q, si y = x 1 0, sio La matrice de trasitio est cette fois idexée par Z Z mais la majorité de ses coefficiets sot uls. O peut aussi cosidérer la marche aléatoire das u domaie fii {1,..., L} par exemple e supposat que le domaie est périodique. Das ce cas si la marche aléatoire

20 20 CHAPITRE 2. MATRICE DE TRANSITION est e L, elle sautera e 1 avec probabilité p et réciproquemet elle sautera de 1 à L avec probabilité q. La matrice de trasitio P sera ue matrice L L P = 0 p q q 0 p q 0 p p q File d attete. Les files d attete itervieet das des cotextes variés : au Maga, pour gérer des avios au décollage, pour le stockage de requêtes iformatiques avat leur traitemet, etc. Le modèle le plus simple cosister à supposer que ξ cliets arrivet das la file au temps. O choisit les variables ξ idépedates et idetiquemet distribuées à valeurs das N. Le serveur sert exactemet 1 cliet à chaque pas de temps si la file est pas vide. Le ombre de cliets X das la file au temps vérifie doc X = X ξ. Le processus {X } 0 est ue récurrece aléatoire sur N et doc ue chaîe de Markov. Sa matrice de trasitio est doée pour tous x, y das N par Px, y = P ξ 1 = y x Équatio de Chapma-Kolmogorov Soit {X } 0 ue chaîe de Markov homogèe sur E dot la doée iitiale X 0 est choisie aléatoiremet sur E selo la mesure µ 0 qui attribue les probabilités {µ 0 x} x E aux élémets de E. Après pas de temps, X sera distribuée selo ue mesure que l o otera µ. L équatio de Chapma-Kolmogorov décrit l évolutio de la distributio µ au cours du temps à l aide de la matrice de trasitio P Chapma-Kolmogorov Soit h ue foctio de E das R. O défiit x E, Phx = Px, yhy. 2.5 y E Si E est fii, il s agit simplemet du produit à droite P h etre la matrice P et h = {hx} x E vu comme u vecteur dot les coordoées sot das R. Soit µ = {µx} x E ue mesure de probabilité sur E, o défiit le produit y E, µpy = µxpx, y. 2.6 x E

21 2.3. ÉQUATION DE CHAPMAN-KOLMOGOROV 21 Si E est fii, il s agit du produit à gauche µ P etre u vecteur trasposé et ue matrice. Par covetio, o omet le symbole trasposé das 2.6. Pour 1, le produit matriciel P s écrit x, y E, P +1 x, y = P P x, y = Px, zp z, y = P x, zpz, y 2.7 z E z E avec la covetio P 1 = P. Théorème 2.3. Soit {X } 0 ue chaîe de Markov sur E de matrice de trasitio P dot la doée iitiale X 0 est distribuée selo la loi µ 0. Alors P X 0 = x 0, X 1 = x 1,..., X = x = µ0 x 0 Px 0, x 1 Px 1, x 2... Px 1, x. 2.8 La loi µ de X est détermiée par l équatio de Chapma-Kolmogorov x E, µ x = µ 1 Px = µ 0 P x. 2.9 O a aussi x, y E, P X = y X 0 = x = P x, y Soit h ue foctio borée de E das R. Si iitialemet X 0 = x, l espérace de hx s écrit E hx X0 = x = P hx L espérace E hx X 0 = x sachat la doée iitiale est, à ce stade, posée comme ue otatio, mais o verra au chapitre 8 que celle-ci coïcide avec l espérace coditioelle. O iterprète l équatio de Chapma-Kolmogorov e disat que la probabilité d observer X e y est la somme des probabilités de toutes les trajectoires possibles de la chaîe de Markov partat de x 0 et arrivat e y au temps y E, µ y = {x 0,x 1,...,x 1 } E µ 0 x 0 Px 0, x 1 Px 1, x 2... Px 1, y. Réciproquemet, o remarquera que tout processus {X } 0 dot la distributio satisfait 2.8 pour tout 0 est ue chaîe de Markov. Démostratio. Pour prouver 2.8, o procède par des coditioemets successifs et o applique la propriété de Markov 2.1 à chaque étape pour retrouver les probabilités de trasitio 2.2 P X 0 = x 0,..., X = x = P X 0 = x 0,..., X 1 = x 1 P X = x X 0 = x 0,..., X 1 = x 1 = P X 0 = x 0,..., X 1 = x 1 Px 1, x = µ 0 x 0 Px 0, x 1 Px 1, x 2... Px 1, x. À la derière étape, ous avos utilisé que X 0 est distribuée selo µ 0.

22 22 CHAPITRE 2. MATRICE DE TRANSITION Pour obteir la loi de X, o écrit que X 1 peut predre toutes les valeurs possibles µ y = P X = y = P X 1 = x, X = y = P X 1 = x P X = y X 1 = x x E x E = x E µ 1 xpx, y = µ 1 Py = µ 0 P y où la derière relatio s obtiet par récurrece. L idetité 2.10 est qu u cas particulier de l équatio de Chapma-Kolmogorov 2.9 pour ue mesure iitiale µ 0 = δ x cocetrée e x. Si iitialemet X 0 = x, l espérace de hx peut se décomposer à l aide de 2.10 E hx X0 = x = y hyp X = y X 0 = x = P x, yhy = P hx. y Repreos l exemple de la chaîe à 3 états dot la matrice de trasitio est doée par 2.3. Les probabilités de trasitio après 2 pas de temps sot obteues par produit matriciel PX 2 = y X 0 = x = P 2 x, y P 2 = 3/16 3/4 1/16 1/4 11/16 1/16 1/4 3/4 0 Exercice 2.4. Soit {X } 0 ue chaîe de Markov à valeurs das E de matrice de trasitio P. Motrer que Y = X 3 est ue chaîe de Markov de matrice de trasitio P 3.. Notatio. Soit A u évèemet portat sur la trajectoire de la chaîe de Markov {X }. Si la chaîe de Markov part d u site x de E, la probabilité de A sera otée P x A := P A X 0 = x. Si iitialemet X 0 est distribué sous µ 0, o otera P µ0 A := µ 0 xp A X 0 = x x E O utilisera l abréviatio suivate pour décrire l espérace d ue chaîe de Markov partat d u site x de E E x hx := E hx X 0 = x = hyp X = y X 0 = x. y E Si X 0 est iitialemet distribué sous ue mesure µ 0, o otera E µ0 hx := µ 0 P h = {x 0,x 1,...,x } E +1 µ 0 x 0 Px 0, x 1... Px 1, x hx.

23 2.3. ÉQUATION DE CHAPMAN-KOLMOGOROV Processus décalé e temps Le théorème ci-dessous est ue gééralisatio simple, mais très utile, de la propriété de Markov. Théorème 2.5. Pour toute collectio d états {x 0,..., x, y 1,..., y K } de E P X +1 = y 1,..., X +K = y K X0 = x 0,..., X = x = P X1 = y 1,..., X K = y K X 0 = x Si A est u évèemet dépedat uiquemet des variables {X +1,..., X +K } et B u autre évèemet dépedat de {X 0 = x 0,..., X 1 }, alors coditioellemet à {X = x }, ces deux évèemets sot idépedats P A B X = x = P A X = x P B X = x L idetité 2.14 s iterprète e disat que coditioellemet à {X = x }, le processus décalé e temps {X +k } k 0 est ue chaîe de Markov de matrice de trasitio P partat de x au temps 0 et idépedate du passé cf. figure 2.2. B X = x A FIGURE 2.2 Pour illustrer le théorème 2.5, o cosidère ue marche aléatoire et deux évèemets. L évèemet A correspod au passage de la marche à travers la zoe rose avat et B à travers la zoe bleue. Si X = x est fixé le comportemet de la marche aléatoire après est idépedat du fait que B soit réalisé avat le temps. Démostratio. O prouve le résultat à l aide du théorème 2.3 P X +1 = y 1,..., X +K = y K X0 = x 0,..., X = x = P X 0 = x 0,..., X = x, X +1 = y 1,..., X +K = y K P X 0 = x 0,..., X = x = Px, y 1 Py 1, y 2... Py K 1, y K = P X 1 = y 1,..., X K = y K X 0 = x où o a utilisé la relatio 2.8 pour obteir la troisième égalité.

24 24 CHAPITRE 2. MATRICE DE TRANSITION La preuve de 2.14 est similaire P A B P A {X = x } B X = x = P X = x = {x 0,...,x 1 } B {y 1,...,y K } A P X 0 = x 0,..., X = x, X +1 = y 1,..., X +K = y K P X = x P X 0 = x 0,..., X = x = {x 0,...,x 1 P X } B = x {y 1,...,y K } A P X 0 = x 0,..., X = x, X +1 = y 1,..., X +K = y K. P X 0 = x 0,..., X = x E appliquat 2.13, o trouve P A B X = x = P A X = x {x 0,...,x 1 } B = P A X = x P B X = x. P X 0 = x 0,..., X = x P X = x La propriété de Markov forte, établie das la sectio suivate, gééralise ce résultat. 2.4 Temps d arrêt et propriété de Markov forte U temps d arrêt T associé à u processus aléatoire discret {X } 0 est ue variable aléatoire à valeurs das N {+ } telle que pour tout 0, l évèemet {T = } est etièremet détermié par les variables {X 0,..., X }, c est à dire que pour tout il existe ue foctio ϕ : E +1 R telle que 1 {T=} = ϕ X 0,..., X. U temps d arrêt très souvet utilisé est le premier temps d atteite d u sous-esemble A E par le processus {X } 0 T A = if { 0; X A }, avec évetuellemet T A = + si le sous-esemble A est jamais atteit. O a alors 1 {TA =} = 1 {X0 A,..., X 1 A, X A}. U temps d arrêt T permet de stopper u processus {X } 0 à u temps uiquemet e foctio du passé et du préset : l évèemet {T = } e doit pas coteir d iformatio sur ce qui se passe au-delà du temps. Par exemple, o peut chercher le meilleur momet pour covertir ue devise sur le marché des chages. Le momet optimal sera choisi par rapport à la coaissace du passé et du préset, mais, à mois de délit d iitié, la décisio e pourra pas être ifluecée par le futur. Les temps d arrêt jouet u rôle privilégié das la théorie des processus aléatoires et ous les retrouveros

25 2.4. TEMPS D ARRÊT ET PROPRIÉTÉ DE MARKOV FORTE 25 B X T FIGURE 2.3 La trajectoire d ue marche aléatoire partat de l origie est représetée sur ce schéma. La marche atteit la frotière de la boule B pour la première fois au temps T. Coditioellemet au poit d impact X T, la secode partie de la trajectoire est idépedate de la première. tout au log de ce cours. E particulier, ous e doeros ue défiitio plus formelle au chapitre 8. Ue coséquece importate de la propriété de Markov est que le processus décalé e temps {X +k } k 0 demeure, coditioellemet à {X = x}, ue chaîe de Markov de matrice de trasitio P partat de x au temps 0 cf. sectio Cette propriété reste valable pour des décalages e temps par des temps d arrêt. Théorème 2.6 Propriété de Markov forte. Soit {X } 0 ue chaîe de Markov de matrice de trasitio P et de loi iitiale µ 0. O cosidère T u temps d arrêt pour cette chaîe de Markov. Coditioellemet à {T < } et X T = x, alors le processus décalé e temps {X T+k } k 0 est ue chaîe de Markov de matrice de trasitio P partat iitialemet de x. De plus, toujours coditioellemet à {T < } et X T = x, la chaîe de Markov {X T+k } k 0 est idépedate de {X 0, X 1,..., X T }. Démostratio. O rappelle que la otatio P µ0 est défiie e Soit B u évèemet dépedat uiquemet de {X 0, X 1,..., X T }. Alors pour tout etier l, l évèemet B {T = l} est détermié par {X 0, X 1,..., X l }. O peut doc écrire pour tout k 0 P µ0 {XT = x, X T+1 = x 1,..., X T+k = x k } B {T = l} {X T = x} = P µ0 {Xl = x, X l+1 = x 1,..., X l+k = x k } B {T = l} {X l = x} = P X 1 = x 1,..., X k = x k X 0 = x P µ0 B {T = l} {Xl = x} où la derière égalité est ue coséquece de la propriété de Markov 2.13 au temps l. Il suffit de sommer ces équatios pour toutes les valeurs de l et o obtiet P µ0 {XT = x, X T+1 = x 1,..., X T+k = x k } B {X T = x} {T < } = P X 1 = x 1,..., X k = x k X 0 = x P µ0 B {XT = x} {T < }. Ce qui coclut le théorème P µ0 {XT = x 0, X T+1 = x 1,..., X T+k = x k } B {X T = x} {T < } = P X 1 = x 1,..., X k = x k X 0 = x P µ0 B {X T = x} {T < }.

26 26 CHAPITRE 2. MATRICE DE TRANSITION La propriété de Markov forte sera utilisée à plusieurs reprises das la suite du cours. 2.5 Applicatios Cette sectio regroupe trois applicatios de la propriété de Markov. La première met e évidece les lies etre la desité d ue marche aléatoire et l équatio de la chaleur e utilisat simplemet l équatio de Chapma-Kolmogorov. L importace des temps d arrêt est esuite illustrée das les deux applicatios suivates Équatio de la chaleur O cosidère la marche aléatoire symétrique {X } 0 sur l itervalle {1,..., L} avec coditios périodiques dot la matrice de trasitio a été défiie e 2.4 e choisissat p = q = 1/2. L équatio de Chapma-Kolmogorov de la distributio au temps + 1 s écrit x {1,..., L}, 2.15 µ +1 x = µ x + 1Px + 1, x + µ x 1Px 1, x = 1 2 µ x µ x 1 où o idetifie L + 1 avec le site 1 et 0 avec le site L. Cette équatio dit simplemet que pour être e x au temps + 1, la marche devait se trouver e x 1 ou x + 1 au temps précédet. O peut aisi détermier complètemet µ au cours du temps. Pour ceci, ous allos étudier des doées iitiales de la forme x {1,..., L}, µ 0 x = 1 L 1 + K k=1 a k cos 2π 2π L kx + b k si L kx 2.16 avec K {1,..., L} et où les coefficiets a k, b k vérifiet { K if a k cos 2πkr + b k si 2πkr r [0,1] k=1 } cette derière coditio sert juste à assurer que la probabilité µ 0 e pred pas des valeurs égatives. Si tous les a k, b k sot uls, la doée iitiale est uiformémet distribuée sur {1,..., L}. Les coefficiets a k, b k sot simplemet les coefficiets de la trasformée de Fourier discrète de µ 0 et par coséquet toute mesure iitiale peut être décomposée sous la forme E utilisat les idetités cosa + b + cosa b = 2 cosb cosa et sia + b + sia b = 2 cosb sia o voit que µ x = 1 L 1 + K k=1 2π [ ] 2π 2π cos L k a k cos L kx + b k si L kx 2.18

27 2.5. APPLICATIONS 27 est bie la solutio de la récurrece 2.16 avec doée iitiale µ 0. Nous allos appliquer ce résultat pour étudier le comportemet d ue particule marquée das u liquide. Le marquage de particules est souvet utilisé pour suivre les déplacemets de matières das ue réactio chimique ou das le sag. Pour modéliser le déplacemet d u marqueur placé das ue solutio, ous allos supposer que le marqueur est distribué iitialemet das ue boîte [0, 1] d de 1cm de coté avec ue loi de desité ρ 0 r. Subdivisos la boîte [0, 1] d e L d petits cubes de coté 1/L avec L très grad disos que 1/L est de l ordre de 10 6 cm soit quelques cetaies d ågströms. Le comportemet microscopique précis du marqueur est très compliqué à décrire mais o peut se coteter d ue approximatio e idetifiat simplemet le cube où le marqueur se trouve. La solutio état à l équilibre, le marqueur se déplace uiformémet au gré des collisios microscopiques et o suppose qu il peut passer d u cube à u de ses voisis avec probabilité 1 2d pour simplifier o exclut les voisis qui ot pas de face commue. Pour décrire l évolutio temporelle de ce marqueur, ous allos seulemet cosidérer le déplacemet selo u axe et supposer que la boîte est périodique le cas gééral se traiterait de la même faço. Das ce cadre simplifié, le marqueur a u comportemet statistique proche de celui d ue marche aléatoire das le domaie {1,..., L} pour L extrêmemet grad. O va doc aalyser l asymptotique de 2.18 quad L ted vers l ifii /L x FIGURE 2.4 Sur le schéma de gauche, la boîte [0, 1] 2 a été subdivisée e carrés de côté 1/L et la positio du marqueur est idetifiée par le carré das lequel il se trouve. Le graphe de droite représete la discrétisatio de la desité ρ 0 r = 1 + si2π r/2 e subdivisat l itervalle [0, 1] avec L = 50. La première étape est de décrire la doée iitiale. À l échelle macroscopique, le marqueur est distribué das la boîte [0, 1] selo la desité ρ 0 r qui sera choisie de la forme ρ 0 r = 1 + K k=1 a k cos 2πkr + b k si 2πkr où K est u etier fixé et les a k, b k vérifiet O défiit aussi t > 0, ρt, r = 1 + K k=1 exp 2π 2 k 2 t [a k cos 2πkr + b k si 2πkr]. 2.19

28 28 CHAPITRE 2. MATRICE DE TRANSITION La répartitio microscopique iitiale s obtiet par discrétisatio cf. figure 2.4 x {1,..., L}, µ 0 x = 1 L ρ 0 x L et satisfait doc L évolutio de la mesure µ a été détermiée e Soit r [0, 1] ue positio macroscopique et t > 0 u temps macroscopique, o leur associe les suites d etiers x L = rl {1,..., L}, L = tl 2 N où est la partie etière. Il faut iterpréter x L comme la positio microscopique correspodat à r et L comme u temps microscopique x L lim L L = r, lim L L L 2 = t. Pour tout k K, o a 2π L [ ] 2π 2π lim cos L L k a k cos L kx L + b k si L kx L = exp 2π 2 k 2 t [a k cos 2πkr + b k si 2πkr] ceci s obtiet e utilisat le développemet limité du cosius à l origie 2π L cos L k = 1 1 2π 2 L 1 2 L k + o L 3 = exp 2π2 k 2 L 2 L + o exp 2π 2 k 2 t. 1 L O e déduit que la desité microscopique µ L coverge vers la desité macroscopique ρt, r défiie e 2.19 lim L L µ L x L = ρt, r. O vérifie facilemet que ρt, r satisfait l équatio de la chaleur t ρt, r = r ρt, r. Das la pratique comme L est très grad, le comportemet macroscopique du marqueur est bie décrit par l équatio de la chaleur. Le passage de modèles microscopiques où le comportemet est aléatoire à des descriptios macroscopiques plus régulières comme ici l équatio de la chaleur est u problème très étudié e physique et e mathématiques. De ombreuses théories ot été développées pour compredre commet des structures régulières peuvet émerger das la limite macroscopique, mais des problèmes ouverts demeuret et il s agit d u domaie de recherche actuellemet très actif e mathématiques. O remarquera que le passage des coordoées microscopiques x L, L aux coordoées macroscopiques r, t s est fait e chageat l échelle spatiale d u facteur L et le temps d u facteur L 2. Ce chagemet d échelle est lié au théorème cetral limite, e effet le marqueur effectue ue marche aléatoire et il e peut explorer que des distaces

29 2.5. APPLICATIONS 29 de l ordre e u temps. Pour que le marcheur puisse se déplacer d ue distace de l ordre de L, il faut doc attedre des temps proportioels à L 2. Cette aalogie etre la limite Gaussiee de la marche aléatoire et l équatio de la chaleur est au coeur de la théorie du mouvemet Browie. D autres applicatios sot décrites das le cours Trasport et diffusio [3] Ruie du joueur Imagios 2 joueurs A et B qui décidet de miser leurs fortues respectives a et b au jeu. À la fi de chaque partie, la fortue du gagat augmete de 1 et celle du perdat dimiue de 1. Le jeu s arrête quad l u deux joueurs est ruié. Retraduit e termes probabilistes, o se doe p [0, 1] et ue suite de variables aléatoires idépedates, idetiquemet distribuées Pξ i = 1 = p et Pξ i = 1 = 1 p. O otera X = X 0 + i=1 ξ i la fortue de A au temps et X 0 = a sa fortue iitiale. La fortue de B est alors doée par a + b X. Par costructio, {X } 0 est ue chaîe de Markov partat de a au temps 0. Si p = 1/2 le jeu est équilibré, sio il est biaisé et u des joueurs a plus de chace de gager que l autre. O cherche à détermier la probabilité que le joueur A soit ruié avat B c est à dire la probabilité avec laquelle sa fortue X = {X } 0 va atteidre 0 avat a + b cf. figure 2.5 ua = P a X atteit 0 avat a + b. O peut réécrire cette probabilité à l aide des temps d arrêt T 0 = if{ 0; X = 0} et T a+b = if{ 0; X = a + b}. O admet que pour presque toute trajectoire la chaîe de Markov {X } 0 atteidra 0 ou a + b au bout d u temps fii presque sûremet ce résultat sera prouvé au lemme 3.9. Par coséquet if{t 0, T a+b } est fii presque sûremet et o peut réécrire ua = P a T0 < T a+b. Au lieu de chercher uiquemet à calculer ua, ous allos gééraliser la questio et supposer que la chaîe de Markov puisse predre toutes les valeurs iitiales i {1,..., a + b 1} ui = P i T0 < T a+b. O défiit la chaîe de Markov décalée e temps X = X +1 pour 1. Si X 0 appartiet à {1,..., a + b 1} alors les évèemets {X atteit 0 avat a + b} et { X atteit 0 avat a + b} sot idetiques. Par l idetité 2.13, X 0 et { X } 0 sot idépedats sachat X 1. O obtiet doc pour i {1,..., a + b 1} P {X atteit 0 avat a + b}, X 0 = i, X 1 = i + 1 = P { X atteit 0 avat a + b}, X 0 = i, X 1 = i + 1 = P X 0 = i, X 1 = i + 1 P { X atteit 0 avat a + b} X 0 = i + 1.

30 30 CHAPITRE 2. MATRICE DE TRANSITION FIGURE 2.5 Premier temps d atteite de 7 = a + b ou de 0 pour la marche aléatoire symétrique X partat de a = 3. Das cette réalisatio T 7 = 9 < T 0. La chaîe décalée e temps ayat la même loi que {X } 0, l idetité se réécrit P {T 0 < T a+b }, X 0 = i, X 1 = i + 1 = P X 0 = i p ui État doé X 0 = i, le pas suivat sera X 1 = i ± 1 ui = P i {T0 < T a+b }, X 1 = i P i {T0 < T a+b }, X 1 = i 1. E utilisat 2.20, o a i {1,..., a + b 1}, ui = pui pui avec u0 = 1 et ua + b = 0. O peut esuite résoudre explicitemet les solutios de cette récurrece liéaire e remarquat que les racies du polyôme caractéristique associé py 2 y + 1 p sot 1 et 1 p/p. O distigue deux cas. Jeu biaisé. Quad p = 1/2, les racies du polyôme sot distictes et la solutio de 2.21 s écrit sous la forme ui = c p i. c 2 p Il suffit esuite d ajuster les costates c1 et c 2 e foctio des coditios aux bords pour coclure ui = 1 p p 1 p p a+b 1 p p i a+b 1. Jeu équilibré. Quad p = 1/2, les deux racies du polyôme valet 1 et o trouve ui = 1 i a + b. Ces résultats permettet de retrouver la valeur ua cherchée qui vaut ua = 1 p p 1 p p a+b 1 p p a a+b 1.

31 2.5. APPLICATIONS 31 pour u jeu biaisé et ua = b a+b das le cas d u jeu équilibré. O défiit T = if{t 0, T a+b } le temps où le jeu s arrête. Ue méthode aalogue permet de calculer l espérace E i T. E utilisat la chaîe de Markov décalée e temps X = X +1, o obtiet pour tout i das {1,..., a + b 1} E i T = 1 + p E i+1 T + 1 p E i 1 T. Il suffit doc de résoudre le système liéaire satisfait par vi = E i T vi = 1 + p vi p vi 1 avec les coditios aux bords v0 = va + b = 0. Das le cas d u jeu équilibré p = 1/2, o trouve pour tout i de {0,..., a + b} E i T = ia + b i Le problème de la ruie du joueur costitue u cas d école, mais des questios similaires se poset aux compagies d assurace qui cherchet à estimer la probabilité d icidets aléatoires pouvat les coduire à la faillite Méthode de Mote-Carlo pour u problème de Dirichlet L équatio de Laplace iterviet das de ombreux domaies de la physique mécaique des fluides, électromagétisme... et elle joue u rôle clef e aalyse cf. le cours Approximatio Numérique et Optimisatio MAP 411 [2]. Le problème de Dirichlet associé se formule de la faço suivate. O cosidère u domaie D boré, coexe et régulier de R 2. Les résultats suivats se gééraliset facilemet à toute dimesio d 1. Le bord de D sera oté D. État doée ue foctio ϕ défiie sur D, o cherche à détermier f : D R telle que f r = 2 2 k f r = 0 et r D, f r = ϕr 2.23 k=1 où 2 k est la dérivée secode par rapport à la kième coordoée. Cette équatio modélise par exemple la variatio de température das ue plaque de métal e cotact avec différetes sources de chaleur sur so bord. La plaque de métal est représetée par le domaie D, la température au poit r D par f r et les températures au bord de la plaque sot égales à ϕ. Il existe différetes méthodes pour résoudre umériquemet l équatio Nous allos décrire ue approche probabiliste dite méthode de Mote-Carlo. La première étape cosiste à discrétiser le domaie D avec u maillage de taille 1/L, o otera D L le réseau discret correspodat D L = { i L, j } D avec 1 i L, 1 j L = D 1 L L Z2.

32 32 CHAPITRE 2. MATRICE DE TRANSITION T 2 D T 1 D L T 3 T 4 FIGURE 2.6 U domaie D R 2 avec différetes températures imposées sur so bord D. Le maillage de D iduit ue frotière discrète D L représetée par les sites gris. Le bord discret D L est costitué des sites de D c 1 L Z2 à distace iférieure à 1/L de D cf. figure 2.6. Cosidéros f ue foctio C 3 sur D. La formule de Taylor implique que f f i+1 L, j L i 1 L, j L f i L, j L f i L, j L = 1 L 1 f i L, j L L 2 1 f i L, j L + O1/L 3 = 1 L 1 f i L, j L L 2 1 f i L, j L + O1/L 3 E sommat ces deux équatios, o obtiet ue approximatio de la dérivée secode 2 1 quad le pas du maillage ted vers f i L, j L [ i + 1 = L 2 f L, j i 1 + f L L, j i 2 f L L, j ] + O1/L. L Pour toute foctio F de D L D L das R, o défiit le Laplacie discret e tout poit x de D L Fx = y D L D L, y x Fy Fx où la otatio y x sigifie qu o somme sur les voisis y de x, c est à dire les sites de D L D L à distace 1/L de x. E particulier si x est proche du bord, les valeurs de F sur la frotière D L itervieet. Les calculs précédets justifiet cette défiitio car pour des foctios f régulières, le Laplacie discret est ue boe approximatio du Laplacie f x = L 2 f x + O1/L. Le problème de Dirichlet cotiu 2.23 peut être approché par le problème de Dirichlet discret x D L, Fx = 0 et y D L, Fy = ϕ L y 2.24 où la cotraite de Dirichlet ϕ sur D a été discrétisée e ue foctio ϕ L sur D L. La solutio du problème de Dirichlet discret peut s écrire à l aide d ue marche aléatoire {X } 0 sur 1 L Z2 qui saute uiformémet d u site à chacu de ses voisis avec probabilité 1 4. O ote T D L le premier temps d atteite du bord D L par cette marche et X T DL le site de D L où la marche est sortie. O admet provisoiremet que T DL est

33 2.5. APPLICATIONS 33 fii presque sûremet, c est à dire qu ue marche aléatoire fiit toujours par sortir du domaie ceci sera vérifié au Lemme 3.9. O défiit x D L, Fx = E x ϕ L X T DL Pour chaque site x de D L, la valeur de Fx se calcule e évaluat l espérace de la foctio ϕ L au poit où la marche aléatoire partat de x D L a touché D L pour la première fois. Cocrètemet pour calculer Fx, il suffit de costruire K réalisatios de la marche aléatoire {X i } i K partat de x D L et de predre la moyee sur les différets poits de sortie X i T DL du domaie D L. Les K marches état idépedates, les variables ϕ L X i T DL sot idépedates et la loi des grads ombres fourit ue approximatio de F quad K ted vers l ifii K 1 lim K K ϕ L X i T DL = E x ϕ L X T DL i=1 p.s Le temps écessaire pour réaliser ces simulatios sera proportioel à K E x T DL. Il reste à vérifier que F est bie solutio du problème de Dirichlet discret O remarque que le cas de la dimesio 1 a déjà été traité avec la ruie du joueur e 2.21 pour des coditios aux bords 0 et 1. État doé X 0 = x das D L, le pas suivat sera X 1 = y pour y x Fx = E x ϕl X T DL 1 X1 =y. y x E cosidérat, comme das la ruie du joueur, la marche décalée e temps X = X +1, o voit que F est la solutio de l équatio de Laplace discrète Fx = 1 4 y x Fy Fx = 0. De plus si x appartiet au bord D L alors X T DL = x. La foctio F satisfait bie la cotraite de Dirichlet sur le bord. Par coséquet 2.25 fourit ue représetatio explicite de la solutio du problème de Dirichlet discret O peut facilemet vérifier que la solutio de 2.24 est uique. E effet, si F 1 et F 2 sot deux solutios alors ψ = F 2 F 1 satisfait ψ = 0 et vaut 0 sur le bord D L. Supposos que ψ atteige so maximum e x 0 D L. Comme ψx 0 = 1 4 y x 0 ψy et ψy ψx 0 alors ψy = ψx 0 pour tous les voisis de y de x 0. E itérat cette procédure, o peut trouver u chemi de sites x 0, x 1, x 2,..., x l avec x l D L tels que x i x i+1 pour tout i 1 et ψx i = ψx 0. Comme x l D L, o e déduit que 0 = ψx 0. Le maximum de ψ état pris e x 0, ceci implique que ψ 0. Par symétrie ψ 0 et o a doc prouvé l uicité de la solutio du problème de Dirichlet discret 2.24.

34 34 CHAPITRE 2. MATRICE DE TRANSITION La méthode de Mote Carlo permet d évaluer la formulatio probabiliste 2.24 du problème de Dirichlet discret. Das la pratique plusieurs questios se poset pour mettre e oeuvre cette méthode de Mote Carlo. Quel pas de maillage 1/L doit-o predre pour que le problème de Dirichlet discret 2.24 approche correctemet le problème cotiu. La valeur de L état choisie, combie de marches idépedates e chaque site doit-o lacer pour que la moyee empirique 2.26 décrive correctemet la foctio F. L itérêt de la méthode de Mote Carlo est d être facile à implémeter et d être performate quad la dimesio d deviet grade. O peut aussi gééraliser cette méthode pour résoudre des équatios aux dérivées partielles de la forme σr f + br f = 0 et r D, f r = ϕr où σ et b sot des champs de vecteurs sur D. Plus gééralemet, o peut cosidérer ue matrice de trasitio P sur u esemble E x, y E, Px, y 0 et x E, Px, y = 1. y E Si A est u sous esemble de E, alors o costruit le problème de Dirichlet x E \ A, Id PFx = 0 et y A, Fx = ϕy où ϕ est la coditio aux bords et Id est la matrice idetité. {Fx} x E est u vecteur icou idexé par E que l o cherche à détermier. E utilisat la chaîe de Markov associée à P, o peut costruire ue solutio du problème de Dirichlet e foctio de T A le temps d atteite de A x E \ A, Fx = E x ϕxta 1 {TA < }. Pour obteir l uicité du problème de Dirichlet, il faut préciser la structure de la matrice P et s assurer que T A reste fii presque sûremet.

35 Chapitre 3 Mesures ivariates Das le chapitre précédet, ous avos vu au théorème 2.3 que la distributio d ue chaîe de Markov de matrice de trasitio P évolue à chaque pas de temps selo les équatios 2.9 de Chapma-Kolmogorov µ +1 = µ P. Nous allos, das ce chapitre, étudier les mesures de probabilité µ ivariates par ces équatios c est à dire les mesures satisfaisat µ = µp. Ces mesures jouerot par la suite u rôle clef das le comportemet asymptotique des chaîes de Markov. Das ce chapitre ous e cosidéreros que des chaîes de Markov sur des espaces d états E fiis. O otera E le cardial de E. Le cas des espaces d états déombrables sera abordé au chapitre Mesures de probabilité ivariates Soit {X } 0 ue chaîe de Markov sur u espace E fii de matrice de trasitio P. Défiitio 3.1. La mesure π sur E est ue mesure ivariate pour la chaîe de Markov {X } 0 si π = πp, c est à dire y E, πy = πxpx, y. x E Das ce chapitre, ous e cosidéreros que des mesures de probabilité ivariates, i.e. des mesures ivariates satisfaisat la ormalisatio x E πx = 1. Si la chaîe est distribuée iitialemet selo ue mesure ivariate π o ote µ 0 = π alors la distributio à tout temps reste µ = π. Ue mesure ivariate π décrit doc u système das u état statioaire. O peut imagier par exemple u gaz à l équilibre das ue pièce cofiée dot les positios des atomes sot aléatoires mais uiformémet réparties das la pièce à tout temps. Par cotre si o ouvre u flaco de parfum au cetre de cette pièce, le parfum se répad et la distributio des molécules est pas statioaire au cours du temps. E aticipat u peu sur les prochais chapitres, o imagie cepedat qu au bout d u temps très log le parfum se sera répadu das toute la pièce et que ses molécules serot distribuées uiformémet das toute la pièce, le système aura doc covergé vers la mesure ivariate. Nous reviedros sur l iterprétatio d ue mesure ivariate e utilisat l aalogie avec u gaz das la sectio

36 36 CHAPITRE 3. MESURES INVARIANTES Cosidéros u graphe G = S, E fii et sas boucles u site est jamais relié à lui même. O otera S l esemble des sites das le graphe et E l esemble des arêtes etre les sites. O défiit ue marche aléatoire {X } 0 sur S dot les probabilités de trasitio d u site vers ses voisis sot uiformes x, y S, Px, y = 1 {x y} 1 degx où la otatio x y sigifie que x et y sot reliés par ue arête du graphe x, y E et degx est le ombre de voisis de x, i.e. le degré de x. O défiit la probabilité π sur S par x S, πx = degx E où E est le cardial du ombre d arêtes. Le graphe e coteat pas de boucles, o voit facilemet que π est bie ormalisée car degx = 2 E. x S E effet, chaque arête du graphe est comptée deux fois das la somme. O vérifie que pour tout y das S degx πxpx, y = x S x S 2 E 1 degx 1 {x y} = 1 2 E 1 {x y} = πy. x y Le résultat précédet implique que pour la marche aléatoire symétrique sur {1,..., L} avec coditios périodiques cf. figure 3.1 et 2.4 la mesure uiforme est ivariate x {1,..., L}, πx = 1 L. Exercice 3.2. Vérifier que pour la marche aléatoire sur {1,..., L} avec coditios périodiques et probabilités de sauts Px, x + 1 = p, Px, x 1 = 1 p la mesure uiforme πx = 1 L est ecore ivariate pour tout p [0, 1]. 3.1 Pour ue chaîe de Markov à deux états {1, 2} cf. figure 3.1 dot la matrice de trasitio est doée par 1 p p P = 3.3 q 1 q avec p, q ]0, 1[. Ue mesure ivariate est doée par Ceci se vérifie e calculat π1 = πp1 = π1p1, 1 + π2p2, 1 = q p + q, π2 = p p + q. q 1 p + p p + q p + q q = π1.

37 3.1. MESURES DE PROBABILITÉ INVARIANTES p p q 5 q FIGURE 3.1 À gauche, le graphe des trasitios associé à la marche aléatoire symétrique sur le domaie périodique {1,..., 6}. Le graphe des trasitios pour la chaîe à deux états est représeté à droite. O a de même πp2 = π2. Si p ou q sot différets de 0, o peut vérifier que π est l uique mesure de probabilité ivariate. La distributio π reflète le comportemet de la chaîe de Markov. E effet, si p est proche de 0 et q proche de 1, alors la chaîe de Markov va avoir tedace à sauter de 2 vers 1 et à rester sur place ue fois qu elle est au site 1. O remarque que π1 est effectivemet proche de 1 et π2 proche de 0. Lemme 3.3. Si π est ue mesure ivariate alors π = πp pour tout 1. Ce lemme traduit le fait qu ue mesure ivariate est préservée pour tout temps πx = P π X = x. Ceci explique le rôle clef joué par les mesures ivariates das le comportemet asymptotique des chaîes de Markov cf. chapitre 5. Démostratio. Comme π est ivariate, o a π = πp et e composat à droite par la matrice de trasitio, o e déduit πp = πp 2, ce qui doe π = πp 2. Il suffit esuite d itérer cette relatio pour coclure le Lemme 3.3. O peut évidemmet décomposer le calcul matriciel précédat e écrivat πy = πzpz, y. z E O e déduit e remplaçat πz par πpz que πy = z E x E [ ] πxpx, zpz, y = πx x E Px, zpz, y z E = πxp 2 x, y. x E O retrouve bie la relatio π = πp 2. Si le processus est iitialemet distribué sous la mesure ivariate π, le Lemme 3.3 permet de déduire l idetité e loi, m 0, X 0, X 1,..., X loi = X m, X m+1,..., X m+. Cette idetité implique que le processus est statioaire et sa distributio e déped pas de l itervalle de temps cosidéré.

38 38 CHAPITRE 3. MESURES INVARIANTES Das le cas d u espace E fii, la mesure de probabilité ivariate π peut être iterprétée comme u vecteur à valeurs das [0, 1] E qui est u espace compact. U argumet de compacité va doc ous permettre de justifier l existece d au mois ue mesure de probabilité ivariate π. Théorème 3.4. Pour toute chaîe de Markov sur u espace d états fii E, il existe ue mesure de probabilité ivariate. Notos que ce théorème e dit rie sur l uicité de la mesure de probabilité ivariate. Démostratio. À ue mesure de probabilité ν doée sur E, o associe la suite de mesures sur E ν = 1 νp k. k=1 Les vecteurs ν x x E preet leurs valeurs das l esemble compact [0, 1] E. Il existe doc ue suite extraite ν k qui coverge vers ue mesure π das E x E, lim k ν k x = πx. Par costructio π est bie ue mesure de probabilité car E est fii et pour tout, o a ν x = 1 πx = 1. x E x E Nous allos vérifier que π est ue mesure ivariate. Par costructio ν P = 1 νp k+1 = ν + 1 νp +1 νp. k=1 Pour chaque x de E, la suite {ν Px ν x} 1 coverge doc vers 0. E passat à la limite, o e déduit que π est ivariate car x E, πpx πx = lim k ν k Px ν k x = Irréductibilité et uicité des mesures de probabilité ivariates La structure des mesures ivariates déped de la matrice de trasitio P. Repreos l exemple de la chaîe sur deux sites dot la matrice de trasitio est défiie e 3.3 das le cas particulier où il existe aucue trasitio etre les états 1 et 2, i.e. p = q = 0. Les deux mesures π 1 x = 1 {x=1} et π 2 x = 1 {x=2} sot ivariates car si la chaîe part d u état, elle y restera tout le temps. O peut vérifier que toute combiaiso liéaire λπ λπ 2 avec λ [0, 1] est ue mesure

39 3.2. IRRÉDUCTIBILITÉ ET UNICITÉ DES MESURES DE PROBABILITÉ INVARIANTES39 ivariate. Cet exemple très simple motre qu il peut exister ue ifiité de mesures ivariates. Cosidéros maiteat le cas où il existe pas de trasitio de 1 vers 2, i.e. p = 0 et q = 0. Alors l uique mesure ivariate est π 1 x = 1 {x=1} et elle attribue aucu poids au site 2 ce qui est pas le cas si p > 0. Par coséquet, le support des mesures ivariates déped de la structure de P. Avat d aalyser l uicité des mesures ivariates, ous allos itroduire la otio d irréductibilité qui est équivalete à la coexité du graphe des trasitios associé à la matrice P Irréductibilité Soit X = {X } 0 ue chaîe de Markov sur E de matrice de trasitio P. Défiitio 3.5. Soiet x, y deux états de E. O dit que i x commuique avec y, o ote x y, s il existe u etier 0 et des états x 0 = x, x 1,..., x = y E tels que Px 0, x 1 Px 1, x > 0, i.e. si P x X = y = PX = y X 0 = x > 0. ii x et y commuiquet, o ote x y, si x commuique avec y et y commuique avec x. Défiitio 3.6. i Ue classe E 0 E est dite fermée si pour tous x, y E x E 0 et x y alors y E 0. ii Ue classe E 0 E est dite irréductible si x y pour tous x, y E 0 et E 0 est fermée. iii La chaîe de Markov X est dite irréductible si l espace d états E est irréductible. Les défiitios i et ii sot illustrées figure 3.2. La défiitio iii est la plus importate e pratique car les chaîes irréductibles vot costituer otre pricipal cadre d étude. La restrictio de la chaîe de Markov à ue classe fermée E 0 est aisi ue chaîe de Markov d espace d états E 0. Efi si E 0 = {x 0 } est fermée, alors l état x 0 est dit absorbat car ue fois que la chaîe de Markov l a atteit, elle reste bloquée das cet état pour toujours. FIGURE 3.2 Das ce graphe de trasitio, o distigue 2 classes irréductibles fermées e rouge et e bleu clair. Aucu site de ces deux classes e commuique avec les sites blacs qui e formet pas ue classe fermée. La chaîe de Markov peut être restreite à chacue des classes irréductibles.

40 40 CHAPITRE 3. MESURES INVARIANTES Uicité des mesures de probabilité ivariates Pour E fii, l existece d ue mesure ivariate a été prouvée au théorème 3.4. L hypothèse d irréductibilité de la chaîe permet de reforcer ce résultat. Théorème 3.7. Pour toute chaîe de Markov irréductible sur u espace d états fii E, il existe ue uique mesure de probabilité ivariate π telle que πx > 0 pour tout x E. Démostratio. Soit π ue mesure ivariate so existece est assurée par le théorème 3.4. Nous allos d abord vérifier que πx > 0 pour tout x E. Comme y E πy = 1, il existe x 0 de E tel que πx 0 > 0. La chaîe état irréductible, x 0 commuique avec tout y de E et pour chaque y, il existe u etier tel que P x 0, y > 0. La mesure π est ivariate π = πp cf. lemme 3.3 et o e déduit πy = πzp z, y πx 0 P x 0, y > 0. z E Pour motrer l uicité, ous allos d abord établir u résultat prélimiaire et prouver que toute foctio h de E das R vérifiat x E, hx = Px, yhy 3.4 y E est écessairemet costate. Ue foctio h satisfaisat 3.4 est dite harmoique. Nous avos déjà recotré des foctios harmoiques sectio Comme E est fii, il existe u état x 0 où la foctio atteit so miimum hx 0 = mi y E hy. S il existait z de E tel que Px 0, z > 0 et hz > hx 0, o obtiedrait ue cotradictio e utilisat le fait que y E Px, y = 1 hx 0 = Px 0, yhy > Px 0, zhx 0 + Px 0, yhy hx 0. y E y =z Ceci état impossible, la foctio h est doc égale à hx 0 pous les états y coectés à x 0, i.e. tels que Px 0, y > 0. Comme la chaîe est irréductible, o déduit e itérat cette procédure que h est costate sur E. O remarque qu ue foctio harmoique h est u vecteur propre à droite pour P car h = Ph tadis qu ue mesure ivariate π est u vecteur propre à gauche car π = πp. Le résultat précédet sur les foctios harmoiques implique que la matrice P Id a u oyau de dimesio 1 les vecteurs de la forme λ1,..., 1. La valeur propre 0 état de multiplicité 1, elle est aussi valeur propre de multiplicité 1 pour la trasposée P Id. Par coséquet s il existe 2 mesures ivariates π 1, π 2 que l o peut iterpréter comme des vecteurs telles que π 1 = π 1 P et π 2 = π 2 P alors les deux vecteurs π 1, π 2 sot das le oyau de P Id. Le oyau état de dimesio 1, il existe ue costate c telle que π 1 = c π 2. Comme les deux mesures sot ormalisées par 1, o e déduit que π 1 = π 2. Exercice 3.8. O propose ue preuve alterative de l uicité des mesures ivariates du théorème 3.7. Supposos que π 1, π 2 soiet deux mesures ivariates strictemet positives sur E. Motrer que x, y E, Qx, y = Py, x π 1y π 1 x

41 3.2. IRRÉDUCTIBILITÉ ET UNICITÉ DES MESURES DE PROBABILITÉ INVARIANTES41 est ue matrice de trasitio irréductible. Vérifier que f x = π 2x est harmoique pour Q, i.e. π 1 x f = Q f. E utilisat le résultat sur l uicité des foctios harmoiques, e déduire que π 1 = π Costructio de la mesure de probabilité ivariate Le théorème 3.4 a permis d obteir l existece d ue mesure ivariate de faço implicite. Das cette sectio, ous allos costruire la mesure ivariate et e doer ue expressio explicite qui pourra se gééraliser facilemet aux espaces d états déombrables. O rappelle la défiitio du premier temps d atteite T x d u élémet x de E T x = if { 0; X = x }. O défiit aussi T + x = if { 1; X = x }. Ces deux temps d arrêt coïcidet sauf si le site iitial est x car das ce cas T x = 0 et T + x est le premier temps de retour e x. Ue propriété importate des temps de retour das le cas des espaces fiis est la suivate : Lemme 3.9. Pour ue chaîe de Markov irréductible sur u espace d états E fii x, y E, E x T + y <. Démostratio. La chaîe état irréductible et E fii, il existe ε > 0 et u etier tels que pour tous x, y das E j, P j x, y ε. La valeur j peut varier selo les couples x, y mais reste borée par. La probabilité d atteidre y avat le temps e partat de importe quel poit est au mois ε. L iégalité suivate est doc vraie uiformémet e x, y P x T + y > 1 ε. Nous allos itérer ce résultat e coditioat le processus par le passé jusqu au temps k 1 P x T + y > k = P x {T + y > k 1} {X k 1 = z} {X k 1+i = y} z E i=1 z =y = P x {T + y > k 1} {X k 1 = z} z E z =y P {X k 1+i = y} {T y + > k 1} {X k 1 = z} i=1

42 42 CHAPITRE 3. MESURES INVARIANTES où z représete toutes les valeurs possibles pouvat être prises par X k 1. Par la propriété de Markov appliquée au temps k 1 cf. théorème 2.5, o e déduit que le coditioemet e déped que de la valeur de X k 1 P x T + y > k = P x {T y + > k 1} {X k 1 = z} P {X k 1+i = y} X k 1 = z z E i=1 z =y Le derier terme peut s exprimer par la propriété de Markov comme l évèemet {T + y > } pour la chaîe décalée e temps P {X k 1+i = y} X k 1 = z = P {X i = y} X 0 = z = P z i=1 i=1 T + y >. Coditioellemet à {X k 1 = z}, o peut le borer uiformémet e z avec z = y par 1 ε pour obteir P x T + y > k 1 εp x T y + > k 1. E itérat o obtiet P x T + y > k 1 ε k. Pour toute variable aléatoire Z à valeurs das N, o rappelle l idetité classique O obtiet doc E x T + y = P x T + y l 1 Ce qui permet de coclure le lemme. EZ = PZ l. l 1 l P x T + y k 0 > k 1 ε k <. k 0 Le théorème suivat permet d exprimer la mesure ivariate e foctio de la fréquece à laquelle la chaîe de Markov visite les sites de E. Théorème Pour ue chaîe de Markov irréductible {X } 0 sur u espace d états E fii, l uique mesure de probabilité ivariate est doée par x E, πx = 1 E x T + x. Démostratio. État doé x de E, ous défiissos la mesure π comme la moyee du temps passé e chaque site par la chaîe de Markov etre deux passages par x y E, πy = E x ombre de visites e y avat de retourer e x = P x X = y, T x + >. 0

43 3.2. IRRÉDUCTIBILITÉ ET UNICITÉ DES MESURES DE PROBABILITÉ INVARIANTES43 A priori, π déped du choix de x, mais ous allos motrer que ce est pas le cas. Le lemme 3.9 implique que πy est bie défiie pour tout y car πy 0 P x T x + > = E x T x + <. Par cotre π est pas ue mesure de probabilité car elle est pas ormalisée. Pour motrer que π est statioaire, ous calculos πzpz, y = P x X = z, T x + > Pz, y. z E z E 0 Le poit clef de la preuve est de costater que l évèemet {T x + > } = {T x + + 1} e déped que de {X 0,..., X } o sait juste que la marche est pas reveue e x avat le temps. Par coséquet, o peut appliquer la propriété de Markov et écrire P x X = z, T x + + 1, X +1 = y = P x X = z, T x + > P X +1 = y X = z, T x + > = P x X = z, T x + > Pz, y. O déduit de cette relatio que πzpz, y = P x X = z, T x + + 1, X +1 = y z E z E 0 = P x T x + + 1, X +1 = y = P x T x +, X = y. 0 1 Cette expressio est très proche de la défiitio de π P x T x +, X = y 1 = P x X = y, T x + > 0 P x T + x = πy P x X0 = y + P x XT + x = y. Il suffit maiteat de cosidérer les deux cas : Si y = x alors P x X 0 = y = P x X T + x = y = 1. Si y = x alors P x X 0 = y = P x X T + x = y = 0. > 0, X 0 = y + P x T x + =, X = y 1 O a doc prouvé que la mesure π est ivariate, i.e. z E πzpz, y = πy. Pour obteir ue mesure de probabilité, il suffit de la ormaliser. Comme z E πz = E x T + x, la mesure de probabilité y E, πy = πz E x T + x est l uique mesure de probabilité ivariate cf. théorème 3.7. E particulier, elle vérifie πx = πx E x T + x = 1 E x T + x. Le site x qui servait de site de référece pour idexer les excursios de la chaîe a été choisi arbitrairemet. L idetité ci-dessus est doc vérifiée pour tout x car la mesure de probabilité ivariate est uique pour ue chaîe de Markov irréductible.

44 44 CHAPITRE 3. MESURES INVARIANTES 3.3 Réversibilité et Théorème H Réversibilité Les mesures ivariates sot caractérisées par le système d équatios liéaires y E, πy = πxpx, y x E dot le ombre d icoues est proportioel au cardial de E. Das la pratique, ce cardial est très grad parfois ifii et il est souvet difficile de détermier π aalytiquemet. La réversibilité est ue coditio suffisate et facile à vérifier qui assure l existece d ue mesure ivariate. Défiitio Ue chaîe de Markov de matrice de trasitio P sur E est dite réversible par rapport à la mesure π si elle satisfait x, y E, πxpx, y = πypy, x. La réversibilité caractérise les systèmes à l équilibre. Sous la mesure iitiale π, si o observe ue trajectoire x 0, x 1,..., x pour ue chaîe de Markov réversible alors la trajectoire iverse aura la même probabilité P π X0 = x 0, X 1 = x 1,..., X = x = Pπ X0 = x, X 1 = x 1,..., X = x 0. Pour prouver cette relatio, o écrit la propriété de Markov P π X0 = x 0, X 1 = x 1,..., X = x = πx0 Px 0, x 1 Px 1, x 2... Px 1, x. E itérat de proche e proche la relatio de réversibilité, o obtiet P π X0 = x 0, X 1 = x 1,..., X = x = Px1, x 0 πx 1 Px 1, x 2... Px 1, x = Px 1, x 0 Px 2, x 1 πx 2... Px 1, x = πx Px, x 1 Px 1, x 2... Px 1, x 0. Exemples. D après l exercice 3.2, la marche aléatoire sur {1,..., L} avec coditios périodiques et probabilités de sauts Px, x + 1 = p, Px, x 1 = 1 p a pour mesure ivariate la mesure uiforme πx = 1 L pour tout p [0, 1]. Cette chaîe de Markov est réversible que pour p = 1 2 car pour p = 1 2 πxpx, x + 1 = πx + 1Px + 1, x. E effet, si p = 1 2 la marche va tourer systématiquemet das le même ses et la probabilité de la voir tourer e ses iverse sera très faible. Si p = 1 2, la marche est symétrique et toute fluctuatio das u ses sera aussi probable qu ue fluctuatio e ses iverse.

45 3.3. RÉVERSIBILITÉ ET THÉORÈME H 45 La chaîe de Markov à deux états de matrice de trasitio P doée par 3.3 est aussi réversible pour la mesure π1 = q p+q, π2 = p p+q car π1 P1, 2 = qp = π2 P2, 1. p + q Das la pratique, la réversibilité permet de vérifier facilemet qu ue mesure est ivariate. Théorème Si ue chaîe de Markov de matrice de trasitio P est réversible par rapport à la mesure π, alors π est ue mesure ivariate. Démostratio. Pour tout y das E, o obtiet e utilisat la réversibilité et x E Py, x = 1 πxpx, y = πypy, x = πy. x E x E Par coséquet, π est bie ue mesure ivariate Théorème H pour les chaîes de Markov Soiet µ et ν deux mesures de probabilité sur u espace E. O ote H l etropie relative de ν par rapport à µ H ν µ νx νx = log µx. µx µx x E O peut iterpréter l etropie relative comme ue distace etre µ et ν car H est positive et e s aule que si ν = µ. Pour le vérifier, il suffit de remarquer que φu = u logu est strictemet covexe et par l iégalité de Jese H ν µ = φ x E νx µx φ µx νx µx µx = 0. x E L iégalité est stricte dès qu il existe u x pour lequel νx = 1. µx Théorème O cosidère ue chaîe de Markov irréductible de matrice de trasitio P et de mesure ivariate π. Alors pour toute probabilité µ, o a H µp π H µ π. Par coséquet, l etropie relative H µp π décroît avec le temps. Ce résultat fait écho au Théorème H pour l équatio de Boltzma, éamois les physicies utiliset la covetio opposée pour l etropie et cosidèret plutôt la croissace de H. Nous verros au chapitre 5 que les mesures µp relaxet vers la mesure d équilibre π. La décroissace de l etropie relative permet déjà d etrevoir cette relaxatio car la distace etre µp et π se réduit au cours du temps.

46 46 CHAPITRE 3. MESURES INVARIANTES Démostratio. E utilisat la foctio φu = u logu, o a H µp π 1 = φ πx µypy, x πx = φ x E y E x E µy πy y E πypy, x πx. πx La mesure π état ivariate, o peut vérifier que que y πypy,x πx probabilité sur E est ue mesure de o obtiet par l iégalité de Jese πypy, x = 1 πx πx πypy, x = πx πx = 1 y E y E H µp πypy, x π πx φ πx x E y E Comme x E Py, x = 1, o coclut que µy = πy H µp π H µ π. y E x E πypy, xφ µy. πy Applicatio : modèle d Ehrefest Nous allos illustrer les cocepts de réversibilité et de décroissace de l etropie avec ue chaîe de Markov proposée par Paul et Tatiaa Ehrefest e Ce modèle a joué u rôle importat pour établir les fodemets de la mécaique statistique et compredre le paradoxe de l irréversibilité e théorie ciétique des gaz. Commeços par u rappel historique pour expliquer les motivatios qui ot coduit à itroduire ce modèle. E 1872, Boltzma propose ue équatio pour décrire l évolutio d u gaz peu dese hors équilibre. Cette équatio deviedra l élémet fodateur de la théorie ciétique des gaz. Le poit de départ est de représeter les molécules das u gaz comme u esemble de sphères dures qui avacet e lige droite à des vitesses différetes et qui rebodisset à la maière de boules de billard quad elles se touchet. Pour décrire le comportemet d u tel gaz, il est pas possible i souhaitable de redre compte de l évolutio de tous les atomes l ordre de gradeur de leur ombre état 10 23, par cotre ue quatité plus globale comme la desité f t, x, v de particules au temps t avec la positio x et la vitesse v suffit à décrire le trasport de matière. L équatio de Boltzma régit l évolutio de la desité de particules t f t, x, v + v x f t, x, v = Q f, f Q f, f v = [ f v f v 1 f v f v 1 ] v v 1 ν S 2 R 3 + dv 1dν où ν est u vecteur itégré sur la sphère uité S 2 et les vitesses après collisios s écrivet v = v + ν v 1 v ν, v 1 = v 1 ν v 1 v ν.

47 3.3. RÉVERSIBILITÉ ET THÉORÈME H 47 Ue propriété fodametale de cette équatio coue comme le Théorème H, est la croissace de l etropie au cours du temps Ht = dx dv f t, x, v log f t, x, v et t Ht 0 La covetio e physique est opposée à celle des mathématicies qui cosidèret plutôt la décroissace de Ht, cf. sectio Cette croissace traduit l irréversibilité du système : si o perce u ballo rempli de gaz, le gaz s échappe et le ballo se dégofle. Ce mécaisme est irréversible, e effet il est très rare d observer u ballo se regoflat spotaémet. L équatio de Boltzma a pourtat suscité de ombreuses cotroverses car l irréversibilité des solutios de cette équatio semble icompatible avec la réversibilité de la dyamique microscopique. La dyamique microscopique est u immese billard avec boules rebodissat les ues sur les autres. Si o observe l évolutio de cette dyamique jusqu au temps t et qu à l istat t toutes les vitesses sot reversées v v alors le système microscopique reviet e arrière e suivat exactemet l évolutio iverse. E 1876, Loschmidt objectait que l équatio de Boltzma e pouvait pas redre compte du système microscopique qui lui était réversible. U secod paradoxe est sigalé par Zermelo e 1896 car le théorème de Poicaré assure que cette dyamique microscopique va repasser au cours du temps arbitrairemet près de sa coditio iitiale et ce pour presque toutes les coditios iitiales. Ceci pose ecore la questio de l irréversibilité de l équatio de Boltzma. Le modèle des époux Ehrefest a permis de compredre ces deux paradoxes. O cosidère u récipiet isolé coupé e deux par ue paroi, la partie gauche est remplie d u gaz et celle de droite est vide cf. figure 3.3. À l istat iitial, u trou miuscule est percé das la paroi pour permettre au gaz de passer d u compartimet à l autre. Pour simplifier le modèle, o imagie qu à chaque pas de temps, u atome est choisi au hasard et trasféré d u compartimet à l autre. O ote X le ombre d atomes das la partie gauche au temps et o suppose qu iitialemet le récipiet cotiet K atomes, i.e. X 0 = K. Cette chaîe de Markov a pour espace d états {0,..., K} et les probabilités de trasitio sot doées par P X +1 = l 1 X = l = l K, P X +1 = l + 1 X = l = K l K. Quad le système est à l équilibre, les molécules sot réparties uiformémet et la mesure ivariate devrait ituitivemet être ue loi biomiale πl = 1 K 2 K l o choisit l molécules parmi K et o les place das la partie gauche, les K l serot alors das la partie droite. Pour le vérifier, il suffit de remarquer que cette chaîe de Markov est réversible pour la mesure ivariate π πlpl, l + 1 = 1 K! K l 2 K = πl + 1Pl + 1, l. l!k l! K La distributio de π est représetée figure 3.3. La réversibilité stochastique peut être vue comme l aalogue de la réversibilité des équatios du mouvemet pour la dyamique microscopique du gaz de sphères dures.

48 48 CHAPITRE 3. MESURES INVARIANTES FIGURE 3.3 Sur le schéma de gauche, le modèle d Ehrefest est représeté : le compartimet de gauche est rempli de molécules, celui de droite est presque vide. U passage est ouvert etre les deux compartimets pour permettre le trasfert des molécules. Le graphe de droite représete la distributio de π pour K = 80. Cette distributio est symétrique autour de sa moyee et elle décrit l état d équilibre du gaz. L irréductibilité de chaîe de Markov implique par le lemme 3.9 que la chaîe va reveir e chacu des poits presque sûremet. Si iitialemet le compartimet de gauche est rempli de gaz et celui de droite est vide, les molécules vot d abord se répartir assez rapidemet das tout le récipiet mais si o atted assez logtemps toutes les molécules fiirot par retourer das le compartimet de gauche. Cette propriété est l aalogue du théorème de récurrece de Poicaré pour les systèmes dyamiques que Zermelo opposait à Boltzma. Das le cas de la chaîe d Ehrefest, le théorème 3.10 permet de calculer l espérace du temps de retour E l T + l = 1 πl l!k l! = 2K. K! O remarque que pour K très grad, par exemple de l ordre de E K T + K = 2K et E K/2 T + K/2 2πK. Par coséquet, le temps de retour e K/2 qui est la valeur d équilibre sera ifiimet mois log que le temps de retour e K. Ce derier est tellemet grad qu il peut être supérieur à la durée de vie de l uivers. Il faudra doc s armer de patiece avat de voir u ballo percé se regofler spotaémet. Les temps de récurrece d évèemets rares état extrêmemet logs, il y a doc pas de cotradictio avec la validité de l équatio de Boltzma sur des échelles de temps plus courtes.

49 Chapitre 4 Espaces d états déombrables Ce chapitre est cosacré aux chaîes de Markov sur des espaces d états ifiis mais déombrables pour lesquelles des phéomèes ouveaux apparaisset cocerat la fréquece des visites d u état. O verra aussi que pour des espaces d états ifiis, l irréductibilité e suffit pas à garatir l existece d ue uique mesure de probabilité ivariate. 4.1 Chaîes de Markov récurretes et trasitoires U exemple simple de chaîe de Markov sur u espace d états ifii est la marche aléatoire symétrique sur Z d avec d 1 et de matrice de trasitio x, y Z d, Px, y = 1 2d 1 { x y =1}. La marche saute de faço équiprobable d u site vers ses voisis. Elle est irréductible car elle peut rejoidre importe quel poit de Z d. Das le cas des espaces d états fiis, le lemme 3.9 assure que, pour toute chaîe de Markov irréductible, le temps d atteite d u état y de E T + y = if { 1; X = y } e partat d u état x est toujours itégrable E x T + y <. E particulier, toute trajectoire de la chaîe de Markov issue de x fiira par toucher presque sûremet importe quel état y de E. Pour des chaîes de Markov sur des espaces d états ifiis, cette propriété est plus vraie e gééral et il coviet doc de distiguer plusieurs cas. Défiitio 4.1. Soit {X } 0 ue chaîe de Markov sur u espace d états E déombrable. U état x de E est dit trasitoire si P x T + x < < 1. récurret si P x T + x < = 1. Les états récurrets peuvet être de deux types : Les états récurrets uls si E x T + x =. Les états récurrets positifs si E x T + x <. 49

50 50 CHAPITRE 4. ESPACES D ÉTATS DÉNOMBRABLES Nous allos motrer qu ue chaîe de Markov repasse presque sûremet ue ifiité de fois par u état récurret alors qu elle e passera qu u ombre fii de fois par u état trasitoire. Si l espace d états est fii, le lemme 3.9 implique que tous les états sot récurrets positifs pour ue chaîe de Markov irréductible. T 0 x T 1 x T 2 x T 3 x S x 1 S x 2 S x 3 FIGURE 4.1 Les excursios d ue marche aléatoire das Z sot représetées e utilisat comme état de référece x = 0. Pour tout etier k, o défiit le k ième temps de retour e x par T k+1 x = if { T k x + 1; X = x } N { } où T 0 x = 0 et T 1 x coïcide avec T x +. Si la chaîe e passe que k fois e x alors tous les temps T l x avec l k + 1 serot ifiis. La chaîe de Markov fait des excursios etre deux passages e x cf. figure 4.1 dot les logueurs sot doées par { S k T k x T k 1 x, si T k 1 x < x = 0, sio Le ombre de visites d u état x par la chaîe de Markov {X } 0 est doé par N x = 1 {X =x}. 0 Théorème 4.2. O distigue deux comportemets différets : Si u état x est récurret, alors ue chaîe de Markov issue de x repasse ifiimet souvet e x P x Nx = = 1. Si u état x est trasitoire, le ombre de visites N x d ue chaîe de Markov issue de x suit ue loi géométrique sur N de paramètre P x T x + = > 0. E particulier E x Nx = 1 P x T + x = P x Nx < = 1. Démostratio. Le poit crucial de la preuve cosiste à remarquer que pour k 2, si o coditioe par l évèemet {T k 1 x < }, alors la logueur de l excursio S k x est idépedate de la trajectoire de la chaîe avat l istat T k 1 x, c est à dire de {X ; T k 1 x } et l N, P S k x = l T k 1 x < = P x T 1 x = l. 4.1

51 4.1. CHAÎNES DE MARKOV RÉCURRENTES ET TRANSITOIRES 51 Ituitivemet le résultat est évidet : quad la chaîe de Markov repart de x, il y a plus besoi de coaître so passé pour détermier so futur. E particulier, les excursios représetées figure 4.1 ot toutes la même loi et sot idépedates. Pour le démotrer, il suffit d appliquer la propriété de Markov forte établie au théorème 2.6. Au temps d arrêt T k 1 x la chaîe de Markov est das l état x et la chaîe de Markov décalée e temps {X k 1 } T x + 0 a la même loi que la chaîe {X } 0 partat de x. La logueur de l excursio peut s écrire comme u temps de retour S k x = if { 1, } X k 1 = x T. x + Coditioellemet à l évèemet {T k 1 x < }, la logueur S k x a la même loi que T 1 x. O e déduit doc 4.1 par la propriété de Markov forte. Comme X 0 = x, o remarque que N x 1. Pour tout k 1, o obtiet P x Nx k + 1 = P x T k x = P x T k 1 x E utilisat 4.1 et e itérat, o coclut que < = P x T k 1 x < et S k x < < P x S k x < T k 1 x <. P x Nx k + 1 = P x T k 1 x < P x T 1 x < = P x T + x < k. Das la derière égalité, o a idetifié T 1 x = T + x. Si x est récurret, alors P x Nx k = 1 pour tout k. Comme l évèemet {N x = } est la limite décroissate des évèemets {N x k}, o e déduit que P x Nx = = 1. U calcul similaire au précédet permet de motrer que pour k 1 P x Nx = k = P x T + x < k 1 1 P x T + x <. Si x est trasitoire alors P x T x + < < 1. Le ombre de visites N x d ue chaîe de Markov issue de x suit ue loi géométrique sur N de paramètre P x T x + < et l espérace du ombre de retours est fiie. La propriété de Chapma-Kolmogorov permet d écrire pour tout 1 x, y E, P x, y = P x X = y où P est la puissace ième de la matrice P. Le théorème 4.2 peut être reformulé à l aide d u critère plus simple à utiliser. Théorème 4.3. Pour tout état x de E, il existe que deux possibilités : x est trasitoire si et seulemet si 0 P x, x <. x est récurret si et seulemet si 0 P x, x =. Si x commuique avec y, i.e. x y, et x est u état récurret alors y est u état récurret. Par coséquet, si la chaîe est irréductible alors les états sot tous trasitoires ou tous récurrets. De plus, das ce derier cas, o repasse ifiimet souvet par importe quel poit x, y E, P y T + x < = 1 et P y N x = =

52 52 CHAPITRE 4. ESPACES D ÉTATS DÉNOMBRABLES Démostratio. L espérace du ombre de visites peut se réécrire e utilisat le théorème de Fubii pour permuter l espérace et la somme E x Nx = Ex 1 X =x 0 = E x 1X =x = P x, x. 0 0 Le théorème 4.2 suffit doc à prouver l alterative etre les deux possibilités. Soit x u état récurret commuiquat avec y. Supposos que y e commuique pas avec x, c est à dire que P k y, x = 0 pour tout k alors P y T + x < P y Xk = x = P k y, x = 0. k 1 k 1 Das ce cas x e pourrait pas être récurret car la chaîe a ue probabilité o ulle de passer das l état y et aisi de e plus reveir e x P x T + x = P x, y > 0. Par coséquet si x y et x est récurret alors y x. Il existe doc deux etiers l, k 1 tels que P l x, y > 0 et P k y, x > 0. O peut décomposer les trajectoires partat de y P y, y 0 P k y, xp x, xp l x, y = c P x, x = 0 0 où c > 0 est ue costate. O e déduit que y doit aussi être récurret. Si la chaîe de Markov est irréductible, tous les états commuiquet et il suffit que l u soit récurret pour que les autres le soiet. Supposos que la chaîe est irréductible et que tous les états sot récurrets, e particulier pour tout x, o sait que P x T x + = = 0. Nous allos motrer la première assertio de 4.2. État doé y das E, l irréductibilité implique l existece d u etier 0 tel que P x X 0 = y > 0. O e déduit, e utilisat la propriété de Markov au temps 0, que P x T + x = P x {X0 = y} {T + x = } = P x X 0 = yp y T + x =, ce qui implique le résultat souhaité P y T + x = = 0. La secode assertio de 4.2, s obtiet e remarquat que P y N x = = P y {N x = } {T + x = } = P y T + x = P x N x =, où la deriere égalité est ue coséquece de la propriété de Markov forte appliquée au temps T x +. Comme x est récurret P x N x = = 1 et P y T x + < = 1, o e déduit que P y N x = = Applicatio : marches aléatoires Les états récurrets et trasitoires peuvet être illustrés das le cadre des marches aléatoires sur Z d.

53 4.2. APPLICATION : MARCHES ALÉATOIRES Marches aléatoires symétriques sur Z d Le comportemet de la marche aléatoire symétrique sur Z d de matrice de trasitio x, y Z d, Px, y = 1 2d 1 { x y 2 =1} déped de la dimesio d. Le théorème suivat a été prouvé par Polya e Théorème 4.4. La marche aléatoire symétrique sur Z ou Z 2 est récurrete. Pour d 3, la marche symétrique sur Z d est trasitoire. Démostratio. La chaîe état irréductible tous les états sot de la même ature. D après le théorème 4.3, il suffit doc de détermier si la série 0 P 0, 0 est divergete ou covergete. L étude se fait pour chaque dimesio. d = 1. Ue marche aléatoire e peut reveir e 0 qu après u ombre pair de pas. Pour reveir e 0 au temps 2, il faut qu il y ait eu exactemet accroissemets égaux à 1 et accroissemets égaux à 1. O a doc P 2 0, 0 = π, P 2+1 0, 0 = 0 où l asymptotique a été obteue e utilisat la formule de Stirlig! 2π/e. Par coséquet, la série 0 P 0, 0 est divergete et 0 est u état récurret. d = 2. E icliat la tête de 45 degrés cf. figure 4.2, o voit qu ue marche aléatoire X sur Z 2 se réécrit X = X+ +X 2, X+ X 2 e foctio de X +, X, deux marches aléatoires idépedates sur Z partat iitialemet de 0. X + N X N X N FIGURE 4.2 Les marches aléatoires X + et X sot les projectios de X sur les axes du réseau à 45 degrés. Par l idépedace des marches X + et X, o déduit du cas uidimesioel que P 2 0, 0 = P 0 X 2 = 0 = P 0 X + 2 = 0P 0X 2 = 0 1 π où 0 représete par abus de otatio l origie de Z et de Z 2. La série 0 P 0, 0 de terme pricipal 1/ est divergete et 0 est u état récurret.

54 54 CHAPITRE 4. ESPACES D ÉTATS DÉNOMBRABLES FIGURE 4.3 Deux réalisatios de la marche aléatoire das Z 2 pour 10 4 et 10 5 pas. d = 3. Pour calculer P 2 0, 0, o décompose les trajectoires de logueur 2 e 2i, 2j, 2k sauts selo chacu des axes P 2 2! , 0 = 2 = i,j,k>0 i! j! k! 6 2 i,j,k>0 i j k 3 i+j+k= i+j+k= où i j k =! i! j! k! est le ombre de faços de rager boules das 3 boîtes e mettat i boules das la première, j das la secode et k das la troisième. O rappelle i,j,k>0 i+j+k= i j k 1 = 1 et 3 3 i j k 3 Commeços par cosidérer le cas = 3l. Par les idetités précédetes, o a l 1 1 P 2 0, 0 2 l l l 3 i,j,k>0 i j k 3 i+j+k= = l l l 1 22π 3/2. 6 3/2 où l expressio asymptotique pour grad est ue coséquece de la formule de Stirlig. Les autres valeurs de peuvet être borées par comparaiso P 23l 0, 0 P 23l 1 0, 0 et P 23l 0, 0 P 23l 2 0, La série P 2 0, 0 coverge car so terme pricipal ted vers 0 comme 1 3/2. La marche aléatoire e dimesio 3 est doc trasitoire. Ue approche combiatoire similaire pour les dimesios d 4 motre que P 2 0, 0 est asymptotiquemet équivalet à 1. Par coséquet la marche aléatoire symétrique d/2 est trasitoire dès que d 3. O remarquera que la mesure πx = 1 pour tout x de Z d est ue mesure ivariate pour la marche aléatoire. Par cotre, il existe pas de mesure de probabilité ivariate, i.e. de mesure ormalisée par 1. Ce comportemet spécifique des espaces d états ifiis sera expliqué sectio 4.3.

55 4.2. APPLICATION : MARCHES ALÉATOIRES U critère aalytique Il est parfois plus facile d étudier la série géératrice des temps de retours d ue chaîe de Markov. Pour x, y das E et s das [0, 1], o pose Ux, y, s = E x s T y + 1 {T + y < } = s P x T + y 1 =. O remarque que Ux, x, 1 = P x T + x <. Nous allos illustrer l utilisatio de U e étudiat la marche aléatoire das Z de probabilité de trasitio Px, x + 1 = p, Px, x 1 = q où p + q = 1. Théorème 4.5. Si p = 1/2, la marche aléatoire est trasitoire car P 0 T + 0 < = 1 1 2p < 1. Si p = 1/2, la marche aléatoire est récurrete ulle car E 0 T + 0 =. Démostratio. E utilisat la propriété de Markov après u pas de temps, o obtiet U1, 0, s = s pu2, 0, s + q et U 1, 0, s = s p + qu 2, 0, s. 4.3 Pour aller de 2 à 0, la marche doit d abord passer par 1. Le temps écessaire pour atteidre 0 se décompose doc sous la forme T + 0 = T T 1 0 où T 1 0 est le premier temps d atteite de 0 après avoir touché 1. La propriété de Markov forte appliquée après le temps d arrêt T + 1 permet d écrire U2, 0, s = E 2 s T {T + 1 < } st {T1 0 < } = E1 s T {T1 0 < } U2, 1, s = U1, 0, su2, 1, s = U1, 0, s 2. Par symétrie U 2, 0, s = U 1, 0, s 2. Ces relatios permettet de réécrire les équatios 4.3 et d obteir U1, 0, s = s pu1, 0, s 2 + q U1, 0, s = 1 1 4pqs 2 U 1, 0, s = s p + qu1, 0, s 2 U 1, 0, s = 1 1 4pqs 2 E appliquat ue ouvelle fois la propriété de Markov, o e déduit U0, 0, s = s pu1, 0, s + qu 1, 0, s = 1 1 4pqs 2. Si p = q, U0, 0, s admet ue limite quad s ted vers 1 2ps P 0 T0 < = U0, 0, 1 = 1 1 4pq = 1 1 2p. Si p = q = 1/2, le théorème de Polya 4.4 implique que la marche est récurrete. Pour tout s < 1, o peut dériver U s U0, 0, s = E 0 T + 0 s T T + 0 < =. 1 s 2 2qs

56 56 CHAPITRE 4. ESPACES D ÉTATS DÉNOMBRABLES Comme la limite diverge quad s ted vers 1, o e déduit que E 0 T T + 0 < =. La marche est doc récurrete ulle : elle reviet ifiimet souvet e 0 mais l espérace du temps de retour est ifiie. 4.3 Mesures ivariates Le théorème 3.10 sur les mesures ivariates das le cas des espaces d états fiis s éted au cas déombrable pour les chaîes récurretes positives. Théorème 4.6. Pour toute chaîe de Markov irréductible sur u espace d états E déombrable, les deux assertios suivates sot équivaletes : i La chaîe est récurrete positive. ii Il existe ue mesure de probabilité ivariate. De plus s il existe ue mesure de probabilité ivariate alors elle est uique et est doée par x E, πx = 1 E x T + x. O rappelle que pour la marche aléatoire das Z d la mesure πx = 1 est ivariate que la chaîe soit récurrete ulle ou trasitoire. Par cotre cette mesure e peut pas être ormalisée e ue probabilité. Démostratio. L implicatio i doe ii est ue coséquece directe de la preuve du théorème 3.10 das le cas des espaces d états fiis. Cosidéros maiteat l implicatio iverse et supposos que ii soit vérifiée. La preuve se décompose e trois étapes. Étape 1. Motros que tous les états sot récurrets. La chaîe état irréductible, les états sot tous trasitoires ou tous récurrets. Supposos qu ils soiet tous trasitoires alors pour tous x et y de E car le ombre de visites e y est fii lim P x, y = 0 E x N y = P x, y <. 0 S il existe ue mesure de probabilité ivariate π, elle vérifie pour tout temps les relatios y E, πy = πxp x, y. x E Comme x E πx = 1, o e déduit par exemple e utilisat le théorème de covergece domiée que y E, πy = lim πxp x, y = πx lim P x, y = 0. x E x E Ce qui cotredit l existece de la mesure π. Par coséquet, la chaîe de Markov doit être récurrete.

57 4.3. MESURES INVARIANTES 57 Étape 2. Motros que la chaîe est récurrete positive. Soit x u état de référece fixé. Comme das le théorème 3.10 pour les espaces d états fiis, ous allos motrer que la mesure défiie par les excursios issues de x y E, πy = P x X = y, T x + > 0 est ivariate. Nous avos pas ecore établi que la chaîe est récurrete positive, par coséquet il faut vérifier que la mesure π est bie défiie. Par l hypothèse ii, il existe π ue mesure ivariate qui vérifie πy = πz 1 Pz 1, y = πxpx, y + πz 1 Pz 1, y. z 1 E z 1 =x E appliquat la propriété d ivariace aux états z 1 = x πy = πxpx, y + z 1 =x z 2 E = πxpx, y + z 1 =x O itère l fois cette procédure πy = πx Px, y + πx πz 2 Pz 2, z 1 Pz 1, y πxpx, z 1 Pz 1, y + l 1 k=1 z 1 =x,z 2 =x,...z k =x z 1 =x z 2 =x Px, z k... Pz 1, y + z 1 =x,z 2 =x,...z l =x πz l Pz l, z l 1... Pz 1, y l 1 =1 P x X = y, T + x > πz 2 Pz 2, z 1 Pz 1, y. où la derière iégalité a été obteue e idetifiat le terme etre crochets par l espérace du ombre de passages e y avat de reveir e x et e égligeat le secod terme qui est positif. Quad l ted vers l ifii, ceci implique que pour tout y de E 4.4 πy πx πy. 4.5 La chaîe état irréductible, la mesure π est strictemet positive pour tout x cf. théorème 3.7. La mesure π est doc bie défiie et E x T + x = y E πy 1 πx πy <. y E L état x est doc récurret positif. E répétat la preuve pour d autres états de référece, o e déduit que tous les états de E sot récurrets positifs, i.e. que la chaîe de Markov est récurrete positive. Étape 3. Représetatio de la mesure ivariate.

58 58 CHAPITRE 4. ESPACES D ÉTATS DÉNOMBRABLES U calcul idetique à celui du théorème 3.10 motre que π défiie e 4.4 est ue mesure ivariate. O rappelle que x est l état de référece pour costruire π et que πx = 1. Supposos que πx = 1 quitte à multiplier tous les coefficiets par le facteur 1/πx alors l argumet utilisé au théorème 3.7 permet de coclure à l uicité π = π. E effet la mesure ν = {πy πy} y E a tous ses termes positifs ou uls d après l iégalité 4.5. De plus ν est ivariate car π et π le sot. Comme ν atteit so miimum e x car νx = πx πx = 0, il suffit de suivre la preuve du théorème 3.7 pour motrer π = π. O a doc idetifié l uique mesure ivariate telle que πx = 1. Pour obteir ue mesure de probabilité, il suffit maiteat de la ormaliser et o retrouve x E, πx = 1 E x T + x. Corollaire 4.7. Les états d ue chaîe de Markov irréductible et récurrete sot tous récurrets positifs ou tous récurrets uls. Démostratio. S il existe u état récurret positif, o peut costruire ue mesure de probabilité ivariate 4.4 et o e déduit par le théorème 4.6 que tous les états sot récurrets positifs. Le processus de aissace et de mort est u exemple classique de chaîe de Markov à valeurs das N. Au temps, o ote X le ombre d idividus das ue populatio ou de cliets das ue file d attete et o suppose que ce processus évolue comme ue chaîe de Markov de matrice de trasitio Px, x + 1 = p, P0, 0 = 1 p et Px, x 1 = 1 p si x 1. Le processus de aissace et de mort s iterprète comme ue marche aléatoire sur N réfléchie quad elle touche 0. Si p < 1/2 la chaîe de Markov aura tedace à reveir vers 0. Quel que soit l état de iitial, o s atted doc à ce que la chaîe atteige u régime statioaire décrit par ue mesure ivariate localisée autour de 0. Si p > 1/2 la chaîe de Markov va croître e moyee et elle va diverger vers l ifii. Théorème 4.8. O distigue deux comportemets : Si p 1/2, la chaîe est récurrete. Si p > 1/2, la chaîe est trasitoire. La chaîe de Markov admet des mesures ivariates de la forme p x x 1, πx = π0 1 p et elle est récurrete positive si et seulemet si p < 1/2. Démostratio. Tat que la chaîe a pas touché 0, elle se comporte comme ue marche aléatoire sur Z avec probabilités de trasitio p, 1 p. O peut doc repredre les otatios et l argumet de la preuve du théorème 4.5 pour obteir U1, 0, s = E 1 s T p1 ps 1 2 {T + 0 < } =. 2ps

59 4.4. APPLICATION : BRANCHEMENT ET GRAPHES ALÉATOIRES 59 Au poit 0, les ouvelles probabilités de trasitio s appliquet U0, 0, s = s 1 p + pu1, 0, s = s1 p p1 ps 2. 2 Fialemet, o obtiet P 0 T + 0 < = U0, 0, 1 = 1 p p1 p 2 Ceci coclut la première partie du théorème P 0 T + 0 < = { 1, si p 1/2 2 2p, si p > 1/2 Ue mesure ivariate π satisfait les relatios qui se réécrivet π1 = p 1 p = 1 p p. x 1, πx = pπx pπx + 1 et π0 = 1 pπ0 + 1 pπ1 π0 et i 1, πx + 1 πx = p πx p x πx 1 = π1 π0. 1 p 1 p La famille des mesures ivariates est doc idexée par u paramètre π0 x 1, πx = π0 p x. 1 p Ces mesures e peuvet être ormalisées que pour p < 1/2 et das ce cas la chaîe de Markov est récurrete positive. O remarque que la chaîe de Markov est réversible pour ces mesures ivariates Px, x + 1πx = Px + 1, xπx + 1. Exercice 4.9. Motrer qu u processus de aissace et de mort de matrice de trasitio géérale Px, x + 1 = p x > 0, P0, 0 = 1 p 0 et Px, x 1 = 1 p x si x 1 admet ue mesure de probabilité ivariate si et seulemet si 0 x=1 p x 1 1 p x <. 4.4 Applicatio : processus de brachemet et graphes aléatoires Les processus de brachemet ot de ombreuses applicatios allat de la démographie, aux arbres phylogéétiques e passat par la fissio ucléaire. Nous allos décrire u exemple de processus de brachemet, les arbres aléatoires de Galto-Watso, et motrer commet ces arbres permettet d étudier des graphes aléatoires.

60 60 CHAPITRE 4. ESPACES D ÉTATS DÉNOMBRABLES Arbres aléatoires de Galto-Watso Les processus de brachemet que ous allos cosidérer modéliset le ombre d idividus au cours du temps d ue populatio e foctio de règles de reproductio. Le modèle à été proposé par Sir Fracis Galto e 1873 pour décrire l évolutio des oms de famille e Agleterre. À l époque les oms de famille état trasmis exclusivemet par les hommes, il suffisait de suivre le ombre de descedats masculis das chaque famille. Cette hypothèse permet de cosidérer u seul type d idividus et de supposer qu à chaque géératio les idividus se reproduiset selo la même loi de probabilité. O s itéressera à la taille de la populatio à chaque géératio. Ce modèle peut aussi décrire la fissio des eutros das ue réactio ucléaire. Si cette fissio s opère trop rapidemet cela peut coduire à ue explosio. La mutatio de gèes das ue populatio peut être modélisée par ces processus de brachemet. D autres applicatios des processus de brachemet e écologie et das les modèles d évolutio sot détaillées das le cours Modèles aléatoires e écologie et évolutio [19]. Les arbres aléatoires de Galto-Watso sot des processus de brachemet défiis par récurrece. O se doe ue loi ν = {p k } k 0 sur N. O cosidère ue suite à 2 idices de variables aléatoires idépedates et idetiquemet distribuées {ζ t i } i 1,t 1 de loi ν k 0, Pζ t i = k = p k. O otera le ombre d idividus au temps t par Z t. Au temps t = 0, o pose Z 0 = 1. Au temps t = 1, cet idividu a Z 1 = ζ1 1 efats. Chaque efat a lui même u ombre de descedats selo la loi ν. O défiit aisi par récurrece Z t+1 = { ζ t ζz t+1 t, si Z t > 0 0, si Z t = 0 S il y a plus de descedats à partir d u temps t alors la populatio restera éteite à jamais. 4.6 FIGURE 4.4 U exemple d arbre aléatoire après 7 géératios. La coaissace de la populatio au temps t + 1 e déped que de Z t et des variables {ζ t+1 i } i 1 qui sot idépedates du passé. Le processus {Z t } t 0 est doc ue chaîe de Markov. Pour calculer sa matrice de trasitio, o suppose qu il existe idividus au

61 4.4. APPLICATION : BRANCHEMENT ET GRAPHES ALÉATOIRES 61 temps iitial P, k = P Z 1 = k Z0 = = P Z 0 ζl 1 = k Z0 = l=1 = P ζl 1 = k = l=1 p i1 p i2... p i. i 1,...,i N i 1 + +i=k O exclut les lois de reproductio pathologiques ν telles que p 1 = 1 : la taille de populatio reste costate p 0 + p 1 = 1 et p 0 > 0 : il y a au maximum u seul idividu qui fiit forcémet par mourir. p 0 = 0 et p 1 < 1 : la populatio e fait que croître. Si la populatio disparaît au temps t alors Z s = 0 pour tous les temps suivats s t. L état 0 est doc absorbat pour cette chaîe de Markov. O remarque qu aucu autre état e peut être récurret car tous les états commuiquet avec 0. E effet, la populatio peut disparaître e u seul pas de temps 1, P Z 1 = 0 Z 0 = = p 0 > 0. Par coséquet, il existe que deux comportemets possibles : la populatio disparaît ou sa taille ted vers l ifii. Le comportemet asymptotique du processus de brachemet est détermié par le ombre moye d efats par idividu µ = Eζ1 1. Pour s e covaicre, il suffit d aalyser EZ t la taille moyee de la populatio au temps t. E utilisat la propriété de Markov et e coditioat par la géératio précédete, o a E Z t+1 = =0 E Z t+1 Z t = P Z t = = = E ζ t+1 1 =0 E ζ t ζ t+1 P Zt = =0 P Z t = = µe Z t = µ t+1 E Z 0 = µ t+1 où o a utilisé que la loi de reproductio est idetique pour tous les idividus. O distigue doc trois régimes Le régime sous-critique µ < 1 : le ombre moye d efats ted vers 0 expoetiellemet vite et la populatio va disparaître presque sûremet. Pour le démotrer, il suffit de remarquer que PZ t 1 EZ t µ t 4.7 et d utiliser le théorème de Borel-Catelli. Le régime sur-critique µ > 1 : le ombre moye d efats ted vers l ifii expoetiellemet vite et ous allos motrer que la taille de la populatio diverge avec ue probabilité positive.

62 62 CHAPITRE 4. ESPACES D ÉTATS DÉNOMBRABLES Le régime critique µ = 1 : le ombre moye d efats est costat et ceci e suffit pas à décrire le comportemet très fluctuat de la populatio. Celle-ci va s éteidre avec probabilité proche de 1 ou diverger avec faible probabilité. Pour préciser ces comportemets, ous allos étudier le premier temps d extictio, i.e. le temps d atteite de 0 par la chaîe de Markov T 0 = if { t 1; Z t = 0 }. O défiit la foctio géératrice de la loi de reproductio u [0, 1], ϕu = E u 1 ζt = u p. 0 Le théorème suivat cofirme l heuristique établie par le calcul de la taille moyee de la populatio Théorème Si µ 1, la populatio s éteit presque sûremet P T 0 < = 1. Si µ > 1, la populatio s éteit avec probabilité ρ ]0, 1[ P T 0 < = ρ où ρ est l uique poit fixe das ]0, 1[ de ϕρ = ρ. Par coséquet la taille de la populatio diverge avec probabilité 1 ρ > 0. Démostratio. Commeços par calculer la foctio géératrice de Z t u [0, 1], Φ t u = E u Z t = u P Z t =. 0 La propriété de Markov et l idépedace des variables {ζ t+1 i } i 0 permettet d écrire Φ t+1 u = = =0 =0 E u Z t+1 l=1 Z t = P Z t = = E u ζt+1 =0 E u ζt+1 l P Zt = ζ t+1 P Zt = avec la covetio 0 l=1 E u ζt+1 l = 1 pour = 0. E idetifiat la foctio géératrice de la loi de reproductio, o obtiet la relatio de récurrece Φ t+1 u = ϕu P Z t = = Φ t ϕu. =0 O e déduit Φ t+1 u = ϕ ϕ ϕu. }{{} t+1 fois

63 4.4. APPLICATION : BRANCHEMENT ET GRAPHES ALÉATOIRES FIGURE 4.5 Graphes de la foctio géératrice ϕ et de x x. Das le cas sous-critique µ < 1, représeté à gauche, l uique poit fixe ϕx = x est x = 1. Das le cas sur-critique µ > 1, représeté à droite, il existe u poit fixe x < 1. Ceci peut aussi s écrire Φ t+1 u = ϕ Φ t u. O ote x t = PZ t = 0 la probabilité que la populatio ait disparu au temps t. O remarque que x t = Φ t 0, par coséquet elle satisfait la récurrece x t+1 = ϕx t avec x 0 = 0. L asymptotique de x t quad t ted vers l ifii déped des poits fixes de ϕx = x. O vérifie que ϕ1 = 1 et ϕ u = 0 u 1 p > 0. La foctio ϕ est doc strictemet croissate et elle va itersecter la droite x x uiquemet e 1 si ϕ 1 1 et e u autre poit ρ < 1 si ϕ 1 > 1 cf. figure 4.5. Comme ϕ 1 = 0 p = µ, o a idetifié les deux comportemets O sait que lim x t = t {T 0 < } = { 1, si µ 1 ρ, si µ > 1 {Z t = 0} qui est ue réuio croissate d évèemets car {Z t = 0} {Z t+1 = 0}. O e déduit doc que P T 0 < = lim P Z t = 0 { 1, si µ 1 = t ρ, si µ > 1 Si µ > 1, la probabilité que la populatio e s éteige jamais est P T 0 = = 1 ρ et comme les états o uls sot trasitoires la taille de la populatio diverge avec probabilité 1 ρ. Le comportemet asymptotique des arbres peut être étudié plus précisémet. Nous reviedros sur le comportemet asymptotique du cas sur-critique au chapitre 11. t=0

64 64 CHAPITRE 4. ESPACES D ÉTATS DÉNOMBRABLES Graphes aléatoires d Erdös-Réyi Les graphes aléatoires itervieet das des cotextes variés pour modéliser par exemple des réseaux sociaux, le réseau iteret ou des réseaux euroaux. Selo les applicatios, les détails de chaque graphe aléatoire diffèret mais il est itéressat de classifier ces graphes e foctio de structures ivariates et de propriétés commues. Das cette sectio, ous allos cosidérer u modèle spécifique de graphes aléatoires qui a été iveté par Erdös et Réyi et motrer que la coectivité de ces graphes peut s aalyser à l aide d u processus de brachemet. FIGURE 4.6 Toutes les parties coexes d u graphe aléatoire d Erdös-Réyi sot représetées : au dessus la partie coexe pricipale et e dessous les plus petites composates coexes certaies sot réduites à u seul site. Pour N u etier doé, o cosidère S = {1,..., N} u esemble de sites reliés aléatoiremet selo la procédure suivate. Soit λ > 0, o défiit NN 1/2 variables aléatoires de Beroulli idépedates idexées par les couples x, y S 2 avec x = y P η x,y = 1 = 1 P η x,y = 0 = λ N. 4.8 O supposera que N est très grad et doc que λ < N. O e distigue pas l orietatio des arêtes x, y et o pose η x,y = η y,x. État doée ue réalisatio {η x,y } x,y S 2, o costruit u graphe G = S, E dot les arêtes reliet uiquemet les sites x et y de S tels que η x,y = 1. Ce procédé permet de géérer u graphe aléatoire d Erdös-Réyi à N sites cf. figure 4.6. Deux sites x et y sot coectés das G s il existe ue suite d arêtes allat de x à y, c est à dire k sites de S avec k N tels que η x,x1 = η x1,x 2 = = η xk 1,x k = η xk,y = 1. U tel chemi s il existe est pas écessairemet uique, mais o défiit la distace de x à y, otée distx, y, comme le ombre miimal d arêtes pour coecter les sites x, y. Si les sites e sot pas coectés o posera distx, y =. Pour tout x das S, o défiit Cx la composate coexe de x comme l esemble des sites y coectés à x.

65 4.4. APPLICATION : BRANCHEMENT ET GRAPHES ALÉATOIRES 65 Nous allos étudier la structure des coectios das les graphes d Erdös-Réyi e foctio des valeurs de λ. État doée ue réalisatio du graphe, o ote C le cardial de la plus grade de ses composates coexes il se peut qu il y ait plusieurs composates coexes de taille C. La figure 4.7 représete ue simulatio umérique de la desité de la composate coexe maximale λ EC /N pour différetes valeurs de N. Pour obteir ue approximatio de l espérace λ état fixé, o simule u grad ombre K de réalisatios de graphes et o pred la moyee des tailles {C i } i K des composates maximales de chacu de ces graphes EC 1 K K Ci. i=1 La loi des grads ombres permet d affirmer que l approximatio est correcte quad K ted vers l ifii. Les simulatios de la figure 4.7 ot été faites pour K = 1000 et des fluctuatios persistet. O remarque que pour λ < 1 cette desité semble tedre vers 0 quad N augmete. Ceci veut dire qu aucue composate coexe e recouvre ue fractio macroscopique des sites. Nous allos motrer que pour λ < 1, les composates coexes typiques d u graphe d Erdös-Réyi sot de taille fiie même quad N ted vers l ifii. Das ce cas, le graphe est qu ue collectio de petits sous graphes disjoits voire même de sites isolés. Pour λ > 1, le comportemet chage radicalemet et la plus grade composate cotiet ue desité positive de sites. O dit qu il y a ue trasitio de phase au poit critique λ c = 1. La figure 4.6 représete ue réalisatio d u graphe pour λ > 1. O remarque qu il existe ue composate coexe pricipale qui relie ue grade partie des sites et que les autres composates coexes sot beaucoup plus petites. Il existe u lie etre les composates coexes et les arbres de Galto-Watso, e particulier o peut observer que la composate pricipale du graphe ressemble à u arbre au voisiage de chaque site, même si à plus grade échelle o observe des boucles FIGURE 4.7 Desité moyee de la composate coexe maximale d u graphe aléatoire d Erdös Réyi pour trois valeurs de N = 50, 100, 200 et λ variat etre 0 et 3. Théorème Pour λ < 1, la composate coexe associée au site 1 a ue taille moyee borée uiformémet e N E C1 1 1 λ

66 66 CHAPITRE 4. ESPACES D ÉTATS DÉNOMBRABLES où C1 est le cardial de C1. Démostratio. L idée de la preuve cosiste à remarquer qu u site a e moyee λ N 1 N voisis car Eη x,y = N 1 λ N. y V\{x} Ses voisis eux-mêmes serot reliés à eviro λ voisis et aisi de suite. Cette structure ressemble à celle d u arbre de Galto-Watso et elle permet de prédire l existece de comportemets différets selo que λ est plus grad ou plus petit que 1. Cepedat la topologie des graphes est plus complexe que celle des arbres car il peut exister des boucles et il faut ue preuve spécifique pour préciser cette aalogie. Nous allos explorer la composate coexe C1 à la maière d u arbre. Au temps iitial t = 0, o pose A 0 = {1}, I 0 = {2, 3,..., N} et R 0 =. Les trois esembles vot évoluer au cours du temps selo la règle suivate cf. figure 4.8 R t+1 = R t A t A t+1 = { x A t y It ; η x,y = 1 } 4.9 I t+1 = I t \ A t+1 L esemble A t représete les sites actifs au temps t, ceux ci vot s apparier avec les sites iactifs de I t qui sot liés à A t das le graphe d Erdös-Réyi. Ces ouveaux sites devieet actifs au temps t + 1 et les sites de A t vieet grossir l esemble R t+1. Aisi la composate coexe C1 est explorée etièremet au cours de ce processus qui se termie au temps τ N quad A τ = et C1 = R τ. R t A t I t FIGURE 4.8 La composate coexe C1 est explorée e découvrat les sites voisis à chaque étape. Les sites actifs A t sot représetés e rouge à distace 2 et ils sot coectés aux sites de I t marqués e blac. O remarque que cette exploratio peut coduire à découvrir le même site de I t s il est relié à plusieurs sites de A t. Cotrairemet aux arbres, les composates coexes du graphe peuvet doc avoir des boucles. Le processus d exploratio R t ressemble à u arbre de Galto-Watso. La différece état que la distributio des descedats des sites actifs déped de t car les descedats sot choisis das l esemble I t qui se réduit au cours du temps. Nous allos motrer que l arbre de Galto-Watso permet de cotrôler la croissace du processus d exploratio.

67 4.4. APPLICATION : BRANCHEMENT ET GRAPHES ALÉATOIRES 67 O se doe ue collectio de variables aléatoires idépedates {ζ t x,y} avec t 1, x 1 et y {1,..., N}. Ces variables sot idetiquemet distribuées selo ue loi de Beroulli P ζ t x,y = 1 = 1 P ζ t x,y = 0 = λ N. O défiit U 0 = 1 et o costruit l arbre de Galto-Watso dot la populatio au temps t + 1 est doée par U t+1 = η x,y + x A t, y I t x A t, y I c t ζ t x,y + N+U t A t x=n+1 N ζx,y t 4.10 y=1 où A t désige le cardial de A t. Le secod terme ajoute des descedats fictifs das {1,..., N} \ I t pour compeser la réductio du cardial de I t à chaque pas. Ces descedats fictifs ot esuite eux même ue descedace qui est prise e compte das le troisième terme de Par coséquet {U t } est u processus de brachemet dot la loi de reproductio est ue loi biomiale de paramètres N, λ N, i.e. que la distributio des efats de chaque site a la même loi que i=1 N ω i où les ω i sot des variables de Beroulli idépedates de paramètre λ/n. Il est importat de remarquer que quad N ted vers l ifii la loi de reproductio coverge vers ue loi de Poisso de paramètre λ. P N ω i = k i=1 = N λ k 1 λ N k N k N N exp λ λk k!. O s atted doc à ce que de très grads systèmes N coverget vers ue structure limite et soiet bie décrits par des arbres de Galto-Watso de loi de reproductio doée par cette loi de Poisso. La moyee de la loi de reproductio est λ. Si λ < 1, le théorème 4.10 implique que les arbres serot fiis presque sûremet. Comme le processus {U t } est costruit e ajoutat des sites fictifs 4.10 par rapport à ceux existats das la composate C1 du graphe, so cardial domie toujours le cardial de C1. O e déduit que E C1 = E A t t=0 EU t = t=0 λ t = 1 t=0 1 λ 4.11 car l idetité 4.7 implique que EU t = λ t. Ceci coclut le théorème. Pour λ > 1, la comparaiso avec u arbre permet de motrer qu il existe ue composate coexe coteat ue proportio de sites proportioelle à N. Le ombre moye d efats état égal à λ, la populatio de l arbre a ue probabilité positive de diverger ce qui idique que la composate coexe C1 doit être très grade. La preuve est délicate car la comparaiso etre u arbre et le processus d exploratio de C1 décrit das la preuve du théorème 4.11 est plus valable quad la composate coexe explorée R t est trop grade : les boucles e peuvet plus être égligées et l ajout des sites fictifs deviet trop importat. La preuve complète est faite das le livre de R. Durrett [11].

68 68 CHAPITRE 4. ESPACES D ÉTATS DÉNOMBRABLES La structure des graphes d Erdös-Réyi est très bie comprise mathématiquemet. O peut par exemple motrer que pour λ > 1, deux sites apparteat à la composate coexe pricipale sot typiquemet à distace log N bie que cette composate cotiee u ombre de sites proportioel à N. Ue applicatio possible est d iterpréter u graphe aléatoire comme u esemble d agets e iteractio réseau iformatique, système fiacier et d étudier la résistace de ce graphe à ue perturbatio virus iformatique, défaut de paiemet. U exemple simple cosiste à retirer aléatoiremet des lies avec ue probabilité p et à les garder avec probabilité 1 p. O souhaite détermier s il existera toujours ue composate coexe d ordre N après cette modificatio du réseau. Das le cas particulier des graphes d Erdös-Réyi, le réseau modifié reste équivalet à u graphe d Erdös-Réyi de paramètre 1 pλ. Si 1 pλ est plus grad que 1 alors le graphe restera fortemet coecté, sio la composate coexe pricipale sera décomposée e ue multitude de composates disjoites. U autre type de graphes aléatoires sera costruit au chapitre 11 et de ombreux autres modèles de graphes aléatoires figuret das le livre [11].

69 Chapitre 5 Ergodicité et covergece des chaîes de Markov. L étude des comportemets asymptotiques de variables aléatoires costitue u aspect essetiel des probabilités. La loi des grads ombres et le théorème cetral limite e sot deux exemples très importats. Ce chapitre décrit les comportemets asymptotiques des chaîes de Markov pour lesquels les mesures ivariates jouet u rôle clef. 5.1 Ergodicité Soiet {Y } 0 des variables aléatoires idépedates et idetiquemet distribuées à valeurs das R telles que l espérace E f Y 0 soit fiie pour ue foctio f doée. Le théorème de la loi des grads ombres implique la covergece presque sûre 1 1 f Y i E f Y i=0 Ce théorème se gééralise aux chaîes de Markov récurretes positives et o parle alors de théorème ergodique Théorème ergodique Théorème 5.1. Soit {X } 0 ue chaîe de Markov irréductible, récurrete positive sur u espace d états E déombrable. O otera π so uique mesure de probabilité ivariate. Soit F ue foctio de E das R dot l espérace sous π est fiie E π F = x E Fx πx <. O suppose que la doée iitiale X 0 est distribuée selo ue mesure de probabilité µ sur E. Les moyees le log des trajectoires coverget presque sûremet 1 1 FX i E π F. 5.2 i=0 Si Fx, y est ue foctio de E E das R telle que x,y E πxpx, y Fx, y est fiie alors 1 FX i 1, X i E π FX0, X 1 = πxpx, yfx, y. 5.3 i=1 x,y E 69

70 70 CHAPITRE 5. ERGODICITÉ ET CONVERGENCE Démostratio. Supposos que la chaîe parte iitialemet d u état x de E fixé, i.e. que µ = δ x. Cet état x va servir d état de référece pour représeter l uique mesure ivariate π associée à cette chaîe de Markov récurrete positive y E, πy = 0 P x X = y, T x + > E x T+ x 1 =0 1 X =y =. 5.4 E x T x + E x T x + Cotrairemet à l expressio 4.4, le facteur 1/E x T x + sert à ormaliser la mesure. La probabilité πy décrit la statistique des passages das l état y pedat ue excursio de la chaîe de Markov. Par ailleurs, les différetes excursios cf. figure 5.1 sot idépedates par la propriété de Markov forte. Nous allos doc décomposer les trajectoires de la chaîe de Markov e excursios pour établir la correspodace avec π. T 0 x T 1 x T 2 x T 3 x N FIGURE 5.1 Décompositio de la trajectoire d ue chaîe de Markov e trois excursios etre les passages e x. Le derier segmet jusqu au temps N est pas ue excursio complète. Rappelos les otatios sur les temps de retour. Pour tout etier k 1, o défiit le k ième temps de retour e x par T k x = if { T k 1 x + 1; X = x } N { } où T 0 x = 0 et T 1 x coïcide avec T x +. Par hypothèse, la chaîe est récurrete et tous les temps d arrêt sot fiis presque sûremet. O défiit les variables aléatoires {Y k } k 0 associées à la cotributio de chaque excursio Y k = T x k+1 1 l=t x k FX l. Par la propriété de Markov forte démotrée au théorème 2.6, les variables {Y k } sot idépedates et idetiquemet distribuées. Leur espérace s écrit e foctio de la mesure ivariate T + x 1 T + x 1 EY 1 = E x FX l = E x Fy1 Xl =y l=0 l=0 y E = E x T x + Fyπy = E x T x + E π F y E = y E T + x 1 FyE x 1 Xl =y l=0

71 5.1. ERGODICITÉ 71 où l hypothèse E π F < ous a permis d utiliser le théorème de Fubii pour permuter la somme et l espérace. La loi des grads ombres 5.1 pour les variables idépedates implique la covergece presque sûre 1 k T x k 1 l=0 FX l = 1 k k 1 Y i i=0 Ce résultat appliqué à F = 1 permet d écrire T k x k k E x T x + E π F. k E x T x Par coséquet e idexat la trajectoire par les temps de retours, o a prouvé la covergece presque sûre 1 T k x T x k 1 l=0 FX l k E π F. 5.6 Pour obteir le théorème ergodique, il suffit de cotrôler la cotributio de la trajectoire après le derier passage e x et de motrer qu elle e joue aucu rôle à la limite cf. figure 5.1. O ote N le ombre de passages e x avat le temps, c est à dire N = 1 Xl =x T N x < T N +1 x. l=1 La chaîe état récurrete N diverge quad ted vers l ifii. O peut décomposer F e ue partie positive et égative F = F + F et traiter chaque terme séparémet. Supposos doc que F soit positive, alors T N x T N +1 x où o a utilisé 1 T N x T x N 1 l=0 T N x T N +1 x FX l 1 TN x 1 l=0 FX l TN +1 x T N x et T N +1 x La covergece de 5.5 implique que presque sûremet 1 T N +1 x TN +1 x. T N x T x N+1 1 l=0 FX l, T N x T N +1 x 1. Il suffit doc d appliquer 5.6 pour coclure que pour ue doée iitiale X 0 = x 1 1 FX l E π F. l=0 La limite e déped pas de l état de référece x choisi. Par coséquet, si la doée iitiale X 0 est choisie selo ue mesure µ, il suffit de sommer sur la probabilité de chaque état iitial et d appliquer la relatio précédete.

72 72 CHAPITRE 5. ERGODICITÉ ET CONVERGENCE Pour la secode partie du théorème, il suffit de remarquer que Z = X 1, X est ue chaîe de Markov à valeurs das u sous-esemble Γ de E E de matrice de trasitio P Z 2 = y 1, y 2 Z 1 = x 1, x 2 = 1 y1 =x 2 Px 2, y 2 et de mesure de probabilité ivariate πx, y = πxpx, y. Isistos sur le fait que la chaîe de Markov {Z } 1 est pas irréductible sur E E mais seulemet sur le sousesemble Γ où elle pred ses valeurs. La limite 5.3 se déduit du théorème ergodique 5.2 appliqué à la chaîe {Z } 1. Le résultat se gééralise facilemet aux foctios F à k variables. Pour ue chaîe de Markov récurrete positive, le théorème ergodique 5.2 appliqué à la foctio Fy = 1 y=x permet d iterpréter la mesure ivariate π comme la fréquece de visites des états par la chaîe de Markov Xl =x l=0 πx = 1 E x T + x presque sûremet. Cette iégalité reste vraie pour les chaîes de Markov récurretes ulles et trasitoires pour lesquelles E x T + x =. Théorème 5.2. Soit {X } 0 ue chaîe de Markov récurrete ulle ou trasitoire à valeurs das E déombrable alors pour tout x de E Xl =x l=0 0 presque sûremet. 5.7 Démostratio. Si la chaîe de Markov est trasitoire alors elle e repassera qu u ombre fii de fois par u état par coséquet l=0 1 X l =x est fii presque sûremet et 5.7 est vérifié. O rappelle que pour ue foctio f positive, la loi des grads ombres 5.1 reste vraie même si E f Y 0 = cf. corollaire B.22 1 f Y i. i=0 Pour le démotrer, il suffit d appliquer la loi des grads ombres à la foctio troquée if{ f, K} puis de faire tedre K vers l ifii. Si la chaîe de Markov est récurrete ulle, o peut appliquer la preuve du théorème 5.1 pour obteir par 5.5 la covergece presque sûre T k+1 x k k. E utilisat les otatios du théorème 5.1 et le fait que T N x 1 1 Xl =x = N l=0 N T N x 0, o peut écrire car la chaîe de Markov est récurrete et N coverge presque sûremet vers l ifii.

73 5.1. ERGODICITÉ 73 La décompositio des trajectoires e excursios idépedates permet aussi de démotrer l aalogue du théorème cetral limite pour des chaîes de Markov récurretes positives. Ue preuve différete du théorème cetral limite sera faite au chapitre Applicatio : algorithme PageRak de Google Le pricipe du moteur de recherche Google cosiste à idexer les pages du web par des robots web crawler. Ces logiciels sodet et coservet automatiquemet le coteu de chaque site web, das u catalogue facile à parcourir. Ceci doe lieu à u catalogue idexé de pages web de taille gigatesque de l ordre de d après Google. U ordre de priorité est attribué aux pages web par la procédure PageRak qui a été développée par Larry Page et Sergey Bri e Le logiciel Google fourit esuite l esemble des pages qui répodet à ue requète doée suivat l ordre de priorité établi par PageRak. Avat Google, les utilisateurs devaiet attedre plus logtemps les retours des moteurs de recherche. Quad ces retours étaiet efi dispoibles, la liste des pages idiquées coteait souvet des iformatios peu importates et des lies iutiles apparaissaiet ivariablemet parmi les premiers retours, alors que des lies importats étaiet pas toujours extraits. L iformatio dispoible sur le web est pas structurée sur le modèle des bases de doées traditioelles, elle est plutôt auto-orgaisée. La taille gigatesque du web depasse de très loi les techiques traditioelles de recherche documetaire. La méthode implémetée das la procédure PageRak a complètemet révolutioé le foctioemet des moteurs de recherche et a permis de mieux répodre aux besois des utilisateurs. PageRak a été développé à l Uiversité de Staford das le cadre d u projet de recherche commecé e 1995 par Larry Page d où le om! et rejoit plus tard par Sergey Bri. Ils sot tous les deux diplomés d u Master o Computer Sciece à Staford. Cette aveture extraordiaire a coduit Page et Bri à foder Google e 1998 mais, pour la petite histoire, ils ot jamais achevé le programme doctoral PhD de Staford. Nous allos décrire le pricipe de foctioemet de PageRak e gardat à l esprit que de ombreuses amélioratios ot été itroduites depuis afi de répodre aux divers détouremets des utilisateurs. L objectif est d associer à ue page web i u idice de popularité πi. L idée est de dire qu ue page web i est importate si de ombreux lies poitet sur cette page. E particulier si u site j très populaire poite sur la page i, il va géérer beaucoup de coectios sur i et aisi augmeter la popularité de i. Cette règle empirique coduit à la relatio suivate 1 πi = degj πj j i où o ote j i si la page j poite sur la page i et degj le ombre de lies partats de la page j. La page j trasmet so idice de popularité proportioellemet etre les degj pages web auxquelles elle revoie. Cette relatio défiie la mesure ivariate d ue marche aléatoire sur le graphe G = S, E dot les sites S sot idexés par les pages web et les arêtes E par les lies etre les sites. Quad les lies du graphe e sot pas orietés, ue telle marche a été défiie e 3.1 et sa probabilité ivariate πx = degx 2 E

74 74 CHAPITRE 5. ERGODICITÉ ET CONVERGENCE calculée e 3.2. Pour évaluer π, ue possibilité est d idexer de faço systématique tous les lies, mais le graphe du web est compliqué et il évolue sas cesse. L optio reteue par l algorithme PageRak cosiste à laisser faire le hasard e suivat des marches aléatoires qui évoluet de pages e pages selo les lies et e idexat le coteu à chaque fois. Le théorème ergodique 5.1 permet esuite de retrouver la mesure ivariate π, i.e. les idices de popularité, e moyeat sur les trajectoires des marcheurs. La vitesse de covergece d u algorithme est fodametale das les applicatios idustrielles. Pour cette raiso, Bri et Page ot itroduit la matrice de trasitio de Google G de composates 1 Gi, j = α degi 1 i j + 1 α 1 N pour tous i, j S, 5.8 où N est le cardial de S et α u paramètre das ]0, 1[ appelé facteur d amortissemet. Avec probabilité 1 α, les marches aléatoires sot relacées sur u site choisi au hasard parmi les N sites de S. Cette modificatio de la matrice de trasitio rappelle le comportemet de l iteraute qui suit quelques lies puis au bout d u momet avec ue probabilité 1 α se dirige vers u de ses lies favoris que l o suppose distribués uiformémet sur l esemble des pages. Le choix de la valeur du paramètre α est délicat. Le souci de rapidité de la covergece de l algorithme ous pousse à choisir α proche de 0, mais ceci coduirait à ue mesure ivariate qui e reflèterait plus la vraie structure du web toutes les pages auraiet la même probabilité 1/N. La valeur exacte du paramètre α est u secret gardé de Google, mais il semble qu elle se situe autour de 0, Covergece Repreos l exemple de la chaîe de Markov à deux états {1, 2} cf. figure 3.1 et équatio 3.3 dot la matrice de trasitio et la mesure ivariate π sot doées par 1 p p P =, π1 = q q 1 q p + q, π2 = p p + q avec p, q ]0, 1[. Cette matrice de trasitio se diagoalise facilemet 1 π2 1 0 π1 π2 P = 1 π1 0 1 p q 1 1 et peut être multipliée fois P 1 π2 1 0 = 1 π1 0 1 p q π1 π2 1 1 π1 π2 π1 π2 Quad le temps ted vers l ifii, les probabilités de trasitio coverget expoetiellemet vite vers la mesure ivariate x, y {1, 2}, L état iitial apparaît plus das la limite. lim P x X = y = πy. L ejeu de cette sectio est de démotrer que la covergece e temps log vers la mesure ivariate est ue propriété très géérale des chaîes de Markov récurretes positives et de quatifier la vitesse de covergece..

75 5.2. CONVERGENCE Apériodicité et covergece Ue coséquece du théorème ergodique 5.1 est la covergece pour tout état iitial x de 1 P x Xl = y πy. l=0 Ceci e suffit pas à impliquer que lim P x X = y = πy. Pour s e covaicre, cosidéros la chaîe de Markov à deux états de matrice de trasitio 0 1 P = 1 0 dot le comportemet est périodique P 1 X = 1 = 1 P 1 X = 2 = /2. U autre exemple est la marche aléatoire sur le domaie périodique {1,..., 2L} avec u ombre pair de sites cf. figure 5.2. Si la marche part de 1 au temps 0, elle e pourra atteidre u site pair qu à des temps impairs FIGURE 5.2 La marche aléatoire sur l itervalle périodique {1,..., 2L} reste sur les sites oirs au temps pairs si elle est partie d u site oir. Le schéma de droite représete 3 réalisatios d ue même chaîe de Markov. Sous les hypothèses du théorème 5.5, la mesure ivariate peut s obteir e moyeat les valeurs de plusieurs trajectoires à u temps doé. Pour démotrer la covergece, il faut restreidre la classe des matrices de trasitio aux chaîes de Markov apériodiques. Défiitio 5.3. Ue chaîe de Markov irréductible sur E est apériodique si pour tous x, y de E il existe x, y N tel que la probabilité P x X = y = P x, y est strictemet positive dès que x, y. Cette défiitio permet d éviter les pathologies décrites précédemmet car ue chaîe de Markov apériodique a ue probabilité positive de coecter 2 états dès que le temps est assez grad. O peut facilemet se rameer à des chaîes de Markov apériodiques e trasformat la matrice de trasitio. La matrice Q = I + P/2 est associée à la versio "faiéate" de la chaîe de Markov : avec probabilité 1/2 la chaîe reste sur place et avec probabilité 1/2 elle fait u saut selo la matrice P. La matrice Q a la même probabilité ivariate que P et doc u comportemet asymptotique similaire.

76 76 CHAPITRE 5. ERGODICITÉ ET CONVERGENCE Lemme 5.4. Si la chaîe de Markov sur E est irréductible et si u seul état x est apériodique, c est à dire qu il vérifie P x X = x = P x, x > 0 dès que est suffisammet grad alors la chaîe est apériodique. Démostratio. Soiet y, z deux états de E. Comme la chaîe est irréductible, il existe deux etiers r et s tels que P r y, x > 0 et P r x, z > 0, o e déduit que pour tout suffisammet grad La chaîe est doc apériodique. P r++s y, z P r y, xp x, xp s x, z > 0. La défiitio 5.3 est pas la seule caractérisatio des chaîes apériodiques et ous reviedros par la suite sur cette otio. Pour le momet, ous allos motrer ue coséquece importate de l apériodicité. Théorème 5.5. Soit {X } 0 ue chaîe de Markov irréductible et apériodique de mesure de probabilité ivariate π sur u espace d états E déombrable. Pour toute distributio iitiale µ 0 sur E, la distributio de {X } 0 coverge vers π quad ted vers l ifii lim P µ 0 X = x = πx. Ce théorème peut s iterpréter de la faço suivate. Pour très grad, la mesure ivariate est bie approchée par P µ X = x et cette distributio au temps peut elle même être obteue par la loi des grads ombres e simulat plusieurs réalisatios idépedates de la chaîe de Markov πx P µ X = x 1 = lim K K K k=1 1 k {X =x} où {X k } 0 sot des réalisatios idépedates de la chaîe de Markov. Il y a doc deux approches complémetaires pour estimer πx : o moyee la fréquece de passage e x le log d ue trajectoire c est le théorème ergodique 5.1 ou o fixe u temps et o costruit u histogramme à partir de plusieurs simulatios idépedates cf. figure 5.2. Démostratio. La preuve repose sur ue méthode de couplage et écessite plusieurs étapes. O cosidère {X } 0 et {Y } 0 deux réalisatios idépedates de la chaîe de Markov dot les états iitiaux diffèret : X 0 = x et Y 0 a pour distributio iitiale la mesure ivariate π. Étape 1 : La chaîe de Markov joite W = X, Y est irréductible et récurrete positive. O voit facilemet que processus W = X, Y est ue chaîe de Markov das E E de matrice de trasitio P x 1, y 1, x 2, y 2 = Px 1, x 2 Py 1, y 2.

77 5.2. CONVERGENCE 77 L irréductibilité est ue coséquece de l apériodicité car pour tous les x 1, y 1 et x 2, y 2 das E E P x 1, y 1, x 2, y 2 = P x 1, x 2 P y 1, y 2 > 0 dès que est assez grad. L apériodicité de la chaîe est essetielle pour prouver l irréductibilité, e effet si {X } 0 et {Y } 0 étaiet deux réalisatios d ue marche aléatoire sur {1,..., 2L} cf. figure 5.2 l ue partat d u ombre pair et l autre d u ombre impair, alors le couple formé par W e pourra jamais atteidre tous les sites {1,..., 2L} 2 et e particulier les trajectoires {X } 0 et {Y } 0 e se recotrerot jamais. Comme X et Y ot pour mesure ivariate π, il est facile de vérifier que {W } 0 a pour mesure ivariate la mesure produit x, y E E, π π x, y = πxπy. Par le théorème 4.6, la chaîe {W } 0 est doc récurrete positive. y x T FIGURE 5.3 Le schéma représete u couplage etre 2 trajectoires issues des états x et y. Leur partie commue après le temps T est dessiée e poitillés. Étape 2 : Costructio d u couplage. O défiit le temps d arrêt T comme le premier temps où les chaîes X, Y se touchet cf. figure 5.3 } { T = if { 0; X = Y = if 0; } W A avec A = {x, x; x E} E E. Aisi T peut s iterpréter comme u temps d atteite pour la chaîe W. Comme W est irréductible et récurrete, T est fii presque sûremet. O défiit le processus { X, si < T Z = Y, si T Nous allos vérifier que {Z } 0 est ue chaîe de Markov et a la même distributio que {X } 0. Par la propriété de Markov forte démotrée au théorème 2.6, la chaîe de Markov décalée e temps {W T+ } 0 est idépedate de {X 0, Y 0,..., X T, Y T } coditioellemet à X T, Y T. Comme leurs doées iitiales coïcidet les chaîes de

78 78 CHAPITRE 5. ERGODICITÉ ET CONVERGENCE Markov {X T+ } 0 et {Y T+ } 0 ot la même loi et il est doc équivalet de suivre la trajectoire associée à Y T+ plutot que celle de X T+. Par coséquet {Z } 0 est bie ue chaîe de Markov de même loi que {X } 0. Étape 3 : Covergece. Les doées iitiales sot X 0 = x et la mesure ivariate π pour Y 0, o peut doc écrire pour tout état y de E P x X = y πy = P x X = y P π Y = y. Par l étape 2, la chaîe {Z } 0 a la même loi que {X } 0 P x X = y = P x Z = y = P X = y, T > + P Y = y, T, où P fait référece à la mesure joite des trajectoires {X } et {Y }. O e déduit que P x X = y πy = P X = y, T > P Y = y, T > P T >. D après la première étape, la chaîe {W } 0 est récurrete positive. Par coséquet le temps d arrêt T est fii presque sûremet et P T > ted vers 0 quad ted vers l ifii. Ceci coclut la preuve du théorème. La défiitio 5.3 de l apériodicité est particulièremet bie adaptée pour les preuves cepedat il existe u autre poit de vue qui justifie le choix du mot apériodique. Nous présetos maiteat cet aspect complémetaire. Cette partie peut être omise e première lecture. Pour tout état x E, o défiit px = PGCD[Ix] où Ix = { 1; P x, x > 0} où PGCD désige le plus grad commu diviseur. Propositio 5.6. Soit {X } 0 ue chaîe de Markov irréductible sur l espace d états E. Alors la foctio x px est costate sur E et o otera p X cette costate. Démostratio. Soiet x, y E deux états qui commuiquet, c est à dire qu il existe i, j tels que P i x, y > 0 et P j y, x > 0. Ue applicatio directe de l égalité de Chapma-Kolmogorov motre que pour tout r Iy P i+j x, x > 0 et P i+j+r x, x > 0. Aisi px divise i + j et i + j + r et doc la différece r de ces deux etiers. Comme r est arbitraire das Iy, o déduit que px divise py. E iversat les rôles de x et y, o motre l égalité px = py. Pour la marche aléatoire de la figure 5.3, la période est égale à 2. Nous doos maiteat ue secode défiitio de l apériodicité équivalete à la défiitio 5.3

79 5.2. CONVERGENCE 79 Défiitio 5.7. Soit {X } 0 ue chaîe de Markov irréductible. O dit que X est apériodique si p X = 1. Le lemme qui suit permet de faire le lie etre les deux défiitios. Lemme 5.8. Pour tout x das E, les deux assertios suivates sot équivaletes : i px = 1, ii il existe x 1 tel que P x, x > 0 pour tout x. Démostratio. L implicatio ii = i est triviale. Pour l implicatio iverse, o cosidère des etiers 1,..., k Ix avec PGCD[ 1,..., k ] = 1. Le théorème de Bezout assure l existece de q 1,..., q k Z tels que Posos k q i i = 1 = ax bx où ax = i=1 k q + i i et bx = i=1 x = bx 2 1 = bx 1bx + bx 1. Alors pour tout x, la divisio euclidiee de par bx s écrit = dbx + r avec d r et 0 r bx 1 = d rbx + rax = d r k i=1 q i i + r k i=1 k q i i. i=1 q + i i. L égalité de Chapma-Kolmogorov motre que toute combiaiso liéaire des i 1 i k, à coefficiets das N, est das Ix. E particulier, la décompositio précédete implique que appartiet à Ix Distace e variatio et couplage Das les applicatios, il est importat de quatifier la vitesse de relaxatio de la mesure {P µ X = y} y E vers la mesure ivariate π. Il faut doc préciser la covergece du théorème 5.5. Pour cela ous commeceros par défiir ue distace etre les mesures sur E. Défiitio 5.9. Soiet µ et ν deux mesures de probabilité sur u espace déombrable E. O défiit la distace e variatio totale etre ces deux mesures par µ ν VT = 1 2 x E µx νx. Cette distace s iterprète comme la moitié de l aire des régios 1 et 2 sur la figure 5.4. Le poit clef de la preuve de covergece du théorème 5.5 résidait das la costructio d u couplage etre les trajectoires. Nous allos maiteat reveir sur la otio de couplage et motrer qu elle est itimemet liée à la distace e variatio totale.

80 80 CHAPITRE 5. ERGODICITÉ ET CONVERGENCE µ ν A A c FIGURE 5.4 Les desités des mesures µ et ν sot représetées. Leur partie commue est dessiée e gris et la distace e variatio est proportioelle à l aire des zoes blaches 1 et 2. Si les 2 mesures étaiet idetiques les zoes 1 et 2 existeraiet pas et leur distace e variatio serait ulle. Iversemet, si les supports des mesures sot disjoits leur distace est maximale. U couplage etre les deux mesures de probabilité µ et ν est ue paire de variables aléatoires X, Y telles que X ait pour distributio µ et Y pour distributio ν PX = x = PX = x, Y = y = µx 5.9 y E PY = y = PX = x, Y = y = νy 5.10 x E où P est la probabilité joite des deux variables X et Y. Il existe de multiples faços de coupler deux mesures. Supposos par exemple que µ = ν = 1 2 δ 0 + δ 1. U couplage possible est de choisir X et Y idépedammet x, y {0, 1}, PX = x, Y = y = 1 4 PX = Y = 1 2. U autre couplage cosiste à corréler fortemet les 2 variables e choisissat X selo ue loi de Beroulli de paramètre 1/2 puis e posat Y = X x, y {0, 1}, PX = x, Y = y = y=x PX = Y = 0. Les deux couplages respectet la propriété des lois margiales 5.9, mais leurs lois joites sot très différetes. Certais couplages sot plus itéressats que d autres comme le motre le lemme qui suit. Lemme Soiet µ et ν deux mesures de probabilité sur u espace déombrable E, alors µ ν VT = max µb νb 5.11 B E } = if { PX = Y; X, Y est u couplage de µ et ν 5.12 où l ifimum est pris sur tous les couplages possibles de µ et ν. Les couplages qui réaliset l égalité sot dits optimaux.

81 5.2. CONVERGENCE 81 Das l exemple précédet des mesures µ = ν = 1 2 δ 0 + δ 1, le secod couplage est optimal mais pas le premier. Das la suite du cours, seule l idetité 5.12 sera utilisée. Démostratio. Commeços par motrer l idetité O défiit le sous-esemble A cf. figure 5.4 comme A = { x E; µx νx }. O a µ ν VT = 1 2 x E = 1 2 µx νx = 1 2 x A µa νa µa c + νa c µx νx 1 2 µx νx x A c = µa νa = µa c + νa c où o a utilisé 1 = µa + µa c = νa + νa c. Par ailleurs pour tout B E µb νb µb A νb A µa νa et aussi O e déduit que νb µb νa c µa c. max µb νb = µa νa = µ ν VT B E Pour motrer 5.12, vérifios d abord que µ ν VT if { PX = Y; X, Y est u couplage de µ et ν Soit B u sous-esemble de E Par symétrie µb νb = PX B PY B = PX B, Y B + PX B, Y B PY B PX B, Y B PX = Y. νb µb PX = Y. Il suffit d utiliser l idetité 5.11 pour e déduire l iégalité } Pour motrer la réciproque, il suffit de costruire u couplage qui réalise l égalité das O défiit p = if{µx, νx} x E qui s iterprète comme l aire de la régio 3 das la figure 5.4. E utilisat la relatio 5.13, o peut réécrire p sous la forme p = µx + x E µx νx = 1 µ ν VT. νx = 1 + x E µx>νx νx µx = 1 µa νa x E µx>νx

82 82 CHAPITRE 5. ERGODICITÉ ET CONVERGENCE Le couplage cosiste à choisir ue variable B de loi de Beroulli PB = 0 = p, PB = 1 = 1 p et à costruire X, Y e foctio de la valeur de B. i Si B = 0, alors o choisit ue variable Z selo la probabilité sur E m 3 x = 1 p if{µx, νx} qui est cocetrée das la régio 3 de la figure 5.4. O pose esuite X = Y = Z. ii Si B = 1, alors o choisit X selo la probabilité { µx νx si m 1 x = µ ν VT µx > νx 0 sio et Y est choisi idépedammet selo la probabilité { νx µx si m 2 x = µ ν VT νx > µx 0 sio La relatio 5.13 permet de vérifier que les 2 mesures sot ormalisées par 1. Cette procédure costruit bie u couplage car X et Y ot les boes lois margiales pm 3 x + 1 pm 1 x = µx et pm 3 x + 1 pm 2 x = νx Les mesures µ 1 et µ 2 ot des supports disjoits associés aux régios 1 et 2 de la figure 5.4. Par coséquet X = Y si et seulemet si B = 1. L égalité das 5.12 est doc bie vérifiée car PX = Y = PB = 1 = 1 p = µ ν VT. Le Lemme 5.10 va ous permettre de reforcer le théorème 5.5 sous ue hypothèse itroduite par Doebli. Théorème Soit {X } 0 ue chaîe de Markov irréductible, apériodique sur u espace E déombrable. O suppose que sa matrice de trasitio vérifie la coditio de Doebli, i.e qu il existe r 1, δ > 0 et ue mesure de probabilité ν sur E tels que P r x, z δ νz pour tous x, z das E Alors la chaîe de Markov admet ue mesure de probabilité ivariate π vers laquelle la distributio de la chaîe de Markov coverge expoetiellemet vite uiformémet par rapport aux états iitiaux sup x E P x, π VT = 1 2 sup x E P x, y πy 1 δ /r y E où P x, est la distributio au temps e partat de x et représete la partie etière. Pour ue chaîe de Markov distribuée iitialemet selo µ, o a aussi µxp x, π = 1 x E VT 2 P µ X = y πy 1 δ /r y E

83 5.2. CONVERGENCE 83 Si l espace d états E est fii, ue chaîe de Markov irréductible et apériodique satisfait toujours la coditio de Doebli. E effet, il existe r 1 tel que pour tout couple x, y de E, o ait P r x, y > 0. Il suffit de choisir δ = y E mi x E Pr x, y > 0 et νy = 1 δ mi x E Pr x, y Démostratio. La preuve se décompose e 3 temps. Étape 1. Existece d ue mesure ivariate. Vérifios d abord que la coditio de Doebli 5.15 implique l existece d ue mesure ivariate. Comme il existe au mois u état z tel que νz > 0, o peut majorer la probabilité de e pas repasser e z avat u temps kr. E utilisat successivemet la propriété de Markov au temps k 1r et la coditio de Doebli 5.15, o obtiet la décroissace expoetielle P z T + z > kr = P z T z + > k 1r, X k 1r = x P T z + > r X k 1r = x x E 1 P z T z + > k 1r, X k 1r = x δνz x E 1 P z T z + k. > k 1r δνz 1 δνz Ceci implique que l état z est récurret positif car E z T + z = P z T + z 1 r P z T + z k 0 kr < et par le théorème 4.6 qu il existe ue mesure ivariate. Étape 2. Covergece pour ue coditio de Doebli simplifiée. Pour démotrer la covergece, ous supposeros d abord que 5.15 est vraie avec r = 1, c est à dire Px, z δ νz pour tous x, z das E. La bore iférieure δ νz peut être iterprétée comme la régio grise de la figure 5.4 : c est la partie commue des mesures de probabilité Px, pour différetes valeurs de x. Nous allos costruire u couplage qui s ispire de la preuve du lemme Soiet {X } 0 et {Y } 0 deux réalisatios de la chaîe de Markov, la première partat de x et l autre de y. Supposos que les deux trajectoires soiet costruites jusqu au temps. Si X = Y, o préserve l égalité au temps + 1 cf. figure 5.3 et o pose P X +1 = x +1, Y +1 = y +1 X = x, Y = x = Px, x +1 1 {y+1 =x +1 }. Si X = Y alors au pas de temps + 1, o tire au hasard ue variable aléatoire B +1 de Beroulli de paramètre δ idépedate de tout le passé PB +1 = 1 = 1 δ, PB +1 = 0 = δ.

84 84 CHAPITRE 5. ERGODICITÉ ET CONVERGENCE Si B +1 = 0, o choisit u site z de E selo la loi ν et o pose X +1 = Y +1 = z. Ce choix e déped pas des valeurs de X et Y. Si B +1 = 1, X +1 et Y +1 sot choisis idépedammet e foctio de lois qui dépedet des valeurs X et Y P X +1 = x +1 X = x, B +1 = 1 = 1 1 δ Px, x +1 δνx +1 P Y +1 = y +1 Y = y, B +1 = 1 = 1 1 δ Py, y +1 δνy +1 O remarque que la matrice modifiée est bie ue matrice de trasitio car ses termes sot positifs et z 1 E, z 2 E 1 1 δ Pz 1, z 2 δνz 2 = 1. De plus les processus {X } 0 et {Y } 0 sot chacu des chaîes de Markov de matrice de trasitio P car P X +1 = x +1 X = x = δp X +1 = x +1 X = x, B +1 = δp X +1 = x +1 X = x, B +1 = 1 = δνx +1 + Px, x +1 δνx +1 = Px, x +1. Le couplage état costruit, il e reste plus qu à estimer le temps d arrêt T quad les marches se rejoiget cf. figure 5.3 } T = if { 0; X = Y. La coditio de Doebli 5.15 assure que pour tous x 0 = y 0 das E P X 1 = Y 1 X0 = x 0, Y 0 = y 0 P B 1 = 0 δ. E utilisat la propriété de Markov et cette bore iférieure, o obtiet P T = P T 1, X 1 = z, Y 1 = z P T 1 X 1 = z, Y 1 = z z,z E z =z P T 1 1 δ 1 δ. Il est importat de remarquer que cette bore est uiforme pour tous les états de départ x et y de E. Pour estimer l écart etre les distributios au temps, il e reste plus qu à utiliser le lemme 5.10 e choisissat le couplage que ous veos de costruire P x, P y, PX = Y = PT > 1 δ VT

85 5.2. CONVERGENCE 85 Si la chaîe de Markov {Y } 0 était issue de la mesure ivariate π alors sa distributio à tout temps serait égale à π y E, πy = P π Y = y = πzp z, y. z E Pour coclure le théorème, il suffit de cosidérer u couplage etre {X } 0 partat de X 0 = x et {Y } 0 distribuée iitialemet sous π. Plus gééralemet si X 0 est distribuée sous la mesure µ, o obtiet par le même argumet de couplage l iégalité Étape 3. Cas gééral. Supposos maiteat que la coditio de Doebli 5.15 soit satisfaite avec u paramètre r 1. O remarque que la chaîe de Markov { X k = X kr } k 0 a pour matrice de trasitio P r et pour mesure ivariate π. O peut décomposer tout etier sous la forme = kr + l avec l {0,..., r 1} et écrire la distributio au temps d ue chaîe partat de x comme la distributio de X k partat iitialemet de la mesure P l x,. P x X = y = P l x, zp z X k = y. z E Cette égalité est ue simple réécriture de l équatio de Chapma-Kolmogorov P = P l P kr. La chaîe { X k } k 0 vérifie le critère de Doebli pour r = 1, il suffit doc d appliquer à { X k } k 0 le résultat de la secode étape pour établir la covergece expoetielle de la distributio P x, Vitesses de covergece Das de ombreuses applicatios cf. chapitre 6 la vitesse de covergece vers la mesure d équilibre est fodametale, car elle permet de détermier le temps écessaire pour qu ue simulatio doe u résultat avec la précisio voulue. La coditio de Doebli défiie au théorème 5.11 est importate, car elle fourit u cadre théorique simple pour motrer ue covergece expoetielle. Cepedat, de meilleures vitesses de covergece peuvet souvet être prouvées par ue étude spécifique de chaque modèle. Nous allos l illustrer sur u exemple. Marche aléatoire. Cosidéros ue marche aléatoire faiéate symétrique sur le domaie périodique E = {1,..., L} de matrice de trasitio P doée par i E, Pi, i + 1 = Pi, i 1 = 1/4, Pi, i = 1/2 où o idetifie L et 0 L. Comme la probabilité de rester sur place est o ulle, cette chaîe de Markov est apériodique. O costruit le couplage Y, 1 Y 2 sur E E partat iitialemet de x, y. Au temps, si Y 1 = Y 2 alors les 2 coordoées évoluet de la même maière selo la matrice de trasitio P et o a Y+1 1 = Y2 +1 cf. figure 5.3. Si Y1 = Y, 2 o choisit ue variable B +1 {1, 2} avec probabilité 1/2, puis seule la coordoée B +1 est mise à jour et saute à droite ou à gauche avec probabilité 1/2 : Y B = YB +1 ± 1.

86 86 CHAPITRE 5. ERGODICITÉ ET CONVERGENCE O ote T le premier temps où les deux trajectoires se recotret. E appliquat le lemme 5.10, o peut doc cotrôler la covergece e foctio de T P x, P y, VT PT > 1 ÊT où Ê correspod à l espérace pour la mesure joite du couplage Y 1, Y 2. Supposos x > y et aalysos la différece Z = Y 1 Y 2. O costate que {Z } 0 est ue marche aléatoire partat de x y et sautat à chaque pas de temps à gauche ou à droite avec probabilité 1/2 tat qu elle a pas atteit 0 ou L, c est à dire tat que les marches Y 1, Y 2 e se sot pas rejoites. Le temps d arrêt T correspod doc au momet où le processus Z est absorbé e 0 ou e L, c est l aalogue du temps défii das la ruie du joueur dot l espérace a été calculée sectio e 2.22 O obtiet doc uiformémet e x et y ÊT = x y L x y. P x, P y, VT L2 4. Ceci motre que pour ue taille L assez grade, la chaîe de Markov sera proche de l équilibre dès que le temps est de l ordre de L 2. Cet ordre de gradeur est optimal comme l idique le théorème cetral limite : ue marche aléatoire au temps visite des régios de taille, par coséquet pour recouvrir le domaie {1,..., L}, il faudra au mois attedre des temps de l ordre L 2. Comparos maiteat ce résultat avec celui doé par le théorème La coditio de Doebli 5.15 suppose de trouver u paramètre r tel que tous les états puisset être coectés e r sauts. Il faut au miimum choisir r L/2. Pour r = L/2, la costate δ est alors de l ordre 1 4 L/2. Pour ces valeurs, le théorème 5.11 implique sup x E P x, π VT 1 1 L/2 4 L/2 exp c 2 L L où la derière égalité est u équivalet pour L grad et c est ue costate. Das cet exemple la coditio de Doebli assure seulemet la covergece pour des temps de l ordre 2 L L et d u poit de vue pratique, elle est pas pertiete car elle e prédit pas l ordre L 2. Cosidéros maiteat ue marche modifiée qui au lieu de rester sur place avec probabilité 1/2 peut sauter uiformémet sur tous les sites selo la probabilité de trasitio i, j E, Pi, j = {j=i±1} + 1 2L où o idetifie L et 0 L. Das ce cas la coditio de Doebli s applique avec r = 1, δ = 1/2 et νy = 1/L. Par le théorème 5.11, o obtiet sup x E P x, π VT 1 2.

87 5.2. CONVERGENCE 87 Cette fois la covergece est beaucoup plus rapide, elle e déped plus de L et la coditio de Doebli fourit ue iformatio précise. Cette modificatio des probabilités de trasitio est e fait idetique à celle itroduite das la matrice de trasitio de Google 5.8 afi d accélérer la vitesse de covergece. Mélage de cartes. Pour mélager u jeu de N cartes, o répète plusieurs fois la procédure suivate : ue carte est choisie au hasard et est déplacée e haut du paquet si la carte e haut du paquet est choisie, elle reste sur place. Les cartes sot umérotées de 1 à N et cette procédure défiit ue chaîe de Markov {Σ k } k 0 sur l esemble des permutatios S N de N élémets. O otera P sa matrice de trasitio et P k Id, la distributio au temps k de la chaîe partat de la cofiguratio Id = {1,..., N} de S N. L exemple ci-dessous représete u jeu de 5 cartes après deux pas de temps. Les cartes 4 et 1 ot été choisies successivemet avec probabilité 1/5. Σ 0 = carte 4 déplacée Σ 1 = carte 1 déplacée Σ 2 = La mesure ivariate π de cette chaîe de Markov est uiforme sur les N! permutatios possibles. Pour le voir il suffit de remarquer qu ue permutatio σ doée a exactemet N atécédets possibles et que chacu peut atteidre σ avec probabilité 1/N πσ = η S N πηpη, σ = 1 N! η S N Pη, σ = 1 N!. La propositio suivate permet d estimer la vitesse de covergece pour des jeux de cartes de grade taille proche de l ifii! Propositio Pour tout ε > 0, il suffit de mélager k N 1 + εn log N fois u paquet de N cartes pour que sa distributio soit uiforme quad N est très grad lim N P k N Id, π VT = Iversemet, il e faut pas mélager mois de fois le paquet car pour toute suite l N 1 εn log N la distributio au temps l N est ecore très loi de π lim N P l N Id, π VT = Cette propositio illustre u phéomèe de seuil que l o retrouve das de ombreuses chaîes de Markov : la covergece pour la orme e variatio totale e s opère pas régulièremet au cours du temps. Das l exemple du jeu de cartes, la distributio de la chaîe de Markov reste très loi de la mesure ivariate avat le temps N log N, puis deviet très proche après N log N. La covergece se produit très rapidemet autour de N log N das u itervalle de temps plus court que εn log N cf. figure

88 88 CHAPITRE 5. ERGODICITÉ ET CONVERGENCE 1 N log N k εn log N FIGURE 5.5 Distace e variatio e foctio du temps k etre P k Id, et la mesure ivariate. La covergece est localisée autour de N log N. Démostratio. Commeços par prouver la covergece vers l équilibre, i.e. la limite Pour cela, costruisos u couplage etre deux trajectoires de la chaîe {Σ 1 k } et {Σ 2 k }. La première a pour doée iitiale Σ1 0 = Id et l état iitial Σ2 0 de la secode est choisi selo π. À chaque pas de temps, o tire u uméro de carte au hasard etre 1 et N et cette carte est posée e haut du paquet das les deux jeux Σ = 3 et Σ 2 4 ue étape 0 = 1 Σ = 1 de mélage 2 et Σ = Das l exemple ci-dessus la carte 3 a été déplacée das les deux cofiguratios. Chacu des jeux évolue selo la boe probabilité de trasitio. Si ue carte est choisie au temps k alors elle occupera la même positio das les deux jeux à tous les temps suivats. E effet, elle sera mise au dessus du paquet au temps k puis descedra dès que d autres cartes serot ajoutées. Elle pourra se retrouver ecore au dessus du paquet si elle est choisie ue secode fois, mais tous ses déplacemets serot les mêmes das les deux jeux. Par coséquet si toutes les cartes ot été choisies au mois ue fois, les deux jeux sot idetiques. O défiit le temps d arrêt τ = if { k 0, toutes les cartes ot été choisies au mois ue fois au temps k } qui permet de borer le temps de couplage T = if { k 0, Σ 1 k = Σ2 k} τ. Pour estimer la vitesse de covergece, il suffit doc de cotrôler τ P k Id, π VT PT > k Pτ > k Le temps d arrêt τ se décompose facilemet e τ = τ 1 + τ τ N 5.22 où τ i est le temps écessaire pour obteir la i ème ouvelle carte sachat qu o a déjà i 1 cartes différetes. La première étape est très simple τ 1 = 1. Supposos que i 1 cartes

89 5.2. CONVERGENCE 89 différetes ot été trouvées, la probabilité de découvrir ue ouvelle carte au temps k suit ue loi géométrique de paramètre 1 i 1/N P τ i = k i 1 k 1 = 1 i 1 N N car la probabilité de trouver ue ouvelle carte est 1 i/n. O e déduit que Eτ N i = N i + 1 et Varτ N i = Eτ 2 N i Eτ N i 2 = NN i 1 i N2 i Ceci permet de calculer l espérace asymptotique de τ quad N est grad Eτ = N i=1 Eτ i = N i=1 N i + 1 N log N aisi qu ue bore sur sa variace car les τ i sot idépedats Varτ = E τ Eτ 2 = N i=1 Varτ i = N i=1 N 2 cn2 i où c est ue costate. Supposos que k > Eτ alors l iégalité de Tchebyshev permet d écrire P τ k = P τ Eτ k Eτ E τ Eτ 2 k Eτ 2 cn 2 k Eτ 2. E utilisat 5.21, ce résultat fourit ue vitesse de covergece vers la mesure ivariate pour N fixé P k Id, π VT cn 2 k Eτ 2. Pour N grad, si k N 1 + εn log N > Eτ, o e déduit que P k N Id, π VT cεn2 2 cε 2 N log N log N où cε est ue costate dépedate de ε. Quad N ted vers l ifii, o retrouve la limite Pour estimer la bore iférieure 5.20 sur le temps de mélage, il suffit de remarquer que pour u temps l N 1 εn log N mois de N 1 ε 2 cartes aurot été déplacées. Ceci veut dire que le paquet cotiedra u ombre importat de cartes ayat coservé leur ordre iitial et la covergece complète aura pas eu lieu. E utilisat la otatio 5.22, o peut estimer le temps écessaire pour que N 1 ε 2 cartes aiet été choisies. O otera ce temps τ = τ τ N 1 ε 2.

90 90 CHAPITRE 5. ERGODICITÉ ET CONVERGENCE L espérace et la variace de ce temps se comportet asymptotiquemet e N comme E τ 1 ε 2 N log N et E τ2 E τ 2 cn 2 Nous allos motrer que l espérace est ue boe estimatio du temps écéssaire pour découvrir N 1 2 ε et e particulier qu avec grade probabilité τ sera plus grad que 1 εn log N. Pour cela défiissos τ = τ 1 εe τ et utilisos la bore du secod momet prouvée das le lemme 5.13 ci-dessous qui implique que pour λ 0, 1 P τ > λe τ 1 λ 2 E τ2 E τ 2 = 1 E τ 2 λ2 E τ 2 + E τ 2 E τ 2. Par les asymptotiques précédetes, le terme de droite ted vers 1 λ 2 quad N ted vers l ifii. E laissat λ tedre vers 0, o motre que lim P τ > 1 εn log N = 1. N Supposos qu exactemet K cartes aiet pas été choisies, alors les N K autres ot été déplacées e haut du paquet. Ces K cartes ot coservé leur ordre iitial i 1 < i 2 < < i K et se trouvet au bas du paquet. Le ombre d arragemets possibles pour u tel évèemet est N N K! = N! K K!. Par coséquet la probabilité d u tel évèemet est 1 K!. Soit A N l esemble des permutatios telles qu au mois N/2 cartes soiet ordoées au bas du paquet. La probabilité πa N d u tel évèemet ted doc vers 0 quad N ted vers l ifii. Il suffit maiteat d associer les deux résultats précédets pour e déduire la bore iférieure. Pour toute suite de temps {l N } telle que l N 1 εn log N, il y aura eu au plus N 1 ε/2 cartes déplacées. Par coséquet avec grade probabilité, la chaîe de Markov Σ ln sera das l esemble A N et lim P Id ΣlN A N πan = 1. N Par l idetité 5.11 P l N Id, π P Id ΣlN A N πan. O e déduit la bore iférieure Lemme 5.13 Iégalité du secod momet. Soit X ue variable aléatoire telle que EX 0, alors 0 λ 1, P X > λex 1 λ 2 EX2 EX 2.

91 5.2. CONVERGENCE 91 Démostratio. Pour le voir, o remarque que EX = EX 1 {X>λEX} + EX 1 {X λex} EX 1 {X>λEX} + λex. Par coséquet 1 λex EX 1 {X>λEX} O coclut par l iégalité de Cauchy-Schwarz 1 λ 2 EX 2 EX 2 E1 {X>λEX}.

92 92 CHAPITRE 5. ERGODICITÉ ET CONVERGENCE

93 Chapitre 6 Applicatio aux algorithmes stochastiques 6.1 Optimisatio Das de ombreuses applicatios, o souhaite miimiser ue foctio V : R K R dot la structure est souvet complexe et déped d u grad ombre de paramètres K 1 selo le problème à modéliser. Cette foctio sert par exemple à quatifier u coût e écoomie ou u redemet das ue réactio chimique, à optimiser des échages das u réseau iformatique ou à détermier des estimateurs e statistique maximum de vraisemblace. O cherche aussi à idetifier les valeurs où cette foctio pred so miimum Argmi V = { x R K ; Vx = if Vy }. y Ce problème d optimisatio est puremet détermiiste et il peut être résolu par des méthodes aalytiques. E particulier, les méthodes de programmatio liéaire sot optimales pour résoudre des problèmes liéaires. Das le cas d ue foctio V covexe, ue méthode de descete de gradiet [5] permet de coverger vers u poit x où la foctio atteit so miimum t 0, ẋ t = V x t alors lim t x t = x. Par cotre si la foctio V possède de ombreux miima locaux ue telle méthode e permettra pas de détermier le miimum global facilemet car la limite de x t dépedra de l état iitial x 0 cf. figure 6.1. De ombreux problèmes d optimisatio écessitet d étudier des foctios V particulièremet complexes, dépedates de multiples paramètres. Pour fixer les idées, cosidéros le cas d école du problème du voyageur de commerce. U voyageur de commerce doit visiter K cliets das K villes différetes et reveir à so poit de départ e e visitat chaque ville qu ue seule fois. État doées les distaces etre toutes les villes {di, j} 1 i K, l objectif est de miimiser le trajet à parcourir, c est à dire 1 j K { } mi Vσ σ S K avec Vσ = 93 K d σi, σi i=1

94 94 CHAPITRE 6. APPLICATION AUX ALGORITHMES STOCHASTIQUES V x FIGURE 6.1 Le schéma représete u potetiel Vx avec plusieurs miima locaux qui redet la méthode de descete de gradiet iefficace. Les algorithmes stochastiques permettet de frachir les barrières de potetiel cf. la flèche e poitillés pour atteidre le miimum global. Quad T est petit la mesure µ T va se cocetrer pricipalemet autour des valeurs les plus basses de V par exemple sur le schéma sur les poits situés sous la droite e poitillés. x où σ appartiet à l esemble S K des permutatios de {1,..., K}. Chaque permutatio σ correspod à u trajet etre les villes selo u certai ordre et comme le voyageur reviet à so poit de départ, o pose σk + 1 = σ1. Ue méthode de recherche systématique du miimum cosisterait à explorer tous les chemis possibles et à comparer leurs logueurs. Ceci coduirait à ue complexité umérique gigatesque puisque l esemble des trajets possibles est doé par l esemble des permutatios des K villes, soit K!, qui croît trop vite avec K. Ce problème appartiet à la classe des problèmes NP-complets c est à dire qu il existe pas d algorithme qui permette de le résoudre e u temps polyomial e K sous l hypothèse P = NP. Le problème du voyageur de commerce est u problème théorique qui sert souvet de référece pour tester des stratégies d optimisatio. Das la pratique, il existe de ombreux problèmes d optimisatio similaires pour lesquels il est impossible d obteir la solutio e u temps raisoable mais qui peuvet être approchés par des méthodes stochastiques. Nous reviedros sur le problème du voyageur de commerce sectio Ce chapitre décrit des méthodes probabilistes pour détermier le miimum d ue foctio V sur u espace discret E fii mais de cardial très grad. Pour costruire ue solutio approchée à ce problème détermiiste, ous défiissos µ T la mesure de Gibbs associée au potetiel V et au paramètre T > 0 x E, µ T x = 1 exp 1T Z Vx T avec Z T = exp 1T Vy. y E 6.2 La mesure µ T attribue ue probabilité à chaque site de E et se cocetre sur les miima de V quad T ted vers 0. Le résultat suivat est attribué à Pierre-Simo Laplace. Lemme 6.1. Si M désige l esemble des poits de E où V atteit so miimum, o a x E, lim µ T x = T 0 { 1 CardM si x M 0 si x M

95 6.2. ALGORITHMES STOCHASTIQUES FIGURE 6.2 O cosidère l espace E = {1,..., 5} et la foctio V1 = 87, V2 = 4, V3 = 55, V4 = 99, V5 = 25. La distributio de la probabilité µ T est représetée par des cercles pour T = 10 4 et des carrés pour T = 2. Quad T est très grad la mesure est presque distribuée uiformémet, par cotre pour T plus petit les valeurs les plus basses de V devieet prépodérates cf. Lemme 6.1. Démostratio. Soit V le miimum de V, o peut réécrire la mesure de Gibbs 6.2 x E, µ T x = 1 y E exp 1 T [Vy V ] exp 1 T [Vx V ]. Dès que x M, o a Vx V cotribuet quad T ted vers 0. > 0 et comme E est fii, seuls les termes das M La figure 6.2 illustre ce lemme et motre que pour T proche de 0, la mesure µ T se cocetre sur les poits où V est miimum. Par coséquet e simulat des réalisatios de la mesure µ T pour T proche de 0, o obtiedra avec ue grade probabilité ue approximatio de l esemble M où V atteit so miimum. La simulatio de µ T sera l objet de la sectio suivate. 6.2 Algorithmes stochastiques Algorithme de Metropolis-Hastigs À première vue, la simulatio de la mesure de Gibbs 6.2 suppose de calculer la distributio µ T et doc d évaluer Z T = y E exp 1 T Vy. Das la pratique, ceci est impossible à implémeter car il faudrait calculer toutes les valeurs de V pour u esemble E de cardial trop importat. La méthode proposée e 1953 das l article [18] et améliorée par W. Hastigs [14] e 1970 permet d éviter cet écueil e simulat la mesure de Gibbs à l aide d ue chaîe de Markov. L algorithme de Metropolis-Hastigs permet de simuler ue variable aléatoire sous ue mesure de probabilité quelcoque sur E. O ote π cette mesure et o suppose que πx > 0 pour tout x de E. Pour réaliser la simulatio, il faut se doer ue matrice de trasitio Q irréductible sur E satisfaisat pour tous x, y de E Qx, y > 0 Qy, x > 0

96 96 CHAPITRE 6. APPLICATION AUX ALGORITHMES STOCHASTIQUES et ue foctio croissate h :]0, [ ]0, 1] vérifiat hu = uh1/u. Par exemple o peut choisir hu = if{1, u} ou hu = u 1 + u. Pour x = y, o pose Rx, y = { πyqy,x h si Qx, y = 0 πxqx,y 0 sio 6.3 Ceci permet de costruire la matrice de trasitio P défiie par { Px, y = Qx, yrx, y si x = y Px, x = 1 y =x Px, y 6.4 L algorithme de Metropolis-Hastigs, décrit ci-dessous, permet de simuler ue chaîe de Markov {X } 0 de matrice de trasitio P : Étape 0. Iitialiser X 0 Étape + 1. Choisir y selo la loi QX, y Choisir U +1 uiformémet das [0, 1] et idépedammet du passé Si U +1 < RX, y poser X +1 = y, sio poser X +1 = X Supposos que πx > 0 pour tous les états x de E, o motre alors Théorème 6.2. La matrice de trasitio P défiie e 6.4 est irréductible et réversible pour la mesure π qui est doc so uique mesure ivariate. Si de plus h < 1 alors P est apériodique. Démostratio. L irréductibilité de Q implique immédiatemet celle de P. Pour motrer que P est réversible, il suffit d utiliser l idetité hu = uh1/u πyqy, x x = y, πxpx, y = πxqx, yh πxqx, y πxqx, y πyqy, x = πyqy, x πyqy, x h πxqx, y πxqx, y = πyqy, xh = πypy, x. πyqy, x Le théorème 3.12 permet d e déduire que π est bie la mesure ivariate. Si h < 1, alors Px, x > 0 pour tout x de E et la matrice P est bie apériodique. O peut aussi vérifier facilemet que si Q est apériodique alors P le sera même si h 1. L itérêt de l algorithme de Métropolis est évidet pour simuler la mesure de Gibbs µ T 6.2, e effet la matrice de trasitio P s écrit pour x = y 1 [ ] Qy, x Px, y = Qx, y h exp Vx Vy T Qx, y

97 6.2. ALGORITHMES STOCHASTIQUES 97 et la ormalisatio Z T a plus besoi d être calculée. Comme h est ue foctio croissate, la matrice de trasitio P podère les probabilités de trasitio et favorise les sauts de x vers y si Vx > Vy c est à dire si le potetiel V décroît après le saut. Cosidéros le potetiel représeté figure 6.1 idexé par E = {1,..., L} et supposos que la matrice Q correspode à la marche aléatoire symétrique sur E. Si T est très faible, la chaîe de Markov aura tedace à évoluer vers les miima de V. Cepedat, l évolutio état aléatoire certaies trasitios assez rares peuvet aller à l ecotre de cette tedace et éviter à la chaîe de Markov de rester bloquée das u miimum local. Cotrairemet à l approche détermiiste de la descete de gradiet, les fluctuatios aléatoires permettet d explorer le paysage de potetiel. Nous reviedros sur le choix optimal du paramètre T sectio Modèle d Isig Les mesures de Gibbs 6.2 s utiliset aussi das des cotextes très différets des méthodes d optimisatio car elles ot été itroduites iitialemet e physique statistique pour redre compte de systèmes microscopiques. La théorie de Gibbs est présetée e détail das le cours de physique statistique [12] et ous ous coteteros ici de l illustrer das le cas particulier du modèle d Isig. FIGURE 6.3 Deux réalisatios du modèle d Isig obteues par l algorithme de Metropolis- Hastigs pour différetes températures sur le domaie Λ = {1,..., 40} 2. La simulatio de droite correspod à ue température très haute, par cotre sur la simulatio de gauche les spis sot plus ordoés car la température est plus basse. Le modèle d Isig offre u cadre théorique très simple pour décrire les trasitios de phase de l aimatatio d u métal ferromagétique. À chaque site i du réseau Λ = {1,..., L} d, o associe u spi s i preat les valeurs ±1 et o ote S Λ = {s i } i Λ ue cofiguratio de spis. Les spis iteragisset avec leurs plus proches voisis et ue éergie est attribuée à chaque cofiguratio S Λ VS Λ = i,j Λ i j s i s j

98 98 CHAPITRE 6. APPLICATION AUX ALGORITHMES STOCHASTIQUES où i j sigifie que les sites i et j sot à distace 1 sur le réseau Λ. U système physique a tedace à miimiser so éergie ce qui permet de distiguer deux cofiguratios privilégiées les états fodametaux : les spis sot tous égaux à 1 ou tous égaux à 1. Pour teir compte des fluctuatios thermiques, o défiit la mesure de Gibbs qui attribue à la cofiguratio S Λ la probabilité µ T S Λ = 1 exp 1 Z T T VS Λ où la foctio de partitio Z T sert à ormaliser la mesure de Gibbs. Le paramètre T s iterprète comme ue température : quad T est grad les fluctuatios thermiques domiet et le système est désordoé, par cotre pour T proche de 0 les cofiguratios de basse éergie sot privilégiées et les spis ot tedace à s aliger cf. figure 6.3. Ce modèle très simple de spis e iteractio permet de mettre e évidece l existece d ue trasitio de phase quad la taille du domaie L ted vers l ifii. Les trasitios de phase costituet ue source de questios fasciates dot certaies serot évoquées au chapitre 7. Pour le momet, cotetos ous d implémeter l algorithme de Metropolis-Hastig afi de simuler le modèle d Isig. Retraduit das le formalisme des chaîes de Markov, ue cofiguratio S Λ correspod à u état et l espace d états est E = { 1, 1} Λ. Pour u domaie bi-dimesioel de taille L = 40 comme das la figure 6.3, le cardial de E est Il est doc impossible d éumérer toutes les cofiguratios pour calculer la distributio µ T. Pour simplifier les otatios, ous allos omettre la dépedace e Λ et poser S = S Λ. Pour tout i das Λ, o ote S i la cofiguratio déduite de S e chageat simplemet le sige du spi e i j Λ, S i j = { si, si j = i s j, si j = i La matrice de référece Q décrit ue évolutio sur l espace des cofiguratios i Λ, QS, S i = 1 CardΛ. Elle correspod au mécaisme suivat : u site i est choisi au hasard das Λ et so spi est retouré. Ce sot les seules trasitios autorisées. Ces trasitios modifiet les cofiguratios seulemet localemet, par coséquet la variatio de l éergie correspodat au chagemet du spi e i e déped que de la moyee des spis autour de i δhi, S = HS i HS = 2s i s j. j i État doée ue foctio h satisfaisat hu = uh1/u, l algorithme de Metropolis- Hastigs s écrit Étape 0. Iitialiser X 0 avec ue cofiguratio S quelcoque Étape + 1. Choisir i uiformémet das Λ Choisir U +1 uiformémet das [0, 1] et idépedammet du passé Si U +1 < h exp 1 T δhi, X poser X +1 = X i, sio poser X +1 = X

99 6.3. SIMULATION PARFAITE : ALGORITHME DE PROPP-WILSON 99 FIGURE 6.4 L algorithme de Metropolis-Hastig cosiste à choisir u site au hasard figure de gauche et à mettre à jour ce spi e foctio de la moyee de ses 4 voisis. Quad T est proche de 0, le spi aura esuite tedace à s aliger avec ses voisis figure de droite. 6.3 Simulatio parfaite : algorithme de Propp-Wilso Nous avos vu au chapitre 5 qu ue chaîe de Markov irréductible, apériodique coverge vers sa mesure ivariate. E particulier, le théorème 5.5 garatit la covergece de l algorithme de Metropolis-Hastigs quad le temps ted vers l ifii. Mais e pratique, la simulatio doit être arrêtée à u temps fii et il est doc importat d estimer l erreur faite. Cette questio a motivé de ombreuses études théoriques pour quatifier la vitesse de covergece et il s agit toujours d u sujet de recherche très actif e probabilités. Das le cadre ce cours, ous avos défii au théorème 5.11 le critère de Doebli qui permet de détermier pour tout ε > 0 u temps ε au-delà duquel l erreur est cotrôlée ε, sup x E P x, π VT ε. Il est pas toujours possible d obteir ue estimatio théorique qui fourit des bores suffisammet précises. Aisi das la pratique, la durée de simulatio est souvet détermiée par l ituitio ou calibrée à partir d expérimetatios. FIGURE 6.5 Le schéma représete u couplage etre des trajectoires issues de différets états iitiaux. Au-delà de la lige e poitillés, toutes les trajectoires ot fusioé. Nous allos décrire maiteat l algorithme de Propp-Wilso [22] qui permet de simuler de faço exacte la mesure ivariate par ue méthode de couplage par le passé.

100 100 CHAPITRE 6. APPLICATION AUX ALGORITHMES STOCHASTIQUES Avat cela, reveos sur la preuve du théorème 5.5 où la covergece était estimée e foctio du temps de couplage etre différetes trajectoires cf. figure 6.5. Das le cas d ue récurrece aléatoire défiie au théorème 2.2 le couplage se costruit de la faço suivate. O rappelle que la chaîe de Markov {X } 0 à valeurs das E est obteue par récurrece 1, X +1 = f X, ξ +1 e foctio d ue suite {ξ } 1 de variables aléatoires idépedates et idetiquemet distribuées sur u espace F et d ue foctio f de E F das E. Afi de coupler les CardE trajectoires, o défiit θ = {ξ x } x E ue collectio de CardE variables aléatoires idépedates et de même loi que ξ 0 et o ote x E, F θ x = f x, ξ x. Ceci permet de costruire le couplage après u pas de temps simultaémet pour toutes les doées iitiales das E. Pour itérer, il suffit de choisir ue suite {θ } 1 de variables idépedates et la chaîe de Markov partat de x s obtiet e composat les applicatios Φ x = F θ F θ 1 F θ1 x. 6.5 Le couplage s effectue au premier temps aléatoire T où Φ T est costate, i.e. que Φ T e déped plus de l état iitial das E. Comme toutes les trajectoires ot fusioé au temps T, la chaîe de Markov a perdu toute la mémoire du passé et il est tetat de croire que la positio de chaîe à l istat T i.e Φ T est distribuée selo la mesure ivariate. Ce est pas le cas comme le motre l exemple de la figure 6.6, éamois ue modificatio simple mais astucieuse permet de redre cette idée rigoureuse. 1/2 1/2 1/ /2 1 FIGURE 6.6 Pour ce graphe de trasitio, l équilibre e peut pas correspodre au momet où les différetes trajectoires fusioet. E effet, l état 3 e peut être atteit qu e veat de l état 2 et il est doc pas possible que les trajectoires se touchet pour la première fois à l état 3. Le poit de vue Propp et Wilso cosiste à coupler o pas vers le futur mais vers le passé e remotat le temps et e iversat l ordre das 6.5 G x = F θ1 F θ 1 F θ x. L idexatio F θk correspod ici à la trasitio etre les istats k et k + 1. G x s iterprète comme la valeur à l istat 0 de la chaîe de Markov partie de x au temps cf. figure 6.7. O défiit le temps d arrêt T correspodat au premier istat où G est costate T = if { 0; x, y E, G x = G y }. 6.6 Das ce cas le résultat de l algorithme est l état G T = G T x obteu au temps 0 qui e déped pas de x.

101 6.3. SIMULATION PARFAITE : ALGORITHME DE PROPP-WILSON 101 G T T N FIGURE 6.7 Sur le schéma, les différetes trajectoires partat au temps N ot pas coalescé au temps 0. E remotat le temps jusqu à T les trajectoires issues des différets états de E ot coalescé et l état G T obteu au temps 0 est distribué exactemet selo la mesure ivariate. À mesure que l algorithme remote das le temps, la simulatio doit coserver la mémoire des trajectoires déjà utilisées. Théorème 6.3. O cosidère ue chaîe de Markov irréductible, apériodique de mesure ivariate π. Si le temps de coalescece T défii e 6.6 est fii presque sûremet, alors l état G T est distribué selo la mesure ivariate π. Démostratio. Ue fois que les trajectoires ot coalescé, l état de la chaîe e 0 e va plus varier T, G = G T. Comme o a supposé que le temps T est fii presque sûremet, o a par le théorème de covergece domiée x, y E, lim P G x = y = P G T x = y. Les variables G et Φ 6.5 ot la même loi et par coséquet lim P G x = y = lim P Φ x = y = πy où la derière égalité est obteue par le théorème 5.5. O coclut aisi la preuve de ce théorème x, y E, P G T x = y = πy. L algorithme de Propp-Wilso suppose de suivre toutes les trajectoires issues de E ce qui est impossible si E a u cardial trop grad. Cepedat pour certaies chaîes de Markov par exemple pour la dyamique de Metropolis associée au modèle d Isig, o peut implémeter ue variate de cet algorithme pour laquelle il suffit de suivre u petit ombre de trajectoires. Ceci dépasse le cadre de ce cours mais o pourra trouver ue étude détaillée das [22].

102 102 CHAPITRE 6. APPLICATION AUX ALGORITHMES STOCHASTIQUES 6.4 Algorithme de recuit simulé Le problème iitial évoqué sectio 6.1 est de caractériser les cofiguratios miimisat ue foctio V. Le lemme 6.1 permet d estimer de telles cofiguratios comme des états privilégiés d ue mesure de Gibbs µ T e foctio d u paramètre T pouvat être iterprété comme ue température. Cette mesure peut esuite être simulée par u algorithme de Metropolis-Hastigs. La difficulté cosiste à calibrer le paramètre T de faço optimale car deux effets cotraires se cojuguet das cette procédure. T doit être proche de 0 pour que les miima soiet correctemet estimés, mais das ce cas la chaîe de Markov évolue systématiquemet vers les potetiels décroissats au risque de se comporter comme les modèles détermiistes de descete de gradiet et la covergece aura jamais lieu sur des échelles de temps raisoables. Iversemet si T est trop grad, les fluctuatios stochastiques serot suffisates pour empêcher la chaîe de Markov d être piégée das des miima locaux cf. figure 6.1 et la covergece vers la mesure d équilibre µ T sera plus rapide cepedat µ T e décrira pas correctemet les solutios cherchées. Le recuit simulé cosiste à simuler ue chaîe de Markov par l algorithme de Metropolis- Hastigs e baissat la température à chaque pas de temps. L idée est de permettre à la chaîe de Markov de sortir rapidemet des miima locaux qu elle pourrait recotrer iitialemet, mais de baisser la température progressivemet pour qu elle se stabilise sur le miimum global recherché. O choisit ue suite de températures {T } 0 décroissat vers 0 et au temps la chaîe de Markov évolue e suivat la dyamique associée à la mesure µ T. Étape 0. Iitialiser X 0 Étape + 1. Choisir y selo la loi QX, y Choisir U +1 uiformémet das [0, 1] et idépedammet du passé Si U +1 < h exp 1 [ T VX Vy ] Qy,X QX poser X,y +1 = y Sio poser X +1 = X Le choix de la suite de températures est crucial. O peut démotrer que Théorème 6.4. État doée ue foctio V, il existe ue costate CV qui déped de V et telle que l algorithme de recuit simulé appliqué avec la suite de températures T = CV log sélectioe l esemble M des miima de V, c est à dire lim PX M = 1. La preuve de ce théorème pourra être trouvée das le livre [9] et ous ous coteteros de justifier le choix de la décroissace e 1 log par u exemple. Soit E = {1, 2, 3} et V1 = 0, V2 = 1, V3 = 1. Le miimum est atteit à l état 3 et l état 1 costitue u miimum local cf. figure 6.8. O pose hu = mi{u, 1} et Q suit le graphe des trasitios de la figure 6.8. O suppose que l état iitial X 0 = 1 et o veut calculer la probabilité que la chaîe de Markov soit das l état 3 à u temps doé. Pour cela il faut que la chaîe soit passée

103 6.4. ALGORITHME DE RECUIT SIMULÉ 103 V / /2 1 3 FIGURE 6.8 Le potetiel V de l exemple avec 3 sites est tracé à gauche. Le graphe de trasitio de la matrice Q est représeté à droite. par l état 2 avat PX = 3 2 PX k = 1, X k+1 = 2. k=0 Avec les paramètres choisis, la probabilité de trasitio etre 1 et 2 au temps k + 1 est doée par P U k+1 < 1 2 exp 1 = 1 T k 2 exp 1. T k O obtiet doc l estimatio PX = exp 1Tk. k=0 Il est facile de voir que si c est ue costate suffisammet petite et T k c log k alors PX = 3 < 1. Cette majoratio s avère idépedate du temps choisi. Par coséquet si la température ted trop vite vers 0, la chaîe de Markov restera idéfiimet piégée au poit 1 avec ue probabilité positive. La décroissace de la température e 1 log s avère trop lete pour implémeter des algorithmes performats. O préfère doc souvet utiliser des décroissaces polyomiales de la forme 1 qui e sot pas justifiées d u poit de vue théorique mais qui doet γ quad même de très bos résultats Problème du voyageur de commerce Le recuit simulé permet d obteir ue solutio approchée du problème du voyageur de commerce défii e 6.1. O choisit comme état iitial X 0 ue permutatio au hasard das S K. État doé u parcours σ = σ1,..., σk, o ote pour i = j le parcours σ i,j obteu e permutat l ordre de visite des villes σi et σj. Ceci permet de défiir ue matrice de trasitio Q sur les différets parcours e autorisat uiquemet ce type de trasitios 1 i < j K, σ S K, Q σ, σ i,j = 2 KK 1. Les résultats de l algorithme de recuit simulé sot représetés figure 6.9.

104 104 CHAPITRE 6. APPLICATION AUX ALGORITHMES STOCHASTIQUES FIGURE 6.9 Les simulatios ci-dessus représetet des étapes de l algorithme de recuit simulé pour résoudre le problème du voyageur de commerce. Les positios de 35 villes sot choisies au hasard aisi que le circuit iitial tracé à gauche. Après 2000 itératios, la logueur du parcours s est réduite figure du cetre et le chemi ted à coverger après itératios vers ue solutio presque optimale figure de droite Traitemet d images Das cette sectio, ous allos motrer commet le recuit simulé permet de traiter des images perturbées par u bruit aléatoire et d idetifier des formes. Pour simplifier, o suppose que l image dégradée par le bruit est e oir et blac. O peut idexer chaque pixel de cette image de taille L L comme u site i de Λ = {1,..., L} 2 et lui attribuer la valeur σ i = ±1 selo sa couleur. L image est doc ue collectio de pixels Σ = {σ i } i Λ. O veut élimier le bruit pour recoaître ue forme sur cette image. Pour cela o fait l hypothèse que cette forme a des cotours réguliers et est costituée de blocs de 1. O va doc modifier l image e elevat des pixels 1 das les régios où les pixels égaux à 1 sot deses et iversemet. Ce mécaisme rappelle celui de la dyamique de Metropolis- Hastig pour le modèle d Isig cf. sectio et ous allos ous e ispirer. L image iitiale Σ = {σ i } Λ va être modifiée e ue ouvelle image S = {s i } Λ obteue comme le miimum de l éergie VS Λ = α i,j Λ i j s i s j + β si σ i 2 i Λ où α, β 0 sot deux costates. Si α = 0 et β > 0, le miimum est doé par l image iitiale. Iversemet si α > 0 et β = 0, o retrouve l éergie du modèle d Isig et le miimum est atteit pour les 2 cofiguratios extrêmes où tous les pixels valet 1 ou 1. Il faut doc ajuster les paramètres α et β pour réaliser u compromis etre deux effets : l image restaurée doit rester fidèle à l image iitiale mais les cotours doivet être le plus et possible et les fluctuatios dues au bruit doivet être élimiées. Le recuit simulé est ue méthode adaptée pour miimiser la foctio V qui est composée de ombreux miima locaux et idexée par L 2 variables. L état iitial est doé par l image Σ et o utilise esuite la dyamique de Metropolis-Hastigs e abaissat progressivemet la température cf. figure Cette applicatio du recuit simulé au traitemet d images avait simplemet pour but d illustrer les possibilités offertes par cette méthode. Pour traiter des problèmes cocrets, ue théorie plus sophistiquée est écessaire et ses fodemets sot décrits das [26]. La

105 6.4. ALGORITHME DE RECUIT SIMULÉ 105 FIGURE 6.10 Pour illustrer l algorithme de Metropolis-Hastig, l image de gauche représetat u carré blac sur fod oir a été perturbée par u bruit aléatoire pour doer l image au cetre. L image de gauche est obteue après traitemet de l image bruitée par l algorithme de Metropolis-Hastig. segmetatio d images, i.e. l idetificatio de composates das des images, est particulièremet utilisée e imagerie médicale ou e cartographie.

106 106 CHAPITRE 6. APPLICATION AUX ALGORITHMES STOCHASTIQUES

107 Chapitre 7 U exemple de modélisatio e physique : la percolatio Les chaîes de Markov fourisset u cadre théorique très développé pour étudier les comportemets asymptotiques de variables aléatoires corrélées. La dépedace des chaîes de Markov est idexée par la variable de temps. Ce chapitre costitue ue itroductio aux systèmes où l idexatio des variables aléatoires est plus liéaire et où la géométrie joue u rôle. Nous décriros le modèle de percolatio et motreros que la structure spatiale iduit des propriétés très itéressates qui fot de la percolatio u modèle clef e physique statistique. Le cours de W. Werer [24] est ue excellete référece sur la théorie de la percolatio e particulier o pourra y retrouver les résultats présetés das ce chapitre. Ce chapitre peut être omis das le cadre du cours de MAP432, il sert simplemet à préseter des développemets actuels e théorie des probabilités. 7.1 Descriptio du modèle Imagios ue pierre poreuse immergée das de l eau. Peut o détermier e foctio de la porosité si le cetre de la pierre est mouillé? Cette questio a été posée par Broadbet et Hammersley e 1957 et formulée das le cadre mathématique suivat. O cosidère Z d et o ote E l esemble des arêtes E = { i, j i, j Z d, i j 2 = 1 }. 7.1 Pour simplifier les otatios, ue arête typique sera souvet otée b = i, j E. À chaque arête b, o associe ue variable aléatoire de Beroulli ω b de paramètre p [0, 1] idépedammet des autres arêtes b E, P ω b = 1 = 1 P ω b = 0 = p. 7.2 Par aalogie avec la pierre poreuse, o dira qu ue arête b est ouverte si ω b = 1 l eau peut passer à travers l arête et fermée sio cf. figure 7.1. U chemi de k à l das Z d est ue suite {i 0 = k, i 1,..., i = l} de sites disticts tels que i j 1, i j soit das E. O dit 107

108 108 CHAPITRE 7. APPLICATION : LA PERCOLATION que deux sites k et l sot reliés das le modèle de percolatio par u chemi ouvert s il existe u chemi {i 0 = k, i 1,..., i = l} tel que ω ij 1,i j = 1 pour tout j. O otera {k l} l évèemet que k soit relié à l par u chemi ouvert et {O } l évèemet qu il existe u chemi ifii d arêtes ouvertes partat de l origie. O FIGURE 7.1 Exemple d ue cofiguratio de percolatio das u sous esemble de Z 2. Les arêtes ouvertes sot représetées e gras. O peut iterpréter l existece d u chemi ifii e disat que le cetre de la pierre sera mouillé. Si p = 1, l origie est toujours coectée à l ifii par u chemi d arêtes ouvertes et iversemet si p = 0, l origie est toujours décoectée de l ifii. Le problème est doc de détermier pour quelles valeurs de p 0, 1 u tel chemi existe avec probabilité positive. FIGURE 7.2 Das ces simulatios, les sites de Z 2 sot coloriés e oir avec probabilité p et e blac avec probabilité 1 p. La questio de la percolatio peut doc se reformuler e terme de chemis de sites oirs adjacets. Chaque grille a sites et l itesité de p est successivemet p = 0, 3, p = 0, 59 et p = 0, 7. Existe-t-il, das l image du milieu, u chemi oir reliat l origie située au cetre au bord du carré? 7.2 Trasitio de phase Pour p [0, 1], o défiit θp = P {O }. 7.3 Le théorème suivat motre l existece d ue trasitio de phase pour la percolatio cf. figure 7.3.

109 7.2. TRANSITION DE PHASE 109 Théorème 7.1. Pour d 2, il existe u poit critique p c ]0, 1[ tel que p < p c, θp = 0, p > p c, θp > 0. La structure spatiale est très importate et das le cas uidimesioel, il existe pas de trasitio de phase à ue valeur o triviale. E effet si l origie est coectée à l ifii alors pour tout, l origie est coectée à ou. O a doc P {O } P {O } + P {O } 2p. Pour tout p < 1, o voit que le membre de droite de l équatio ted vers 0 quad ted vers l ifii. Par coséquet p c = 1 si d = 1. FIGURE 7.3 Graphe de p θp pour d 2. La cotiuité de la courbe au poit critique est évoquée sectio La preuve du théorème 7.1 se décompose e 3 étapes : 1. Il existe p 0 > 0 tel que pour tout p < p 0 alors θp = Il existe p 1 < 1 tel que pour tout p > p 1 alors θp > La foctio p θp est croissate. Ces trois assertios permettet doc de démotrer qu il existe u uique poit critique p c das ]0, 1[. O pose p c = if{p θp > 0}. Chaque étape sera l objet d ue des propositios démotrées ci-dessous Absece de percolatio pour p petit Propositio 7.2. Il existe p 0 > 0 tel que θp = 0 pour tout p < p 0. Démostratio. L idée de la preuve est similaire à l argumet utilisé e dimesio 1, mais cette fois il faut teir compte de l etropie des chemis, i.e. des choix multiples des chemis possibles. Si {O } a lieu alors il existe au mois u chemi γ = {i 0 = O, i 1,..., i } de logueur et partat de l origie O dot toutes les arêtes sot ouvertes o rappelle qu u chemi e s itersecte pas. O otera Γ l esemble des chemis de

110 110 CHAPITRE 7. APPLICATION : LA PERCOLATION logueur partat de l origie. O a doc P {O } P { u chemi de logueur ouvert}, P {γ est u chemi ouvert}, γ Γ P {γ est u chemi ouvert} = CardΓ p. γ Γ E dimesio d, le cardial de Γ est toujours trivialemet iférieur à 2d. Par coséquet si p 0 = 1 2d, l iégalité ci-dessous est valable pour tout p P {O } 2d p =. Il suffit de laisser tedre vers l ifii pour coclure Percolatio pour p proche de 1 Propositio 7.3. Il existe p 1 < 1 tel que θp > 0 pour tout p > p 1. Démostratio. Si l origie est coectée à l ifii das Z 2 alors elle le sera a fortiori das Z d où les chemis ouverts sot plus ombreux. Il suffit doc de prouver la Propositio pour d = 2. O ote CO la composate coexe coteat l origie et formée par les lies ouverts. O va motrer que pour p proche de 1 lim P CardCO < 1. Ceci implique qu il y a ue probabilité positive pour que le cardial de CO soit ifii et doc que l origie soit coectée à l ifii. Ue simplificatio importate du cas d = 2 est la otio de dualité. O défiit le réseau dual dot les arêtes sot E = {u + 1 2, v + 1 2, u, v Z2 }. Chaque arête b de E est associée à l arête b de E qui l itersecte. A toute réalisatio aléatoire {ω b } b E, o peut faire correspodre ue cofiguratio de percolatio das le réseau dual {ωb = 1 ω b } b E cf. figure 7.4. Ue arête ouverte das E est associée à ue arête fermée das le réseau dual et iversemet. La percolatio associée au réseau dual a doc pour paramètre 1 p. Si la composate CO est fiie, alors elle est écessairemet etourée par u chemi ouvert das le dual cf. figure 7.4. O otera Γ l esemble des chemis γ de logueur das le dual etourat l origie. O remarque que pour etourer l origie il faut au mois 4 arêtes duales. P CardCO < = P { u chemi dual ouvert etourat l origie}, P {γ est u chemi dual ouvert}, 4 γ Γ P {γ est u chemi dual ouvert}. 4 γ Γ p 0

111 7.2. TRANSITION DE PHASE 111 O FIGURE 7.4 La composate coexe C0 des lies ouverts coteat l origie est etourée par u cotour ouvert das le réseau dual représeté e poitillés. Pour e pas alourdir le dessi, seuls les poits du réseau dual autour de l origie sot représetés, mais il faut imagier ue cofiguratio duale plus étedue avec toutes les arêtes {ω b } b E. La probabilité qu u chemi dual de logueur soit ouvert est 1 p, o a doc P CardCO < CardΓ 1 p. 4 Il e reste plus qu à estimer le cardial de Γ. Tout chemi γ Γ va croiser l axe {x, 0} x [0,] au mois ue fois. Si o fixe ue arête duale itersectat {x, 0} x [0,], le ombre de chemis de logueur est au plus 3 cette bore est loi d être optimale. Ceci peut s obteir e remarquat qu u chemi das le dual forme ue boucle sas itersectios et qu à chaque pas u chemi a au plus 3 directios possibles pour évoluer. O e déduit que pour p > 2/3 P CardCO < 3 1 p. 4 O peut doc choisir p 1 pour que la probabilité P iférieure à 1 si p > p Poit critique Propositio 7.4. La foctio p θp est croissate. CardCO < soit strictemet Démostratio. Ue faço simple de simuler ue variable aléatoire de Beroulli ω de paramètre p est de tirer au hasard ue variable aléatoire uiforme U sur [0, 1] et de poser ω = 1 {U p}. O peut doc comparer 2 cofiguratios de percolatio de paramètres p < q e les couplat, i.e e les costruisat simultaémet. O se doe ue collectio {U b } b E de variables aléatoires idépedates et uiformémet distribuées sur [0, 1] et o pose b E, ω b = 1 {Ub p}, η b = 1 {Ub q}. Les variables {ω b } b E sot des variables de Beroulli idépedates de paramètre p et {η b } b E sot des variables de Beroulli idépedates de paramètre q. Par cotre {ω b } b E et {η b } b E sot corrélées car ω b η b pour tout b E. Par coséquet tout chemi ouvert das la cofiguratio {ω b } b E sera aussi ouvert das la cofiguratio {η b } b E. O e déduit que si l origie est coectée à l ifii pour la réalisatio {ω b } b E elle le sera aussi pour la réalisatio {η b } b E. Ceci permet de coclure que θp θq.

112 112 CHAPITRE 7. APPLICATION : LA PERCOLATION Nous avos démotré que la foctio p θp est croissate et il est aturel de se demader si elle est cotiue. Par défiitio, p θp est ulle pour p < p c et doc cotiue. O peut motrer avec u peu d efforts qu elle est aussi cotiue pour p > p c. O cojecture la cotiuité au poit p c e toute dimesio, mais elle a été démotrée que pour d = 2 et d 19. Du poit de vue de la physique, ue discotiuité e p c s iterprèterait comme ue trasitio de phase du premier ordre et impliquerait l existece d ue composate ouverte ifiie de desité macroscopique à p c. Persoe e s atted à u tel scéario et o cojecture que la trasitio de phase est du secod ordre θp c = 0, cepedat le cas physiquemet itéressat de la dimesio d = 3 reste u problème mathématique ouvert! Dimesio 2 O remarquera que la preuve du théorème 7.1 établit l existece de p c sas e détermier la valeur. E gééral, cette valeur est pas coue mais das certais cas particuliers des symétries permettet de la devier. E dimesio 2, o peut démotrer que p c = 1/2. La preuve est délicate cf. [24] et o se cotetera de justifier l ituitio du résultat. La dualité implique l alterative suivate pour tout domaie de la forme Λ = {,..., } 2 : ou Λ est traversé par u chemi ouvert reliat le bord droit au bord gauche ou il existe u chemi dual ouvert reliat le haut et le bas de Λ de Λ si o veut être précis. Ces deux évèemets e peuvet pas arriver simultaémet cf. figure 7.5. Λ FIGURE 7.5 U chemi ouvert reliat le bord droit au bord gauche de la boite Λ. Ce chemi coupe la boite e 2 morceaux et empêche tout chemi dual représeté e poitillés de la traverser du haut vers le bas. O peut démotrer que p > p c si la probabilité qu u chemi ouvert relie les bords gauche et droit de Λ ted vers 1 quad ted vers l ifii. Par coséquet si p > p c la percolatio das E va empêcher la percolatio das le réseau dual E. Mais les deux types de percolatio ot par symétrie u comportemet idetique. L absece de percolatio das le réseau dual implique doc 1 p < p c. Ceci coduit à la relatio p c = 1 p c et justifie heuristiquemet p c = 1/2. O peut aussi démotrer la cotiuité au poit critique θ1/2 = 0. La percolatio au poit critique est très étudiée e physique. Par exemple, o cojecture u comportemet uiversel de θp proche de p c pour ue grade classe de modèles

113 7.2. TRANSITION DE PHASE 113 bidimesioels p > 1/2, θp p 1/2 5/36. L exposat 5/36 e devrait pas dépedre de la structure microscopique du réseau. Pour le momet cette relatio a été établie "uiquemet" pour le réseau triagulaire par S. Smirov et W. Werer. Le cas de Z 2 cosidéré das ces otes reste u problème ouvert. L objet mathématique caché derrière ce comportemet uiversel est l évolutio de Schramm- Loewer Schramm-Loewer evolutio. Ce processus stochastique est la limite du processus d exploratio discret représeté figure 7.6. Il ecode la structure limite de l iterface et de faço implicite les exposats critiques du modèle. Ce processus dépasse largemet le cadre de la percolatio car il apparaît comme la limite uiverselle des modèles critiques bidimesioels ivariats par trasformatios coformes : le modèle d Isig, le modèle de Potts, la marche auto-évitate, le champ libre Gaussie... FIGURE 7.6 O cosidère la percolatio sur le réseau hexagoal. Les sites du bord droit sot coloriés e bleu et ceux du bord gauche e jaue, les autres couleurs sot choisies aléatoiremet avec la probabilité p c. O costruit u chemi e partat du bas de l image et e explorat l iterface etre le bleu et le jaue. Les coditios aux bords forcet le chemi à traverser le domaie du bas vers le haut. Quad la taille du domaie augmete la trajectoire reviet sur elle même et forme des boucles. Les simulatios ci-dessus ot été réalisées par V. Beffara.

114 114 CHAPITRE 7. APPLICATION : LA PERCOLATION

115 Deuxième partie Martigales 115

116

117 Chapitre 8 Espérace coditioelle 8.1 Espérace coditioelle sur u espace d états discret À l occasio d u sodage, des ges sot iterrogés et ils doivet attribuer ue ote de 1 à 100 pour le ouveau produit qu ils vieet de tester. O peut modéliser l esemble des réposes par ue variable aléatoire X à valeurs das E = {1,..., 100}. Le résultat du sodage sera la moyee des réposes et il doera ue boe estimatio de EX. Pour affier le sodage, o voudrait classer les réposes e foctio de la persoe sodée selo so gere, so âge ou la couleur de ses cheveux. Par exemple si Y correspod à l âge de la persoe sodée, la probabilité coditioelle permet de détermier la probabilité qu ue persoe d âge y attribue la ote x PX = x Y = y = PX = x, Y = y. 8.1 PY = y Cette expressio a u ses que si PY = y > 0. O a aisi défii ue ouvelle mesure de probabilité sur E appelée probabilité coditioelle PX = x Y = y = 1 x E et le résultat du sodage pour la classe d âge y correspodra à la ote moyee attribuée sous cette probabilité, i.e. l espérace sous la probabilité coditioelle EX Y = y = x E xpx = x Y = y. La foctio EX Y = y e déped que de y et elle fourit e gééral ue iformatio plus précise que EX. O défiit l espérace coditioelle EX Y comme la foctio de Y qui pred la valeur EX Y = y quad Y = y. Il existe doc ue foctio hy telle que hy = EX Y et y, hy = EX Y = y. 117

118 118 CHAPITRE 8. ESPÉRANCE CONDITIONNELLE Si Y pred ses valeurs das l espace discret E, o peut retrouver EX e itégrat sur Y E EX Y = y E PY = yex Y = y = x E = x E x y E PX = x, Y = y = x E x y E PY = ypx = x Y = y xpx = x = EX. 8.2 Si EX 2 est fiie, l espérace EX peut être vue comme la meilleure approximatio de X par ue costate car elle miimise la distace quadratique X 2 X E EX = if E 2 c = if c R c R { E X 2 2cE X + c 2}. Le miimum du polyôme est atteit e c = EX. L espérace coditioelle EX Y s iterprète aussi comme la meilleure approximatio pour la distace quadratique de la variable X par la variable Y. Si Y pred ses valeurs das l espace discret E, o cherche à détermier la foctio h : E R qui réalise le miimum X if E 2 hy = if h h { E X 2 2E hy X + E hy 2}. La distace quadratique est miimisée par le projeté orthogoal de X sur l espace des variables H = {hy; h : E R} cf. figure 8.1. Pour détermier cette projectio, repreos le calcul 8.2 E hyex Y = y E PY = yhyex Y = y = xhypx = x, Y = y = EhYX. x E y E O se restreit aux foctios EhY 2 < pour que les espéraces ci-dessus soiet bie défiies. Ceci prouve la relatio d orthogoalité pour toute foctio h de E das R E hy X EX Y = 0 et permet de résoudre le problème variatioel X if E 2 { hy = if E X 2 2E hy X + E hy 2} 8.3 h h { = if E X 2 2E hy EX Y + E hy 2} h { E X 2 E EX Y 2 hy } 2 + E EX Y = if h = E X 2 E EX Y 2. L uique miimum est doc atteit pour hy = EX Y. L iterprétatio de l espérace coditioelle e terme de projectio orthogoale sera particulièremet utile par la suite pour les variables à valeurs das R.

119 8.2. DÉFINITION DE L ESPÉRANCE CONDITIONNELLE 119 Supposos maiteat que le couple X, Y soit à valeurs das R 2, o aimerait défiir l espérace coditioelle e s ispirat du cas discret PX = x Y = y = lim P X [x ε, x + ε] Y [y ε, y + ε] ε 0 e gééral il est pas facile de doer u ses à ces expressios et ous allos reocer à cette approche ituitive pour utiliser le poit de vue de l approximatio quadratique illustré das le cas discret. 8.2 Défiitio de l espérace coditioelle Cette sectio résume quelques résultats écessaires pour gééraliser l espérace coditioelle aux variables à valeurs das R. Les preuves complètes figuret das les aexes A et B. Soit X : Ω R ue variable aléatoire à valeurs das R. O souhaite attribuer ue probabilité aux évèemets de la forme {X a} pour tout a de R, mais aussi évaluer la probabilité des complémetaires et des itersectios etre tous ces esembles. Ceci ous amèe à défiir la otio de σ-algèbre. Défiitio 8.1 σ-algèbre. Ue σ-algèbre A sur u espace Ω est ue famille d évèemets satisfaisat les trois propriétés suivates : i Ω appartiet à A. ii Si A est das A alors A c est das A. iii Toute réuio déombrable d évèemets de A appartiet à A. Si C est ue collectio d évèemets o otera σc la plus petite σ-algèbre coteat C. O dira que σc est la σ-algèbre egedrée par C. Das R, la σ-algèbre egedrée par les itervalles de la forme ], a] est la σ-algèbre boréliee et sera otée B R voir aussi A.1 e aexe. Pour R, la σ-algèbre boréliee B R est egedrée par les esembles de la forme i=1 ], a i]. Ue σ-algèbre costitue le bo cadre théorique pour défiir ue mesure de probabilité cf. théorème A.7. O appelle alors espace de probabilité le triplet Ω, A, P où A est ue σ-algèbre sur Ω et P : A [0, 1] est ue mesure de probabilité. Si A est ue σ-algèbre sur Ω, o dira que la variable X : Ω R est mesurable par rapport à A o abrège souvet par A-mesurable, si tous les évèemets {X B} pour B B R appartieet à A, i.e. σx A. O peut aisi mesurer P{X B}. Les σ-algèbres cosidérées das ce cours serot souvet costruites à partir de variables aléatoires et servirot à décrire l iformatio codée par ces variables. Si X est ue variable aléatoire à valeurs das R, il est aturel de cosidérer la σ-algèbre egedrée par les esembles de la forme {X a}. O la otera σx. O remarquera que σx cotiet aussi tous les évèemets de la forme {X B} pour B apparteat à B R. Plus gééralemet, si X = X 1,..., X est ue variable aléatoire à valeurs das R, alors la σ-algèbre σx associée est egedrée par les évèemets de la forme {X B} pour B apparteat à B R. Cette σ-algèbre est aussi otée σx 1,..., X car elle décrit la collectio des variables aléatoires X 1,..., X.

120 120 CHAPITRE 8. ESPÉRANCE CONDITIONNELLE Le résultat suivat permet de représeter facilemet toutes les variables aléatoires mesurables par rapport à σx. Lemme 8.2. O cosidère deux variables aléatoires sur Ω, A, P : Y à valeurs das E, E et W à valeurs das R. Alors W est mesurable par rapport à σy si et seulemet s il existe ue foctio mesurable f : E R telle que W = f Y. Cette caractérisatio des variables σx-mesurables sera fodametale pour la suite et sa démostratio se trouve au lemme B.4. Le formalisme précédet va ous permettre de défiir la otio d espérace coditioelle pour des variables aléatoires à valeurs das R comme ue projectio orthogoale e s ispirat des variables aléatoires à valeurs das u espace discret. Cosidéros u espace de probabilité Ω, A, P et deux variables X et Y à valeurs das R, mesurables par rapport à A. O suppose que X est das L 2, i.e. que EX 2 <. Le lemme 8.2 permet d affirmer que les variables mesurables par rapport à σy sot de la forme hy où h : R R est ue foctio mesurable. O cherche à approcher X e foctio des variables du sous-espace H = { } hy; h foctio mesurable telle que EhY 2 <. 8.4 Comme H est u sous-espace vectoriel fermé, o peut défiir la projectio orthogoale de X sur H pour le produit scalaire Z, W = EZ W. O ote cette projectio EX Y cf. figure 8.1 et elle satisfait la relatio d orthogoalité pour tout hy das H X E EX Y hy = 0 E X hy = E EX Y hy. 8.5 X y H EX Y 0 1/2 1 x FIGURE 8.1 L espérace coditioelle EX Y s iterprète comme la projectio orthogoale au ses L 2 de X sur H schéma de gauche. Le schéma de droite représete la desité f X,Y de l exemple 8.7. U calcul idetique à celui fait e 8.3 das le cas discret motre que EX Y est la meilleure prédictio possible de X au ses L 2 par la variable Y X if E 2 hy = E X 2 E EX Y 2. h H

121 8.2. DÉFINITION DE L ESPÉRANCE CONDITIONNELLE 121 Par ailleurs toutes les variables mesurables par rapport à σy s écrivet sous la forme hy ; la variable EX Y est doc σy-mesurable. O utilisera aussi la otatio équivalete EX σy = EX Y pour isister sur le fait que le coditioemet par rapport à Y reviet à coditioer par rapport à toute l iformatio das la σ-algèbre σy. Cette stratégie s éted aux variables aléatoires itégrables. Théorème 8.3. Soit X ue variable aléatoire A-mesurable apparteat à L 1 A, P, i.e. telle que E X <. O cosidère F A ue autre σ-algèbre. Il existe ue uique variable aléatoire Z défiie presque sûremet telle que a Z est F-mesurable, b E Z <, c Pour toute variable aléatoire W borée et F-mesurable alors EXW = EZW. O défiit l espérace coditioelle de X sachat F par EX F := Z. La propriété c est l aalogue de la coditio d orthogoalité 8.5, mais l espace H est réduit aux variables aléatoires borées et F-mesurables. Le théorème précédet se déduit facilemet du cas L 2 e approchat la variable X par des variables das L 2, la preuve est faite e aexe cf. théorème B.25. Das la pratique, o possède ue iformatio sur des variables aléatoires Y 1,..., Y k et o cherche à détermier l espérace coditioelle sachat {Y 1,..., Y k }. O ote EX Y 1,..., Y k := EX F, où F = σy 1,..., Y k est la σ-algèbre egedrée par Y 1,..., Y k. Das ce cas, o déduit du lemme 8.2 que la propriété c du théorème 8.3 est équivalete à h L B R k, E X hy 1,..., Y k = E EX Y 1,..., Y k hy 1,..., Y k 8.6 où L B R k est l esemble des foctios boréliees borées. L espérace coditioelle EX Y fourit ue prédictio sur X sachat Y. O distigue deux cas extrêmes : Si Y = c est costate. La σ-algèbre associée se réduit à σy = {, Ω}, c est la plus petite σ-algèbre et elle correspod à l absece totale d iformatio. La coditio a du théorème 8.3 dit que Z est détermiiste, i.e. Z = EZ, et la coditio d orthogoalité c permet d idetifier cette costate EX = EZ = Z. Das ce cas, l espérace coditioelle se cofod avec l espérace EX Y = EX. Si Y = X, toute l iformatio sur X est coue. Appliquos la coditio d orthogoalité c du théorème 8.3 à la foctio 1 F + avec F + = {X Z 0} σx EX Z1 F + = EX Z1 {X Z 0} = 0 X Z + = 0 p.s. De même avec F = {X Z 0} σx o obtiet X Z = 0 presque sûremet. Aisi EX Y = X et les autres coditios a et b sot aussi vérifiées. Il s agit de la meilleure prédictio possible de X sachat X!.

122 122 CHAPITRE 8. ESPÉRANCE CONDITIONNELLE Espérace coditioelle pour des variables à desité. Reveos maiteat sur le cas particulier des variables à desité. Supposos que le couple X, Y soit à valeurs das R 2 et admette ue distributio absolumet cotiue par rapport à la mesure de Lebesgue das R 2, de desité f X,Y x, ydxdy. Défiissos la loi margiale de Y obteue par itégratio par rapport à la variable x f Y y = et pour f Y y > 0, la probabilité coditioelle par f X,Y x, ydx f X Y=y x = f X,Yx, y f Y y = f X,Y x, y fx,y x, ydx que l o iterprète comme l aalogue de 8.1 das ce cotexte. Il est clair que pour tout y fixé, la foctio f X Y=y x défiit ue desité sur R et o peut lui associer EX Y = y = x f X Y=y xdx. Comme das le cas discret, EX Y = ϕy est ue foctio de Y et elle défiit ue variable aléatoire EX Y appelée espérace coditioelle de X sachat Y. La coditio d orthogoalité c du théorème 8.3 se vérifie aussi par u calcul direct : pour toute foctio h : R R borée E EX Y hy = dy f Y y hy x f X Y=y xdx = x hy f X,Y x, ydxdy = EX hy où o a utilisé le théorème de Fubii. O retrouve aisi la propriété 8.6. Pour coclure preos l exemple de la desité x, y [0, 1] 2, f X,Y x, y = 2 1 {x 1/2, y 1/2} + 1 {x>1/2, y 1/2} 8.7 représetée figure 8.1. Le calcul des margiales permet de voir que les variables cosidérées séparémet sot uiformémet distribuées sur [0, 1] x, y [0, 1], f X x = 1, f Y y = 1. Par cotre, la probabilité coditioelle de X sachat Y est ou bie uiforme sur [0, 1/2] ou bie sur [1/2, 1] f X Y=y x = 2 1 {x 1/2, y 1/2} + 1 {x>1/2, y 1/2}. L espérace coditioelle est doée par EX Y = {Y 1/2} {Y<1/2}.

123 8.3. PROPRIÉTÉS DE L ESPÉRANCE CONDITIONNELLE Propriétés de l espérace coditioelle Commeços par les propriétés déjà esquissées das le paragraphe précédet. Soit F ue σ-algèbre, par exemple F = σy 1,..., Y k. Propositio 8.4. L espérace coditioelle E. F est liéaire et pour tout X L 1 A, P i E EX F = EX, ii Si X 0, alors EX F 0 presque sûremet, iii Si X est F-mesurable, alors EX F = X presque sûremet. L espérace coditioelle jouit des mêmes propriétés de passage à la limite que l espérace. Le résultat suivat est démotré propositio B.26. Propositio 8.5. Soit {X } 0 ue suite de variables aléatoires das L 1 A, P qui coverge presque sûremet vers X. O suppose que X appartiet aussi à L 1 A, P. L espérace coditioelle satisfait les résultats de covergece suivats : i Covergece mootoe Si X 0 coverge vers X e croissat, alors ii Lemme de Fatou Si X 0, alors E lim if lim EX F = EX F. X F lim if E X F. iii Covergece domiée S il existe Y das L 1 A, P tel que sup X Y, alors lim EX F = EX F. L iégalité de Jese théorème B.8 s éted aussi aux espéraces coditioelles Propositio 8.6. Soit X das L 1 A, P et g : R R { } ue foctio covexe telle que E gx <. Alors EgX F g EX F. O cosidère maiteat des coditioemets successifs appliqués à deux σ-algèbres F, G. Commeços par décrire les lies possibles etre ces deux σ-algèbres. Si F G, o dira alors que G cotiet plus d iformatio que F. C est le cas par exemple si G = σy 1,..., Y k et F = σy 1,..., Y k avec k > k. E effet, la σ-algèbre G possède plus d esembles mesurables que F. Si X et Y sot deux variables aléatoires idépedates, alors les σ-algèbres F = σx et G = σy sot dites idépedates car les esembles de F sot idépedats de ceux de G. Plus gééralemet, la otio de σ-algèbres idépedates est défiie das la sectio B.4.1. La propositio suivate résume les propositios B.27, B.28 et B.29 prouvées e aexe.

124 124 CHAPITRE 8. ESPÉRANCE CONDITIONNELLE Propositio 8.7. Soit X L 1 A, P et F, G des sous-σ-algèbres de A. i Si F G, alors E EX G F = EX F. ii Si G est idépedate de σσx, F, alors EX σf, G = EX F. iii Si Y est ue variable aléatoire mesurable par rapport à F et E XY <, alors EXY F = YEX F. Pour illustrer cette propositio, supposos que X mesure le redemet d ue réactio chimique qui déped de ombreux paramètres codés par la σ-algèbre A : la température T, la pressio P, l habileté des expérimetateurs, etc. Das i, si les paramètres T et P sot cous le résultat moye sachat G = σt, P est EX G. Si seul T est détermié, il faut itégrer sur toutes les valeurs possibles de la pressio P pour obteir EX F l espérace coditioelle sachat F = σt. La relatio ii dit que rajouter ue iformatio G qui a rie à voir avec cette expériece e permet pas d améliorer la prédictio EX F. Le derier poit iii est l aalogue du iii das la propositio 8.4. Si Y = ht e déped que de T, la meilleure prédictio de Y sachat F = σt est Y. 8.4 Processus aléatoire Nous avos déjà recotré la otio de processus aléatoire sous la forme d ue chaîe de Markov {X } 0 à valeurs discrètes. Plus gééralemet, si Ω, A, P désige u espace de probabilité, u processus aléatoire {X } 0 est ue suite de variables aléatoires sur Ω, A à valeurs das u espace mesurable E, E. Das la suite, ous ous itéresseros pricipalemet à des processus à valeurs das R, B R. L idice idique la date à laquelle la variable aléatoire X est observée. Afi de quatifier le déroulemet du temps et la structure de l iformatio qui e découle, o itroduit la otio importate suivate. Défiitio 8.8. Filtratio Ue filtratio de A est ue suite croissate F = {F } 0 de sous-σ-algèbres de A F 0 F 1 F 2 A. O dit que Ω, A, F, P u espace de probabilité filtré. E particulier, si {X } 0 est u processus aléatoire. Alors la suite F = σx i, i, 0, est appelée la filtratio aturelle du processus. Pour chaque N, la sous-σ-algèbre F représete l iformatio dispoible à la date. La croissace de la suite {F } 0 traduit l idée que l iformatio s accumule au fil du temps et qu il y a pas de possibilité d oublier des iformatios passées. De la même faço qu ue variable aléatoire est associée à ue σ-algèbre, u processus aléatoire est codé par ue filtratio. Dès le chapitre 2, ous avos utilisé la otio de filtratio, sas e évoquer le formalisme, pour décrire les chaîes de Markov. Si {X } 0 est ue chaîe de Markov sur E et F = σx i, i sa filtratio associée, alors la propriété de Markov s écrit B E, P X +1 B F = P X+1 B X.

125 8.4. PROCESSUS ALÉATOIRE 125 Coditioer par rapport à F s iterprète comme le coditioemet par rapport à la trajectoire jusqu au temps. Les otios suivates serot très utiles pour défiir des stratégies au chapitre 12. Défiitio 8.9. Soit F = {F } 0 ue filtratio de A. i Le processus {X } 0 est dit adapté à la filtratio F si X est F -mesurable pour tout 0. ii Le processus {X } 0 est dit prévisible pour la filtratio F si X est F 1 -mesurable pour tout 0. Par covetio, o ote F 1 = {, Ω}. Sectio 2.4, ous avos déjà vu les temps d arrêt car ils jouet u rôle cetral das l aalyse des processus aléatoires. Ils peuvet être redéfiis e utilisat le formalisme des filtratios. Défiitio 8.10 Temps d arrêt. U temps d arrêt T pour la filtratio {F } 0 est ue variable aléatoire à valeurs das N { } telle que {T = } F pour tout 0. Si F = σx i, i est la filtratio aturelle, cette otio est équivalete à celle décrite sectio 2.4. L évèemet {T = } état mesurable par rapport à F, il peut doc être exprimé e foctio des premières observatios 1 {T=} = ϕ X 0,..., X où ϕ est ue foctio mesurable. O rappelle qu ue classe importate de temps d arrêt correspod au premier temps d atteite d u esemble A avec la covetio if =. T A = if { 0; X A}

126 126 CHAPITRE 8. ESPÉRANCE CONDITIONNELLE

127 Chapitre 9 Martigales e temps discret Das tout ce chapitre o cosidèrera des processus aléatoires à valeurs das R. 9.1 Martigales Das le domaie des jeux de hasard, o trouve la défiitio suivate : ue martigale est u système de jeu qui préted, selo des pricipes fodés sur le calcul des probabilités, assurer u bééfice certai das les jeux de hasard. Ce cocept a u côté mystérieux lié à des histoires colportées sur l utilisatio par certais joueurs d ue martigale dot ils détieet jalousemet le secret. Bie sûr, tout ceci relève plutôt du mythe que de la réalité. E effet, l aalyse précise des stratégies dites de martigale révèle des caractéristiques de moyee de gai et de risque qui e justifiet pas les biefaits prétedus. La otio de filtratio permet de doer ue défiitio mathématique précise de cette otio. Défiitio 9.1. Martigale Soit X = {X } 0 u processus aléatoire adapté sur l espace probabilisé filtré Ω, A, F, P. Si X est itégrable pour tout i.e. E X <, o dit que X est - ue martigale si E X F 1 = X 1 pour tout 1. - ue surmartigale si E X F 1 X 1 pour tout 1. - ue sous-martigale si E X F 1 X 1 pour tout 1. Il existe de ombreux exemples de tels processus. Marche aléatoire symétrique. Soit {ξ } 0 ue suite de variables aléatoires idépedates itégrables avec Eξ = 0. Alors la marche aléatoire S = {S } 0 1, S = ξ i et S 0 = i=1 est ue martigale pour la filtratio F = σξ i, i. Les variables aléatoires {ξ } 1 peuvet représeter le gai ou la perte à la ième partie d u joueur pratiquat u jeu au hasard. Ceci se démotre facilemet e utilisat la liéarité de l espérace coditioelle ES +1 F = ES F + Eξ +1 F = S + Eξ +1 = S 127

128 128 CHAPTER 9. MARTINGALES EN TEMPS DISCRET où o a utilisé que S est mesurable par rapport à F Propositio 8.4 iii et que ξ +1 est idépedat de F Propositio 8.7 ii. Cotrairemet à ue chaîe de Markov, les corrélatios d ue martigale au temps peuvet dépedre de tout le passé. Supposos que la distributio des {ξ } 0 soit symétrique f ξ x = f ξ x et ϕ soit ue foctio borée atisymétrique ϕ x = ϕx, alors u raisoemet idetique à celui utilisé ci-dessus pour la marche aléatoire motre que M = k=1 est ue martigale pour la filtratio F = σξ i, 1 2 k ϕ ξ 1 ξ 2 ξ k i. Chaîes de Markov. Nous allos maiteat costruire ue martigale à partir d ue chaîe de Markov {X } 0 de matrice de trasitio P sur u espace d états E déombrable. Rappelos la défiitio 3.4 d ue foctio harmoique h pour P x E, hx = Px, yhy. y E Si E hx est fii pour tout, alors {hx } 0 est ue martigale pour la filtratio F = σx 1,, X. E effet E hx +1 F = E hx+1 X = PX, yhy = hx. y E De la même faço si h est surharmoique, i.e. h Ph, alors {hx } 0 est ue surmartigale si h est sous-harmoique, i.e. h Ph, alors {hx } 0 est ue sous-martigale Iégalité de Jese. Propositio 9.2. Soiet {M } 0 ue martigale et g : R R ue applicatio covexe telle que E gm <, alors le processus aléatoire {gm } 0 est ue sous-martigale. E particulier, { M } 0 est ue sous-martigale. Démostratio. La propositio est ue coséquece de l iégalité de Jese théorème 8.6 E gm +1 F g E M+1 F = gm. 9.2 La propositio 9.2 appliquée à la marche aléatoire S 9.1 motre que {S} 2 0 est ue sous-martigale et so espérace augmete au cours du temps e supposat que Eξ1 2 <. Cette croissace peut être compesée et le processus 0, M = S 2 Eξ

129 9.1. MARTINGALES 129 est alors ue martigale. Pour le voir, décomposos l espérace coditioelle e utilisat la liéarité E M +1 F = E S 2 + 2ξ +1 S + ξ+1 2 F + 1Eξ 2 1 = E S 2 F Eξ E ξ +1 S F + E ξ 2 +1 F Eξ 2 1. E utilisat que S est mesurable par rapport à F et que ξ +1 est idépedat de F o obtiet E S 2 F Eξ 2 1 = S 2 Eξ1 2, E ξ+1 2 F = Eξ 2 1, E ξ +1 S F = S E ξ +1 F = S E ξ +1 = 0, par la propositio 8.4 iii par la propositio 8.7 ii par la propositio 8.7 iii Par coséquet E M +1 F = M et la sous-martigale S 2 = M + se décompose comme ue martigale et u processus croissat. O verra sectio 9.4 qu ue telle décompositio des sous-martigales existe das u cotexte très gééral cf. remarque Nous cocluos cette sectio avec ue propriété très utile. Propositio 9.3. Soit {M } 0 ue martigale, alors pour tout 0 k 1, EM +k F = M. 9.4 Des iégalités similaires sot vérifiées pour des surmartigales et des sous-martigales. Démostratio. O va motrer le résultat par récurrece das le cas des martigales. Pour k = 1, il s agit de la défiitio. Supposos que la propriété soit vraie au rag k. Comme la filtratio F +k cotiet F, o écrit alors EM +k+1 F = E EM +k+1 F +k F F = E M +k = M. La secode iégalité s obtiet par la propriété de martigale, et la troisième par l hypothèse de récurrece. O e déduit que l espérace d ue martigale {M } 0 est costate 0, EM = EM La réciproque est fausse, u processus d espérace costate est pas toujours ue martigale. Il suffit par exemple de cosidérer S 3 = i=1 ξ i 3 où les icrémets ξ i sot des variables aléatoires symétriques, idépedates et vérifiat E ξ 1 3 <. O verra e Propositio 9.8 ue coditio plus élaborée pour obteir ue forme de réciproque.

130 130 CHAPTER 9. MARTINGALES EN TEMPS DISCRET 9.2 Théorème d arrêt Cosidéros u joueur au casio qui à l istat va miser à la roulette la somme ϕ sur le uméro 13. Si le 13 sort, le joueur empoche ξ = 35 fois sa mise sio il perd et o pose ξ = 1. So gai est alors proportioel à sa mise φ ξ où ξ représete le résultat aléatoire du jeu. La filtratio aturelle associée à ce jeu est F = σξ i, i et le processus {ξ } 1 des résultats est adapté à F. Au temps, le joueur mise avat de coaître le résultat ξ, so choix e déped que des résultats précédets. Le processus {φ } 1 décrit la stratégie du joueur et il est prévisible, i.e. φ est F 1 -mesurable pour tout 1 cf. défiitio 8.9. La fortue du joueur au temps est alors O peut gééraliser cette structure X = k=1 φ k ξ k. Propositio 9.4. Soit M = {M } 0 ue martigale et {φ } 1 u processus prévisible boré, alors le processus X 0 = 0 et X = φ k M k M k 1, k=1 est ue martigale. Si φ k 0 pour tout k et {M } 0 est ue surmartigale resp. sous-martigale, alors {X } 0 est aussi ue surmartigale resp. sous-martigale. Démostratio. Par costructio {X } 0 est mesurable par rapport à F. E remarquat que φ +1 est mesurable par rapport à F, o obtiet E X +1 F = E X F + E φ+1 M +1 M F = X + φ +1 E M +1 M F = X où o a utilisé das la derière égalité que E M +1 M F = 0 car M est ue martigale. Cette propositio motre que si {M } 0 est ue martigale, il existe aucue stratégie dot les mises restet majorées qui puisse trasformer u jeu équitable e u jeu profitable. Quelle que soit la stratégie {φ } 1 adoptée, la moyee du gai est costate EX = EX 0. Supposos maiteat que le joueur décide de miser à chaque fois 1 euro jusqu à u temps d arrêt T après lequel il s arrête défiitivemet de jouer. Si le terme M k M k 1 s iterprète comme le gai de la k ième partie, la fortue du joueur est X 0 = 0 et X = 1 {T k} M k M k 1, 1. k=1 Comme le temps d arrêt est mesurable par rapport à la σ-algèbre F cf. défiitio 8.10 le processus φ = 1 {T } est prévisible. E effet, l évèemet {T } est mesurable

131 9.2. THÉORÈME D ARRÊT 131 par rapport à F 1 car il se décompose uiquemet e foctio d évèemets F 1 - mesurables 1 {T } = {T = k}. La propositio 9.4 implique que {X } 0 est doc ue martigale. Il s agit de la martigale M arrêtée au temps T que l o otera M T = {M T } 0 { X = M T M, si T = M T, si T Plus gééralemet, pour u processus aléatoire Y = Y 0, o défiit Y T le processus arrêté au temps d arrêt T par Y T = Y T pour tout 0 où T = if{, T}. O déduit du calcul précédet et de la propositio 9.4 i=k Propositio 9.5. Soiet X ue surmartigale resp. sous-martigale, martigale et T u temps d arrêt sur Ω, A, F, P. Alors le processus arrêté X T est ue surmartigale resp. sous-martigale, martigale. Ue coséquece fodametale de ce résultat est Théorème 9.6. Théorème d arrêt de Doob Soit X ue martigale resp. surmartigale et T u temps d arrêt. Si ue des trois propriétés est satisfaite alors i T est boré il existe ue costate c telle que Tω c pour presque tout ω ii X est boré il existe ue costate c telle que sup X ω c pour presque tout ω et T est fii presque sûremet iii ET < et il existe ue costate c telle que sup X ω X 1 ω c pour presque tout ω. E X T = E X 0 resp. E X T E X 0. Démostratio. Nous motros le résultat pour les martigales car le cas des surmartigales se traite de maière idetique. Par la propositio 9.5, le processus arrêté X T est ue martigale et o a pour tout E X T = E X 0. Pour predre la limite, o examie successivemet chaque coditio : i T état uiformémet boré par c, il suffit de choisir c pour coclure. ii T état fii presque sûremet, o e déduit la covergece presque sûre X T X T. Comme X est boré, la suite de variables {X T } 0 l est aussi et le théorème de covergece domiée permet de coclure.

132 132 CHAPTER 9. MARTINGALES EN TEMPS DISCRET iii Sous l hypothèse X ω X 1 ω c, o peut majorer X T par X T T X k X k 1 ct. k=1 Par coséquet la suite de variables {X T } est domiée par ue variable itégrable et elle coverge presque sûremet vers X T. Le théorème de covergece domiée permet ue ouvelle fois de coclure. Le théorème précédet est valable sous des hypothèses mois restrictives que les trois coditios metioées, cepedat le cotre-exemple ci-dessous motre que le résultat e peut pas être gééralisé systématiquemet. Cosidéros S la marche aléatoire symétrique 9.1 S = ξ i avec Pξ i = ±1 = 1 2 k=1 et T 1 le premier temps d atteite de 1 pour cette marche. Comme S est ue martigale, le processus arrêté S T 1 est aussi ue martigale par la propositio 9.5. O a doc 0, ES T 1 = ES 0 = 0. D après le théorème de Polya 4.4, la marche aléatoire e dimesio 1 est récurrete et T 1 est fii presque sûremet. O e déduit que T 1 coverge vers T 1 quad ted vers l ifii. Cepedat o e peut pas passer à la limite das l espérace 0 = lim ES T 1 = ES T1 = 1. E effet, le processus {S T 1 } 0 a de rares fluctuatios très égatives qui suffiset pour préserver la moyee ES T 1 = 0. Remarque 9.7. Das le jeu de loterie u phéomèe similaire s opère. Si N persoes miset 1 euro chacue et qu u uique gagat, tiré au sort parmi les N persoes, reçoit la somme totale de N euros, alors le gai moye vaut 1. Pourtat quad N est grad, u joueur perd avec ue probabilité proche de 1, mais e moyee ceci est compesé par u gai très importat qui a lieu raremet. Par défiitio ue martigale a ue espérace costate puisque EX = EX 0 pour tout N. Le résultat suivat doe ue sorte de réciproque grâce à la otio de temps d arrêt. Propositio 9.8. Soit X = {X } 0 u processus aléatoire F-adapté tel que E X < pour tout N. Alors, X est ue martigale si et seulemet si EX ν = EX 0 pour tout temps d arrêt ν boré.

133 9.2. THÉORÈME D ARRÊT 133 Démostratio. La coditio écessaire est ue applicatio immédiate du théorème d arrêt de Doob. Pour la coditio suffisate, o fixe N et o cosidère u évéemet A F arbitraire. O défiit ν = 1 A A c. Notos que {ν = } = A F et {ν = + 1} = A c F F +1. Pour k N \ {, + 1}, o voit que {ν = k} = F k. Ceci prouve que ν est u temps d arrêt boré et doc 0 = EX 0 X +1 = EX ν X +1 = EX 1 A X +1 1 A = EX +1 X 1 A. Comme A F est arbitraire, o déduit que EX +1 X F = 0 par défiitio de l espérace coditioelle. Applicatio du théorème d arrêt Le théorème d arrêt permet de résoudre simplemet le problème de la ruie du joueur étudié sectio Soiet a, b 1 des etiers. O cosidère u jeu équilibré X = a + ξ i i=1 où {ξ i } i 1 est ue suite de variables aléatoires idépedates de Beroulli Pξ i = ±1 = 1/2. La fortue iitiale du joueur est doc X 0 = a et o défiit les temps d arrêt T 0 = if{; X = 0}, T a+b = if{; X = a + b}, τ = if{t 0, T a+b }. Comme X = {X } 0 est ue chaîe de Markov sur u espace d états fii, le lemme 3.9 implique qu elle fiira toujours par atteidre 0 ou a + b. Le temps d arrêt τ est doc fii presque sûremet. La marche aléatoire X état ue martigale, le processus arrêté X τ sera aussi ue martigale E X τ = EX0 = a. Comme τ est fii presque sûremet et X τ est das l itervalle [0, a + b], le théorème de covergece domiée permet de passer à la limite et d obteir a = E X τ = E a + b 1{T0 >T a+b } = a + bp T0 > T a+b. car le processus arrêté e peut predre que les valeurs 0 et a + b. O retrouve doc le résultat de la sectio ua = P a T0 < T a+b = b a + b. Pour calculer Eτ, ous allos utiliser la martigale M = {X a 2 } 0 défiie e 9.3. Comme EM τ = 0, o a doc E X τ a 2 = E τ.

134 134 CHAPTER 9. MARTINGALES EN TEMPS DISCRET Quad ted vers l ifii, le théorème de covergece domiée permet de justifier la covergece du terme de gauche et le théorème de covergece mootoe, celle du terme de droite E X τ a 2 = E τ. E utilisat que P T 0 < T a+b = b a+b, o obtiet doc E τ = E a 2 1 {T0 <T a+b } + E b 2 1 {T0 >T a+b } = a 2 b a + b + a b2 a + b = ab. Ceci permet de retrouver le résultat Iégalités de martigales Le résultat suivat doe u cotrôle du maximum de la trajectoire e terme de la valeur fiale, ce qui est pas toujours ituitif sur ue simulatio cf. figure 9.1. Ce résultat très utile est e partie resposable de l importace des martigales das la théorie des processus aléatoires. Théorème 9.9. Iégalité maximale de Doob Soit {M } 0 ue sous-martigale et M = sup k M k so processus de maximum courat. i Pour tout c > 0, o a cpm c E M 1 {M c} pour tout N. ii Soit p > 1. Supposos que la sous-martigale M soit positive et que M L p pour tout 0, i.e. E M p <, alors M L p et M p avec la otatio X p = E X p 1/p. p p 1 M p pour tout N Par la propositio 9.2, si {M } 0 est ue martigale, les iégalités de Doob s appliquet à la sous-martigale { M } 0. Démostratio. i Soit T c = if{k > 0; M k c} le premier temps où la martigale passe au dessus du iveau c cf. figure 9.1. Il est facile de vérifier que T c est u temps d arrêt. O décompose la trajectoire e foctio T c E M 1 {M c} = E M 1 {Tc } = = E M M k 1 {Tc =k} k=1 E M 1 {Tc =k} k=1 + E M k 1 {Tc =k}.

135 9.3. INÉGALITÉS DE MARTINGALES M Tc M 20 c T c FIGURE 9.1 À gauche, ue réalisatio d ue marche aléatoire pour = 500. Le schéma de droite représete la décompositio d ue trajectoire e foctio du premier temps de passage au dessus du iveau c. Comme {T c = k} est mesurable par rapport à F k, o peut coditioer par la trajectoire jusqu au temps k pour obteir E M M k 1 {Tc =k} = E 1 {Tc =k}e M M k F k = 0 où la derière iégalité viet du fait que M est ue martigale. Par coséquet la partie au-delà du temps T c e cotribue pas. La martigale passe au dessus du iveau c e T c, o a doc M k 1 {Tc =k} c1 {Tc =k}. Ceci coclut la première partie du théorème E M 1 {M c} ce 1 {Tc } = cp M c. ii O ote q = L = 0 p p 1. O déduit de l iégalité du i que pc p 1 PM cdc R = 0 pc p 2 E M 1 {M c} dc. Comme la martigale est positive, le théorème de Fubii implique que M L = E pc p 1 dc = E M p 0 et M R = E M = qe 0 pc p 2 dc M M p 1 q M p M p 1 q = q M p E M p 1/q par l iégalité de Hölder et le fait que p 1 + q 1 = 1. Aisi qui doe exactemet l iégalité voulue. E M p q M p E M p 1/q

136 136 CHAPTER 9. MARTINGALES EN TEMPS DISCRET 9.4 Décompositio des surmartigales Nous commeços par u résultat qui permet d extraire ue martigale de tout processus aléatoire. Propositio Décompositio de Doob Soit {X } 0 u processus aléatoire itégrable. Alors il existe ue martigale M = {M } 0 et u processus F-prévisible V = {V } 0, tels que M 0 = V 0 = 0 et De plus, cette décompositio est uique. X = X 0 + M + V pour tout 0. Démostratio. Pour l uicité, o cosidère ue autre décompositio avec {M } 0, {V } 0, alors M M = V V est prévisible. Par coséquet pour tout 1 M M = M 1 M 1 =... = M 0 M 0 = 0 et V = V. O ote X = X X 1, M = M M 1, V = V V 1. Si la décompositio existe, alors V = X M. Comme M est ue martigale et V est prévisible V = E X F 1. Ceci suggère ue défiitio uique pour le processus prévisible V et de M V = i=1 E X i F i 1 et M = X i E X i F i 1 pour 1. i=1 Cet uique cadidat vérifie bie les coditios de la propositio. Remarque E utilisat la décompositio de Doob, o voit que X est ue surmartigale si et seulemet si V est décroissat, X est ue sous-martigale si et seulemet si V est croissat, X est ue martigale si et seulemet si V = 0. L uicité de la décompositio de Doob est liée de maière cruciale au caractère prévisible du processus V. La décompositio suivate, différete de la décompositio de Doob, e suppose pas cette coditio. Propositio Soiet M = {M } 0 ue martigale de carré itégrable dot les accroissemets sot otés M = M M 1 pour 1. Alors le carré se décompose sous la forme M 2 = M N + [M] où N = 2 i=1 M i 1 M i et [M] = i=1 M i 2 pour 1 avec N 0 = [M] 0 = 0. Das cette décompositio {N } 0 est ue martigale ulle e zéro et {[M] } 0 est u processus F-adapté croissat itégrable appelé variatio quadratique de la martigale M. Démostratio. Il s agit d u calcul immédiat.

137 Chapitre 10 Covergece des martigales 10.1 Itroductio Cosidéros ue suite {ζ i } i 1 de variables aléatoires idépedates et distribuées uiformémet das [ 1, 1]. Pour tout α > 0, o peut costruire la martigale 1, M = ζ i i i=1 α Les variables ζ i état borées, la martigale M va coverger si α > 1 pour toute réalisatio réalisatio de la suite {ζ i } i 1. Par cotre la limite M sera ue variable aléatoire car elle déped de chaque réalisatio des {ζ i } i 1 cf. figure Si α > 1, la preuve de la covergece e écessite pas d argumet probabiliste. O peut se demader si la covergece reste valable quad α est iférieur à 1. E effet, les variables ζ i sot de moyee ulle et des compesatios devraiet s opérer etre les différets termes de la série. La théorie des martigales va ous permettre de motrer qu ue covergece presque sûre a lieu dès que α > 1/2. FIGURE 10.1 Le graphe de droite représete 5 trajectoires de logueur 100 de la martigale 10.1 avec α = 1. O remarque des fluctuatios importates iitialemet, puis chaque trajectoire semble se stabiliser vers ue limite. Le graphe de gauche est la distributio de M 100 obteue à partir de tirages aléatoires. Plus gééralemet, les martigales offret u cadre théorique pour démotrer des théorèmes de covergece das L p, presque sûre ou e loi. Ce chapitre présete ces différets modes de covergece et les hypothèses correspodates. 137

138 138 CHAPITRE 10. CONVERGENCE DES MARTINGALES 10.2 Covergece des martigales das L 2 Ue martigale {M } 0 est borée das L 2 si elle vérifie sup 0 EM 2 <. Le cadre L 2 joue u rôle privilégié car les accroissemets 1, M = M M 1 sot orthogoaux pour le produit scalaire de L 2 E M i M j = E M i E M j F j 1 = 0 pour 1 i < j 10.2 où la derière égalité est ue coséquece de la propriété de martigale E M j F j 1 = 0. E particulier, ceci implique que pour tout 0 2 EM 2 = E M 0 + M i i=1 = E M0 2 + E M i E M i M j i=1 i<j = E M0 2 + E M i i=1 Aisi la suite de réels { EM 2 } est croissate. Comme elle est borée, cette suite 0 coverge vers ue valeur positive fiie. Cette remarque est la clef du théorème suivat. Théorème Soit {M } 0 ue martigale borée das L 2, i.e. telle que sup EM 2 <. 0 Alors il existe ue variable aléatoire limite M das L 2 et i M M das L 2, ii M M presque sûremet. Par l iégalité de Hölder la covergece L 2 implique la covergece das tous les L p pour p [1, 2]. Ue coséquece immédiate du théorème 10.1 est la covergece de la série 10.1 dès que α > 1/2. Démostratio. i Comme la martigale est borée das L 2, la relatio 10.3 motre que la suite {EM 2 } 0 est covergete das R. D après l orthogoalité des accroissemets das L 2, o voit que pour, p 0 E M +p M 2 = +p i=+1 E M i 2 = E i +1 E M i 2 M+p 2 E M 2 0

139 10.3. APPLICATION : LOI DES GRANDS NOMBRES 139 où la covergece vers 0 est ue coséquece de la covergece de la suite {EM 2 } 0. Aisi, {M } 0 forme ue suite de Cauchy das l espace de Hilbert L 2 et o e déduit par le théorème B.9 l existece d ue variable aléatoire M das L 2 telle que lim E M M 2 = 0. ii Nous allos motrer maiteat la covergece presque sûre. Soit ε > 0, e appliquat l iégalité de Chebychev, o obtiet P sup M k M ε sup 1 k ε 2 E M k M 2 k 2 ε 2 E M M 2 + E Par ailleurs, le théorème de covergece mootoe implique E sup M k M 2 = lim E k N sup M k M 2. k sup M k M 2. k N L applicatio x x est covexe et l iégalité de Jese de la propositio 9.2 motre que le processus { M k M } k est ue sous-martigale positive. Il e reste plus qu à appliquer l iégalité maximale de Doob établie das le théorème 9.9 pour obteir E sup M k M 2 k lim N 4 E M N M 2 = 4 E M M 2. Ceci permet de coclure e utilisat le résultat de covergece das L 2 du cas i P sup M k M ε 10 k ε 2 E M M Applicatio : loi des grads ombres Comme applicatio du théorème 10.1, ous allos maiteat motrer la loi des grads ombres pour les suites de variables aléatoires itégrables, idépedates et idetiquemet distribuées. Ceci reforce le résultat vu das le cours de première aée où la loi des grads ombres a été établie pour les suites de variables aléatoires de carré itégrable. Nous commeços par prouver la loi des grads ombres das le cadre des martigales. Théorème Soit {M } 0 ue martigale vérifiat Alors lim 1 1 M = E M 2 < presque sûremet.

140 140 CHAPITRE 10. CONVERGENCE DES MARTINGALES Démostratio. Le processus X = k=1 1 k M k est ue martigale borée das L 2 EX 2 k,l=1 1 k l E M k M l = k=1 1 k 2 E M k 2 + k<l 2 kl E M k E M l F k. Par l hypothèse 10.4 le premier terme est boré uiformémet e tadis que le secod est ul par la propriété de martigale. D après le théorème 10.1, il existe doc ue variable aléatoire X apparteat à L 2 telle que X coverge vers X presque sûremet. Pour coclure, il suffit de reproduire l argumet classique du lemme de Kroecker pour les suites détermiistes 1 M = 1 = X 1 ix i X i 1 = 1 i=1 i=1 X i 1. i=1 ix i i=1 i 1X i 1 i=1 X i 1 Comme X coverge vers X presque sûremet, o e déduit que 1 M ted vers 0. Le résultat suivat utilise le théorème précédet pour motrer la versio la plus forte de la loi des grads ombres. Théorème 10.3 Loi forte des grads ombres. Soit {X } 1 ue suite de variables aléatoires das R idépedates, idetiquemet distribuées et itégrables E X 1 <. Alors 1 X i i=1 EX 1 presque sûremet. Démostratio. Sas perte de gééralité, o suppose EX 1 = 0. La marche aléatoire i=1 X i est ue martigale à laquelle o voudrait appliquer le théorème 10.2, cepedat l hypothèse 10.4 de majoratio das L 2 est pas vérifiée et il faut cosidérer la martigale modifiée 1, M = i=1 X i 1 { Xi i} E X i 1 { Xi i}. Les accroissemets état troqués à des échelles de plus e plus grades, o s atted à ce que le comportemet asymptotique de M reste proche de celui de i=1 X i quad ted vers l ifii. Vérifios que {M } 1 satisfait l hypothèse 10.4 k=1 1 k 2 E M k 2 1 k k=1 2 E X { X1 1 k} E X k k=1 2 1 {k X 1 1} 2E X 1 2 dt X1 t 2 = 2 2E 2E X X 1 1 <. 1 X 1 1

141 10.4. CONVERGENCE DES SOUS-MARTINGALES 141 Le théorème 10.2 permet de coclure que 1 M ted vers 0 presque sûremet. De plus le théorème de covergece domiée implique lim EX 1 11 {X1 } = EX 1 = 0 et doc lim O e déduit la covergece presque sûre 1 X i 1 { Xi i} 0. i=1 i=1 EX i 1 { Xi i} = 0. Il reste à prouver que les trop grades valeurs de X i e cotribuet pas à la moyee quad ted vers l ifii. Les variables état itégrables, o remarque que Ceci se réécrit E 1 { Xi i} i 1 P X i i = ipi X 1 < i + 1 E X 1 <. i 1 i 1 < et doc 1 { Xi i} < presque sûremet. i 1 O e déduit que presque sûremet, il existe u etier Nω tel que pour tout k Nω, X k ω i. Ceci implique la covergece lim 1 i=1 X i ω 1 { Xi ω i} = 0 car pour presque tout ω, la somme a qu u ombre fii de termes. E additioat les deux limites, o coclut le théorème Covergece des sous-martigales Nous doos à préset ue gééralisatio du théorème Théorème 10.4 Théorème de covergece de Doob. Soit {X } 0 ue sous-martigale satisfaisat sup E X <. 0 Alors il existe ue variable aléatoire X das L 1 telle que X X presque sûremet. U corollaire très utile pour les applicatios est le suivat. Corollaire Supposos qu ue des trois propriétés soit satisfaite : {X } 0 est ue martigale positive sous-martigale majorée uiformémet par ue costate

142 142 CHAPITRE 10. CONVERGENCE DES MARTINGALES sur-martigale miorée uiformémet par ue costate alors il existe ue variable aléatoire X das L 1 et X coverge presque sûremet vers X. La démostratio de ce corollaire sera faite page 143. La preuve du théorème 10.4 repose sur u résultat prélimiaire éocé ci-dessous. Pour a < b, o défiit la suite de temps d arrêt τ 0 = 0, θ +1 = if {i τ ; X i a} et τ +1 = if {i θ +1 ; X i b}. Alors pour tout 0, la variable aléatoire U a,b = max { j; τ j } 10.5 représete le ombre de traversées du iveau b e partat e dessous du iveau a avat la date cf. figure Nous diros plus simplemet que U a,b est le ombre de traversées motates de l itervalle [a, b] avat la date. b a τ 0 θ1 τ 1 FIGURE 10.2 Les traversées motates de l itervalle [a, b] correspodet aux états marqués par des cercles pedat les itervalles de temps [θ i, τ i ]. Lemme Soiet {X } 0 ue sous-martigale et a < b. Alors la moyee du ombre de traversées motates de l itervalle [a, b] défii e 10.5 vérifie E avec la otatio Z + = sup{0, Z}. U a,b 1 b a E X a + Démostratio. O ote Y = X a + pour 0. O décompose la trajectoire {Y } 0 e foctio des traversées motates de l itervalle [a, b] cf. figure Comme θ +1, o a Y = Y θ1 + i=1 i=1 Y τi Y θi + Y τi Y θi + i=1 i=1 Y θi+1 Y τi Y θi+1 Y τi.

143 10.4. CONVERGENCE DES SOUS-MARTINGALES 143 Par défiitio des traversées motates, o a pour i 1 Y θi = 0, Y τi b a sur {τ i } et Y τi Y θi 0 presque sûremet. Par l iégalité de Jese cf. Propositio 9.2, o remarque aussi que le processus {Y } 0 est ue sous-martigale et le théorème d arrêt implique doc E Y θi+1 Y τi 0. O e déduit l iégalité cherchée b ae U a,b i=1 E Y τi Y θi EY i=1 E Y θi+1 Y τi EY. Démostratio du théorème Le processus comptat le ombre de traversées motates {U a,b } 0 est croissat, o ote alors U a,b = lim U a,b. D après le théorème de covergece mootoe et le lemme 10.6 E U a,b = lim E U a,b 1 b a sup E X a sup E X + + a b a 0 <. La derière iégalité est ue coséquece de l hypothèse du théorème. E particulier, ceci prouve que U a,b est fii presque sûremet. L évéemet { N a,b = lim if } X a < b lim sup X est de probabilité ulle car il correspod aux trajectoires qui oscillet u ombre ifii de fois de part et d autre de l itervalle [a, b]. E preat l uio sur les ratioels, o voit que { N = lim if } X < lim sup X = } {N a,b ; a, b Q, a < b est égligeable, comme uio déombrable d esembles égligeables. Ceci motre bie que X = lim X existe presque sûremet. Pour motrer que X appartiet à L 1, il suffit d utiliser le lemme de Fatou et la bore uiforme das L 1 E X = E lim if X lim if E X sup 0 E X <. Démostratio du corollaire Si {X } 0 est ue martigale positive alors pour tout E X = EX = EX 0 <

144 144 CHAPITRE 10. CONVERGENCE DES MARTINGALES et l hypothèse du théorème 10.4 est bie satisfaite. Plus gééralemet le théorème 10.4 s applique à des sous-martigales satisfaisat l hypothèse sup 0 EX + <. E effet, ue sous-martigale {X } 0 est borée das L 1 si et seulemet si sup 0 EX + < E X = EX + + EX = 2EX + EX 2EX + EX 0. E particulier, si la sous-martigale est borée supérieuremet o a bie sup 0 EX + <. Si {X } 0 est ue surmartigale borée iférieuremet, il suffit d appliquer le théorème à la sous-martigale { X } 0. Remarque Bie que la limite X das le théorème 10.4 soit das L 1, la covergece a pas toujours lieu das L 1. Pour le voir, cosidéros S = {S } 0 la marche aléatoire symétrique défiie e 9.1 S 0 = 1, 1, S = 1 + ξ i avec Pξ i = ±1 = 1 2 k=1 et T 0 est le premier temps d atteite de 0 pour cette marche. Comme S est ue martigale, le processus arrêté S T 0 est aussi ue martigale par la propositio 9.5. Il s agit d ue martigale positive et doc elle coverge presque sûremet par le corollaire De plus 0, ES T 0 = ES 0 = 1. D après le théorème 4.4 de Polya, la marche aléatoire e dimesio 1 est récurrete et T 0 est fii presque sûremet. O e déduit que T 0 coverge vers T 0 quad ted vers l ifii. Cepedat, o e peut pas passer à la limite das l espérace 1 = lim ES T 0 = ES T0 = Quad est grad, ue trajectoire atteit 0 avat le temps avec grade probabilité, cepedat avec ue faible probabilité certaies trajectoires e vot pas toucher 0 et vot predre de très grades valeurs au temps. Ces rares fluctuatios de la marche aléatoire suffiset à expliquer la différece etre les 2 expressios das Applicatio : le modèle de Wright-Fisher La dérive géétique correspod au chagemet de la proportio d u allèle au sei d ue populatio par l effet du hasard, idépedammet de la sélectio aturelle ou des migratios. Le modèle de Wright-Fisher propose ue iterprétatio simplifiée du rôle de l aléatoire das l évolutio pour illustrer le mécaisme de dérive géétique. L ejeu est de décrire l évolutio de la répartitio de deux allèles A et a au sei d ue populatio asexuée de taille costate N. Le mécaisme de reproductio est supposé aléatoire et chaque idividu de la géératio + 1 choisit so paret uiformémet das

145 10.5. APPLICATION : LE MODÈLE DE WRIGHT-FISHER 145 la géératio de maière idépedate. Aisi, si X est le ombre d allèles A à la géératio, alors X +1 sachat X a ue distributio biomiale PX +1 = k X = N k k X 1 X N k. N N O suppose qu iitialemet X 0 est fixé das {0,..., N}. État doé X, o défiit ξ i, = 1 {Ui, X N } où les U i, sot des variables aléatoires idépedates et distribuées uiformémet sur [0, 1]. O peut aisi réécrire X +1 = N ξ i, avec P ξ i, = 1 X X = N = 1 P ξ i, = 0 X i= Les variables ξ i, preet la valeur 1 si l allèle du paret est A et 0 sio. O pose F = σx i, i. Le processus {X } 0 est ue martigale car E N X +1 F = Eξ k, X = N X N = X. k=1 Les variables X sot borées uiformémet. Elles coverget doc, par le théorème 10.1, das L 2 et presque sûremet vers ue limite X. Pour détermier cette limite, ous défiissos ue ouvelle martigale 0, M = N X N X. N 1 La propriété de martigale se vérifie facilemet e utilisat la décompositio 10.7 N 1 N O e déduit que +1 EM +1 F = EX +1N X +1 F = NEX +1 F EX 2 +1 F = NX Eξ i, ξ X j, Eξ X i, i =j i=1 2 X = NX NN 1 X N = N 1 N X N X = N N 1 M. E X N X N 1 N 1 N 1 = EM = EM 0 = X 0 N X 0. N N N N

146 146 CHAPITRE 10. CONVERGENCE DES MARTINGALES Comme X coverge vers X et est uiformémet borée par N, le théorème de covergece domiée implique 0 E X N X = lim E X N X N 1 = lim X 0 N X 0 = 0. N O coclut que EX N X = 0 et doc X vaut 0 ou N presque sûremet. La suite X coverge vers X {0, N} et e pred que des valeurs discrètes, par coséquet il existe u temps aléatoire presque sûremet fii τ = if{ 0; X = 0 ou X = N} au-delà duquel X = 0 ou X = N pour tout τ. Ceci motre que presque sûremet u des allèles disparaît. Nous allos motrer que la probabilité de disparitio de l allèle A vaut P X τ = 0 = 1 X 0 N. La martigale {X } 0 est borée et τ est fii presque sûremet, par coséquet ce résultat s obtiet e appliquat le théorème 9.6 d arrêt de Doob cas ii X 0 = EX τ = E1 Xτ =0X τ + E1 Xτ =NX τ = N 1 P X τ = 0. Reveos maiteat sur la ature de la covergece de la martigale {M } 0. Les résultats précédets ot motré que et doc P tel que k, X k N X k = 0 = 1 P tel que k, M k = 0 = 1. Cela sigifie que M coverge vers 0 presque sûremet. Cepedat si X 0 {0, N}, alors M e peut pas coverger vers 0 das L 1 car où M 0 = X 0 N X 0 = 0. E M M = EM = M 0 = Martigales fermées Pour que la covergece das le théorème 10.4 ait lieu das L 1, il est écessaire de cosidérer ue classe particulière de martigales. Défiitio 10.8 Martigales fermées. U processus aléatoire {M } 0 est ue martigale fermée s il existe ue variable aléatoire itégrable M telle que M = E M F pour tout 0.

147 10.6. MARTINGALES FERMÉES 147 Toute l iformatio d ue martigale fermée est codée das ue variable aléatoire limite. Les séries aléatoires illustret cette otio car pour α > 1/2 1, M = ζ i i i=1 α L2 M := ζ i i i=1 α. O vérifie alors que la martigale {M } 1 est fermée pour la filtratio F = σζ i, i, car M = E M F. Das le cas du théorème 10.4, si la covergece a pas lieu das L 1, ue partie de l iformatio sur le processus a disparu das le passage à la limite. Aisi, la martigale arrêtée défiie das la remarque 10.7 e coverge pas das L 1 et elle est pas fermée. U autre exemple est doé par la martigale M = exp i=1 ξ i 12, où {ξ i } i 1 est ue suite de variables aléatoires gaussiees N 0, 1 idépedates et idetiquemet distribuées. Par la loi des grads ombres 1 i=1 ξ i coverge vers 0 et doc M coverge vers M = 0 presque sûremet. La limite e cotiet plus d iformatio sur le processus et la martigale {M } 1 est pas fermée. Il faut doc reforcer l hypothèse sup E M < 0 du théorème 10.4 pour obteir ue covergece das L 1 et la propriété de martigale fermée. Nous allos voir maiteat qu il suffit de modifier très légèremet cette hypothèse et de supposer qu il existe p > 1 tel que sup 0 E M p < pour que {M } 0 soit ue martigale fermée. La covergece a alors lieu das L p et doc aussi das L 1. Théorème 10.9 Covergece das L p. Soit p > 1 et {M } 0 ue martigale telle que sup E M p < Alors {M } 0 est fermée et il existe M das L p, mesurable pour F = σ 0 F telle que 0, M = E M F. De plus, la covergece M M a lieu das L p et presque sûremet. Ce résultat gééralise la covergece L 2 du théorème Démostratio. Par l iégalité de Hölder, la bore uiforme 10.8 das L p implique que sup E M <. Par coséquet le théorème 10.4 s applique et o e déduit que M coverge presque sûremet vers ue variable M mesurable pour F cf. Propositio A.13. La bore uiforme 10.8 permet de retrouver la covergece das L p car l iégalité maximale de Doob théorème 9.9 implique que M = sup k M k satisfait M p p p 1 M p pour tout 0,

148 148 CHAPITRE 10. CONVERGENCE DES MARTINGALES avec la otatio X p = E X p 1/p. Comme la suite M est croissate, la limite M = sup k M k existe. Par le théorème de covergece mootoe et l hypothèse 10.8, o vérifie que M est das L p M p = lim M p p p 1 sup M p <. 0 O e déduit ue bore uiforme sur la martigale et sa limite 0, M M et M M. Par coséquet, le théorème de covergece domiée s applique et la covergece a aussi lieu das L p M L p M. Il e reste plus à vérifier que M = EM F. Soit A u évéemet arbitraire das F. Comme {M } 0 est ue martigale, o observe que pour tout N E M M 1 A = E M N M 1 A E M N M N 0. Par coséquet, pour tout A F ce qui motre bie que M = EM F. EM M 1 A = 0 L hypothèse 10.8 sur la bore L p peut être améliorée e cosidérat la classe des processus uiformémet itégrables défiie ci-dessous voir aussi la défiitio B.12. Cette otio peut être omise e première lecture. Défiitio Uiforme itégrabilité. U processus {X } 0 est dit uiformémet itégrable si lim sup c E X 1 { X c} = 0. L uiforme itégrabilité permet de reforcer la covergece e probabilité pour obteir l équivalece X L 1 X démotrée das le théorème B.13. probabilité X X {X } 0 est uiformémet itégrable Le résultat suivat caractérise la covergece des martigales das L 1. O otera F = σ 0 F la σ-algèbre limite.

149 10.6. MARTINGALES FERMÉES 149 Théorème Soit M = {M } 0 ue martigale. Les deux assertios suivates sot équivaletes : i M est fermée, i.e. il existe M das L 1, mesurable pour F, telle que pour tout 0 M = EM F et la covergece M M a lieu das L 1 et presque sûremet. ii M est uiformémet itégrable. Démostratio. La preuve se décompose e deux étapes. i= ii : Comme M appartiet à L 1 A, P, o déduit du lemme A.20 que pour ε > 0, il existe δ > 0 tel que E M 1 A ε pour tout A A de mesure PA δ D après l iégalité de Jese, o a M E M F pour tout L iégalité de Chebychev et la propriété des projectios itérées de l espérace coditioelle impliquet doc P M c E M c E E M F c = E M c δ pour c assez grad. O peut doc appliquer 10.9 à l évéemet A = { M c} pour obteir ε E M 1 { M c} = E E M F 1 { M c} E M 1 { M c} où ous avos utilisé la propriété des projectios itérées de l espérace coditioelle et ii= i : Pour la réciproque supposos maiteat que M soit uiformémet itégrable. Alors sup E M < et o retrouve le cadre du théorème 10.4 qui assure l existece d ue variable aléatoire M das L 1 telle que M M presque sûremet. Das le reste de cette preuve, ous allos motrer que cette covergece a lieu das L 1 et que M = EM F pour tout 0. Pour c > 0, o défiit la foctio x R, f c x = x1 x c + c1 x>c c1 x< c et o décompose E M M E f c M M + E f c M M +E f c M f c M. O fixe ε > 0. Comme f c x x x 1 x c

150 150 CHAPITRE 10. CONVERGENCE DES MARTINGALES l uiforme itégrabilité assure l existece d u c 0 > 0 tel que pour c c 0 assez grad et pour tout 0 E f c M M ε/2. De plus 10.9 implique que pour c assez grad E f c M M ε/2. Comme la foctio f c est cotiue borée, o déduit du théorème de covergece domiée que E f c M f c M ε pour assez grad. O a fialemet E M M 2ε. Ceci prouve la covergece das L 1 de M vers M. Fialemet, o peut démotrer que M = EM F e suivat la même stratégie qu à la fi de la preuve du théorème Théorème cetral limite Das cette sectio, ous motros d abord u théorème cetral limite pour des martigales que ous étedros esuite aux chaîes de Markov Théorème cetral limite pour les martigales Soiet {X } 0 des variables aléatoires idépedates, idetiquemet distribuées telles que EX 1 = 0, EX 2 1 = 1. Le théorème cetral limite rappelé théorème B.23 implique, après ormalisatio, la covergece e loi de M = i=1 X i 1 loi M γ où γ est ue gaussiee cetrée de variace 1. Das cet éocé, {M } 0 est ue martigale dot les accroissemets sot idépedats. Le résultat suivat gééralise le théorème cetral limite aux martigales dot les accroissemets e sot plus idépedats mais restet cotrôlés. Théorème Soit {M } 0 ue martigale dot les accroissemets M = M M 1 vérifiet 1 E M k 2 p.s. F k 1 σ2 et sup M K k=1 1 où σ et K sot deux costates. Alors 1 loi loi M γ et γ = N 0, σ 2.

151 10.7. THÉORÈME CENTRAL LIMITE 151 Il est pas écessaire de supposer que les accroissemets soiet uiformémet borés cf. [6], mais l hypothèse permet de simplifier la preuve du théorème. La ormalisatio par proviet du comportemet asymptotique des icrémets D autres types de ormalisatio existet sous des hypothèses plus géérales. O pourra par exemple se référer au livre [16] théorème 27.7 pages pour de possibles gééralisatios. Démostratio. Comme das le cas des sommes de variables idépedates, il suffit de motrer la covergece des foctios caractéristiques [ ] u u R, lim E exp i M = exp σ 2 u2 2 pour e déduire esuite la covergece vers ue loi gaussiee par le théorème B.15 de Lévy. Afi d exploiter ue structure similaire aux martigales expoetielles, o pose u A j = log E e i u M j F j L existece de cette quatité repose sur l approximatio qui sera obteue e O remarque alors que u u E exp i M A j = j=1 E effet u E exp i M j=1 A j u u = E exp i M 1 u = E exp i M 1 u A j E j=1 1 u A j = 1 j=1 exp u i M F 1 où la première égalité est obteue e coditioat par F 1, et la derière égalité est obteue par itératio. L étape suivate cosiste à prouver la covergece u A j j=1 p.s. u2 σ qui permettra esuite d obteir e passat à la limite das l idetité La covergece repose sur les estimatios quatitatives qui suivet. E utilisat l iégalité pour z das C z 1, expz 1 z 1 2 z2 z 3

152 152 CHAPITRE 10. CONVERGENCE DES MARTINGALES et le fait que les accroissemets M soiet borés par K 10.11, o obtiet pour suffisammet grad E M j u Fj 1 1 i E u M j F 2 j E M j 2 F j 1 e i u Par la propriété de martigale E M j F j 1 = 0, cette expressio se simplifie E e i u M j Fj u2 2 E O rappelle, qu il existe δ > 0 tel que M j 2 Fj 1 z C, z < δ, log1 + z z z 2. Par coséquet pour suffisammet grad u A j = u2 2 E M j 2 F j 1 + ε u3 3/2 K3. u3 3/2 K où le reste ε est uiformémet boré par avec c > 0 ue costate. L hypothèse 3/ implique doc la covergece presque sûre Par l hypothèse 10.11, les accroissemets M j sot uiformémet borés par K, aisi la somme j=1 A u j reste borée uiformémet e. Par coséquet, il existe ue costate C > 0 telle que E u exp i M = E exp C E j=1 u A j E exp i j=1 j=1 u A j A j u exp + σ 2 u2 2 c σ 2 u2 2 0 u M + σ 2 u2 2 où la covergece s obtiet par le théorème de covergece domiée e utilisat la covergece presque sûre et le fait que les termes de l espérace sot uiformémet borés. Ceci implique doc la covergece des foctios caractéristiques u R, lim E exp i u M = exp σ 2 u2. 2 Le théorème B.15 de covergece de Lévy permet d e déduire la covergece e loi vers ue variable aléatoire gaussiee de variace σ 2.

153 10.7. THÉORÈME CENTRAL LIMITE Iégalité de Hoeffdig Le théorème cetral limite fourit u résultat asymptotique de l écart etre M et sa moyee. Le théorème suivat permet d estimer les fluctuatios pour des valeurs de fixées. Théorème Iégalité de Hoeffdig. Soit {M } 0 ue martigale telle que M 0 = 0 et dot les accroissemets M = M M 1 sot majorés par ue suite {K } 1 Alors, pour tout x 0 et 1 1, M K. P M x 2 exp 2x2 i= K2 i L hypothèse du théorème sur les accroissemets rappelle la coditio Appliquos cette iégalité au cas d ue marche aléatoire symétrique S = i=1 ξ i où les {ξ i } i 1 sot des variables aléatoires idépedates cetrées et idetiquemet distribuées à valeurs das [ 1, 1]. L hypothèse sur les accroissemets est doc satisfaite avec K = 1 et par coséquet u > 0, P S u 2 exp E particulier, o peut remplacer u par ε avec ε > 0 S P ε 2 exp 2ε 2. 2u2. La probabilité de s écarter de l espérace est doc expoetiellemet petite e. O peut aussi remplacer u par x pour tout x 0 S P x 2 exp 2x 2. Cette bore supérieure rappelle l asymptotique du théorème cetral limite, mais elle est cette fois valable pour tout. Ceci est itéressat e pratique car le ombre de doées dispoibles est parfois faible et cette bore théorique permet de quatifier les écarts dus aux fluctuatios. Démostratio. La preuve se décompose e deux étapes. Étape 1. Soit Z ue variable aléatoire à valeurs das [a, b] R telle que EZ = 0. Nous allos motrer que λ R, E e λz e λ2 8 b a2.

154 154 CHAPITRE 10. CONVERGENCE DES MARTINGALES Posos ψλ = log E e λz. O vérifie aisémet les faits suivats ψ0 = 0 ψ λ = E Z e λz E e λz, ψ 0 = 0 ψ λ = E Z 2 e λz E e λz E Z e λz 2 E e λz 2 = Var Pλ Z où la mesure P λ est défiie par P λ = P e λz E e λz U développemet de Taylor e 0 à l ordre deux implique λ ψλ = ψ0 + λ ψ 0 + λ s ψ s ds = = λ 0 λ s Var Ps Z ds. 0 λ Pour estimer Var Pλ Z, o utilise l idetité { Var Pλ Z = if EPλ Z m 2 }. m R Comme Z est à valeurs das [a, b], o a Z a + b 2 b a 2. 0 λ s ψ s ds Par coséquet, il suffit de choisir m = a+b 2 pour obteir ue bore supérieure sur la variace Var Pλ Z E Pλ Z a + b 2 2 b a2 4 Cette bore uiforme sur la variace permet d obteir l iégalité cherchée ψλ λ 0 λ s b a2 4 ds b a2 λ 2. 8 Étape 2. Supposos que E expλm exp λ 2 8 Ki 2 i= O peut e déduire e appliquat l iégalité de Markov pour tout x > 0 λ P M x E expλm exp λx 2 exp 8 Ki 2 λx. i=1

155 10.7. THÉORÈME CENTRAL LIMITE 155 L optimisatio de l iégalité e λ coduit à choisir la valeur λ = 4x / i=1 K2 i pour obteir x P M x 2 exp 2. i=1 K2 i Par symétrie, cette iégalité est aussi vraie pour M et o retrouve aisi l iégalité Il reste doc à démotrer Pour cela, o écrit M comme la somme téléscopique des accroissemets M = M i avec M i = M i M i 1 i=1 qui vérifiet E M i F i 1 = 0 et qui sot borés par K i. E appliquat à E e λm = E e λ i=1 M i = E e λ 1 i=1 M i E e λ M F 1 l iégalité de la première étape pour les espéraces coditioelles, o e déduit E e λm E e λ 1 i=1 M i λ 2 exp 8 K2 où la derière iégalité s obtiet par itératio. exp λ 2 8 Ki 2 i= Théorème cetral limite pour les chaîes de Markov O cosidère {X } 0 ue chaîe de Markov irréductible sur u espace d états E fii. O otera P sa matrice de trasitio, π sa mesure ivariate et E π l espérace sous π. Le théorème cetral limite s éted aux chaîes de Markov Théorème Soit f ue foctio de E das R alors 1 [ f Xj E π f ] loi loi γ et γ = N 0, σ 2 j=0 où la variace σ 2 est défiie e Démostratio. Quitte à chager f e f E π f, o se ramèe au cas E π f = 0. L idée de la preuve cosiste à comparer la somme j=0 f X j à ue martigale afi d utiliser le théorème cetral limite pour les martigales. Étape 1 : Décompositio e martigale. L espace d états E état fii le critère de Doebli est satisfait 5.17 et le théorème 5.11 s applique 0, 1 2 sup P x, y f y πy f y exp c f x E y E

156 156 CHAPITRE 10. CONVERGENCE DES MARTINGALES où c > 0 est ue costate idépedate de f. Comme E π f = 0, o e déduit 0, P f x 2 exp c f et la covergece de la série sup x E x E, ux = P k f x k=0 avec la otatio P 0 f x = f x. La foctio u est borée car l espace d états E est fii. O remarque que Pux = P k+1 f x = ux f x. k=0 Par coséquet f satisfait x E, La somme se décompose doc sous la forme f X j = ux 0 + j=0 f x = ux Pux. [ ux j PuX j 1 j=1 ] PuX. Soit Z j = ux j PuX j 1. E appliquat la propriété de Markov, o obtiet EZ j F j 1 = E ux j PuX j 1 F j 1 = EuXj X j 1 PuX j 1 = 0. Par coséquet M = j=1 Z j est ue martigale et ous avos prouvé la décompositio f X j = ux 0 PuX + M. j=0 Les termes u et Pu sot borés et ils e cotribuet pas à la limite j=0 f X j/. Il suffit doc de vérifier la covergece e loi de M /. Étape 2 : Théorème cetral limite. Pour motrer que l hypothèse du théorème est satisfaite, o remarque que les accroissemets de la martigale sot doés par M j = Z j = ux j PuX j 1. L espace E état fii, la foctio u est borée et par coséquet les accroissemets M j aussi. O peut réécrire E Zj 2 F j 1 = ψx j 1 pour ue certaie foctio ψ. La coditio de Doebli permet d appliquer le théorème ergodique pour les chaîes de markov et d e déduire la covergece presque sûre 1 lim E j=1 Z 2 j F j 1 = 1 ψx j 1 = E π ψ = E π ux1 PuX 0 2. j=1 Le théorème permet de coclure que 1 j=0 f X j coverge e loi vers ue variable Gaussiee cetrée de variace σ 2 = E π ux1 PuX

157 10.7. THÉORÈME CENTRAL LIMITE 157 Le théorème cetral limite peut être gééralisé au cas des espaces d états déombrables cf. le livre [6]. E gééral, il est pas facile d estimer la variace σ 2 et il faut utiliser les doées de plusieurs trajectoires pour obteir ue estimatio pertiete.

158 158 CHAPITRE 10. CONVERGENCE DES MARTINGALES

159 Chapitre 11 Applicatios des martigales 11.1 Mécaismes de reforcemet Les mécaismes de reforcemet permettet de compredre commet des comportemets idividuels aléatoires peuvet géérer des effets collectifs das des cotextes variés. Le modèle de Wright-Fisher défii sectio 10.5 pour décrire la dérive géétique peut être aussi iterprété comme ue forme de reforcemet car l évolutio aléatoire fiit par sélectioer u des allèles qui deviet domiat. Nous allos illustrer d autres phéomèes de reforcemet par quelques modèles probabilistes simples Ure de Pólya À la suite d ue avacée techologique, u ouveau marché se développe avec différets produits cocurrets. Assez rapidemet, o observe souvet l émergece de stadards : certais produits sot systématiquemet délaissés par les cosommateurs et d autres devieet la orme. Ces choix e sot pas toujours dictés par la supériorité techologique d u produit sur u autre. Le cosommateur suit l avis de ses proches et les tedaces du momet. Par exemple lors de l achat d u ouveau téléphoe, u cosommateur va privilégier la marque qui propose le plus grad ombre d applicatios, parallèlemet, l offre des applicatios va s amplifier si le marché se développe. Les écoomistes parlet d exteralité de réseau pour décrire le fait que plusieurs idividus e achetat le même produit augmetet la valeur de ce produit e l érigeat e stadard. L ure de Pólya permet d appréheder le phéomèe précédet e le modélisat par u choix aléatoire. Iitialemet, o cosidère ue ure avec r boules rouges et v boules vertes. O choisit ue boule au hasard et o la replace das l ure e ajoutat e plus ue autre boule de la même couleur. Ceci reviet à dire que le cosommateur acquiert le produit rouge ou le produit vert e foctio de la proportio des produits déjà vedus. La proportio X des boules vertes après le ième -tirage est ue martigale. E effet, si il existe i boules rouges et j boules vertes au temps alors P X +1 = j + 1 = j i + j + 1 i + j et 159 P X +1 = j = i i + j + 1 i + j.

160 160 CHAPITRE 11. APPLICATIONS DES MARTINGALES O a doc EX +1 F = X où F représete la σ-algèbre des choix jusqu à l istat. La martigale {X } 1 état positive elle coverge presque sûremet, par le théorème 10.4, vers ue variable aléatoire limite X que ous allos détermier maiteat. O remarquera aussi que {X } 1 est borée das tout L p et la covergece a doc aussi lieu das L p avec p 1 cf. le théorème La probabilité que les m premiers tirages soiet des boules vertes et les l = m suivats soiet des boules rouges vaut v v + r v + 1 v + r + 1 v + m 1 v + r + m 1 r v + r + m r + l 1 v + r + 1. Tout autre tirage au sort de m boules vertes et l boules rouges aura la même probabilité car le déomiateur sera ichagé et les coefficiets du umérateur serot simplemet permutés. Cosidéros le cas particulier r = 1 et v = 1, alors la probabilité qu il y ait m + 1 boules vertes au temps s écrit P X = m + 1 = + 2 m! m! = 1 m + 1! + 1. Le ombre de boules vertes est doc uiformémet distribué à tout temps et X aura la loi uiforme sur [0, 1]. La proportio fiale X des boules vertes est aléatoire et est détermiée pricipalemet par l aléa des choix iitiaux. O observe u comportemet asymptotique stable et le ombre de boules vertes croît liéairemet comme X quad deviet grad : la proportio X reste figée quad est grad cf. figure FIGURE 11.1 La proportio X de boules vertes est représetée das trois réalisatios de l ure de Pólya avec 1000 tirages au sort. Les fluctuatios iitiales sot importates, mais la proportio se stabilise très vite et reste esuite asymptotiquemet costate. Pour des doées iitiales géérales, X suit ue loi beta sur [0, 1] de paramètres v, r dot la desité s écrit f X x = v + r 1! v 1! r 1! 1 xr 1 x v

161 11.1. MÉCANISMES DE RENFORCEMENT Graphes aléatoires de Barabási-Albert Les processus de reforcemet sot multiples et ils façoet de ombreux aspects de la vie courate. Par exemple, les réseaux sociaux ou le réseau iteret peuvet être iterprétés comme des graphes aléatoires dot les structures ot de ombreuses similarités. Les itercoectios das ces graphes sot très différetes du modèle d Erdös- Réyi évoqué sectio E particulier, il existe des sites avec u très grad ombre de coectios et la statistique des degrés de ces graphes est souvet régie par des lois de puissace. Ces graphes se sot costitués au fil du temps sas suivre u dessei préétabli. De ombreux modèles ot été proposés pour essayer de décrire cette "auto-orgaisatio" et les lois correspodates. Barabási et Albert ot proposé das leur article [1] u mécaisme de reforcemet, que ous allos préseter ci-dessous, pour costruire dyamiquemet des graphes dot les degrés ot des propriétés statistiques similaires à celles observées e pratique FIGURE 11.2 U exemple de graphe de Barabási-Albert avec 5 sites. La covetio cosistat à relier le site 1 à lui même lui cofère le degré 1 iitialemet. Les autres sites ot été ajoutés aléatoiremet selo l ordre idiqué sur le dessi. Au temps iitial = 1, le graphe G 1 est costitué par u uique site relié à lui même. À chaque pas de temps, u site est ajouté et o otera G le graphe correspodat. La règle est la suivate : au temps, le ouveau site est coecté à u site das le graphe G 1 choisi proportioellemet à so degré cf. figure Ce graphe est costruit dyamiquemet par aalogie au world wide web où les sites les plus importats ot tedace à attirer le plus grad ombre de lies, les ouveaux sites se coectat de faço privilégiée aux serveurs pricipaux. U exemple de graphe aléatoire de Barabási-Albert est représeté figure La costructio du graphe peut s iterpréter à l aide d ue ure de Pólya. Iitialemet e = 1, o cosidère ue ure coteat 1 boule avec le label 1. Supposos qu au temps, il existe 2 1 boules das l ure chacue état associée à u label etre 1 et. Au temps + 1, o choisit ue boule au hasard et o ote k {1,..., } so label. O replace alors das l ure deux boules de label k et ue ouvelle de label + 1. Retraduit e terme de graphe, ceci correspod à ajouter le site + 1 et à le relier au site k par ue arête. Le ombre de boules avec le label k croît exactemet comme le degré du site k, i.e. le ombre d arêtes du site k. Pour compredre l évolutio du ombre d arêtes du site k, o cosidère l ure au

162 162 CHAPITRE 11. APPLICATIONS DES MARTINGALES FIGURE 11.3 Deux graphes de Barabási-Albert avec 100 sites sot représetés ci-dessus. Celui de droite est costruit e ajoutat u site à chaque étape et celui de gauche deux sites. O remarquera que certais sites privilégiés sot fortemet coectés. temps k et o colorie les 2k 1 boules de label strictemet iférieur à k e rouge et la boule k e vert. O cotiue les tirages au sort. Au temps > k, si o choisit ue boule de label strictemet supérieur à k o igore ce tirage car il correspod à la créatio d ue arête sur u site qui est pas das {1,..., k}. Si ue boule de label j < k est tirée, cela reviet à ajouter ue boule rouge et si ue boule de label k est choisie cela correspod à l ajout d ue boule verte. Par coséquet la distributio relative des boules vertes et rouges suit celle d ue ure de Pólya de doée iitiale r = 2k 2 et v = 1 et le comportemet asymptotique est doé par la loi 11.1 qui vaut f X x = r1 x r 1. Au lieu de suivre le degré d u site fixé, o peut aussi chercher ue iformatio plus globale et détermier l espérace N d, du ombre de sites de degré d au temps. Comme pour les chaîes de Markov, o obtiet e coditioat par rapport au passé 1 d N d, + 1 = d 2 1 N d, + d 1 2 1N d 1,, si d > 1 N d, + 1, si d = 1 E effet, u ouveau site de degré d > 1 e peut être créé que si ue arête a été ajoutée à u site de degré d 1 et iversemet u site de degré d disparaît si o lui ajoute ue arête. U calcul simple mais douloureux permet de motrer que pour d 1 1 lim N d, = 4 dd + 1d + 2. Pour de très grads graphes, la probabilité qu u site choisi au hasard ait le degré d décroît comme 1/d 3 quad d diverge. La répartitio des degrés selo ue loi de puissace se retrouve das de ombreux réseaux dot la structure est pas dictée par le degré moye mais est caractérisée par quelques oeuds fortemet coectés. La costructio de Barabási-Albert coduit à ue structure de graphes très stable, isesible aux variatios aléatoires de la costructio. Par cotre ces graphes sot très vulérables aux attaques des sites fortemet coectés. Ue étude approfodie des graphes aléatoires pourra être trouvée das le livre de R. Durrett [11].

163 11.2. L ALGORITHME DE ROBBINS-MONRO L algorithme de Robbis-Moro Nous allos maiteat détermier les solutios θ d ue équatio du type f θ = a où f est ue foctio à valeurs das R qui s écrit sous la forme f θ = E FX, θ. O s itéresse à u cas où la foctio f e peut pas être calculée explicitemet, mais simplemet estimée par des observatios de la forme {FX i, θ} i. Par exemple, θ représete le dosage d u médicamet que l o souhaite calibrer pour produire u effet égal à a. Pour u patiet X i, l effet mesuré FX i, θ est aléatoire et la foctio f représete l effet moye. O cherche doc à estimer θ e testat seulemet u petit ombre de patiets. Au chapitre 6, ous avos étudié des méthodes pour détermier le miimum ou le maximum d ue foctio θ Vθ. Cette questio est très proche du problème précédet car elle se ramèe à idetifier les valeurs de θ telles que Vθ = 0. Ue autre source de motivatio pour ce problème apparaît e statistiques, où o cherche souvet à estimer u paramètre à partir d observatios par ue méthode de maximum de vraisemblace voir par exemple le cours [15]. Nous allos décrire ci-dessous l algorithme de Robbis-Moro qui est ue méthode récursive pour estimer le paramètre θ e ajustat les décisios e foctio des ouvelles observatios. La variate de cet algorithme pour estimer les solutios de Vθ = 0 porte le om d algorithme de Kiefer-Wolfowitz, mais ous e la détailleros pas das ce cours. Pour fixer les idées, cosidéros d abord le cadre détermiiste d ue foctio f : R R cotiue qui admet ue uique solutio θ à l équatio f θ = a pour u iveau a doé. O suppose que f vérifie la coditio pour tout θ das R f θ a θ θ < et que f K. Pour détermier θ, la procédure la plus simple cosiste à suivre le flot de l équatio t 0, t θ t = f θ t a pour ue doée iitiale θ 0 fixée. Sous les hypothèses cosidérées, la foctio t θ t coverge vers θ. Pour l implémetatio, il est préférable de cosidérer des pas de temps discrets θ +1 = θ + γ f θ a 11.3 où les icrémets γ > 0 sot choisis tels que lim γ = 0 et γ =. La dérivée t θ t s iterprète alors comme θ +1 θ /γ. Ces coditios suffiset pour motrer que θ coverge vers θ quad ted vers l ifii. Pour le compredre, cosidéros le cas particulier f θ = c θ avec a = 0 et θ = 0. La récurrece 11.3 s écrit θ +1 = 1 + cγ θ = k=0 1 + cγk θ0 La coditio 11.2 est fodametale pour que la suite θ se cotracte vers le poit fixe θ. Elle impose c < 0 ce qui est ue coditio écessaire pour que le produit ci-dessus

164 164 CHAPITRE 11. APPLICATIONS DES MARTINGALES coverge quad ted vers l ifii. O obtiet log θ +1 = k=0 log 1 + cγ k + log θ0 log θ 0 + c k=1 γ k. La divergece de la série γ permet doc de déduire que θ coverge vers θ = 0. Plus gééralemet, o peut motrer que des petites perturbatios altèret pas la covergece de la suite {θ } 0. Lemme Soit f : R R ue foctio cotiue borée vérifiat l hypothèse O cosidère ue suite {γ } 0 d icrémets positifs et ue suite {ε } 0 à valeurs das R qui modélise ue perturbatio. O suppose que Alors la suite lim γ = 0, γ = et que la série γ ε θ +1 = θ + γ f θ a + ε coverge vers θ quelle que soit la doée iitiale θ 0. coverge La preuve de ce lemme est reportée à la fi de cette sectio et ous motros maiteat commet ue versio stochastique de cet algorithme permet de traiter les foctios de la forme f θ = E FX, θ. Das la pratique, o e coait pas la foctio f, mais o peut observer des réalisatios FX, θ et adapter le paramètre θ au cours du temps. FIGURE 11.4 L algorithme de Robbis-Moro est utilisé das ces 2 simulatios pour résoudre la récurrece aléatoire θ +1 = θ + γ arcta θ + X où X sot des variables aléatoires uiformémet distribuées sur [ 1, 1]. La simulatio représetée à gauche est réalisée avec γ = pour 150 pas de temps. La série θ s approche de la solutio θ = 0 e oscillat. La covergece est améliorée sur la simulatio de droite réalisée avec γ = 1 pour 600 pas de temps. Théorème 11.2 Algorithme de Robbis-Moro. O suppose que la foctio f θ = E FX, θ est cotiue et vérifie l hypothèse De plus, o suppose que F est borée par ue costate K. Soit {X } 0 ue suite de variables idépedates et distribuées selo la même loi que X. L algorithme de Robbis-Moro cosiste à costruire u processus aléatoire θ +1 = θ + γ F X, θ a 11.5

165 11.2. ROBBINS-MONRO 165 où la suite {γ } 0 d icrémets positifs vérifie lim γ = 0, γ = et γ 2 <. Alors le processus {θ } 0 coverge presque sûremet, quelle que soit la doée iitiale θ 0, vers θ la solutio de f θ = E FX, θ = a. Démostratio. La preuve cosiste à réécrire la récurrece 11.5 sous la forme 11.4 θ +1 = θ + γ f θ a + F X, θ f θ et à poser ε = F X, θ f θ. L idée est de cosidérer l erreur faite e remplaçat f θ par F X, θ comme ue perturbatio afi d appliquer le lemme Par l idépedace des X k, o vérifie que M = est ue martigale borée das L 2 γ k F Xk, θ k f θk = γ k ε k k=1 k=1 E M 2 = k=1 γ 2 k E F Xk, θ k f θk 2 K 2 γk 2 k=1 K2 k=1 γ 2 k < où o a utilisé le fait que F est borée par K et que γ 2 <. Le théorème 10.1 implique la covergece presque sûre de M et doc de la série γ ε. Les hypothèses du lemme 11.1 état satisfaites, il suffit de l appliquer pour coclure la démostratio du théorème. Démostratio du lemme Quitte à chager f e f + θ a, o peut supposer que a = θ = 0 et cosidérer la récurrece θ +1 = θ + γ f θ + ε. O distigue trois comportemets possibles pour la suite : Cas 1. Supposos qu il existe α > β tels que la suite {x } 0 passe ifiimet souvet au dessus de α et au dessous de β cf. figure Si α > 0, alors il suffit de cosidérer le cas β > 0. E effet si β 0 il est clair que la suite va osciller de part et d autre de l itervalle [α/2, α] et o peut remplacer β par α/2. O va idetifier les portios de la trajectoire où la suite passe au dessus de β pour la derière fois avat de remoter au dessus du iveau α. O otera [t k, τ k ] le k ième itervalle de temps correspodat cf. figure La foctio f est borée par K et o a θ +1 θ γ K + ε. Comme γ et γ ε tedet vers 0, o peut choisir assez grad tel que juste avat de frachir le iveau β > 0 o ait θ tk > 0. Si θ > 0 alors la coditio 11.2 implique θ +1 = θ + γ f θ + ε θ + γ ε.

166 166 CHAPITRE 11. APPLICATIONS DES MARTINGALES θ β α β t 1 τ 1 t 2 τ 2 FIGURE 11.5 La suite {θ } 0 est représetée et les itervalles de temps [t 1, τ 1 ], [t 2, τ 2 ] correspodet au derier passage au dessus du iveau β avat d atteidre le iveau α. Comme la suite reste positive pedat l itervalle [t k, τ k ], o peut écrire 0 < α β < θ τk θ tk τ k =t k γ ε. La suite oscille ifiimet souvet etre α et β, par coséquet o peut choisir t k arbitrairemet grad et τ k =t k γ ε ted vers 0 car la série coverge. Ceci coduit à ue cotradictio. O peut traiter de faço idetique le cas β < 0 et aisi exclure d évetuelles oscillatios etre deux valeurs α > β. O se ramèe doc au cas où la suite {θ } 0 admet ue limite évetuellemet ifiie. Cas 2. Supposos que lim θ = α > 0. Alors il existe 0 et δ > 0 tel que 0, θ α δ et f θ < δ e utilisat la coditio 11.2 et la cotiuité de f. La relatio de récurrece permet alors d écrire pour 0 θ θ 0 γ k f θk + ε k δ γ k + γ k ε k. k= 0 k= 0 k= 0 Comme la suite γ diverge o obtiet ue cotradictio. De la même faço, o peut exclure le cas lim θ = α < 0. Cas 3. Supposos que lim θ = + > 0. Alors la suite est positive au-delà d u rag 0 et o a θ θ 0 γ k f θk + ε k γ k ε k. k= 0 k= 0 Comme la suite k γ k ε k coverge o e déduit ue cotradictio. Par symétrie, o peut aussi exclure le cas lim θ =. L uique possibilité est que lim θ = 0 ce qui coclut le théorème. L algorithme de Robbis-Moro se gééralise aux foctios f : R d R d satisfaisat l hypothèse 11.2 et dot la croissace à l ifii est au plus liéaire.

167 11.3. PROCESSUS DE GALTON-WATSON Processus de Galto-Watso Nous allos maiteat poursuivre l étude des arbres aléatoires commecée sectio e utilisat cette fois le formalisme des martigales. O rappelle que les arbres aléatoires de Galto-Watso sot défiis par récurrece à l aide d ue loi ν = {p k } k 0 sur N qui caractérise le ombre de descedats d u idividu. Iitialemet, il existe u uique acêtre Z 0 = 1. Au temps t, le ombre d idividus est oté Z t et l évolutio suit la récurrece { ζ t ζz t+1 Z t+1 = t, if Z t > 0 0, if Z t = 0 où {ζ t i } i 1,t 1 est ue suite de variables aléatoires idépedates et idetiquemet distribuées de loi ν k 0, Pζ t i = k = p k. O ote aussi µ = Eζ 1 1. Soit F t = σz k, k t la σ-algèbre décrivat la populatio jusqu au temps t. E coditioat par la géératio précédete comme e 4.7, o vérifie que le processus M t = Z t /µ t est ue martigale Ft Zt+1 Ft E M t+1 = E µ t+1 = 1 Zt µ t+1 E ζ t+1 k Z t = Z t µ k=0 t = M t. Cette martigale état positive, elle coverge presque sûremet, par le corollaire 10.5, vers ue variable aléatoire limite M que ous allos caractériser. Si µ 1 ous avos motré au théorème 4.10 que la populatio s éteit presque sûremet, i.e. que Z t = 0 à partir d u certai temps aléatoire. Par coséquet M = 0 presque sûremet. La covergece de M t vers M e peut doc pas avoir lieu das L 1 car t 0, EM t = EM 0 = 1 = 0 = EM. Le théorème suivat permet de décrire le comportemet asymptotique das le cas sur-critique Théorème Si µ > 1 et la variace σ 2 = Eζ 2 Eζ 2 est fiie, alors la martigale {M t } t 0 coverge das L 2 vers ue limite M qui vérifie EM = 1, EM 2 EM 2 = σ2 µ 2 µ et PM = 0 = ρ où ρ est la probabilité d extictio défiie au théorème Démostratio. Commeços par motrer que la martigale {M t } t 0 est borée das L 2. O calcule EM 2 t F t 1 = E M t M t 1 2 F t 1 + M 2 t 1 + 2M t 1 E M t M t 1 F t 1 = M 2 t 1 + E M t M t 1 2 F t

168 168 CHAPITRE 11. APPLICATIONS DES MARTINGALES Le secod terme du membre de droite das 11.6 s écrit E M t M t 1 2 Zt F t 1 = E µ t Z 2 t 1 Ft 1 µ t 1 = 1 µ 2t E Z t µz t 1 2 Z t 1 = 1 Zt 1 µ 2t E Les idetités précédetes impliquet i=1 ζi t µz 2 t 1 F t 1 = Z t 1σ 2 µ 2t. EM 2 t = E EM 2 t F t 1 = EM 2 t 1 + σ2 µ 2t EZ t 1 = EM 2 t 1 + σ2 µ t+1 e utilisat que EZ t 1 = µ t 1. Comme EZ0 2 = 1, o obtiet par iductio EMt 2 = 1 + σ 2 t+1 µ k = 1 + σ 2 1 µ t µ k=2 2 µ O e déduit que la martigale {M t } t 0 est borée das L 2 et le théorème 10.1 permet d affirmer qu elle coverge das L 2 et presque sûremet vers M. Par coséquet EM = 1 = lim t EM t et EM 2 EM 2 = σ2 µ 2 µ = lim t EM2 t EM t 2. Pour calculer la probabilité PM = 0, o coditioe l évolutio après la première géératio Z 1 P M = 0 = P M = 0 Z 1 = k p k. k=0 Si Z 1 = k, l arbre se scide e k arbres idépedats de même loi, o obtiet doc P M = 0 = P M = 0 k pk = ϕ P M = 0. k=0 Ceci permet d idetifier la probabilité ρ qui a été défiie au théorème 4.10 comme l uique solutio de ρ = ϕρ.

169 Chapitre 12 Stratégies, arrêt optimal et cotrôle stochastique Das la vie courate, de ombreuses circostaces écessitet d effectuer des choix. Nous allos formaliser le processus de décisio pour costruire des stratégies qui permettet d optimiser certais critères e teat compte des facteurs aléatoires ihérets aux problèmes recotrés Arrêt optimal Quel est le meilleur istat pour predre ue décisio? Par exemple, o souhaite vedre u stock de produits au meilleur prix avat l échéace N et chaque jour {0,..., N} o démarche u acheteur potetiel qui offre la somme X. O peut accepter cette offre ou attedre la suivate sachat qu o e pourra plus bééficier des offres passées. O cherche doc à détermier le meilleur momet pour vedre sur la base des offres passées sas coaître le futur. Les filtratios permettet de hiérarchiser l iformatio, et o supposera que le processus aléatoire X = {X, = 0,..., N} est adapté à la filtratio F = {F, N} où F cotiet toute l iformatio jusqu au temps. Notre objectif est de costruire ue stratégie optimale, c est à dire de défiir u temps d arrêt τ pour que l espérace EX τ soit maximale. Plus précisémet, si T N représete l esemble des temps d arrêt à valeurs das {0,..., N}, o cherche à résoudre le problème d arrêt optimal V N = sup τ T N E X τ O dira qu u temps d arrêt τ das T N est optimal si V N = E X τ. Il s agit d ue stratégie d arrêt optimal e horizo fii car la décisio doit être prise avat l istat N Eveloppe de Sell Pour résoudre le problème 12.1, o défiit le processus Y par la récurrece rétrograde Y N = X N et Y = max {X, E Y +1 F } pour = 0,..., N

170 170 CHAPITRE 12. ARRÊT OPTIMAL ET CONTRÔLE STOCHASTIQUE y x FIGURE 12.1 Pour détermier le maximum d ue suite de réels {x } N, o costruit récursivemet ue suite majorate e partat de y N = x N et e remotat esuite le temps y = max{x, y +1 }. La suite {y } N, représetée e poitillés, est décroissate et y 0 = max{x, N}. De plus, toute autre suite décroissate majorat {x } N sera aussi supérieure à {y } N. L eveloppe de Sell 12.2 est l aalogue de cette costructio das u cas stochastique. N La figure 12.1 illustre cette costructio. Le processus Y est appelé eveloppe de Sell du processus X et il s iterprète de la faço suivate. Si le problème d arrêt optimal se pose au temps N, le seul choix possible de temps d arrêt est τ = N ce qui justifie la défiitio Y N = X N. À la date N 1, o choisit la stratégie d arrêt e comparat le gai X N 1 obteu e s arrêtat à N 1 et le gai espéré si o cotiuait EY N F N 1 = EX N F N 1. Ceci explique la défiitio de Y N 1. E procédat de maière rétrograde date par date, o compred la logique derrière l eveloppe de Sell. Le résultat suivat motre que l eveloppe de Sell permet de résoudre le problème d arrêt optimal V N et de détermier u temps d arrêt optimal. Propositio Supposos que X soit itégrable. Alors l eveloppe de Sell Y est la plus petite surmartigale majorat le processus X. De plus la variable aléatoire } τ = if { {0,..., N}; Y = X est u temps d arrêt. le processus arrêté Y τ = Y τ est ue martigale. le temps d arrêt τ est optimal car Y 0 = sup τ T N E X τ = E X τ. Cette propositio fourit ue costructio théorique d u temps d arrêt optimal. E pratique, la difficulté cosiste à déduire de ce résultat ue stratégie explicite. Das les sectios et , deux exemples sot traités où τ peut se réécrire simplemet e foctio d ue stratégie de seuil. Démostratio.

171 12.1. ARRÊT OPTIMAL 171 Étape 1. Costructio de la surmartigale Y. Vérifios d abord par ue récurrece rétrograde que le processus Y défii e 12.2 est bie itégrable. À la date fiale, o a Y N = X N L 1. Si o suppose que Y appartiet à L 1, alors E Y 1 E X 1 + E EY F 1 E X 1 + E Y. Aisi Y est itégrable. Par défiitio Y est ue surmartigale majorat X. Soit Ỹ ue autre surmartigale majorat X. Motros par récurrece rétrograde que presque sûremet Ỹ Y pour tout = 0,..., N. Au temps N, o a Ỹ N X N = Y N. Supposos maiteat que Ỹ ue surmartigale, elle vérifie Ỹ 1 E Ỹ F 1 E Y F 1. De plus Ỹ majore X et par coséquet Ỹ 1 max {X 1, E Y F 1 } = Y 1. Y. Comme Ỹ est Étape 2. Costructio du temps d arrêt optimal. O vérifie facilemet que {τ = } est bie F -mesurable. Comme Y N = X N, la variable τ défiit doc u temps d arrêt das T N, comme premier temps d atteite du processus Y X du iveau 0. Das le cas détermiiste illustré figure 12.1, le temps d arrêt correspod au premier temps où y = x. O remarque de plus que la suite détermiiste {y } est costate et égale à y 0 tat que y max{x k, k N}. Ceci suggère que das le cas aléatoire, le processus arrêté Y τ est ue martigale. Nous allos maiteat vérifier cette propriété. O remarque que l évèemet {τ + 1} = {τ } c est mesurable par rapport à F. Par défiitio, le processus {Y } N satisfait sur l évèemet {τ + 1} O e déduit que Y > X et Y = E Y +1 F. Y+1 τ Yτ = Y +1 Y 1 {τ +1} = Y +1 E Y +1 F 1 {τ +1}. E utilisat le fait que {τ + 1} F et e preat l espérace coditioelle par rapport à F, o vérifie que le processus arrêté Y τ est ue martigale E Y τ F Y τ = 0. Ceci implique que Y 0 = E Y τ N +1 = E Y N τ = E Y τ = E X τ. Par ailleurs, pour tout temps d arrêt τ das T N, le processus arrêté Y τ est ue surmartigale. D après le théorème d arrêt de Doob, il satisfait doc Y 0 E Y τ N = E Y τ E X τ par défiitio de Y. O a aisi motré la derière partie de la propositio.

172 172 CHAPITRE 12. ARRÊT OPTIMAL ET CONTRÔLE STOCHASTIQUE Le problème du parkig Vous coduisez le log d ue rue ifiie vers votre lieu de redez-vous qui se situe das u quartier très fréqueté. Le statioemet das la rue est autorisé, mais bie sûr peu de places sot libres. Alors, si vous avez la possibilité de vous garer, à quelle distace de votre lieu de redez-vous décidez-vous de predre la place? Cette questio peut se modéliser de la faço suivate : 1. Vous démarrez à l origie. Des emplacemets de statioemet sot dispoibles à tous les etiers. O cosidère ue suite {ξ } 0 de variables aléatoires idépedates de loi de Beroulli de paramètre p, où ξ = 1 si et seulemet si l emplacemet au poit est déjà occupé. Le lieu de redez-vous se trouve au poit etier N > Si l emplacemet est dispoible, i.e. si ξ = 0, et que vous décidiez de vous y garer, vous subissez le coût N correspodat à l effort de faire la distace restate e marchat. 3. Quad vous arrivez au iveau du poit, vous e pouvez pas savoir si des places de statioemet sot dispoibles au iveau + 1 ou plus loi. Si vous décidez de passer au poit + 1, vous e pouvez plus retourer aux poits précédets. 4. Efi, si vous arrivez e N, votre poit de redez-vous sas vous être garé, vous preez la première place de statioemet libre qui se présete. Aisi, si l emplacemet N est occupé, le coût moye que vous subissez est alors X N = C1 {ξ =1} avec C = jp j 1 1 p = 1 1 p. j 1 Avat d arriver e N le processus de coût s écrit X = N 1 {ξ =0} + 1 {ξ =1} où le coût ifii pour ξ = 1 sigifie que vous e pouvez occuper la place à aucu coût fii. Le problème d arrêt optimal cosiste à chercher le temps d arrêt qui miimise le coût de l effort de l aget, ou e iversat les siges sup EX τ. τ T N L eveloppe de Sell est doée par Y N = X N et Y = max {X, E Y +1 F } pour < N. U simple raisoemet par récurrece rétrograde, utilisat l idépedece des ξ, motre que Y est ue foctio de ξ. Par coséquet E Y +1 F = E Y +1 = f N

173 12.1. ARRÊT OPTIMAL 173 où f : {0,..., N} R est ue foctio que ous allos détermier. Comme Y est ue surmatigale, l espérace EY décroît et par coséquet f N est décroissate cf. figure Le premier temps où Y = X reviet à détermier le premier < N tel que ξ = 0 et N f N Soit r 0 le premier poit tel que N r f N r cf. figure Si ue place est dispoible avat r alors l iégalité de la relatio 12.4 e sera pas satisfaite, par coséquet il suffit de choisir la première place dispoible après r. r N f FIGURE 12.2 Les graphes de f N et de N sot représetés. Les carrés marquet les positios des places dispoibles ξ = 0 et le gai correspodat est N. Le seuil r est le poit où les deux graphes s itersectet. La place choisie est la première place libre après r, i.e. le troisième carré sur le schéma. La stratégie d arrêt optimale est écessairemet de la forme τ = if { N r ; ξ = 0 } 12.5 où r est ue costate à détermier. O ote lr la performace espérée e utilisat ue stratégie de seuil avec paramètre r, i.e. lr = EY τr où τr = if{ N r; ξ = 0}. Nous allos calculer lr et optimiser e foctio de r pour idetifier r. Pour r = 0, o obtiet l0 = 1 p 0 + pc = p 1 p. Pour r 1, o calcule par récurrece lr = 1 pr + plr 1. O déduit alors que lr = r pr+1 1, r N. 1 p Pour maximiser lr, o remarque que la foctio r lr + 1 lr = 1 + 2p r+1 est décroissate e r. Par coséquet { } r = if r 0; 1 + 2p r+1 0.

174 174 CHAPITRE 12. ARRÊT OPTIMAL ET CONTRÔLE STOCHASTIQUE À titre d exemple, o peut voir que pour p 0.5, il faut chercher à se garer e arrivat à destiatio et que pour p = 0.9, il faut chercher la première place dispoible dès qu o arrive à 6 places de la destiatio Problème des secrétaires Nous allos ous itéresser à u problème classique cou sous le om de problème des secrétaires. N cadidats effectuet u etretie pour u poste de secrétaire vacat et ceux-ci peuvet être tous comparés strictemet ue fois recotrés et classés. Les cadidats sot auditioés u à u das u ordre arbitraire, les N! faços d ordoer les cadidats sot équiprobables. À l issue de l auditio de chaque cadidat et sur la base de so rag relatif par rapport aux cadidats précédemmet auditioés, o doit soit le sélectioer pour le poste, termiat aisi la procédure de sélectio, soit refuser défiitivemet sa cadidature, sas possibilité de le rappeler ultérieuremet, et passer au cadidat suivat. L objectif est de sélectioer le meilleur cadidat parmi les N : le gai est défii par 1 si o sélectioe le meilleur cadidat et par 0 sio. Modélisatio. O peut classer les N cadidats selo u ordre décroissat {σ1,..., σn} où σ est ue permutatio uiforme de {1,..., N}. Le cadidat i a doc le rag σi et o cherche à détermier le meilleur cadidat, c est à dire le cadidat j tel que σj = 1. L ejeu est d optimiser le gai Pστ = 1 où τ est u temps d arrêt représetat le cadidat choisi. La première difficulté est que le processus {1 σk=1 } k N que l o cherche à optimiser est pas mesurable par rapport à la σ-algèbre egedrée par les observatios jusqu à l istat k. E effet savoir que σk = 1 suppose de coaître le classemet des N cadidats. Les variables mesurées aturellemet sot les rags relatifs {ξ } 1 N. Précisémet, ξ désige le rag du ième cadidat auditioé parmi les cadidats auditioés. Par exemple si N = 5 et que le classemet des cadidats est doé par σ = {3, 2, 5, 1, 4}, alors les ordres relatifs serot ξ 1 = 1, ξ 2 = 1, ξ 3 = 3, ξ 4 = 1, ξ 5 = 4. O aura toujours ξ 1 = 1 et ξ N = σn car au temps N tous les cadidats sot cous. O remarque que la coaissace de tous les ordres relatifs jusqu à N permet de recostituer le classemet. Pour chaque 1, la variable aléatoire ξ est distribuée selo la loi uiforme sur {1,..., } k {1,..., }, P ξ = k = 1. De plus la variable ξ est idépedate des {ξ i, i 1}. O ote F = σξ i, i la filtratio caoique correspodate. Nous allos cosidérer le processus {1,..., N}, X = E 1 {σ=1} F.

175 12.1. ARRÊT OPTIMAL 175 Pour tout temps d arrêt τ, o vérifie que P στ = 1 N = E 1 {τ=} 1 {σ=1} =1 N = E 1 {τ=} E 1 {σ=1} F =1 = N E 1 {τ=} X = EXτ. =1 Par coséquet, pour détermier le temps d arrêt optimal, il est doc équivalet de travailler avec le processus mesurable {X } N qui est mesurable par rapport aux observatios cotrairemet à {1 σ=1 } N. De plus le processus {X } N peut se réécrire sous la forme X = N 1 {ξ =1}. E effet l évèemet {σ = 1} correspod à {ξ = 1, ξ +1 = 1,..., ξ N = 1} et e utilisat l idépedace des variables ξ i, o retrouve X = E 1 {σ=1} F = 1{ξ =1} P ξ +1 = 1,..., ξ N = 1 = 1 {ξ =1} N 1 N = N 1 {ξ =1}. O peut aussi iterpréter ce résultat plus ituitivemet e remarquat que {σ = 1} équivaut à ce que ξ = 1 et que le meilleur cadidat figure parmi les premiers ce qui a pour probabilité N. La derière étape cosiste à calculer l eveloppe de Sell du processus {X } N { } Y N = 1 {ξn =1} et Y = max N 1 {ξ =1}, E Y +1 F pour = 1,..., N Comme das le problème du parkig 12.3, o utilise l idépedace des variables {ξ i } i N pour coclure qu il existe ue foctio f : {0,..., N} R telle que E Y +1 F = E Y +1 = f N de plus f N est décroissate. Le temps d arrêt optimal τ correspod doc au premier temps < N où N 1 {ξ =1} f N. sio o pose τ = N. Ceci reviet à cosidérer ue stratégie de seuil similaire à Pour détermier le seuil r optimal, o calcule le gai de chaque stratégie τ r = N if { r; ξ = 1} avec lr = EX τr

176 176 CHAPITRE 12. ARRÊT OPTIMAL ET CONTRÔLE STOCHASTIQUE et o optimise esuite r. E utilisat l idépedace des variables {ξ } N, o obtiet lr = EX τr = P στ r = 1 N = E 1 {τr =} 1 {σ=1} =r N = P ξ r = 1,..., ξ 1 = 1, ξ = 1, ξ +1 = 1,..., ξ N = 1 =r = r 1 N N =r avec l0 = 1/N. O remarque que 1 1 lr + 1 lr = 1 N + 1 N N k=r+1 N =r Le seuil optimal r correspod au premier poit où la courbe l commece à décroitre { } r 1 = if r; k 1 < 1. Quad N est grad, o peut utiliser l approximatio N k=r+1 1 k 1 N r 1 u du = log N r pour obteir l ordre de gradeur r Ne 1.37 N. Aisi, la stratégie optimale cosiste à rejeter systématiquemet les premiers cadidats et, à partir de 37% des cadidats auditioés, à sélectioer celui qui sera classé premier parmi tous ses prédécesseurs Cotrôle stochastique Avat d évoquer les aspects aléatoires, commeços par décrire les problématiques liées à la théorie du cotrôle das u cadre détermiiste. Ue première applicatio cosiste à guider u mobile par exemple u satellite dot la positio X évolue e suivat la dyamique X 0 = x et X +1 = FX, u pour où u = {u } N est u paramètre de cotrôle qui doit être ajusté pour optimiser la trajectoire du mobile. Plus gééralemet, o cherche à optimiser u coût de la forme Cx, u = N 1 cx, u + WX N 12.8 =1 e foctio de u. Les paramètres de cotrôle preet leurs valeurs das u esemble U et l ejeu de cette sectio est de détermier le coût optimal C x et le cotrôle optimal correspodat u = {u } N das U N tel que où x est la doée iitiale. C x = Cx, u = mi u U N Cx, u

177 12.2. CONTRÔLE STOCHASTIQUE 177 Les applicatios du cotrôle sot multiples et la foctio de coût 12.8 peut s iterpréter de différetes faços. Par exemple X peut représeter la populatio d ue espèce de poissos au début de l aée et le paramètre u les quotas de pêche qui permettet de cotrôler l évolutio de cette populatio sous la forme X +1 = FX, u. O cherche à ajuster les quotas de pêche durat N aées afi de garatir u certai iveau d exploitatio cx, u chaque aée mais aussi la préservatio de la ressource aturelle e imposat ue cotraite WX N au temps fial. D autres questios liées aux politiques de développemet durable exploitatio des forêts, détermiatio des quotas d émissio de CO2 sot détaillées das le livre [7] aisi que la forme explicite des foctios de coût associées. De ombreuses applicatios sot liées à l écoomie, citos otammet la gestio d u stock de marchadises [8]. Le paramètre X représete alors la quatité du stock au jour et le paramètre u permet d ajuster ce stock au cours du temps e passat commade aux fourisseurs. À chaque période de temps, cx, u pred e compte le gai obteu e vedat cette marchadise, les frais de stockage, etc. Les ivedus au temps N iduiset la péalisatio WX N. La théorie du cotrôle est aussi très utilisée e mathématiques fiacières. Pour préciser la modélisatio, o peut aussi teir compte d évetuels aléas et modifier les règles d évolutio 0, X +1 = FX, u, ξ 12.9 où {ξ } N est ue suite de variables aléatoires idépedates et idetiquemet distribuées. Par exemple, la reproductio d ue espèce aimale peut être affectée par des facteurs climatiques qu o modélise par les ξ. La théorie du cotrôle stochastique cosiste à idetifier u cotrôle optimal qui miimise le coût moye défii e Nous allos d abord décrire la méthode de programmatio dyamique qui permet de détermier le cotrôle optimal das le cas détermiiste puis ous gééraliseros cette stratégie aux évolutios aléatoires Équatio de la programmatio dyamique L algorithme proposé par R. Bellma permet d idetifier le cotrôle pour ue évolutio détermiiste L algorithme de la programmatio dyamique procède de faço rétrograde comme pour la costructio de l eveloppe de Sell O ote E l espace d états où X pred ses valeurs. État doé u cotrôle {u } k N et x das E, o défiit la trajectoire partielle {X } k N partat de x au temps k et la foctio de coût partielle associée X k = x et X +1 = FX, u pour k C k x, u = N 1 cx, u + WX N =k Supposos que le coût optimal associé est bie défii c est le cas, par exemple, si E et U sot fiis. Alors il est doé par C k x = if u { N 1 } cx, u + WX N =k

178 178 CHAPITRE 12. ARRÊT OPTIMAL ET CONTRÔLE STOCHASTIQUE Il satisfait les équatios de la programmatio dyamique : pour tout x de E CN x E, x = Wx, { Ck x = if a U cx, a + Ck+1 } Fx, a pour k N Le pricipe qui sous-ted ces équatios est que la trajectoire optimale etre 2 poits sera aussi optimale etre 2 poits itermédiaires. Par coséquet, si o coait le cotrôle optimal etre k + 1 et N, il est facile d e déduire le cotrôle optimal etre k et N. Ces équatios peuvet être résolues de faço rétrograde. La valeur de a où le miimum est atteit correspod au cotrôle optimal et o la otera u x si valeur est pas uique, o e choisit ue. E remotat jusqu au temps k = 0, o établit le coût optimal pour importe quelle doée iitiale X 0 = x das E C x = mi u U N C 0 x, u. E utilisat les différetes valeurs {u x} N,x E détermiées au cours de cette procédure, ue trajectoire optimale {X } N peut être recostruite pour toute doée iitiale x das E par X 0 = x et X +1 = F X, u X pour N Cotrôle des chaîes de Markov Nous allos maiteat gééraliser les résultats précédets au cotrôle stochastique. O cosidère l évolutio aléatoire de la forme 12.9 X 0 = x et X +1 = FX, U, ξ pour 0 où {ξ } N est ue suite de variables aléatoires idépedates et idetiquemet distribuées. O cherche u cotrôle U = u X mesurable par rapport à σx cette hypothèse peut être gééralisée. Ce choix permet d affirmer que {X } N est bie ue chaîe de Markov. L aalogue du coût 12.8 s écrit Ĉx, U = E E décomposat les coûts partiels comme e Ĉ k x = if U N 1 cx, U + WX N = N 1 } {E k,x cx, u + WX N =k où l espérace E k,x porte sur les trajectoires partat de x au temps k et le miimum dot o suppose l existece est choisi pour les cotrôles de la forme U = {u k x k,..., u N 1 x N 1 }.

179 12.2. CONTRÔLE STOCHASTIQUE 179 Das le cas aléatoire, les équatios de la programmatio dyamique s écrivet pour tout x de E ĈN x E, x = Wx, { Ĉk x = if a U cx, a + E Ĉ } k+1 Fx, ξ, a pour k N O costruit aisi le cotrôle optimal par étapes, e défiissat u k x comme la valeur qui miimise la relatio à chaque pas de temps et pour chaque état x das E.

180 180 CHAPITRE 12. ARRÊT OPTIMAL ET CONTRÔLE STOCHASTIQUE

181 Aexe A Théorie de la mesure Cette aexe présete des élémets de la théorie de la mesure das u cadre foctioel, ceux ci serot esuite traduits das ue formulatio probabiliste das l aexe B. A.1 Espaces mesurables et mesures L ejeu de cette première sectio est de défiir le formalisme écessaire pour costruire des mesures sur des espaces gééraux Ω. Par exemple si Ω = [0, 1] R, o souhaite costruire ue mesure µ telle que l itervalle [a, b] ait pour mesure µ[a, b] = b a. O veut aussi pouvoir mesurer la taille du complémetaire de [a, b] et la reuio évetuellemet déombrable de plusieurs itervalles. Aisi même e partat iitialemet d ue classe très simple de sous-esembles que l o souhaite mesurer {[a, b], 0 a b 1}, la structure des sous-esembles de Ω à cosidérer va cosidérablemet s erichir quad o cosidère leurs réuios déombrables et le passage au complémetaire. Il faut doc pouvoir costruire la mesure µ sur des sous-esembles de plus e plus complexes. Pour cela, ous sommes ameés à défiir ue classe adaptée de sous-esembles mesurables les σ-algèbres sectio A.1.1 sur laquelle ue otio de mesure peut être costruite sectio A.1.2. A.1.1 σ-algèbres Soit Ω u esemble quelcoque, commeços par défiir la otio d algèbre. Défiitio A.1 Algèbre. Ue algèbre A sur Ω est ue famille de sous-esembles de Ω satisfaisat les trois propriétés suivates : i Ω appartiet à A. ii Si A est das A alors A c est das A. iii Toute réuio fiie de sous-esembles das A appartiet à A. Ceci permet de reformuler la défiitio 8.1 d ue σ-algèbre qui va costituer le cadre aturel pour costruire des mesures. Défiitio A.2 σ-algèbre. Ue σ-algèbre A sur Ω est algèbre stable par uio déombrable ceci éted la propriété iii à toute réuio déombrable de sous-esembles das A. 181

182 182 ANNEXE A. THÉORIE DE LA MESURE État doée ue σ-algèbre A, les propriétés i et ii impliquet que = Ω c est das A. E associat ii et iii, o e déduit qu ue σ-algèbre A est aussi stable par itersectio déombrable d esembles {A i } i 1 de A i 1 A i = i 1 A c i c. Ue σ-algèbre est aussi stable par différece symétrique A B := A B \ A B A pour tous A, B A. L esemble des parties de Ω est la plus grade σ-algèbre sur Ω, mais cette derière est souvet trop complexe pour défiir ue mesure. E gééral, la otio de σ-algèbre est tellemet abstraite qu il est impossible de décrire tous les sous-esembles coteus das ue σ-algèbre. O préfère doc se limiter à des σ-algèbres costruites à partir d ue collectio plus réduite de sous-esembles de Ω. Défiitio A.3 σ-algèbre egedrée. Si C est ue collectio de sous-esembles de Ω, o otera σc la plus petite σ-algèbre coteat C. O dira que σc est la σ-algèbre egedrée par C. Nous verros das la sectio suivate que les σ-algèbre egedrées permettet de défiir u embryo de mesure sur ue classe C restreite de sous-esembles et esuite de l étedre par u théorème abstrait à toute la σ-algèbre σc. Si Ω = R, l exemple classique est la σ-algèbre boréliee egedrée par l esemble des itervalles B R = σ I avec I = { ], x], x R }. A.1 La σ-algèbre boréliee B R peut être egedrée par d autres classes de sous-esembles comme par exemple les ouverts de R. Plus gééralemet, si Ω est u espace topologique, la σ-algèbre boréliee B Ω est la σ-algèbre egedrée par les ouverts de Ω. A.1.2 Mesures Le couple Ω, A, formé d u esemble Ω et d ue σ-algèbre sur Ω, est appelé u espace mesurable. L ejeu est maiteat d adjoidre à Ω, A ue mesure µ défiie sur les sous-esembles de A. Défiitio A.4 Mesure. Ue mesure positive µ sur l espace mesurable Ω, A est ue applicatio µ : A [0, ] vérifiat les propriétés suivates : i µ = 0, ii la mesure µ est σ-additive, c est à dire que pour toute suite {A } 0 A d esembles disjoits alors µ 0 A = µa. 0 A.2 O dit alors que Ω, A, µ est u espace mesuré. Ue mesure µ est dite σ-fiie sur Ω s il existe ue suite croissate d esembles mesurables vérifiat Ω = Ω avec µω < pour tout.

183 A.1. MESURES 183 Cette défiitio permet d établir plusieurs propriétés importates d ue mesure. Propositio A.5. Ue mesure µ sur l espace mesurable Ω, A vérifie 1. Pour toute famille fiie {A } K d esembles disjoits das A µ A = µa. K K 2. Soiet A B et µa µb avec µa < alors 3. Soiet A, B A alors µb \ A = µb µa. µa + µb = µa B + µa B. 4. Soit ue suite A A croissate A A +1, alors µ A = lim µa. 0 A.3 5. Soit ue suite A A décroissate A +1 A avec µa 0 <, alors µ A = lim µa. 0 Démostratio. L additivité de l assertio 1 est ue coséquece de la σ-additivité A.2 e choisissat A i = pour i > K. Les autres propriétés s obtieet e décomposat les différets esembles à l aide de sous-esembles disjoits pour lesquels la σ-additivité s applique. Nous détailleros simplemet la preuve de la propriété 4. À partir de la famille croissate A A, o costruit la famille de sous esembles disjoits C 0 = A 0 et 1, C = A \ A 1, qui vérifie 0 A = 0 C. Comme les C sot disjoits, o e déduit µ 0 A = µ 0 C = µc = lim K 0 K =0 µc = lim K µa K. La propriété 5 se déduit de 4 e cosidérat la suite croissate B = A 0 \ A. Certais esembles e sot pas sigificatifs pour ue mesure doée. Défiitio A.6. Sur u espace mesuré Ω, A, µ, u esemble N A est dit égligeable si µn = 0. D après la propriété de σ-additivité de la mesure, toute uio déombrable d esembles égligeables est égligeable. Le résultat suivat costitue la clef de voûte de la théorie de la mesure, car il permet de costruire de faço uique ue mesure sur toute ue σ-algèbre e partat d ue classe restreite de sous-esembles.

184 184 ANNEXE A. THÉORIE DE LA MESURE Théorème A.7. Théorème d extesio de Carathéodory Soiet A 0 ue algèbre sur Ω et ue foctio σ-additive µ 0 : A 0 R + au ses de A.2. Alors il existe ue mesure µ sur la σ-algèbre A := σa 0 egedrée par A 0 telle que µ = µ 0 sur A 0. Si de plus µ 0 est σ-fiie e particulier si µ 0 Ω <, alors ue telle extesio µ est uique. Das la pratique, le théorème d extesio de Carathéodory sert peu car ue fois qu o coaît l existece de la mesure µ sur A, il est plus écessaire de faire appel à ce théorème pour travailler avec µ. La démostratio de ce théorème dépasse le cadre de ce cours, mais o pourra la trouver das l aexe A1, page 195 du livre [25]. Cepedat, u poit importat de la preuve mérite d être sigalé car l uicité de la mesure s obtiet comme coséquece de la propositio suivate qui sera utile par la suite. Propositio A.8. Soit I PΩ ue famille de sous-esembles, stable par itersectio fiie, i.e. A, B I A B I. Soiet µ, ν deux mesures défiies sur σi telles que µω, νω <. Si µ, ν coicidet sur I alors µ = ν sur σi. La preuve de cette propositio se trouve page 194 de [25]. La costructio de la mesure de Lebesgue λ sur [0, 1] permet d illustrer l itérêt de la propositio A.8. E effet, il suffit de quatifier la mesure sur les itervalles de la forme x [0, 1], λ[0, x] = x avec I = { [0, x] : x [0, 1] }, A.4 pour la prescrire de faço uique sur tout B [0,1] = σ I A.1. L existece de la mesure de Lebesgue s obtiet par le théorème A.7, mais cela écessite u travail plus coséquet cf. [25] page 20. A.2 Itégratio État doé u espace mesuré Ω, A, µ, ous allos costruire la théorie de l itégratio pour des foctios mesurables et plus particulièremet pour des variables aléatoires. A.2.1 Foctios mesurables La mesurabilité d ue foctio assure ue compatibilité etre les structures des σ- algèbres sous-jacetes. Défiitio A.9. O cosidère Ω, A et Γ, B deux espaces mesurables. Ue applicatio f : Ω Γ est dite mesurable si B B, f 1 B A. Das le cas de σ-algèbres A, B boréliees, o dira que f est boréliee. Das la pratique, pour vérifier la mesurabilité d ue foctio f, il suffit de cosidérer ue classe réduite de sous-esembles C egedrat B = σc et de motrer que C C, f 1 C A.

185 A.2. INTÉGRATION 185 E particulier, si f : Ω R est ue foctio cotiue alors elle est mesurable pour la σ-algèbre boréliee B Ω. E effet, l esemble C des ouverts de R egedre B R et l image réciproque d u ouvert C par l applicatio cotiue f est aussi u ouvert f 1 C B Ω. Les foctios étagées formet ue classe importate de foctios mesurables car elles costituet les briques fodametales pour costruire la théorie de l itégratio. Défiitio A.10 Foctio étagée. Ue foctio f : Ω R, défiie sur l espace mesurable Ω, A, est dite étagée si elle e pred qu u ombre fii de valeurs {a i } i qu o peut supposer distictes et est de la forme ω Ω, f ω = i=1 O otera E + l esemble des foctios étagées positives. a i 1 Ai ω avec A i = f 1 {a i } A. A.5 E particulier, o peut approcher ue foctio mesurable par des foctios étagées. Propositio A.11. Soit f ue foctio mesurable positive sur Ω, A. Il existe ue suite croissate { f } de foctios étagées positives covergeat vers f. Démostratio. Il suffit de troquer f e foctio de "liges" de iveaux qui par costructio sot mesurables das A A = { ω Ω, f ω } {, A i i 1 = ω Ω, 2 f ω < i } 2 avec i 2. Les foctios étagées de la forme ω Ω, f ω = coverget vers f de faço croissate. Opératios sur les foctios mesurables 2 i=1 i A i ω + 1 A ω O admettra les propriétés suivates des foctios mesurables. Propositio A.12. i La compositio de 2 foctios mesurables est ue foctio mesurable. ii Soiet f, g deux foctios mesurables de Ω, A das R, B R alors les foctios sot aussi mesurables. f + g, f g, f + = sup{ f, 0}, f = if{ f, 0} O rappelle les otios de limite supérieure otée lim sup et de limite iférieure otée lim if pour ue suite réelle x 1 de R sup x k, k lim sup x := lim lim if x := lim sup x k = if k 1 if k x k = sup 1 if k x k. A.6

186 186 ANNEXE A. THÉORIE DE LA MESURE Propositio A.13. Soit { f } 0 ue suite de foctios mesurables de Ω, A das R alors sup f, if f, lim sup f, lim if f sot aussi mesurables. Par coséquet, si f coverge simplemet, sa limite lim f est mesurable. Démostratio. O traite le cas de f = sup f. Il suffit d aalyser l image réciproque d itervalles ouverts du type ]x, + [ f 1 ]x, + [ = { ω; sup f ω > x } = { ω; f ω > x } qui appartiet bie à A car c est ue réuio déombrable d esembles mesurables. L ifimum se traite de maière aalogue. Par costructio lim sup f = if 1 sup k f k et les résultats sur le supremum et l ifimum de foctios mesurables suffiset pour coclure. A.2.2 Itegratio des foctios positives Nous allos défiir ue otio d itégratio pour les foctios sur u espace mesuré Ω, A, µ. État doé µ, o e sait mesurer que les esembles A de A. O défiit doc 1 A dµ = µa. Esuite, il est aturel de costruire l itegrale à partir des foctios étagées de la forme A.5 ω Ω, f ω = i=1 a i 1 Ai ω avec A i = f 1 {a i } A. A.7 Défiitio A.14. Itégrale de foctios étagées Soit f E + ue foctio étagée à valeurs das R + de la forme A.7. O défiit l itégrale de f par rapport à µ comme f dµ = avec la covetio 0 = 0 = 0. f ωdµω := i=1 a i µa i, Par costructio, o e déduit la liéarité de l itégrale pour les foctios das E + a f + bgdµ = a f dµ + b g dµ, A.8 et ue propriété de mootoie f g f dµ g dµ. A.9 Cette première défiitio permet de costruire l itegratio pour toutes les foctios positives et mesurables sur A.

187 A.2. INTÉGRATION 187 Défiitio A.15. Itégrale de foctios positives Soit ue foctio mesurable f : Ω [0, ], alors so itégrale par rapport à µ est défiie par f dµ = f ω dµω := sup g E + g f g dµ. U premier théorème de covergece se déduit facilemet de cette défiitio. Théorème A.16. Covergece mootoe Soit { f } ue suite croissate de foctios mesurables, positives, covergeat vers la limite f = lim f. Alors f dµ = lim f dµ. Le symbole sert simplemet à isister sur la croissace des suites. Démostratio. La propriété de mootoie A.9 pour les foctios étagées s éted immédiatemet aux foctios mesurables. Comme f f, o e déduit aisi ue première iégalité f dµ lim f dµ. Pour établir l iégalité iverse, ous allos motrer que pour toute foctio étagée g = k i=1 a i1 Ai de E + vérifiat g f, o a lim f dµ g dµ. A.10 Il suffira esuite de predre le supremum sur g pour retrouver f dµ et coclure aisi que f dµ lim f dµ. Pour démotrer A.10, o se doe c [0, 1[ et o écrit f dµ f 1 { f c g} dµ c g 1 { f c g} dµ = c k i=1 a i µ A i { f c a i }. Comme f coverge de faço mootoe vers f, les esembles A i { f c a i } sot croissats e et la propriété A.3 implique la covergece de leurs mesures vers µa i lim f dµ c k a i µa i = c i=1 g dµ. Il suffit esuite de faire tedre c vers 1 pour retrouver A.10. U secod résultat de covergece s obtiet comme coséquece du théorème de covergece mootoe. Lemme A.17. Fatou Pour toute ue suite de foctios { f } mesurables positives, o a lim if f dµ lim if f dµ.

188 188 ANNEXE A. THÉORIE DE LA MESURE Démostratio. Pour tout l, o déduit de la propriété de mootoie A.9 que E particulier, o obtiet if k f k f l if f k dµ k if f k dµ if k k f k dµ. E utilisat la défiitio de la limite iférieure A.6 lim if f := lim if f k k f l dµ. et le théorème A.16 de covergece mootoe, o e déduit lim if f k dµ = lim if f k dµ = k k lim if f dµ. Ceci prouve le Lemme A.17. A.2.3 Foctios itégrables Pour le momet, l itégrale de Lebesgue a été défiie que pour des foctios mesurables positives. La défiitio suivate permet de gééraliser l itegratio aux foctios à valeurs das R. Défiitio A.18. Itégrale Soit ue foctio mesurable f : Ω R, o dit que f est itégrable par rapport à µ si f dµ <. O défiit alors so itégrale par f dµ = f + dµ f dµ, où les foctios f + = sup{ f, 0}, f = if{ f, 0} sot mesurables Propositio A.12 et positives. O vérifiera e particulier que la liéarité A.8 est aussi préservée pour des foctios itégrables f, g a f + bgdµ = a f dµ + b g dµ. A.11 La classe des foctios mesurables itégrables s avère u peu trop large car l itégratio est isesible aux valeurs prises par les foctios sur les esembles égligeables itroduits das la défiitio A.6. O dira que deux foctios mesurables f, g coïcidet µ presque partout si µ {ω Ω, f ω = gω} = 0. O otera f = g µ-p.p. ou f ω = gω µdω-p.p.

189 A.2. INTÉGRATION 189 pour spécifier la variable d itégratio. La termiologie µ presque sûremet otée µ-p.s. est équivalete et souvet employée das le cadre des probabilités. Si f, g sot itégrables et coïcidet µ presque partout, o a alors f dµ = g dµ. Aisi, o otera L 1 = L 1 A, µ l esemble des foctios itégrables sur l espace mesuré Ω, A, µ et o idetifiera à u même élémet toutes les foctios égales µ presque partout. Pour coclure ce paragraphe, ous rappelos 2 résultats classiques. Lemme A.19. Soit f ue foctio positive, mesurable, alors f dµ = 0 f = 0 µ-p.p. Démostratio. Il suffit de démotrer l implicatio. Pour cela, o défiit la suite d esembles croissats A = { ω Ω, f ω 1 }. Ces esembles sot tous de mesure ulle car µa = 1 A dµ f 1 A dµ f dµ = 0. Pour coclure la preuve du Lemme A.19, il suffit d appliquer A.3 à cette suite d évèemets croissats {ω } µ Ω, f ω > 0 = µ A = lim µa = 0. O e déduit que f est ulle µ presque partout. Lemme A.20. Soit f ue foctio itégrable das L 1 A, µ et ε > 0 ue costate fixée. Alors, il existe δ > 0 tel que pour tout esemble A A vérifiat µa < δ, o a 0 f 1 A dµ < ε. Démostratio. O se restreit au cas f 0 et pour tout etier, o cosidère la foctio borée f = mi f,. O a alors pour tout esemble A A µ f 1 A = µ f 1 A + µ f f 1 A µa + µ f f. Comme f coverge vers f de faço croissate, le théorème A.16 de covergece mootoe implique qu il existe assez grad pour que µ f f ε 2. Il e reste plus qu à choisir δ ε 2 pour coclure la démostratio du Lemme A.20.

190 190 ANNEXE A. THÉORIE DE LA MESURE A.2.4 Théorème de covergece domiée Cette sectio est dédiée au théorème de covergece domiée et à so applicatio aux itégrales dépedat d u paramètre. Théorème A.21 Covergece domiée. Soit { f } ue suite de foctios das L 1 A, µ vérifiat les deux hypothèses suivates : 1. Il existe ue foctio mesurable f telle que f coverge vers f, µ presque partout, quad ted vers l ifii. 2. Il existe ue foctio g positive das L 1 A, µ telle que pour tout, l iégalité f g est vraie µ presque partout. Alors f appartiet aussi à L 1 A, µ et f coverge vers f das L 1 A, µ, c est à dire f f dµ = 0. E particulier, o e déduit que lim lim f dµ = f dµ. A.12 A.13 Démostratio. Comme f g pour tout, l iégalité f g se déduit par passage à la limite et est aussi vraie µ presque partout. La limite f appartiet doc à L 1 A, µ. Ces deux iégalités impliquet aussi que la foctio 2g f f est positive. E appliquat l hypothèse 1, o remarque que lim if 2g f f = 2g. D après le Lemme A.17 de Fatou, o e déduit que 2g lim if f f dµ 2 L itégrale état liéaire, o obtiet 2 g dµ lim sup f f dµ 2 g dµ. g dµ lim sup f f dµ 0. Ceci implique la covergece A.12 das L 1 A, µ. La limite A.13 se déduit par l iégalité f f dµ f f dµ. Soit U u itervalle ouvert de R. Le théorème de covergece domiée permet de cotrôler des itégrales de la forme Fu = f u, ω dµω, où f : U Ω R est ue applicatio telle que pour tout u U fixé, ω f u, ω est mesurable et appartiet à L 1 A, µ. A.14 La régularité de f cofère différetes propriétés à la foctio u Fu.

191 A.2. INTÉGRATION 191 Théorème A.22. Soit f : U Ω R ue foctio vérifiat A.14 et u 0 U. 1. Supposos que a µ presque partout e ω, l applicatio u f u, ω est cotiue e u 0 ; b il existe ue foctio g L 1 A, µ telle que pour tout u U f u, ω gω, µ presque partout e ω. Alors la foctio u Fu = f u, ω dµω est cotiue e u Supposos que a µ presque partout e ω, l applicatio u f u, ω est dérivable sur U ; b il existe ue foctio g L 1 A, µ telle que pour tout u U f u u, ω gω, µ presque partout e ω. Alors la foctio u Fu = f u, ω dµω est dérivable sur U de dérivée F u = f u, ω dµω. u Démostratio. Nous allos d abord établir le résultat de cotiuité 1. Pour toute suite {u } 1 covergeat vers u 0, l hypothèse 1-a implique la covergece lim f u, ω = f u 0, ω, µ presque partout e ω. L hypothèse 1-b permet d utiliser le théorème de covergece domiée et d e déduire la cotiuité e u 0 lim f u, ω dµω = f u 0, ω dµω. Nous allos maiteat établir la dérivabilité 2 e u poit u 0 de U. O remarque que pour toute suite {u } 1 covergeat vers u 0, l hypothèse 2-a implique la covergece lim f u, ω f u 0, ω u u 0 = f u u 0, ω, µ presque partout e ω. A.15 Par le théorème des accroissemets fiis, o déduit de l hypothèse 2-b la bore uiforme suivate f u, ω f u 0, ω gω u u 0, µ presque partout e ω. Cette domiatio et la covergece presque partout A.15 suffiset à déduire du théorème de covergece domiée que F Fu Fu 0 u 0 = lim = u u 0 lim Ceci coclut la deuxième assertio du théorème A.22. f u, ω f u 0, ω dµω = u u 0 f u u 0, ω dµω.

192 192 ANNEXE A. THÉORIE DE LA MESURE A.3 Espaces produits Das cette sectio, ous allos aborder les aspects spécifiques de l itégratio sur des espaces produits. Ces espaces jouerot u rôle importat pour formaliser l idépedace de variables aléatoires. A.3.1 Mesurabilité sur les espaces produits Soiet 2 espaces mesurables Ω 1, A 1 et Ω 1, A 2. O associe à l espace produit Ω 1 Ω 2, la σ-algèbre produit défiie par A 1 A 2 = σ A 1 A 2 ; A 1 A 1, A 2 A 2. Il s agit de la plus petite σ-algèbre egedrée par les pavés mesurables, c est à dire les esembles de la forme A 1 A 2. Si Ω 1, Ω 2 sot des espaces métriques mesurables, o peut motrer que la σ-algèbre boréliee B Ω1 Ω 2 coïcide avec la σ-algèbre produit B Ω1 B Ω2. E particulier, la σ-algèbre boréliee B R 2 s obtiet simplemet à partir d esembles de B R. Plus gééralemet pour u ombre fii d espaces mesurables Ω i, A i avec i k, la tribu produit est costruite à partir des pavés A 1 A k = σ A 1 A k ; i k, A i A i. Iversemet, à partir d u esemble C de A 1 A 2, o peut retrouver des sous esembles de Ω 1 et Ω 2 par projectio. Soiet ω 1, ω 2 das Ω 1, Ω 2, o ote C ω1 = { ω 2 Ω 2, ω 1, ω 2 C } et C ω 2 = { ω 1 Ω 1, ω 1, ω 2 C }. La propositio suivate motre que ces esembles projetés sot mesurables. Propositio A État doé C das A 1 A 2, alors pour tout ω 1 das Ω 1, la projectio C ω1 appartiet à A 2. De même, pour tout ω 2 das Ω 2, la projectio C ω 2 est das A Plus gééralemet, supposos que f : Ω 1 Ω 2 E soit mesurable pour A 1 A 2. Alors, pour tout ω 1 das Ω 1, l applicatio ω 2 f ω 1, ω 2 est mesurable pour A 2. De plus, pour tout ω 2 das Ω 2, l applicatio ω 1 f ω 1, ω 2 est mesurable pour A 1. Démostratio. État doé ω 1 das Ω 1, la famille d esembles C = { C A 1 A 2, C ω1 A 2 }, cotiet tous les pavés de la forme A 1 A 2 de A 1 A 2. De plus C est ue σ-algèbre. Par coséquet, C coïcide avec A 1 A 2 et o obtiet la mesurabilité des esembles de la forme C ω1. Pour étudier la mesurabilité de l applicatio ω 2 f ω 1, ω 2, o cosidère l image réciproque d u esemble U de E { ω2 Ω 2, f ω 1, ω 2 U } = f 1 U ω1. Comme cet esemble est la projectio de l esemble mesurable f 1 U, o déduit de 1 qu il est mesurable das A 2. Ceci implique la mesurabilité de ω 2 f ω 1, ω 2.

193 A.3. ESPACES PRODUITS 193 O peut maiteat défiir ue mesure sur des espaces produits. Théorème A.24. Soiet Ω 1, A 1, µ 1 et Ω 2, A 2, µ 2 des espaces mesurés avec µ 1, µ 2 deux mesures σ-fiies. Il existe ue uique mesure, otée µ 1 µ 2, sur l espace produit Ω 1 Ω 2, A 1 A 2 vérifiat A 1 A 1, A 2 A 2, µ 1 µ 2 A 1 A 2 = µ 1 A 1 µ 2 A 2. A.16 La mesure d u esemble C de A 1 A 2 est alors doée par µ 1 µ 2 C = µ 2 C ω1 dµ 1 ω 1 = µ 1 C ω 2 dµ 2 ω 2. Ω 1 Ω 2 A.17 Nous e détailleros pas la preuve qui repose sur le théorème A.7 d extesio de Carathéodory, mais so pricipe est simple. Ue fois défiie sur les pavés A 1 A 2 par la relatio A.16, la mesure µ 1 µ 2 est etièremet prescrite sur A 1 A 2 car ceux-ci egedret cette σ-algèbre. Par la propositio A.23, la projectio C ω1 est das A 2 et o peut aussi vérifier que ω 1 µ 2 C ω1 est mesurable das A 1. Ceci permet de défiir la mesure C A 1 A 2, mc = µ 2 C ω1 dµ 1 ω 1. Ω 1 Sur les pavés C = A 1 A 2, cette mesure coïcide avec µ 1 µ 2 mc = µ 1 A 1 µ 2 A 2 = µ 1 µ 2 C. Par coséquet, m doit aussi coïcider avec µ 1 µ 2 sur tout A 1 A 2 car l extesio sur A 1 A 2 est uique par le théorème A.7. Ceci justifie la relatio A.17 qui permet de décomposer µ 1 µ 2 à partir des projectios sur A 1 ou A 2. A.3.2 Itégratio sur les espaces produits La mesure produit permet de défiir ue otio d itégratio sur les espaces produits comme das la défiitio A.15. Théorème A.25. Fubii Soit f ue foctio mesurable das L 1 Ω 1 Ω 2, A 1 A 2, alors ses projectios sur Ω 1 et Ω 2 sot itégrables : l applicatio ω 2 f ω 1, ω 2 est das L 1 Ω 2, A 2 pour µ 1 presque tout ω 1, l applicatio ω 1 f ω 1, ω 2 est das L 1 Ω 1, A 1 pour µ 2 presque tout ω 2. De plus, l ordre des itégratios peut être permuté f dµ 1 µ 2 = = Ω 1 Ω 2 f ω 1, ω 2 dµ 2 ω 2 dµ 1 ω 1 A.18 Ω 2 f ω 1, ω 2 dµ 1 ω 1 dµ 2 ω 2. Ω 1

194 194 ANNEXE A. THÉORIE DE LA MESURE E gééral, l iversio des itégrales A.18 est vraie que si f appartiet à L 1, c est à dire sous l hypothèse f dµ 1 µ 2 <. Cepedat das le cas d ue foctio f positive, l idetité A.18 est valable sas coditio : si ue des itégrales est ifiie les 2 autres le serot aussi. Ue démostratio du théorème A.25 de Fubii peut être trouvée page 77 du livre [25]. Le schéma de la preuve est idetique à celui suivi pour costruire l itégratio. Pour des foctios étagées l iversio des itégrales A.18 est ue coséquece de l idetité A.17 sur des esembles de A 1 A 2. Esuite l itégrale de foctios positives s obtiet par approximatio par des foctios étagées cf. défiitio A.15. Fialemet, les foctios arbitraires se décomposet sous la forme f = f + f pour se rameer au cas des foctios positives.

195 Aexe B Rappels sur la théorie des probabilités Ce chapitre repred quelques élémets de théorie des probabilités e isistat sur les lies avec la théorie de la mesure présetée das l aexe A. B.1 Variables aléatoires La théorie des probabilités est ue vaste escroquerie qui cosiste à recycler des otios de théorie de la mesure à l aide d ue ouvelle termiologie. Aisi u espace de probabilité Ω, A, P est rie d autre qu u espace mesurable Ω, A mui d ue mesure P : A [0, 1] de masse totale 1, i.e. PΩ = 1. Les variables aléatoires sot simplemet des foctios mesurables sur Ω. Défiitio B.1 Variable aléatoire. Soiet Ω, A et E, E deux espaces mesurables. Ue variable aléatoire X à valeurs das E est ue applicatio mesurable de Ω das E. Si X est à valeurs das R, so itégrale est appelée espérace et otée EX = Ω XωdPω. L espérace s iterprète comme la valeur moyee de la variable X. E particulier, si X = 1 C alors la probabilité de l évèemet C vaut PC = E1 C. Ce chagemet de termiologie s accompage aussi d u chagemet de poit vue qui met l accet sur la otio de loi. Défiitio B.2 Loi d ue variable aléatoire. Soit X ue variable aléatoire de Ω, A das E, E. La loi P X de X est la mesure image de P par X. Il s agit d ue mesure de probabilité sur E, E associat à tout esemble C das E la mesure P X C = P X 1 C = P X C = P {ω Ω, Xω C}. Pour illustrer ce cocept, o cosidère u dé à 6 faces dot la valeur est doée par X {1,..., 6}. O pourrait coder par ue variable ω tous les paramètres associés à 195

196 196 ANNEXE B. THÉORIE DES PROBABILITÉS la coditio iitiale du lacer du dé et déduire de la mécaique Newtoiee la valeur Xω à l issue du lacer. Ue telle approche supposerait de mesurer u ombre gigatesque de paramètres das u espace Ω et de détermier précisémet l applicatio ω Xω. La otio de loi permet de s abstraire de cette descriptio e oubliat le détail du mouvemet et e défiissat uiquemet ue probabilité P X sur {1,..., 6}. O e cherchera jamais à preciser l applicatio ω Xω et o se cotetera de quatifier des évèemets simples du type P X {1} = PX = 1. Si f : E R est ue applicatio mesurable et X : Ω E ue variable aléatoire, alors f X est aussi ue variable aléatoire cf. le poit i de la propositio A.12. So espérace est doée e foctio de la loi de X E f X = f x dp X x. σ-algèbre egedrée par ue variable aléatoire E Ue variable aléatoire X sur u espace mesurable Ω, A peut e dépedre que d ue iformatio partielle sur Ω. Par exemple, Ω peut coder plusieurs lacers d u dé et Xω est simplemet le résultat du premier lacer. Das ce cas, seulemet ue partie des esembles de A suffira à redre compte de X. Plus gééralemet, o peut associer à X la plus petite σ-algèbre de A qui rede X mesurable. Défiitio B.3. Soit X ue variable aléatoire de Ω, A das E, E. La σ-algèbre egedrée par X est défiie par σx = { A = X 1 B; B E } A. Pour ue famille de variables aléatoires {X i } i I de Ω, A das E i, E i i I avec I évetuellemet déombrable, la σ-algèbre egedrée est défiie par σ {X i } i I = σ X 1 i B i ; B i E i, i I A. Le lemme suivat permet de décrire toutes les variables aléatoires mesurables par rapport à σx, i.e. à l iformatio relative à la variable aléatoire X. Lemme B.4. O cosidère deux variables aléatoires sur Ω, A, P : X à valeurs das E, E et Y à valeurs das R. Alors Y est σx-mesurable si et seulemet s il existe ue foctio mesurable f : E R telle que Y = f X. Démostratio. Si Y = f X alors Y est σx-mesurable d après i de la Propositio A.12. Réciproquemet supposos que Y soit σx-mesurable. Si Y = i=1 a i 1 Ai est ue foctio étagée, alors les esembles A i sot de la forme X 1 B i car ils appartieet à σx. O e déduit que Y = f X où f est la foctio E-mesurable défiie par x E, f x = a i 1 Bi x. i=1 E gééral, o peut approcher la variable aléatoire Y par ue suite de variables {Y } étagées et σx-mesurables. Pour cela, il suffit de décomposer Y = Y + Y et d appliquer la propositio A.11. L étape précédete permet de costruire { f }, ue suite de foctios E-mesurables telles que Y = f X. Pour tout ω, o a alors la covergece vers ue foctio f telle que f Xω = lim f Xω = Yω. Ceci coclut le Lemme B.4.

197 B.2. INTÉGRATION DE VARIABLES ALÉATOIRES ET ESPACES L P 197 B.2 Itégratio de variables aléatoires et espaces L p Les résultats établis das l aexe A sur l itégratio des foctios mesurables se trasposet aturellemet aux variables aléatoires. B.2.1 Théorèmes de covergece Les théorèmes fodametaux de covergece sot rappelés ci-dessous das le formalisme probabiliste. Soit {X } 1 ue suite de variables aléatoires à valeurs das R qui coverge vers X presque sûremet. Théorème de covergece mootoe : Si X coverge de faço croissate vers X et X 0 alors lim EX = EX. B.1 Théorème de covergece domiée : Supposos qu il existe ue variable aléatoire Y itégrable, i.e. E Y <, telle que X Y pour tout, o a alors lim E X X = 0. B.2 Lemme de Fatou : Si X 0 alors Dérivatio : lim if EX E lim if X = EX. B.3 Soit X ue variable aléatoire à valeurs das R et f ue foctio telle que u U R, E f u, X <. S il existe ue foctio g vérifiat u, x U R, u f u, x gx avec E gx <, alors la foctio u E f u, X est différetiable et u U, u E f u, X = E u f u, X. B.2.2 Iégalités classiques Cette sectio rappelle quelques iégalités importates e théorie de l itégratio.

198 198 ANNEXE B. THÉORIE DES PROBABILITÉS Propositio B.5 Iégalité de Hölder. Soiet X, Y deux variables aléatoires à valeurs das R telles que E X p < et E Y q < avec p > 1 et 1 p + 1 q = 1. L iégalité de Hölder s écrit E XY E X p 1/p E Y q 1/q. B.4 Démostratio. O vérifie facilemet que u, v 0, u 1/p v 1 1/p 1 p u p v. E appliquat cette iégalité à U = Xω p E Yω q X p et V = E Y q puis e preat l espérace, o e déduit que 1 E X p 1/p 1 E Y q 1/q E X p/p Y q1 1/p 1 p = 1, p car EU = EV = 1. Comme q 1 1 p = 1, o retrouve l iégalité B.4. Propositio B.6 Iégalité de Mikowski. Soiet X, Y deux variables aléatoires à valeurs das R telles que E X p < et E Y p < avec p > 1. L iégalité de Mikowski s écrit E X + Y p 1/p E X p 1/p + E Y p 1/p. B.5 Démostratio. E utilisat l iégalité o e déduit X + Y p X X + Y p 1 + Y X + Y p 1, E X + Y p E X X + Y p 1 + E Y X + Y p 1. O applique esuite à chaque terme l iégalité de Hölder B.4 avec q = E X + Y p E X p 1/p E X + Y qp 1 1/q + E Y p 1/p E X + Y qp 1 1/q E X p 1/p + E Y p 1/p E X + Y p 1/q. Ceci prouve l iégalité de Mikowski B.5. p p 1

199 B.2. INTÉGRATION DE VARIABLES ALÉATOIRES ET ESPACES L P 199 Propositio B.7 Iégalité de Markov. Soit X ue variable aléatoire à valeurs das R. Si f : R R + est ue foctio boréliee croissate et positive, alors l iégalité de Markov s écrit pour tout c R f c P X c E f X. B.6 E particulier, o e déduit que pour c > 0 P X c 1 c E X et P X c 1 c 2 E X 2. B.7 Démostratio. Comme f est positive et croissate, l espérace de f X est borée iférieuremet par E f X E f X1 {X c} f c P X c. Ceci coclut la preuve de l iégalité de Markov B.6. Les iégalités B.7 sot ue coséquece de B.6 appliquée à X avec f x = x et f x = x 2. Propositio B.8 Iégalité de Jese. Soiet ue variable aléatoire X das L 1 A, P et ue foctio covexe g : R d R { } telle que E gx <. L iégalité de Jese s écrit E gx g EX. B.8 Démostratio. 1 État doé M > 0, la foctio g M x = sup{gx, M} est aussi covexe. Nous allos d abord motrer l iégalité de Jese pour g M E g M X g M EX. B.9 L iégalité B.8 se déduit esuite par passage à la limite M, e utilisat le théorème de covergece domiée car g M g et gx est itégrable. O cosidère ue suite {X i } i 1 de variables aléatoires idépedates et idetiquemet distribuées de même loi que X. O obtiet par la covexité de g M que E g i=1 X i M E 1 g M X i i=1 La loi des grads ombres implique la covergece presque sûre g M E X = lim g i=1 X i M. = E g M X. Comme g M est borée iférieuremet, le lemme de Fatou permet de coclure g M E X = E lim if g i=1 X i M lim if E g i=1 X i M E g M X. 1. Cette démostratio, due D. Chafaï, repose sur des argumets probabilistes. Ue preuve plus classique se trouve page 61 de [25].

200 200 ANNEXE B. THÉORIE DES PROBABILITÉS B.2.3 Espaces L p La otio d espace L 1 itroduite page 189 peut être gééralisée. Pour tout p das [1, + [, o otera L p = L p A, P l esemble des variables aléatoires X sur l espace de probabilité Ω, A, P telles que X p = E X p 1/p <. Pour p =, l espace L est l esemble des variables aléatoires X vérifiat X = if { C R + ; X C presque sûremet } <. Comme das le cas de l espace L 1, o idetifiera les variables aléatoires de L p qui coïcidet presque sûremet. L iégalité de Mikowski B.5 est rie d autre que l iégalité triagulaire das L p X + Y p X p + Y p. Les espaces L p sot décroissats, c est à dire que L p L r pour 1 r p. E effet, e appliquat l iégalité de Jese B.8, o motre que pour toute variable aléatoire X das L p X r X p avec 1 r p. B.10 L espace L 2 joue u rôle privilégié car l applicatio X, Y E[XY] défiit u produit scalaire sur L 2 et cofère aisi à L 2 ue structure hilbertiee. Das ce cas particulier, l iégalité de Hölder B.4 correspod à l iégalité de Schwarz. Aisi pour toutes variables aléatoires X, Y das L 2, o a EXY X 2 Y 2. B.11 Le théorème suivat motre que les espaces L p sot complets. Ceci sera essetiel pour établir la covergece de suites de variables aléatoires. Théorème B.9. Pour p 1, l espace L p mui de la orme p est u espace de Baach. Plus précisémet, si {X } 1 est ue suite de Cauchy das L p, i.e. X X m p 0 quad, m, alors cette suite coverge vers ue variable aléatoire X apparteat à L p lim X X p = 0. Démostratio. Pour motrer que l espace L p est complet, ous cosidéros ue suite de Cauchy {X } 1 et ous allos motrer qu elle coverge. Il existe ue suite d etiers k strictemet croissate telle que X k+1 X k p 1 2. B.12

201 B.3. CONVERGENCES 201 O e déduit, par l iégalité B.10, que et par coséquet E X k+1 X k X k+1 X k p 1 2, E X k+1 X k <. 1 Aisi, la série 1 X k+1 X k est fiie presque sûremet et o peut défiir la variable aléatoire X = X k1 + =1 X k+1 X k qui appartiet à L 1. Comme X kl peut se réécrire sous la forme d ue série télescopique X kl = X k1 + l 1 =1 X k+1 X k, la suite extraite {X kl } l 1 coverge presque sûremet et das L 1 vers X. L iégalité B.12 permet de vérifier que X appartiet à L p et que la covergece est aussi valable das L p. B.3 Covergeces Les variables aléatoires état des foctios mesurables les otios de covergece presque sûre et de covergece das L p s appliquet aussi. Soiet {X } 1 et X des variables aléatoires à valeurs das R d défiies sur l espace de probabilité Ω, A, P. La suite {X } 1 coverge presque sûremet vers X si P { ω Ω; Xω = lim X ω } = 1. Pour p 1, la suite {X } 1 coverge vers X das L p si lim E X X p = 0. Nous allos aussi défiir deux autres types de covergece plus faibles qui serot plus faciles à démotrer. Le schéma ci-dessus résume les lies etre les différetes otios de covergece évoquées das cette sectio.