Les Probabilités du Bonheur, et les Aplications des Processus de Markov et de Levy dans les Mathématiques financières, Files d attente et Fiabilité

Les Probabilités du Bonheur, et les Aplications des Processus de Markov et de Levy dans les Mathématiques financières, Files d attente et Fiabilité Master Mathématiques, Modélisation et Simulation Florin Avram, Université de Pau

Table des matières Processus et champs aléatoires 5. Les processus de Markov............................ 6 2 Chaînes de Markov 7 2. L évolution de la loi de probabilité d une chaîne................ 7 2.2 Probabilités de transition en n étapes...................... 8 2.3 Quelques exemples de modélisation par les chaînes de Markov........ 9 2.4 Classification des états.............................. 0 2.5 Le comportement limite des chaînes de Markov................ 2.5. Lois invariantes et lois asymptotiques.................. 2.5.2 L ergodicité................................ 3 2.5.3 Le théorème ergodique.......................... 4 2.6 Marches aléatoires et relations de récurrence.................. 4 2.6. Marches aléatoires sur R d........................ 5 2.6.2 Moments et cumulants des marches aléatoires............. 6 2.6.3 La méthode du conditionnement sur le premier pas.......... 7 2.6.4 La ruine du joueur pour la marche aléatoire simple.......... 8 2.6.5 Probabilités du bonheur/fonctions harmoniques............ 23 2.6.6 Marches aléatoires sur les graphes : distributions stationnaires.... 24 2.6.7 Les espérances des temps d atteinte, et les problèmes de Dirichlet nonhomogènes................................. 26 2.6.8 Temps esperés de retour......................... 27 2.6.9 Méthode des fonctions génératrices................... 3 2.6.0 Problèmes de premier passage sur un intervalle semi-infini...... 33 2.6. Les fonctions harmoniques des marches aléatoires de réseau (*).... 34 2.6.2 Exercices................................. 35 2.7 Ou on voit que les probabilités de premier passage interviennent dans le comportement limite des chaînes........................... 37 2.7. Le cas purement absorbant : les probabilités d absorbtion....... 38 2.7.2 La distribution limite dans le cas faiblement ergodique........ 39 2.7.3 Echauffement pour le cas general.................... 40 2.7.4 Le comportement limite des chaînes, par la decomposition spectrale. 43 2.7.5 La structure probabiliste de la matrice de distributions a la longue.. 44 2.7.6 Le calcul de la distribution limite dans le cas général......... 45 2.7.7 La périodicité............................... 48 2.7.8 Le théorème de Perron-Frobenius.................... 49 2.7.9 Exercices................................. 50 2

2.8 Exercices de révision............................... 5 2.9 Contrôle continu................................ 57 2.0 Contrôle continu 20.............................. 63 3 Programmation 66 3. Scilab et Logiciels symboliques (SAGE et maxima).............. 66 3.2 Projets....................................... 66 3.3 Sage........................................ 70 3.3. Algèbre et Analyse de base........................ 7 3.3.2 Pourquoi utiliser des logiciels symboliques............... 72 3.3.3 Algèbre linéaire.............................. 74 4 Le processus de Poisson 77 4. La distribution de Poisson et exponentielle................... 77 4.2 Le processus de Poisson multidimensionel.................... 79 4.3 Processus de comptage et renouvellement en temps continu.......... 80 4.4 Le processus de Poisson unidimensionel..................... 8 4.5 Le processus de Poisson comme limite des processus de Bernoulli....... 83 4.6 Le processus de Poisson composé........................ 83 4.7 La propriété de Markov du processus de Poisson composé........... 85 4.8 Exercices...................................... 85 5 Les processus markoviens de saut, en temps continu 88 5. La proprietè de Markov.............................. 88 5.2 Les semigroupes de Markov homogènes ; calcul de l exponentielle des operateurs 89 5.3 Premier exemple : le processus de Poisson................... 92 5.4 Processus de naissance et de mort, marches aléatoires et files d attente... 93 5.5 Les files d attente................................. 94 5.6 Distribution stationnaire et comportement asymptotique........... 95 5.7 Ou sautera la sauterelle?............................. 97 5.8 Distributions de type phase/matrice exponentielle............... 99 5.9 Les distributions de type phase discrètes.................... 02 5.0 Problèmes de Dirichlet/première passage.................... 04 5. Chaînes et processus a espace d états infini................... 06 5.2 Récurrence des chaînes à espace d états denombrable............. 06 5.3 Fiabilité pour les processus semi-markoviens de sauts............. 08 5.4 Réseaux de Jackson................................ 09 5.5 Conclusions.................................... 09 5.6 Exercices...................................... 2 6 Résolution des èquations de Chapman-Kolmogorov (*) 8 6. Le processus de Poisson ; le calcul de l exponentielle des matrices triangulaires 8 6.2 Résolution des èquations Chapman-Kolmogorov pour le processus de Markov à deux états.................................... 20 6.3 Résolution des èquations de Chapman-Kolmogorov par la méthode de différences finies de Newton (Putzer)............................ 20 6.4 Les probabilités transitoires des processus de naissance et mort.......... 2 3

7 Processus de Levy : marches aléatoires en temps continu 25 7. Définition et propriétés de linéarité de processus de Levy........... 25 7.2 Exemples de processus de Levy......................... 26 8 Marche aléatoire infinitesimale, mouvement Brownien et mathématiques financières 28 8. Le mouvement Brownien standard........................ 29 8.2 Problèmes de premier passage de Dirichlet et Poisson............. 30 8.3 La formule de Black-Scholes pour les options d achat............. 3 9 Laplace, Thiele, Levy et Bachelier 33 0 Qu est ce qu il y aura dans l examen? 35 0. Examen d entraînement............................. 35 0.2 Examen d entrainement 2............................ 37 4

Chapitre Processus et champs aléatoires Beaucoup de problèmes en physique, biologie, etc, ramène à l étude des champs aléatoires, qui sont des collections des variables aléatoires X t, t I, où l ensemble des indices I peut-être N d, Z d, R d, un ensemble fini, etc. Pour le cas des indices unidimmensionels I = N(Z) et I = R on utilise aussi le nom processus stochastiques (à temps discret, respectivement continu). Définition.0. Soit I un ensemble quelconque. On appelle processus aléatoire X indexé par I toute famille (X t ) t I, de vecteurs aléatoires définis sur un même espace de probabilité (Ω, A, P ) et à valeurs dans d états E. Celui la peu-être E = R p, C p, ou même un espace des fonctions comme E = C [0, ), C (p) [0, ), etc. Note : Lorsque E = R p et p =, une seule valeur est observée à chaque instant t, alors que lorsque p >, plusieurs variables sont observées et on parle de processus multidimensionnels ou multivariés. L espace I est souvent le temps, ainsi : I = N : instants successifs à partir d un instant initial t 0. I = Z : instants successifs avant et après un instant t 0. I = R ou R + : idem mais processus à temps continu. I = Z 2 : images. I = Z 3 : modèle de la matière. Nous allons considèrer ici seulement des processus à indices unidimmensionels N, Z, R (les premièrs deux cas étant appellés aussi séries chronologiques en statistique). L étude est facilité alors par l existence d un ordre complet entre les indices. Dans le cas des espaces d états E finis ou dénombrables, les variables X i, i I sont appellées discrètes ; pour E = R d, on parle des variables continues. Le cas discret est le cas plus simple, car il permet d éviter plusieurs details téchniques (par exemple, dans ce cas, l ensemble des evenements mesurables pour une variable X i0 est simplement l ensemble de toutes les parties de E). Pour modéliser un champs/processus il est necessaire de spécifier de manière consistente l ensemble de toutes ses distributions jointes d ordre fini. Définition.0.2 Soit X. = X t, t I un champs aléatoire et soit J I un sous ensemble fini. On dénotera par X J la distribution jointe des variables X t, t J. L ensemble X J : J I, J < sera appellé la famille des distributions jointes d ordre fini de X. En pratique, des proprietés supplementaires sont necessaires pour reduire la complexité inherente dans le modèle ci dessu. 5

Les processus à variables X t indépendants sont simples à utiliser, mais peut-être trop simples pour modéliser des phénomènes intéressants. dans ce cas, les distributions jointes sont simplement des produits. Le prochaîne degré de complexité est donné par les processus Markoviens. Ils incluent les marches aléatoires S n = n i= Z i, Z i i.i.d., mais cette famille est aussi une trasformation simple des processus à variables indépendants, et ça simplifie son étude (par exemple la démonstration du CLT). La classe des processus Markoviens est extremement riche, avec une complexité qui depend des ensembles E, I.. Les processus de Markov Définition.. -Proprietè de Markov Un processus X = (X t ) t 0, avec t unidimmensionel a la proprietè de Markov si, et seulement si ses probabilités conditionelles ne depend pas du passé que par le passé imediat, i.e. 0 t0 < t < < t k < t, t i R, et e i0, e i,..., e ik, e i E P ([X t A] [X t0 = e i0,..., X tk = e ik ]) = P ([X t A] [X tk = e ik ]) Interprétation de la propriété de Markov : si on considère que le processus est indicé par le temps, cette propriété traduit le fait que le présent ne dépend du passé qu à travers le passé immédiat. Un processus ayant la proprietè de Markov s apelle processus de Markov. Exemples : 2.3 et 2. de Ruegg, et les exemples de Belisle. Définition..2 Matrice des transitions Pour tous 0 s t, pour tous i, j dans I, et pour chaque processus de Markov, on définit les probabilités de transition par : p ij (s, t) = P ([X t = e j ] [X s = e i ]). Définition..3 Homogeneité des transitions Un processus est dit homogène si, et seulement si : i, j I, 0 s t, p ij (s, t) = p ij (0, t s). On note alors p ij (s, t)= p ij (t s), et la matrice p ij (t) est appellée matrice de transition après temps t. Hypothèse de travail : (H) On ne considérera ici que des processus homogènes. L exemple le plus simple des processus de Markov homogènes est fourni par les chaînes de Markov en temps discret et à espace d états fini ou dénombrable. 6

Chapitre 2 Chaînes de Markov On considére maintenant le cas des processus X n observés en temps discret : n = 0,, 2,... La propriété de Markov a lieu quand la loi conditionnelle de X n sachant (X 0, X,..., X n ) est la même loi que la loi conditionnelle de X n sachant X n. Ces processus sont entièrement characterisés par leur matrice de transition p i,j () = P ([X n = e j ] [X n = e i ]) après temps, qu on denotera par p i,j. Définition 2.0.4 Une chaîne de Markov (X n ) n N est dite homogène si : e i, e j E, P ([X n = e j ] [X n = e i ]) ne dépend pas de n. La matrice P = (p ij ) i,j I, appellée matrice de transition, est la plus importante characteristique d une chaîne. Cette matrice P est une matrice stochastique, c est-à-dire une matrice telle que :. i, j I, p ij 0 et 2. i I, j I p ij = ; la somme des termes de chaque ligne égale à. En notation vectorielle, on a P =, ou denote un vecteur avec tous les composantes. Rémarque : Même qu on utilise parfois le terme matrice si E est infini, la theorie dans ce cas est un peu differente. 2. L évolution de la loi de probabilité d une chaîne Définition 2.. Pour tout n de N et tout i de I, on note µ i (n) = P [X n = e i ] et µ (n) = (µ i (n)) i I. Le vecteur µ (n) définit une probabilité sur (E, P (E)) appelée loi à l instant n. On appelle loi initiale de la chaîne (X n ) n N le vecteur µ (0). Exemple 2.. Calculer les distributions µ (), µ (2) pour une marche sur le graphe papillon, en sachant que : a) le départ est surement à 0 b) le départ est avec probabilités egales en 0 ou en U, i.e. µ (0) = (/2, 0, 0, 0, /2). En conditionnant sur la position k un pas en avant, on verifie que µ () = µ (0) P, et µ (n + ) = µ (n) P (2.) 7

O U B A Figure 2. Marche aléatoire simple sur le graphe papillon C et alors par induction on trouve µ (n) = µ (0) P n (2.2) Exemple 2..2 Soit (X n ) n N une chaîne de Markov homogène sur ( l ensemble {, ) 2}, de distribution initiale µ(0) = (µ, µ 2 ) et de matrice de transition P = a a b b Calculez P{X 0 = 2, X = 2}, c 2 () = P{X = 2}, P{X 0 = 2 X = 2}, P{X 0 = 2, X = 2, X 2 = }, c 2 (2) et P{X 0 = 2, X 2 = }. Ce dernier exercice nous sugère la necessité d étudier la probabilité de transition après n étapes. 2.2 Probabilités de transition en n étapes Définition 2.2. Pour tout n de N, on définit la matrice des probabilités de transition en n étapes, ( ) elle est notée P (n) = p (n) ij où p (n) ij = P ([X n = e j ] [X 0 = e i ]). i,j I Note : La distribution de X en partant de X 0 = i, est donné par la ligne i de la matrice P, et la distribution de X n en partant de X n = i est donné par la ligne i de la matrice P n. Théorème 2.2. Les matrices de transition en n étapes ont une structure de semi-group, i.e. P (m+n) = P (m) P (n) (2.3) Ce resultat très important s appelle l equation de Chapman-Kolmogorov. Démonstration: Soit (X n ) n N une chaîne de Markov homogène de matrice de transition P et de loi initiale µ (0), à valeurs dans (E = {e i ; i I}, P (E)). En conditionnant sur la position k après m pas, on a : i, j I, m, n N, p (m+n) ij = k I p (m) ik p(n) kj 8 QED

Corollaire 2.2. P (n) = P n, i.e. le semi-groupe des matrices de transition est generé par la matrice P de transition après temps. Demonstration : on montre ça par récurrence sur n, en partant de P () = P, et en tenant compte que P (n+) = P (n) P (par l equation de Chapman-Kolmogorov (2.3)). Rémarque Comme illustré dans les exemple ci-dessus, en utilisant la distribution initale µ (0) et la matrice de transition P on peut calculer la distribution µ (n) a n importe quel temps, par exemple µ (), µ (2)... et aussi les distributions jointes pour n importe quel ensemble fini des temps (en utilisant la loi de multiplication des probabilités conditionnelles). En effet, on peut donner une formule explicite pour les distributions jointes d ordre fini d une chaîne, en fonction de la matrice de transition P et la distribution initiale µ(0). Théorème 2.2.2 Pour une chaîne de Markov, les distribution jointes sont données pour : t 0 < t < < t k, t i R, et e i0, e i,..., e ik E explicitement par P [X t0 = e i0,..., X tk = e ik ] = µ i0 (t 0 )P t t 0 i 0,i...P t k t k i k,i k (2.4) Remarque 2.2. Il est convenable d identifier une chaîne de Markov avec sa matrice de transition P, qui est l element principal du duo (P, µ(0)). Définition 2.2.2 La chaîne de Markov associé à une matrice stochastique P est la famille des mesures P µ(0) définies par (2.4), avec operateurs d esperance associés E µ(0) (donc pour obtenir une seule mesure, il faut encore specifiér la mesure initiale µ(0)). 2.3 Quelques exemples de modélisation par les chaînes de Markov Pour modéliser une situation par une chaîne de Markov, on a besoin d abord de choisir un espace d états convenable tel que la proprieté de Markov est satisfaite, et ensuite de déterminer la matrice de transitions. Exemple 2.3. Un processus qui n est pas une chaîne de Markov a priori, mais qu on peut rendre Markov par un bon choix de l espace d états. Soit (X n ) n N un processus à deux états, notés e et e 2. On suppose que les transitions entre les étapes n et n + s effectuent selon le procédé suivant : { Si Xn = X n alors P ([X n+ = e ] [X n = e i ]) = 3 4 Si X n X n alors P ([X n+ = e ] [X n = e i ]) = 2 a) Montrer que (X n ) n N n est pas une chaîne de Markov. b) Construire un espace d états permettant de modéliser ce processus par une chaîne de Markov et donner alors son graphe. Solution : b) On construit l espace d états suivant : {e e, e e 2, e 2 e, e 2 e 2 }. Sur cet espace, le processus devient Markovien, et la matrice de transition s écrit : 3 0 0 4 4 P = 0 0 2 2 0 0 2 2 0 0 3 4 4 9

Exemple 2.3.2 Une companie d assurance voiture a un système de bonus avec niveau : 0% réduction niveau 2 : 25%réduction cinq niveaux pour les assurés sans sinistres déclarés : niveau 3 : 40% réduction niveau 4 : 50% réduction niveau 5 : 60% réduction Pour un assuré, la probabilité de ne pas avoir de sinistre dans un an est de 0.8. Les regles selon on passe d un niveau (état)à l autre sont : Apr`s une année sans sinistre on passe au niveau supérieur suivant ou on reste au niveau 5 Apr`s une année avec un ou plusieurs sinistres on diminue d un niveau si l année précedente, il n y a pas eu de déclaration de sinistre. on diminue de deux niveaux si l année précedente il y a eu au moins une déclaration de sinistre.. Notons par X(t) le niveau,soit, 2, 3, 4 ou 5, de l assuré pour l année t. Expliquez pourquoi {X(t)} t= n est pas une chaîne de Markov. 2. En augmentant le nombre de niveaux, définissez un nouveau processus stochastique {Y (t)} t= qui soit Markov et de telle manière que Y (t) représente le niveau de réduction pour l assuré dans l année t. 3. Déduire la matrice de transition pour la chaîne de Markov {Y (t)} t=. Solution :. {X(t)} n est pas Markov parce que, par exemple, P[X t+ = 3 X t = 4, X t = 3,...] ne peut pas se réduire à P[X t+ = 3 X t = 4]. 2. Définition des nouveaux niveaux : 3=40% réduction cette année, apr`s 25% l année dernière 4=50% réduction cette année, apr`s 40% l année dernière 3a=40% réduction cette année, apr`s 50% l année dernière 4a=50% réduction cette année, apr`s 60% l ann ee dernière 3. La matrice de transition est alors 2 3 4 5 3a 4a 0.2 0.8 0 0 0 0 0 2 0.2 0 0.8 0 0 0 0 3 0 0.2 0 0.8 0 0 0 4 0 0 0 0 0.8 0.2 0 5 0 0 0 0 0.8 0 0.2 3a 0.2 0 0 0.8 0 0 0 4a 0 0.2 0 0 0.8 0 0 Exemple 2.3.3 Supposons que une pluie eventuelle demain depend de la situation du temps dans les trois jours précédents, ainsi : a) S il y a eu de la pluie dans les deux jours précédents, alors il va pleuvoir avec probabilité.8. b) S il y a pas eu de la pluie dans aucun des trois jours précédents, alors il va pleuvoir avec probabilité.2. c) Autrement, la situation va etre la meme comme dans le jour precedent avec probabilité.6. Modéliser cette situation par une chaîne de Markov, en donnant l espace des états et la matrice de transition. 2.4 Classification des états Définition 2.4. Soient e i et e j deux éléments de E. On dit que e i conduit à e j (on note e i e j ) ssi il existe n > 0 tel que p (n) ij > 0 et on dit que e i et e j communiquent (et on note e i e j ) si e i conduit à e j et e j conduit à e i. 0

Rémarque : la relation est clairement symétrique, reflexive et transitive. alors, elle partage l espace d états dans des classe d équivalence. Définition 2.4.2 On appelle classes de la chaîne : les classes d équivalence induites par la relation sur E. Définition 2.4.3 Une classe d equivalence dans une chaîne de Markov finie qui n a pas de transitions vers l exterieur est dite récurente ; les autres classes s appellent transitoires. Rémarque : La distinction entre elements transients et recurents a une grande portée sur la valeur des limites lim n P n (i, j). On verra que pour j transient, elle est toujours 0. Définition 2.4.4 Le graphe de communication d une chaîne est un graphe sur les états (indiqués par des points du plan), avec des cotés représentant les transitions possibles (indiqués par des flèches, avec la valeur de la probabilité de transition notée au dessus). 2.5 Le comportement limite des chaînes de Markov 2.5. Lois invariantes et lois asymptotiques Une question très importante pour les chaînes de Markov est de déterminer les distributions asymptotiques/a la longue/limites d une chaîne specifié par µ(0) et P : π( ) µ(0) = π( ) = lim n µ (n) = lim n µ(0)p n (2.5) A priori, il pourrait y exister une limite asymptotiques différente (2.5) pour chaque distribution de départ µ(0). Plus précisement, on pourrait avoir des distributions limite différentes π( ) i pour chaque point de départ sur µ(0) = δ i. Remarque 2.5. Comme δ i P n est précisement la ligne i de la matrice P n, on trouve par (2.5) que les limites asymptotiques π( ) i pour chaque point de départ nonaléatoire possible i =,..., I sont précisement les lignes de la matrice P = lim P n n. On appelera cette matrice la matrice de transition asymptotique. En plus, ces vecteurs de probabilité sont les points extremaux de l ensemble des toutes les distributions asymptotiques possibles. Alors, la question de l ergodicité = existence + unicité de la distribution asymptotiques est equivalente à la question : Question (ERG) : Est-ce-que la limite matrice P = lim n P n existe et estce-que elle a des lignes identiques, i.e. est-ce-que on a P = π? (ici denote un vecteur colonne et π un vecteur ligne). Les reponses aux questions (E),(U) et (ERG) peuvent-être abordées par la structure spectrale (valeurs propres, vecteurs propres) speciale de la matrice P, en utilisant le théorème de Perron-Frobenius pour les espace d états finies. et encore des autres limites données par l ensemble convexe engendré par π( ) i, i E. Définition 2.5. L ensemble des distributions limite π( ) µ(0) d une chaine P, obtenues en variant la distribution initiale µ(0), sera appellé l ensemble des distributions asymptotiques.

Req Équations d équilibre/stationnarité/invariance Remarque 2.5.2 En supposant que la limite (2.5) existe (ce qu il n y est pas toujours le cas), on voit par µ(n + ) = µ(n)p que chacune de cettes distributions a la longue doit satisfaire les équations π( ) = π( )P Définition 2.5.2 Les équations π = πp (2.6) sont appelées équations d équilibre/stationnarité/invariance, et un vecteur des probabilités qui les satisfait est appelé distribution stationnaire ou invariante. Autrement dit : une distribution stationnaire π est un vecteur de probabilités qui est aussi vecteur propre a gauche de P associé à la valeur propre. Remarque 2.5.3 Le nom stationnaire vient du fait que si µ(0) = π, alors on a µ(n) = π pour chaque n. Par la rémarque (2.5.2), il suit que : inc0 Corollaire 2.5. Les distributions asymptotiques d une chaîne de Markov homogène se trouvent parmi les distributions stationnaires. Le système d équilibre (2.6) est donc la clé du calcul des distributions asymptotiques. Deux questions fondamentales ici sont celles de l existence d au moins une solution, et de l unicité. Questions (E-U) : ) Est-ce que c est possible qu il n existent pas des vecteurs des probabilités qui satisfont le système d équilibre (2.6) (i.e. est-ce que c est possible qu il n y ait pas des vecteurs propres pour la valeur propre qui ont toutes les composants nonnégatives)? 2) Est-ce que c est possible qu il existent plusieurs vecteurs des probabilités qui satisfont le système d équilibre (2.6)? Une autre question fondamentale est si dans la presence d une solution unique du système d équilibre (2.6), elle sera forcement attractive, donc il y aura de la convergence lim n µ(0)p n = π pour n importe quel µ(0). Dans la términologie des systêmes dynamiques, cette situation correspond au cas quand l équation d évolution µ(n + ) = µ(n)p admet un seul point invariant stable, le basin d attraction du quel est tout l éspace (donc toutes les orbites qui partent de n importe quel µ(0) convergent vers π). Mais, il y a aussi des situations plus compliquées : Exemple 2.5. L inexistence de la limite P = lim n P n pour les chaînes cycliques. La limite P n existe pas toujours, comme on voit immediatement en examinant une chaîne de Markov qui bouge cycliquement sur les noeuds d un graphe. Par exemple, pour n = 3, avec ( la matrice ) de transition ( ) 0 0 0 0 P = 0 0, on a : P 3n = I 3, P 3n+ = P et P 3n+2 = P 2 = 0 0. 0 0 0 0 On voit immediatement que la suite P, P 2, P 3 = I, P 4 = P,... est cyclique et donc sans limite. Ici, la distribution stationnaire π = (/3, /3, /3) est unique, mais instable, et tout l espace se decompose dans des cycles invariants instables d ordre 3. 2

Les équations d équilibre local Exemple 2.5.2 Pour une marche aléatoire X t, t = 0,, 2,... sur un graphe formé de deux tetrahèdres superposés, calculer :. L ésperance en partant de U du nombre de pas T O jusq au coin opposé O.Indication : Utiliser la symmetrie. 2. L ésperance en sortant de O du nombre de pas T O jusq au premier retour à O. 3. La probabilité p A = P A {X T = U}, ou T = min[t U, T O ]. 4. La probabilité p k en partant de O que la marche visite U exactement k fois (k = 0,, 2,...) avant le premier retour à O. Vérifier la somme k=0 p k. 5. Les probabilités stationnaires du chaque noeud. Indication : Devinez la rèponse et montrez qu elle satisfait le systême des équations d équilibre. 2.5.2 L ergodicité Un cas trés fréquent dans les applications et quand il n y a qu une distribution stationnaire π, qui coincide aussi avec la distribution limite pour toutes les points de départ initials possibles. Alors, par le corrollaire (2.5.), la distribution limite est independante de la distribution de départ, est egale à π. Nous allons appeler ça le cas ergodique. Définition 2.5.3 On appelle une chaîne à matrice de transition P ergodique lorce que la distribution limite π( ) = π( )(µ(0)) = lim n µ (n) existe et est unique, independement de la distribution de départ. Note : Dans le cas des espace d états dénombrable, il est important de distinguer les deux cas quand la distribution limite satisfait π i > 0, i et le cas quand elle satisfait π i = 0, i. Nous appelerons ces deux cas ergodique positive et ergodique nul (ce dernier cas étant impossible pour des espace d états finies). Dans la literature, le terme ergodique signifie d habitude ce que nous appelons ici ergodique positive. inc Remarque 2.5.4 Une chaîne ayant des distributions limite en partant de chaque point i, et ayant une distribution stationnaire unique π est ergodique (i.e. toutes les distribution asymptotiques doivent coincider avec π). L abondance du cas ergodique est expliquée par la décomposition spectrale : Lemme 2.5. Une matrice A de dimension n ayant un ensemble de n vecteurs propres à droite independants d i, et donc aussi un ensemble de n vecteurs propres à gauche independants l i, calculés en prenant les lignes de la matrice D, où D = (d d 2... d n ) peut-être decomposé : A = i λ i d i l i où λ i sont les valeurs propres. Ce cas a lieu par exemple quand tous les valeurs propres de P sont distincts ( le cas générique ). Si en plus la seul valeur propre de module est, et avec multiplicité ( le cas générique ), il suit immediatement que lim P n = π n Nous examinons maintenant pour ergodicité un exemple ou P n et π se calculent explicitement : 3

Exemple 2.5.3 Chaîne a deux ètats. Soient a, b [0, ] et la matrice de transition : P = ( a a b b ) a) Montrer en calculant les valeurs et vecteurs propres que P n = a + b ( b a b a ) + ( a b)n a + b ( a a b b b) Montrez que avec a, b (0, ), la limite P = lim n P n = calculez cette limite dans tous les cas possibles. ) ( b a+b b a+b a a+b a a+b ). En suite, En conclusion, on voit que avec a, b (0, ), la limite matrice P = lim n P n existe et qu elle a des lignes identiques, donc la chaîne est ergodique : la distribution limite b π = ( a + b, a ) est unique. Elle est aussi l unique distribution stationnaire. a + b 2.5.3 Le théorème ergodique Le cas ergodique est le plus important dans les applications, a cause du : moy Théorème 2.5. Soit X(n) une chaîne de Markov ergodique à distribution asymptotiques π, et soit une fonction coût f tel que la moyenne spatiale Eπf(X. ) = j E π jf j est bien definie. Alors, la moyenne temporelle des coûts converge presque partout vers la moyenne spatiale, for any initial distribution : lim n n n f(x n ) = π j f j j E i= Nous examinons maintenant un exemple ou P n n est pas disponible explicitement ; quand même, la distribution stationnaire π est unique et donc la limite des coûts moyenne temporelles se calculent facilement : Exercice 2.5. Montrez que la marche aléatoire sur le graph papillon a une distribution stationnaire unique π. Calculez l esperance du coût moyenne de cette marche, si f(a) = 0, f(b) = et les autres coûts sont 0. 2.6 Marches aléatoires et relations de récurrence Motivation : Les marches aléatoires sont parmi les modèles probabilistes les plus utiles (par exemple en physique, mathématiques financières, files d attente, statistique, etc...). Ils sont aussi parmi les modèles les meilleurs compris, car ils permettent souvent des solutions analytiques. 4

2.6. Marches aléatoires sur R d Définition 2.6. Marches aléatoires sur R d. Soit (Z n ) n N une suite de variables aléatoires réelles i.i.d (i.e. indépendantes et de même loi), à valeurs en R d. Le processus X n R d, n = 0,,... donné par la somme de ces variables X n = X 0 + Z + Z 2 + + Z n, n N (2.7) s appelle marche aléatoire. Comme alternative, la marche aléatoire peut-être definie récursivement par la récurrence X n = X n + Z n (2.8) Exemple 2.6. Marches aléatoires sur Z d Typiquement, on s interesse au cas où l espace d états est un maillage régulier comme Z d, i.e. X 0, Z n Z d ont une distribution discrète p = (p i, i Z d ). Dans ce cas, nous avons à faire à une chaîne à espace d états dénombrable. Exemple 2.6.2 Si en plus Z n =, i.e. p i 0 ssi i est un voisin de l origine, le processus (2.7) est appelé une marche aléatoire simple. Exemple 2.6.3 Marches aléatoires sur Z Pour les marches sur Z, la matrice de transition P = (pij = P{X n = j/x n = i} = P{Z n = j i}) i,j N a aussi la propriété que P i,j = p i j, où p k = P{Z n = k} ; les matrices de cette forme, i.e. à diagonales constantes, s appellent matrices Toeplitz. Exemple 2.6.4 Pour une marche aléatoire simple en dimension d =, la distribution de Z n est de la forme pδ + ( p) δ, i.e. P [Z n = ] = p et P [Z n = ] = p avec 0 < p <. Si p = q =.5 on parle d une marche aléatoire symmetrique, et avec p q on parle d une marche aléatoire biaisée. Extension : Si on remplace les probabilités p j par des probabilités p i,j := P Xn =i[x n X n = j] on arrive à une chaine de Markov. Théorème 2.6. Les marches aléatoires sur R d ont la propriété de Markov. Démonstration: Ce résultat est assez facile à démontrer en général, en partant de (2.8), mais nous allons considérer seulement les marches aléatoires sur Z d, pour rester dans le cadre des processus à espace d états dénombrable. Dans ce cas, il est suffisant d exhiber la matrice de transition. Notes : ) On a à faire ici à des sommes des v.a. i.i.d.. Donc, P n (0, :) la distribution de la somme n i= Z i, est donnée par la n-ième convolution de la distribution p de Z i (et la fonction génératrice des moments est la puissance n de la fonction génératrice des moments de p). Le comportement des puissances P n pour n est lié au théorème de la limite centrale. 5

2.6.2 Moments et cumulants des marches aléatoires Exercice 2.6. Les moments et cumulants de la marche simple. Soit X 0 = 0 N le capital initial d un joueur. Au temps n =, 2,..., le joueur gagnera Z n = avec probabilité p et perdera Z n = avec probabilité p, où 0 < p <. Soit X n = X 0 + Z + Z 2 + + Z n son capital au temps n. Calculez :. L esperance du son gain e n = EX n. 2. La variance du son gain v n = Var X n. 3. La fonction génératrice des moments M(u, n) = Ee ux n. 4. La cumulant generating function κ(u, n) = log(ee ux n ). Notes : ) Il est clair que ces propriétés de linéarité (de l espérance, de la variance, et de la cumulant generating function ), sont vraies pour chaque marche aléatoire. 2) La connaissance de la distribution ou de la fonction génératrice des moments d une variable X sont typiquement equivalents. Mais, pour une somme n i= Z i des v.a. i.i.d., pendant que la comme distribution est la n-ième convolution p,n de la p distribution de Z i, la fonction génératrice des moments Ee θ n i= Z i est beaucoup plus simple à obtenir (ètant la n-i `me puissance de la fonction génératrice des moments Ee θz ). Exercice 2.6.2 Soit m n = m n (X), n = 0,, 2,... les moments d une va X, soit κ X (u) = log M X (u) = log( u n n m n! n) = u n n c n! n(x) la fonction génératrice des cumulants, où c n = c n (X) = n κ(u) sont les cumulants. ( u) n u=0 a) Montrez (en utilisant eventuellement un logiciel symbolique) que X, c 0 = 0, c = m, c 2 = Var (X) = m 2 m 2, c 3 = m 3 3m m 3 + 2m 3, etc. b) Montrez (en utilisant eventuellement un logiciel symbolique) que X, m 2 = c 2 + c 2, m 3 = c 3 + 3c c 2 + c 3. Nt : ) Le cumulant d un ordre donné est un polynome dans les moments d ordre plus petit ou égal, et reciproquement. 2) Les coefficients de l expansion des moments en fonction des cumulants sont donné par des nombres des partitions. 3) Les cumulants d une variable centré (m = 0) coincide avec les moments jusqu au troisième ordre. C est le quatrième cumulant, la kurtosis, donné dans le cas centré par c 4 = m 4 3m 2 2, qui joue un role important dans certaines tests statistiques (comme de nonnormalité, par exemple). Exercice 2.6.3 Pour la marche simple, calculez. Le premier, deuxième et troisième cumulants κ i (n), i =, 2, 3 de X n, i.e. les premiers trois coefficients dans l expansion κ(u, n) = i κ i(n)u i en puissances de u. 2. Le deuxième moment de X n. Quelle est la particularité du cas p = /2? 3. Le troisième moment de X n. 6

2.6.3 La méthode du conditionnement sur le premier pas Exercice 2.6.4 La marche aléatoire symetrique. On cherche a trouver la probabilité d un joueur qui s engage dans une série de parties (indépendantes) à un jeu où à l issue de chaque partie il gagne F avec une probabilité /2 et perd F avec une probabilité /2, et qui décide de s arrêter de jouer dès qu il aura B francs en poche, ou dès qu il n a plus d argent. Pour tout n N, on note X n la fortune du joueur au bout de n parties, et X 0 = i sa fortune à l entrée dans le Casino. Ca revient a étudier la marche aléatoire symetrique X n = X 0 + Z + Z 2 + + Z n, X n Z avec P [Z n = ] = P [Z n = ] = /2, jusqu au temps d arrêt/sortie T = min[t 0, T B ] quand le process sort de l interval [0, B] (en prenant 0 et B comme états absorbants). On dénotera par E i l esperance en commençant de i (conditionnant sur X 0 = i), et on designe par E l événement que le joueur gagne, i.e. E = {x T = B} = [ n N tel que X n = B, X k > 0, k =,..., n ]. Pour tout i de {0,..., B}, on pose : (la probabilité du bonheur ). b i = P (E [X 0 = i]). En supposant B = 3, enumerer et esquisser l espace de tous les chemins du bonheur/ruine qui commencent avec X 0 =, en developpant l arbre de toutes les possibilités. Calculer la probabilité du chaque chemin, et verifier que leur somme vaut. 2. Expliquer graphiquement sur l arbre de toutes les possibilités les équations b = /2b 2, b 2 = /2b + /2, en assoc. Déduiser b 0, b 3, et en suite b, b 2. 3. En supposant B = 4, calculer b, b 2 et b 3. 4. Calculer b i, i = 0,..., B pour B quelconque. 5. Calculez l espérance du nombre des pas du jeux, pour B quelconque. R : On pourrait essayer de calculer b i en ajoutant les probabilités de tous les chemins du bonheur qui commencent avec X 0 = (en regardant l arbre de toutes les possibilités). Mais comme cet arbe est (typiquement) infini et très compliqué, cette analyse n est pas facile. Par contre, une approche diviser por conquérir de décomposition de l arbre dans ses branches obtenues en conditionnent sur le premier pas ramm ene à des équations linéaires faciles à résoudre. Cet exercice illustre trois idées :. La puissance de la méthode du conditionnement sur le premier pas. 2. Le calcul des esperances pour les chaînes de Markov comporte des systèmes linéaires avec une inconnue pour chaque état initial possible. 3. Les systèmes associés avec un processus fixe implique toujours la même partie homogène appellée operateur. Dans le cas des chaînes de Markov en temps discret et à espace d états fini ou dénombrable, l operateur est simplement P I, où P est la matrice de transition P. Ces idées seront aprofondies dans les chapitres suivants, où nous regarderons quelques autres problèmes résolubles par le conditionnement sur le(s) premier(s) pas. 7

2.6.4 La ruine du joueur pour la marche aléatoire simple Nous généraliserons maintenant les resultats pour la marche unidimensionelle symetrique au cas des marches simples asymetriques. En même temps, nous étudiérons d autres problèmes concernant l absorbtion dans un ensemble d arrêt pour la marche aléatoire simple unidimensionnelle (les équations obtenues sont valables dans toute dimension,mais les solutions sont disponibles explicitement seulement dans le cas unidimensionnel). Exemple 2.6.5 La ruine du joueur et autres problèmes de Dirichlet pour la marche aléatoire simple. Considérons la marche aléatoire simple X n = X 0 + Z + Z 2 + + Z n, X n Z avec (Z n ) une suite de variables aléatoires réelles indépendantes de même loi P [Z n = ±] = p, q. Nous étudierons la marche jusqu au temps d arrêt/sortie T = min[t 0, T B ] quand le process sort de l interval [0, B] pour B donné, i.e. on prend 0 et B comme états absorbants. On appelle ce problème la ruine du joueur, a cause de l interpretation d un joueur qui s engage dans une série de parties (indépendantes) à un jeu où à l issue de chaque partie il gagne F avec une probabilité p et perd F avec une probabilité q = p, et qui décide de s arrêter de jouer dès qu il aura B francs en poche, ou dès qu il n a plus d argent. Pour tout n N, on note X n la fortune du joueur au bout de n parties, et X 0 = i représente sa fortune à l entrée dans le Casino. On dénotera par E i l esperance en commençant de i (conditionnant sur X 0 = i), et on designe par E l événement que le joueur gagne, i.e. E = {x T = B} = [ n N tel que X n = B, X i > 0, i =,..., n ]. Pour tout i de {0,..., B}, on pose :. Quelles sont les valeurs de b 0 et b B? 2. Montrer que : b i = P (E [X 0 = i]). i {,..., B }, b i = p b i+ + q b i (on rappelle que q = p). 3. Obtener une expression explicite de b i pour tout i de {,..., B}. Indication : Remarquez que la solution satisfaisant b 0 = 0 est de la forme : { k ( ( q b i = k i p )i ) quand p q quand p = q et déterminer k tq la condition frontière de b B soit satisfaite. 4. Pour tout i de {0,..., B}, on pose a i = P (F [X 0 = i]) où F est l événement le joueur repart ruiné. En procédant comme auparavant, montrer que : a i = ( q p) i ( q p) B ( q p) B si p 2 B i B si p = 2 Pour tout i de {0,..., B}, calculer a i + b i. Que peut-on en déduire? Calculez les probabilités de ruine quand B, pour p > q et pour p q. Expliquez la rélation avec le comportement de X t, t. 8

5. Obtenez un système d équations pour l espérance du gain final f i = E i X T. Calculez cette fonction pour p = q. 6. Obtenez un système d équations pour l espérance du temps de jeu : t i = E i T. Calculez cette fonction, pour p = q, et pour p < q, quand B. 7. Obtenez un système d équations pour l espérance du coût cumulé d inventoire c i = E i T t=0 X t. Calculez cette fonction, pour p = q, et pour p < q, quand B. 8. Obtenez un système d équations pour w i = E i a T = k=0 P i[t = k]a k (qui est la fonction génératrice des probabilités P i [T = k]). Calculez cette fonction, pour p q. 9. Obtenez les équations de récurrence et les conditions frontière satisfaites par u x = E x a T g(x T ), a (0, ) et par v x = E x [a T g(x T ) + T t=0 h(x t)], a (0, ). Résolvons cet exercice en utilisant la méthode du conditionnement sur le premier pas Z, l idée de quelle est d obtenir des relations de récurrence qui lient les valeurs de l espérance conditionnée à partir de tous les points de départ possibles. Nous verrons, en examinant les questions 2)-8) de cet exercice, qu ils utilisent toutes le même opérateur (Gf) n := (P I)(f) n = p f n+ + q f n f n (2.9) op la seule difference étant dans les conditions frontière et dans la partie nonhomogène. En plus, ils se regrouperont en deux types de questions :. Gain final esperé, satisfaisant : f n = E n [g(x T )] = pf n+ + qf n (Gf) n = 0, F (0) = g(0), F (B) = g(b) 2. Coût total accumulé esperé T f n = E n [ h(x i )] = h(n) + pf n+ + qf n (Gf) n = 0, f(0) = 0, f(b) = 0 Solution :. b 0 = 0, b B = 0 2. Gain final esperé, g(x) = x=b. En conditionnant, on trouve : b n = P n [X(T ) = B] = p P n [X(T ) = B/X() = n + ] + q P n [X(T ) = B/X() = n ] = p b n+ + q n n B car P n [X(T ) = B/X() = n ± ] = P[X(T ) = B/X(0) = n, X() = n ± ] = P[X(T ) = B/X() = n ± ] = P[X(T ) = B/X(0) = n ± ] = b n± en utilisant la proprieté de Markov et l homogeneité. 9

3. Quand p = q = /2, b x = P x [X(T ) = B] satisfait : b n = b n+ 2 + b n 2 b B = b 0 = 0 for any n B La méthode de résolution des équations de récurrence homogènes à coefficients constants commence en cherchant des solutions de la forme b n = r n. Si les racines de l équation auxiliaire sont distinctes, la solution générale est : b n = k r n + k 2 r n 2 où k, k 2 sont déterminés en utilisant les conditions frontière. Ici, cherchant des solutions puissances r x ramène à l équation r 2 2r + = 0 à deux racines identiques r,2 =. La solution générale est b x = A + Bx. Les conditions frontière donnent b x = x B. Solution finale si p q : b n = (q/p)n. (q/p) B 4. a i +b i =, et donc la marche sera eventuellement absorbé dans une des deux frontiéres (elle ne peut pas rester à l intérieur indéfinimment). Pour p = q, lim B a n = lim B B n B =. Autrement, lim a (q/p) n (q/p) B n = lim = B B (q/p) B { (q/p) n,, q > p. q < p 5. f x = E x [X(T )] (valeur finale ésperée) satisfait Gf(x) = 0, f(0) = 0, f(b) = B. Pour p = q, la solution f x = x est obtenue comme ci-dessus : f x = f x+ 2 f B = B f 0 = 0 + f x 2 for any x B (C est aussi une fonction harmonique, mais avec conditions frontière différentes.) 6. t x = E x [T ] (temps de sortie ésperé) est un coût total accumulé esperé (obtenu en prenant h(x) = ), qui satisfait le système inhomogène Gt(x) + = 0, t(0) = 0, t(b) = 0. Pour p = q t x = t x+ 2 + t x 2 t B = 0 t 0 = 0 + for any x B La solution d une équation nonhomogène est donnée par 20 t x = t p (x) + h(x)

où t p (x) est une solution particulière et h(x) est la solution générale de l équation homogène. Commençons par l équation homogène. La solution générale homogène ( fonction harmonique ) h(x) = A + Bx pour cet opérateur a été déjà obtenue ci-dessus. Nous aimerions maintenant trouver une solution particulière t p (x) de l équation Gt p (x) = de la même forme que la partie nonhomogène de l équation, donc t p (x) = C; mais, comme les constantes, et puis aussi les fonctions linéaires vérifient l équation homogène Gt p (x) = 0, nous devrons modifier deux fois cette forme en multipliant par x, en arrivant donc à t ( x) = Cx 2. Comme Gx 2 = 2x(p q) + =, on trouve C = et finalement la solution particulière t p (x) = x 2. La solution générale est donc t(x) = x 2 + A + Bx et les conditions frontière ramènent à t x = x(b x). Pour p q t x = pt x+ + qt x + for any x B t B = 0 t 0 = 0 La solution generale homogène avec p q est h(x) = k (q/p) n + k 2 et le terme nonhomogène sugere une solution particulière constante k, mais comme ça satisfait l équation homogène, on modifie à kn. Finalement, k =. q p La solution particulière est t p (x) = x ; elle satisfait deja t q p p(0) = 0. La partie homogène h(x) = t x t p (x) devra aussi satisfaire h(0) = 0 et donc elle sera de la forme h(x) = A h(x) où h(x) = ((q/p) x ). En demandant que t n = n + q p A(q/p)n ) satisfait la condition frontière t B = 0 on trouve : t n = t p (n) t p (B) h(n) h(b) = n q p B (q/p) n q p (q/p) B. { si p > q La limite quand B est t n = ; on peut aussi obtenir ce t p (n) = n si p < q q p resultat en utilisant l approximation détérmiste X n X 0 ne(z ), appellée aussi limite fluide. 7. c x = E x [ T 0 X(t)] (coût total d inventaire ésperé) satisfait le système inhomogène Gc(x) + x = 0, c(0) = 0, c(b) = 0. Pour p = q : c x = c x+ 2 + c x + x for any x B 2 c B = 0 c 0 = 0 Une solution particulière est c p (x) = x3. Finalement, on arrive à c(x) = x(b2 x 2 ). 3 3 Pour p q, une solution particulière est c p (x) = x2 (elle satisfait deja c 2(q p) p(0) = 0). La partie homogène satisfaisant h(0) = 0 sera toujours h(x) = A h(x) où h(x) = ((q/p) x ). 2

En demandant que c n = c p (n) + A(q/p) n ) satisfait la condition frontière c B = 0 on trouve : c n = c p (n) c p (B) h(n) h(b) La limite quand B est c n = { si p > q c p (n) si p < q. 8. On arrive a w(x) = A z x + A 2 z2 x, où z i sont les racines de pz 2 a z + q = 0, et A i satisfont A z B + A 2 z2 B =, A + A 2 = et w(x) = zx zx 2 +zx zx 2 (zb x z B x 2 ) z Z zb 2 9. On a u x = g(x), pour x {0, B}, et le conditionnement donne la relation : u x = E x [a T g(x τ )] = a(pu x+ + qu x ). v x = g(x), pour x {0, B}, et le conditionnement donne la relation : v x = a(pv x+ + qv x ) + h(x). Conclusion : Nous avons vue dans ces exercices une des idées les plus importantes de la modélisation Markovienne : les ésperances, vues comme fonctions de l état initial, satisfont certaines équations qui font toujours intervenir un opérateur associé fixe, appelé générateur du processus, même que les conditions frontière, termes non-homogènes, et d autre details (comme la presence/absence d une multiple de l operateur identité) peuvent varier. Les equations s obtient facilement par la methode de conditionnement sur le premier pas, en utilisant la propriété de l oubli du passé des processus de Markov ; mais, il y a des parties specifiques a chaque probléme, qui ne sont pas oubliées! Il s avère que les mêmes èquations décrivent la solution des problèmes analogues pour toutes les chaîne de Markov à espace d états comptable, et avec des états absorbants voir la prochaîne section. Par exemple, pour les chaînes de Markov, l operateur associé est G = P I, où P est la matrice de transition, et pour le cas particulier d une marche aléatoire X t = t i= Z i avec p k = P [Z i = k], k [ c, d] on a encore G = P I, où P = k p kf k et F est l operateur de translation (F f) k = f k+, k Z. Alors, nous obtendrons des èquations similaires pour les problèmes respectives, juste en remplaçant l ancien operateur par le nouveau. On rencontre la même situation pour toute la classe des processus de Markov, X t, différents qu elles soient, vivant sur des espaces S considerablement plus compliqués, la seule difference étant que l operateur G X : F (S) > F (S) associé a ces processus sera plus compliqué! Par exemple, les problèmes de cette section ont aussi des versions à espace d états continu, obtenu en considérant des marches avec incréments infinitésimaux ϵ, et en prenant la limite E 0. La marche aléatoire devient ainsi un processus avec chemins continus, appelé mouvement Brownien. Les équations resterons les mêmes, seul l operateur G changera (dans un operateur differentiel). En conclusions, il existe une correspondance un á un entre les processus de Markov et une certaine classe des operateurs deterministes associés ; nous l appellerons Le Dictionnaire. 22

2.6.5 Probabilités du bonheur/fonctions harmoniques Nous considerons ici plus en detail les probabilités du bonheur, et devoilons leur nom scientifique. Une fonction sur Z d /R d est appellée harmonique si la valeur en chaque point x est egale à la moyenne arithméthique des valeurs des voisins. En R d, par voisins on entend une sphère arbitraire avec centre x. Ces fonctions aparaissent beaucoup en physique. En probabilités, les moyennes arithméthiques deviennent des moyennes ponderés. Définition 2.6.2 Une fonction/vecteur f : E > R s apelle harmonique pour une chaîne de Markov à matrice de transition P s il s agit d un vecteur propre à droite de P, i.e f(x) = P (x, y)f(y), x E Autrement dit, chaque point x verifie les valeurs f(y) de ses voisins (definis par P (x, y) > 0, et choisi pour valeur une moyenne ponderée de valeurs voisines. Rq : Le fait que chaque valeur est une moyenne ponderée des valeurs voisines suggère un algorithm de calcul interessant. Il est facile de montrer que : Lemme 2.6. a) Pour une chaîne avec une seule classe de communication (recurrente), les seuls fonctions harmoniques sont les constantes f(x) = a. b) Pour une chaîne avec K classes de communication recurrentes C,...C K, et sans états transients (donc forcement reductible si K > ), les fonctions harmoniques sont les fonctions escalier K k= a k Ck (x). Ind : a) Une fonction non constante prend des valeurs dans un interval [m, M], où M > m. Mais, l equation d equilibre pour un point x M tq f(x M ) = M implique que... m = M! La situation devient beaucoup plus interessante dans la presence des états transients ( subordonnés ) et de plusieures classes de communication ( leaders ). Exercice 2.6.5 Etant donnée une chaîne finie avec deux états absorbants 0, B et le reste des états transients, obtenez un système et une formule explicite pour le vecteur des probabilités du bonheur b = (b i = P i [X T = B], i T ). Sol : Soit 0 0 P = q 0 Q q B 0 0 où q 0, q B sont les vecteur des probabilités d absorbtion directe en 0 et B (i.e. après un pas). Soit n le nb des états transitoires (la taille de Q). On trouve que b = (b i ) i T satisfait b = P 0 b où P est la matrice P avec les lignes des états absorbants effacés. En developpant, on trouve : Rémarques : b = Qb + q B b = (I Q) q B. (2.0) 23

. Le vecteur etendu b 0 = b est une fonction harmonique/vecteur propre à droite de P. Comme le système etendu P b = b contient deux équations triviales, notre intérêt est surtout en le vecteur correspondant aux états transitoires b, donné explicitement en (2.0). 2. Rémarquez l apparition en (2.0) de la matrice fondamentale G := (I Q). 3. Une généralisation des probabilités du bonheur sont les prix finaux esperés : f g (x) := Eg(X T ), f g : V > R où g y, y est un prix ou condition frontière donné. On vérifie par CPP (conditionnement sur le premier pas) qu elles satisfont : f(x) = g(x), x, (Gf) x = 0 f x = (P f) x, x T := V et sont donc aussi des fonctions harmoniques. Ces fonctions harmoniques à conditions frontière données sont en corréspondance biunivoques avec les conditions de frontière g : > R possibles. Cela rend les fonctions harmoniques sur Z d ou R d beaucoup plus simple quand d = et la frontière contient que deux points! Pour la marche symmetrique par exemple, il s agit des fonctions lineaires! Par exemple, avec p = q = /2, g(0) = 3 et g(0) = 53, le pris final esperé est f(x) = 5x + 3. 2.6.6 Marches aléatoires sur les graphes : distributions stationnaires L étude des chaînes de Markov sur un espace d états fini nous rammène toujours à un système linéaire impliquant la matrice P. Il se trouve quand même que des formules/approches algorithmyques plus simples sont disponible pour certains cas particuliers, comme celui des marches aléatoires sur les graphes non dirigés. Définition 2.6.3 a) La matrices d adjacence d un graphe est la matrice définie par { si j D(x, y) = 0 sinon b) La marche aléatoire simple sur un graphe est la marche avec probabilités de transition P (x, y) = D(x,y) d x où d x = y D(x, y) est le degré du sommet x. L inspiration de la generalisation qui suit nous vient d electricité, du problème de calculer les voltages sur un réseau des resisteurs. Considerons un réseau des resisteurs R(x, y), modélisé par un quatruple G = (V, E, C(.,.), ) representant un graph avec sommets V, arrêtes E,, des poids C(x, y) =, (les conductances electrique ) associés aux arrêtes, et un sous-ensemble des sommets distingués, où R(x,y) des voltages ou des courants electriques sont imposés. Les lois bienconnues des courants electriques de Kirkhoff sont l expression macroscopique de la marche aléatoire sur le réseau d un electron, avec des poids C(x, y) associé à chaque arrête. 24