Cours de Tronc Commun Scientifique Recherche Opérationnelle Les de Markov Frédéric Sur École des Mines de Nancy www.loria.fr/ sur/enseignement/ro/ ergodiques Les de Markov 2 3 ergodiques ergodiques 6 /26 2/26 Exemple météorologique Aujourd hui il y a du soleil / il pleut. Quel temps fera-t-il demain? Modélisation : probabilités de transition Pr ( Xn+ = S Xn = S ) = 0, 9 Pr ( Xn+ = S Xn = P ) = 0, Pr ( Xn+ = P Xn = S ) = 0, Pr ( Xn+ = P Xn = P ) = 0, Matrice de transition : Représentation : S 0. ( 0, 9 ) 0, 0, 0, P ergodiques Prédiction du temps Initialement il fait beau. X0 = S. Réalisations possibles de (Xn) : ) X0 = S, X = S, X2 = P, X3 = S, X = S... 2) X0 = S, X = P, X2 = S, X3 = S, X = P... Important : le temps qu il fera à l instant n + ne dépend que du temps à l instant n. Distribution de Xn : πn = ( Pr(Xn = S), Pr(Xn = P) ) Formule des probabilités totales : Pr(Xn+ = S) = Pr(Xn+ = S et Xn = S)+Pr(Xn+ = S et Xn = P) = Pr(Xn = S) Pr(Xn+ = S Xn = S) + Pr(Xn = P) Pr(Xn+ = S Xn = P) : πn+ = πn P. Exemple : π0 = ( 0 ), π = ( 0, 9 0, ) π2 = π π0 P 2 = ( 0, 86 0, ) ergodiques 3/26 /26
État stationnaire du temps? Les de Markov πn = πn π0 P n Question : est-ce que πn converge lorsque n +? (vers une distribution stationnaire π ) Question 2 : π est-elle unique? Question 3 : quelle est la typologie des pour lesquelles on peut prévoir le comportement de πn? Ici : π existe, est unique, et vaut ( 0, 833 0, 67 ) Veut dire : dans t jours (assez grand), il y a 83% de chance qu il fasse soleil (quelque soit le temps actuel). On pourra aussi dire (grâce au théorème ergodique, cf poly) : en moyenne, il fait beau 83% des jours. ergodiques 2 3 ergodiques 6 ergodiques /26 6/26 Soit E un ensemble fini (ou dénombrable) d états. Une suite de variables aléatoires (Xn) à valeurs dans E t.q. : Pr(Xn+ = j X0 = i0,..., Xn = i) = Pr(Xn+ = j Xn = i) est une chaîne de Markov. ergodiques Représentation graphique Soit G le graphe orienté valué tel que : sommets = états (E) arête de i vers j si pi,j > 0. valuation de l arête i j : pi,j. Une chaîne de Markov peut être vue comme une marche aléatoire sur G, connaissant π0. Exemple : ergodiques Pr(Xn+ = j Xn = i) = pn(i, j) est la probabilité de transition de l état i à l état j. Remarque : on ne considérera que des homogènes i.e. telles que pn(i, j) = pi,j. Si E fini, (pi,j) est la matrice de transition de (Xn). 2 0, 3 0,6 7/26 8/26
Matrice de transition et distribution de X t Espace d états E fini, matrice de transition : (pi,j) Propriétés élémentaires (cf poly.) : la somme des éléments d une ligne de P vaut. (matrice stochastique) Pi,j n = Pr(Xt+n = j Xt = i) ( t) si π0 est la distribution de X0 alors la distribution de Xn est : πn = πn π0p n. ergodiques Une chaîne de Markov est irréductible si chaque état est accessible à partir de chaque autre état. Autrement dit, G est fortement connexe. Sinon elle est dite réductible, et G admet plusieurs composantes fortement connexes. Une composante qui ne mène à aucune autre est finale, sinon les états qui la composent sont transients (ou transitoires) (une fois qu on a quitté la classe d un état transitoire, on n y retourne pas). ergodiques 9/26 0/26 Illustration : chaîne réductible Illustration : chaîne réductible 2 0, 3 0,6 Cette chaîne de Markov est réductible. Composantes fortement connexes : {, 3}, {2}, {, }. L état 2 est transitoire. Les classes {, 3} et {, } sont finales. ergodiques 2 0, 3 0,6 Quitte à renuméroter les états, on peut écrire : 3 2 3 2 0, 0, 0 0 0 0, 0, 6 0 0 0 0 0 0, 0, 9 0 0 0 0, 0, 0 0, 2 0, 2 0 0 0, ergodiques /26 /26
2/26 Cas particulier : chaîne absorbante Cas particulier où les composantes finales sont réduites à des singletons. Exemple : 0,3 Composantes fortement connexes : {, 2} et {3}. Une seule composante finale : {3}. On dit que 3 est état absorbant. 0, 2 0,3 Quitte à renuméroter les états : ( ) Im s,m s 0 Rs,m s Qs,s où s est le nombre d états transitoires. 3 ergodiques 3/26 Un état i est périodique (de période p) si : p = pgcd {n, Pr(Xn = i X0 = i) > 0} > (pgcd des longueurs des cycles) Propriété Les états d une même composante ont même période. Conséquence : on peut parler d une chaîne de Markov irréductible périodique ou apériodique. Conséquence 2 : dès que le graphe d une chaîne de Markov irréductible a une boucle sur un sommet, alors la chaîne est apériodique. ergodiques Illustration : chaîne irréductible périodique 6 0. 2 Remarque : ici, chaîne irréductible Période : 2 0,6 Quitte à renuméroter les états, on peut écrire : 3 2 6 3 2 6 0 0 0 0, 8 0 0, 2 0 0 0 0, 2 0, 8 0 0 0 0 0 0, 7 0, 2 0, 0, 6 0 0 0 0 0 0, 9 0, 0 0 0 0, 2 0 0, 7 0 0 0 3 ergodiques Les de Markov 2 3 ergodiques 6 ergodiques /26 /26
Questions : généralités Le comportement d une chaîne de Markov dépend de la matrice de transition P 2 la distribution initiale π0. Étude du comportement à long terme : πn converge-t-elle? Si oui, quelle est la limite? Dépend-elle de π0? Pour une chaîne absorbante, quelle est la durée moyenne avant absorption? ergodiques πn+ = πn P si (πn) converge, c est nécessairement vers un vecteur propre (à gauche) de P associé à la valeur propre. Ce VP existe car P est stochastique (cf poly), mais l espace propre associé peut-être de dimension >. (πn) ne converge pas forcément. Question : quand est-ce qu il y a convergence? Question : quand est-ce qu il n y a pas convergence? ergodiques 6/26 7/26 Cas des réductibles Cas des périodiques 2 0, 3 0,6 la limite dépend de π0. ergodiques 6 0. (πn) ne converge pas, car : si on part de (n = 0) 2 0,6 on est certain de ne pas être en 2,, 6 pour n pair (π2k(2,, 6) = 0 et π2k(, 3, ) > 0), et certain de ne pas être en, 3, pour n impair (π2k+(, 3, ) = 0 et π2k+(2,, 6) > 0) 3 ergodiques 8/26 9/26
Les de Markov ergodiques 2 3 ergodiques ergodiques Une chaîne de Markov est ergodique si (πn) converge, indépendamment de π0. Remarque : on montre qu alors l espace propre associé à la valeur propre est de dimension. πn converge vers π, appelée distribution stationnaire. Théorème Les de Markov et sont ergodiques. ergodiques 6 20/26 2/26 Théorème des coupes ou de conservation des flux Juste un moyen de simplifier le système linéaire. π = π P : on cherche π. Théorème des coupes (conservation des flux) Soit A B une partition de E : πi pi,j = j B i A j A i B πi pi,j Le but est de choisir les partitions A B (ou les coupes) en minimisant le nombre d inconnues πi dans chaque équation. m coupes & i π i = Exemple : 0.3 Remarque : les probas des boucles n interviennent pas. 22/26 0, 2 0,3 3 ergodiques 23/26 Les de Markov 2 3 ergodiques 6 ergodiques
Pour les de Markov... ( ) Im s,m s 0 Rs,m s Qs,s où s est le nombre d états transitoires. Théorème I Q est inversible. N = (I Q) est la matrice fondamentale de la chaîne. ni,j est la nombre moyen de passage en j partant de i. Donc s j= ni,j est le nombre moyen de passage dans les états transitoires lorsqu on part de i (jusque l absorption). Théorème 2 Soit A = NR. (de taille s m s) ai,j est la probabilité d être absorbée par j en partant de l état transitoire i. ergodiques Les de Markov 2 3 ergodiques 6 ergodiques 2/26 2/26 Les de Markov, en pratique dans nos problèmes : Première étape : modélisation du problème. Si chaîne ergodique, alors convergence vers une distribution limite, à déterminer. Si chaîne absorbante, théorèmes & 2. ergodiques 26/26