Evaluation de Performances

Evaluation de Performances Chaînes de Markov (MC) à temps discret Cours de base M1 - ENS Lyon Evaluation de Performances 1/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Chaîne de Markov (MC) à temps discret : dénition Processus (X n ) n N où X n v.a. sur (Ω,F,P), à valeurs dans E. Dénition (Chaîne de Markov MC) (X n ) markovien si n N, x 0,...,x n,x n+1 E (espace des états), P(X n+1 = x n+1 X n = x n,...,x 0 = x 0 ) = P(X n+1 = x n+1 X n = x n ) sous réserve que P(X n = x n,...,x 0 = x 0 ) 0. Cours de base M1 - ENS Lyon Evaluation de Performances 2/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Chaîne de Markov (MC) à temps discret : dénition Processus (X n ) n N où X n v.a. sur (Ω,F,P), à valeurs dans E. Dénition (Chaîne de Markov MC) (X n ) markovien si n N, x 0,...,x n,x n+1 E (espace des états), P(X n+1 = x n+1 X n = x n,...,x 0 = x 0 ) = P(X n+1 = x n+1 X n = x n ) sous réserve que P(X n = x n,...,x 0 = x 0 ) 0. processus stochastique Toutes les v.a. X n sont dénies sur le même espace probabilisé (Ω,F,P) et à valeurs dans le même espace E à chaque réalisation ω Ω correspond une trajectoire X 0 (ω),x 1 (ω),x 2 (ω),... au sein de E. Cours de base M1 - ENS Lyon Evaluation de Performances 2/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Chaîne de Markov (MC) à temps discret : dénition Processus (X n ) n N où X n v.a. sur (Ω,F,P), à valeurs dans E. Dénition (Chaîne de Markov MC) (X n ) markovien si n N, x 0,...,x n,x n+1 E (espace des états), P(X n+1 = x n+1 X n = x n,...,x 0 = x 0 ) = P(X n+1 = x n+1 X n = x n ) sous réserve que P(X n = x n,...,x 0 = x 0 ) 0. convention pour les probas conditionnelles Tous les formules du cours avec des probas conditionnelles sont valables uniquement si bien dénies : P(A B) bien déf si P(B) 0. Avec cette convention, la mention sous réserve que... est omise dans tout ce qui suit, mais rester vigilant dans la pratique. Cours de base M1 - ENS Lyon Evaluation de Performances 2/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Chaîne de Markov (MC) à temps discret : dénition Processus (X n ) n N où X n v.a. sur (Ω,F,P), à valeurs dans E. Dénition (Chaîne de Markov MC) (X n ) markovien si n N, x 0,...,x n,x n+1 E (espace des états), P(X n+1 = x n+1 X n = x n,...,x 0 = x 0 ) = P(X n+1 = x n+1 X n = x n ) sous réserve que P(X n = x n,...,x 0 = x 0 ) 0. Intuition : le futur ne dépend que du présent, sans mémoire,... Dénition (MC homogène en temps HMC) MC (X n ) homogène si n N, i,j E,P(X n+1 =j X n =i)=p(x 1 =j X 0 =i) Dénition (Matrice & graphe de transition d'une MC homogène) Matrice de transition : P = (p ij ) i,j E où p ij = P(X 1 =j X 0 =i) Graphe de transition : sommets = E, arcs ij si p ij > 0 (poids p ij ) Cours de base M1 - ENS Lyon Evaluation de Performances 2/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Chaîne de Markov (MC) à temps discret : exemples? Cours de base M1 - ENS Lyon Evaluation de Performances 3/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Chaîne de Markov (MC) à temps discret : exemples Jeu de l'oie. Suite i.i.d. de v.a. de loi quelconque sur E. Marche aléatoire uniforme sur N d ou Z d. Certains algorithmes randomisés, p.ex. dans des protocoles systèmes/réseaux. Proposition (un exemple caractéristique) Soient (U n ) n N suite i.i.d. de v.a. à valeurs dans F, E espace ni ou dénombrable, f application E F E, X 0 v.a. à valeurs dans E et indépendante de la suite (U n ), alors l'équation de récurrence X n+1 = f (X n,u n+1 ) dénit une MC homogène à valeurs dans E. Cours de base M1 - ENS Lyon Evaluation de Performances 3/39

Matrice & Graphe de transition Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant 1 2 3 4 5 1 1/4 0 1/4 0 2 0 0 0 3 0 4/5 0 0 1/5 4 0 0 1 0 0 5 0 1/3 0 2/3 0 P = matrice stochastique : coe positifs : i,j, p ij 0 sur ligne = 1 : i, j p ij = 1 1/4 4 2/3 1 5 1/5 4/5 3 1/4 1 2 MC = marche aléatoire : réalisation X 0 (ω),x 1 (ω),x 2 (ω),x 3 (ω),x 4 (ω),x 5 (ω),... : promenade dans le graphe de transition Notation importante : pour i E, P i (A) def = P(A X 0 = i) pour évt A E i (Z) def = E(Z X 0 = i) = z P(Z = z X 0 = i) pour v.a. réelle Z ( ou ) z Cours de base M1 - ENS Lyon Evaluation de Performances 4/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Matrice & Graphe de transition 1 2 3 4 5 1 1/4 0 1/4 0 2 0 0 0 3 0 4/5 0 0 1/5 4 0 0 1 0 0 5 0 1/3 0 2/3 0 P = matrice stochastique : coe positifs : i,j, p ij 0 sur ligne = 1 : i, j p ij = 1 1/4 4 1 2/3 1 5 1/4 1/5 4/5 3 2 MC = marche aléatoire : réalisation X 0 (ω),x 1 (ω),x 2 (ω),x 3 (ω),x 4 (ω),x 5 (ω),... : promenade dans le graphe de transition Notation importante : pour i E, P i (A) def = P(A X 0 = i) pour évt A E i (Z) def = E(Z X 0 = i) = z P(Z = z X 0 = i) pour v.a. réelle Z ( ou ) z Cours de base M1 - ENS Lyon Evaluation de Performances 4/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Propriété de Markov en pratique Théorème (Propriété de Markov générale) Pour (X n ) MC à valeurs dans E, à l'instant n N dans l'état i E, soit I + P (E) N un ens de trajectoires du futur, soit I P (E n ) un ens de trajectoires du passé, P((X n+1,x n+2,...) I + (X 0,...,X n 1 ) I,X n = i) = P((X n+1,x n+2,...) I + X n = i) De plus, si MC homogène, ce terme vaut : = P((X 1,X 2,...) I + X 0 = i) Formulation en français : i E, n N, le futur au temps n et le passé au temps n sont conditionnellement indépendants étant donné l'état présent X n = i. Exemples pratiques d'utilisation : P(X 10 = a,x 7 = b X 5 = c,x 3 = d,x 2 = e) = P(X 10 = a,x 7 = b X 5 = c) P( n 11,X n {a,b} X 10 = c, n 9,X n {d,e}) = P( n 11,X n {a,b} X 10 = c) Cours de base M1 - ENS Lyon Evaluation de Performances 5/39

Equations de Chapman-Kolmogorov (I) Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Notation : p ij (r,r + s) def = P(X r+s = j X r = i) pour i,j E, r,s N. Théorème (Chapman-Kolmogorov) Toute MC (X n ) n N vérie les équations : i,j,k E, r,s,t N, p ij (r,r + s + t) = k p ik (r,r + s)p kj (r + s,r + s + t) Corollaire (Ecriture matricielle) Soit la matrice P(r,r + s) def = ( p ij (r,r + s) ), alors r,s,t N, i,j E P(r,r + s + t) = P(r,r + s)p(r + s,r + s + t) Corollaire (Cas homogène) Si HMC, proba d'aller de i à j en n pas = coe i,j de P n noté p ij (n). Cours de base M1 - ENS Lyon Evaluation de Performances 6/39

Equations de Chapman-Kolmogorov (II) Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Notation vectorielle de la loi ν d'une v.a. X à valeurs dans E : ν = (ν i ) i E vecteur ligne où ν i def = P(X = i) Corollaire (Cas homogène) Si HMC, la loi π (n) de X n est entièrement déterminée par la donnée de P et de la loi π (0) de X 0 : π (n) = π (0) P n. A B 1 D C Cours de base M1 - ENS Lyon Evaluation de Performances 7/39

Equations de Chapman-Kolmogorov (II) Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Notation vectorielle de la loi ν d'une v.a. X à valeurs dans E : ν = (ν i ) i E vecteur ligne où ν i def = P(X = i) Corollaire (Cas homogène) Si HMC, la loi π (n) de X n est entièrement déterminée par la donnée de P et de la loi π (0) de X 0 : π (n) = π (0) P n. 1 A B 1 D C Cours de base M1 - ENS Lyon Evaluation de Performances 7/39

Equations de Chapman-Kolmogorov (II) Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Notation vectorielle de la loi ν d'une v.a. X à valeurs dans E : ν = (ν i ) i E vecteur ligne où ν i def = P(X = i) Corollaire (Cas homogène) Si HMC, la loi π (n) de X n est entièrement déterminée par la donnée de P et de la loi π (0) de X 0 : π (n) = π (0) P n. A B 1 D C Cours de base M1 - ENS Lyon Evaluation de Performances 7/39

Equations de Chapman-Kolmogorov (II) Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Notation vectorielle de la loi ν d'une v.a. X à valeurs dans E : ν = (ν i ) i E vecteur ligne où ν i def = P(X = i) Corollaire (Cas homogène) Si HMC, la loi π (n) de X n est entièrement déterminée par la donnée de P et de la loi π (0) de X 0 : π (n) = π (0) P n. 3/4 1/4 A B 1 D C Cours de base M1 - ENS Lyon Evaluation de Performances 7/39

Equations de Chapman-Kolmogorov (II) Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Notation vectorielle de la loi ν d'une v.a. X à valeurs dans E : ν = (ν i ) i E vecteur ligne où ν i def = P(X = i) Corollaire (Cas homogène) Si HMC, la loi π (n) de X n est entièrement déterminée par la donnée de P et de la loi π (0) de X 0 : π (n) = π (0) P n. A 3/8 B 1 3/8 D 2/8 C Cours de base M1 - ENS Lyon Evaluation de Performances 7/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Equations de Chapman-Kolmogorov (II) Notation vectorielle de la loi ν d'une v.a. X à valeurs dans E : ν = (ν i ) i E vecteur ligne où ν i def = P(X = i) Corollaire (Cas homogène) Si HMC, la loi π (n) de X n est entièrement déterminée par la donnée de P et de la loi π (0) de X 0 : π (n) = π (0) P n. 9/16 5/16 A B 1 2/16 D C Cours de base M1 - ENS Lyon Evaluation de Performances 7/39

Temps d'arrêt : dénition & exemples Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Dénition (Temps d'arrêt d'un processus stochastique) Temps d'arrêt T d'un proc. stochastique (X n ) n N : v.a. à valeurs dans N {+ } où n N, l'évt {T = n} s'exprime avec X 0,...,X n : {T = n} = {(X 0,...,X n ) I } pour des trajectoires I E n+1. Intuition : évt temporel exprimable sans faire appel au futur. Exemples : soit (X n ) MC à valeurs dans E et F E, Temps d'atteinte de F : τ F = inf{n 0 X n F }? Temps de retour en F : T F = inf{n 1 X n F }? Dernier passage en F : L F = sup{n 0 X n F }? Cours de base M1 - ENS Lyon Evaluation de Performances 8/39

Temps d'arrêt : dénition & exemples Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Dénition (Temps d'arrêt d'un processus stochastique) Temps d'arrêt T d'un proc. stochastique (X n ) n N : v.a. à valeurs dans N {+ } où n N, l'évt {T = n} s'exprime avec X 0,...,X n : {T = n} = {(X 0,...,X n ) I } pour des trajectoires I E n+1. Intuition : évt temporel exprimable sans faire appel au futur. Exemples : soit (X n ) MC à valeurs dans E et F E, Temps d'atteinte de F : τ F = inf{n 0 X n F } Temps de retour en F : T F = inf{n 1 X n F }? Dernier passage en F : L F = sup{n 0 X n F }? Cours de base M1 - ENS Lyon Evaluation de Performances 8/39

Temps d'arrêt : dénition & exemples Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Dénition (Temps d'arrêt d'un processus stochastique) Temps d'arrêt T d'un proc. stochastique (X n ) n N : v.a. à valeurs dans N {+ } où n N, l'évt {T = n} s'exprime avec X 0,...,X n : {T = n} = {(X 0,...,X n ) I } pour des trajectoires I E n+1. Intuition : évt temporel exprimable sans faire appel au futur. Exemples : soit (X n ) MC à valeurs dans E et F E, Temps d'atteinte de F : τ F = inf{n 0 X n F } Temps de retour en F : T F = inf{n 1 X n F } Dernier passage en F : L F = sup{n 0 X n F }? Cours de base M1 - ENS Lyon Evaluation de Performances 8/39

Temps d'arrêt : dénition & exemples Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Dénition (Temps d'arrêt d'un processus stochastique) Temps d'arrêt T d'un proc. stochastique (X n ) n N : v.a. à valeurs dans N {+ } où n N, l'évt {T = n} s'exprime avec X 0,...,X n : {T = n} = {(X 0,...,X n ) I } pour des trajectoires I E n+1. Intuition : évt temporel exprimable sans faire appel au futur. Exemples : soit (X n ) MC à valeurs dans E et F E, Temps d'atteinte de F : τ F = inf{n 0 X n F } Temps de retour en F : T F = inf{n 1 X n F } Dernier passage en F : L F = sup{n 0 X n F } Cours de base M1 - ENS Lyon Evaluation de Performances 8/39

Temps d'arrêt : dénition & exemples Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Dénition (Temps d'arrêt d'un processus stochastique) Temps d'arrêt T d'un proc. stochastique (X n ) n N : v.a. à valeurs dans N {+ } où n N, l'évt {T = n} s'exprime avec X 0,...,X n : {T = n} = {(X 0,...,X n ) I } pour des trajectoires I E n+1. Intuition : évt temporel exprimable sans faire appel au futur. Exemples : soit (X n ) MC à valeurs dans E et F E, Temps d'atteinte de F : τ F = inf{n 0 X n F } Temps de retour en F : T F = inf{n 1 X n F } Dernier passage en F : L F = sup{n 0 X n F } def def Notations particulières : pour i E, T i = T {i} et τ i = τ {i}. Cours de base M1 - ENS Lyon Evaluation de Performances 8/39

Temps d'arrêt : petit exercice Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Exercice : soient T,T 1,T 2 temps d'arrêt de (X n ), déterminer si les v.a. ci-dessous sont aussi des temps d'arrêt pour (X n )? 1 une variable aléatoire constante c 2 T + c où c N xé 3 T c où c N xé 4 min(t 1,T 2 ) 5 max(t 1,T 2 ) 6 N(t) = max{n N X 0 + X 1 +... + X n t} (X n v.a. positives) 7 N(t) + 1 Cours de base M1 - ENS Lyon Evaluation de Performances 9/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Propriété de Markov forte : régénération Théorème (Propriété de Markov forte) Soit T temps d'arrêt d'une HMC (X n ), alors conditionnellement à T < + et X T = i, (X T +n ) n 0 est markovien et indépendant de X 0,...,X T (noté aussi (X T n ) n 0 où = min). De plus, pour tout évt A déterminé par X 0,...,X T et I + P (E) N P((X T +1,X T +2,...) I + X T = i,t < +,A) = P((X 1,X 2,...) I + X 0 = i) Intuition : recommencer à regarder une HMC depuis un temps d'arrêt = remettre les compteurs à zéro si T n'est pas un temps d'arrêt alors on risque de perdre cette propriété (cf TD). si MC non homogène alors on risque aussi de perdre cette propriété (même si T temps d'arrêt). Cours de base M1 - ENS Lyon Evaluation de Performances 10/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Méthode du pas en avant : petit pas sans Markov fort (I) Exemple : probabilité P i (τ F < + ) d'atteindre un ens F d'états en partant d'un état i Application : marche non biaisée sur {0,...,N} où 0,N absorbants 1 1 0 1 i N 1 N Cours de base M1 - ENS Lyon Evaluation de Performances 11/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Méthode du pas en avant : petit pas sans Markov fort (I) Exemple : probabilité P i (τ F < + ) d'atteindre un ens F d'états en partant d'un état i Proposition Les valeurs h i = P i (τ F < + ) forment la solution positive minimum { au système linéaire : h i = 1 pour tout i F h i = j E p ij h j pour tout i F Application : marche non biaisée sur {0,...,N} où 0,N absorbants 1 1 0 1 i N 1 N Cours de base M1 - ENS Lyon Evaluation de Performances 11/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Méthode du pas en avant : petit pas sans Markov fort (I) Exemple : probabilité P i (τ F < + ) d'atteindre un ens F d'états en partant d'un état i Proposition Les valeurs h i = P i (τ F < + ) forment la solution positive minimum { au système linéaire : h i = 1 pour tout i F h i = j E p ij h j pour tout i F Application : marche non biaisée sur {0,...,N} où 0,N absorbants 1 1 0 1 i N 1 N probabilité d'être absorbé par 0 en partant de i = (N i)/n Cours de base M1 - ENS Lyon Evaluation de Performances 11/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Méthode du pas en avant : petit pas sans Markov fort (II) Exemple : calcul du temps moyen E i (τ F ) pour atteindre un ens F d'états en partant d'un état i Application : marche 1D non biaisée sur {0,...,N} avec F = {0,N}. 0 1 i N 1 N Cours de base M1 - ENS Lyon Evaluation de Performances 12/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Méthode du pas en avant : petit pas sans Markov fort (II) Exemple : calcul du temps moyen E i (τ F ) pour atteindre un ens F d'états en partant d'un état i Proposition Les valeurs t i = E i (τ F ) forment la solution positive minimum au { système linéaire : t i = 0 pour tout i F t i = 1 + j F p ij t j pour tout i F Application : marche 1D non biaisée sur {0,...,N} avec F = {0,N}. 0 1 i N 1 N Cours de base M1 - ENS Lyon Evaluation de Performances 12/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Méthode du pas en avant : petit pas sans Markov fort (II) Exemple : calcul du temps moyen E i (τ F ) pour atteindre un ens F d'états en partant d'un état i Proposition Les valeurs t i = E i (τ F ) forment la solution positive minimum au { système linéaire : t i = 0 pour tout i F t i = 1 + j F p ij t j pour tout i F Application : marche 1D non biaisée sur {0,...,N} avec F = {0,N}. 0 1 i N 1 N temps moyen pour atteindre 0 ou N en partant de i = i(n i) Cours de base M1 - ENS Lyon Evaluation de Performances 12/39

Dénition Chapman-Kolmogorov Temps d'arrêt / Propriété de Markov forte Un pas en avant Méthode du pas en avant : grand pas avec Markov fort Exemple : loi du nb de passages en un état i en fonction des probas d'atteinte en temps ni, pour une HMC (X n ). Lemme (nb de visites d'un état & probas d'accessibilité entre états) def Soit N i = + n=1 1 X n =i nb de visites en i à partir de l'instant 1, def Soit f ij = P i (T j < ) proba d'atteindre j après avoir quitté i, Alors : P j (N i = n) = { f ji f n 1 (1 f ii ii ) si n 1 1 f ji si n = 0 Corollaire (retours sur un même état) Si f ii = 1, alors P i (N i = ) = 1 et E i (N i ) = +. Si f ii < 1, alors P i (N i = ) = 0 et E i (N i ) = f ii /(1 f ii ) < +. Cours de base M1 - ENS Lyon Evaluation de Performances 13/39

Irréductibilité : dénitions Irréductibilité Périodicité Invariance Récurrence Dénition (Communication dans une HMC) Deux états i et j communiquent s'il existe un chemin de i à j et un chemin de j à i dans le graphe de transition. Proposition (Classes de communication) Communication = relation d'équivalence qui partitionne les états en classes d'équiv, appelée classes de communications (= composantes fortement connexes du graphe de transition). Dénition (HMC irréductible) HMC dite irréductible si elle n'admet qu'une classe de communication (càd graphe de transition fortement connexe). Cours de base M1 - ENS Lyon Evaluation de Performances 14/39

Irréductibilité : structure Irréductibilité Périodicité Invariance Récurrence Proposition (Patates sans cycle) Soit G un graphe orienté, de composantes fortements connexes C 1,...,C p, alors son graphe quotient (pour la relation de forte connexité) déni par G = G/C 1 /.../C p (contraction de chaque composante en un sommet) est acyclique. Dénition (Classe close/nale/absorbante) Classe de communication dite close/nale/absorbante si tout état accessible depuis cette classe reste dans cette classe (comp. fort. connexe maximale dans le graphe quotient). Cours de base M1 - ENS Lyon Evaluation de Performances 15/39

Irréductibilité : exemple Irréductibilité Périodicité Invariance Récurrence si nb d'états, on peut avoir classes ou classes. Cours de base M1 - ENS Lyon Evaluation de Performances 16/39

Irréductibilité : exemple Irréductibilité Périodicité Invariance Récurrence composantes fortement connexes si nb d'états, on peut avoir classes ou classes. Cours de base M1 - ENS Lyon Evaluation de Performances 16/39

Irréductibilité : exemple Irréductibilité Périodicité Invariance Récurrence graphe quotient si nb d'états, on peut avoir classes ou classes. Cours de base M1 - ENS Lyon Evaluation de Performances 16/39

Irréductibilité : exemple Irréductibilité Périodicité Invariance Récurrence classes closes/finales/terminales si nb d'états, on peut avoir classes ou classes. Cours de base M1 - ENS Lyon Evaluation de Performances 16/39

Périodicité : dénitions Irréductibilité Périodicité Invariance Récurrence Dénition (Période d'un état d'une HMC) Etat i de période d i def = PGCD{n 1 p ii (n) > 0} (càd PGCD des longueurs des cycles passant par i dans le graphe de transition). Proposition (Irréductibilité & périodicité) Dans une classe de communication (comp. fort. connexe), tous les états ont la même période. Dénition (Période d'une HMC irréductible) Période d'une HMC irréd. : période commune à tous ses états (= PGCD des longueurs de tous les cycles du graphe de transition). HMC irréd apériodique : si période = 1. Cours de base M1 - ENS Lyon Evaluation de Performances 17/39

Périodicité : exemples Irréductibilité Périodicité Invariance Récurrence Exercice : trouver les périodes de ces graphes. c δ γ f 5 6 7 8 α d e β a b 1 2 3 4 A B C Cours de base M1 - ENS Lyon Evaluation de Performances 18/39

Périodicité : exemples Irréductibilité Périodicité Invariance Récurrence Exercice : trouver les périodes de ces graphes. c δ γ f 5 6 7 8 d α β a b 1 2 3 4 A B C période = 1 e Cours de base M1 - ENS Lyon Evaluation de Performances 18/39

Périodicité : exemples Irréductibilité Périodicité Invariance Récurrence Exercice : trouver les périodes de ces graphes. c δ γ f 5 6 7 8 d α β a b 1 2 3 4 A B C période = 1 période = 3 e Cours de base M1 - ENS Lyon Evaluation de Performances 18/39

Périodicité : exemples Irréductibilité Périodicité Invariance Récurrence Exercice : trouver les périodes de ces graphes. c δ γ f 5 6 7 8 d α β a b 1 2 3 4 A B C période = 1 période = 3 période = 1 e Cours de base M1 - ENS Lyon Evaluation de Performances 18/39

Périodicité : structure Irréductibilité Périodicité Invariance Récurrence Théorème (cycle de patates) Soit G un graphe orienté fortement connexe de période d, alors il existe une partition V 0,...,V d 1 des sommets tel que tout arc sortant de V p arrive en V p+1 (avec la convention V d+1 = V 0 ). c f a d e b Cours de base M1 - ENS Lyon Evaluation de Performances 19/39

Périodicité : structure Irréductibilité Périodicité Invariance Récurrence Théorème (cycle de patates) Soit G un graphe orienté fortement connexe de période d, alors il existe une partition V 0,...,V d 1 des sommets tel que tout arc sortant de V p arrive en V p+1 (avec la convention V d+1 = V 0 ). V 0 c f d e a b V 1 V 2 Cours de base M1 - ENS Lyon Evaluation de Performances 19/39

Invariance : dénitions Irréductibilité Périodicité Invariance Récurrence Contexte : (X n ) HMC de matrice de transition P. Dénition (Mesure invariante/stationnaire) Mesure invariante/stationnaire pour P : µ = (µ i ) i E R E tel que µ 0, µ 0 et µp = µ, càd i µ i 0, i µ i 0 et j µ j p ji = µ i. Dénition (Distribution de probabilités invariante/stationnaire) Distribution inv./stat. pour P : mesure invariante µ où i E µ i <+. Dans ce cas sa renormalisée π = (π i ) i E avec π i = µ i / j E µ j est appelée distrib de proba invariante/stationnaire ( i E π i = 1). Terminologie : si loi de X n = distrib de proba invariante, on dit que le processus est en régime stationnaire, à l'équilibre... Cours de base M1 - ENS Lyon Evaluation de Performances 20/39

Invariance : structure Irréductibilité Périodicité Invariance Récurrence Exercice : combien de distrib de proba invariantes pour une HMC? 0? 1? nb ni 2?? Cours de base M1 - ENS Lyon Evaluation de Performances 21/39

Invariance : structure Irréductibilité Périodicité Invariance Récurrence Exercice : combien de distrib de proba invariantes pour une HMC? 1 1 1 1 0 1 0 1 1? nb ni 2?? Cours de base M1 - ENS Lyon Evaluation de Performances 21/39

Invariance : structure Irréductibilité Périodicité Invariance Récurrence Exercice : combien de distrib de proba invariantes pour une HMC? 1 1 1 1 0 1 0 1 0 1 1 nb ni 2?? Cours de base M1 - ENS Lyon Evaluation de Performances 21/39

Invariance : structure Irréductibilité Périodicité Invariance Récurrence Exercice : combien de distrib de proba invariantes pour une HMC? 1 1 1 1 0 1 0 1 0 1 1 nb ni 2? Impossible Cours de base M1 - ENS Lyon Evaluation de Performances 21/39

Invariance : structure Irréductibilité Périodicité Invariance Récurrence Exercice : combien de distrib de proba invariantes pour une HMC? 1 1 1 1 0 1 0 1 0 1 1 nb ni 2 Impossible 1 0 1 1 1 Théorème (structure des distrib de proba invariantes) Les distrib de proba invariantes d'une HMC forment un polyèdre convexe de R E + : c'est l'enveloppe convexe des distrib de proba invariantes des classes de communication nales. Cours de base M1 - ENS Lyon Evaluation de Performances 21/39

Récurrence : dénitions Irréductibilité Périodicité Invariance Récurrence Dénition (état transitoire/récurrent nul/positif) Soit (X n ) HMC à valeurs dans E et T i le temps de retour en i, état i transitoire si P i (T i < + ) < 1, état i récurrent si P i (T i < + ) = 1, état i récurrent nul si P i (T i < + ) = 1 mais E i (T i ) = +, état i récurrent positif si E i (T i ) < + donc P i (T i < + ) = 1. Proposition (temps de retour ni nb de visites inni) état i récurrent P i (nb de visites en i)=1 E i (nb de visites en i)=+ état i transitoire P i (nb ni de visites en i)=1 E i (nb de visites en i)<+ Corollaire (critère de la matrice de potentiel) i récurrent ssi + n=0 p ii (n) = + Cours de base M1 - ENS Lyon Evaluation de Performances 22/39

Irréductibilité & Récurrence Irréductibilité Périodicité Invariance Récurrence Proposition Dans une classe de communication (comp. fort. connexe) d'une HMC, les états sont soit tous récurrents, soit tous transitoires. S'ils sont récurrents, la classe est close et j, P(T j < + ) = 1. Corollaire Une chaîne irréductible est soit récurrente (tous les états sont récurrents), soit transitoire (tous les états sont transitoires). Question : HMC irréductible HMC récurrente? Cours de base M1 - ENS Lyon Evaluation de Performances 23/39

Irréductibilité & Récurrence Irréductibilité Périodicité Invariance Récurrence Proposition Dans une classe de communication (comp. fort. connexe) d'une HMC, les états sont soit tous récurrents, soit tous transitoires. S'ils sont récurrents, la classe est close et j, P(T j < + ) = 1. Corollaire Une chaîne irréductible est soit récurrente (tous les états sont récurrents), soit transitoire (tous les états sont transitoires). Question : HMC irréductible HMC récurrente? NON! Contrex : marches 1D homogènes en espace, récurrentes ssi p = (calculer p 00 (n) explicitement puis estimer + n=0 p ii(n) avec Stirling) p p Z 2 1 0 1 2 1 p 1 p 1 p 1 p 1 p 1 p p p Cours de base M1 - ENS Lyon Evaluation de Performances 23/39 p p

Invariance & Récurrence Irréductibilité Périodicité Invariance Récurrence Théorème (si irréductible, récurrence mesure invariante) Soit (X n ) HMC irréd et récurrente, de matrice de transition P, soit un état 0 xé arbitrairement et T 0 temps de retour en 0, def soit V i = T 0 n=1 1 X n =i nb de visites en i entre instant 0 (exclu) et def instant de retour T 0 (inclus), posons x i = E 0 [V i ] nb moyen de visites en i entre deux passages par 0. Alors : 1 0 < x i < pour tout i E 2 (x i ) i E mesure invariante de P (mesure inv canonique pour 0) 3 P admet une unique mesure invariante à un facteur mult près HMC irréductible, avec mesure invariante HMC récurrente? Cours de base M1 - ENS Lyon Evaluation de Performances 24/39

Invariance & Récurrence Irréductibilité Périodicité Invariance Récurrence Théorème (si irréductible, récurrence mesure invariante) Soit (X n ) HMC irréd et récurrente, de matrice de transition P, soit un état 0 xé arbitrairement et T 0 temps de retour en 0, def soit V i = T 0 n=1 1 X n =i nb de visites en i entre instant 0 (exclu) et def instant de retour T 0 (inclus), posons x i = E 0 [V i ] nb moyen de visites en i entre deux passages par 0. Alors : 1 0 < x i < pour tout i E 2 (x i ) i E mesure invariante de P (mesure inv canonique pour 0) 3 P admet une unique mesure invariante à un facteur mult près HMC irréductible, avec mesure invariante HMC récurrente? NON! reprendre marches 1D homogènes en espace avec p, qui admettent toutes 1 = (...,1,1,1,...) comme mesure invariante Cours de base M1 - ENS Lyon Evaluation de Performances 24/39

Invariance & Récurrence positive Irréductibilité Périodicité Invariance Récurrence Théorème (si irréductible, récurrence positive distrib proba inv) Soit (X n ) HMC irréd, de matrice de transition P, il y a équivalence : 1 (X n ) admet un état récurrent positif, 2 (X n ) a tous ses états récurrents positifs, 3 (X n ) admet une distrib de probas invariante. Dans ce cas, la distrib de probas invariante π = (π i ) est unique et vaut π i = 1/E i (T i ) > 0 où T i temps de retour en i. La chaîne est dite récurrente positive. Ex de HMC irréd récurrente mais pas récurrente positive? Cours de base M1 - ENS Lyon Evaluation de Performances 25/39

Invariance & Récurrence positive Irréductibilité Périodicité Invariance Récurrence Théorème (si irréductible, récurrence positive distrib proba inv) Soit (X n ) HMC irréd, de matrice de transition P, il y a équivalence : 1 (X n ) admet un état récurrent positif, 2 (X n ) a tous ses états récurrents positifs, 3 (X n ) admet une distrib de probas invariante. Dans ce cas, la distrib de probas invariante π = (π i ) est unique et vaut π i = 1/E i (T i ) > 0 où T i temps de retour en i. La chaîne est dite récurrente positive. Ex de HMC irréd récurrente mais pas récurrente positive? OUI, p.ex. la marche symétrique sur Z! Cours de base M1 - ENS Lyon Evaluation de Performances 25/39

Irréductibilité Périodicité Invariance Récurrence Cas d'une HMC à nombre ni d'états Proposition Toute HMC irréd à nombre ni d'états est récurrente positive. Théorème (Perron 1907 - Frobenius 1912) Soit P matrice de transition d'une HMC irréd, à nb ni N d'états, de période d, de val. propres complexes triées λ 1... λ N alors 1 λ 1 = 1 valeur propre de P, 2 les racines complexes de l'unité λ 1 = ω 0,λ 2 = ω 1,...,λ d = ω d 1 où ω = e 2πi/d, sont valeurs propres de P, 3 les autres valeurs propres λ d+1,...,λ N vérient λ j < 1. Corollaire (HMC irréductible apériodique) P n = 1 T π + O(n m 2 1 λ 2 n ) où m 2 multiplicité de λ 2 ( λ 2 < 1) Cours de base M1 - ENS Lyon Evaluation de Performances 26/39

Convergence asymptotique : Convergence Ergodicité Cas périodique Théorème (Convergence en loi des HMC) Soit (X n ) HMC irréductible, récurrente positive, apériodique, de matrice de transition P et de distribution stationnaire π. Alors pour toute distribution initiale ν, pour tout état i, Plus précisément, lim n + P(X n = i) = π i lim νp n π = 0. n + Une démonstration classique : par couplage de chaîne de Markov Hypothèse indispensable : période = 1. Cours de base M1 - ENS Lyon Evaluation de Performances 27/39

Théorème ergodique des HMC Convergence Ergodicité Cas périodique Théorème (Ergodicité des HMC) Soit (X n ) HMC à valeurs dans E, irréd, récurrente positive de distrib invariante π, et soit f : E R telle que i E f (i) π i <, alors pour tout loi initiale ν, presque sûrement, 1 lim n n n f (X k ) = f (i)π i k=1 i E Cours de base M1 - ENS Lyon Evaluation de Performances 28/39

Cas périodique irréductible Convergence Ergodicité Cas périodique Question : comment traiter HMC irréd de période d 2? Cours de base M1 - ENS Lyon Evaluation de Performances 29/39

Cas périodique irréductible Convergence Ergodicité Cas périodique Question : comment traiter HMC irréd de période d 2? Réductions : se ramener au cas apériodique avec P d ou I +P+ +Pd 1 d. Théorème (Convergence - cas périodique) Soit (X n ) HMC irréductible, récurrente positive, de période d, de matrice de transition P, soit V 0,...,V d 1 la partition en cycle de patates. Alors pour toute distrib initiale ν, pour tout 0 r d 1, pour tout état i V r, lim P(X nd+r = i) = d/e i (T i ) n + Plus précisément, lim n + νp nd+r d/e i (T i ) = 0 Cours de base M1 - ENS Lyon Evaluation de Performances 29/39

Irréductibilité? Périodicité? Récurrence? Distribution invariante? Comment décider l'irréductibilité? l'apériodicité? Structure du graphe de transition : Calcul des comp. connexes et du graphe acyclique quotient : calculable en général (à préciser en fct de la description de la chaîne si nb d'états ), linéaire en temps et en espace (si nb ni d'états) algos à base de DFS (Tarjan 1972, Kosaraju 1978) Calcul de la période : calculable en général (à préciser en fct de la description de la chaîne si nb d'états ), linéaire en temps et en espace (si nb ni d'états) algo à base de parcours (Denardo 1977) Cours de base M1 - ENS Lyon Evaluation de Performances 30/39

Comment décider la récurrence? Irréductibilité? Périodicité? Récurrence? Distribution invariante? Dénition (HMC sur N d homogène par faces et à sauts unitaires) Pour tout Λ {1,...,d}, HMC (X n ) homogène en espace sur la face def N Λ = {x = (x 1,...,x d ) N d λ Λ,x λ = 0, λ Λ,x λ > 0} telle que { 1,0,+1} d, x N Λ, la probabilité d'aller de x en x + vaut p(λ, ), avec { 1,0,+1} d p(λ, ) = 1. axe 1 face N Λ pour Λ = {1,2,3} axe 2 axe 3 Cours de base M1 - ENS Lyon Evaluation de Performances 31/39

Comment décider la récurrence? Irréductibilité? Périodicité? Récurrence? Distribution invariante? Dénition (HMC sur N d homogène par faces et à sauts unitaires) Pour tout Λ {1,...,d}, HMC (X n ) homogène en espace sur la face def N Λ = {x = (x 1,...,x d ) N d λ Λ,x λ = 0, λ Λ,x λ > 0} telle que { 1,0,+1} d, x N Λ, la probabilité d'aller de x en x + vaut p(λ, ), avec { 1,0,+1} d p(λ, ) = 1. axe 1 face N Λ pour Λ = {1,2} axe 2 axe 3 Cours de base M1 - ENS Lyon Evaluation de Performances 31/39

Comment décider la récurrence? Irréductibilité? Périodicité? Récurrence? Distribution invariante? Dénition (HMC sur N d homogène par faces et à sauts unitaires) Pour tout Λ {1,...,d}, HMC (X n ) homogène en espace sur la face def N Λ = {x = (x 1,...,x d ) N d λ Λ,x λ = 0, λ Λ,x λ > 0} telle que { 1,0,+1} d, x N Λ, la probabilité d'aller de x en x + vaut p(λ, ), avec { 1,0,+1} d p(λ, ) = 1. axe 1 face N Λ pour Λ = {1} axe 2 axe 3 Cours de base M1 - ENS Lyon Evaluation de Performances 31/39

Comment décider la récurrence? Irréductibilité? Périodicité? Récurrence? Distribution invariante? Dénition (HMC sur N d homogène par faces et à sauts unitaires) Pour tout Λ {1,...,d}, HMC (X n ) homogène en espace sur la face def N Λ = {x = (x 1,...,x d ) N d λ Λ,x λ = 0, λ Λ,x λ > 0} telle que { 1,0,+1} d, x N Λ, la probabilité d'aller de x en x + vaut p(λ, ), avec { 1,0,+1} d p(λ, ) = 1. axe 1 face N Λ pour Λ = axe 2 axe 3 Cours de base M1 - ENS Lyon Evaluation de Performances 31/39

Comment décider la récurrence? Irréductibilité? Périodicité? Récurrence? Distribution invariante? Dénition (HMC sur N d homogène par faces et à sauts unitaires) Pour tout Λ {1,...,d}, HMC (X n ) homogène en espace sur la face def N Λ = {x = (x 1,...,x d ) N d λ Λ,x λ = 0, λ Λ,x λ > 0} telle que { 1,0,+1} d, x N Λ, la probabilité d'aller de x en x + vaut p(λ, ), avec { 1,0,+1} d p(λ, ) = 1. HMC homogène par faces et à sauts unitaires 1/3 1/3 1/3 1/4 1/4 Ex ici : si Λ = {1, 2} et = (+1,+1) p(λ, ) = 1/6 1/3 1/3 2/3 Cours de base M1 - ENS Lyon Evaluation de Performances 31/39

Comment décider la récurrence? Irréductibilité? Périodicité? Récurrence? Distribution invariante? Dénition (HMC sur N d homogène par faces et à sauts unitaires) Pour tout Λ {1,...,d}, HMC (X n ) homogène en espace sur la face def N Λ = {x = (x 1,...,x d ) N d λ Λ,x λ = 0, λ Λ,x λ > 0} telle que { 1,0,+1} d, x N Λ, la probabilité d'aller de x en x + vaut p(λ, ), avec { 1,0,+1} d p(λ, ) = 1. Théorème (Gamarnik 2002) Déterminer pour d qcq si une HMC sur N d homogène par faces et à sauts unitaires est récurrente positive, est indécidable. Théorème (Malyshev 1972, Menshikov 1974, Ignatyuk 1993) Déterminer pour d =1,2,3 ou 4 xé si une HMC sur N d homogène par faces est récurrente positive, est décidable (ouvert si d 5 xé). Cours de base M1 - ENS Lyon Evaluation de Performances 31/39

Comment décider la récurrence? Irréductibilité? Périodicité? Récurrence? Distribution invariante? Préparation utile : tester l'irréductibilité. Tester la récurrence : via retour à la dénition (p.ex. calcul explicite de P i (T i < )) via critère de la matrice de potentiel (nature de p ii (n)) Tester la récurrence positive : n 0 via retour à la dénition (p.ex. calcul explicite de E i (T i )) via recherche d'une distribution invariante (recherche de mesure invariante & s'assurer au nal que i π i < ), via l'utilisation de sur/sous-martingales. Cours de base M1 - ENS Lyon Evaluation de Performances 32/39

Martingales : dénitions Irréductibilité? Périodicité? Récurrence? Distribution invariante? Espérance cond. de Y v.a. réelle vis à vis des v.a. X n,...,x 0 : E(Y X n,...,x 0 ) def = E(Y X n = i n,...,x 0 = i 0 )1 Xn =i n,...,x 0 =i 0 v.a. i 0,...,i n E Dénition (Martingale vis à vis d'un processus (X n ) n N ) Processus (M n ) n N à valeurs réelles martingale vis à vis de (X n ) n N à valeurs dans E si : n N, E M n < et E(M n+1 X n,...,x 0 ) = M n. Dans ce cas, n N, E(M n ) = E(M 0 ). def En pratique : souvent M n = f (X n,...,x 0 ), voire juste f (X n ), alors vérier si i 0,...,i n E, E(M n+1 X n = i n,...,x 0 = i 0 ) = f (i n,...,i 0 ). Exemple : (X n ) marche symétrique sur Z, M n = f (X n ) avec f (i)=i Variantes : sous-/sur-martingale si n N, E(M n+1 X n,...,x 0 ) M n (resp ) et E M n < Cours de base M1 - ENS Lyon Evaluation de Performances 33/39

Irréductibilité? Périodicité? Récurrence? Distribution invariante? Martingales : théorème du temps d'arrêt Théorème (Théorème d'arrêt de Doob / optional stopping theorem) Soit (M n ) martingale (resp. sous-/sur-) pour (X n ) et T temps d'arrêt pour (X n ). Si au moins l'une de ces conditions est vraie : 1 T N p.s. où N N 2 T < et n N, M n C p.s. où C R + 3 E(T ) < et n N, M n+1 M n C p.s. où C R + Alors E(M T ) = E(M 0 ) (resp. / ). Applications : (X n ) marche symétrique sur Z, 0 i N, soit T = τ {0,N} temps d'absorption par 0 ou N Proba d'absorption par N : Temps moyen d'absorption : Cours de base M1 - ENS Lyon Evaluation de Performances 34/39

Irréductibilité? Périodicité? Récurrence? Distribution invariante? Martingales : théorème du temps d'arrêt Théorème (Théorème d'arrêt de Doob / optional stopping theorem) Soit (M n ) martingale (resp. sous-/sur-) pour (X n ) et T temps d'arrêt pour (X n ). Si au moins l'une de ces conditions est vraie : 1 T N p.s. où N N 2 T < et n N, M n C p.s. où C R + 3 E(T ) < et n N, M n+1 M n C p.s. où C R + Alors E(M T ) = E(M 0 ) (resp. / ). Applications : (X n ) marche symétrique sur Z, 0 i N, soit T = τ {0,N} temps d'absorption par 0 ou N Proba d'absorption par N : M n = X n P i (X T = N) = i/n Temps moyen d'absorption : Cours de base M1 - ENS Lyon Evaluation de Performances 34/39

Irréductibilité? Périodicité? Récurrence? Distribution invariante? Martingales : théorème du temps d'arrêt Théorème (Théorème d'arrêt de Doob / optional stopping theorem) Soit (M n ) martingale (resp. sous-/sur-) pour (X n ) et T temps d'arrêt pour (X n ). Si au moins l'une de ces conditions est vraie : 1 T N p.s. où N N 2 T < et n N, M n C p.s. où C R + 3 E(T ) < et n N, M n+1 M n C p.s. où C R + Alors E(M T ) = E(M 0 ) (resp. / ). Applications : (X n ) marche symétrique sur Z, 0 i N, soit T = τ {0,N} temps d'absorption par 0 ou N Proba d'absorption par N : M n = X n P i (X T = N) = i/n Temps moyen d'absorption : M n = X 2 n 1 E i(t ) = i(n i) Cours de base M1 - ENS Lyon Evaluation de Performances 34/39

Martingales : théorème de Foster (I) Irréductibilité? Périodicité? Récurrence? Distribution invariante? Théorème (une CS de récurrence positive - Foster 1953) Soit (X n ) HMC irréd à valeurs dans E, s'il existe h : E R +, F ni E, ε > 0 tels que : i F, E i (h(x 1 )) = j E p ij h(j) <, et i F, E i (h(x 1 ) h(x 0 )) = j E p ij h(j) h(i) ε Alors la chaîne est récurrente positive et i F, E i (T F ) h(i)/ε. Exemple : marche biaisée sur N avec p < 1 p p p 0 1 2 3 1 p 1 p 1 p 1 p Cours de base M1 - ENS Lyon Evaluation de Performances 35/39

Martingales : théorème de Foster (I) Irréductibilité? Périodicité? Récurrence? Distribution invariante? Théorème (une CS de récurrence positive - Foster 1953) Soit (X n ) HMC irréd à valeurs dans E, s'il existe h : E R +, F ni E, ε > 0 tels que : i F, E i (h(x 1 )) = j E p ij h(j) <, et i F, E i (h(x 1 ) h(x 0 )) = j E p ij h(j) h(i) ε Alors la chaîne est récurrente positive et i F, E i (T F ) h(i)/ε. Exemple : marche biaisée sur N avec p < 1 p p p 0 1 2 3 1 p 1 p 1 p 1 p récurrent positif : prendre F = {0} et h(i) = i Cours de base M1 - ENS Lyon Evaluation de Performances 35/39

Irréductibilité? Périodicité? Récurrence? Distribution invariante? Martingales : théorème à la Foster (II) Théorème (une CS de non récurrence positive - Tweedie 1976) Soit (X n ) HMC irréd à valeurs dans E, s'il existe h : E R +, F ni E, c > 0 tels que : i E, E i h(x 1 ) h(x 0 ) = j E p ij h(j) h(i) c i F, E i (h(x 1 ) h(x 0 )) = j E p ij h(j) h(i) 0 i 0 F, h(i 0 ) > max i F h(i) Alors la chaîne n'est pas récurrente positive et E i0 (T F ) = +. Exemple : marche biaisée sur N avec p 1 p p p 0 1 2 3 1 p 1 p 1 p 1 p Cours de base M1 - ENS Lyon Evaluation de Performances 36/39

Irréductibilité? Périodicité? Récurrence? Distribution invariante? Martingales : théorème à la Foster (II) Théorème (une CS de non récurrence positive - Tweedie 1976) Soit (X n ) HMC irréd à valeurs dans E, s'il existe h : E R +, F ni E, c > 0 tels que : i E, E i h(x 1 ) h(x 0 ) = j E p ij h(j) h(i) c i F, E i (h(x 1 ) h(x 0 )) = j E p ij h(j) h(i) 0 i 0 F, h(i 0 ) > max i F h(i) Alors la chaîne n'est pas récurrente positive et E i0 (T F ) = +. Exemple : marche biaisée sur N avec p 1 p p p 0 1 2 3 1 p 1 p 1 p 1 p non récurrent positif : prendre F = {0} et h(i) = i ou h(i) = 1 1 (i) Cours de base M1 - ENS Lyon Evaluation de Performances 36/39

Irréductibilité? Périodicité? Récurrence? Distribution invariante? Martingales : théorèmes de / à la Foster (III) Terminologie : h fonction de potentiel, sur-/sous-harmonique, de Lyapunov E i (h(x 1 ) h(x 0 )) variation locale moyenne, dérive/drift Exemples : Cours de base M1 - ENS Lyon Evaluation de Performances 37/39

Irréductibilité? Périodicité? Récurrence? Distribution invariante? Distribution invariante : techniques de calcul Résoudre directement le système linéaire πp = π d'inconnues (π i ) i E (combinaisons/substitutions, pivot de Gauss, formules de Cramer...). Introduire de nouvelles relations linéaires par raisonnement de ots, pour simplier la résolution. Sortir du chapeau une forme particulière de solution, à injecter dans le système linéaire pour vérier sa validité et ajuster ses paramètres. Cours de base M1 - ENS Lyon Evaluation de Performances 38/39

Distribution invariante : ots Irréductibilité? Périodicité? Récurrence? Distribution invariante? Proposition (vision ot de l'invariance) Associer à distrib π = (π i ) i E le ot f ij def = π i p ij de i vers j pour tout arc ij du graphe de transition. Alors π distrib inv ssi f respecte 1ère loi de Kircho (conservation du ot au niveau de chaque état). Proposition (relations de ot en régime stationnaire) Soit π distrib invariante et S E, alors : π i p ij = i S j S j S i S π j p ji π i p ij p ji π j flot entrant S flot sortant Application : trouver la distrib inv (s'il en existe) l'hmc suivante Cours de base M1 - ENS Lyon Evaluation de Performances 39/39