Chapitre 3 Mesures stationnaires et théorèmes de convergence Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.1
I. Mesures stationnaires Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.2
I. Mesures stationnaires Définition : Une probabilité π sur E est invariante ou stationnaire pour la chaine de Markov (X n ) n 0 si, pour tout n 0 : ( x E, P(X n = x) = π(x)) = ( x E, P(X n+1 = x) = π(x)). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.2
I. Mesures stationnaires Définition : Une probabilité π sur E est invariante ou stationnaire pour la chaine de Markov (X n ) n 0 si, pour tout n 0 : ( x E, P(X n = x) = π(x)) = ( x E, P(X n+1 = x) = π(x)). Proposition 1 : La probabilité π est stationnaire si et seulement si : y E, π(x)p(x, y) = π(y). x E Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.2
I. Mesures stationnaires Définition : Une probabilité π sur E est invariante ou stationnaire pour la chaine de Markov (X n ) n 0 si, pour tout n 0 : ( x E, P(X n = x) = π(x)) = ( x E, P(X n+1 = x) = π(x)). Proposition 1 : La probabilité π est stationnaire si et seulement si : y E, π(x)p(x, y) = π(y). x E En fait π est stationnaire si et seulement si, lorsque la loi initiale de la chaine est π (c est-à-dire si P(X 0 = x) = π(x) pour tout x) alors, pour tout instant n, la loi de X n est également π (c est-à-dire P(X n = x) = π(x) pour tout x). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.2
Exemple : Dans le cas d une chaine pour laquelle E = {0,1} et p = 1 a a, b 1 b nous avons montré que P(X n = 0) = et P(X n = 1) = b a + b + (1 a b)n (µ(0) a a + b + (1 a b)n (µ(1) b a + b ) a a + b ) Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.3
Exemple : Dans le cas d une chaine pour laquelle E = {0,1} et p = 1 a a, b 1 b nous avons montré que P(X n = 0) = et P(X n = 1) = b a + b + (1 a b)n (µ(0) a a + b + (1 a b)n (µ(1) b a + b ) a a + b ) Par conséquent la probabilité π définie par π(0) = b a+b, π(1) = a a+b est stationnaire et c est la seule. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.3
Exemple : Dans le cas d une chaine pour laquelle E = {0,1} et p = 1 a a, b 1 b nous avons montré que P(X n = 0) = et P(X n = 1) = b a + b + (1 a b)n (µ(0) a a + b + (1 a b)n (µ(1) b a + b ) a a + b ) Par conséquent la probabilité π définie par π(0) = b a+b, π(1) = a a+b est stationnaire et c est la seule. On retrouve ce résultat en appliquant la proposition 1. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.3
Exemple : Dans le cas d une chaine pour laquelle E = {0,1} et p = 1 a a, b 1 b nous avons montré que P(X n = 0) = et P(X n = 1) = b a + b + (1 a b)n (µ(0) a a + b + (1 a b)n (µ(1) b a + b ) a a + b ) Par conséquent la probabilité π définie par π(0) = b a+b, π(1) = a a+b est stationnaire et c est la seule. On retrouve ce résultat en appliquant la proposition 1. En outre lim P(X n = 0) = n + b a + b = π(0), lim P(X n = 1) = n + a a + b = π(1). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.3
En fait, si π est stationnaire et si la loi de X 0 est π, alors pour tout n, (X k+n ) k 0 a même loi que (X p ) p 0 au sens où : pour tout m 0, le vecteur (X n,x n+1,...,x n+m ) a même loi que le vecteur (X 0,X 1,...,X m ). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.4
En fait, si π est stationnaire et si la loi de X 0 est π, alors pour tout n, (X k+n ) k 0 a même loi que (X p ) p 0 au sens où : pour tout m 0, le vecteur (X n,x n+1,...,x n+m ) a même loi que le vecteur (X 0,X 1,...,X m ). Cela signifie que la chaine de Markov regardée depuis l instant initial a même loi que la chaine de Markov regardée à partir de tout instant n. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.4
En fait, si π est stationnaire et si la loi de X 0 est π, alors pour tout n, (X k+n ) k 0 a même loi que (X p ) p 0 au sens où : pour tout m 0, le vecteur (X n,x n+1,...,x n+m ) a même loi que le vecteur (X 0,X 1,...,X m ). Cela signifie que la chaine de Markov regardée depuis l instant initial a même loi que la chaine de Markov regardée à partir de tout instant n. Il est commode d étendre la notion d invariance aux mesures sur E et de ne pas la réserver aux probabilités sur E. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.4
En fait, si π est stationnaire et si la loi de X 0 est π, alors pour tout n, (X k+n ) k 0 a même loi que (X p ) p 0 au sens où : pour tout m 0, le vecteur (X n,x n+1,...,x n+m ) a même loi que le vecteur (X 0,X 1,...,X m ). Cela signifie que la chaine de Markov regardée depuis l instant initial a même loi que la chaine de Markov regardée à partir de tout instant n. Il est commode d étendre la notion d invariance aux mesures sur E et de ne pas la réserver aux probabilités sur E. Définition : Une mesure m sur E (c est à dire une famille (m(x)) x E de réels positifs ou nuls) est dite invariante (ou stationnaire) si la mesure m n est pas la mesure identiquement nulle et si : y E x E m(x)p(x,y) = m(y). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.4
Une probabilité invariante est évidemment une mesure invariante. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.5
Une probabilité invariante est évidemment une mesure invariante. Si m est une mesure invariante et si λ > 0, alors λm est une mesure invariante. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.5
Une probabilité invariante est évidemment une mesure invariante. Si m est une mesure invariante et si λ > 0, alors λm est une mesure invariante. Si m est une mesure invariante et si m(e) < +, alors m/m(e) est une probabilité invariante. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.5
Une probabilité invariante est évidemment une mesure invariante. Si m est une mesure invariante et si λ > 0, alors λm est une mesure invariante. Si m est une mesure invariante et si m(e) < +, alors m/m(e) est une probabilité invariante. En pratique, on cherche des mesures stationnaires et on les renormalise éventuellement pour avoir des probabilités stationnaires. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.5
Une probabilité invariante est évidemment une mesure invariante. Si m est une mesure invariante et si λ > 0, alors λm est une mesure invariante. Si m est une mesure invariante et si m(e) < +, alors m/m(e) est une probabilité invariante. En pratique, on cherche des mesures stationnaires et on les renormalise éventuellement pour avoir des probabilités stationnaires. Si E est fini et comprend d éléments, m peut être représentée par un vecteur colonne de d composantes et les équations de stationnarité s écrivent : m t p = m t. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.5
Une probabilité invariante est évidemment une mesure invariante. Si m est une mesure invariante et si λ > 0, alors λm est une mesure invariante. Si m est une mesure invariante et si m(e) < +, alors m/m(e) est une probabilité invariante. En pratique, on cherche des mesures stationnaires et on les renormalise éventuellement pour avoir des probabilités stationnaires. Si E est fini et comprend d éléments, m peut être représentée par un vecteur colonne de d composantes et les équations de stationnarité s écrivent : m t p = m t. Cela revient à chercher les vecteurs propres à gauche de p (c est-à-dire les vecteurs propres de p t associés à la valeur propre 1). On voit que 1 est valeur propre de p donc de p t, mais il n est pas évident qu il existe un vecteur propre dont toutes les composantes soient positives ou nulles. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.5
Exemple : Prenons le modèle d Ehrenfest avec d = 3. La matrice de transition p est : 0 1 0 0 1/3 0 2/3 0 0 2/3 0 1/3. 0 0 1 0 Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.6
Exemple : Prenons le modèle d Ehrenfest avec d = 3. La matrice de transition p est : 0 1 0 0 1/3 0 2/3 0 0 2/3 0 1/3. 0 0 1 0 On trouve : π(0) = 1 8, π(1) = 3 8, π(2) = 3 8, π(3) = 1 8. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.6
Exemple : Prenons le modèle d Ehrenfest avec d = 3. La matrice de transition p est : 0 1 0 0 1/3 0 2/3 0 0 2/3 0 1/3. 0 0 1 0 On trouve : π(0) = 1 8, π(1) = 3 8, π(2) = 3 8, π(3) = 1 8. Pour cette chaine, nous n avons pas lim n + P(X n = i) = π(i) car si n est impair P x (X n = x) = 0. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.6
Exemple : Prenons le modèle d Ehrenfest avec d = 3. La matrice de transition p est : 0 1 0 0 1/3 0 2/3 0 0 2/3 0 1/3. 0 0 1 0 On trouve : π(0) = 1 8, π(1) = 3 8, π(2) = 3 8, π(3) = 1 8. Pour cette chaine, nous n avons pas lim n + P(X n = i) = π(i) car si n est impair P x (X n = x) = 0. Cette chaine a un comportement périodique", nous y reviendrons à la fin du chapitre. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.6
Il peut être lourd de chercher les mesures stationnaires à l aide de la définition, la notion de réversibilité est plus restrictive mais plus facile à manipuler. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.7
Il peut être lourd de chercher les mesures stationnaires à l aide de la définition, la notion de réversibilité est plus restrictive mais plus facile à manipuler. Définition : La mesure m sur E est réversible pour la chaine de Markov de fonction de transition p si : m(x)p(x,y) = m(y)p(y,x), x;y E. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.7
Il peut être lourd de chercher les mesures stationnaires à l aide de la définition, la notion de réversibilité est plus restrictive mais plus facile à manipuler. Définition : La mesure m sur E est réversible pour la chaine de Markov de fonction de transition p si : m(x)p(x,y) = m(y)p(y,x), x;y E. Proposition 2 : Toute mesure réversible est stationnaire. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.7
Exemple d une chaine de naissance et mort : Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.8
Exemple d une chaine de naissance et mort : On suppose que q x > 0 pour tout x 1. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.8
Exemple d une chaine de naissance et mort : On suppose que q x > 0 pour tout x 1. On vérifie que la mesure m est réversible si et seulement si elle s écrit pour x 1, x E : m(x) = p 0...p x 1 q 1...q x m(0). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.8
Exemple d une chaine de naissance et mort : On suppose que q x > 0 pour tout x 1. On vérifie que la mesure m est réversible si et seulement si elle s écrit pour x 1, x E : m(x) = p 0...p x 1 q 1...q x m(0). Si E = {0, 1,...d}, la probabilité π donnée par : π(x) = m(x) d y=0 m(y) = d y=0 p 0...p x 1 q 1...q x p 0...p y 1 q 1...q y pour 0 x d, est réversible donc stationnaire. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.8
Exemple d une chaine de naissance et mort : On suppose que q x > 0 pour tout x 1. On vérifie que la mesure m est réversible si et seulement si elle s écrit pour x 1, x E : m(x) = p 0...p x 1 q 1...q x m(0). Si E = {0, 1,...d}, la probabilité π donnée par : π(x) = m(x) d y=0 m(y) = d y=0 p 0...p x 1 q 1...q x p 0...p y 1 q 1...q y pour 0 x d, est réversible donc stationnaire. Si E = N, et si y 0 m(y) =< +, c est-à-dire si y 0 une seule probabilité réversible π donnée par : p 0...p y 1 q 1...q y < +, il existe une et π(x) = m(x) y 0 m(y) = y 0 p 0...p x 1 q 1...q x p 0...p y 1 q 1...q y pour x N. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.8
Exemple d une chaine de naissance et mort : On suppose que q x > 0 pour tout x 1. On vérifie que la mesure m est réversible si et seulement si elle s écrit pour x 1, x E : m(x) = p 0...p x 1 q 1...q x m(0). Si E = {0, 1,...d}, la probabilité π donnée par : π(x) = m(x) d y=0 m(y) = d y=0 p 0...p x 1 q 1...q x p 0...p y 1 q 1...q y pour 0 x d, est réversible donc stationnaire. Si E = N, et si y 0 m(y) =< +, c est-à-dire si y 0 une seule probabilité réversible π donnée par : p 0...p y 1 q 1...q y < +, il existe une et π(x) = m(x) y 0 m(y) = y 0 p 0...p x 1 q 1...q x p 0...p y 1 q 1...q y pour x N. Si E = N, et si y 0 p 0...p y 1 q 1...q y = +, il n existe pas de probabilité réversible. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.8
Proposition 3 : Soit π une probabilité stationnaire. Si y est un état transient ou récurrent nul, alors π(y) = 0. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.9
Proposition 3 : Soit π une probabilité stationnaire. Si y est un état transient ou récurrent nul, alors π(y) = 0. car si y est transient ou récurrent nul, alors pour tout x ( n ) 1 n E x 1 {Xk =y} 0. n + k=1 Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.9
II. Cas d une chaine récurrente irréductible Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.10
II. Cas d une chaine récurrente irréductible Lemme 5 : Soit m une mesure invariante (donc non identiquement nulle) d une chaine de Markov irréductible. Alors, pour tout y E, on a m(y) > 0. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.10
II. Cas d une chaine récurrente irréductible Lemme 5 : Soit m une mesure invariante (donc non identiquement nulle) d une chaine de Markov irréductible. Alors, pour tout y E, on a m(y) > 0. Théorème 5 : Une chaine de Markov récurrente irréductible possède une mesure invariante m. Cette mesure stationnaire est strictement positive en tout point et unique à une constante multiplicative près. En outre pour tout x 0 E on a : T x0 y E, m(y) = c(x 0 ) E x0 (c(x 0 ) > 0). k=1 1 {Xk =y} Par suite la chaine est récurrente positive si et seulement si ses mesures stationaires sont de masse totale finie. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.10
On fixe x 0 E et on pose T x0 λ x0 (y) = E x0 k=1 1 {Xk =y} = k 1 P x0 (T x0 k,x k = y) R +. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.11
On fixe x 0 E et on pose T x0 λ x0 (y) = E x0 k=1 1 {Xk =y} = k 1 P x0 (T x0 k,x k = y) R +. Etape 1 : λ x0 est une mesure invariante strictement positive Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.11
On fixe x 0 E et on pose T x0 λ x0 (y) = E x0 k=1 1 {Xk =y} = k 1 P x0 (T x0 k,x k = y) R +. Etape 1 : λ x0 est une mesure invariante strictement positive Etape 2 : toutes les mesures invariantes sont proportionnelles à λ x0 Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.11
On fixe x 0 E et on pose T x0 λ x0 (y) = E x0 k=1 1 {Xk =y} = k 1 P x0 (T x0 k,x k = y) R +. Etape 1 : λ x0 est une mesure invariante strictement positive - λ x0 (x 0 ) = 1, Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.11
On fixe x 0 E et on pose T x0 λ x0 (y) = E x0 k=1 1 {Xk =y} = k 1 P x0 (T x0 k,x k = y) R +. Etape 1 : λ x0 est une mesure invariante strictement positive - λ x0 (x 0 ) = 1, - pour tout z E, y E λ x 0 (y)p(y,z) = λ x0 (z), Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.11
On fixe x 0 E et on pose T x0 λ x0 (y) = E x0 k=1 1 {Xk =y} = k 1 P x0 (T x0 k,x k = y) R +. Etape 1 : λ x0 est une mesure invariante strictement positive - λ x0 (x 0 ) = 1, - pour tout z E, y E λ x 0 (y)p(y,z) = λ x0 (z), - pour tout y 0 E, λ x0 (y 0 ) < +. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.11
On fixe x 0 E et on pose T x0 λ x0 (y) = E x0 k=1 1 {Xk =y} = k 1 P x0 (T x0 k,x k = y) R +. Etape 1 : λ x0 est une mesure invariante strictement positive - λ x0 (x 0 ) = 1, - pour tout z E, y E λ x 0 (y)p(y,z) = λ x0 (z), - pour tout y 0 E, λ x0 (y 0 ) < +. Etape 2 : toutes les mesures invariantes sont proportionnelles à λ x0. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.11
On fixe x 0 E et on pose T x0 λ x0 (y) = E x0 k=1 1 {Xk =y} = k 1 P x0 (T x0 k,x k = y) R +. Etape 1 : λ x0 est une mesure invariante strictement positive - λ x0 (x 0 ) = 1, - pour tout z E, y E λ x 0 (y)p(y,z) = λ x0 (z), - pour tout y 0 E, λ x0 (y 0 ) < +. Etape 2 : toutes les mesures invariantes sont proportionnelles à λ x0. Soit m une mesure invariante Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.11
On fixe x 0 E et on pose T x0 λ x0 (y) = E x0 k=1 1 {Xk =y} = k 1 P x0 (T x0 k,x k = y) R +. Etape 1 : λ x0 est une mesure invariante strictement positive - λ x0 (x 0 ) = 1, - pour tout z E, y E λ x 0 (y)p(y,z) = λ x0 (z), - pour tout y 0 E, λ x0 (y 0 ) < +. Etape 2 : toutes les mesures invariantes sont proportionnelles à λ x0. Soit m une mesure invariante - pour tout z E, m(z) m(x 0 ) n k=1 P x 0 (T x0 k,x k = z), Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.11
On fixe x 0 E et on pose T x0 λ x0 (y) = E x0 k=1 1 {Xk =y} = k 1 P x0 (T x0 k,x k = y) R +. Etape 1 : λ x0 est une mesure invariante strictement positive - λ x0 (x 0 ) = 1, - pour tout z E, y E λ x 0 (y)p(y,z) = λ x0 (z), - pour tout y 0 E, λ x0 (y 0 ) < +. Etape 2 : toutes les mesures invariantes sont proportionnelles à λ x0. Soit m une mesure invariante - pour tout z E, m(z) m(x 0 ) n k=1 P x 0 (T x0 k,x k = z), - pour tout z E, m(z) m(x 0 )λ x0 (z), Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.11
On fixe x 0 E et on pose T x0 λ x0 (y) = E x0 k=1 1 {Xk =y} = k 1 P x0 (T x0 k,x k = y) R +. Etape 1 : λ x0 est une mesure invariante strictement positive - λ x0 (x 0 ) = 1, - pour tout z E, y E λ x 0 (y)p(y,z) = λ x0 (z), - pour tout y 0 E, λ x0 (y 0 ) < +. Etape 2 : toutes les mesures invariantes sont proportionnelles à λ x0. Soit m une mesure invariante - pour tout z E, m(z) m(x 0 ) n k=1 P x 0 (T x0 k,x k = z), - pour tout z E, m(z) m(x 0 )λ x0 (z), - m 1 = m m(x 0 )λ x0 est une mesure (positive) qui vérifie, pour tout y E, m 1 (y) = x E m 1(x)p(x,y). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.11
On fixe x 0 E et on pose T x0 λ x0 (y) = E x0 k=1 1 {Xk =y} = k 1 P x0 (T x0 k,x k = y) R +. Etape 1 : λ x0 est une mesure invariante strictement positive - λ x0 (x 0 ) = 1, - pour tout z E, y E λ x 0 (y)p(y,z) = λ x0 (z), - pour tout y 0 E, λ x0 (y 0 ) < +. Etape 2 : toutes les mesures invariantes sont proportionnelles à λ x0. Soit m une mesure invariante - pour tout z E, m(z) m(x 0 ) n k=1 P x 0 (T x0 k,x k = z), - pour tout z E, m(z) m(x 0 )λ x0 (z), - m 1 = m m(x 0 )λ x0 est une mesure (positive) qui vérifie, pour tout y E, m 1 (y) = x E m 1(x)p(x,y). - m 1 (x 0 ) = 0, donc m 1 = 0 (lemme 4). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.11
Théorème 6 : Une chaine de Markov irréductible et récurrente positive possède une et une seule probabilité stationnaire π. Cette probabilité stationnaire π vérifie : x 0 E, y E, π(y) = E x 0 ( T x0 k=1 1 {X k =y}) E x0 (T x0 ) En outre, pour tout y E : = 1 E y (T y ). 1 n n k=1 1 {Xk =y} p.s. n + π(y). Plus généralement, pour toute fonction f positive ou π-intégrable : 1 n n f(x k ) k=1 p.s. n + y E f(y)π(y) = fdπ. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.12
Remarque : : lim n + 1 n n k=1 1 {Xk =y} = lim n + 1 n n k=0 1 {Xk =y} = lim n + 1 n n 1 k=0 1 {Xk =y}, et de même : lim n + 1 n n k=1 f(x k ) = lim n + 1 n n k=0 f(x k ) = lim n + 1 n n 1 k=0 f(x k ). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.13
Remarque : : lim n + 1 n n k=1 1 {Xk =y} = lim n + 1 n n k=0 1 {Xk =y} = lim n + 1 n n 1 k=0 1 {Xk =y}, et de même : lim n + 1 n n k=1 f(x k ) = lim n + 1 n n k=0 f(x k ) = lim n + 1 n n 1 k=0 f(x k ). Corollaire 8 : Une chaine irréductible est récurrente positive si et seulement si elle possède une probabilité stationnaire (et celle-ci est alors unique). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.13
Remarque : : lim n + 1 n n k=1 1 {Xk =y} = lim n + 1 n n k=0 1 {Xk =y} = lim n + 1 n n 1 k=0 1 {Xk =y}, et de même : lim n + 1 n n k=1 f(x k ) = lim n + 1 n n k=0 f(x k ) = lim n + 1 n n 1 k=0 f(x k ). Corollaire 8 : Une chaine irréductible est récurrente positive si et seulement si elle possède une probabilité stationnaire (et celle-ci est alors unique). Corollaire 8 : Une chaine irréductible sur un espace d états fini possède une et une seule probabilité stationnaire π et tous ses états sont récurrents positifs. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.13
En pratique, pour trouver la probabilité invariante éventuelle d une chaine irréductible, on peut commencer par chercher des mesures réversibles γ, Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.14
En pratique, pour trouver la probabilité invariante éventuelle d une chaine irréductible, on peut commencer par chercher des mesures réversibles γ, si on en trouve une, alors la mesure m = γ est invariante, Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.14
En pratique, pour trouver la probabilité invariante éventuelle d une chaine irréductible, on peut commencer par chercher des mesures réversibles γ, si on en trouve une, alors la mesure m = γ est invariante, si on n en trouve pas, on ne peut conclure et il faut revenir à la recherche directe de mesures invariantes, Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.14
En pratique, pour trouver la probabilité invariante éventuelle d une chaine irréductible, on peut commencer par chercher des mesures réversibles γ, si on en trouve une, alors la mesure m = γ est invariante, si on n en trouve pas, on ne peut conclure et il faut revenir à la recherche directe de mesures invariantes, si on ne trouve pas de mesure invariante non identiquement nulle, alors la chaine est transiente. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.14
En pratique, pour trouver la probabilité invariante éventuelle d une chaine irréductible, on peut commencer par chercher des mesures réversibles γ, si on en trouve une, alors la mesure m = γ est invariante, si on n en trouve pas, on ne peut conclure et il faut revenir à la recherche directe de mesures invariantes, si on ne trouve pas de mesure invariante non identiquement nulle, alors la chaine est transiente. si on a trouvé une mesure invariante m non identiquement nulle : Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.14
En pratique, pour trouver la probabilité invariante éventuelle d une chaine irréductible, on peut commencer par chercher des mesures réversibles γ, si on en trouve une, alors la mesure m = γ est invariante, si on n en trouve pas, on ne peut conclure et il faut revenir à la recherche directe de mesures invariantes, si on ne trouve pas de mesure invariante non identiquement nulle, alors la chaine est transiente. si on a trouvé une mesure invariante m non identiquement nulle : - ou bien x m(x) < +, la chaine est alors récurrente positive et la probabilité invariante est π(x) = m(x)/ y m(y), Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.14
En pratique, pour trouver la probabilité invariante éventuelle d une chaine irréductible, on peut commencer par chercher des mesures réversibles γ, si on en trouve une, alors la mesure m = γ est invariante, si on n en trouve pas, on ne peut conclure et il faut revenir à la recherche directe de mesures invariantes, si on ne trouve pas de mesure invariante non identiquement nulle, alors la chaine est transiente. si on a trouvé une mesure invariante m non identiquement nulle : - ou bien x m(x) < +, la chaine est alors récurrente positive et la probabilité invariante est π(x) = m(x)/ y m(y), - ou bien x m(x) = +, la chaine est alors récurrente nulle ou transiente. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.14
III. Cas d une chaine non irréductible Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.15
III. Cas d une chaine non irréductible Lemme 10 : Soit C une classe fermée et m une mesure portée par C (c est-à-dire telle que m(c c ) = 0). Alors m est invariante pour la chaine de Markov initiale si et seulement si elle est invariante pour la chaine de Markov restreinte à C. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.15
III. Cas d une chaine non irréductible Lemme 10 : Soit C une classe fermée et m une mesure portée par C (c est-à-dire telle que m(c c ) = 0). Alors m est invariante pour la chaine de Markov initiale si et seulement si elle est invariante pour la chaine de Markov restreinte à C. Théorème 10 : Soit C une classe fermée irréductible formée d états récurrents positifs, alors la chaine possède une et une seule probabilité stationnaire π concentrée sur C. Elle est donnée par : π(x) = { 1 E x (T x ) si x C, 0 sinon. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.15
Théorème 11 : Soit (C k ) k K (K fini ou dénombrable) l ensemble des classes récurrentes irréductibles qui sont récurrentes positives (c est-à-dire formées d états récurrents positifs). Notons π k (k K) l unique probabilité stationnaire concentrée sur C k. Alors les probabilités stationnaires de la chaine sont les mesures de la forme : π = c k π k, avec c k 0, c k = 1. k K k K Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.16
IV. Convergence en loi vers la loi stationnaire Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.17
IV. Convergence en loi vers la loi stationnaire Tous les résultats suivants sont admis. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.17
IV. Convergence en loi vers la loi stationnaire Tous les résultats suivants sont admis. Définition : Etant donné x E pour lequel P x (T x < + ) > 0 (c est-à-dire il existe n 1 tel que p n (x,x) > 0), sa période d x est le p.g.c.d. de {n : n 1,p n (x,x) > 0}. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.17
IV. Convergence en loi vers la loi stationnaire Tous les résultats suivants sont admis. Définition : Etant donné x E pour lequel P x (T x < + ) > 0 (c est-à-dire il existe n 1 tel que p n (x,x) > 0), sa période d x est le p.g.c.d. de {n : n 1,p n (x,x) > 0}. Remarque : 1 d x min{n 1 : p n (x,x) > 0}, en particulier s il existe x tel que p(x,x) > 0, alors d x = 1. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.17
IV. Convergence en loi vers la loi stationnaire Tous les résultats suivants sont admis. Définition : Etant donné x E pour lequel P x (T x < + ) > 0 (c est-à-dire il existe n 1 tel que p n (x,x) > 0), sa période d x est le p.g.c.d. de {n : n 1,p n (x,x) > 0}. Remarque : 1 d x min{n 1 : p n (x,x) > 0}, en particulier s il existe x tel que p(x,x) > 0, alors d x = 1. Proposition 12 : Si x conduit à y alors d x = d y Par conséquent, tous les éléments d une chaine de Markov irréductible ont même période. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.17
IV. Convergence en loi vers la loi stationnaire Tous les résultats suivants sont admis. Définition : Etant donné x E pour lequel P x (T x < + ) > 0 (c est-à-dire il existe n 1 tel que p n (x,x) > 0), sa période d x est le p.g.c.d. de {n : n 1,p n (x,x) > 0}. Remarque : 1 d x min{n 1 : p n (x,x) > 0}, en particulier s il existe x tel que p(x,x) > 0, alors d x = 1. Proposition 12 : Si x conduit à y alors d x = d y Par conséquent, tous les éléments d une chaine de Markov irréductible ont même période. On dit que la chaine est périodique de période d si d > 1 et apériodique si d = 1. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.17
Théorème 13 : Soit (X n ) n N une chaine de Markov récurrente irréductible. Si elle est récurrente nulle, alors : lim n + pn (x,y) = lim P x(x n = y) = 0. n + Si elle est récurrente positive de loi stationnaire π : soit elle est apériodique, et alors : lim n + pn (x,y) = lim n + P x(x n = y) = π(y). soit elle est périodique de période d, et alors pour tout couple x,y d états de E, il existe un entier r (0 r < d) dépendant de x et y, tel que : P x (X n = y) = 0 si n n est pas de la forme md + r avec m N lim m + P x(x md+r = y) = d π(y). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.18
Application : algorithme de Métropolis Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.19
Application : algorithme de Métropolis But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée, mais π n est connue qu à un coefficient multiplicatif près qu on ne peut calculer car E est trop grand. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.19
Application : algorithme de Métropolis But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée, mais π n est connue qu à un coefficient multiplicatif près qu on ne peut calculer car E est trop grand. En fait on simule une chaine de Markov récurrente, irréductible et apériodique (X n ) n 0 de loi stationnaire π. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.19
Application : algorithme de Métropolis But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée, mais π n est connue qu à un coefficient multiplicatif près qu on ne peut calculer car E est trop grand. En fait on simule une chaine de Markov récurrente, irréductible et apériodique (X n ) n 0 de loi stationnaire π. On se donne une fonction de transition q symétrique (q(x,y) 0, y q(x,y) = 1, q(x,y) = q(y,x)) et irréductible. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.19
Application : algorithme de Métropolis But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée, mais π n est connue qu à un coefficient multiplicatif près qu on ne peut calculer car E est trop grand. En fait on simule une chaine de Markov récurrente, irréductible et apériodique (X n ) n 0 de loi stationnaire π. On se donne une fonction de transition q symétrique (q(x,y) 0, y q(x,y) = 1, q(x,y) = q(y,x)) et irréductible. On suppose que X k = x, - on tire y avec la probabilité q(x, ) - on prend X k+1 = y avec probabilité min( π(y) π(x), 1) et X n+1 = x avec probabilité 1 min( π(y) π(x), 1). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.19
Application : algorithme de Métropolis But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée, mais π n est connue qu à un coefficient multiplicatif près qu on ne peut calculer car E est trop grand. En fait on simule une chaine de Markov récurrente, irréductible et apériodique (X n ) n 0 de loi stationnaire π. On se donne une fonction de transition q symétrique (q(x,y) 0, y q(x,y) = 1, q(x,y) = q(y,x)) et irréductible. On suppose que X k = x, - on tire y avec la probabilité q(x, ) - on prend X k+1 = y avec probabilité min( π(y) π(x), 1) et X n+1 = x avec probabilité 1 min( π(y) π(x), 1). Alors la probabilité π est réversible pour la chaine de Markov (X n ) n 0. La chaine est irréductible, récurrente positive et apériodique. On prend Z = X n pour n "grand". Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.19
Application : recuit simulé But : minimiser une fonction U définie sur un espace fini mais très grand. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.20
Application : recuit simulé But : minimiser une fonction U définie sur un espace fini mais très grand. Soit T > 0 (la température). On pose π T (x) = e 1 T U(x) Z T, Z T constante de normalisation (inconnue). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.20
Application : recuit simulé But : minimiser une fonction U définie sur un espace fini mais très grand. Soit T > 0 (la température). On pose π T (x) = e 1 T U(x) Z T, Z T constante de normalisation (inconnue). Lorsque T tend vers 0, π T converge vers la loi uniforme sur l ensemble des points où U est minimum (minimum global). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.20
Application : recuit simulé But : minimiser une fonction U définie sur un espace fini mais très grand. Soit T > 0 (la température). On pose π T (x) = e 1 T U(x) Z T, Z T constante de normalisation (inconnue). Lorsque T tend vers 0, π T converge vers la loi uniforme sur l ensemble des points où U est minimum (minimum global). On simule π T tout en faisant tendre la température vers 0 : Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.20
Application : recuit simulé But : minimiser une fonction U définie sur un espace fini mais très grand. Soit T > 0 (la température). On pose π T (x) = e 1 T U(x) Z T, Z T constante de normalisation (inconnue). Lorsque T tend vers 0, π T converge vers la loi uniforme sur l ensemble des points où U est minimum (minimum global). On simule π T tout en faisant tendre la température vers 0 : on construit une chaine de Markov inhomogène en temps, telle que la loi de X n tende vers la loi uniforme sur l ensemble des points où U est minimum (minimum global). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.20
On utilise l algorithme de Métropolis mais en faisant varier la température. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.21
On utilise l algorithme de Métropolis mais en faisant varier la température. On suppose que X k = x, pour construire X k+1 : - on tire y avec la probabilité q(x, ), - si U(y) U(x) on prend X k+1 = y, - si U(y) > U(x) on prend X k+1 = y avec probabilité e 1 T k (U(y) U(x)) et X k+1 = x avec probabilité 1 e 1 T k (U(y) U(x)). Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.21
On utilise l algorithme de Métropolis mais en faisant varier la température. On suppose que X k = x, pour construire X k+1 : - on tire y avec la probabilité q(x, ), - si U(y) U(x) on prend X k+1 = y, - si U(y) > U(x) on prend X k+1 = y avec probabilité e 1 T k (U(y) U(x)) et X k+1 = x avec probabilité 1 e 1 T k (U(y) U(x)). Le fait de se laisser la possibilité de prendre X k+1 = y même si U(y) > U(x) évite de rester piégé dans des points correspondant à des minima locaux... mais il faut que la température T k ne décroisse pas trop vite vers 0. Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.21