Définition, modélisation

Université Paris 3, Institut Galilée Année universitaire 20-202 MACS 2 Probabilités Fiche 2 Chaînes de Markov Définition, modélisation Exercice Formalisme matriciel Soit (X n ) n 0 une chaîne de Markov sur E = {x,x 2,,x N }, de loi initiale ν et de matrice de transition P, et f : E R bornée En termes matriciels, comment s exprime la loi de X? de X n? Assimiler les lois à des vecteurs-lignes 2En termes matriciels, comment s exprime E ν [f(x 0 )]? E ν [f(x n )]? Assimiler f à un vecteur-colonne Exercice 2 Une unité de production comprend 2 machines automatiques qui fonctionnent indépendamment l une de l autre Chaque machine a une probabilité p de tomber en panne au cours d une journée Dans ce cas, elle sera réparée pendant la nuit et sera à nouveau en état de marche le lendemain Une seule machine peut être réparée à la fois On note X n le nombre de machines en panne au début de la n-ème journée Expliciter la modélisation de X n par une chaîne de Markov Exercice 3 Météo On considère une chaîne de Markov dont les états sont : x = (,) : il a plu hier et aujourd hui x 2 = (0,) : il n a pas plu hier et il a plu aujourd hui x 3 = (,0) : il a plu hier et il n a pas plu aujourd hui x 4 = (0,0) : il n a plu ni hier ni aujourd hui On sait par ailleurs (à partir d observations) que : l état x implique qu il pleuvra demain avec une probabilité égale à 07; l état x 2 implique qu il pleuvra demain avec une probabilité égale à 05; l état x 3 implique qu il pleuvra demain avec une probabilité égale à 04; l état x 4 implique qu il pleuvra demain avec une probabilité égale à 02 Explicitez la matrice de transition P de la chaîne de Markov 2On suppose que X 0 est l état du lundi et du mardi Compléter la phrase suivante : P x (X 2 = x 2 ) est la probabilité pour qu il pleuve le et qu il ne pleuve pas le sachant qu il a plu le et le (de la même semaine) 3Calculer P x (X 2 = x ) et P x (X 2 = x 2 ) et en déduire la probabilité pour qu il pleuve le jeudi Exercice 4 Chaîne à deux états Pour p,q [0,], on considère la chaîne sur {0,} de matrice de transition ( ) p p q q Montrer que, si p + q > 0, alors, pour tout n N, Q n = ( ) ( ) q p ( (p + q))n p p + p + q q p p + q q q 2En déduire lim n Q n 3On suppose P(X 0 = ) = α Calculer P(X 0 = X = ) Classification des états, récurrence et transience, absorption Exercice 5 Soit une chaîne de Markov sur E = {0,,2} telle que P 0 (X = 0) = P 0 (X = ) = 3 P (X = 0) = P (X = 2) = 2 P 2 (X = 2) = Donner le schéma de la matrice de transition de la chaîne Classifier les états 2Déterminer la loi du temps τ 0 = inf{n X n = 0}, partant de 0, et 2

Exercice 6 Probabilités d absorption Soit (X n ) n une chaîne de Markov d espace d états E, de matrice de transition P On note C, les classes récurrentes de la chaîne et T l ensemble de ses états transients On pose q i (x) = P x (T Ci < ) la probabilité d absorption par la classe C i en partant de l état x E Montrer que q i est solution du système q i (x) = y C i P(x,y) + z T P(x,z)q i (z), x E Exercice 7 Pour les chaînes des Markov suivantes, donner une classification des états Calculer le cas échéant les probabilités d absorption E = {0,,2} et 2E = {0,,2,3} et /2 /2 0 /2 0 /2 0 /3 /3 /3 /2 0 0 /2 /3 0 2/3 /2 0 /2 0 0 /2 0 /2 3E = {0,,2,3} et /4 /4 /4 /4 0 /4 3/4 0 0 /2 /2 0 /4 0 /4 /2 4E = {0,,2,3,4,5} et /4 /4 0 /4 0 /4 0 /2 /2 0 0 0 0 /2 0 /2 0 0 0 0 /2 /2 0 0 0 0 0 0 /2 /2 0 0 0 0 0 Exercice 8 Soit (X n ) n une chaîne de Markov sur E = {0,,2,3,4,5} de matrice de transition 05 05 0 0 0 0 03 07 0 0 0 0 P = 0 0 0 0 09 0 025 025 0 0 05 0 0 0 07 0 03 0 0 02 0 02 02 04 Classifier les états 2Déterminer la probabilité d absorption dans les diverses classes récurrentes si la chaîne part d un état transient 3Si la chaîne démarre en 0, quelle est la probabilité pour que le nombre de visites à soit infini? 4Même question si la chaîne démarre en 5 Exercice 9 Lancers de dés On considère les jets successifs d un dé non biaisé On note X n la valeur maximale observée sur le dé entre les temps et n Montrer que (X n ) n est une chaîne de Markov 2Quelle est sa matrice de transition? 3On suppose que X = i, avec i 6 Déterminer le temps moyen d absorption dans l état 6 Comment obtenir le résultat sans calcul, ou presque? Exercice 0 Défauts de fabrication La fabrication d une pièce nécessite trois étapes successives, notées,2 et 3 Après chaque étape i, elle est testée et, selon qu elle est jugée bonne (probabilité p i ), légèrement défectueuse (probabilité q i ) ou irrécupérable (probabilité r i ), elle passe à l étape i + (l état 4 représentant celui de la pièce achevée), repasse l étape i ou est jetée (état 5) On suppose p i,q i,r i > 0 et bien entendu p i + q i + r i = On note X n l état d une pièce au temps n Montrer que (X n ) n est une chaîne de Markov et déterminer sa matrice de transition 2Représenter le graphe associé à cette chaîne et classer les états 3Déterminer les probabilités d absorption et donner leur interprétation dans le modèle 2

Exercice Marche aléatoire sur N absorbée en 0 Étant donnée une suite de réels (p i ) i dans ]0,[, on définit une chaîne de Markov (X n ) n sur N de probabilités de transition données par la figure suivante : p i p i 0 i i i+ Classer les états Quels comportements asymptotiques peut-on imaginer pour X n? 2Si on avait p(0,) > 0, pourrait-on faire la classification sans connaître les p i? Probabilité invariante, périodicité, théorèmes limites Exercice 2 On considère sur E = {0,,2} la chaîne de Markov de matrice de transition /3 0 2/3 /2 0 /2 0 /2 /2 Décrire la nature de la chaîne Existe-t-il une probabilité invariante? Que vaut lim n Q n (,)? Exercice 3 Pour les chaînes de Markov suivantes, montrer qu elles sont récurrentes irréductibles et déterminer leur période E = {0,,2} et 2E = {0,,2,3,4} et 0 0 0 /3 2/3 0 0 0 0 0 0 0 /4 3/4 /2 /2 0 0 0 0 /4 3/4 0 0 0 0 0 0 0 0 Exercice 4 Météo (suite) On reprend l énoncé de l exercice 3 Montrer que la chaîne est irréductible et apériodique Calculer la probabilité stationnaire de cette chaîne 2Quelle est la proportion de journées sans pluie (calculée sur une longue période de temps)? Exercice 5 Soit p ]0,[ On note (X n ) n la chaîne de Markov homogène sur N définie par : pour tout k N, P(X = k + X 0 = k) = p = P(X = 0 X 0 = k) Calculer la loi du temps de retour τ 0 sous P 0 2Montrer que la chaîne est récurrente irréductible 3Montrer qu il existe une unique probabilité invariante pour cette chaîne et la calculer Exercice 6 On considère la chaîne de Markov d espace d états E = {,2,3,4} de matrice de transition 0 0 0 P = 2 0 4 4 2 2 0 0 0 0 0 Montrer qu elle est irréductible et récurrente 2Quelle est sa probabilité invariante? 3Quelles sont les limites ps de n n k=0 X k et n n k=0 X2 k lorsque n? 3

Exercice 7 Soit (X n ) n 0 une chaîne de Markov sur N de matrice de transition P donnée par { P(x,x + ) = p P(x,x ) = q si x N P(0,0) = α P(0,) = α où p + q = et 0 < p <, 0 α Spécifier la ou les classes de communication Étudier la périodicité des états On suppose α < 2 Démontrer par le calcul l existence d une mesure invariante ν Étudier suivant la valeur de p le problème d existence et d unicité d une probabilité invariante et la calculer le cas échéant En déduire, pour p < q, la nature des points de N (récurrents,) et donner, pour tout x N, la valeur E[τ x ] du temps moyen de retour à x 3Dans le cas où p q étudier la nature des points de N, et si p > q calculer pour tout x N la probabilité f(x) = P x (τ 0 = ) Trouver une relation de récurrence pour f, et vérifier que f en 4Dans le cas où p < q, justifier la convergence presque-sûre sous P x de la suite de terme général n n i= exp( ax i) pour a > 0 quelconque On suppose α = 5Calculer P 0 (τ 0 < ) et E 0 [τ 0 ] En déduire la nature du point 0 6Calculer, pour tout x N, la probabilité P x (τ 0 < ) Déterminer la nature des points de N 7Étudier la convergence de la suite de terme général P n (x,y) et préciser, s il y a lieu, sa limite, lorsque x N et y N, puis lorsque x N et y = 0 Exercice 8 Examen 2008 Soient α β des réels On considère une chaîne de Markov (Z n ) n 0 à valeurs dans E = {α,β} N, dont la matrice de transition a pour termes non nuls, pour n 0, P((α,n),(β,0)) = a n, P((β,n),(α,0)) = b n, P((α,n),(α,n + )) = a n P((β,n),(β,n + )) = b n avec 0 < a n < et 0 < b n < pour tout n N On définit u 0 = v 0 =, et pour n n n u n = ( a i ) v n = ( b i ) i=0 Montrer que (Z n ) n est irréductible Quelle est sa période? 2(Cette question est indépendante des autres) On pose Z n = (X n,y n ) Calculer P(X 2 = β X = β,x 0 = α) et P(X 2 = β X = β,x 0 = β) Est-ce que, en général, (X n ) n est une chaîne de Markov? 3Pour x {α,β}, on définit T (x,n) = inf{k Z k = (x,n)}, avec la convention inf = Montrer que i=0 P (α,0) (T (β,0) = ) = u et P (β,0) (T (α,0) = ) = v 4Montrer que P (α,0) (T (α,0) < ) = n= P (α,0) ( T(β,0) = n et (Z n+k ) k rencontre (α,0) en un temps fini ) En déduire que P (α,0) (T (α,0) < ) = P (α,0) (T (β,0) < )P (β,0) (T (α,0) < ) 5(Utiliser les questions 3 et 4) Donner une condition nécéssaire et suffisante portant sur (a n ) n et (b n ) n pour que la chaîne de Markov (Z n ) n soit récurrente 6Vérifier que a 0 + n= a nu n = u Supposons la chaîne (Z n ) n récurrente Trouver une mesure invariante pour (Z n ) n 7Donner une condition nécessaire et suffisante pour que (Z n ) n soit récurrente poisitive et calculer sa loi invariante 4

Exercice 9 Mesure réversible Soit X = (X n ) n 0 une chaîne de Markov sur un espace d états E On suppose qu il existe une mesure π telle que, pour tous x,y E, π est appelée une mesure réversible pour X Montrer que π est une mesure invariante pour X π(x)p(x, y) = π(y)p(y, x) Exercice 20 Urne d Ehrenfest Dans deux urnes on répartit un total de N boules À chaque instant n 0, on tire une boule au hasard, uniformément parmi les N boules, et on la dépose dans l urne opposée On note X n le nombre de boules dans la première urne avant le n-ième tirage Montrer que (X n ) n est une chaîne de Markov sur E = {0,,N} et donner sa matrice de transition 2 Déterminer les éventuelles mesures réversibles pour la chaîne de Markov Quelle est la loi invariante pour (X n ) n? 3Calculer la période de la chaîne Que pouvez-vous dire de la limite en loi de (X n ) n 0? Exercice 2 Retournement du temps Soit (X n ) n 0 une chaîne de Markov sur E, de matrice de transition P Soit n, A σ(x 0,,X n ) et B σ(x n+,x n+2,) (A est un événement ne dépendant que de X 0,,X n, et B de dépend que de X n+,) Montrer l égalité suivante : P(A X n = i,b) = P(A X n = i) pour tout i E tel que P(X n = i,b) > 0 2Soit N N Montrer que (Y n ) 0 n N définie par Y n = X N n est une chaîne de Markov (non nécessairement homogène) 3Montrer que, pour 0 n N, P(Y n+ = j Y n = i) = P(j,i) P(Y n+ = j) P(Y n = i) Montrer sur un exemple que (Y n ) n n est pas homogène en général 4On suppose que (X n ) n est stationnaire de loi π (c est-à-dire que π est une probabilité stationnaire et que c est la loi initiale) Montrer que (Y n ) 0 n N est homogène, déterminer sa matrice de transition et sa loi stationnaire 5Que peut-on dire si la chaîne X est réversible (cf exercice 9)? 5