EXERCICES DE MATH-F0 Processus Stochastiues Titulaire : Céline Azizieh Assistant : Matthieu Simon SEANCE : CHAINES DE MARKOV Introduction Exercice. Soit {X i i N 0 } un rocessus de Bernoulli, c'est-à-dire ue les X i sont iid de loi de Bernoulli de aramètre.. Considérons le rocessus {N n n N 0 } du nombre de succès : N n est le nombre de succès survenus dans le rocessus de Bernoulli jusue l'instant n comris. Montrer ue ce rocessus est une chaîne de Markov, calculer sa matrice de transition, dessiner le grahe associé et classier les états.. Considérons le rocessus {T n n N 0 } des instants de succès : T n est le moment où se roduit le n ème succès dans le rocessus de Bernoulli. Montrer ue ce rocessus est une chaîne de Markov, calculer sa matrice de transition, dessiner le grahe associé et classier les états. Exercice. Soient Y, Y, des variables aléatoires iid dont la distribution de robabilité est donnée ar : P (Y n = k) = k k N. On dénit les variables X n ar : X n = { 0 si n = 0, Y + Y + + Y n si n. Montrer ue {X n n N} est une chaîne de Markov, et écrire sa matrice de transition. Exercice. Soit une chaîne de Markov {X n n N} d'ensemble d'états E et de matrice de transition P. Pour chaue état i E, notons τ i la durée d'une visite en i (si X 0 = i, τ i est donc le moment où la chaîne de Markov uitte our la remière fois cet état i). Déterminer la loi de τ i.
Exercice 4. Dans un sac se trouve un nombre inni de boules. L'exérience consiste à lacer ces boules de façon aléatoire dans N urnes. A chaue étae, on rend une boule dans le sac et on la lace dans l'une des N urnes au hasard, chaue urne ayant la même robabilité d'être choisie. Considérons la chaîne de Markov {X n n N} où X n rerésente le nombre d'urnes occuées arès la n ème étae, X 0 = 0.. Ecrire la matrice de transition de cette chaîne de Markov, ainsi ue le grahe de transition corresondant.. Classier les états. Exercice. Soient deux urnes A et B. Initialement, l'urne A contient deux boules blanches, et l'urne B contient trois boules blanches et deux boules noires. On réalise l'exérience suivante : A chaue étae, on extrait simultanément une boule de chaue urne et on les échange. Si les deux boules noires sont tirées simultanément, on les retire du jeu et on vide l'urne B dans l'urne A. L'urne B étant vide, on y lace deux boules rouges et on continue l'exérience. (c'est-à-dire ue l'on tire une boule dans chaue urne et on les échange, et ce uelle ue soit la combinaison tirée). Aelons X n le nombre de boules blanche dans l'urne A arès n tirages, et considérons la chaîne de Markov {X n n N}.. Ecrire la matrice de transition de cette chaîne de Markov, ainsi ue le grahe de transition corresondant.. Classier les états. Exercice 6. Soient et deux réels ositifs tels ue + =. Considérons la chaîne de Markov dont le grahe est le suivant : 0... N- N Pour chacun des états i, Deviner la robabilité d'atteindre l'état 0 en un tems ni si l'on art de i. Exliuer ensuite comment on eut la calculer.
Analyse d'une chaîne de Markov Exercice 7. Soit la chaîne de Markov {X n n N} dont la matrice de transition est : P = 0 0 0 0 0 0. 4 4 0 0 0. Ecrire le grahe de transition de cette chaîne de Markov et classier les états.. Déterminer les matrices F et R de cette chaîne de Markov. Exercice 8. Soit la chaîne de Markov {X n n N} dont la matrice de transition est : P = 0.4 0. 0. 0 0 0 0 0 0 0.6 0.4 0 0 0 0 0 0. 0. 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0.8 0. 0 0 0. 0 0 0 0 0 0.4 0.6 0 0.4 0.4 0 0 0 0 0 0. 0. 0. 0 0 0 0.6 0 0. Classier les états.. Déterminer les matrices F et R de cette chaîne de Markov.. Calculer les robabilités asymtotiues de cette chaîne de Markov. Exercice 9. Mêmes uestions u'à l'exercices 8 our la chaîne de Markov dont la matrice de transition est la suivante : 0. 0. 0.4 0. 0 0 0 0 0. 0.4 0 0. 0 0 0 0 0 0. 0.4 0. 0 0 0 0 P = 0 0 0 0 0 0 0 0 0. 0 0. 0. 0. 0 0. 0 0. 0 0 0. 0. 0. 0. 0 0 0 0 0 0 0 0 0 0 0 0 0 0
Exercice 0. Soit la chaîne de Markov {X n n N} dont le grahe de transition est le suivant : 8 7 4 6 9 0 En justiant les réonses en évitant de faire de longs calculs, déterminer :. La robabilité de asser en un tems ni en l'état j, artant de l'état i, our chaue coule (i, j),. La matrice des robabilités asymtotiues de cette chaîne de Markov. Exercice. Un joueur joue en série à un jeu de hasard, dont il remorte une art avec robabilité. Le joueur débute en l'état 0. Il se retrouve en l'état 0 s'il a erdu le dernier jeu, en l'état j s'il en est à sa j ème victoire consécutive.. Déterminer la matrice de transition de la chaîne de Markov associée, et dessiner le grahe corresondant.. Déterminer le tye des états. Soit T l'instant de remier retour en l'état 0. Calculer E [T ]. 4
Promenades aléatoires Exercice. Soient et deux réels ositifs tels ue + =. Considérons la romenade aléatoire à N états dont le grahe est : 0... N- N. Déterminer le tye des états. calculer lim n P n ij i, j {,,, N}. Exercice.. Démontrer le résultat suivant : Soit {X n n N} une chaîne de Markov irréductible de matrice de transition P et k un état xé. Notons Q la matrice obtenue en surimant la k ème ligne et la k ème colonne de P. Alors les états de {X n } sont ersistants si et seulement si le système { Qx = x 0 x i i ossède le vecteur nul comme uniue solution.. Soient et deux réels strictement ositifs tels ue + =. Déterminer le tye des états de la romenade aléatoire "avec barrière rééchissante" dont le grahe est : 0 4...
Divers Exercice 4. Une souris est lacée dans le comartiment 4 du labyrinthe ci-dessous : FROMAGE 4 6 7 PIEGE Lorsu'elle se trouve dans un comartiment, la souris rend un certain tems (ni) our l'exlorer entièrement, uis choisi de façon aléatoire l'un des comartiments voisins our l'exlorer à son tour (et ce même s'il a déjà été exloré à une étae récédente, mais sans jamais visiter deux fois de suite le même comartiment). Un fromage a été lacé dans le comartiment, tandis u'un iège attend la souris dans le comartiment 7. Quelle est la robabilité ue la souris trouve le fromage avant de tomber dans le iège? Exercice. On disose de machines identiues fonctionnant indéendamment et ouvant tomber en anne au cours d'une journée avec robabilité. On note X n le nombre de machines en anne au début de la n ème journée.. On suose ue, si une machine est tombée en anne un jour, elle est entièrement réarée durant la nuit ui suit et u'on ne eut réarer u'une machine ar nuit. Montrer ue {X n n N} est une chaîne de Markov, et donner sa matrice de transition.. Même uestion en suosant u'une machine en anne n'est réarée ue le lendemain (maximum une réaration ar journée).. Suosons maintenant u'il faille jours our réarer une seule machine. X n est-elle une chaîne de Markov dans ce cas? Rerésenter le rocessus ar une chaîne de markov, en sécier les états et la matrice de transition. 6
Exercice 6. On suose ue les migrations de crédit et de défauts d'une comagnie d'assurance ayant émis des obligations sont modelisés ar une chaîne de Markov sur un ensemble d'états de cin éléments : {AAA, AA, A, BBB et moins, D}, où D corresond au défaut de aiement. La matrice des transitions annuelles entre états est suosée donnée ar : P = 0.86 0. 0.0 0.0 0.0 0.0 0.8 0.08 0.0 0.0 0 0.0 0.87 0.06 0.0 0 0 0.04 0.86 0.. 0 0 0 0 Cela signie, ar exemle, u'une société classée AAA au début de l'année a une robabilité 0.86 de garder ce classement jusu'à la n de l'année, et a une robabilité de défaut de 0.0 (c'est-à-dire u'avec robabilité 0.0, la société ne remboursera as tout le caital ou ne aierea as les intérêts associées aux obligations contractées).. Donner la robabilité u'une société classée AAA soit en défaut de aiement dans les deux remières années.. Donner la robabilité u'une société classée AA devienne AAA lorsu'elle change de classement.. Lorsu'une société arvient au classement AAA, combien d'années consécutives y resteelle en moyenne? 4. Quel est le nombre moyen d'années ue rend une société classée AA our être en défaut? Indication : 0.4 0. 0.0 0.0 0.0 0. 0.08 0.0 0 0.0 0. 0.06 0 0 0.04 0.4 = 8.0 6. 6. 4.7. 8.7 6.8 4.8 0..48 0.07 4.6. 0.06 0.4.88 8.47 Exercice 7. Soit la chaîne de Markov {X n n N} sur N 0, dont le grahe de transition est le suivant : 4 6 7 8 9... Déterminer les matrices F, R et P de cette chaîne de Markov. 7
Exercice 8. Un entreôt a une caacité de K unités de marchandises. A chaue ériode n N, arrive une commande de livraison de D n unités de marchandises, où les D n sont des variables iid à valeurs dans N. Chaue unité de marchandise livrée raorte un bénéce ue l'on note c. Si, au moment n, la commande D n est suérieure au stock disonible, seule la uantité disonible est livrée, le reste de la commande étant annulée (avec une "erte de livraison" de D n (la uantité disonible) unités our l'entreôt). L'entreôt est réarovisionné comme suit : our un seuil m xé, lorsue la uantité de marchandise restant à la n de la ériode n est inférieure ou égale à m, l'entreôt est totalement remli au début de la ériode n +. Chacun de ces remlissages a un coût logistiue c (indéendant du nombre de marchandises aortées). Notons X n la uantité de marchandise restante à la n de la ériode n. {X n n N} est une chaîne de Markov de matrice de transition déendant du seuil m : P (m), ue l'on suose irréductible non-ériodiue (ce ui est resue toujours le cas, sauf our certaines distributions articulières des D n ). Elle ossède donc une distribution stationnaire. Notons : π(m) la distribution stationnaire de P (m). i = P (D n = i) (i N). u i l'esérance de la "erte de livraison" réalisée au moment n +, sachant ue X n = i. Le gestionnaire de l'entreôt cherche le seuil m ui minimise les ertes et déenses à long terme, c'est-à-dire la fonction : f(m) = c u(m) + c v(m), où u(m) est la moyenne asymtotiue de la "erte de livraison" (c'est-à-dire l'esérance D n X n our n tendant vers l'inni), et v(m) est la robabilité asymtotiue d'un réarovisionnement de l'entreôt.. Ecrire la matrice P (m).. Donner l'exression des u i.. Donner l'exression de f(m). 4. Suosons ue K =, i = (i+), et ue c =. En fonction de c, trouver la valeur de m {0,, } ui minimise la fonction f(m). 8