Les chaînes de Markov Dernière mise à jour : 25 août 2000 Exercices 4 Lorsue vous modélisez une situation, assurez-vous ue toutes les variables ue vous utilisez sont clairement dé nies. A n de vous faciliter la tâche, vous ouvez utiliser un chi rier électroniue (Excel, Lotus,...), des logiciels de calculs symboliues ou de rogrammation (Male, Mathematica, MatLab,...), ou des rogiciels statistiues (SAS, SPSS, Minitab,...) a n de réaliser vos calculs. Exercice 4.1. En nance, l arbre binomial est fréuemment utilisé a n de modéliser l évolution d une art d un titre risué. Le rocessus stochastiue fs t : t 2 f0; 1; 2; :::gg rerésente l évolution du rix d une art d un titre risué au début de chaue ériode, étant le rix au début de la résente ériode. En suosant ue les ériodes de tems sont de courtes durées, nous ouvons aussi suoser ue le rix de la art varie eu d une ériode à l autre. Ainsi, le modèle binomial dé nit le rix au début de la t + 1 ième ériode de la façon suivante : ust avec une certaine robabilité S t+1 = t ds t avec robabilité t = 1 t où d et u sont des constantes ositives telles ue d < u (les lettres d et u ont été choisies our désigner resectivement «down» et «u» ). En itérant, nous avons 8 u >< us0 us1 uds S 1 =, S ds 2 = = 0,... 0 ds 1 d >: 1
uu u uud ud... d u d t = 0 t = 1 t = 2 t = 3 a) Suosons ue d = 1, u > 1, c est-à-dire u une hausse suivie d une u baisse de rix (ou l inverse) ramène le rix de titre à son rix initial. u uu... d d d t = 0 t = 1 t = 2 t = 3 Déterminez uelles sont les conditions ue nous devons imoser à ce modèle a n ue le rocessus stochastiue fs t : t 2 f0; 1; 2; :::gg soit une chaîne de Markov homogène. Séci ez aussi l esace d états E X, la matrice de transition P ainsi ue la distribution initiale! (0). 2
b) Pour les ns de cet exercice articulier, nous suosons 0 < d < 1 < u < 1, c est-à-dire u à chaue étae le rix subit une hausse ou une baisse ar raort au rix de la ériode récédente. De lus, nous osons l hyothèse ue les hausses et les baisses de rix se font de façon indéendante et u à chaue ériode, le rix augmente avec une robabilité (0 < < 1) ou diminue avec une robabilité = 1. uu d u ud uud u... d Calculez la robabilité t = 0 t = 1 t = 2 t = 3 P S t = u k d t k où t 2 f0; 1; 2; :::g et k 2 f0; 1; 2; :::; tg : Attention! Il est imortant de bien dé nir toutes les variables intermédiaires ue vous utiliserez. Exercice 4.2. a) Simulez la chaîne de Markov de l exemle 1 (age 3 des notes de cours) à l aide du logiciel de votre choix our di érentes valeurs de r et X 0. Imrimez trois trajectoires (réalisations) de la chaîne en séci ant les valeurs des aramètres. b) En osant r = 4, X 0 = 0 et n = 100, simulez 20 trajectoires di érentes et donnez le nombre de trajectoires assant ar l état 4 au moins une fois ainsi ue la distribution échantillonnale de X 100. 3
Exercice 4.3. Considérons la chaîne de Markov étudiée à l exemle 5. Tracez le grahe de transition et classi ez tous les états de la chaîne (stable ou instable, absorbant, récurrent ou transitoire et la ériode). Exercice 4.4. La ruine du joueur. Cet exercice a our but de comarer les stratégies timide et téméraire (référence : exemle 2 du texte). Nous allons considérer le cas n = 5. Soit X et Y, les chaînes de Markov rerésentant l évolution de la fortune du remier joueur lorsue ce dernier adote resectivement les stratégies timide et téméraire. a) Pour chacune de ces chaînes de Markov, donnez l esace d états et la matrice de transition. b) Pour chacune de ces chaînes de Markov, tracez le grahe de transition et classi ez tous les états de la chaîne (stable ou instable, absorbant, récurrent ou transitoire et la ériode). c) Calculez la robabilité ue le remier joueur soit éventuellement ruiné our chacune des deux statégies. Exercice 4.5. Quitte ou double. Le lot originel contient un dollar. Notre mise initiale est de un dollar (le lot en contient alors deux). À chaue étae, un jeu de hasard (suosons le lancer d un sou ossiblement mal balancé) détermine si nous remortons le lot (disons ue le résultat est «ile», obtenu avec une robabilité, 0 < < 1) ou si nous devons ajouter le double de notre mise au lot (lorsue le résultat du lancer est «face», obtenu avec robabilité = 1 ). Le jeu s arrête aussitôt ue le lot est remorté. a) Quel est l ensemble fondamental? b) Dé nissez le rocessus stochastiue modélisant l évolution du lot. c) Montrez ue le rocessus stochastiue dé ni à la uestion récédente est une chaîne de Markov lorsue les jeux sont exécutés de façon indéendante en donnant l ensemble des états, le grahe de transition, la matrice de transition ainsi ue la distribution initiale. d) Combien de classes ossède cette chaîne de Markov? Quelle est-elle ou uelles sont-elles? Donnez les caractéristiues (stable ou instable, absorbant, récurrent ou transitoire et la ériode) de chacune d entre elles. e) Soit T, le nombre de ériodes nécessaires a n ue le gros lot soit remorté, c est-à-dire le nombre de ériodes nécessaires our atteindre l état 0. Quelle est la loi (la distribution) de T? Quel est le nombre de ériodes eséré 4
our remorter le lot? f) Quelle est la robabilité ue nous remortions éventuellement le lot? g) Quelle est la robabilité ue le lot contienne, à un moment donné, 2 n dollars? h) Quelle est la robabilité ue le montant du lot soit de 2 n dollars au moment où nous l emorterons? i) Soit Y, le montant nécessaire our ouvoir miser jusu à l obtention du lot. Quelle est l esérance de Y? Facultativement, déterminez la variance. j) Interrétez les résultats obtenus aux uestions récédentes dans le contexte de ce roblème. Exercice 4.6. Fiabilité Une imrimerie ossède 4 hotocoieuses du même tye fonctionnant indéendamment. La robabilité u une hotocoieuse se dérègle au cours d une journée et nécessite une réaration est de, 0 < < 1. Lorsu un tel incident se roduit, le technicien la réare au cours de la nuit suivante. Malheureusement, le technicien ne eut réarer lus d une hotocoieuse au cours d une même nuit. Modélisez cette situation à l aide d une chaîne de Markov et étudiez son comortement. Exercice 4.7. La ruine du joueur, une statégie intermédiaire Deux joueurs ossédant initialement des fortunes de r et n r dollars resectivement (r et n sont des entiers ositifs tels ue r < n), misent et jouent jusu à la ruine de l un deux. Disons ue le deuxième joueur rerésente le crouier tandis ue le remier joueur détermine la mise. Ce dernier gagne sa mise avec robabilité (0 < < 1) ou la erd avec robabilité = 1 ; et ce, indéendamment de l histoire du jeu. Les seules mises ossibles sont des multiles d un dollar et il n y a as d emrunt ossible. Suosons ue X n rerésente la fortune du remier joueur arès le n ième jeu. Les deux joueurs s entendent mutuellement our déterminer aléatoirement la valeur initial de la fortune du remier joueur: elle sera choisie uniformément armi les valeurs f0; 1; :::; ng : La stratégie emloyée ar le remier joueur est la suivante: à chaue étae, il choisit de façon uniforme le montant de la mise armi les montants admissibles à ce moment là. Par exemle, si n = 10 et X 0 = r = 6 alors, le deuxième joueur ossède 4 dollars. Par conséuent, le montant le lus élevé ue le remier joueur eut miser est de 4 dollars, le lus etit étant 1 dollar. 5
Le montant U misé est choisi aléatoirement armi les valeurs f1; 2; 3; 4g avec une robabilité d un uart associée à chacune des valeurs. Pour les uestions a) à i) vous ouvez suoser ue n = 10 et = 3 5. a) Dé nissez la chaîne de Markov étudiez et déterminez l esace d états et la fonction de masse de X 0. b) Tracez le grahe de transition de la chaîne. c) Déterminez la matrice de transition de la chaîne. d) Classez les états de la chaîne. Pour chacune des classes, dites si elle est stable ou instable et donnez sa ériode. e) Quelle est la fonction de masse de X 20? Trouvez l esérance de X 20. Interrétez vos résultats. f) Tracez deux trajectoires de cette chaîne sur 20 ériodes. g) Pour chacune des classes stables, trouvez les robabilités d absortion. Dé nissez bien toutes les variables ue vous introduisez dans la résolution du roblème. h) Calculez les tems moyen avant absortion dans une classe stable. i) Cette chaîne de Markov ossède-t-elle une distribution stationnaire? Si oui, uelle est-elle ou uelles sont-elles? Commentez vos résultats. Comaraison des trois stratégies, c est-à-dire la stratégie timide, la stratégie téméraire (résentées dans les notes de cours), et la stratégie intermédiaire étudiée récédemment. Pour cette série de uestions, vous ouvez suoser ue n = 10 et = 3 5. j) Comarer les distributions de X 10 our les trois stratégies, c està-dire la stratégie timide, la stratégie téméraire (résentées dans les notes de cours), et la stratégie intermédiaire étudiée récédemment. Commentez brièvement vos résultats. k) Comarer les robabilités d absotion dans la classe stable f0g des trois chaînes. Commentez vos résultats. l) Comarer les tems moyen d absotion dans une classe stable des trois chaînes. Commentez vos résultats. m) Comarez les lois stationnaires des trois chaînes. Commentez. 6