Master 1ère année spécialité IMIS et Mathématiques Contrôle continu de "Processus Stochastiques"

Transcription

1 Master ère aée spécialité IMIS et Mathématiques Cotrôle cotiu de "Processus Stochastiques" 8 octobre 00 - Durée h Calculatrices et documets autorisés Exercice Jacques va tous les jours à so travail e emprutat le chemi a ou le chemi b. S il y a des ecombremets sur le chemi qu il emploie, il chage d itiéraire le ledemai. O suppose que le premier jour, il choisit a ou b avec équiprobabilité. Par ailleurs, la probabilité d ecombremets sur le chemi a est égale à /, et à / sur le chemi b.. Motrer que la situatio peut être modélisée à l aide d ue chaîe de Markov (homogèe) (X ) N à valeurs das fa; bg, dot o doera la matrice de trasitio P et la loi iitiale.. Calculer la probabilité p pour que le ième jour Jacques choisisse l itiéraire a.. Calculer les probabilités suivates : où N. q P a (X a; X b; X a) q P b (X a; X 4 bx a) q P a (X a; X ax b) q 4 P (X a; X + b; X + a) q P a (X a; X + b; X + a) q P a (X + a; X + bx a) q 7 P a (X a; X + ax + b) 4. (Idépedate des questios et ). Soiet T a at T b les temps d etrée respectifs das les états a et b où T x mi f 0 : X xg pour x fa; bg. (a) Pour N, exprimer l évéemet ft a > g à l aide de X 0, X,... E déduire la valeur de P (T a > ). De même, calculer P (T b > ). (b) Exprimer E (T a ) e foctio des P (T a > ) pour N. E déduire la valeur de E (T a ). De même, calculer E (T b ). Remarque : das tout l exercice, o demade de simpli er au maximum les résultats. O rappelle par ailleurs que + ( ) ( ) + ( ) + ( ) pour tous ; ]0; [ et tout N.

2 Exercice Deux persoes A et B jouet à u jeu. La fortue iitiale de A est k (0 k N), celle de so adversaire est N k. A chaque partie, le joueur A pred u Euro à so adversaire avec ue probabilité p ou lui doe u euro avec ue probabilité q, la probabilité d ue partie ulle état r (avec p; q > 0, r 0 et p + q + r ). Le jeu s arrête dès que l u des joueurs est ruié. Les di éretes parties sot supposées idépedates.. Motrer que l évolutio de la fortue du joueur A peut être modélisée à l aide d ue chaîe de Markov (homogèe) (X ) N, dot o doera l espace d états E, la matrice de trasitio P et la loi iitiale. (A de dé ir X pour tout N, o coviet que la fortue de A reste costate lorsque A ou B est ruié).. Soit T la durée du jeu, c est-à-dire le ombre total de parties jouées. Pour k f0; ; :::; Ng, soit u k P k (T < +) (où o rappelle que k est la fortue iitiale de A). (a) Doer les valeurs de u 0 et de u N. (b) Pour k f; ; :::; N g, doer ue relatio de récurrece etre u k, u k et u k+. (c) Calculer u k. (O pourra itroduire v k u k u k ).. (Idépedate de la questio ). Pour k E, o pose w k E k (T ). (O admettra que w k < + pour tout k E). (a) Trouver ue relatio de récurrece véri ée par w k. (b) E déduire la valeur de w k pour k E.

3 Correctio du cotrôle cotiu de "Processus Stochastiques" du 8 octobre 00 M metio IMIS et Mathématiques Exercice. Soit X le chemi qu il emprute le -ième jour. S il emprute a (resp. b) le -ième jour, la probabilité qu il chage de chemi le jour suivat est toujours (resp. ), idépedemmet de ce qui s est passé les jours strictemet atérieurs au -ième jour. E d autres termes, pour tous i 0 ; i ; :::; i ; i; j E où E fa; bg: avec P (X + jjx 0 i 0 ; X i ; :::; X i ; X i) P (X + jjx i) P (X jjx 0 i) ote P i;j P (P i;j ) i;je Ceci caractérise ue chaîe de Markov de matrice de trasitio P et de loi iitiale ; car le premier jour, il choisit a ou b avec équiprobabilité.. Pour et, o a :. P et p P (X a) (P ) (a) (a) P (a; a) + (b) P (b; a) 0. q P a (X a; X b; X a) P (a; a) P (a; b) P (b; a) 9 q P b (X a; X 4 bx a) P (X a; X bx 0 a) P (a; a) P (a; b)! q P a (X a; X ax b) P a (X a; X b; X a) P a (X b) q P (a; b) q 4 P (X a; X + b; X + a) P (X + b; X + ajx a) P (X a) P (a; b) P (b; a) p q P a (X a; X + b; X + a) P a (X + b; X + ajx a) P a (X a) P (a; b) P (b; a) P (a; a) q P a (X + a; X + bx a) q 7 7 q 7 P a (X a; X + ax + b) P a (X a; X + b; X + a) P a (X + b) q P + (a; b)

4 4 4. (a) O a : ft a > g fx 0 b; X b; :::; X bg. D où : (b) Exercice P (T a > ) P (X 0 b; X b; :::; X b) (b) P b (X b; :::; X b) (p (b; b)) + De même : P (T b > ) (a) (p (a; a)). D où : E (T a ) +X k0 +X i De même : E (T b ) P + 0 k P (T a k) P (T a > i ) +X E (T a ). k i +X 0 +X 0 P (T a k) P (T a > ) + +X +X i ki P (T a k). Soit X la fortue de A après la -ième partie. Pour i 0, i,..., i, i f; :::; N g et j f0; :::; Ng :. P (X + jjx 0 i 0 ; X i ; :::; X i ; X i) P (X + jjx i) P i;j 8 < p si j i + q si j i : r si j i et, pour i f0; Ng et j f0; :::; Ng : P (X + jjx 0 i; X i; :::; X i; X i) si j i P (X + jjx i) P i;j 0 sio (a) Lorsque la fortue du joueur vaut 0 ou N, aucue partie est jouée et T 0. O e déduit : u 0 P 0 (T < +) P 0 (0 < +) et u N de la même faço. (b) Pour k f; ; :::; N g, o a : u k P k (T < +jx k + ) P k (X k + ) + P k (T < +jx k ) P k (X k ) + P k (T < +jx k) P k (X k) Sur fx 0 kg avec k f; ; :::; N g : T if ( 0 : X f0; Ng) if ( : X f0; Ng) if ( m + tel que m + et X m+ f0; Ng) if ( m + tel que m 0 et X m f0; Ng) if (m tel que m 0 et X m f0; Ng) + T +

5 Pour k f; ; :::; N g, o a alors : P k (T < +jx k + ) P k (T + < +jx k + ) De la même faço : P k (T < +jx k + ) P k+ (T < +) d après la Pté de Markov faible u k+ (car T est mesurable / (X ; N) ) P k (T < +jx k ) u k et P k (T < +jx k) u k D où : u k p u k+ + q u k + r u k ou ecore (p + q) u k p u k+ + q u k car p + q + r. (c) D après (c) : q (u k u k ) p(u k+ u k ) c est-à-dire v k+ av k pour k f; ; :::; N g avec a q p. (O sait que q > 0). D où v k a k v pour k f; ; :::; Ng. Si a i.e. q p, o a doc : u k u 0 + v i + i i a i v + ak a v avec u N + an a v. D où : v 0 et u k. Pour q p, o obtiet : v k v, u k + kv avec u N + kv. D où : v 0 et u k. Aisi, das tous les cas, le jeu s arrête p.s... (a) Avec la otatio du cours : T S f0;ng 0. Comme o a vu que P k (T < +) pour tout k E, o a doc pour tout k N : NX E k (T ) + p(k; j) E j (T ) + q E k (T ) + r E k (T ) + p E k+ (T ) j i.e. w k + q w k + r w k + p w k+ ou ecore : (p + q) w k + q w k + p w k+ pour tous k N. (b) E utilisat w 0 0 et w N 0 et la suite t k w k w k, o trouve k N ak où a q p. w k ( q p k p (N a N si p q k) si p q