Exercices corrigés. Chaînes de Markov discrètes

Transcription

1 Processus aléatoires Exercices corrigés Chaînes de Markov discrètes Dans un certain pays, il ne fait jamais beau deux jours de suite Si un jour il fait beau, le lendemain il peut neiger ou pleuvoir avec autant de chances Si un jour il pleut ou il neige, il y a une chance sur deux qu il y ait changement de temps le lendemain, et s il y a changement, il y a une chance sur deux que ce soit pour du beau temps a) Former, à partir de celà, une chaîne de Markov et en déterminer sa matrice de transition b) Si un jour il fait beau, quel est le temps le plus probable pour le surlendemain? c) Si on suppose que l on a que deux états (beau temps et mauvais temps), déterminer la matrice de transition de la nouvelle chaîne ainsi obtenue a) On a l ensemble des états suivants E {BT,PL,} et le temps pour un jour ne dépend que du temps du jour précédent, indépendamment de la période de l année également On a donc bien une / / chaîne de Markov, de matrice de transition P / / / / / / b) Pour le temps du surlendemain, il faut déterminer P Mais seule la première ligne de P nous intéresse car on veut déterminer les probabilités à partir d un jour de beau temps On a : p () BT,BT p BT,BT p BT,BT + p BT,PL p P L,BT + p BT, p,bt p () BT,PL p BT,BT p BT,PL + p BT,PL p P L,P L + p BT, p,pl p () BT, p BT,BT p BT, + p BT,PL p P L, + p BT, p, Ainsi, si un jour il fait beau, le temps le plus probable pour le surlendemain est la pluie ou la neige c) On suppose maintenant que E {BT,MT}, ce qui est possible puisque la pluie et la neige se comportent de la même façon pour ce qui est des transitions On a encore p BT,BT mais maintenant, p BT,MT p BT,PL + p BT, Pour la deuxième ligne, on a p MT,BT car p P L,BT p,bt et p MT,MT 3 car p P L,P L + p P L, p,pl + p, 3 ( ) Ainsi, P / 3/

2 Exercices Trois chars livrent un combat Le char A atteint sa cible avec la probabilité /3, le char B avec la probabilité / et le char C avec la probabilité /3 Ils tirent tous ensembles et dès qu un char est touché, il est détruit On considère à chaque instant, l ensemble des chars non détruits Montrer qu on obtient une chaîne de Markov dont on explicitera l ensemble des états et la matrice de transition dans chacun des cas suivants : a) Chaque char tire sur son adversaire le plus dangereux ; b) A tire sur B ; B tire sur C et C tire sur A L ensemble des états est E {ABC, AB, AC, BC, A, B, C, } Pour X {A, B, C}, on note encore X l événement le char X atteint sa cible (et donc X l événement le char X rate sa cible ) On a ainsi P (A) /3, P (B) / etp (C) /3 Une fois qu un char est descendu, il ne peut plus revenir et ainsi, on peut commencer par mettre un certain nombre de dans la matrice de transition Si on est dans l état A, B, C ou, on est sûr d y rester (plus d adversaires!) a) S il ne reste que chars, par exemple A et B, onap AB,AB P (A)P (B) 3 6 (les ratent!), p AB,B P (A)P (B) 3 6 (A rate, B réussit), p AB,A P (A)P (B) 3 6 (A réussit, B rate) et p AB, P (A)P (B) 3 (les réussissent) On procède de même pour AC 6 et pour BC Si on a les 3 chars, A tire sur B, B et C tirent sur A (et personne ne tire sur C, donc il reste au moins C) On a alors p ABC,ABC P (A)P (B)P (C) 3 3 8, p ABC,AC P (A)P (B)P (C) 3 3 8, p ABC,BC P (A)P (B C) P (A)( P (B)P (C)) ( ) et p ABC,C P (A)P (B C) P (A)( P (B)P (C)) ( ) 8 On obtient ainsi la matrice et le graphe suivants : /9 /9 /9 /9 /6 /6 /6 /6 /9 /9 /9 /9 P /6 /6 /6 /6 b) S il ne reste que A et B, A tire sur B et B continue à tirer sur C donc A n est pas menacé et p AB,A P (A) /3 alors que p AB,AB P (A) /3 De même avec A et C (A tire sur B, C sur A donc C n est pas menacé), p AC,C P (C) /3 etp AC,AC P (C) /3 Avec B et C (B tire sur C et C sur A, donc B n est pas menacé), p BC,B P (B) / etp BC,BC P (B) / Si on a les 3 chars, p ABC,ABC P (A)P (B)P (C) 3 3 8, p ABC,AB P (A)P (B)P (C) 3 3 8, p ABC,AC P (A)P (B)P (C) 3 3 8, p ABC,BC P (A)P (B)P (C) 3 3 8, p ABC,A P (A)P (B)P (C) 3 3 8, p ABC,B P (A)P (B)P (C) 3 3 8, p ABC,C P (A)P (B)P (C) et p ABC, P (A)P (B)P (C) 3 3 On obtient ainsi la matrice et le graphe suivants 8 :

3 Processus aléatoires 3 P /8 /8 /8 /8 /8 /8 /8 /8 /3 /3 /3 /3 / / 3 On considère 5 points équirépartis sur un cercle Un promeneur saute à chaque instant, d un point à l un de ses voisins avec la probabilité / pour chaque voisin Déterminer le graphe et la matrice de transition de la chaîne ainsi obtenue Quelle est la période de ses états? L ensemble des états est E {,, 3,, 5} On a p i,i+ p i,i / pour i {, 3, }, p, p,5 / etp 5, p 5, /, ce qui donne la matrice : P / / / / / / / / / / et le graphe : La chaîne est irréductible (tous les états communiquent) et finie donc récurrente positive Comme tous les états sont dans la même classe, leur période est la même On a d() pgcd{n ; p (n), > } Or p (), p,p, > etp(5), p,p,3 p 3, p,5 p 5, > Or le seul diviseur commun à et à 5 5 est On a donc d d() : cette chaîne est donc apériodique On dispose de machines identiques fonctionnant indépendamment et pouvant tomber en panne au cours d une journée avec la probabilité q On note X n le nombre de machines en panne au début de la n-ième journée a) On suppose que, si une machine est tombée en panne un jour, elle est réparée la nuit suivante et qu on ne peut réparer qu une machine dans la nuit Montrer que l on peut définir ainsi une chaîne de Markov dont on déterminera le graphe, la matrice de transition et éventuellement les distributions stationnaires b) Même question en supposant qu une machine en panne n est réparée que le lendemain, le réparateur ne pouvant toujours réparer qu une machine dans la journée c) Le réparateur, de plus en plus paresseux, met maintenant jours pour réparer une seule machine Montrer que (X n ) n est plus une chaîne de Markov, mais que l on peut construire un espace de 5 états permettant de décrire le processus par une chaîne de Markov dont on donnera le graphe des transitions Calculer la probabilité que les machines fonctionnent après n jours (n,n etn 3) si elles fonctionnent initialement a) L ensemble des états est E {, } car si le soir il y a une ou aucune machine en panne, le lendemain matin, il y en aura ; et si le soir, il y en a, le lendemain matin, il y en aura une seule Le nombre de machines en panne le matin ne dépend que de celui de la veille au matin et de ce qu il

4 Exercices s est passé dans la journée, ceci indépendamment de la période de l année On a donc bien une chaîne de Markov dont il faut déterminer la matrice de transition On a p, q (les machines tombent en panne dans la journée et ces pannes sont indépendantes entre elles) et p, ( q) +q( q) q (( q) correspond à aucune panne dans la journée et q( q) à une seule panne qui peut provenir d une machine ou de l autre) On a également p, q (la machine en panne est réparée et l autre fonctionne toujours), et p, q (la machine en panne est réparée ( et l autre est ) tombée en panne) Ainsi, on a la matrice : q q P et le graphe : q q ( q Pour la distribution stationnaire, on résout (π,π )(π,π ) q q ) d où π q q π et avec π + π, on obtient π (+ q q q π q + q Avec q, on a alors π 3 et π 3 q ), soit π q π + qπ,, soit π q q + q et b) On a maintenant E {,, } car aucune machine n est réparée la nuit ; p, ( q) (aucune panne dans la journée), p, q( q) (une des machines est tombée en panne) et p, q (les machines sont tombées en panne) ; p, q (la machine qui fonctionne ne tombe pas en panne), p, q (la machine qui fonctionne tombe en panne, l autre est réparée), p, (la machine en panne est sure de remarcher le lendemain) ; de même, p, (une seule des machines en panne est réparée) Ainsi, on a la matrice: P ( q) q( q) q q q et le graphe : Pour la distribution stationnaire, on résout (π,π,π )(π,π,π ) ( q) q( q) q q q, soit π ( q) q q π +( q)π, d où π q π et π q π, d où avec π + π + π, on obtient ( ) π +q q q +, soit π q q +q q 3, π q q +q q 3 et π q q 3 +q q 3 Avec q,ona alors π 8 79, π 8 79 et π 3 79 c) Si on garde l ensemble des états E, on n a pas une chaîne de markov car, lorque l on a machines en panne par exemple, on ne peut pas savoir si le lendemain, on en aura ou en panne : tout dépend si c est le premier jour de réparation ou le second On est donc amené à introduire états supplémentaires : ( machine en panne dont c est le deuxième jour de réparation) et ( machines en panne et deuxième jour de réparation pour la première) On a alors p, ( q), p, q( q), p, q ; p, q, p, q, p, q, p, q, p,,p,, les autres probabilités étant nulles On a le graphe :

5 Processus aléatoires 5 On a alors p, ( p), p, () p, p, ( q), p, (3) p, p, p, + p, p, p, ( q) 6 +q( q) 3 5 Déterminer la matrice de transition des chaînes suivantes : a) boules noires et boules blanches sont placées dans urnes de telle façon que chaque urne contienne boules À chaque instant on choisit au hasard une boule dans chaque urne et on échange les deux boules À l instant n, l état du système est le nombre de boules blanches de la première urne b) boules numérotées de à sont réparties dans une urne À chaque instant, on tire un numéro i au hasard entre et et la boule de numéro i est changé d urne À l instant n, l état du système est le nombre de boules dans la première urne c) Déterminer la distribution stationnaire de la chaîne au b) (On montrera qu il s agit de la loi binomiale de paramètres et /) Déterminer l espérance du nombre de tirages nécessaires pour revenir à l état initial dans les cas M, X M et M, X M Donner un équivalent lorsque M est grand et une valeur approchée pour a) Le système est dans l état k lorsque l on a k boules blanches dans A et k dans B (et donc aussi k boules noires dans A et k dans B) Si X n, toutes les boules blanches sont dans B à l instant n, donc les boules choisies seront nécessairement une noire dans A et une blanche dans B et X n+ De même, si X n, alors nécessairement X n+ (car la boule choisie dans A est blanche et celle choisie dans B est noire) Si X n k, aveck {,, }, on aura X n+ k si la boule choisie dans A est blanche (probabilité k ) et la boule choisie dans B est noire (probabilité k ), X n+ k + si la boule choisie dans A est noire (probabilité k k ) et celle choisie dans B est blanche (probabilité ) Enfin, X n+ k si la boule choisie dans A est noire (probabilité k ) et celle choisie dans B est noire (probabilité k ) ou bien si la boule choisie dans A est blanche (probabilité k ) et celle choisie dans B est blanche (probabilité k ) Ainsi, la probabilité d occupation d un état ne dépend que de l état précédent et on a bien une chaîne de Markov de matrice de transition et de graphe : P r p q r p () q r p q k r k p k () q r p q r avec q k k, r k( k) ( k) k, p k pour k, r r,p q b) Le système est dans l état k lorsque l on a k boules dans A et k dans B Si X n, toutes les boules sont dans B à l instant n, donc la boule choisie sera nécessairement dans B et X n+ De même, si X n, alors nécessairement X n+ (car la boule est choisie dans A)

6 6 Exercices Si X n k, aveck {,, }, on aura X n+ k si la boule est choisie dans A (probabilité k ), et X n+ k + si elle est choisie dans B (probabilité k ) Ainsi, la probabilité d occupation d un état ne dépend que de l état précédent et on a bien une chaîne de Markov de matrice de transition et de graphe : P () () k k c) La chaîne est irréductible finie donc récurrente positive Elle admet donc une unique distribution stationnaire, probabilité π solution du système π πp π r π + q π π p π + r π + q π π πp donne π k p k π k + r k π k + q k+ π k+ π p π + r π + q π π p π + r π La ligne donne ( r )π q π, soit p π q π En remplaçant p π par q π dans la ligne, on obtient ( q r )π q π, soit p π q π Ainsi, par récurrence, si p k π k q k π k,en reportant dans la ligne k on obtient ( q k r k )π k q k+ π k+, soit p k π k q k+ π k+, et la ligne redonne ( q )π r π On a donc p π q π p π q π p k π k q k π k p π q π, d où π p q π π p p q q π π k p p k q q k π où p k + q k + r k,q p et π k donne π π p p π q q ( ) ( ) ( ) ( k +)! Pour a) on obtient alors π k π π (C k k k!( k)! ) π ( ) On a alors π (C k ) π C donc π k Ck C k C pour k (C est la loi hypergéométrique, distribution qui correspond à une répartition initiale des boules au hasard, à raison de par urne) Pour b), on obtient π k k+ ( ) ( k +) k π π C k k! π ( ) ( ) k ( ) k On a alors π C k π donc π k C k Ck pour k

7 Processus aléatoires 7 ( Ainsi, π B, ) (C est la distribution qui correspond à une répartition initiale des boules au hasard dans les urnes) 6 Dans Z k,onak directions, et dans chaque direction, on a sens Un point de Z k a donc k voisins Un promeneur oisif saute à chaque instant d un point de Z k à l un de ses voisins avec la même probabilité Étudier la récurrence des chaînes de Markov ainsi obtenues (On distinguera les cas k,k etk 3) a) E Z Pour être de nouveau au point de départ après n étapes, il faut avoir fait autant de pas vers la droite que vers la gauche : ainsi, n doit être pair (n m) Il y a autant de trajets possibles que de m u-plets avec m d et m g, soit C m m, et ils sont tous de probabilité ( ) m Ainsi, p (m) x,x C m m ( ) m (et p (m+) x,x ) Pour la nature de la série, on utilise un équivalent grâce à Stirling : p (m) xx (m)! (m!) ( ) m (m)m e m ( π m e m m m πm ) m πm Ainsi, p (m) xx πm terme général d une série divergente donc la chaîne est récurrente b) E Z Pour être de nouveau au point de départ après n étapes, il faut avoir fait dans chacune des directions autant de pas dans un sens que dans l autre : ainsi, n doit être pair (n m) Si il y a k pas verticaux (et donc m k pas horizontaux), alors il doit y avoir k pas vers le haut, k pas vers le bas, m k pas vers la gauche et m k pas vers la droite Ainsi, dans ces cas-là, il y a Cm k Ck k Cm k m k trajets possibles (on a Cm k façons de choisir les pas verticaux, puis, parmi ceux-ci, on en choisit Ck k vers le haut et, parmi les m k horizontaux on choisit les C m k m k vers la droite par exemple), et ils sont ( ) m tous de probabilité Mais, comme k peut prendre toutes les valeurs de à m, il vient car m m (Cm k ) p (m) xx C k m Cm k m m C m m (m)! (k)!(m k)! (k)! (m k)! (k!) ((m k)!) [ ( ) ( m m ) (C k m) C m m ( ) m ( ) ] m πm C m m (on peut par exemple développer ( + x)m (+x) m ( + x) m des façons et identifier le coefficient de x m dans chacune des expressions) Ainsi, p (m) xx πm terme général d une série divergente donc la chaîne est récurrente c) E Z 3 Pour être de nouveau au point de départ après n étapes, il faut avoir fait dans chacune des 3 directions autant de pas dans un sens que dans l autre : ainsi, n doit être pair (n m) Si il y a k pas dans la direction, k pas dans la direction (et donc m k k pas dans la direction 3), alors il doit y avoir k pas dans chaque sens de la direction, k dans ceux de la direction et m k k dans ceux de la direction 3 Ainsi, dans ces cas-là, il y a C k m Ck m k C k k C k k C m k k (m k trajets k )

8 8 Exercices possibles et ils sont tous de probabilité à chaque pas) Il vient alors p (m) xx (m)! (k )!(m k )! k,k k,k (m)! (k!) (k!) ((m k k )!) ( ) m (3 directions et sens dans chacune, donc 6 possibilités 6 (m k )! (k )!(m k k )! ( ) m 6 (k )! (k )! (m k k )! (k!) (k!) ((m k k )!) ( ) m 6 p (m) xx On pourrait montrer que l on peut majorer cette expression par un terme équivalent à K 3 Ainsi m3/ est le terme général d une série convergente donc la chaîne est transitoire 7 Soit (X n ) n une chaîne de Markov de matrice de transition P 3 a) Représenter le graphe de cette chaîne Déterminer les classes de communication, leur nature, leur périodicité et éventuellement les sous-classes cycliques b) Calculer les probabilités d absorption des états transitoires par les classes récurrentes c) Déterminer les distributions stationnaires de la chaîne et le temps moyen de retour pour les états récurrents Existe-t-il une distribution limite? a) On représente le graphe de la chaîne

9 Processus aléatoires 9 On a une chaîne finie donc essentiel équivaut à récurrent positif et non essentiel équivaut à transitoire On a classes récurrentes R {, 6, 8} apériodique, R {, 7, } de période, de sous-classes cycliques {, } et {7} et 3 classes transitoires T {9} apériodique, T {} de période et T 3 {3, 5} apériodique b) On note a k (resp a k ) la probabilité d absorption de l état k par la classe R (resp R ) pour k T {, 3, 5, 9} Si a désigne le vecteur colonne des a k, on sait que a a() + P T a avec a 9 () a () a 3 (), a 5 () p 58, soit a a 5 a 3 a 5 + a a 3 a 9 a 5 a 3 + a 5 3 a 9 + a 3 3 a + a 9 ( Ainsi a a 5 a 9 a 3 et ) a 3, soit a 3 7 et a a 5 a 9 7 a De même, a 3 a 5 a + a a 5 a 3 9 a + a 3 + a a + a donne a a a + a 9 a 9, a 3 + a 5 et a a 5, soit a a 5 a et a a k + a k ) (et on a bien c) On a déjà π π 3 π 5 π 9 (états transitoires) et π λ π () + λ π () où π (i) est l unique distribution stationnaire de la chaîne restreinte à R i, λ i etλ + λ On a ( ) / / (π (),π() 6,π() 8 )(π(),π() 6,π() 8 ) / / π () 6 + π () 8, π() + π () 8, π() + π () 6 avec / / π () + π () 6 + π () 8 On a donc π () π () 6 π () 8 3 et µ µ 6 µ 8 3 De même, (π (),π() 7,π() )(π(),π() 7,π() ) ( / / π() 7,π() + π (), ) π() 7 avec π () + π () 7 + π () On a donc π() π () π() 7 d où π () 7, π() π () ; µ µ,µ 7 ( λ 3,,, λ,, λ 3, λ, λ 3,, λ ), λ i etλ + λ Finalement π Processus de Poisson 8 Calculer la loi du n-ième temps d arrivée d un processus de Poisson de deux façons : a) En utilisant [S n t] [ t n] ; b) En utilisant S n T + T + + T n

10 Exercices a) F Sn (t) P ([S n t]) P ([ t n]) P ([ t n ]) pour n (S ), soit n F Sn (t) e λt (λt) k pour n ett> On a alors, k! n f Sn (t) F S n (t) λe λt [ n e λt [ n e λt (λt) k k! λ k+ t k k! λ k+ t k k! n e λt n k n λ k kt k k! ] λ k t k (k )! ] λ k+ t k k! k et finalement f Sn (t) λn (n )! e λt t n I ],+ [ (t) : on reconnait la densité de la loi gamma Ga(n, λ) b) Par récurrence, S T donc S suit la loi E(λ) Ga(,λ) Si S n suit la loi Ga(n, λ), comme S n+ S n +T n+ et que S n T +T + +T n est indépendante de T n+,ona: f Sn+ (t) f Sn (u)f Tn+ (t u) du λ n (n )! e λu u n I ],+ [ (u) λe λ(t u) I ],+ [ (t u) du λ n+ (n )! e λt u n I ],+ [ (u)i ],+ [ (t u) du avec I ],+ [ (u)i ],+ [ (t u) siu>ett u>, c est-à-dire <u<t, soit t>etu ],t[ On a donc f Sn+ (t) λn+ (n )! e λt I ],+ [ (t) t u n du λn+ (n )! e λt I ],+ [ (t) tn n soit f Sn+ (t) λn+ n! e λt t n I ],+ [ (t) et S n+ suit donc bien la loi gamma Ga(n +,λ) 9 Un radar est placé sur une route où il passe en moyenne 5 véhicules en excès de vitesse par heure On admet que ces véhicules forment un Processus de Poisson Quelle est la probabilité qu au bout d une demi-heure, une voiture exactement se soit arrêtée sachant que : a) dans le premier quart d heure, aucune voiture n a été prise et dans la première heure, deux voitures ont été prises ; b) la première heure, deux voitures ont été prises et dans les deux premières heures, trois voitures ont été prises ; c) dans les dix premières minutes, aucune voiture n a été prise et dans le premier quart d heure, une voiture a été prise

11 Processus aléatoires P ([ u k]/[ s i] [ t j]) P ([ u k] [ s i] [ t j]) P ([ s i] [ t j]) avec P ([ s i] [ t j]) P ([ s i] [ t s j i]) P ([ s i])p ([ t s j i]) P ([ s i])p ([ t s j i]) λs (λs)i λ(t s) (λ(t s))j i e e i! (j i)! e λt λj s i (t s) j i i!(j i)! a) Cas s u t Pour i k j, ona: P ([ u k] [ s i] [ t j]) P ([ s i] [ u s k i] [ t u j k]) P ([ s i])p ([ u s k i])p ([ t u j k]) P ([ s i])p ([ u s k i])p ([ t u j k]) On a donc P ([ u k]/[ s i] [ t j]) P ([ u s k i])p ([ t u j k]) P ([ t s j i]) k i e λ(u s) (λ(u s)) (k i)! e λ(t u) (λ(t u)) j k (j k)! e λ(t s) (λ(t s))j i (j i)! soit P ([ u k]/[ s i] [ t j]) C k i (u s) k i (t u) j k j i (t s) j i Pour u /, k,λ h, s /, t,i etj, on a u s, t u, t s 3, k i,j k,j i etp a ( 3, soit p ), 9 b) Cas u s t Pour k i j, ona: P ([ u k] [ s i] [ t j]) P ([ u k] [ s u i k] [ t s j i]) P ([ u k])p ([ s u i k])p ([ t s j i]) P ([ u k])p ([ s u i k])p ([ t s j i]) On a donc P ([ u k]/[ s i] [ t j]) P ([ u k])p ([ s u i k]) P ([ s i]) k e λu (λu) k! e λ(s u) (λ(s u)) i k (i k)! e λs (λs)i i! On a donc P ([ u k]/[ s i] [ t j]) Ci k u k (s u) i k s i soit P ([ u k]/[ s i] [ t j]) Ci k u k (s u) i k s i Pour u /, k,λ h, s,t,i etj 3, on a s u 3, i k etp b, soit p b, 5

12 Exercices c) Cas s t u Pour i j k, ona: P ([ u k] [ s i] [ t j]) P ([ s i] [ t s j i] [ u t k j]) P ([ s i])p ([ t s j i])p ([ u t k j]) P ([ s i])p ([ t s j i])p ([ u t k j]) λ(u t) (λ(u t))k j On a donc P ([ u k]/[ s i] [ t j]) P ([ u t k j]) e (k j)! Pour u /, k,λ h, s /6, t /, i etj, on a u t /, k j et p c e /, 56 Les arrivées d autobus à une station forment un processus de Poisson d intensité λ Chaque autobus s arrête un temps fixe τ à la station Un passager qui arrive à un instant t monte dans le bus si celui-ci est là, attend pendant un temps τ, puis, si l autobus n est pas arrivé pendant le temps τ, quitte la station et s en va à pied Déterminer la probabilité que le passager prenne l autobus Le passager repart à pied si lorsqu il arrive à l instant t, il n y a plus de bus, donc le dernier est arrivé avant t τ (sinon, il serait encore là), et si à l instant t +τ, le suivant n est toujours pas arrivé Il ne doit y avoir aucune arrivée de bus entre t τ et t +τ, soit, pendant une durée t +τ (t τ) τ +τ Ainsi, la probabilité que le passager reparte à pied est P ([ t+τ t τ ]) P ([ τ+τ ]) e λ(τ+τ ) et la probabilité que le passager prenne l autobus est e λ(τ+τ ) Sur une route à sens unique, l écoulement des voitures peut être décrit par un processus de Poisson d intensité λ 6 s Un piéton qui veut traverser la route a besoin d un intervalle d au moins s entre voitures successives Calculer : a) la probabilité pour qu il doive attendre ; b) la durée moyenne des intervalles qui lui permettent de traverser la route ; c) le nombre moyen de voitures qu il voit passer avant de pouvoir traverser la route a) Le piéton ayant besoin d au moins s pour traverser, il devra attendre si U Or P ([U ]) λe λu du [ e λu] e λ car on a vu à l exercice 3 que U suit la loi exponentielle E(λ) Comme λ /6, P ([U ]) e /6 La probabilité pour qu il doive attendre est donc e /3, 87 b) On cherche E [U>] (U) c est-à-dire uf [U>] U (u) du Ona F [U>] U (u) P [U>] ([U u]) P ([ <U u]) P ([U >]) P ([U u] [U >]) P ([U >]) si u F U (u) F U () si u> P ([U >])

13 Processus aléatoires 3 et donc f [U>] U (u) f U (u) P ([U >]) I ],+ [(u) λe λ(u ) I ],+ [ (u) puis E [U>] (U) λu e λ(u ) du vλ e λv dv + vu λ(v +)e λv dv λe λv dv λ + car vλ e λv dv est l espérance d une var de loi exponentielle E(λ) et sa densité Ainsi, il faut en moyenne 6 + s pour que le piéton puisse traverser λe λv dv l intégrale de c) Soit le nombre moyen de voitures que voit passer le piéton avant de pouvoir traverser la route On a [ ][U>], où U est le temps entre l arrivée du piéton et la prochaine voiture ; [ ][U ] [U > ] où U est le temps entre la première et la deuxième voiture qui se présentent après l arrivée du piéton Plus généralement, [ k] [U ] [U ] [U k ] [U k > ] où U k est le temps entre la k-ième et la (k + )-ième voiture qui se présentent après l arrivée du piéton Les var U, U,,U k étant toutes indépendantes et de même loi exponentielle E(λ) onap ([ ]) P ([U >]) e λ et P ([ k]) P ([U ])P ([U ]) P ([U k ])P ([U k > ]) e λ ( e λ ) k e /3 ( e /3 ) k (valable aussi pour k ) On reconnait la loi géométrique G(e /3 ) sur G (s) + + s k P ([ k]) e /3 (s( e /3 )) k e /3 soit G (s) s( e /3 ) et G (s) e /3 ( e /3 ) ( s( e /3 )) On a alors E() G e /3 () e /3, 98 e /3 Le piéton voit donc passer en moyenne voiture avant de traverser On considère un appareil de comptage, qui dénombre les voitures sur une route, de flux poissonien d intensité λ L appareil peut tomber en panne à l instant T, où T est une variable aléatoire de loi Gamma γ(,a) Soit X le nombre de véhicules enregistrés par l appareil jusqu à ce qu il tombe en panne Déterminer la loi et l espérance de X P ([X n]) P ([X n]/[t t])f T (t)dt [T t] avec P ([X n]/[t t]) P ([X t n]) (ie P X P Xt ) car, à l instant t où l appareil tombe en λt (λt)n panne, il a enregistré n passages On sait que P ([X t n]) e et f T (t) n! Γ(a) e t t a I ],+ [ (t) Donc : P ([X n]) λ n n!γ(a) λt (λt)n e n! Γ(a) e t t a dt λn n!γ(a) e v v a+n (λ +) a+n dt λ n Γ(a + n) (λ +) n+a Γ(a)n! e (λ+)t t a+n dt

14 Exercices La loi de X étant peu sympathique, pour calculer( E(X), ) il est préférable de passer par E (T t) (X) E(X t )λt On a alors E T (X) λt et E(X) E E T (X) λe(t )λa Processus de naissance et de mort 3 La durée de bon fonctionnement d une machine est une variable aléatoire de loi exponentielle de paramètre λ En cas de panne, le temps de réparation obéit à une loi exponentielle de paramètre µ Quelle est la probabilité que la machine fonctionne à l instant t si elle fonctionnait à l instant? On a un processus de Markov à états : état : la machine fonctionne ; état la machine est en panne Si T est la durée de bon fonctionnement, on a avec P ([T >t]) t p, (h) P ([T <t+ h]/[t >t]) λe λx dx e λt et P ([t <T<t+ h]) P ([t <T<t+ h]) P ([T >t]) t+h p, (h) e λh ( λh + o(h)) λh + o(h) donc λ λ De même, avec la durée de réparation, p, (h) µh + o(h) donc µ µ t λe λx dx e λt e λ(t+h) donc On a un processus de naissance et de mort extrêmement simple, puisqu il n y a que états (et un seul boudin!) Ainsi, il suffit de résoudre : p (t) λp (t)+µp (t) p (t)+p (t) p () qui équivaut à p (t) λp (t)+µ( p (t)) p (t)+p (t) p () p (t) (λ + µ)p (t)+µ c est-à-dire à p (t)+p (t) p () On est conduit a une équation différentielle linéaire du premier ordre, dont une solution particulière µ est λ + µ est dont l équation sans second membre a pour solution Ce (λ+µ)t Ainsi p (t) µ λ + µ + Ce (λ+µ)t avec p () µ µ + C, donc C λ + µ λ + µ λ λ + µ et finalement, la probabilité que la machine fonctionne à l instant t est p (t) µ λ + µ + λ λ + µ e (λ+µ)t

15 Processus aléatoires 5 Un joueur décide de faire des paris jusqu à qu il soit ruiné ou bien qu il ait atteint euro S il dispose de j euro quand il effectue un pari, alors, à ce pari, il gagne euro avec la probabilité p j ou bien il perd euro avec la probabilité q j p j On note a k la probabilité de finir ruiné avec une fortune initiale de k euro et a (n) k la probabilité de finir ruiné en n paris a) Modéliser le problème par une chaîne de Markov et faire le graphe correspondant b) Déterminer a et a c) Montrer que : a () q et a (n) p a (n ) si n ; pour j, a () j eta (n) j p j a (n ) j+ + q j a (n ) j si n d) En déduire que : a q + p a et a j p j a j+ + q j a j si j, puis p j (a j a j+ )q j (a j a j ) pour j ; a j a j+ d j (a a ) pour j, si on pose d j q q j p p j e) Vérifier que a k (a j a j+ ) pour k et que (a j a j+ ), et en déduire que a k jk d j jk + j d j f) En déduire, en faisant +, la probabilité de ruine du joueur j a) Le processus est bien invariant dans le temps et la connaissance du processus à un instant suffit pour déterminer la probabilité d occupation d un état à l instant suivant On a bien une chaîne de Markov, de matrice de transition P (p i,j )où p i,i+ p i, p i,i q i et p i,j si i j b) a et a c) a () q (passage de à en étape) et a (n) p a (n ) si n car alors, on est obligé de commencer par un passage de à pour ne pas être absorbé directement ; il faudra ensuite n étapes pour passer de à pour j, a () j car on ne peut pas passer directement de j à Pour déterminer a (n) j, on décompose en cas suivant le premier déplacement : soit on commence par passer de j à j + (avec la probabilité p j ), soit on commence par passer de j à j (avec la probabilité q j ) ; il restera alors n déplacements à effectuer pour se rendre en et a (n) j d) Il faut maintenant utiliser a j + n a (n) j : p j a (n ) j+ + q j a (n ) j si n

16 6 Exercices a a () + a (n) n q + p n a (n ), soit a q + p a De même, si j, a j a () j + a (n) j p j a (n ) j+ +q j a (n ) j, d où a j p j a j+ + q j a j si j n n n On a alors, comme a j (p j + q j )a j, p j (a j a j+ )q j (a j a j ) pour j (car a j p j a j+ + q j a j est encore vrai pour j puisque a ) a j a j+ q j (a j a j ) donne a a q (a a ), puis a a 3 q q (a a ) et de proche p j p p p en proche, a j a j+ d j (a a ) pour j, si on pose d j q q j p p j e) (a j a j+ ) est une somme télescopique : tout se simplifie sauf le premier et le dernier jk terme qui vaut a et donc (a j a j+ )a k pour k jk Le principe reste le même si l on part de j On a alors Ainsi a k (a j a j+ ) jk (a j a j+ )a a et, comme (a j a j+ )d j (a a ) pour j, on a bien, en simplifiant (a j a j+ ) j numérateur et dénominateur par (a a ), on a bien a k j d j jk + f) Si le joueur n arrête que lorsqu il est ruiné, cela revient à considérer que + et on a alors j d j + d j jk a k + + d j j si + j d j converge 5 On considère une station de taxis comportant K places pour les taxis et une capacité d accueil illimitée pour les clients qui se présentent, de façon Poissonnienne, au rythme de λ par heure Les taxis arrivent également de façon Poissonnienne, au rythme de µ par heure, mais ne s arrêtent qu avec la probabilité s il y a déjà m taxis ( m<k) m + a) Vérifier qu on est en présence d un processus de naissance et de mort et en donner le graphe (états (n, m) n,m {, K} ) b) A : K 3,λ, µ 5 Donner la proportion de temps pendant laquelle il n y a pas de taxi et le temps moyen d attente d un client a) On ne peut jamais avoir en même temps des taxis et des clients, donc les états sont (,K) (, ), (, ), (, ),, (n, ),,

17 Processus aléatoires 7 les différentes transitions possibles correspondant à une arrivée d un client ou d un taxi, on a le graphe et les équations de balance suivants : λp,k µ K p,k λp, µ p, λp, µp, λp n, µp n, et donc, en posant ρ λ µ, p,k Kρp,K,, p, ρp, K!ρ K p,k, puis p, ρp,, p, ρ p,,, p n, ρ n p,, et p, ρ p,,, p,k K!ρ K p, et on obtient p, en écrivant que [ + ] K la somme des probabilités de chaque état vaut, ce qui donne p, ρ n + m!ρ m, qui n est n m possible que si ρ< On a alors : [ p, K ρ + m ] m!ρ m, p n, ρ n p, et p,m m! ρ m p, b) A : K 3,λ, µ 5 Alors ρ [ 3 et p, ] 9 6 8, soit [ 7 p, ] + 9 [ ] , ie p, et on a alors p, 8 33, p, et p,3 La probabilité qu il y ait au moins un taxi est p, + p, + p, donc il n y a pas de taxi pendant la fraction de temps 6 soit environ 8, 5% du temps 33 Une personne qui arrive attend en moyenne µ de chaque taxi est en moyenne µ ) si elle est seule et n + µ si il y a déjà n personne (l attente + n + On a donc W a µ p n p +, (n +)ρ n p, µ µ( ρ), soit W a h 5, 8mn : 33 n n le temps moyen d attente d un client est donc environ 5mn9s 6 On considère étudiants qui, chacun, lorsqu ils sont à Toulouse, y restent un temps exponentiel de paramètre µ avant d en sortir et inversement, restent un temps exponentiel de paramètre λ à l extérieur avant de rentrer Soit X t le nombre de ces étudiants qui sont sur Toulouse à l instant t Vérifier que (X t ) est un processus de naissance et de mort ; représenter son graphe ; établir que la distribution stationnaire est la loi binomiale B (, λ λ + µ ) µ 5jours et λ jours et trouver le nombre moyen d étudiants sur Toulouse lorsque 3,

18 8 Exercices Chaque étudiant passe de Toulouse à l extérieur avec un taux µ (car T i a pour loi E(µ) et la preuve est la même qu à l exercice ), et passe de l extérieur à Toulouse avec un taux λ (car T e a pour loi E(λ)) À partir de, la seule transition possible (non négligeable, du moins!) est de vers, qui correspond à une entrée, pouvant venir de l un des étudiants : taux λ À partir de, la seule transition possible est de vers, qui correspond à un départ de l un des étudiants : taux µ À partir de k {,, }, on peut passer à k si l un des k étudiants quitte Toulouse (taux kµ et on peut passer à k + si l un des k étudiants revient à Toulouse (taux ( k)µ On a bien un processus de naissance et de mort dont le graphe des taux est le suivant : Pour déterminer le régime stationnaire, on écrit les équations de balance, boudin par boudin On a donc : λp µp ( )λp µp ( k +)λp k kµp k λp µp ce qui donne, en exprimant toutes les probabilités en fonction de p : p λ µ p p p k ( )λ p µ ( ) ( ) λ p µ ( k +)λ ( ) ( k +) p k kµ k! ( ) k λ p µ p λ ( ) µ p ( ) λ p! µ ( ) [ k λ ( ) ] k λ ( ) k ( ) λ λ soit p k C k p et p k donne p Or µ µ µ µ + (λ + µ) µ et donc p k C k λ k µ k ( ) λ La distribution stationnaire est donc la loi binomiale B, (λ + µ) λ + µ En particulier, E(X) λ λ + µ + µ λ A 3, E(T i )5 µ et E(T e) λ, donc µ λ 3 et E(X) Le nombre moyen d étudiants sur Toulouse est donc 6,