Université Pierre et Marie Curie Période 2 L3 LM346 : Processus et Simulations TD, Contrôle continu 3 : éléments de correction Exercice 1. Considérons la matrice stochastique suivante : 0 0 0 0 0 1 0 0 0 1/3 0 2/3 0 0 0 0 0 1 0 0 1/4 0 0 3/4. 0 0 0 0 0 1 1/50 1/50 1/50 1/50 1/50 9/10 et on désigne par (X n ) n N la chaîne de Markov de matrice de transition Q. 1. Précisez l espace des états E. Identifiez les classes d états de la chaîne (X n ), et justifiez pour chacune s il s agit d une classe fermée ou non-fermée. Lesquelles sont récurrentes? La chaîne est-elle irréductible? 2. Prouvez qu il existe une probabilité stationnaire que l on notera π. Est-elle unique? 3. Calculez π. En déduire, à l aide d un résultat du cours dont on justifiera l utilisation, le temps moyen de retour à l état i pour tout i E. 4. Supposons que la loi initiale de (X n ) soit également π. En justifiant soigneusement votre réponse, calculez P(X 5112 = 4). Corrigé 1. 1. L espace des états est E = {1, 2, 3, 4, 5, 6} ; c est l unique classe (évidemment fermée et récurrente car E < ) car tous les états communiquent entre eux (on peut remarquer que tous les états communiquent avec 6, qui communique en retour avec tous les états). La chaîne est donc irréductible. 2. Comme E <, la chaîne admet au moins une probabilité invariante (cf. cours). Elle est unique car la chaîne est irréductible. 3. Il faut ici écrire le système d équations π = πq et le résoudre sans se tromper! On doit trouver, en se souvenant que i E π(i) = 1 : π = (3/167, 3/167, 4/167, 4/167, 3/167, 150/167) Par un théorème du cours, le temps moyen de retour en i E, noté E i T i est alors donné par la formule E i T i = (π(i)) 1. 4. Par un théorème du cours, si la loi initiale et la loi stationnaire d une chaîne de Markov coïncident, alors pour tout n N et tout i E on a P(X n = i) = π(i). Exercice 2. Considérons la matrice suivante : p q 0 0 0 0 0 0 0 0 0 p q 0 0 0 0 0 0 0 0 0 p q 0 0 0 0 0 0 0 0 0 p q 0 0 0 0 0 0 0 0 q/2 p q/2 0 0 0 0 0 0 0 0 q p 0 0 0 0. 0 0 0 0 0 q p 0 0 0 0 0 0 0 0 0 q p 0 0 0 0 0 0 0 0 0 q p 0 0 0 0 0 0 0 0 0 q p où p 1. 1. Quelles conditions doivent vérifier p et q pour que Q soit stochastique? On désignera dans la suite par (X n ) n N la chaîne de Markov de matrice de transition Q. 2. Précisez l espace des états E. Identifiez les classes d états de la chaîne (X n ), et justifiez pour chacune s il s agit d une classe fermée ou non-fermée. Lesquelles sont récurrentes? Lesquelles sont transientes? La chaîne est-elle irréductible? 3. Prouvez qu il existe une probabilité stationnaire que l on notera π, et la calculer. 1
4. Supposons que la loi initiale de (X n ) soit également π. En le justifiant soigneusement, calculez P(X 2115 = 4). Corrigé 2. 1. p + q = 1, 0 p < 1 et 0 < q 1. 2. L espace des états est E = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}. 1,2,3,7,8,9,10 sont des états transients, et {4, 5, 6} est l unique classe fermée (récurrente car E < ). La chaîne n est pas irréductible. 3. Comme E <, la chaîne admet au moins une probabilité stationnaire. Elle n est pas unique par le théorème 6.6.2 du polycopié. 4. Pour tout état i transient, π(i) = 0. En écrivant le système d équations π = πq il vient ( ) q π = 0, 0, 0, 2(1 p + q), 1 p 1 p + q, q, 0, 0, 0, 0. 2(1 p + q) 5. Par un théorème du cours, si la loi initiale et la loi stationnaire d une chaîne de Markov coïncident, alors pour tout n N et tout i E on a P(X n = i) = π(i). Exercice 3. 1. Précisez, pour chacune des matrices suivantes, si elle est stochastique. Toute réponse non soigneusement justifiée sera considérée comme nulle. 0 0 0 1 1/4 1/4 0 1/4 1/4 p p p p Q 1 = 0 1/2 1/2 0 0 1/2 1/2 0, Q 2 = 1 0 0 0 0 0 1 0 0 0, Q 3 = 0 1 0 0 p 2p p p 1 0 0 0 0 0 1/2 1/2 0 1/4 1/4 1/4 1/4 où p [0, 1]. 2. Considérons la matrice stochastique suivante : p q 0 p 0 q 0 q p où p, q ]0, 1[ sont tels que p + q = 1, et on désigne par (X n ) n N la chaîne de Markov de matrice de transition Q. Identifiez : l espace des états E. les classes d états de la chaîne (X n ) et leur nature (fermée ou non fermée). 3. La chaîne est-elle irréductible? Prouver qu il existe une probabilité stationnaire que l on notera π. Est-elle unique? 4. Calculer π. En déduire, à l aide d un résultat du cours dont on justifiera l utilisation, le temps moyen de retour à l état i pour tout i E. Corrigé 3. 1. Une matrice est dite stochastique si c est une matrice carrée dont les éléments sont compris dans [0, 1] et dont la somme sur les lignes vaut 1. Q 1 est stochastique, Q 2 (non carrée) et Q 3 (il n existe pas de p tel qu elle soit stochastique) ne le sont pas. 2. L espace des états est E = {1, 2, 3} et c est la seule classe fermée (récurrente car E < ). 3. La chaîne est donc irréductible et il existe une unique probabilité invariante π. 4. On écrit le système π = πq et il vient π = ( p 1 + q, 1 p ) 1 + q, q 1 + q Par un théorème du cours, pour tout i E, le temps moyen de retour en i est donné par E i T i = 1 π(i). Exercice 4 (Tricher au jeu sans gagner est d un sot, Voltaire, Éloge de l hypocrisie). Une anti-sèche circule le long d une rangée de 5 élèves, numérotés dans l ordre de 1 à 5. Le professeur, que nous numérotons 6, les surveille du coin de l œil. Chaque minute, l élève en possession de l anti-sèche tente de la faire passer à l un de ses voisins. Avec une probabilité p = 1/2, le professeur le voit en s empare définitivement de l anti-sèche. S il ne le voit pas, l élève l a fait passer à l un de ses deux voisins choisis au hasard s il est en milieu en rangée et à son seul voisin s il est en bout de ranger. 1. Décrire le processus par une chaîne de Markov à 6 états et donner sa matrice de transition. 2
2. Identifier les classes. Quelles sont les classes fermées? Quelles sont les classes récurrentes? La chaîne est-elle irréductible? 3. Décrire la ou les mesures invariantes. 4. Déterminer le temps moyen T avant que le professeur ne prenne possession de l anti-sèche. 5. Quelle est la loi complète de T sachant qu initialement le professeur n a pas l anti-sèche? Corrigé 4. 1. Soit (X n ) n N la suite aléatoire telle que, pour tout k N, on a X k = i ssi, à la k-ème minute, l élève n i avec i {1, 2, 3, 4, 5} est en possession de l anti-sèche et X k = 6 ssi c est le professeur la possède. La suite (X n ) n N est bien une chaîne de Markov homogène car la loi de X n+1 sachant tous les X k avec k n ne dépend que de la valeur de X n puisque la position de l anti-sèche ne dépend que de l individu qui la posséde à l instant précédent. La matrice de transition est donnée par : 0 1/2 0 0 0 1/2 1/4 0 1/4 0 0 1/2 0 1/4 0 1/4 0 1/2 0 0 1/4 0 1/4 1/2 (1) 0 0 0 1/2 0 1/2 0 0 0 0 0 1 2. Il y a deux classes : {1, 2, 3, 4, 5} et {6} car l anti-sèche peut atteindre n importe quel élève en partant de n importe quel élève mais le professeur ne peut pas la rendre. Seule la classe {6} est fermée. Elle est même absorbante L espace d états est fini donc les classes récurrentes sont exactement les classes fermées : la classe {6} est récurrente, la classe {1, 2, 3, 4, 5} transiente. La chaîne n est pas irréductible car elle possède plus d une classe. 3. Il y a une unique classe récurrente fermée donc il n y a qu une mesure invariante. L état 6 étant absorbant, on vérifie que µ = (0, 0, 0, 0, 0, 1) (2) satisfait trivialement µ µ. Elle est donc l unique mesure invariante. 4. Soit la variable aléatoire T = inf {n > 0; X n = 6}. (3) C est un temps d arrêt pour la filtration engendrée par la suite de variables X n. C est le temps de retour à l unique classe récurrente 6. Soit les nombres k i = E(T X 0 = i) (4) On a le système d équation La résolution de ce système donne directement k 1 = 1 + 1 2 k 2 k 2 = 1 + 1 4 (k 1 + k 3 ) k 3 = 1 + 1 4 (k 2 + k 4 ) k 4 = 1 + 1 4 (k 3 + k 5 ) k 5 = 1 + 1 2 k 4 (5) k 1 = k 2 = k 3 = k 4 = k 5 = 2 (6) En moyenne, au bout de deux minutes, le professeur est en possession de l anti-sèche. 6. L événement {T = n} se réécrit {T = n} = {X k 6} {X n = 6} (7) On a alors : k=0,...,n 1 ( n 1 ) P (T = n) (Markov) = P(X n = 6 X n 6) P(X k 6 X k 1 6) P(X 0 6) Dans le cas présent, on remarque pour tout k 1 : k=1 P(X k 6 X k 1 6) = 1 P(X k = 6 X k 1 6) = 1/2 (8) 3
car les étudiants ont la même probabilité de se faire surprendre. On a ainsi : ( ) n 1 P (T = n) =, n > 0, P (T = 0) = 0 (9) 2 T suit donc une loi géométrique de paramètre 1/2. Exercice 5 (Guichet 102, HFT). Nous considérons une file d attente à un guichet. Le nombre de personnes qui attende dans la file est caractérisé par une suite aléatoire (X n ) n N où n désigne le nombre de minutes écoulées depuis l ouverture du guichet. Nous supposons qu il évolue de la manière suivante : si la file n est pas vide, un nouveau client passe au guichet avec une probabilité p. si la file contient 5 personnes, les gens se découragent et personne ne vient s ajouter à la queue si la file contient strictement moins de 5 personnes, une nouvelle personne vient s ajouter à la queue avec probabilité q. On supposera que 0 < p, q < 1. 1. Montrer que la suite (X n ) n N est une chaîne de Markov homogène à 6 états. Montrer que P(X n+1 = k + 1 X n = k) = q(1 p), 0 k 4 (10) P(X n+1 = k 1 X n = k) = p(1 q), 1 k 5 (11) Calculer les autres probabilités de transition non-nulles et écrire la matrice de transition Q complète. 2. Décrire les classes d états. La chaîne est-elle irréductible? 3. Décrire la ou les mesures invariantes pour p = q = 1/2. 4. Quel est le temps de retour moyen d une file vide à une file vide? Corrigé 5. 1. Pour que la taille de la file augmente de 1, il faut que le guichet ne traite personne et qu une personne supplémentaire arrive : cela ne peut se produire que si la taille est entre 0 et 4. Les arrivées et les départs étant indépendants, les probabilités se factorisent et on a : P(X n+1 = k + 1 X n = k) = P(1 départ à la minute n)p(0 traitement à la minute n) = q(1 p), 0 k 4 De la même manière, la taille décroît de 1 ssi personne n arrive et le guichet prend un client (si la file est non-vide). On a de la même manière : P(X n+1 = k 1 X n = k) = p(1 q), 1 k 5 (12) La taille ne peut pas varier de plus de 1 unité à chaque pas de temps. Donc il faut calculer les probabilités : P(X n+1 = 1 X n = 0) = P(1 arrivée) = q P(X n+1 = 4 X n = 5) = P(1 traitement) = p P(X n+1 = 5 X n = 5) = 1 p P(X n+1 = 0 X n = 0) = 1 q (probabilités totales) (idem) P(X n+1 = 5 X n = 5) = 1 p q + 2pq (idem) On a ainsi (dans la base indexée par 012345) la matrice de transition : 1 q q 0 0 0 0 p(1 q) 1 p q + 2pq q(1 p) 0 0 0 P = 0 p(1 q) 1 p q + 2pq q(1 p) 0 0 0 0 p(1 q) 1 p q + 2pq q(1 p) 0 0 0 0 p(1 q) 1 p q + 2pq q(1 p) 0 0 0 0 p 1 p (13) 2. Il y a une unique classe d états car incréments successifs de ±1, on peut passer de n importe quel état à n importe quel autre. La chaîne de Markov est donc irréductible et il y a une unique classe récurrente. 3. Pour p = q = 1/2, la matrice de transition devient : 1/2 1/2 0 0 0 0 1/4 1/2 1/4 0 0 0 P = 0 1/4 1/2 1/4 0 0 0 0 1/4 1/2 1/4 0 0 0 0 1/4 1/2 1/4 0 0 0 0 1/2 1/2 (14) 4
Il faut à présent résoudre µp = µ avec 5 i=0 µ i = 1. On obtient ainsi que µ = ( ) 1 2 2 2 2 1 10 10 10 10 10 10 est l unique mesure invariante. 4. Soit T 0 = inf{n > 0; X n = 0} le temps de retour à une file vide. Pour une chaîne de Markov à nombre fini d états et irréductible, on a le théorème suivant : (15) E(T i X 0 = i) = 1 µ i Pour i = 0, on obtient ainsi le temps moyen de retour à une file vide en partant d une file vide : E(T 0 X 0 = 0) = 10 (16) Exercice 6 (L ascenseur de 22h43 (1ère partie), HFT). Un immeuble de 6 étages (un rez-de-chaussée et 5 étages stricts) est équipé d un ascenseur au fonctionnement étrange : il n est jamais appelé pour aller d un étage à un autre mais seulement du rez-de-chaussée aux étages et réciproquement. Les statistiques d utilisation de l ascenseur montre, qu à chaque pas de temps que : quand il est au rez-de-chaussée, il ne bouge pas avec probabilité 1/6 et est appelé à tout autre étage avec probabilité 1/6. quand il est à l étage i, il ne bouge pas avec une probabilité 1/3 et redescend au rez-de-chaussée avec une probabilité 2/3. 1. Montrer que le suite (X n ) n N qui donne l étage où se situe l ascenseur est une chaîne de Markov dont l espace d état est {0, 1, 2, 3, 4, 5}. Donner sa matrice de transition. 2. Décrire les classes d état. La chaîne est-elle irréductible? Décrire la ou les mesures invariantes. 3. Si l ascenseur est au rez-de-chaussée, donner le temps moyen de retour au rez-de-chaussée : 4. On définit la v.a. T = inf{n > 0; X n = 0} (17) R n = 1 n n 1 0 X k (18) k=0 Que compte R n? Quelle est la limite de R n lorsque n? 5. On définit la v.a. Y n = 1 n n X k (19) qui mesure la hauteur moyenne de l ascenseur après n minutes. Quelle est la limite de Y n lorsque n est grand? Corrigé 6. 1. La position de l ascenseur au temps n + 1 ne dépend que de la position au temps n et d un éventuel appel au temps n + 1, et est donc indépendante des autres positions précédentes. La suite (X n ) n N à valeurs dans les numéros des étages est donc une chaîne de Markov homogène. Sa matrice de transition est donnée par : 1/6 1/6 1/6 1/6 1/6 1/6 2/3 1/3 0 0 0 0 P = 2/3 0 1/3 0 0 0 2/3 0 0 1/3 0 0 (20) 2/3 0 0 0 1/3 0 2/3 0 0 0 0 1/3 2. Il y a une unique classe d état car il est possible d aller de tout étage à tout autre étage en passant par le rez-de-chaussée. La chaîne est donc irréductible et l unique mesure invariante µ satisfait l équation µp = µ et est donc donnée par : µ = ( 4/9 1/9 1/9 1/9 1/9 1/9 ) (21) 3. La chaîne est irréductible et le nombre d états est fini. Le théorème du cours donne alors : k=0 E(T X 0 = 0) = 1 µ 0 = 9 4 (22) L ascenseur est à nouveau au rez-de-chaussée en moyenne au bout de 2, 25 pas de temps. 5
4. La variable R n compte la fraction du temps total passé au rez-de-chaussée après n pas (i.e. le nombre de pas de temps où l ascenseur est au rez-de-chaussée normalisé par n). Le théorème ergodique pour cette chaîne irréductible donne donc : p.s. µ 0 = 4/9 (23) R n 5. Y n est de la forme (1/n) k f(x k) avec f : x x. Le théorème ergodique donne également la convergence presque sûre suivante : p.s. µ, f (24) où µ, f désigne l intégrale de f contre µ. On a ici : Y n Y n p.s. 4 9 0 + 1 9 (1 + 2 + 3 + 4 + 5) = 5 3 (25) En moyenne l ascenseur est à l étage 1, 6667! 6