8.5. EXERCICES 247 énumère les sites de S de 1 à N = M 2, on retrouve ien l sitution décrite plus hut. Précisons mintennt l distriution π. On prendr π(z(s),s S)= exp{ E(z)} K où E(z) estl énergie de l configurtion z = (z(s),s S):E(z) = H s S z(s)+ J s,t z(s)z(t) (l deuxième somme porte sur toutes les pires de sites voisins) et K est une constnte de normlistion, en générl inclculle numériquement. (Pour les physiciens H est le chmp mgnétique externe, et J est l énergie interne d une pire de dipôles voisins orientés dns le même sens.) L proilité conditionnelle jount le rôle de (8.45), π(y(s) z(t),t S {s})= prend l forme (fire le clcul) π(y(s) z(t),t S {s})= π(y(s),z(t),t S {s}) z(s) Λ π(z(s),z(t),t S {s}), exp{e(s, z)} exp{e +1 (s, z)} + exp{e +1 (s, z)}, (8.46) où E(s, z) =y(s)(h +J z(v(s))) et où l somme porte sur tous les sites v(s) voisins de s. En physique, on ppelle E(s, z) l énergie locle u site s de l configurtion (y(s),z(t),t S {s}), et E +1 (s, z) ete +1 (s, z) sont les vleurs de cette énergie locle correspondnt ux directions +1 et 1 respectivement de l orienttion du dipôle plcé en s.l échntillonneur de Gis fonctionne donc dns le cs présent de l fçon suivnte : si u temps n on l configurtion z =(z(s),s S), on choisit un site complètement u hsrd (distriution uniforme). Si c est le site s qui été tiréusort, on tire u sort l nouvelle phse y(s) decesitesselon l proilité (8.46). On noter que ce choix est fit selon les principes de l physique sttistique décrit quelques lignes plus hut. 8.5 Exercices Exercice 8.5.1. Un contre-exemple. L propriété de Mrkov ne dit ps que le présent et le futur sont indépendnts étnt donné une informtion quelconque sur le présent. Trouvez un exemple simple de cmh {X n } n 0 vec l espce d étt E = {1, 2, 3, 4, 5, 6} tel que P (X 2 =6 X 1 {3,4},X 0 =2) P(X 2 =6 X 1 {3,4}). Exercice 8.5.2. Démontrez l églité (8.2). Exercice 8.5.3. Démontrez le Théorème 8.1.5.
248 CHAPITRE 8. CHAÎNES DE MARKOV Exercice 8.5.4. Gestion des stocks. Une mrchndise donnée A est stockée en vue de stisfire à l demnde. L demnde totle entre le temps n et le temps n +1estdeZ n+1 unités, et on suppose que l suite {Z n } n 1 est iid, etindépendnte de l vleur initile X 0 du stock. Le remplissge du stock lieu ux temps n + 0 (c est-à-dire, imméditement près le temps n) pour tout n 1. s =5 Z 1 =1Z 2 =4Z 3 =2Z 4 =1Z 5 =1Z 6 =3Z 7 =2 X 0 X 1 X 5 s =2 X 3 X 4 X 7 0 X 6 X 2 Une strtégie de gestion populire est l strtégie (s, S), où s et S sont des entiers tels que 0 <s<s.avec cette politique de gestion, si le niveu du stock u temps n est plus gret que s, lors le stock est rmené u niveu S utemps n + 0. Autrement, rien n est fit. Le stock initil X 0 est supposé inférieur ou égl à S, etdonc{x n } n 1 prend ses vleurs dns E = {S, S 1,S 2,...}. (Voir l figure.) Les vleurs négtives du stock sont dmises, vec interpréttion qu une commnde non stisfite est imméditement honorée près restockge. Montrez que {X n } n 1 est une cmh et donnez s mtrice de trnsition. Exercice 8.5.5. Records. Soit {Z n } n 1 une suite iid de vriles géometriques (pour k 0, P (Z n = k) =(1 p) k p, où p (0, 1)). Soit X n = mx(z 1,...,Z n )lvleurrecord u temps n, oùonsuppose que X 0 est une vrile à vleurs entières et indépendnte de l suite {Z n } n 1. Montrez que {X n } n 0 est une cmh et donnez s mtrice de trnsition. Exercice 8.5.6. L vie des gngsters. Trois personnges rmés, A, B, et C,se trouvent soudinement en présence u crrefour d une rue de Wshington, D.C., et sur ce, se mettent tout nturellement à se tirer dessus. Chque survivnt tire sur un utre survivnt de son choix toutes les 10 secondes. Les proilités d tteindre l cile pour A, B, etcsont respectivement α, β, etγ.aest le plus hï des trois, et donc, tnt qu il vit, B et C s ignorent et lui tirent dessus. Pour des risons historiques que nous ne développerons ps, A ne peut ps sentir B, etdoncilne
8.5. EXERCICES 249 tire que sur B tnt que ce dernier est vivnt. Le ienheureux C n est visé que lorsqu il se trouve en présence de A seul ou B seul. Quelles sont les chnces de survie de A, B, et C,respectivement? Exercice 8.5.7. Le cht, l souris et le gruyère. Une souris ffirée se promène dns un lyrinthe. Si u temps n elle se trouve dns une pièce vec k portes, elle en choisit une vec l proilité 1 k et se retrouve à l instnt n+1 dns l pièce à lquelle cette porte conduit. Un cht presseux ttend dns l pièce numéro 3, et il y un morceu de fromge dns l pièce numéro 5. L souris commence son périple dns l pièce 1. Avec quelle proilité goûter-t-elle du fromge vnt que le cht ne l dévore? 2 3 CHAT 1 4 5 SOURIS FROMAGE L chmre u gruyère Exercice 8.5.8. Montrez que le grphe de trnsition de l figure ci-dessous est irréductile. Donnez s période et ses clsses cycliques. 3 7 4 2 1 5 6 Exercice 8.5.9. Montrez qu une mtrice de trnsition P vec u moins un étt i E tel que p ii > 0est périodique.
250 CHAPITRE 8. CHAÎNES DE MARKOV Exercice 8.5.10. Montrez que l mrche létoire symétrique sur Z n ps de distriution sttionnire. Exercice 8.5.11. Est-ce que l cmh de l Exemple 8.1.9 est réversile? Exercice 8.5.12. Soit {X n } n 0 l cmh de l Exemple 8.1.7. (1) Montrez qu elle est réversile ; (2) Schnt X 0 = 1, clculez l distriution de proilité det 1 =inf{n 1; X n =1}, où on utilise l convention inf { } =. Exercice 8.5.13. Clculez l distriution sttionnire de l cmh d espce d étt E = {1, 2, 3} et de mtrice de trnsition 1 1 α α 0 P = 0 1 β β, γ 0 1 γ où α, β, γ (0, 1). Est-elle réversile? Exercice 8.5.14. Démontrez le Théorème 8.2.1 Exercice 8.5.15. Les cilloux. Des cilloux S 1,...,S M sont lignés. Au temps n un cillou est choisi u hsrd, et ce cillou échnge s plce vec le cillou plcé juste devnt lui. Si le cillou sélectionné est en tête, on ne chnge rien. Pr exemple, vec M = 5 : Si l sitution juste vnt le temps n est S 2 S 3 S 1 S 5 S 4 (S 2 est entête), et si S 5 est tiré u sort, l nouvelle sitution est S 2 S 3 S 5 S 1 S 4, tndis que si S 2 est sélectionné, l configurtion reste l même. Àchque top de l horloge, S i est sélectionné vec l proilité α i > 0. Notons X n l sitution u temps n, pr exemple X n = S i1 S im, vec l interpréttion que S ij est dns l j-ème position. Montrez que {X n } n 0 est une cmh irréductile récurrente positive et que s distriution sttionnire est où C est une constnte de normlistion. π(s i1 S im )=Cα M i 1 α M 1 i 2 α im, Exercice 8.5.16. Chîne produit. Soit {X n (1) } n 0 et {X n (2) } n 0 deux cmh vec l même mtrice de trnsition P. Montrez que le processus {Z n } n 0 à vleurs dns E E défini pr Z n =(X n (1),X n (2) ) est une cmh. Quelle est s mtrice de trnsition en n étpes? Montrez qu elle est irréductile si P est
8.5. EXERCICES 251 irréductile et périodique. Donnez un contre-exemple lorsqu on ndonne l hypothèse d périodicité. Exercice 8.5.17. Soit X 1 0,X2 0,Z1 n,z 2 n (n 1) des vriles létoires indépendntes, et telles que, de plus, Z 1 n,z 2 n (n 1) sont identiquement distriuées. Soit τ une vrile létoire à vleurs entières non négtives telle que pour tout m N, l événement {τ = m} est exprimle en fonction de X 1 0,X2 0,Z1 n,z 2 n (n m). On définit {Z n } n 1 pr Z n = { = Z 1 n si n τ = Z 2 n si n>τ Montrez que {Z n } n 1 l même distriution que {Zn} 1 n 1 et est indépendnte de X0 1,X2 0. Exercice 8.5.18. Fusion. Soit {X 1 n} n 0 et {X 2 n} n 0 deux cmh vec l même mtrice de trnsition P. Soitτle temps défini pr τ =inf{n 0; X 1 n =X 2 n} (vec l convention usuelle: inf = ). Supposons que P (τ < )=1.Ondéfinit {X n } n 1 pr { Xn 1 if n τ X n = if n>τ Montrez que {X n } n 1 lmême distriution que {X 1 n} n 1. X 2 n Exercice 8.5.19. L chîne serpent. Soit {X n } n 0 une cmh d espce d étt E et de mtrice de trnsition P. PourL 1, on définit Y n =(X n,x n+1,...,x n+l ). () Le processus {Y n } n 0 prend ses vleurs dns F = E L+1. Montrez que c est une cmh et donnez s mtrice de trnsition. () Montrez que si {X n } n 0 est irréductile, il en est de même pour {Y n } n 0 si on restreint l espce d étt de cette dernière à F = {(i 0,...,i L ) E L+1 ; p i0i 1 p i1i 2 p il 1 i L >0}. (c) Montrez que si {X n } n 0 une distriution sttionnire π, lors {Y n } n 0 ussi une distriution sttionnire. Lquelle? Exercice 8.5.20. Retour à l étt initil. Soit τ le temps de retour àl étt initil d une cmh irréductile récurrente positive {X n } n 0, c est-à-dire, τ =inf{n 1; X n = X 0 },
252 CHAPITRE 8. CHAÎNES DE MARKOV Clculez l espérnce de τ lorsque l distriution initile est l distriution sttionnire π. Conclure que cette espérnce est finie si et seulement si E est fini. Qund E est infini, est-ce que ceci est en contrdiction vec l hypothèse derécurrence positive? Exercice 8.5.21. Le cvlier rentre à l mison. Un cvlier circule de mnière létoire sur un échiquier, choisissnt chque mouvement prmi ceux qui lui sont permis vec l même proilité, et déutnt son périple d un coin de l échiquier. Comien de temps en moyenne lui fudr-t-il pour se retrouver sur s cse de déprt? Exercice 8.5.22. Codge lterntif. Dns certins systèmes de communiction numérique, une suite de 0 et de 1 (symoles d entrée) est codée en une suite de 0, +1 et 1 (symoles de sortie) de l mnière suivnte. Un symole d entrée 0 est codé en 0, tndis qu un symole d entrée 1 est codé en 1 ou +1. Le choix entre 1 et +1 est fit de telle sorte que les 1 et les +1 lternent. Le premier 1 est codé en +1. Pr exemple l suite de symoles d entrée 011101 devient 0, +1, 1, +1, 0, 1.. Trouvez un utomte vec 4 étts +1, 1, 0 + et 0, pour lequel l suite des étts visités, àprtl étt initil fixé à0 +,est, lorsque 0 + et 0 sont remplcés pr 0, exctement l suite de sortie.. On suppose que l suite d entrée {Z n } n 1 est iid, vec0et1équiproles. L suite des étts de l utomte est lors une cmh dont on demnde de clculer l mtrice de trnsition P et ses itérées P n, et l distriution sttionnire π. c. Notons {Y n } n 0 l suite de symoles de sortie (prennt les vleurs {0, 1, +1}). Montrez que Y n = f (X n ) pour une function f à identifier, et clculez lim n {E[Y n Y n+k ] E[Y n ]E[Y n+k ]} pour tout k 0. Exercice 8.5.23. ABBABAA. Une suite de A et de B est formée comme suit. L première lettre est choisie u hsrd, P (A) =P(B)= 1 2, insi que l deuxième, indépendmment de l première. Qund les n 2 premières lettres ont été sélectionnées, l (n+1)-ème est choisie, indépendmment des lettres dns les positions k n 2, et conditionnellement à l pire formée pr les lettres en position n 1etn,comme suit : P (A AA) = 1 2,P(A AB) =1 2,P(A BA) =1 4,P(A BB) =1 4. Quelles sont les proportions de A et de B u long terme? Exercice 8.5.24. Recherche d un motif. Considérons le tleu de et de de l figure A ci-dessous où une lettre dns une position donnée est choisie u hsrd et équiprolement dns l ensemle {, },
8.5. EXERCICES 253 indépendmment des utres lettres. On veut clculer l fréquence empirique symptotique du motif de l figure B, sns compter les chevuchements. Pr exemple, vec l suite delfigurea,oncompte 2 occurences du motif ; L troisième est ignorée cr elle chevuche l deuxième (Figure C). A B OUI OUI NON Trouvez un utomte qui lit successivement les colonnes à deux lettres de guche à droite, et qui possède un étt privilégié vec l propriété suivnte : l utomte entre ou reste dns l étt si et seulement si il vient de découuvrir un motif qui ne chevuche ps un utre précédemment découvert. Quelle est l fréquence empirique symptotique du motif? C