Initiation aux processus : Chaînes de Markov (solutions) Fabrice Rossi 8 février Espace d état fini. Exercice.. Question Pour représenter la chaîne, on choisit de numéroter les états de à, dans l ordre des lignes (ou des colonnes) de la matrice de transition, ce qui donne le graphe de la figure. Fig. Chaîne de l exercice.. Question Il s agit ici de vérifier que la chaîne ne possède qu une seule classe. On le vérifie simplement. En effet, p(, ) = et p(, ) =, ce qui montre que et communiquent. De même p(, ) = et p(, ) =, ce qui montre que et communiquent. Par transitivié,, et sont donc dans la même classe, qui est par conséquent la seule de la chaîne. Cette dernière est donc irréductible... Question Comme la chaîne est irréductible, elle admet une unique probabilité stationnaire. Pour la trouver, il faut résoudre l équation vectorielle π t M = π, où M désigne la matrice de transition, avec la contrainte additionnelle π + π + π =. On a donc les équations : π + π = π π + π + π = π π + π = π π + π + π = En utilisant la première équation, on exprime π en fonction de π, soit π = π. Puis, en utilisant la troisième équation, on exprime π en fonction de π (π = π ), puis de π, soit π = 9 π. On injecte ces égalités dans la quatrième équation, ce qui donne ( + + 9 )π =, soit π =. On en déduit π = et π = 9. On vérifie enfin que ces valeurs sont compatibles avec la deuxième équation. F. Rossi 8 février p.
Initiation aux processus IUP Chaînes de Markov.. Question Comme la matrice M est une matrice de transition, elle admet toujours comme valeur propre, avec de plus le vecteur propre. En effet, dans une matrice stochastique A = (a) ij, on a, pour tout i, j a ij =. Si on prend le vecteur v = (,,..., ) t, on a donc (Av) i = j a ijv j = j a ij = = v i. Donc Av = v. Il n y a donc rien à vérifier pour la valeur propre. Pour les autres valeurs propres, on cherche une solution non nulle à l équation vectorielle Mv λv =, où λ désigne la valeur propre. On pourrait aussi calculer le polynôme caractéristique, mais on va avoir besoin des vecteurs dans la question suivante, autant donc les calculer maintenant. Pour λ =, on se retrouve donc avec le système suivant : v + v = v + v + v = v + v = La première équation donne v = v, ce qui donne en conjonction avec la troisième v = 9 v. En injectant ces égalités dans la deuxième équation, on obtient ( + )v =, soit v =. On peut donc choisir arbitrairement v non nul pour obtenir un vecteur propre associé à la valeur propre, par exemple le vecteur (9, 6, ) t. On constate que l espace propre est de dimension. On résout aisément le système correspondant à la valeur propre. On constate que l espace propre obtenu est de dimension, avec par exemple comme vecteur de base (6,, ) t... Question On sait que les états de la chaîne sont récurrents car la chaîne est irréductible. De plus les états sont tous apériodiques car p(i, i) > pour tout i. Comme la chaîne a une unique probabilité invariante, cette probabilité est aussi la probabilité limite de la chaîne. On peut le vérifier matriciellement en calculant p n (i, j) et en étudiant le comportement de cette probabilité quand n tend vers l infini. Or p n est donnée par M n. Le calcul direct de M n est délicat, c est pourquoi on diagonalise la matrice. On constate que les vecteurs propres trouvés à la question sont les colonnes de la matrice P. On a donc M = P DP, où D est la matrice diagonale donnée par D = On a bien sûr M n = P D n P. Or, D n est donnée par D n = n et on a donc lim n Dn = Par continuité du produit matriciel, on a donc lim M n = P lim n n Dn P, ce qui donne On constate alors que lim n pn (i, j) = π j.. Exercice.. Question lim M n = n Comme dans l exercice précédent, on numérote les états de à dans l ordre des lignes de la matrice de transition. On obtient le graphe de la figure. 9 9 9 F. Rossi 8 février p.
Initiation aux processus IUP Chaînes de Markov Fig. Chaîne de l exercice.. Question On constate tout d abord que ne communique avec aucun autre état puisqu il est absorbant (p(, ) = ). De même, ne communique avec aucun autre état vu que pour tout i, p(i, ) =. Il est donc impossible d aller vers. Enfin, et communiquent puisque p(, ) = p(, ) =. La chaîne comprend donc trois classes : {}, {} et {, }... Question Une probabilité stationnaire doit vérifier π t M = π, où M désigne la matrice de transition, ainsi que i π i =. On cherche donc les solutions du système : = π π + π = π π + π = π π = π π + π + π + π = Il est clair que ce système admet pour solution les probabilités de la forme π = α α, α avec α [, ]. En effet, les équations imposent seulement π = et π = π, ainsi que π + π =. On peut donc choisir librement π (dans l intervalle [, ] car il s agit d une probabilité) et en déduire π et π... Question Etudier le comportement asymptotique, c est étudier l évolution des p n (i, j) quand n tend vers l infini. On constate dans un premier temps que p n (i, ) = pour tout n. Le cas de l état est plus complexe. En effet, on a p(, ) = p(, ) =. De même p(, ) = p(, ) =. Donc, il est évident par récurrence (et d après les équations de Chapman-Kolmogorov) que p n (, ) = p n (, ) = pour tout n. Or, p(, ) = et donc clairement p n (, ) = pour tout n. La chaîne ne peut donc pas avoir de probabilité limite. Enfin, on a p(, ) = et p(, ) =. Alors par récurrence (et en utilisant les résultats précédents), on pour tout n p n (, ) =. C est en effet vrai pour n =. Pour n >, on utilise les équations de Chapman-Kolmogorov pour écrire p n (, ) = p n (, )p(, ) + p n (, )p(, ) Or, p(, ) = et p(, ) =. Donc en appliquant l hypothèse de récurrence à n, on en déduit bien p n (, ) =. F. Rossi 8 février p.
Initiation aux processus IUP Chaînes de Markov En résumé, si on passe dans l état ou, on n atteint jamais l état. Si par contre on atteint l état, on y reste indéfiniment (état absorbant). Enfin, l état étant transitoire, on peut passer soit dans l état absorbant (), soit dans le cycle ( ou ). Pour l état, on constate d abord que p n (, ) = pour tout n (car p n (, ) = ). Les trois autres possibilités sont étudiées par récurrence grâce aux équations de Chapman-Kolmogorov. On a bien sûr p(, ) =. Comme p(, ) = p(, ) =, on obtient clairement p (, ) =, puis par récurrence p k+ (, ) = et p k (, ) = pour tout k, ce qui montre que est un état récurrent (car k p k(, ) = ) de période. On montre de la même façon que p k+ (, ) = et p k (, ) = pour tout k. On montre aussi que p k (, ) = p k (, ) = et p k+ (, ) = p k+ (, ) =. De p(, ) =, on déduit par récurrence que p k+(, ) = et p k(, ) = pour k. En effet, p(, ) = et p(, ) =, et donc p (, ) = p(, )p(, ) =. Ensuite, p k (, ) = p(, )p k (, ) = et p k+ (, ) = p(, )p k (, ) = p(, ) =. On montre exactement de la même façon que p k(, ) = pour k et que p k+ (, ) =. On peut donc résumer le comportement asymptotique de la chaîne de la façon suivante : si la chaîne démarre dans l état ou, elle boucle indéfiniment sur des deux états, avec une période de, c est-à-dire que la suite des états est de la forme,,,,... ou,,,,... ; si la chaîne démarre dans l état, elle boucle indéfiniment sur l état ; enfin, si la chaîne démarre dans l état, son premier changement d état la place dans l état ou et on est ramené à ces cas.. Exercice.. Question En numérotant les états dans l ordre des lignes de la matrice, on obtient le graphe de la figure. Fig. Chaîne de l exercice.. Question On a p(, ) = et p(, ) =, donc p (, ) =. Comme p(, ) =, et communiquent. De même p (, ) =, donc et communiquent. Il y a donc une seule classe et la chaîne est irréductible... Question La probabilité invariante vérifie l équation vectorielle π t M = π, où M désigne la matrice de transition, avec la contrainte additionnelle π + π + π =. On obtient donc le système : Ce qui donne π = π = π =. π = π π = π π = π π + π + π = F. Rossi 8 février p.
Initiation aux processus IUP Chaînes de Markov.. Question et On a M = M = On en déduit donc que M k+p = M p pour tout k et pour p, ce qui montre que la chaîne n admet pas de probabilité limite. Par contre, on remarque que la chaîne passe un tiers du temps dans chaque état, ce qui correspond à la probabilité invariante. Cet exemple montre que même quand une chaîne est irréductible et admet une unique probabilité invariante, elle n admet pas nécessairement une probabilité limite. En fait, les trois états de la chaîne sont récurrents mais périodiques (de période trois) ce qui interdit l existence d une probabilité limite.. Exercice.. Question On peut montrer un résultat plus général que celui demandé dans l énoncé. Considérons en effet une suite (Y i ) i N de variables aléatoires indépendantes et identiquement distribuées et à valeurs dans E un ensemble au plus dénombrable. On se donne une fonction f de E dans E et on définit une suite de variables aléatoires (X i ) i N de la façon suivante : X = Y X i = f(x i, Y i ) pour i > Il est clair qu en prenant pour Y i le résultat du i-ème lancé de dé et pour f(x, y) = max(x, y) on obtient le cas particulier du lancé de dé. On souhaite montrer que (X i ) i N est une chaîne de Markov stationnaire. Considérons P (X n = α n X n = α n,..., X = α ). Par conditionnement, on a : P (X n = α n X n = α n,..., X = α ) = P (X n = α n Y n = β, X n = α n,..., X = α )P (Y n = β X n = α n,..., X = α ) β S Bien entendu, si α n f(α n, β), l évènement {X n = α n, Y n = β, X n = α n,..., X = α } est impossible et la probabilité conditionnelle correspondante est nulle. Si on appelle T = {β S α n = f(α n, β)}, on obtient : P (X n = α n X n = α n,..., X = α ) = P (X n = α n Y n = β, X n = α n,..., X = α )P (Y n = β X n = α n,..., X = α ) β T Il est clair par récurrence que X k est une fonction de Y,..., Y k pour tout k, et donc que Y n est indépendant de X,..., X n. Donc P (Y n = β X n = α n,..., X = α ) = P (Y n = β). De plus, comme pour tout β T, α n = f(α n, β), l évènement {X n = α n = f(α n, β), Y n = β, X n = α n,..., X = α } coïncide avec l évènement {Y n = β, X n = α n,..., X = α }, on a donc P (X n = α n Y n = β, X n = α n,..., X = α ) =. Finalement, on obtient : P (X n = α n X n = α n,..., X = α ) = β T P (Y n = β) Or, on peut conditionner de la même façon P (X n = α n X n = α n ), ce qui donne : P (X n = α n X n = α n ) = β S P (X n = α n Y n = β, X n = α n )P (Y n = β X n = α n ) F. Rossi 8 février p.
Initiation aux processus IUP Chaînes de Markov De nouveau, on peut restreindre cette somme à β T, pour le même T (dont la définition ne dépend que de α n et α n ). De plus on a P (Y n = β X n = α n ) = P (Y n = β), ce qui donne : P (X n = α n X n = α n ) = β T P (X n = α n Y n = β, X n = α n )P (Y n = β) De nouveau, par définition de X n, l évènement {X n = α n = f(α n, β), Y n = β, X n = α n } coïncide avec l évènement {Y n = β, X n = α n } quand β T et donc P (X n = α n Y n = β, X n = α n ) =, ce qui implique : P (X n = α n X n = α n ) = β T P (Y n = β) = P (X n = α n X n = α n,..., X = α ) On a donc bien une chaîne de Markov. L homogénéité est une conséquence immédiate du fait que les Y i sont identiquement distribués... Question La question précédente nous permet d établir simplement les probabilités de transitions. En effet, on a prouvé P (X n = α n X n = α n ) = β T P (Y n = β). Comme on utilise un dé non pipé, P (Y n = β) = et tout se joue donc sur le cardinal de T. Le tableau suivant donne la valeur de T en fonction de α n (en ligne) et de α n (en colonne) : On en déduit la matrice de transition suivante :.. Question {} {} {} {} {, } {} {} {,, } {} {,,, } M = Les états, et sont transitoires, alors que est récurrent. En effet, est absorbant car p(, ) = et donc bien entendu récurrent (positif). Considérons maintenant un état k. On doit calculer P ( n >, X n = k X = k). Par conditionnement, on a : P ( n >, X n = k X = k) = i>k P ( n >, X n = k X = k, X = i)p (X = i X = k)+p (X = k X = k) Or, quand i > k, P ( n >, X n = k X = k, X = i) = P ( n >, X n = k X = i) = car la chaîne est croissante. En effet, p(i, j) = si j < i, et donc par récurrence, p n (i, j) = pour tout n. Donc P ( n >, X n = k X = k) = P (X = k X = k) < pour tout k, ce qui prouve que les états, et sont transitoires... Question Cherchons d abord les probabilités stationnaires de la chaîne, c est-à-dire les solutions du système suivant : π = π π + π = π π + π + π = π π + π + π + π = π π + π + π + π = F. Rossi 8 février p. 6
Initiation aux processus IUP Chaînes de Markov Il est évident que ce système admet pour seule solution le vecteur π = (,,, ) t. Pour calculer la loi limite, on étudie les puissances de la matrice de transition. Si on considère P = M, on peut montre facilement par récurrence avec les équations de récurrence : P n = a n b n c n n d n e n n f n n a n+ = + a n b n+ = + a n + b n c n+ = + a n + b n + c n d n+ = n + d n e n+ = n + d n + e n f n+ = n + f n La première équation donne a n = n. On en déduit que b n = n n. En effet, cette relation est vraie pour n =. Supposons que n > et la relation vraie pour n. On a b n = +a n +b n = n +( n n ). On décompose alors n = n + n = n + n, ce qui donne clairement b n = n n. Comme d n suit la même équation de récurrence que b n, on a aussi d n = n n. On montre de la même façon que f n = n n = e n = c n. On en déduit donc la valeur de M n, à savoir M n = n n n n n n n n n n n n n n n n n n n n n n On peut obtenir le même résultat par dénombrement en considérant les n resultats possibles pour n lancés. Il clair que M n admet comme limite la matrice ce qui correspond bien à la probabilité invariante... Question Pour calculer l espérance demandée, on peut calculer la distribution du nombre de lancés nécessaires pour ( atteindre l état. On a très clairement P (N = k) = ) k. En effet, atteindre au bout de k lancés, c est faire k lancés pour lesquels on obtient, ou (probabilité ) et lancé pour lequel on obient (probabilité ). Comme les lancés sont indépendants, la probabilité s obtient par un simple produit. L espérance recherchée est donc m = k= k ( ) k. Or, k= xk = x (pour x < ) et donc k= kxk = ( x). Or m =, k= k ( ) k et donc m =. F. Rossi 8 février p. 7