Couplage et Chaînes de Markov

Transcription

1 chaînes de Markov Francis Comets Université Paris 7 Denis Diderot Notes de cours M2 2 novembre 2007 Chapitre 6 Couplage et Chaînes de Markov Cadre : Q matrice stochastique sur un espace discret E. Couplage DÉFINITION. Un couplage de deux variables aléatoires X, Y est un couple ( X, Ȳ ) loi défini sur un espace de probabilité (Ω, A,P) avec X = X, Ȳ = loi Y. Ainsi, un couplage de deux variables aléatoires est une réalisation de ces variables sur un même espace. La dépendance entre les deux variables aléatoires permettra par exemple de les comparer. EXEMPLE. Soit X Bernoulli(p), Y Bernoulli(p ), 0 p p. Alors, X = U p}, Ȳ = U p } est un couplage de X et Y sur l espace (Ω, A,P) où la variable uniforme U est définie. On a X Ȳ p.s. Soit Q est une matrice stochastique sur E ; il y a plusieurs manières de coupler les chaînes de Markov (X a n) n et (X b n) n issues de deux conditions initiales distinctes a, b E. Fixons une représentation de la chaîne comme suite récurrente aléatoire, i.e. fixons F : E [0, [ E telle que X n+ = F(X n, U n ) soit une chaîne de transition Q ((U n ) n est i.i.d. uniforme sur [0, [). Voila des exemples importants de couplages ((X n ) n, (Y n ) n ) de (X a n ) n, (X b n ) n (avec toujours X 0 = a, Y 0 = b) :. Couplage libre : X n+ = F(X n, U n ), Y n+ = F(Y n, U n ) On utilise le même U, comme dans l exemple. 2. Couplage antithétique : X n+ = F(X n, U n ), Y n+ = F(Y n, U n ) Utilisé dans les méthodes de réduction de la variance.

2 chaînes de Markov 2 3. Couplage indépendant : Avec (U n ) n et (U n ) n deux suites i.i.d. uniformes et indépendantes entre elles, X n+ = F(X n, U n ), Y n+ = F(Y n, U n) Les deux chaînes sont indépendantes. 4. Couplage indépendant-coalescent (Doeblin 938) : On définit Un si X V n = n = Y n si X n Y n et U n X n+ = F(X n, U n ), Y n+ = F(Y n, V n ) On va voir que la suite (V n ) est i.i.d. uniforme. On a donc bien un couplage, mais ici X n et Y n évoluent indépendamment jusqu à ce qu ils se rencontrent, pour rester ensuite toujours ensemble. Pour montrer que la suite (V n ) définie plus haut est i.i.d. uniforme, il suffit de montrer que la loi de V n sachant V 0,...V n est uniforme sur [0, [. En fait on va considérer plus generalement, avec la notation u k l = (u l,...u k ) pour 0 l k, P(V n < u U0 n, U0 n P(Un < u U0 n, U n } 0 ) sur X ) = n = Y n } P(U n < u U0 n, U n = u ) sur X n Y n } 0 2 Temps de couplage On considère un couplage de X a n et X b n, que l on notera (X a n, X b n) sans les pour simplifier les notations. DÉFINITION 2. Le temps de rencontre du couplage (X a n, Xb n ) est τ ab = infn 0; X a n = Xb n } Il dépend du couplage choisi : EXEMPLE 2. Considérons la promenade aléatoire simple sur Z partant de a = 0 et b = 2. Pour le couplage libre, τ ab = p.s., tandis que pour le couplage indépendant, τ ab < est la moitié du temps de premier passage en 2 pour une promenade aléatoire simple. Attention, il se peut qu il n existe pas de couplage avec τ ab < p.s.

3 chaînes de Markov 3 EXEMPLE 2.2 (Chaine de Wright-Fisher) : E = 0,,..., m}, et Q(x, ) = B(m, x/m). Dans ce cas, les états 0 et m sont absorbants, et la propriété P(X a absorbé en m) = a m P(Xb absorbé en m), a b, a, b E entraine que P(τ ab = ) P(X a, X b absorbés en des points différents) P(X a absorbé en m) P(X b absorbé en m) > 0 si a b. Vu l exemple 4 ci-dessus, on pourra se limiter à des couplages particuliers : Un couplage est dit coalescent si n τ ab = X a n = Xb n et alors on appelle plutôt τ ab le temps de couplage. On voit que les couplages libre et indépendant-coalescent sont des couplages coalescents. Il y a un lien avec la distance en variation entre les lois des deux chaînes de Markov. Rappelons quelques définitions et formules. Soient µ, ν P(E). La distance en variation entre ces lois est µ ν var := µ(x) ν(x) 2 2 µ ν l (E) x = 2 sup f(x)µ(x) x x = sup µ(a) ν(a) ; A E} f(x)ν(x) ; f : E R, f } (le premier sup est atteint pour f(x) = signe(µ(x) ν(x)), le deuxième pour A = x : µ(x) > ν(x)}). Un point important est qu il s agit d une norme sur l espace des mesures finies sur E : cette distance est égale à la moitié de la norme de la variation totale de la mesure µ nu (i.e., de la norme dans l (E) du vecteur µ nu). En particulier, 0 µ ν var. PROPOSITION 2. (Inégalité du couplage). Avec µ a n la loi de X a n, on a pour tout couplage coalescent τ ab. µ a n µ b n var P(τ ab > n)

4 chaînes de Markov 4 On utilise la deuxième formule : l intéret de disposer d un couplage est de pouvoir mettre la différence d espérances sous le même signe espérance, f(x)µ a n (x) f(x)µ b n (x) = Ef(Xa n ) Ef(Xb n )] x x = E[f(Xn a ) f(xb n )] = E[(f(X a n ) f(xb n ))(τab n} + τ ab > n})] = E[(f(X a n ) f(xb n ))τab > n}] 2 f P(τ ab > n) 3 Couplage réussi Lorsque τ ab < p.s., on dira que le couplage a réussi. Dans ce cas, on a necessairement µ a n µb n 0 quand n, propriété que l on qualifie de perte de mémoire : avec le temps, la chaîne oublie quel est son point de départ. La queue de distribution P(τ ab > n) du temps de rencontre permet de quantifier la vitesse à laquelle se perd la mémoire. On a donc intéret à considerer un couplage pour lequel le temps de rencontre est court. Lorsque τ ab < p.s. pour tous a, b E et s il existe une probabilité invariante π, on fait démarrer Y non pas d un état fixé b mais de la loi π, et on montre alors que µ a n π à une vitesse qui est controlée par les queues P(τ ab > n). PROPOSITION 3. Si Q admet une probabilité invariante π, alors pour tout a E, µ a n π, n. On a de plus µ a n π var supp(τ ab > n); b E} Puisque π est invariante, on a b π(b)µb n = π, et par convexité de la norme µ a n π var = b π(b)[µ a n µ b n] var b b π(b) µ a n µb n var π(b)p(τ ab > n) (3.) supp(τ ab > n); b E}

5 chaînes de Markov 5 où l inégalité (3.) résulte de l inégalité de couplage (2.). D autre part, on peut majorer (3.) différemment, en utilisant des parties finies K E : si bien que µ a n π var supp(τ ab > n); b K} + π(k c ), lim n µa n π var lim KրE ( lim sup supp(τ ab > n); b K} + π(k c ) ) = 0 n COROLLAIRE 3. S il existe des couplages réussis τ ab < p.s. pour tous a, b E, Q admet au plus une une probabilité invariante. En effet, la dernière proposition entraine que toute probabilité invariante est telle que π = lim n µ a n et l affirmation découle de l unicité de la limite. 4 Coefficient d ergodicité de Doeblin Il est défini par β(q) = y E inf Q(x, y) [0, ] (4.2) x E EXEMPLE 4. Chateau de cartes : E = N, Q(x, x + ) = p x, Q(x, 0) = p x. Dans ce cas, on a β = sup x (p x ). Si β > 0, on a, à partir de tout état x, une probabilité uniformément positive (et bornée par β) de retourner à 0. On peut alors attendre le premier temps où les deux chaines issues d états différents retournent ensemble à 0 (ce qui se produit avec probabilité au moins β 2 à chaque instant si les chaines sont indépendantes), et ensuite les faire rester ensemble. Le résultat suivant est bien meilleur, il utilise de manière avantageuse la possibilité d instaurer une dépendance entre les chaines. THÉORÈME 4. Supposons β(q) = β > 0. Alors, il existe une fonction F : E [0, [ E telle que pour le couplage libre on ait P( sup τ ab > n) ( β) n a,b E

6 chaînes de Markov 6 Quitte à numéroter les points, on peut supposer que E =, 2,...}. On définit q(y) = inf z Q(z, y) On fixe x E, et on construit F(x, ) en partitionnant [0,[ en intervalles (fermés à gauche, ouverts à droite, indexés par y E) construits récursivement comme indiqués figure. Pour y = : on considère les 2 intervalles I x, droite de 0 I x,+ situé à de longueur gauche de q() Q(x, ) q() Notons que Q(x, ) q() 0, et que I x = Ix,+ I x, est de longueur Q(x, ) (4.3) Pour y = 2 : on considère les 2 intervalles I x, 2 droite de I x, I x,+ situé à 2 gauche de I x,+ de longueur q(2) Q(x, 2) q(2) Comme plus haut, I2 x = Ix,+ 2 I x, 2 est de longueur Q(x, 2). Etc...pour y q() q(2) Q(x,2) q(2) Q(x,) q() β(q) I x, I x, 2 I x,+ 2 I x,+ Fig. Partition de [0,[ pour construire la fonction F On répète la construction pour tout x E. Observons que [0, [\β(q)} y E I x y [0, [, Ix, y ne dépend pas de x. (4.4) Plus précisement, y E Ix y = [0, [ si E est fini, et y E Ix y définit alors F : E [0, [ E par = [0, [\β(q)} sinon. On F(x, u) = y avec u Iy x (4.5) i.e., F(x, u) est l indice y de l intervalle où tombe u. Dans le cas où y E Ix y = [0, [\β(q)}, il faut aussi attribuer une valeur à F(x, β(q)) afin que F soit bien définie partout; mais

7 chaînes de Markov 7 cette valeur n a aucune importance puisque les U n sont des variables aléatoires à densités. D après (4.3), on a P(F(x, U) = y) = Iy x = Q(x, y), et la suite récurrente aléatoire associée à F est de transition Q. D après la deuxième partie de (4.4), on a la propriété remarquable u < β = F(x, u) = F(x, u) x, x E (4.6) Il s en suit que pour tout a, b E, τ ab τ := infn 0; U n < β} Mais τ suit la loi géométrique P(τ > n) = ( β) n, n 0, et le théorème est montré. Ce couplage est appelé le couplage maximal. En corollaire du théorème, on déduit directement des résultats généraux des proposition 3. et corollaire 3. l énoncé suivant : COROLLAIRE 4. Si β(q) > 0 et si Q admet une probabilité invariante π, elle est nécessairement unique et alors pour tout a E, µ a n π var [ β(q)] n Ainsi, on a convergence à vitesse exponentielle vers l état stationnaire. Notons que sous l hypothèse β(q) > 0, la chaine n est pas forcément irreductible : par exemple Q(x, ) = ν avec ν P(E) est telle que β = même si ν s annulle en certains points de E. REMARQUE 4. En fait, la condition β(q) > 0 entraine qu il existe une probabilité invariante. (Laissé en exo) 5 Cas d un espace d état fini On suppose ici E fini. Par compacité, il existe une probabilité invariante, qui sera unique si β(q) > 0 d après le corollaire. Mais il est plus réaliste de faire l hypothèse suivante : PROPOSITION 5. Soit Q une matrice de transition sur E fini, telle que k : Q k (x, y) > 0 x, y E (5.7) Alors, Q est irréductible, elle admet une unique probabilité invariante π, et δ > 0 tel que pour tout n 0, µ a n π var [ δ] n (k )

8 chaînes de Markov 8 L hypothèse (5.7) est vérifiée si Q est irréductible apériodique. La preuve de cette dernière affirmation est élementaire, mais nous ne la donnerons pas ici (voir [] p.42-43). Puisque E est fini, l hypothèse (5.7) implique que de sorte que pour tout entier m, β(q k ) minq k (x, y); x, y E} > 0, inf x E µx mk π var [ β(q k )] m d après le théorème 4.. Par ailleurs, sup x µ x n π var est croissant en n, puisque µ x n+ π var = y E Q(x, y)µ y n π var = y E Q(x, y)[µ y n π] var y E Q(x, y) µ y n π var sup µ y n π var y E par convexité de la norme. Par conséquent, δ := [ β(q k )] /k convient. Voila un résultat dans le cas périodique, indiquant comment se comporte la loi de la chaine à l instant t. La période de x E est défini par d(x) = PGCDn 0; Q n (x, x) > 0} Si Q est irreductible, on montre que tous les points x ont même période, appelé période de Q. Alors, il existe une partition de E, E = E E2... E d telle que Q : E E 2... E d E (i.e., Q(x, y) = 0 si x E i, y E j avec j i + modulo d). PROPOSITION 5.2 Soit Q irréductible périodique sur E, de période d 2. Alors,. Q d est apériodique (et irréductible) sur chacun des espaces E i, i d; 2. Notant π i l unique probabilité invariante de Q d sur E i (i =,...d), la chaine Q a pour unique probabilité invariante d π = d i= π i 3. Il existe δ > 0 tel que µ a nd π i var [ δ] n a E i, i d Pour une preuve, voir [], section 3.3 Ch.3.

9 chaînes de Markov 9 6 Coefficient d ergodicité de Dobrushin Il s agit d une amélioration du précédent, défini par α(q) = inf minq(a, y), Q(b, y)} [0, ] (6.8) a,b E y E Clairement, α(q) β(q). Il est adapté à la construction suivante, dans laquelle on se contente de coupler deux chaines à la fois, et non toutes. En contrepartie, il faudra représenter la chaine double (Xn a, Xb n ) comme une suite récurrente aléatoire (cf (6.2)). On note q a,b (y) := minq(a, y), Q(b, y)}, q a,b := y q a,b (y) α(q) Couplage de Dobrushin. Pour tous a, b fixés dans E, on construit une fonction F(a, b; u) à l aide de deux partitions [0,[ en intervalles (fermés à gauche, ouverts à droite, indexés par y E). α(q) I b,+ 4 (a, b) I a,+ (a, b) q a,b () Iy a, (a,b) = Iy b, (a, b) α(q) I b,+ 3 (a, b) I b,+ 2 (a, b) Fig. 2 Partitions de [0,[, couplage de Dobrushin. La ligne du haut représente les Iy a,± (a, b), celle du bas les Iy b,± (a, b) On pose I a, 0 (a, b) = I b, 0 (a, b) = 0}, I a,+ 0 (a, b) = I b,+ 0 (a, b) = }. Pour y =, 2,..., on considère récursivement, d abord les 2 intervalles Iy a, I a, droite de I a, y (a, b) (a, b) situé à I a,+ y y (a, b) gauche de I a,+ y (a, b) de longueur q a,b (y) Q(a, y) q a,b (y) (a, b), I a,+ (a, b),, y et similairement Iy b, (a, b), Iy b,+ (a, b), I b, y (a, b) droite de I b, (a, b) situé à I b,+ y y (a, b) gauche de I b,+ y (a, b) de longueur q a,b (y) Q(b, y) q a,b (y).

10 chaînes de Markov 0 Pout tout y, l un des deux intervalles I a,+ y I a y (a, b), I b,+ (a, b) est vide. Cette fois, les ensembles y (a, b) = Ia, y (a, b) Iy a,+ (a, b), Iy b (a, b) = Ib, y (a, b) Iy b,+ (a, b) (6.9) sont de longueurs respectives Q(a, y), Q(b, y), et [0, [\q a,b } y E I a y (a, b) = y E Iy b (a, b) [0, [, Ia, y (a, b) = Iy b, (a, b). (6.0) La fonction F : E E [0, [ E E, F(a, b; u) = (y, z) avec u Iy a (a, b), u Ib z (a, b), est bien définie, le couple F(a, b; U 0 ) est bien un couplage de X a, X b, et on a la propriété remarquable u < q a,b = les coordonnées de F(a, b; u) sont égales (6.) d après la deuxième partie de (6.0). La suite récurrente aléatoire (X a n+, Xb n+ ) := F(Xa n, Xb n ; U n) (6.2) est un couplage des chaines issues de a et b, on l appelle le couplage de Dobrushin. A la différence du couplage maximal, les intervalles de coincidence changent à chaque pas. THÉORÈME 6. Pour le couplage de Dobrushin, P( sup τ ab > n) [ α(q)] n a,b E Avec τ ab = infn : U n < q Xa n,xb n }, il résulte de (6.) que τ ab τ ab. (On a même égalité, si a b.) On calcule alors P(τ ab > n) = P(U 0 q Xa 0,Xb 0,...Un q Xa n,xb n ) P(U 0 α(q),...u n α(q)) = [ α(q)] n car q (a,b) α(q). En répétant les calculs du théorème 4., on obtient une majoration plus précise : THÉORÈME 6.2 Si Q admet une probabilité invariante π, alors pour tout a E, Exercice : Soit E =, 2}, et Q = µ a n π var [ α(q)] n ( /3 2/3 2/3 /3 )

11 chaînes de Markov. Montrer qu il existe n 0 tel que n n 0, 2. Trouver un majorant de n 0. (Indications : 0.49 Q n (, ) Q n (2, ) 0.5 la probabilite π uniforme sur E est invariante, et Q a tous ses coefficients strictement positifs. β(q) = α(q) = 2/3 : on résoud.0 ( α) n, soit n 0 [2 log 0/ log3], soit n 0 = 6.) Exercice : Chateau de cartes : vérifier que β = α = inf x q x Références [] R. Fernandez, P. A. Ferrari, A. Galves : Coupling, renewal and perfect simulation of chains of infinite order. Notes for the V Brazilian School of Probability, Ubatuba, August 200. http :// pablo/abstracts/vebp.html [2] H. Thorisson : Coupling, stationarity, and regeneration. Probability and its Applications. Springer-Verlag, New York, 2000