Chaînes de Markov (version 0)

Transcription

1 Chaînes de Markov (version 0) Yan Doumerc ECS1, lycée Gaston Berger, Lille 15 Mai 2014 Résumé Ce document accompagne une séance de formation destinée aux professeurs de classe préparatoire EC. Il s agit de présenter les fondamentaux des chaînes de Markov, thème qui fait son appartition dans les nouveaux programmes. L objectif est de donner les résultats théoriques majeurs ainsi que quelques preuves significatives, de présenter un panorama assez vaste d exemples qui peuvent servir d inspiration et de détailler les possibilités qu offre Scilab sur ce thème. Le contenu de ce document va au delà de ce qui est présentable à nos étudiants mais nous espérons qu il aidera ses lecteurs à avoir un bagage confortable et un recul suffisant pour enseigner le sujet. Table des matières 1 Introduction Motivations Les questions qui se posent Liste de notations Généralités Définitions Propriété de Markov En Scilab Structure linéaire 6 4 Structure topologique Communications entre états et classes Période Classification des états Transience, récurrence positive et récurrence nulle En Scilab Mesure invariante Définition, existence, unicité En Scilab Asymptotique Loi des grands nombres Convergence en loi de (X n ) Aspects matriciels dans le cas E fini 14 9 Analyse à un pas Temps d atteinte Probabilités et temps d absorption

2 10 Exemples La chaîne à deux états Bonus-malus en assurance Mobilité sociale Score au tennis Mots de taille 2 dans un pile ou face Ascension et rechutes Retenues lorsque l on pose une addition Collectionneur de coupons Sisyphe et les matrices compagnons Processus de vie et de mort et marches aléatoires Sur N Sur Z Sur [[0, s]. Ruine du joueur Marche aléatoire sur un graphe. Pagerank de Google. Cavalier sur un échiquier Marche aléatoire sur un groupe Urne d Ehrenfest Modèle de Wright-Fisher Processus de Galton-Watson Files d attente Un exemple non-homogène : urne de Polya Quelques preuves 30 1 Introduction 1.1 Motivations 1. Dans les nouveaux programmes, les chaînes de Markov constituent le thème 3 en ECS2 (6h) et ECT2 (4h), le thème 4 en ECE2 (6h). Elles mobilisent les compétences C2 (modéliser et simuler des phénomènes aléatoires ou déterministes et les traduire en langage mathématique) et C4 (représenter et interpréter les différentes convergences). 2. Les familles (X n ) n N de variables aléatoires indépendantes sont des objets fondamentaux en probabilités mais souvent trop «naïfs» pour décrire en pratique des phénomènes aléatoires. Les chaînes de Markov constituent un exemple fondamental de familles (X n ) de variables exhibant une dépendance suffisamment riche pour être pertinente et suffisamment simple pour se prêter à une étude détaillée. 3. Les chaînes de Markov sont le pendant aléatoire des suites récurrentes x n+1 = f(x n ). 4. Certains phénomènes se présentent spontanément comme des chaînes de Markov. Ce sont souvent des hypothèses d indépendance inhérentes au phénomène qui se transforment en propriété de Markov. Cf 10.5, 10.7, On peut aussi fabriquer une structure markovienne pour s adapter au plus près à la modélisation d une situation réelle. A ce titre, les chaînes de Markov constituent des approximations de la réalité dont il convient de mesurer ensuite la pertinence (notamment en termes de prédictions). Cf 10.3, 10.16, 10.15, 10.14, Notons que la structure markovienne à choisir peut être subtile : certains phénomènes ne sont pas directement markoviens en eux-mêmes mais proviennent d un processus markovien sous-jacent (chaîne de Markov cachée). 6. Enfin, les chaînes de Markov peuvent être utilisées comme outils dans des problèmes qui n ont a priori rien de markovien. Par exemple, les bonnes propriétés asymptotiques des chaînes de Markov peuvent permettre la simulation exacte ou approchée d une loi de probailité (algorithmes de Metropolis-Hastings et de Propp-Wilson) ou le calcul approché d une espérance sous cette loi (méthodes dites MCMC pour Monte Carlo Markov Chains). Elles peuvent aussi servir dans des problèmes d optimisation (algorithme de recuit simulé). 7. Pédagogiquement, les chaînes de Markov permettent de nouer un lien fort entre probabilités et algèbre linéaire. 2

3 8. Scilab a des commandes prévues pour les chaînes de Markov. Pour les comprendre, il faut avoir quelques connaissances mathématiques sur le sujet. 9. Ce document comporte quelques preuves que nous avons jugé utiles et significatives. Nous renvoyons à l abondante littérature sur le sujet. Notre bibliographie cîte des ouvrages et des articles publiés mais il existe aussi des cours très complets disponibles sur internet (il suffit de googliser «chaînes de Markov» ou «Markov chains» pour obtenir de nombreux cours de type L3 ou M1) 1.2 Les questions qui se posent En tant que généralisation des suites récurrentes x n+1 = f(x n ) et des suites de variables aléatoires indépendantes et de même loi, les chaînes de Markov soulèvent des questions naturelles. 1. Quels états la chaîne peut-elle visiter? Combien de fois la chaîne visite-t-elle ces états? 2. Existe-t-il des régions pièges telles que si la chaîne y entre, elle y reste? 3. Existence et unicité d un équilibre (analogue à un point fixe de f pour une suite x n+1 = f(x n ))? 4. Comportement asymptotique quand n + : loi des grands nombres pour f(x 1) + + f(x n ), n convergence de X n? 1.3 Liste de notations 1. L(Y )= loi de la variable aléatoire Y. 2. CM : chaîne de Markov. 3. CM(E, µ, Q) : chaîne de Markov à valeurs dans E, de loi initiale µ et de «matrice» de transition Q. On utilisera CM(E), CM(Q) ou CM(µ, Q) selon les situations. 4. P µ = loi de la chaîne X lorsque µ = L(X 0 ), P x = loi de la chaîne X lorsque X 0 = x, L µ (Y ) = loi de la variable aléatoire Y lorsque µ = L(X 0 ). 5. Si n N, X n+ = (X n+k ) k N = chaîne translatée de n. 6. Si A E, τ A = inf{n 0 X n A} = temps d atteinte de A, T A = inf{n > 0 X n A} temps positif d atteinte de A, τ x = τ {x}, T x = T {x}. 7. ρ xy = P x ( n N, X n = y) = P x (T y < + ) 8. N A = + n=0 1 X n A = nombre de passages de X en A. 3

4 2 Généralités 2.1 Définitions 1. X = (X n ) n N suite de variables aléatoires à valeurs dans E (espace d états, fini ou dénombrable). X est une CM lorsque n N, (x 0,..., x n+1 ) E n+2, P (X n+1 = x n+1 (X 0,..., X n ) = (x 0,..., x n )) = P (X n+1 = x n+1 X n = x n ). 2. Une CM X est homogène lorsque P (X n+1 = y X n = x) ne dépend pas de n. On note Q xy := P (X n+1 = y X n = x) = P (X 1 = y X 0 = x) = probabilité de transition de x à y. 3. Q = (Q xy ) (x,y) E 2 := «matrice» de transition indicée par E 2 (Q xy 0, y E Q xy = 1). 4. Si µ = L(X 0 ) (loi de X 0 i.e. µ x = P (X 0 = x)) alors la loi de la chaîne X est entièrement déterminée par µ = L(X 0 ) et Q : P (X 0 = x 0, X 1 = x 1,..., X n = x n ) = µ x0 Q x0x 1 Q x1x 2 Q xn 1x n. 5. CM = suite récurrente aléatoire. Si (U n ) n N est une suite de variables aléatoires indépendantes et de même loi, indépendantes de X 0 et X n+1 = f(x n, U n+1 ) alors X est une CM de transitions données par Q xy = P (f(x, U) = y). Réciproquement, toute CM peut être réalisée ainsi. 2.2 Propriété de Markov 1. Propriété de Markov faible : conditionnellement à {X n = x}, la suite X n+ est une CM(δ x, Q) indépendante de (X 0,..., X n 1 ) i.e. n, A E n, B E N (B mesurable pour la tribu produit), P µ (X n+ B (X 0,..., X n 1 ) A, X n = x) = P x (X B). 2. La propriété de Markov forte permet de remplacer le n fixé de la propriété précédente par un temps T aléatoire lorsque c est un temps d arrêt i.e. lorsque, pour tout k N, {T = k} est dans la tribu F k engendrée par X 0,..., X k. On note alors F T = {A k N, A {T = k} F k } et la propriété de Markov forte dit alors que, conditionnellement à {T < + } {X T = x}, la suite X T + est une CM(δ x, Q) indépendante de F T. Cette formulation est très pratique mais nécessite des préalables (tribu engendrée par X 0,..., X k, temps d arrêt, tribu F T ) qu il me semble déraisonnable de présenter à nos étudiants de voie EC. Ainsi, je n utiliserai pas cette formulation. 2.3 En Scilab 1. La commande X=grand(n,"markov",Q,x0) renvoie une trajectoire X 1,..., X n de longueur n de la CM de matrice de transition Q de taille N, d espace d états [[1, N ] et d état initial x0 [[1, N ] 2. On peut simuler simultanément par la même commande m trajectoires de la chaîne en prenant pour x0 un vecteur de longueur m : Y est alors une matrice à m lignes et n colonnes, la i-ième ligne de cette matrice représentant une trajectoire de la chaîne issue de x0(i). 3. La commande Q=genmarkov(N,0) génère une matrice de transition aléatoire (irréductible, cf 4.1) de taille N. Cette commande admet d autres options (cf 5). -->Q=genmarkov(3,0) Q = >X=grand(10,"markov",Q,2) X =

5 -->X=grand(10,"markov",Q,ones(1,4)) X = La commande X=grand(n, markov,q,x0) ne fonctionne que pour un espace d état fini. Une autre méthode est d utiliser une formule X n+1 = f(x n, U n+1 ) qui, modulo une boucle, réduit le problème à la simulation de variables aléatoires indépendantes et de même loi U n. 5. Parfois, les commandes matricielles de Scilab permettent d éviter une boucle et d écrire des codes très rapides (cf 10.12). 5

6 3 Structure linéaire 1. Une mesure (positive) µ sur E est vue comme un vecteur ligne (µ x ) x E indicé par E (à composantes 0). 2. Une fonction f sur E est vue comme un vecteur colonne (f(x)) x E indicé par E. 3. Lemme général de probabilités. Soit X, Y deux variables aléatoires à valeurs dans E, L(X), L(Y ) vecteurs lignes des lois de X et Y. On pose Q xy = P (Y = y X = x) et Q = (Q xy ) (x,y) E 2 matrice indicée par E 2. Alors Formule de transfert : E(f(X)) = L(X).f Formule des probabilités totales : L(Y ) = L(X).Q, où l on utilise les produits «matriciels» usuels (µ.q) y = x E µ xq xy, (Q.f) x = y E Q xyf(y). 4. Application à X CM(Q) : L(X n+1 ) = L(X n ).Q, L(X n ) = L(X 0 ).Q n E µ (f(x n )) = µ.q n.f, P x (X n = y) = Q n xy 5. En Scilab, on peut donc utiliser le produit matriciel pour calculer Q n, L(X 0 ).Q n ou µ.q n.f. A titre d exemple, si X est une CM([[1, N ], Q, ν) où N,Q sont connues et ν = U([[1, N ]), on peut calculer ainsi la loi de X 10 ou sa variance : L=(ones(1,N)/N)*Q^10 V=L*([1:N].^2)-(L*[1:N])^2 //renvoie vecteur ligne égal à la loi de X_10 //renvoie Var(X_10) 6. En Scilab, une façon rapide de stimuler l intérêt pour le comportement asymptotique d une CM est la séquence suivante : -->Q=genmarkov(5,0) Q = >Q^3 ans = >Q^100 ans = Pourquoi les lignes de Q n sont-elles égales? Cf 7.2 pour une réponse. 6

7 4 Structure topologique 4.1 Communications entre états et classes 1. Graphe orienté G associé à une CM(E, Q) : sommets = états ( E), arêtes : x y ssi Q xy > Si (x, y) E 2, les propriétés suivantes sont équivalentes : (a) P x ( n N, X n = y) > 0 (b) n N tel que Q n xy = P x (X n = y) > 0 (c) n N, x 1,..., x n 1 E tels que x x 1 x n 1 y i.e. Q xx1 Q x1x 2 Q xn 1y > 0 i.e. x, y sont reliés par un chemin dans le graphe orienté G. Si c est le cas, on dit que x mène à y et on note x y. C est une relation réflexive, transitive mais non-symétrique. 3. Lorsque x y et y x, on dit que x communique avec y et on note x y. est une relation d équivalence dont les classes d équivalence sont appelées simplement classes. 4. Une CM est irréductible si elle n a qu une seule classe i.e. si (x, y) E 2, x y. 5. Une partie F E est dite close si x F, y / F, Q xy = 0, ce qui équivaut à x F, P x ( n N, X n F ) = Un état x est absorbant lorsque {x} est close i.e. Q xx = Une classe n est pas toujours close : il peut exister des transitions entre deux classes mais uniquement dans un sens (sinon elles ne feraient qu une seule classe). 4.2 Période 1. Si x E, D x := {n N Q n xx > 0} et d x := pgcd D x = période de x (si D x ). 2. Si D x, on prouve que D x et d x N ne diffèrent que par un ensemble fini (utiliser Bezout et la stabilité de D x par somme). 3. Les états d une classe ont même période. 4. x est apériodique si d x = 1. Ceci équivaut à : k x N, n k x, Q n xx > 0. Une chaîne est apériodique si tous ses états le sont. 5. Une chaîne est irréductible et apériodique ssi (x, y) E 2, k xy N, n k xy, Q n xy > Ainsi, si E est fini, une CM(E, Q) est irréductible et apériodique ssi il existe k N tel que Q k ait tous ses coefficients positifs. 7. Si X CM(E, Q) est irréductible et de période d, il existe une partition E = E 0 E d 1 telle que (a) P (X n+k E i+k X n E i ) = 1 (avec E i+dj = E i ). (b) Q d a d classes E 0,..., E d 1 qui sont closes et apériodiques (pour Q d ). E 0,..., E d 1 sont les composantes cycliques de la chaîne CM(Q) et celle-ci les traverse successivement et de façon cyclique. 7

8 --]-i L--i - t_ I il --- i. L: =rl l =' :: 1- I tl 'i ri =- tl i -f-=r.-.i: F]_

9 5 Classification des états. 5.1 Transience, récurrence positive et récurrence nulle 1. Rappel : N x = n=0 1 {Xn=x}, ρ xy = P x ( n > 0, X n = y) = P x (T y < + ). 2. Un état x E vérifie soit les propriétés équivalentes du 2a, soit celles du 2b. (a) ρ xx = 1 P x (N x = + ) = 1 n Qn xx = + : x est alors dit récurrent ; (b) ρ xx < 1 k 1, P x (N x = k) = (1 ρ xx )ρ k 1 xx n Qn xx < + : x est alors dit transient. 3. Un état récurrent x est dit récurrent positif si E x (T x ) < + et récurrent nul si E x (T x ) = La récurrence est contagieuse : si x récurrent et x y alors y récurrent et ρ xy = ρ yx = 1. Ainsi, si x y et y x alors x est transient. 5. Transience, récurrence positive et récurrence nulle sont des propriétés de classe. 6. Toute classe récurrente est close. 7. Une CM(E) a au moins un état récurrent si E est fini. 8. Une classe récurrente finie est récurrente positive. 9. E est l union disjointe de classes ((RP i ) i I, (RN j ) j J, (T k ) i K ), I, J ou K pouvant être vides. Les RP i, RN j sont closes, les RN j sont infinies, les T k peuvent être infinies ou non, closes ou non. Mais si la chaîne sort d une T k, elle n y reviendra plus jamais. Si une T k est finie, la chaîne ne la visitera qu un nombre fini de fois. Il n y a qu un seul ordre dans lequel les T k peuvent être visitées. 10. Si E est fini, E est l union disjointe de classes ((RP i ) i I, (T k ) i K ), I. Les RP i sont closes. Les T k ne seront visitées qu un nombre fini de fois. La chaîne finira toujours par être absorbée par une des classes récurrentes. 11. Ainsi, si E est fini, on peut réordonner ses éléments de telle manière que la matrice de transition s écrive par blocs sous sa forme canonique : M M.. 2. Q = , (1) 0 0 M r 0 B 1 B r Q où les M 1,..., M r correspondent aux r classes récurrentes et la ligne B 1 B r Q correspond aux transitions démarrant dans l ensemble T des points transients. 5.2 En Scilab 1. La commande genmarkov([n1,n2,...,nr],nt) renvoie une matrice de transition écrite sous forme canonique (1) ayant r classes récurrentes de cardinaux respectifs n1,..., nr et une classe transiente contenant nt états. 2. La commande genmarkov([n1,n2,...,nr],nt, perm ) permute les états de manière que Q n apparaisse plus sous forme fondamentale. 3. La commande [perm,rec,tr,indsrec,indst]=classmarkov(q) permet de trouver le nombre d états transients (tr), les tailles des classes récurrentes (rec), les indices des états récurrents (indsrec) et transients (indst) ainsi qu une permutation (perm) de ces indices permettant de mettre la matrice de transition Q sous forme canonique. D où la session suivante : -->Q=genmarkov([2,1,1],2, perm ) Q =

10 >[perm,rec,tr,indsrec,indst]=classmarkov(q) indst = indsrec = tr = 2. rec = perm = >Q(perm,perm) ans = Pédagogiquement, si l on veut que les étudiants puissent générer une matrice de transition et s entraîner eux-mêmes à trouver les classes, la commande genmarkov([n1,n2,...,nr],nt, perm ) leur donne déjà les cardinaux des classes. On peut bricoler un générateur de matrices markoviennes avec des zéros en normalisant les lignes d une matrice d entiers aléatoires : function q=gene_mat_trans_avec_zer(n,p) // renvoie une matrice markovienne de taille n // p dans [0,1], proche de 1 pour qu il y ait beaucoup de 0 aux=0 while aux==0 // sert à ne pas diviser par 0 M=grand(n,n,"geom",p)-1 S=sum(M, c ) // sommes cumulées de M par lignes aux=prod(s) // produit des éléments de S end q=diag((1./s))*m // divise chaque ligne de M par sa somme endfunction Bien sûr, ce générateur a très peu d intérêt pour n = 2 ou 3. Exercice : on note Z le nombre de zéros dans la matrice ainsi générée et C le nombre de passages dans la boucle while. Quelles sont les lois de Z et C? Quel est le nombre moyen de zéros dans la matrice générée? Quel est le nombre moyen de zéros de passages dans la boucle? Quelle est la probabilité de passer plus d une fois dans la boucle? 9

11 6 Mesure invariante 6.1 Définition, existence, unicité 1. Une mesure µ sur E est invariante pour une CM(E, Q) lorsque µq = µ i.e. y E, µ x Q xy = µ y. x E Comme µ = 0 est toujours invariante, on sous-entendra dans la suite mesure non-nulle. 2. Interprétation probabiliste : soit µ une loi (i.e. une mesure de probabilté). Alors µ invariante n N, L µ (X n ) = µ n N, L µ (X) = L µ (X n+ ). 3. Une mesure invariante est un vecteur propre à gauche à composantes 0 de la matrice Q associé à la valeur propre Une mesure µ est réversible lorsque (x, y) E 2, µ x Q xy = µ y Q yx. Une mesure réversible est invariante (il n y a qu à sommer sur x E). 5. Une «matrice» de transition Q est bistochastique lorsque outre y E, x E Q xy = 1. Ceci signifie exactement que la mesure «constante» (µ x = 1 pour tout x E) est invariante. 6. Toute chaîne ayant au moins un état récurrent a au moins une mesure invariante. 7. Si µ est une mesure finie, invariante et si x un état transient alors µ x = Les mesures invariantes d une CM X irréductible et récurrente sont toutes proportionnelles. Elles vérifiet toutes µ y > 0 pour tout y E et on a la dichotomie suivante : (a) X est récurrente positive et toutes les mesures µ invariantes vérifient µ(e) < +. X possède alors une unique loi invariante donnée par x E, µ x = (E x (T x )) 1 > 0. (b) X est récurrente nulle et toutes les mesures invariantes vérifient µ(e) = +. X ne possède alors pas de loi invariante. 9. Ainsi, une chaîne admet une unique loi invariante ssi elle est irréductible, récurrente positive. 6.2 En Scilab 1. La fonction eigenmarkov(q) renvoie l unique loi stationnaire d une chaîne de Markov irréductible de matrice de transition Q. -->Q=[ ; ] Q = >eigenmarkov(q) ans = Si la chaîne comporte m classes récurrentes, eigenmarkov(q) renvoie une matrice à m lignes dont la i-ième ligne est la loi stationnaire correspondant à la i-ième classe récurrente. -->Q=[genmarkov(2,0) zeros(2,2); zeros(2,2) genmarkov(2,0)] Q =

12 >eigenmarkov(q) ans =

13 7 Asymptotique 7.1 Loi des grands nombres 1. Notons N n y = n k=1 1 X k =y le nombre de passages en y entre les instants 1 et n. Alors, pour tout chaîne X irréductible et toute loi initiale, y E, Ny n lim n + n = (E y(t y )) 1 presque-sûrement (avec (+ ) 1 = 0). (2) 2. Soit X une CM irréductible, récurrente nulle. Alors, pour toute loi initiale et toute fonction f intégrable par rapport à «la» mesure invariante, on a f(x 1 ) + + f(x n ) lim = 0 presque-sûrement. (3) n + n 3. Soit X une CM irréductible, récurrente positive. On note µ son unique loi invariante (µ x = (E x (T x )) 1 ) et on suppose que la fonction f est µ-intégrable. Alors, pour toute loi initiale, on a f(x 1 ) + + f(x n ) lim = µ.f presque-sûrement. (4) n + n 4. En Scilab, il suffit de simuler une seule trajectoire pour illustrer ces convergences car elles ont lieu avec probabilité un, quelle que soit la mesure initiale. A titre d exemple, si X CM(Q) est irréductible, récurrente positive de loi invariante µ, on pourra regarder les estimateurs ˆµ (n) N n x n (n) et ˆQ xy = 1 Nx n x = n 1 1 Xk =x,x k+1 =y. On pourra prouver qu ils convergent avec probabilité un k=0 respectivement vers µ x et Q xy (utiliser le fait que (X n, X n+1 ) est une CM irréductible, récurrente positive et de mesure invariante λ (x,y) = µ x Q xy ). On pourra les tester sur un exemple généré par genmarkov puis grand. 7.2 Convergence en loi de (X n ) 1. Pour une chaîne X irréductible, le théorème de convergence dominée permet de passer à l espérance sous P x dans (2) pour avoir x E, lim n + n k=1 Qk xy n = (E y (T y )) 1. (5) Ainsi la suite (P x (X n = y) = Q n xy) converge au sens de Césaro. Converge-t-elle au sens usuel? 2. Si y est transient ou récurrent nul, on a P x (X n = y) = Q n xy 0. n + ( ) Il existe des cas où la suite (P x (X n = y) = Q n xy) n a pas de limite (ex : Q =, Q 1 0 2n = I 2, Q 2n+1 = Q). C est un phénomène de périodicité qui fait obstacle à la convergence. 4. Soit X une CM irréductible, récurrente positive et apériodique. X a une unique loi invariante µ. Alors, pour toute loi initiale ν, la suite (X n ) converge en loi vers une variable aléatoire de loi µ : A E, lim P ν(x n A) = µ(a) et, en particulier, lim n + n + Qn xy = µ y = (E y (T y )) 1. (6) 5. En Scilab, pour illustrer ces convergences en loi, une seule trajectoire ne suffit plus. On peut fixer un n grand, simuler k trajectoires, obtenir des copies indépendantes Xn, 1..., Xn k et regarder la loi empirique associée µ k = 1 k δ k X i n qui approxime la loi de X n et donc la loi µ. La comparaison i=1 entre µ k et µ peut se faire à travers leurs histogramme ou à travers leurs fonctions de répartition si E R (F k (t) = 1 k 1 k X i n t d un côté et F (t) = µ(], t]) de l autre). i=1 12

14 6. En Scilab, une autre illustration possible est de calculer νq n par produit matriciel puis la distance en variation totale d V T (νq n, µ) = x E νqn (x) µ(x) et de représenter graphiquement d V T (νq n, µ) en fonction de n. 7. Supposons X CM(Q) irréductible, récurrente positive, de loi invariante µ, de période d et de composantes cycliques E 0,..., E d 1. Alors, pour tout 0 i d 1, µ(e i ) = 1/d et la chaîne (X nd+i ) n N converge en loi : A E, lim P d 1 ν(x nd+i A) = d ν(e j )µ(a E i+j ) n + et, en particulier pour (x, y) E j E i+j, j=0 lim n + Qnd+i xy = dµ y. 13

15 8 Aspects matriciels dans le cas E fini Soit X une CM(E, Q) avec E fini. Rappelons que, pour toute matrice, les valeurs propres à gauche et les valeurs propres à droite sont les mêmes avec même multiplicité algébrique (i.e. dans le polynôme caractéristique) et géométrique (i.e. dimension du sous-espace propre). On pourra donc parler des valeurs propres sans précision. 1. Les valeurs propres de Q sont toutes de module 1 et 1 est valeur propre. M M Si l on prend la forme canonique Q = , les valeurs propres sont celles 0 0 M r 0 B 1 B r Q de M 1,..., M r, Q. Chaque M i possède 1 comme valeur propre de multiplicité géométrique égale à 1. Les valeurs propres de Q sont de module < Ainsi, la dimension du sous-espace propre associé à 1 est égale au nombre de classes récurrentes. 4. Soit d k la période de M k. Les valeurs propres de module 1 de M k sont les racines d k -èmes de l unité. 5. Ainsi, si Q est irréductible et récurrente, elle est apériodique ssi 1 est la seule valeur propre de module Une loi invariante est un vecteur propre à gauche à composantes 0 et de somme 1. Chaque M k possède une unique loi invariante µ k et les lois invariantes sont toutes de la forme µ = r k=1 a kµ k où a k 0 et r k=1 a k = Si Q est irréductible (donc récurrente) et apériodique, la matrice Q n converge vers la matrice dont toutes les lignes sont égales à µ (l unique loi invariante). C est une matrice de projecteur de rang Soit Q de taille N = E irréductible dont l unique loi invariante est µ. On peut munir R E (ensemble des fonctions de E dans R vues comme vecteurs colonnes) du produit scalaire f, g = x E µ(x)f(x)g(x). On note 1 R E la fonction constante 1 si bien que µ.f = x µ(x)f(x) = f, 1. On confond Q avec l endomorphisme qu il induit canoniquement sur R E. Q est alors symétrique ssi µ est réversible. Dans ce cas, Q est diagonalisable dans une base orthonormée f 1,..., f N avec valeurs propres 1 = λ 1 > λ 2 λ N 1. L irréductibilité de Q se traduit par le fait que λ 1 = 1 soit valeur propre simple. Q est apériodique ssi λ N > 1. Ainsi, pour tout f R E N N N Q n f = f, f i Q n f i = f, f i λ n i f i = µ.f + f, f i λ n i f i. i=1 i=1 En notant c(x) = Q 2 xx/µ x et ρ = max(λ 2, λ N ) < 1, on peut prouver dans le cas apériodique que E x (f(x n )) µ.f 2 c(x)ρ 2n 2 f µ.f 2 et P x (X n A) µ(a) c(x)ρ2n 2, ce qui reprouve la convergence en loi de (X n ) et donne une vitesse de convergence. i=2 14

16 9 Analyse à un pas 9.1 Temps d atteinte 1. Rappel : si A E, τ A = inf{n 0 X n A} = temps d atteinte de A. 2. Posons φ A (x) = P x (τ A < + ). φ A est la solution minimale des équations suivantes : x A, φ A (x) = 1, x / A, φ A (x) = y E Q xy φ A (y). (7) 3. Si A B =, posons φ A,B (x) = P x (τ A < τ B ) pour tout x E. ψ est la solution minimale des équations suivantes : x A, φ A,B (x) = 1, x B, φ A,B (x) = 0, x / A B, φ A,B (x) = y A Q xy φ A,B (y). (8) 4. Posons ψ A (x) = E x (τ A ) pour tout x E. Alors ψ A est la solution minimale de l équation suivante : x A, ψ A (x) = 0, x / A, ψ A (x) = 1 + y / A Q xy ψ A (y). (9) Ainsi, en notant Q la matrice obtenue en supprimant les lignes et colonnes d indices dans A et en 1 introduisant les vecteurs colonnes de même taille ψ A = (ψ A (x)) x / A et J =., on a donc 1 ψ A = J + Qψ A i.e. (I Q)ψ A = J. (10) 9.2 Probabilités et temps d absorption M M Si E est fini, reprenons la forme canonique de Q = correspondant 0 0 M r 0 B 1 B r Q aux classes récurrentes (C 1,..., C r ) et à l ensemble T des points transients. Notons τ j le temps d atteinte de C j, τ = inf j τ j le temps d absorption dans une des classes récurrentes. On sait que τ est fini avec probabilité un et admet une espérance. Pour 1 j r et (x, y) T 2, les quantités d intérêt sont (a) E x (N y ) le nombre moyen de visites en y partant de x, (b) ψ(x) = E x (τ) le temps moyen d absorption partant de x, (c) φ j (x) = P x (τ j < + ) = P x (X τ C j ) la probabilité d être absorbée par C j partant de x. Introduisons les vecteurs colonnes ψ = (ψ(x)) x T, φ j = (φ j (x)) x T, J = t (1,..., 1) M T,1 (R) et J j = t (1,..., 1) M Cj,1(R). Posons aussi φ = (φ 1,..., φ r ) et B = (B 1 J 1,..., B r J r ) dans M T,r (R). Alors, on prouve que, on a I t Q est inversible et, si F = (I t Q) 1, on a : E x (N y ) = F xy, ψ = F J, φ = F B. (11) 2. Si E est fini, une CM(E, Q) est dite absorbante lorsque les classes récurrentes sont des singletons i.e. les états récurrents sont absorbants. Les calculs précédents sont alors tous valables. On a M 11 = = M rr = J 1 = = J r = 1, les B i sont des vecteurs colonnes et B = (B 1,..., B r ). 3. En Scilab, la commande [M,S]=eigenmarkov(Q) renvoie, en plus de la matrice M contenant dans sa j-ème ligne la loi invariante portée par C j, la matrice S est φ = F B i.e. S(x,j) est la probabilité de terminer dans la j-ième classe en démarrant en l état x. Cf 10.4 pour un exemple. 15

17 10 Exemples 10.1 La chaîne à deux états ( 1 a a 1. Si E = {0, 1}, la matrice de transition est Q = b 1 b t (a, b).( 1, 1), rg(m) = 1. ) ( a a = I 2 +M où M = b b ) = 2. Le calcul de Q n est entièrement explicite et peut se faire dès la 1ère année de filière EC : soit par récurrence, soit par la formule du binôme en utilisant M k = ( a b) k 1 M pour k 1. En 2ème année, on peut faire ce calcul par diagonalisation explicite de M (facile car rg(m) = 1) puis de Q. La limite quand n + peut s étudier directement dans ce cas particulier. 3. La chaîne est irréductible ssi ab 0. Dans ce cas, elle est apériodique ssi a + b < 2. Le cas a = b = 1 est l archétype d une chaîne de période 2 qui donne si, par exemple, X n = 0 alors X 2n = 0 et X 2n+1 = 1 donc X n ne converge pas en loi Bonus-malus en assurance 1. E= ensemble des classes de tarifications = {1 (fort bonus), 2, 3, 4, 5, 6 (fort malus)}. 2. Evolution : si on n a aucun accident dans l année, on gagne en bonus (si possible) ; si on a au moins un accident dans l année, on passe à 6 (malus maximal). 3. p = probabilité de ne pas avoir d accident dans l année, q = 1 p. p q p q 4. Q = 0 p q 0 0 p 0 0 q p 0 q p q 5. Q est irréductible, récurrente positive et apériodique. En résolvant le système µq = Q, on voit que son unique loi invariante est µ = (p 5, qp 4, qp 3, qp 2, qp, q). D après 7.2.4, (X n ) converge en loi vers une variable aléatoire de loi µ. 6. Si le coût annuel de l assurance en classe i vaut f(i) alors le coût total pour un assuré sur n années vaut C n = f(x 1 ) + + f(x n ) et vérifie C n n( 6 x=1 f(x)µ(x)) avec probabilité un quand n Nous renvoyons à [L] ainsi qu à la page web http ://blogperso.univ-rennes1.fr/arthur.charpentier. 8. Voici une fonction qui simule une trajectoire de cette chaîne avec boucle for function x=simu_bonus_boucle(n,p) //simule trajectoire de longueur n de la chaîne bonus, p = proba de zéro accident x=ones(1,n) for i=2:n u=rand() x(i)=6+(max([1,x(i-1)-1])-6)*(u<p)// 6 si u>p et max(1,x(i-1)-1) si u<p end endfunction 9. Voici une fonction qui fabrique la matrice de cette chaîne. function m=mat_bonus(p) //calcule la mat de transition du bonus avec proba p de zéro accident q=1-p n=p*eye(5,5) n=[zeros(1,5);n] m=[n, q*ones(6,1)] 16

18 m(1,1)=p endfunction 10. Voici un code qui dessine plusieurs trajectoires de la chaîne. clf() n=input("longueur des trajectoires : ") k=input("nombre de trajectoires : ") p=input("proba de ne pas avoir d accident : ") y=grand(n, markov,mat_bonus(p),ones(1,k)) //y a k lignes contenant des trajectoires de longueur n y=[ones(1,k) y] //on ajoute les points de départ : y a k lignes et n+1 colonnes m=ones(k,1)*[1:n+1]-1//matrice à k lignes égales toutes à 0,1,2,...,n plot2d(m,y ) n1=string(n);p1=string(p);k1=string(k); xtitle([k1 trajectoires de longueur n1 de l évolution du bonus avec proba de ne pas avoir d accident p1], temps, états,boxed=1) 11. Voici un code qui dessine plusieurs trajectoires des moyennes empiriques des bonus. clf n=input("longueur des trajectoires : ") k=input("nombre de trajectoires : ") p=input("proba de ne pas avoir d accident : ") y=grand(n-1, markov,mat_bonus(p),ones(1,k)) //y a k lignes contenant des traj. de longueur n-1 y=[ones(1,k) y]//on ajoute les points de départ : y a k lignes et n colonnes y=cumsum(y, c )//on fait les sommes cumulées des trajectoires m=ones(k,1)*[1:n]//matrice à k lignes égales toutes à 1,2,...,n y=y./m// matrice à k lignes égales toutes à S_0/1, S_1/2, S_2/3,..., S_{n-1}/n mat=m-1// matrice à k lignes égales toutes à 0,1,2,...,n plot2d(mat,y ) n1=string(n);p1=string(p);k1=string(k); xtitle([ evolution des moy empiriques du bonus sur k1 trajectoires de longueur n1 avec proba de pas d accident p1], temps, moy empirique,boxed=1) 12. Voici un code qui représente les fréquences empiriques de visite des états sur une trajectoire et les compare à la loi invariante. clf n=input("longueur de la trajectoire : ") p=input("proba de ne pas avoir d accident : ") Q=mat_bonus(p) y=grand(n-1,"markov",q,1) //y =vecteur ligne contenant des trajectoires de longueur n-1 y=[1 y]//on ajoute les points de départ : y a 1 ligne et n colonnes histplot([0.5:6.5],y,style=5) plot2d([1:6],eigenmarkov(q),style=-5) n1=string(n);p1=string(p); 17

19 xtitle([ Fréquence empirique de visite des états sur une trajectoire de longueur n1 avec proba de ne pas avoir d accident p1], états, fréq empirique,boxed=1) 13. Voici un code qui représente l a loi empirique de X n calculée sur plusieurs trajectoires. clf n=input("valeur de n : ") k=input("nombre de simulations : ") p=input("proba de ne pas avoir d accident : ") Q=mat_bonus(p) y=grand(n,"markov",q,ones(1,k)) //y a k lignes contenant des trajectoires de longueur n histplot([0.5:6.5],y(:,n),style=5) plot2d([1:6],eigenmarkov(q),style=-5) n1=string(n);p1=string(p);k1=string(k); xtitle([ Loi empirique de X_n calculée sur k1 simulations avec n= n1 et proba de ne pas avoir d accident p1], etats, freq empiriques,boxed=1) 10.3 Mobilité sociale 1. E= ensemble des catégories socio-professionnelles (CSP). 2. Supposons que la CSP évolue au fil des générations comme une chaîne de Markov homogène. Dans ce cas, les transitions Q xy = P (CSP du fils = y CSP du père = x) ne sont pas données a priori, elles doivet être évaluées par l observation. Sur une population donnée de taille N, on regarde n xy = nombre d individus de CSP y et dont le père est de CSP x, n x = y E n xy = nombre total d individus dont le père est de CSP x et on pose Q xy = n xy n x. Par construction, Q est une matrice de transition. 3. En pratique, Q est à coefficients strictement positifs donc irréductible et apériodique. La chaîne associée converge donc en loi vers son unique loi invariante. Cette loi représente l état d équilibre d une population dont la mobilité sociale a une structure correspondant à la matrice Q. 4. Bien sûr, l hypothèse d une évolution markovienne homogène est peu réaliste et doit être nuancée. Nous renvoyons à l article [T] pour une étude approfondie Score au tennis 1. E= ensemble des scores possibles dans un jeu au tennis opposant les joueurs A et B ( E = 18). 2. Evolution : on suppose les points indépendants les uns des autres et qu à chaque point A gagne avec probabilité a et perd avec probabilité b = 1 a. 3. La site (X n ) des scores est une CM. Les deux classes récurrentes sont les singletons absorbants {A gagne}, {B gagne}. {(40, 30), (40, 40), (30, 40)} est une classe transiente et les 13 autres classes transientes sont les singletons restants. 4. Voici une fonction qui génère la matrice de transition function m=mat_tennis(a) //calcule la mat de transition du tennis avec joueurs A et B // // a= proba que A gagne un point, 1-a = proba que B gagne un point //les états sont (score de A, score de B) et numérotés ainsi 1 : 0-0, // 2 : 0-15, 3 : 15-0, 4 : 30-0, 5 : 15-15, 6 : 0-30, 7 : 0-40, //8 : 15-30, 9 : 30-15, 10 : 40-0, 11 : : 30-30, 13 : 15-40, 18

20