Les Probabilités du Bonheur, et les Applications des Processus de Markov et de Levy dans les Mathématiques financières, Files d attente et Fiabilité

Transcription

1 Les Probabilités du Bonheur, et les Applications des Processus de Markov et de Levy dans les Mathématiques financières, Files d attente et Fiabilité Florin Avram 4 février 204

2 Table des matières Processus et champs aléatoires, en temps discret et continu 5. Temps continu : la compétition des exponentielles Processus de Markov en temps continu(*) Introduction aux processus de Markov 9 2. Matrices de transition La propriété de Markov Les chaînes de Markov avec un nombre fini des états 3. Le semi-groupe des matrices de transition L évolution en temps de la loi marginale d une chaîne Classification des états, les classes de communication et le graphe induit Un problème d absorbtion/premier passage Quelques exemples de modélisation par les chaînes de Markov Comportement asymptotique 9 4. Un peu d algébre autour du théorème de Perron-Frobenius Lois limites/asymptotiques Lois invariantes/stationnaires et équations d équilibre global La périodicité (*) Un exemple de chaîne decomposable Le calcul de la matrice asymptotique P = lim n P n Révision de la diagonalisation des matrices La structure des blocs de la matrice asymptotique Le cas d une seule classe récurrente Le théorème de convergence Le théorème ergodique Le cas des plusieurs classes absorbantes Les probabilités d absorbtion Le calcul de la matrice asymptotique et des vecteurs propres à gauche et à droite au cas de plusieurs classes récurrentes Le théorème de Perron-Frobenius (*) Lois de sortie/premier passage pour les chaînes de Markov Les chaînes de Markov absorbantes Les espérances des lois de sortie (type phase) L opérateur associé à une chaîne de Markov

3 6.4 Exemples des lois de type phase La loi multivariée du temps de sortie, et de la position après la sortie La loi des moments heureux (chaînes censurées) Temps continu : la compétition des exponentielles Processus de Markov en temps continu(*) Exercices Solutions Problèmes d entrainement Le processus de Poisson La distribution de Poisson Processus de comptage et renouvellement en temps continu Le processus de Poisson unidimensionnel La propriété de Markov du processus de Poisson Le générateur des transitions du processus de Poisson Le processus de Poisson comme limite des processus de Bernoulli Le processus de Poisson multidimensionel (*) Exercices Les processus markoviens de saut, en temps continu La proprietè de Markov Les semigroupes de Markov homogènes La dérivée du semi-groupe en 0 (matrice génératrice) engendre le semi-groupe Le calcul de l exponentielle des matrices : developpement limités, la résolvante, et la décomposition spectrale Le calcul de l exponentielle des semigroupes : les équations de Kolmogorov Ou sautera la sauterelle? Résolution des èquations Chapman-Kolmogorov pour le processus de Markov à deux états Résolution des èquations de Chapman-Kolmogorov par la méthode de différences finies de Newton (Putzer) (*) Résolution des èquations de Chapman-Kolmogorov pour le processus de Poisson ; le calcul de l exponentielle des matrices triangulaires Les lois de type exponentielle de matrice et de type phase Aperçu historique Processus de Markov avec un état absorbant Sous-classes importantes des distributions exponentielle de matrice (*) La positivité des combinaisons linéaires d exponentielles Une relation entre les distributions de type phase en temps discret et en temps continu Les processus de naissance et de mort et les files d attente Les files d attente Distribution stationnaire et comportement asymptotique Mesures de performance des files d attente Problèmes de premier passage pour la file M/M/ Les formules d Erlang A,B,C (*)

4 0.6 Chaînes et processus a espace d états infini Récurrence des chaînes à espace d états denombrable Réseaux de Jackson Les probabilités transitoires des processus de naissance et mort (*) Problèmes de Dirichlet/première passage en temps continu et la formule de Feynman-Kac Exercices Contrôle continu Processus de Markov Exercices de révision 26 2 Qu est ce qu il y aura dans l examen? Examen d entraînement Examen d entrainement Examen d entraînement Examen d entrainement Examen d entrainement Programmation Scilab Programmation symbolique en Scilab Traitement du signal et lois de type phase en Scilab Matlab Regression et estimation des densités non-paramétrique BUTools Projets Initiation Chebfun

5 Chapitre Processus et champs aléatoires, en temps discret et continu Nombreux problèmes de modélisation aléatoire en physique, biologie, etc., ramène à l étude des processus/champs aléatoires. Il s agit de collections des variables aléatoires X t, t I, où l ensemble des indices I peut etre par exemple N d, Z d, R d, d N, un ensemble fini, etc. Définition. Soit I un ensemble quelconque. On appelle processus aléatoire X indexé par I toute famille (X t E, t I), de vecteurs aléatoires définis sur un même espace de probabilité (Ω, A, P ), et appartenant à un espace d états métrisable E. L espace I est souvent le temps, ainsi : I = N : instants successifs à partir d un instant initial t 0. I = Z : instants successifs avant et après un instant t 0. I = R ou R + : idem mais processus à temps continu. I = Z 2 : images. I = Z 3 : modèle de la matière. Nous allons considérer ici surtout des processus à indices unidimensionnels, à temps discret N, Z ou continu R (les premièrs deux cas étant appelés aussi séries chronologiques en statistique). L étude est facilitée alors par l existence d un ordre complet entre les indices. Remarque. Lorsque E = R p ou C p et p =, une seule valeur est observée à chaque instant t, alors que lorsque p >, plusieurs variables sont observées et on parle de processus multidimensionnels ou multivariés. Dans le cas des espaces d états E finis ou dénombrables, les variables X i, i I sont appelées discrètes ; pour E = R d, on étudie surtout des variables continues ou hybrides. Le cas discret est le plus simple, car il permet d éviter plusieurs détails techniques (par exemple, dans ce cas, l ensemble des événements mesurables pour une variable X i0 est simplement l ensemble de toutes les parties de E). Pour modéliser un champ/processus il est nécessaire de spécifier de manière consistante l ensemble de toutes ses distributions jointes d ordre fini. Définition.2 Soit X. = X t, t I un processus aléatoire et soit J = {t, t 2,..., } I un sous-ensemble fini des temps d observation du processus. On dénotera par X J la distribution jointe des variables X t, t J. L ensemble X J : J I, J < sera appelé la famille des distributions jointes d ordre fini de X. Les processus les plus simples sont les processus à variables i.i.d. Le cas particulier des variable aléatoire avec un nb. fini des valeurs mérite une mention à part. 5

6 Définition.3 La famille des processus i.i.d. inclue les processus à variables X t {, 2,...K}, t Z, avec X t i.i.d. ayant une loi discrète p = (p, p 2,..., p J ) qu on peut voir comme des résultats X 0, X,..., X t... des jetées d un dé ou d une monnaie biaisée, avec un nb fini des faces. Dans ce cas, les lois jointes sont simplement des produits de la loi marginale p. Dans le cas opposé se situent les processus avec memoire longue pour les quelles un nombre infini des paramètres sera nécessaire pour specifier les lois jointes. Pour une modélisation pratique, nous allons considerer ici que des processus ayant la propriété de Markov voir chapitre 2, qui fournissent souvent un compromis acceptable, joignant le réalisme avec la simplicité de modélisation (voir en particulier, les marches aléatoires/sommes des variables i.i.d.). Temps continu : la compétition des exponentielles ex:compexp Exercice. la dernière ampoule a s éteindre, ou le coureur et la tortue. Soit {X i, i =, 2}, deux variables exponentielles indépendantes à paramètres λ i, i =, 2, qui représentent les temps nécessaires pour deux ampoules à s éteindre, ou le temps des deux compétiteurs pour finir un parcours. Par exemple, λ 2 =.0 (la tortue), et λ =.99 (le coureur).. Calculer les fonctions de répartition et survie de V = max[x, X 2 ]. R : P [V t] = P [X t, X 2 t] = ( e λt )( e λ2t ) = e λt e λ2t + e (λ +λ 2 )t P [V > t] = e λt + e λ2t e (λ +λ 2 )t Rémarquez qu il s agit d une combinaison d exponentielles P [V > t] = i w i e sit, avec, i w i =, mais w i pas forcement positifs. 2. la loi du minimum U = min[x, X 2 ]. R : P [U > x] = P [min[x, X 2 ] > x] = P [X > x, X 2 > x] = e λx e λ2x = e (λ +λ 2 )x Cet exercice est très simple en utilisant directement l indépendance (sans passer par la densité conjointe, conditionnement...)! Pour comparaison, utilisons aussi une approche de décomposition en deux cas, calculables comme intégrales doubles : P [U > x] = P [x < X < X 2 ] + P [x < X 2 X ] = λ λ +λ 2 e (λ +λ 2 )x + λ 2 λ +λ 2 e (λ +λ 2 )x = e (λ +λ 2 )x (cette approche peut également etre vue comme un conditionnement sur l ordre des X i ). 3. Soit I la variable aléatoire définie par U = X I. Calculer P [I = 2, U > t], ainsi que la loi de la variable I donnant l index qui réalise le minimum. R : P [I = 2, U > t] = P [t Y X] = f 2 (y)dy( f [x]dx) t y = t λ 2 e λ 2y e λ y dy = λ 2 λ + λ 2 e (λ +λ 2 )t = P [U > t] P [I = 2 U > t] Comme P [I = 2 U > t] ne dépend pas de t, il suit que U, I sont des variables indépendantes! La généralisation de ce fait pour une compétition des n exponentielles est la fondation de la construction des processus de Markov en temps continu.. Cela est tout à fait surprenant (a priori, les chances de gagner sont.99 et.0 ; supposons que le temps de la course est très petit U /4 ; paradoxalement, ça ne change en rien la proba que le coureur a gagné!). 6

7 4. Soit W = V U. Calculer P [W > t I = ] et P [W > t I = 2] 5. Calculer la fonction de survie P [W > t] de W. 6. Montrer que U et W sont indépendantes. 7. calculer la transformée de Laplace φ V (s) = E[e sv ] de V, et la décomposer comme produit des transformées de Laplace de deux lois. À partir de cette décomposition, suggérer une décomposition de V comme somme des deux variables independantes, avec des lois marginales qu on identifiera. 8. Trouver la loi du minimum de n variables exponentielles indépendantes {X i, i =,..., n}, à paramètres λ i, i =,..., n, ainsi que la loi de la variable I qui donne l index qui réalise le minimum. 9. Obtenez la transformée de Laplace et la densité du maximum V n de n variables exponentielles indépendantes, avec paramètres égaux λ. R : Comme V n = W 0 +W +W 2 +W n, où W i sont des variable aléatoire indépendantes, de loi E(λ(n i)), Ee sv n = n i= F Vn (x) = ( e λx) n = f Vn (x) = ne λx ( e λx) n. λi. s+λi.2 Processus de Markov en temps continu(*) Remarque.2 (*) Au lieu de la matrice de transition P, on peut aussi baser l étude des chaînes de Markov sur la matrice G = P I P = I +G où G est une matroce génératrice. Si on étudie un processus après des intervalles très courtes dt, cette formule devient P (dt) I + dtg dt = P (t) (I + dtg dt ) t/dt e tg où G = lim dt 0 G dt est la matrice des taux de transition du processus en temps continu. Finalement, pour considerer des processus de Markov en temps continu, on garde le graphe de communication du temps discret, mais on remplaçe les probabilités de transition ( jetées de dé ) en chaque sommet par par des taux de transition. Le prochaîne sommet a visiter, ainsi que la loi du temps de passage sont déterminées par une competition des exponentielles du type vu dans l exercice 6.9. Exercice.2 Quels sont les taux associés au processus de l exercice 6.9? Arranger ces taux dans une matrice génératrice G (ayant somme 0 sur chaque ligne). Définition.4 Une densité E(λ, λ 2,...) d une somme indépendante des variables exponentielles avec taux λ, λ 2,... s apelle densité d Erlang généralisée. Sa transformée de Laplace est n i= λ i s+λ i. L étude des chaînes et processus de Markov en temps discret et en temps continu comporte trois types des problèmes. En ordre de difficulté, il s agît de :. loi d équilibre : lim n P n et lim t e tg 2. lois de premier passage, concernant le temps et la position au temps du premier passage d une frontière 3. lois transitoires P n et e tg Pour le deuxième problème, on vera que la fonction de survie ainsi que la densité d un temps d arret τ d un processus de Markov absorbant en temps continu ont des réprésentations matricielles : 7

8 F τ (t) = βe tb f(t) = βe tb b, b = B, (.) où B est la matrice sous-génératrice des transitions sur la partie transitoire, et β, dénotent des vecteurs ligne et colonne. La transformée de Laplace est rationelle, de la forme f (s) = β(si B) b = n i=0 p i s i s n + n i=0 q i s i Remarque.3 Les lois ayant une transformée de Laplace rationelle sont appelées aujourd hui lois de type matrice-exponentielle. Si en plus la matrice B est sous-génératrice et le vecteur β est non-négatif, on utilise le nom de loi de type phase. Exercice.3 Trouver une formule pour la densité dernière des n ampoules identiques a s éteindre (exercice 6.9.8) en utilisant : a) la réprésentation matricielle associée à l ordre {n, n,..., }. b) la réprésentation matricielle associée à l ordre {,..., n, n}. Remarque.4 Les processus de Markov etendent au domaine aléatoire le concept d evolution controlée par une équation différentielle. Ils sont specifiés par un mechanisme de transition, ils ont des conditions initiales, et possiblement des limites asymptotiques. La classe des processus Markoviens est extremêment riche, avec une complexité qui depend des ensembles E, I. Deux méthodes de base sont fondamentales pour l étude des processus de Markov : a) la méthode du conditionnement, qui permet de deriver des équations pour les espérances conditionnés par létat initial, et la resolution des équations en utilisant des transformées (de Laplace, Fourier, fonctions génératrices,...). Parfois les reponses demandent seulement le calcul des exponentielles des matrices. 8

9 Chapitre 2 ch:mark Introduction aux processus de Markov 2. Matrices de transition Définition 2. Matrices de transition Soit X(t) un processus à espace d états fini ou dénombrable. Pour tous 0 s t, pour tous i, j dans I, et pour chaque processus stochastique, on définit les probabilités de transition par : p ij (s, t) = P ([X t = e j ] [X s = e i ]). Les matrices P (s, t) tq P (s, t) ij = p ij (s, t) sont appellées matrices de transition. Définition 2.2 Homogeneité des transitions Un processus est dit homogène si, et seulement si : i, j I, 0 s t, p ij (s, t) = p ij (0, t s). On note alors p ij (s, t)= p ij (t s), et la matrice p ij (t) est appelée matrice de transition après temps t. Pour les processus homogènes en temps discret, la matrice de transition après un pas P = (p ij ) i,j I est très importante. Cette matrice P est stochastique, c est-à-dire :. i, j I, p ij 0 2. i I, j I p ij = ; la somme des termes de chaque ligne égale à. Exercice 2. Matrices de transition pour quelques marches aléatoires. Donner la matrice de transition pour :. La marches aléatoire arrêtée au min[t 0, T 4 ]. 2. La marches aléatoire réfléchie sur [0, 4]. 3. La marches aléatoire sur [0, 4], avec reinjection en La marches aléatoire sur [0, 4] qui saute à l autre frontière. 9

10 Remarque 2. En notation vectorielle, la condition j I p ij = devient P =, ou denote un vecteur avec toutes les composantes. Cette propriété des matrices stochastiques équivaut au fait que est une valeur propre, avec vecteur propre à droite.. Il sera aussi utile d étudier les matrices sous-stochastiques, satisfaisant i I, j I p ij Définition 2.3 Une matrice Q s appelle sous-stochastique (strictement sous-stochastique) si la somme des éléments de chaque ligne est (avec inégalité stricte dans au moins une ligne). Remarque 2.2 On utilise aussi le terme matrice si l espace d états E est infini dénombrable, mais la théorie dans ce cas demande des hypothèses de convergence absents dans le cas des espace d états finis. 2.2 La propriété de Markov La specification des lois jointes d un processus devient considerablement plus simple pour le cas des processus de Markov. Définition 2.4 -Proprietè de Markov Un processus X = (X t ) t 0, avec t unidimmensionel a la proprietè de Markov si, et seulement si ses probabilités conditionnelles ne depend pas du passé que par le passé imediat, c.-à-d. ou encore L(X t X t0, X t,..., X tk ) = L(X t X tk ), t 0 < t < < t k < t, t i R, P [X t A X t0 = e i0,..., X tk = e ik ] = P [X t A X tk = e ik ] et e i0, e i,..., e ik, e i E. Un processus ayant la proprietè de Markov s appelle processus de Markov. Interprétation de la propriété de Markov : si on considère que le processus est indicé par le temps, cette propriété traduit le fait que le présent ne dépend du passé qu à travers le passé immédiat. Hypothèse de travail : On considérera ici surtout des processus homogènes, avec des lois de transition conditionelles qui ne depend pas du moment de conditionnement t. 0

11 Chapitre 3 Les chaînes de Markov avec un nombre fini des états Après les processus à v.a. indépendants et les sommes des v.a. indépendants, le prochaîn degré de complexité en modélisation est obtenu en utilisant les chaînes de Markov homogènes, observés en temps discret : n = 0,, 2,..., et à espace d états fini. Dans ce cas, on peut arranger les lois de transition conditionelles P[X(t + ) X(t) = e i ], i =,..., après un pas dans une matrice de transition après un pas P = (p ij ) i,j I stochastique ayant la somme de chaque ligne. On peut voir un tel processus comme étant contrôlé par des monnaies biaisées qu on jete pour décider la prochaine position. On a une monnaie pour chaque ligne, et leurs lois dépendent du dernier résultat (c.-à-d. la loi de X t+ =la monnaie jetée dépend de la position précédente X t ). L exercice suivant illustre le fait que la matrice P determine complètement les matrices de transition P (n) après temps n N, et les lois jointes. Oz Exercice 3. Le temps au pays d Oz. Soit X n une chaîne supposée (à tort) Markovienne sur les états { pluie, nuageux, soleil}, avec matrice des transitions 3/8 /2 /8 P = /6 /2 /3 0 /4 3/4 Calculer :. La probabilité de pluie demain, en sachant qu il est nuageux aujourd hui 2. La probabilité de pluie demain et soleil le lendemain, en sachant qu il est nuageux aujourd hui 3. (*) La probabilité de soleil le lendemain, en sachant qu il est nuageux aujourd hui. Remarque 3. La loi de X conditionné par (en partant de) X 0 = i, est donné par la ligne i de la matrice P. Par conséquent, la réponse à la première question est /6. La réponse à la deuxième question est /6 /8 (par la loi d evolution conditionée). La troisième question concerne une transition après deux pas (sans s interesser a la situation après un pas). Cette question nous suggère l importance d étudier les probabilités de transition entre deux moments arbitraires. Exercice 3.2 Démontrer la loi d evolution pour les chaînes de Markov homogènes P [X = e i, X 2 = e i2..., X k = e ik X 0 = e i0 ] = P (i 0, i )P (i, i 2 )..., P (i k, i k ),

12 3. Le semi-groupe des matrices de transition Définition 3. Pour tout n de N, la matrice des probabilités de transition en n étapes, est definie par P (n) = ( p (n) ) ij où p(n) ij = P ([X n = e j ] [X 0 = e i ]). i,j I Voila le resultat le plus important de la théorie des chaînes de Markov : Théorème 3. L équation de Chapman-Kolmogorov. Les matrices de transition en n étapes ont une structure de semi-group, c.-à-d. P (m+n) = P (m) P (n) (3.) Démonstration: Soit (X n ) n N une chaîne de Markov homogène de matrice de transition P et de loi initiale µ (0), à valeurs dans (E = {e i ; i I}, P (E)). En conditionnant sur la position k après m pas, on a : i, j I, m, n N, p (m+n) ij = k I p (m) ik p(n) kj QED Corollaire 3. La matrice des probabilités de transition en n étapes (sans s interesser dans l évolution intermediaire) est simplement la puissance n de la matrice de transition P : P (n) = P n, c.-à-d. le semi-groupe des matrices de transition est generé par la matrice P de transition après temps. Par conséquent, la matrice P spécifie entièrement toutes les probabilités de transition d une chaîne de Markov. Démonstration : on montre ça par récurrence sur n, en partant de P () = P, et en tenant compte que P (n+) = P (n) P (par l equation de semigroupe (3.)) QED Revenons à la question 3. de l Exercice 3. concernant le lendemain, et conditionnons sur toutes les cas possibles demain. On trouve : P (2) 8 (N, S) = = = 7 6 = P 2 (N, S) 3 4 En conclusion, la réponse a la question sur la transition après deux pas se trouve dans la matrice P 2 = Plus généralement, la loi de X n en partant de X 0 = i est donné par la ligne i de la matrice P n. Par exemple P 0 = , P =

13 Clairement, il y a convergence vers une matrice avec lignes égales. Ce resultat important montre que la loi quand n ne dépend pas de l état initial, qui est donc oublié. Il s agît d une conséquence de la décomposition spectrale de P. Le prochain exercice nous montre qu en général, sans la propriété de Markov, les lois jointes ont une structure assez compliquée. Exercice 3.3 Démontrer la loi d évolution P [X t = e i, X t2 = e i2,..., X tk = e ik ] = P [X t = e i ] P [X t2 = e i2 X t = e i ],..., P [ X tk = e ik X t = e i, X t2 = e i2..., X tk = e ik ] et la loi d evolution conditionée P [X t = e i, X t2 = e i2..., X tk = e ik F] = P [X t = e i F] P [X t2 = e i2 X t = e i, F],..., P [ X tk = e ik X t = e i, X t2 = e i2..., X tk = e ik, F ] s:evo 3.2 L évolution en temps de la loi marginale d une chaîne Définition 3.2 Pour tout n de N et tout i de I, on note µ i (n) = P [X n = e i ] et µ (n) = (µ i (n)) i I. Le vecteur µ (n) définit une probabilité sur (E, P (E)) appelée loi à l instant n. On appelle loi initiale de la chaîne (X n ) n N le vecteur µ (0). Exercice 3.4 Montrer que et µ () = µ (0) P, µ (n + ) = µ (n) P, (3.2) µ (n) = µ (0) P n, n 0. (3.3) Ind : On peut conditionner sur la position un pas en avant. Exercice 3.5 Soit (X n ) n N une chaîne de Markov homogène sur l ensemble {, 2}, de loi ( ) initiale µ(0) = (µ, µ 2 ) et de matrice de transition P = a a b b Calculez P{X 0 = 2, X = 2}, µ 2 () = P{X = 2}, P{X 0 = 2 X = 2}, P{X 0 = 2, X = 2, X 2 = }, µ 2 (2) = P{X 2 = 2} et P{X 0 = 2, X 2 = }. Comme illustré dans les exemple ci-dessus, en utilisant la loi initale µ (0) et la matrice de transition P on peut calculer la loi µ (n) a n importe quel temps, par exemple µ (), µ (2)... et aussi les lois jointes pour n importe quel ensemble fini des temps (en utilisant la loi de multiplication des probabilités conditionnelles). En effet, on peut donner une formule explicite pour les lois jointes d ordre fini d une chaîne, en fonction de la matrice de transition P et la loi initiale µ(0). Théorème 3.2 Pour une chaîne de Markov, les loi jointes sont données pour : t 0 < t < < t k, t i R, et e i0, e i,..., e ik E explicitement par P [X t0 = e i0,..., X tk = e ik ] = µ i0 (t 0 )P t t 0 i 0,i...P t k t k i k,i k (3.4) 3

14 Définition 3.3 La chaîne de Markov associé à une matrice stochastique P est la famille des mesures P µ(0) définies par (3.4), avec operateurs d espérance associés E µ(0) (donc pour obtenir une seule mesure, il faut encore specifiér la mesure initiale µ(0)). Remarque 3.2 Algébriquement, une chaîne de Markov est characterisée par un duo (P, µ(0)), l element principal du duo étant la matrice de transition P. s:clas 3.3 Classification des états, les classes de communication et le graphe induit Nous verrons ici qu une chaîne de Markov a deux types d états :. transitoires/transients, qui sont visités un nombre fini des fois 2. récurrents ( éternels ) qui sont visités un nombre infini des fois. Définition 3.4 Soient e i et e j deux éléments de E. On dit que e i conduit à e j (on note e i e j ) ssi il existe n > 0 tel que p (n) ij > 0 et on dit que e i et e j communiquent (et on note e i e j ) si e i conduit à e j et e j conduit à e i. Rémarque : la relation de communication réciproque est clairement symétrique, reflexive et transitive, une relation d équivalence. Par conséquent, elle partage l espace d états dans des classe d équivalence. Définition 3.5 On appelle classes de communication la chaîne : les classes d équivalence induites par la relation sur E. Définition 3.6 Une classe d equivalence dans une chaîne de Markov finie qui n a pas de transitions vers l exterieur est dite récurente ; les autres classes s appellent transientes. Remarque 3.3 Les classes récurentes sont les classes maximales de la relation d ordre induite par sur les classes. Définition 3.7 Le graphe de communication d une chaîne est un graphe sur les états (indiqués par des points du plan), avec des côtés représentant les transitions possibles, ayant des probabilité de transition p ij > 0. Les transitions possibles sont indiqués par des flèches, avec la valeur de la probabilité de transition notée parfois au dessus. Définition 3.8 Le graphe induit dirigé d une chaîne est un graphe sur les classes de communication, avec des arrêtes indiquant l existance d une transition possible entre deux classes (ayant une probabilité de transition p ij > 0). L identification des classes récurrentes et transientes est souvent possible juste en inspectant le graphe de communication, ce qui permet de determiner visuellement les classes de communication. 4

15 e:cl Exercice 3.6 Exemple d une chaîne avec des elements transients et récurrents. L espace des etats d une chaîne est S =, 2, 3, 4, 5, 6 et la matrice de transition est P = a) Dessinez le graphe de communication. b) Identifiez les classes de la chaîne. Classifier les classes en récurrentes et transientes. R : Les classes récurrents sont {2} et {3,5}. Remarque 3.4 Afin d apercevoir la structure d une chaîne (et de calculer plus facilement P n,) il peut être intéressant de renuméroter les états en sorte que des états qui conduisent l un à l autre soient groupés ensemble. La matrice obtenue ici en rangeant les elements {2,, 4, 6, 3, 5} a une structure des blocs. Les sous-blocs correspondant a une classe recurrente sont des matrices stochastiques (qu on peut analyser séparément plus facilement), et le bloc correspondant a tous les elements transients est une matrice sous-stochastique. Remarque 3.5 Les sous-matrices obtenues de la matrice de transition en retenant seulement une classe transiente/récurrente sont sous-stochastiques/stochastiques. Remarque 3.6 La distinction entre elements transients et recurrents a une grande portée sur la valeur des limites lim n P n (i, j). On verra que :. Pour j transient, cette limite est toujours 0 2. La multiplicité de la valeur propre est egale aux nombres des classes recurrentes. Définition 3.9 Une chaîne de Markov sera appellée décomposable si le symmétrique du graphe induit (avec les directions des flèches ignorées) a plusieurs composantes connexes. Une chaîne de Markov sera appellée réductible si elle a plusieurs classes de communication. Dans le premier cas, il existe une permutation des états qui met la matrice P dans une forme bloc-diagonale. Dans le deuxième, il existe une permutation des états qui met la matrice P dans une forme bloc-triangulaire. Exemple 3. La chaîne dans l exemple ci dessus est réductible et indecomposable. 3.4 Un problème d absorbtion/premier passage Exercice 3.7 Des femmes et des hommes arrivent dans un magasin, après des temps fixes, unitaires. Chaque instant, une femme arrive avec probabilité λ F, ou un homme arrive avec probabilité λ H, ou il n y a pas d arrivée, avec probabilité q = λ F λ H. On a donc un processus stochastique X t {H, F, 0}, t N, défini par des lois jointes produits de la loi discrète (λ H, λ F, q). On considère le temps d arret T = inf{t : X t {H, F }} 5

16 . Trouver la probabilité qu une femme entre avant un homme, c.-à-d. P [X T = F ] Indication : Conditionnez sur le premier instant t =, ou sur le nombre T d instants jusqu à la première arrivée. 2. Formuler le problème comme problème d absorbtion d une marche aléatoire sur le graphe des états nécessaires pour étudier l evolution du processus. Quelle est la matrice de transition de la chaîne de Markov obtenue ainsi? 3. Trouver la probabilité qu au moins trois femmes entrent avant le premier homme, et qu exactement trois femmes entrent avant le premier homme. 4. Considerer l evenement A que deux femmes entrent consécutivement (mais pas forcemment aux instants successives), avant que deux hommes entrent consécutivement (mais pas forcemment aux instants successives). Formuler ce problème comme problème d absorbtion d une marche aléatoire sur le graphe des états nécessaires pour étudier l evolution du processus. Quelle est la matrice de transition de la chaîne de Markov obtenue ainsi? Trouver les probabilité P i [A], i E, où E est l espérance de la chaîne de Markov. R : 2. On peut formuler ce problème comme problème d absorbtion d une marche 0 0 aléatoire sur {F, 0, H}, avec matrice de transition λ F q λ H. Cela n est pas nécéssaire 0 0 ici (comme le pb. est très simple, la loi du temps T étant géométrique), mais ça deviendra utile avec plus d états transitoires. 4. On peut formuler ce problème comme problème d absorbtion d une marche aléatoire λ F q 0 λ H 0 sur {F F, F, 0, H, HH} avec matrice de transition 0 λ F q λ H 0 (et trois états transitoires). 0 λ F 0 q λ H Remarque 3.7 Dans cet exercice, nous utilisons la très importante méthode de conditionnement sur le premier pas, qui reduit l étude de chaînes de Markov à la resolution des équations linéaires, qui peuvent être abordés systématiquement à partir de la matrice P contenant les probabilités de transition. En temps continu, les temps de transition des processus Markoviens doivent être des variables exponentielles, et la prochaine position est décidé par des compétitions d exponentielles. Exercice 3.8 (*) Réaborder l exercice antérieur en temps continu, en supposant des arrivées avec lois exponentielles des taux (λ H, λ F ).. Quelle est la loi du temps T jusqu à la première arrivée? 2. Quelle est la probabilité qu une femme entre avant un homme? Ind : Utiliser la compétition des exponentielles de l exercice (*) Quelle est la loi du temps T F F jusqu à la première arrivée d une femme qui arrive après une autre femme, et quelle est la probabilité que cela se passe avant l arrivée du premier homme? 6

17 { Si Xn = X n alors P ([X n+ = e ] [X n = e i ]) = 3 4 Remarque 3.8 Ces questions restent abordables dans la modélisation semi-markovienne, qui permet aux temps d arrivées des evenements d avoir des lois arbitraires. On pert alors les outils de la théorie des semigroupes concernant les puissances et exponentiels des matrices), et le centre d attention penche vers des outils purement probabilistes. Exercice 3.9 (*) Réaborder l exercice antérieur en temps continu, en supposant des arrivées avec lois Gamma avec un paramètre de forme commun α, et des taux (λ H, λ F ). 3.5 Quelques exemples de modélisation par les chaînes de Markov Pour modéliser une situation par une chaîne de Markov, on a besoin d abord de choisir un espace d états convenable, de spécifier la matrice de transition, et de postuler la proprieté de Markov. Exemple 3.2 Supposons que une pluie eventuelle demain depend de la situation du temps dans les trois jours précédents, ainsi : a) S il y a eu de la pluie dans les deux jours précédents, alors il va pleuvoir avec probabilité.8. b) S il y a pas eu de la pluie dans aucun des trois jours précédents, alors il va pleuvoir avec probabilité.2. c) Autrement, la situation va etre la même comme dans le jour precedent avec probabilité.6. Modéliser cette situation par une chaîne de Markov, en donnant l espace des états et la matrice de transition. Exemple 3.3 Un processus qui n est pas une chaîne de Markov a priori, mais qu on peut rendre Markov par un bon choix de l espace d états. Soit (X n ) n N un processus à deux états, notés e et e 2. On suppose que les transitions entre les étapes n et n + s effectuent selon le procédé suivant : Si X n X n alors P ([X n+ = e ] [X n = e i ]) = 2 a) Montrer que (X n ) n N n est pas une chaîne de Markov. b) Construire un espace d états permettant de modéliser ce processus par une chaîne de Markov et donner alors son graphe. Solution : b) On construit l espace d états suivant : {e e, e e 2, e 2 e, e 2 e 2 }. Sur cet espace, le processus devient Markovien, et la matrice de transition s écrit : P = Exemple 3.4 Une companie d assurance voiture a un système de bonus avec cinq niveau : 0% réduction niveau 2 : 25%réduction niveaux pour les assurés sans sinistres déclarés : niveau 3 : 40% réduction Pour niveau 4 : 50% réduction niveau 5 : 60% réduction un assuré, la probabilité de ne pas avoir de sinistre dans un an est de 0.8. Les regles selon on passe d un niveau (état)à l autre sont : Apr`s une année sans sinistre on passe au niveau supérieur suivant ou on reste au niveau 5 7

18 Apr`s une année avec un ou plusieurs sinistres on diminue d un niveau si l année précedente, il n y a pas eu de déclaration de sinistre. on diminue de deux niveaux si l année précedente il y a eu au moins une déclaration de sinistre.. Notons par X(t) le niveau,soit, 2, 3, 4 ou 5, de l assuré pour l année t. Expliquez pourquoi {X(t)} t= n est pas une chaîne de Markov. 2. En augmentant le nombre de niveaux, définissez un nouveau processus stochastique {Y (t)} t= qui soit Markov et de telle manière que Y (t) représente le niveau de réduction pour l assuré dans l année t. 3. Déduire la matrice de transition pour la chaîne de Markov {Y (t)} t=. Solution :. {X(t)} n est pas Markov parce que, par exemple, P[X t+ = 3 X t = 4, X t = 3,...] ne peut pas se réduire à P[X t+ = 3 X t = 4]. 3=40% réduction cette année, apr`s 25% l année dernière 2. Définition des nouveaux niveaux : 4=50% réduction cette année, apr`s 40% l année dernière 3a=40% réduction cette année, apr`s 50% l année dernière 4a=50% réduction cette année, apr`s 60% l ann ee dernière 3. La matrice de transition est alors a 4a a a

19 Chapitre 4 Comportement asymptotique 4. Un peu d algébre autour du théorème de Perron- Frobenius En parallel avec l introduction par Markov (906) des processus qui portent aujourd hui son nom, Perron (907) elucidait la théorie spectrale des matrices P avec elements strictement positifs. Théorème 4. (Perron) Soit P une matrice carrée à coefficients réels strictement positifs. Alors. P a une valeur propre simple λ P qui est réelle, strictement positive et strictement supérieure au module de toute autre valeur propre : λ P = ρ(p ) := max λ(p ) > max λ λ P λ(p ). 2. L espace propre associé à cette valeur propre maximale ρ est une droite vectorielle engendrée par un vecteur propre dont toutes les coordonnées sont strictement positives. Les matrices intervenant dans les applications sont rarement strictement positives. Par contre, elle satisfont souvent la condition ci-dessous. Définition 4. Une matrice sera appellée essentiellement positive, ou primitive, s il existe k tq P k est strictement positive. L extension du théorème de Perron aux matrices essentiellement positives, et finalement au cas général des matrices à coefficients nonnegatifs a été fournie par Frobenius (92), au prix de la perte de tous les strictement dans les conclusions. Plus important, cette généralisation met en evidence les relations entre la structure spectrale et la structure du graphe de communication entre les états, qui est obtenue à partir des elements nonnuls de la matrice A -voir section 3.3. Par exemple, on a démontré, au cas des matrices irréductibles, l égalité entre le nombre des racines à valeur propre égale a λ P (appellé indice d imprimitivité), et le p.g.c.d. des longueurs des cycles du graphe. Dans le cas des matrices stochastiques qui nous concerne, certaines parties de la théorie de Perron-Frobenius deviennent plus simples. Proposition 4. Soit P une matrice stochastique. Alors a) La valeur propre de Perron est λ P = ρ P =, i.e. si λ est une valeur propre d une matrice stochastique à coefficients strictement positifs, alors forcémment λ. b) L espace des vecteurs propre à droite de λ P = contient. 9

20 Remarque 4. Le vecteur propre à gauche π de la valeur propre λ P = obtenu en normalisant la somme des coordonnées à (avec nonnégativité garantie par le théorème de Perron-Frobenius) jouera un rôle important ci-dessous (comme mesure invariante, i.e. satisfaisant π = πp voir sections 3.2, 4.2). e:pf Exercice 4. ) Démontrer la partie a) de la proposition ci-dessus, i.e. qu une matrice stochastique P n a pas de valeurs propres avec module plus grand que. 2) Montrer aussi que si la matrice P est essentiellement positive, alors l espace vectoriel engendré par les vecteurs propres réels de la valeur propre est {a, a R}. Dem : ) Idée : Supposons maintenant l existence d un vecteur propre v pour une valeur propre λ avec λ > et montrons que cela ramène a une contradiction. Intuitivement, ce qui cloche est que les moyennes ponderées du vecteur propre v données par P v ne peuvent pas augmenter les composantes de v. Considérons donc l équation (P v) i = v i correspondant à un indice i tq v i v j, j i, où la contradiction a plus des chances d apparaitre. Pour simplifier encore, on peut aussi supposer que le vecteur propre v est normalisé tq l élément de valeur absolue maximale satisfait v i =. Il suit alors que λ = λ v i = j P ij v j j P ij v j j P ij =, (4.) et nous arrivons a une contradiction. Pour une formulation plus soutenue de ce raisonnement, démontrons que pour toute matrice carré P, le rayon spectral est moins que la norme max : P x ρ(p ) P := sup = sup P x, x 0 x x où x = max x i (cette majorisation est vraie en fait pour toute norme matricielle induite par une norme vectorielle). Le même raisonnement lit : ρ(p ) P = max max x:max j x j i j P ij x j max i P ij = = ρ(p ) =. j Alternativement, on peut utiliser le puissant théorème de Gershgorin, qui assure que chaque valeur propre doit λ appartenir à l union des cercles λ i { λ P ii P ij }. j i Pour les matrices stochastiques, cette union est inclue dans le cercle unitaire { λ P ii j i P ij = P ii } { λ }. Par cette méthode, les sous regions du cercle unitaire ou se trouvent les valeurs propres des matrices nonnegatives d une dimension donnée n ont été identifié par Dmitriev et Dynkin (n 5) et Karpelevich (n arbitraire). 2) Comme les espaces vectoriels engendrés par les vecteurs propres de la valeur propre coincident pour P et P = P k, et comme P stochastique implique P k stochastique, il suffit de demontrer le résultat pour P, i.e. il suffit de considérer le cas de P strictement positive. 20

21 Prenons un vecteur propre v pour la valeur propre, supposant encore qu un élément de valeur absolue maximale satisfait v i =. Il suit par (4.) que v j = pour tous les indices, et, si v est réel, alors v = QED Théorème 4.2 Toutes les valeurs propres d une matrice strictement sous-stochastique Q ont valeurs absolues inferieurs à. Par conséquent lim n Qn = 0 c.-à-d. la limite des probabilités de transition entre les états transients est 0. Dem : Immédiat, par le théorème de Gershgorin. s:lim 4.2 Lois limites/asymptotiques Une question très importante pour les chaînes de Markov est de déterminer l ensemble des lois limites/asymptotiques d une chaîne specifié par µ(0) et P, définies π = π( ) µ(0) = lim n µ (n) = lim n µ(0)p n (4.2) Remarque 4.2 A priori, il pourrait y exister une limite (4.2) différente pour chaque loi de départ µ(0), et en particulier pour chaque point de départ deterministe specifié par µ(0) = e i = (0, 0,...,, 0,..., 0), mais comme chaque loi initiale est une combinaison de e i, il suffit d investiguer les limites π( ) i = lim e i P n, i {,..., I}. n Comme e i P n est précisement la ligne i de la matrice P n, la question revient a investiguer si la limite P := lim P n n existe. On appelera P la matrice asymptotique. Remarque 4.3 L element generique de la matrice asymptotique P i,j = lim n P i [X n = j] represente la limite des probabilites de trouver le processus en j après n pas, à partir de i. On s interesse en trois questions concernant les limites (4.2) :. existence (E) 2. unicité (U) 3. existence + unicité=ergodicité (ERG), ce qui est équivalent à la question : Est-ce-que la limite matrice P (en supposant qu elle existe) a des lignes identiques, c.- à-d. est-ce-que on a P = π où denote un vecteur colonne, et π denote un vecteur ligne? Començons par la dernière question, qui concerne la situation la plus simple. Définition 4.2 On appellera une chaîne ergodique lorce qu il existe une loi limite π( ) = lim n µ (n), indépendamment de la loi de départ. 2

22 Définition 4.3 L ensemble des lois limite Π( ) d une chaîne P, obtenues en variant la loi initiale µ(0), sera appellé l ensemble des lois asymptotiques. Dans le cas ergodique, l ensemble Π( ) contient un seul point. Examinons maintenant pour ergodicité un exemple ou P n et π se calculent explicitement : e:2 Exercice 4.2 Chaîne a deux ètats. Soient a, b [0, ] et la matrice de transition : P = ( a a b b. Calculant les valeurs et vecteurs propres. 2. Montrer que P n = ( ) b a ( a b)n a + b b a + a + b ) ( a a b b 3. Montrez que) avec (a, b) (0, 0), et (a, b) (, ), la limite P = lim n P n = ( b a+b b a+b a a+b a a+b. 4. Est-ce que la limite existe dans le cas (a, b) = (0, 0)? et dans le cas (a, b) = (, )? En conclusion, on voit qu on est dans le cas ergodique ssi a, b (0, ), et que la loi limite b est π = ( a + b, a ) (indépendamment du point de départ). a + b Remarque 4.4 Sauf la décomposition spectrale P = DDiag(λ i )D = i λ i d i g i, d autres méthodes de solution sont possibles, comme le Thm. de Cayley-Hamilton p(p ) = 0, où p(z) = det(zi P ). Dans l exercice 4.2, on trouve P n = x n P y n I, x 2 = 2 a b, y 2 = a b,... Aussi, pour un element fixe, une décomposition avec coefficients indeterminés comme P (n) = i a i λ n i peut-etre obtenue, à partir de premières valeurs de la suite (avec des valeurs numériques, une recherche sur http ://oeis.org/ pourrait aussi aboutir) 4.3 Lois invariantes/stationnaires et équations d équilibre global ) Req Exercice 4.3 Montrer que si la limite π définie en (4.2) existe (ce qui n est pas toujours le cas), alors π doit satisfaire les équations π = πp Ind : Utiliser µ(n + ) = µ(n)p. Définition 4.4 Les équations π = πp (4.3) sont appelées équations d équilibre global/stationnarité/invariance. Un vecteur des probabilités qui les satisfait est appelé loi stationnaire ou invariante. 22

23 Remarque 4.5 Le nom invariant vient du fait que si µ(0) = π, alors on a µ(n) = π pour chaque n. Exercice 4.4 a) Pour une chaîne a deux états 0, avec P 0, = λ, P,0 = µ, calculez l esperance t 0 du temps de retour T 0 (retour en 0, conditionné par un départ en 0). b) Verifiez l identité t 0 = π0 /P 0 [X 0], valable pour toutes les chaînes ergodiques. c) Quelle est la distribution du T 0? inc0 Soit Π(I) l ensemble des toutes les lois invariantes pour une chaîne P. Autrement dit : il s agît des vecteurs de probabilités qui sont aussi des vecteurs propres a gauche de P associé à la valeur propre. L exercice (4.3) implique : Corollaire 4. Les lois asymptotiques d une chaîne de Markov homogène coincident avec les lois invariantes Π( ) = Π(I) La clé du calcul des lois asymptotiques se trouve donc dans la système π = πp, π =, π 0 (4.4) Nous allons devoir repondre aux questions d existence et d unicité de ses solutions :. Est-ce que c est possible qu il n existent pas des vecteurs des probabilités qui satisfont le système d équilibre (4.4), c.-à-d. est-ce que c est possible qu il n y ait pas des vecteurs propres pour la valeur propre qui ont toutes les composants nonnégatives? (Non!) 2. Est-ce que c est possible qu il existent plusieurs vecteurs des probabilités independants qui satisfont le système d équilibre (4.4)? (Oui, cela est possible ssi le nombre des classes récurrentes est K >, ce qui implique que λ = est une valeur propre multiple d ordre K). Considerons maintenant l existence de la matrice asymptotique P. Exemple 4. L inexistence de la limite P = lim n P n pour les chaînes cycliques. La limite P n existe pas toujours, comme on voit immédiatement en examinant une chaîne de Markov qui bouge cycliquement sur les noeuds d un graphe. Par exemple, pour n = 3, avec ( ) 0 0 la matrice de transition P = 0 0, on a : P 3n = I 3, P 3n+ = P et P 3n+2 = P 2 = ( ) On voit immédiatement que la suite P, P 2, P 3 = I, P 4 = P,... est cyclique et 0 0 donc sans limite. Ici, la loi stationnaire π = (/3, /3, /3) est unique (car on a une seule classe recurrente). Exercice 4.5 Demontrez le théorème suivant. Théorème 4.3 a) Si la matrice asymptotique P existe, il s agit d une matrice stochastique et idempotente (P 2 = P ). Les lignes de P sont des vecteurs propres à gauche et les colonnes de P sont des vecteurs propres à droite. b) Les lignes de P sont les points extremaux de l ensemble convexe des toutes les lois asymptotiques possibles Π. 23

24 Exercice 4.6 Calculez par l approche algébrique (donc en résolvant les équations pour les vecteurs propres πp = π, π =, P v = v, πv = ) la matrice limite P si en supposant que la matrice Q = 0 a 0 a b 0 b P = c c /3 / /4 3/4, ( ) 0 a b est strictement sous-stochastique. c 0 0 Ind : Pour les vecteurs propres a gauche, montrez que le système pour les états transitoires implique π = π 2 = π 3 = 0. Pour les vecteurs propres a droite, montrez que le système pour les états récurrents implique v 4 = v 5 =, et en suite que le système pour les états transitoires implique v = v 2 = v 3 =. Finalement, on distingue deux cas :. Dans l absence des classes récurrentes périodiques, l ensemble Π peut être obtenue en calculant les puissances P n, ou en resolvant le système d équilibre. 2. Dans la présence des classes récurrentes périodiques, l ensemble Π peut être obtenue seulement en resolvant le système d équilibre. s:per 4.4 La périodicité (*) Rapellons l exercice (3.6), ou plutôt sa matrice après le rearrangement {5, 3,, 4, 6, 2} P = On remarque, en regardant le graph de communication, que la classe transiente,4,6 a une propriété speciale : chaque un de ses elements peut etre visité seulement aux dates qui sont congruents mod(3). Cette propriété, apellée périodicité, est aussi rendue evidente en calculant les puissances de Q = P {,4,6 } = P projeté sur {, 4, 6} = qui satisfait Q 3 = I. On peut aussi detecter la periodicité en calculant les valeurs propres, 6 c.-à-d. les racines du pol char. Dans l exercice (3.6), elles sont : [( x)( 2x)]( 6x 3 )( x) (les trois termes correspondent aux projections sur les trois classes). Rémarquer que les trois racines cubiques satisfaisant λ 3 i = /6, i =, 2, 3 provenant de la classe transiente à Q = P {,4,6 } qui satisfait Q 3 = /2Id, exhibent aussi une périodicité de degré 3, diminuant vers 0. 24,

25 La periodicité est mieux abordée probabilistiquement, en analysant, pour chaque état e i, l ensemble A i de temps pour lequels il est possible de se trouver en i en partant de i, c.-à-d. A i = {n N : p (n) ii > 0} Remarque 4.6 Cet ensemble des longueurs possibles des cycles est fermé sous l opération d addition, c.-à-d. cet ensemble est un sous groupe de N. Définition 4.5 Soit e i dans E. On appelle période de e i l entier d (i) = p gcd { n > 0 ; p (n) ii > 0 } (autrement dit : p (n) ii > 0 m N tel que n = md (i) ). Si d (i) =, l état e i est dit apériodique. Remarque 4.7 Une classe de communication à matrice de transition P, pour laquelle il existe un entier c tel que P c = I, apellée cyclique d ordre c, est forcement périodique, et la période d est parmi les diviseurs de c. Par exemple, en changeant la classe transitoire dans l exemple ci-dessus en sorte qu elle contient un cycle de longueur 4 et un de longueur 2, on obtient une classe cyclique d ordre 4 et période 2. per Exemple 4.2 P = On aperçoit immédiatement la classe récurrente 6, 7 et les classes transitoires et 2, 3, 4, 5. La dernière classe est le collage des deux cycles de période 3, ce que donne immédiatement que A 2 = {3k, k 0} = {3, 6, 9,...}. Si par contre un de ces cycles avait une longueur pas divisible par 3, par exemple 4, on aurait eu : A 2 = {3k + 4l, k, l 0} = {3, 4, 6, 7, 8, 9,...}, dans quel cas A 2 contient tous les nombres en partant de 6. Remarque 4.8 On voit que les ensembles A i contiennent toujours tous les nombres de la forme k d(i), pour k assez grand, et cela est un résultat valable pour n importe quel semigroup de N. En conclusion, il y a deux possibilités pour les ensembles A i, en dépendant de d=p.g.c.d de la longueur des cycles :. Dans le cas d =, cet ensemble contient tous les nombres assez grands (en partant d un certain point). 2. Dans le cas d >, cet ensemble est un sous ensemble du sous groupe d N. Proposition 4.2 La période ne dépend que de la classe. Définition 4.6 Une classe ayant un (et donc toutes les elements) de période est dite apériodique. Exercice 4.7 L existence d une boucle dans une classe, c.-à-d. p ii > 0, assure l apériodicité. 25