AME Dossier : Matrices et suites 545 romeades aléatoires : vers les chaîes de Markov ierre Griho (*) Cet article propose ue mise e perspective de la otio de promeade ou de marche aléatoire itroduite das le ouveau programme de spécialité de Termiale S L étude de marches aléatoires simples à ombre d états (1) fii costitue das ce programme ue voie d itroductio du calcul matriciel avec pour poit d orgue ue explicatio simple du pricipe de base des moteurs de recherche actuels (2) Il sera fait appel à des otios d algèbre liéaire telles que le produit matriciel sous sa forme géérale ou les valeurs et vecteurs propres qui dépasset bie sûr le cadre du programme de Termiale Le cadre gééral de ces problèmes est celui des processus aléatoires dot les chaîes de Markov (3) sot l exemple qui sera développé ici 1 U premier exemple de processus aléatoire Cet exemple sort du cadre strict du programme de spécialité mais paradoxalemet so cotexte est le plus simple à décrire U promeeur idécis ou féru de probabilités (4) se déplace sur ue droite graduée e partat de l origie Il jette ue pièce de moaie et avace d u pas si elle doe pile et recule d u pas si elle doe face Le ombre d états de cette marche est ifii Voici ue simulatio de cette marche avec ue pièce équilibrée : e abscisse le ombre de pas et e ordoée la positio sur l axe O peut observer qu après être reveu plusieurs fois e 0, le promeeur semble partir défiitivemet au loi E fait, o démotre qu il reviedra avec certitude ue ifiité de fois e 0, mais le ombre moye de pas etre deux passages est ifii (*) pgriho@freefr (1) our u mobile qui se déplace, il s agit de ses positios possibles (2) Bie etedu il e s agit que d ue approche de cette théorie dot le premier brevet a été eregistré e 1998 (3) Adreï Markov (1856-1922) mathématicie russe (4) Ce problème est cou aussi sous le om de «marche de l ivroge»
546 Dossier : Matrices et suites AME 2 U deuxième exemple de processus aléatoire U autre promeeur se déplace sur u quadrillage et à chaque carrefour il choisit ue directio au hasard, mais e s iterdisat de passer deux fois sur u même poit Ce type de marche aléatoire est appelée marche auto-évitate (5) Les deux types de processus évoqués ci-dessus présetet ue différece fodametale : le premier a pas de mémoire e ce ses que l état futur e déped que de l état préset et le secod a au cotraire beaucoup de mémoire Les processus du premier type sot dits markovies et o s itéresse ici aux chaîes de Markov qui e sot le cas discret Si o cosidère celles à ombre d états fii o peut utiliser des matrices 3 L exemple des ures d Ehrefest Cet exemple figure das le programme (6) Il e se présete pas comme ue promeade mais o pourrait le trasformer e marche sur u graphe O cosidère deux ures A et B et particules À l istat iitial = 0, les particules sot réparties das A et B À chaque istat 1, o choisit au hasard l ue des particules et o la chage d ure Ci-dessous ue simulatio où l ure A cotiet 15 particules au départ et l ure B 0 E abscisse le ombre d échages et e ordoée le ombre de particules das A O peut voir que l ure A se vide complètemet puis remote à 15 (5) Lire à ce sujet l article de Wedeli Werer à l adresse : http://wwwmathomfr/mathom/fetedelasciece/fs2007/complemets/les%20chemis%2 0aleatoirespdf (6)Voir aussi das ce bulleti l article de Kylie Ravera
AME romeades aléatoires 547 O ote X la variable aléatoire égale au ombre de particules das A à l issue du -ième échage X peut predre les valeurs etières de 0 à : ces valeurs costituet les états du processus À l aide de la formule des probabilités totales, o obtiet les ( + 1) formules de récurrece : ( X +1 = k)= k +1 ( X = k 1)+ k +1 X = k +1 E effet, pour avoir k particules das A à l issue du ( + 1)-ième tirage, soit il y e avait (k - 1) avat et o e a rajouté ue proveat des ( - (k - 1)) de l ure B, soit il y e avait (k + 1) et o e a elevé ue Ces formules restet vraies pour les extrêmes : Ce processus est ue chaîe de Markov et cela se traduit par: ( X +1 = k +1 /( X = k ) ( X 0 = k 0 ))= ( X +1 = k +1 /( X = k )) qui e est la défiitio formelle O peut traduire commodémet les + 1 relatios (1) matriciellemet e posat ( X = 0) U = : U +1 = MU où M est la matrice carrée d ordre + 1 dot ( X = ) chaque terme est ue probabilité coditioelle et dot la somme des coefficiets de chaque coloe vaut 1 Ue telle matrice est dite stochastique (ici e coloe) O peut remarquer que la somme des coefficiets de U vaut 1 égalemet 0 1/3 0 0 Das le cas = 3, o obtiet 1 0 2/3 0 M = 0 2/3 0 1 0 0 1/3 0 La première lige s obtiet grâce à la relatio pour les autres liges ( X +1 = 0)= 1 X = 1 ( X +1 = )= 1 X = 1 O peut avoir par exemple U 0 = où 1 k 1 ( das ce cas ( X = 1)= 0 ) ( das ce cas ( X = +1)= 0 ) 0 0 0 1 ( X +1 = 0)= 1 3 ( X = 1) (1) et de même si A cotiet les 3 particules au début
548 Dossier : Matrices et suites AME L évolutio à log terme de ce processus repose sur u calcul de puissace de matrice puisque U = M U 0 Le comportemet asymptotique peut s étudier soit par l étude de la suite des puissaces, soit directemet sur la suite Das le cas préset, si la suite coverge, sa limite U est ue matrice coloe de somme 1 qui vérifie l équatio U = MU : U est doc u vecteur propre de M relatif à la valeur propre 1 Si o ote u k les coordoées de U, o a les relatios : O motre alors par récurrece sur k que u k =, puis, e utilisat la somme k u 0, o obtiet et fialemet u k = u Les coordoées de U k 1 k = 1 u 0 = 1 2 2 k=0 ( M ) U u 1 = u 0, u 1 = u, u k = k +1 u k1 + k +1 u k+1 pour 0 < k < formet doc la loi biomiale B(,1/2) E fait la suite e coverge pas toujours (e particulier si la situatio iitiale U est détermiiste, c est-à-dire si la compositio des ures est doée et o aléatoire), mais ses suites extraites et coverget Cela tiet au fait que le ombre X de particules das A est étroitemet lié à la parité de Si par exemple X 0 = 0, alors X 2 est pair et X 2+1 est impair et das ce cas o peut motrer que la limite de 1 1 ( X 2 = 2k) est égale à et celle de à 2k ( X 2-1 2+1 = 2k +1) 2k +1 2-1 La suite des puissaces ( U 2 ) U 2+1 ( M ) U 4 Les matrices stochastiques se comporte de la même faço Comme o l a vu das l exemple précédet, les chaîes de Markov sot liées à ue classe particulière de matrices : les matrices stochastiques Leurs propriétés sot précieuses pour étudier la covergece évetuelle des processus Ue matrice stochastique selo les coloes (respectivemet selo les liges) est ue matrice à élémets positifs ou uls et dot toutes les coloes (respectivemet toutes les liges) ot ue somme égale à 1 De ombreux ouvrages privilégiet les matrices stochastiques e lige et doc les produits traduisat la chaîe de Markov fot iterveir des matrices liges du type V +1 = V M Il y a pas de raiso objective (7) pour privilégier cette écriture mais plutôt u certai ombre de raisos pédagogiques pour préférer celle e coloes : la traductio matricielle des équatios déduites des probabilités totales doe (7) Au iveau du secodaire et même des deux premières aées du supérieur L explicatio se trouve e théorie de la mesure et découle de la otio de dualité
AME romeades aléatoires 549 directemet la matrice stochastique de trasitio e coloe par simple lecture, u élémet importat est u vecteur propre de cette matrice : l étude des vecteurs propres se fait e liaiso avec l iterprétatio d ue matrice carrée comme matrice d u edomorphisme et das ce cas le calcul d ue image se fait usuellemet par produit de la matrice par ue matrice coloe, ces otios sot ue itroductio à l algèbre liéaire : il faut doc les étudier das la perspective de ce qui sera fait das le supérieur et doc e pas s e teir au cotexte des matrices stochastiques, efi, das le secodaire, les élèves sot habitués à écrire les coordoées des vecteurs e coloe Das cet article, je utiliserai doc pour traduire ue chaîe de Markov que les matrices stochastiques e coloe mais je serai ameé à utiliser la trasposée de telles matrices (otée t M) qui est doc stochastique e lige Ue propriété caractéristique des matrices stochastiques est que t MX = X où X est la matrice coloe formée de 1 et M est supposée à coefficiets positifs ou uls O peut e déduire les propriétés suivates : u produit de matrices stochastiques est stochastique E effet si M et sot stochastiques, t (M)X = t t MX = t X = X ue matrice et sa trasposée ayat les mêmes valeurs propres, toute matrice stochastique a 1 pour valeur propre les valeurs propres réelles d ue matrice stochastique ot ue valeur absolue iférieure ou égale à 1 our démotrer cela, o raisoe sur la trasposée Soit u vecteur propre associé à ue valeur propre l de t M O ote i u élémet de 1,, tel que k 1,, E cosidérat la lige i de la matrice t MX, o obtiet doc x i x i et comme x i 0 o e déduit que 1 Covergece X = x 1 x 2 x,1 ( R) x i = m ki x k m ki x k x i 1 k=1 { } { } x k x i our l étude asymptotique des chaîes de Markov, ue méthode possible est d étudier la suite des puissaces de ces matrices La covergece de ces suites est pas assurée O e a vu u cotre-exemple das le cas d Ehrefest Quad il y a covergece, la limite est ecore stochastique (par simple passage à la limite das les sommes par coloes) k=1
550 Dossier : Matrices et suites AME Ue coditio suffisate de covergece est que l ue des puissaces ait tous ses termes strictemet positifs Avat de démotrer ce résultat, e voici u exemple umérique Si M = la suite 2/11 à 9/44 3/11 15 / 44, alors M 3 a aucu coefficiet ul et o motre que coverge vers la matrice dot toutes les coloes sot égales reuve de la coditio suffisate O cosidère pour simplifier que la matrice A = (a ij ) carrée d ordre p 3 (le cas p = 2 se traite directemet) est stochastique à élémets o uls et o ote a le plus petit élémet de A Du fait des sommes de coloes égales à 1, o a 0 < a < 1 2 O va démotrer que les coloes de A, coverget toutes vers la même coloe Soit m et M le plus petit et le plus grad élémet de la première lige de A O va démotrer que ces deux suites sot adjacetes O ote a ij () les termes de A O pose m = a 1 j0 (j 0 déped de ) O a : 0 1/3 0 1/3 1/2 0 0 1/3 1/2 1/3 0 1/3 0 1/3 1 0 ( M ) p M +1 = max a 1k j a kj = max a 1k j a kj + m a j0 j k=1 max j puis e utilisat le fait que a kj = 1 : k=1 De la même maière, o motre que : m +1 m + a( M m ) m p À l aide des deux iégalités, o obtiet efi que M +1 m +1 1 2a k j 0 M a kj k j 0 M +1 M + max ( m M )a j0 j j M ( M m )mia j0 j M ( M m )a M j M m Comme 0 < 1-2a < 1, o a bie les trois critères des suites adjacetes Tous les termes de la première lige de A ot la même limite et il e est de même pour les autres liges + m a j0 j,
AME romeades aléatoires 551 Il e reste plus qu à recoaître das la coloe limite obteue u vecteur propre de A lié à la valeur propre 1 Si o ote C cette coloe, il est clair que par passage à la limite la somme de ses termes vaut 1 reos le premier terme de AC : Doc fialemet : AC = C Le vecteur C correspod à ue distributio de probabilité appelée distributio statioaire de la chaîe Das le cas particulier précédet, il est facile de voir que C est uique e passat à la limite das l égalité A C = C où C serait ue deuxième distributio statioaire La coditio suffisate vue précédemmet est pas écessaire comme le motre l exemple suivat : Si 1 1/2 A =, la suite coverge vers 0 1/2 ( A 1 1 ) 0 0 5 Comportemet asymptotique d ue marche aléatoire 1 Si o cosidère ue marche aléatoire sur u graphe dot la matrice M de trasitio a l ue de ses puissaces M k à coefficiets o uls, cela sigifie que l o peut relier deux sommmets quelcoques du graphe e exactemet k étapes ar exemple u graphe associé à l ue des matrices précédet serait : p a 1 j c j = a 1 j lima j1 = lim a 1 j a j1 p p M = = lim a 11 +1 = c 1 0 1/3 0 1/3 1/2 0 0 1/3 1/2 1/3 0 1/3 0 1/3 1 0 du paragraphe E partat du sommet 1, o a ue chace sur 2 d aller e 2 et ue chace sur 2 d aller e 3 : les déplacemets possibles partat d u sommet sot équiprobables E trois étapes o peut rejoidre importe quel sommet quel que soit le poit de départ Si o ote X la positio du mobile après déplacemets et U la matrice coloe de sa loi, o a U = M U 0 et quel que soit le poit de départ, la suite coverge vers U
552 Dossier : Matrices et suites AME 2/11 9/44 3/11 15 / 44 2 Iversemet, il existe des graphes dot tous les sommets peuvet être joigables alors que toutes les puissaces de la matrice de trasitio comportet des 0 : par exemple u graphe de matrice circulaire qui est doc u vecteur propre associé à 1 de M correspodat à ue permutatio O peut aussi avoir des marches aléatoires sur u graphe dot l u des sommets est u «cul de sac» S il y e a qu u et que l o peut y arriver de tous les autres sommets, il paraît clair que la marche se termiera toujours e ce sommet ar exemple la suite des puissaces de la matrice 0 0 1 1 0 0 0 1 0 0 1/3 1/2 0 1/2 0 1/2 0 1/2 1/3 0 0 0 1/3 0 1 coverge vers la matrice dot les trois premières liges sot ulles et la derière formée de 1 Ce résultat peut se prouver par calcul mais aussi directemet grâce à la propriété du graphe Das le graphe ci-dessous, lorsqu o arrive au sommet 4 o y reste 6 Marche aléatoire avec saut Cette derière partie propose ue maière élémetaire de justifier la covergece de l algorithme «agerak» La costructio de cet algorithme a été développée das de ombreux articles (8) O va démotrer ici sa covergece après l avoir traduit sous la forme d ue suite de matrices de type arithmético-géométrique comme idiqué das le programme de spécialité Le Web est modélisé par u graphe orieté dot les sommets sot les pages et les flèches les lies hypertextes (8) Voir e particulier celui de Michael Eiserma : http://wwwapmepassofr/l-algorithme- agerak-de-google aisi que l article du bulleti o 489 (septembre 2010), p 473-484
AME romeades aléatoires 553 U surfeur aléatoire se déplace sur ce graphe à sommets, chaque sommet ayat au mois u lie etrat À chaque istat, il peut suivre les arêtes du graphe avec ue probabilité liée au ombre de lies ou aller directemet sur importe quel sommet y compris celui où il se trouve (e «sautat») avec ue probabilité costate p 1 Relatios de récurrece O ote X la positio du surfeur après étapes X pred ses valeurs das {1,2,,} remier cas : Si les déplacemets se fot sas saut o peut appliquer la formule des probabilités totales : ( X +1 = i)= [ X = j] ( X +1 = i)( X = j) = a ij X = j e otat a ij = X qui est égal à l iverse du ombre de lies sortat du [ = j] ( X +1 = i) sommet j si la page j poite vers la page i et à 0 sio Si la page i est u cul-de-sac, o a a ii = 1 Il est écessaire de supposer que ( X = j) 0 pour tout j Œ {1,2,,}, ce qui peut se démotrer par récurrece e utilisat le fait que tout sommet possède au mois u lie etrat E otat U la matrice coloe dot les liges sot les probabilités et A la matrice carrée dot les coefficiets sot les a ij o obtiet la relatio de récurrece U +1 = AU Deuxième cas : Si maiteat les déplacemets peuvet se faire avec saut, les formules de récurrece sot plus délicates à obteir mais e voici le pricipe O utilise le système complet d évéemets { S +1,S +1 } (le surfeur saute ou o à la ( + 1)-ième étape) Le surfeur est e i à la ( + 1)-ième étape si, ou bie il a fait u saut (avec la probabilité p) et il avait la probabilité 1/ d arriver e i, ou bie il a pas fait de saut et il se retrouve e i avec la probabilité obteue e (1) : ( X +1 = i)= S+1 ( X +1 = i)s ( +1 )+ S+1 ( X +1 = i)s +1 = 1 p + 1 p a ( X = j) ij our trouver rigoureusemet le deuxième terme, o applique la formule (1) avec cette fois la probabilité coditioelle : S+1 (1) ( X = i) S+1 ( X +1 = i)= S+1 ( X +1 = i /X = j) S+1 ( X = j)= a ij S+1 ( X = j)
554 Dossier : Matrices et suites AME S+1 ( X +1 = i /X = j)= a ij puisque si le surfeur e saute pas o retrouve le premier cas Efi, ( X = j)= X = j car les évéemets ( X = j) et sot S+1 idépedats E posat C = p les relatios de récurrece peuvet se traduire matriciellemet sous la forme : U +1 = (1 - p) AU + C C est ue suite de matrices coloes de type arithmético-géométrique 2 Étude de la suite 1 1 1 O commece par chercher u poit fixe, c est-à-dire ue matrice coloe L vérifiat L = (1 - p) AL + C, soit L = ( I ( 1 p)a) 1 C si l iverse existe Motros que cet iverse existe (9) La matrice A état stochastique, o sait que ses valeurs propres réelles sot etre -1 et 1 O e déduit que les valeurs propres réelles de I - (1 - p) A sot comprises etre p et 2 - p et comme p < 1 elles e sot pas ulles Doc I - (1 - p) A est iversible 2 Si l o pose V = U - L, o obtiet facilemet la relatio V +1 = (1 - p) AV, puis par récurrece la relatio explicite V = (1 - p) A V 0, ce qui doe U = (1 - p) A (U 0 - L) + L Covergece de la suite La matrice A est ue matrice stochastique e coloe, c est-à-dire que tous ses coefficiets sot positifs et que la somme de chacue de ses coloes vaut 1 Doc A a tous ses coefficiets etre 0 et 1 et doc tous les coefficiets de la matrice (1 - p) A tedet vers 0 La suite de matrices coloes U coverge doc vers L Si J est la matrice carrée d ordre formée uiquemet de 1, o a JU = et o peut alors écrire la relatio de récurrece sous la forme U +1 = ( 1 p)a + p J U Ce qui précède motre que la limite L de la suite U est u vecteur propre de la matrice stochastique ( 1 p)a + p associé à la valeur propre 1 J O peut remarquer que la matrice S +1 ( 1 p)a + p J a tous ses coefficiets strictemet positifs, ce qui assure la covergece du processus grâce à la coditio suffisate vue (9) E termiale, soit o le vérifie directemet das le cas des matrices d ordre 2 ou 3, soit o utilise la calculatrice 1 1
AME romeades aléatoires 555 au paragraphe 4 Cepedat la méthode élémetaire précédete a l avatage de pouvoir être exposée e Termiale Iterprétatio de la limite Les coordoées de L doet les probabilités qu à la limite le surfeur aléatoire arrive sur les pages umérotées de 1 à L ordre de ces probabilités doe ce que l o appelle l ordre de pertiece des pages web Exemple Le mii web ci-cotre correspod à la matrice 0 1/3 1/2 0 1/2 0 1/2 0 1/2 1/3 0 0 0 1/3 0 1 La limite de la suite Remarque pour p = 0,25 est O peut se demader si l ordre des pertieces déped de p L exemple motre que oui our p = 0,5, l ordre est 1, 4, 7, 2, 3, 5 et 6 L a pour coordoées arrodies 0,72 ; 0,55 ; 0,51 ; 0,60 ; 0,36 ; 0,36 ; 0,59 our p = 0,6, l ordre est 1, 7, 4, 2, 3, 5 et 6 L a pour coordoées arrodies 0,72 ; 0,57 ; 0,54 ; 0,61 ; 0,41 ; 0,41 ; 0,62 Si p reste assez petit, il semble que l ordre e soit pas modifié Bibliographie ( U ) 10 / 56 11/ 56 10 / 56 25 / 56 0 1/5 1/6 1/2 1/4 1/2 1/4 1/3 0 1/6 0 1/4 0 1/4 1/3 1/5 0 0 0 0 1/4 1/3 1/5 1/6 0 1/4 0 1/4 0 1/5 1/6 0 0 0 0 0 1/5 1/6 0 0 0 0 0 0 1/6 1/2 1/4 1/2 0 rocessus aléatoires pour les débutats, Arthur Egel, Cassii Mathématiques appliquées L3 earso Collectif d auteurs rojet Klei Vigette écrite par Christiae Rousseau : http://blogkleiprojectorg/?p=451&lag=fr#more-451