L algorithme PageRank de Google : Une promenade sur la toile

Transcription

1 APMEP Pour chercher et approfondr 473 L algorthme PageRank de Google : Une promenade sur la tole Mchael Esermann (*) Depus plus d une décenne Google domne le marché des moteurs de recherche sur nternet Son pont fort est qu l tre ntellgemment ses résultats par ordre de pertnence Comment est-ce possble? Depus sa concepton en 1998, Google contnue à évoluer et la plupart des améloratons demeurent des secrets ben gardés L dée prncpale, par contre, a été publée [1] : le pler de son succès est une udceuse modélsaton mathématque Que fat un moteur de recherche? Une base de données a une structure prédéfne qu permet d en extrare des nformatons, par exemple «nom, rue, code postal, téléphone,» L nternet, par contre, est peu structuré : c est une mmense collecton de textes de nature varée Toute tentatve de classfcaton semble vouée à l échec, d autant plus que le web évolue rapdement : une multtude d auteurs aoutent constamment de nouvelles pages et modfent les pages exstantes Pour trouver une nformaton dans ce tas amorphe, l utlsateur pourra lancer une recherche de mots-clés Cec nécesste une certane préparaton pour être effcace : le moteur de recherche cope préalablement les pages web en mémore locale et tre les mots par ordre alphabétque Le résultat est un annuare de mots-clés avec leurs pages web assocées Pour un mot-clé donné, l y a typquement des mllers de pages correspondantes (plus d un mllon pour «tangente», par exemple) Comment ader l utlsateur à repérer les résultats potentellement ntéressants? C est c que Google a apporté sa grande nnovaton Le web est un graphe! Proftons du peu de structure qu sot dsponble L nternet n est pas une collecton de textes ndépendants mas un mmense hypertexte : les pages se ctent mutuellement Afn d analyser cette structure, nous allons néglger le contenu des pages et ne tenr compte que des lens entre elles Ce que nous obtenons est la structure d un graphe La fgure c-contre montre un exemple en mnature (*) E-mal address: MchaelEsermann@uf-grenoblefr Insttut Fourer, Unversté Grenoble1 URL: www-foureruf-grenoblefr/~eserm

2 474 Pour chercher et approfondr APMEP Dans la sute e note les pages web par P 1, P 2, P 3,, P n et écrs s la page P cte la page P Dans notre graphe nous avons un len 1 5, par exemple, mas pas de len 5 1 Comment exploter ce graphe? Les lens sur nternet ne sont pas aléatores mas ont été édtés avec son Quels rensegnements pourrat nous donner ce graphe? L dée de base, encore à formalser, est qu un len est une recommandaton de la page P d aller lre la page P C est ans un vote de P en faveur de l autorté de la page P Analysons notre exemple sous cet aspect La présentaton c-contre de notre graphe suggère une hérarche possble encore à ustfer Parm les pages P 1, P 2, P 3, P 4 la page P 1 sert de référence commune et semble un bon pont de départ pour chercher des nformatons Il en est de même dans le groupe P 9, P 10, P 11, P 12 où la page P 9 sert de référence commune La structure du groupe P 5, P 6, P 7, P 8 est smlare, où P 7 est la plus ctée À noter toutefos que les pages P 1 et P 9, déà reconnues comme mportantes, font référence à la page P 5 On pourrat ans soupçonner que la page P 5 content de l nformaton essentelle pour l ensemble, qu elle est la plus pertnente Premer modèle : comptage naïf Il est plausble qu une page mportante reçot beaucoup de lens Avec un peu de naïveté, on crora auss l affrmaton récproque : s une page reçot beaucoup de lens, alors elle est mportante Ans on pourrat défnr l mportance µ de la page P comme le nombre des lens En formule cec s écrt comme sut : µ = Autrement dt, µ est égal au nombre de «votes» pour la page P, où chaque vote contrbue par la même valeur 1 C est facle à défnr et à calculer, mas ne correspond souvent pas à l mportance ressente par l utlsateur : dans notre exemple on trouve µ 1 = µ 9 = 4 devant µ 5 = µ 7 = 3 Ce qu est pre, ce comptage naïf est trop facle à manpuler en aoutant des pages sans ntérêt recommandant une page quelconque Second modèle : comptage pondéré : 1 Certanes pages émettent beaucoup de lens : ceux-c semblent mons spécfques et leur pods sera plus fable Nous partageons donc le vote de la page P en l parts égales, où l dénote le nombre de lens éms Ans on pourrat défnr une mesure plus fne : (1) : 1 l µ = (2)

3 APMEP L algorthme PageRank de Google 475 Autrement dt, µ compte le nombre de «votes pondérés» pour la page P C est facle à défnr et à calculer, mas ne correspond touours pas ben à l mportance ressente : dans notre exemple, on trouve µ 1 = µ 9 = 2 devant µ 5 = 3/2 et µ 7 = 4/3 Et comme avant ce comptage est trop facle à truquer Trosème modèle : comptage récursf Heurstquement, une page P paraît mportante s beaucoup de pages mportantes la ctent Cec nous mène à défnr l mportance µ de manère récursve comme sut : µ : = 1 µ (3) l Ic le pods du vote est proportonnel au pods µ de la page émettrce C est facle à formuler mas mons évdent à calculer (Une méthode effcace sera explquée dans la sute) Pour vous rassurer vous pouvez déà vérfer que notre exemple admet ben la soluton P 1 P 2 P 3 P 4 P 5 P 6 P 7 P 8 P 9 P 10 P 11 P 12 µ = ( 2, 1, 1, 1, 3, 1, 2, 1, 2, 1, 1, 1 ) Contrarement aux modèles précédents, la page P 5 est repérée comme la plus mportante C est bon sgne, nous sommes sur la bonne pste Remarquons que (3) est un système de n équatons lnéares à n nconnues Dans notre exemple, où n = 12, l est déà pénble à résoudre à la man, mas encore facle sur ordnateur Pour les graphes beaucoup plus grands, nous aurons beson de méthodes spécalsées Promenade aléatore Avant de tenter de résoudre l équaton (3), essayons d en développer une ntuton Pour cec magnons un surfeur aléatore qu se balade sur nternet en clquant sur les lens au hasard Comment évolue sa poston? À ttre d exemple, supposons que notre surfeur démarre au temps t = 0 sur la page P 7 Le seul len ponte vers P 5, donc au temps t = 1 le surfeur s y retrouve avec probablté 1 D c partent tros lens, donc au temps t = 2 l se trouve sur une des pages P 6, P 7, P 8 avec probablté 1/3 Voc les probabltés suvantes : P 1 P 2 P 3 P 4 P 5 P 6 P 7 P 8 P 9 P 10 P 11 P 12 t = t = t = t = t = t = t = t = On observe une dffuson qu converge assez rapdement vers une dstrbuton

4 476 Pour chercher et approfondr APMEP statonnare Vérfons cette observaton par un second exemple, partant cette fos-c de la page P 1 : P 1 P 2 P 3 P 4 P 5 P 6 P 7 P 8 P 9 P 10 P 11 P 12 t = t = t = t = t = t = t = t = Ben que la dffuson mette plus de temps, la mesure statonnare est la même! Elle coïncde d alleurs avec notre soluton µ = (2, 1, 1, 1, 3, 1, 2, 1, 2, 1, 1, 1), c dvsée par 17 pour normalser la somme à 1 Les pages où µ est grand sont les plus «fréquentées» ou les plus «populares» Dans la quête de classer les pages web, c est encore un argument pour utlser la mesure µ comme ndcateur La lo de transton Comment formalser la dffuson llustrée c-dessus? Supposons qu au temps t notre surfeur aléatore se trouve sur la page P avec une probablté p La probablté de partr de P et de suvre le len est alors La probablté d arrver au temps t + 1 sur la page P est donc 1 p = : p (4) l Étant donnée la dstrbuton ntale p, la lo de transton (4) défnt la dstrbuton suvante p = T(p) C est ans que l on obtent la lgne t + 1 à partr de la lgne t dans nos exemples (En théore des probabltés cec s appelle une chaîne de Markov) La mesure statonnare est caractérsée par l équaton d équlbre µ = T(µ), qu est ustement notre équaton (3) Attenton aux trous nors Que se passe-t-l quand notre graphe content une page (ou un groupe de pages) sans ssue? Pour llustraton, voc notre graphe modfé : L nterprétaton comme marche aléatore permet de résoudre l équaton (3) sans aucun calcul : la page P 13 absorbe toute la probablté car notre surfeur aléatore tombera tôt ou tard sur cette page, où l demeure pour le reste de sa ve Ans la soluton est µ = (0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1) Notre modèle n est donc pas encore satsfasant 1 l p

5 APMEP L algorthme PageRank de Google 477 Le modèle utlsé par Google Pour échapper aux trous nors, Google utlse un modèle plus raffné : avec une probablté fxée c le surfeur abandonne sa page actuelle P et recommence sur une des n pages du web, chose de manère équprobable ; snon, avec probablté 1 c, le surfeur sut un des lens de la page P, chos de manère équprobable Cette astuce de «téléportaton» évte de se fare péger par une page sans ssue, et garantt d arrver n mporte où dans le graphe, ndépendamment des questons de connexté Dans ce modèle la transton est donnée par c 1 c p = : + p (5) n l c Le premer terme provent de la téléportaton, le second terme est la marche n aléatore précédente La mesure d équlbre vérfe donc c c µ : = + 1 µ n l (6) Le paramètre c est encore à calbrer Pour c = 0, nous obtenons le modèle précédent Pour 0 < c 1, la valeur 1/c est le nombre moyen de pages vstées, c està-dre le nombre de lens suvs plus un, avant de recommencer sur une page aléatore (processus de Bernoull) Par exemple, le chox c = 015 correspond à suvre envron 6 lens en moyenne, ce qu semble une descrpton réalste Pour conclure l analyse de notre exemple, voc la marche aléatore partant de la page P 1 : P 1 P 2 P 3 P 4 P 5 P 6 P 7 P 8 P 9 P 10 P 11 P 12 t = t = t = t = t = t = t = t = La mesure statonnare est vte attente, et la page P 5 arrve en tête avec µ 5 = 015 avant les pages P 1 et P 9 avec µ 1 = µ 9 = 012 Le théorème du pont fxe Afn de développer un modèle prometteur nous avons utlsé des arguments heurstques et des llustratons expérmentales Fxons mantenant ce modèle et

6 478 Pour chercher et approfondr APMEP posons-le sur un solde fondement théorque Nos calculs aboutssent bel et ben dans notre exemple mnature, mas est-ce touours le cas? Le beau résultat suvant y répond en toute généralté : Théorème du pont fxe Consdérons un graphe fn quelconque et fxons le paramètre c tel que 0 < c 1 Alors l équaton (6) admet une unque soluton vérfant µ µ n = 1 Dans cette soluton µ 1,, µ n sont tous postfs Pour toute dstrbuton de probablté ntale le processus de dffuson (5) converge vers cette unque mesure statonnare µ La convergence est au mons auss rapde que celle de la sute géométrque (1 c) n vers 0 L dée de la preuve est smple : on montre que la lo de transton (5) défnt une applcaton T : p p qu est contractante de rapport 1 c Le résultat découle ans du théorème du pont fxe de Banach Concluson Pour être utle, un moteur de recherche dot non seulement énumérer les résultats d une requête mas les classer par ordre d mportance Or, estmer la pertnence des pages web est un profond déf de modélsaton En premère approxmaton, Google analyse le graphe formé par les lens entre pages web Interprétant un len comme «vote» de la page P en faveur de la page P, le modèle PageRank (6) défnt une mesure de «popularté» Le théorème du pont fxe assure que cette équaton admet une unque soluton, et ustfe l algorthme tératf (5) pour l approcher Celu-c est facle à mplémenter et assez effcace pour les graphes de grandeur nature Mun de ces outls mathématques et d une hable stratége d entreprse, Google gagne des mllards de dollars Il fallat y penser! Références [1] S Brn, L Page : The Anatomy of a Large-Scale Hypertextual Web Search Engne Stanford Unversty 1998, (20 pages) [2] M Esermann : Comment fonctonne Google? Quadrature, n o 68, avrl 2008, verson étendue sur (15 pages)

7 APMEP L algorthme PageRank de Google 479 Développement mathématque L obectf de cet appendce est de démontrer le théorème du pont fxe énoncé cdessus Les outls nécessares sont de nveau lcence : nous aurons beson d un peu de calcul matrcel (essentellement pour une notaton commode) et du théorème du pont fxe de Banach pour les fonctons contractantes f : R n R n Je reprends c le développement de mon artcle [2] Reformulaton matrcelle Remarquons d abord que l équaton (3) n est ren d autre qu un système d équatons lnéares Plus explctement, pour tout couple d ndces, {1,, n}, on défnt a par a 1 : = l 0 On obtent ans une matrce, et notre équaton d équlbre (3) s écrt comme µ = A µ (8) ou encore (A I) µ = 0, (9) ce qu est un honnête système lnéare à n équatons et n nconnues µ 1,, µ n A = ( a ) s, snon Dans notre exemple mnature dscuté c-dessus, A est la matrce suvante : 0 1/ 2 1/ 2 1/ 2 0 1/ / / / 4 1/ / 4 0 1/ / / A = / / 3 1/ 2 0 1/ / / 2 0 1/ 2 1/ 2 1/ / / / 4 1/ / 4 0 1/ 2 0 Comme énoncé, dans cet exemple, l équaton µ = A µ admet comme soluton le vecteur µ = (2, 1, 1, 1, 3, 1, 2, 1, 2, 1, 1, 1) (7)

8 480 Pour chercher et approfondr APMEP Matrces stochastques Ben que nous n utlsons que des arguments d algèbre lnéare et un peu d analyse dans R n, nous ne nous prverons pas du vocabulare stochastque, car c est le pont de vue et le langage naturel de notre développement Par défnton, notre matrce vérfe ce que l on appelle une matrce stochastque (La somme de chaque colonne vaut 1, mas on ne peut en général ren dre sur la somme dans une lgne) Nous supposons c que toute page émet des lens Ce n est pas une restrcton séreuse : s amas une page n émet aucun len on peut la fare ponter vers elle-même Nous nterprétons a comme la probablté d aller de la page P à la page P, en suvant un des l lens au hasard La marche aléatore assocée consste à se balader sur le graphe suvant les probabltés a Marche aléatore Supposons qu un vecteur x R n vérfe x 0 pour tout et ce que l on appelle un vecteur stochastque ou une mesure de probablté sur les pages P 1,,P n : on nterprète x comme la probablté de se trouver sur la page P Effectuons un pas dans la marche aléatore : avec probablté x on démarre sur la page P, pus on sut le len avec probablté a Cec nous fat tomber sur la page P avec une probablté a x Au total, la probablté d arrver sur la page P par n mporte quel len est Autrement dt, un pas dans la marche aléatore correspond à l applcaton lnéare T: R n R n, x y = A x (11) La marche aléatore partant d une probablté ntale x 0 est l tératon de la transton x t+1 = T(x t ) pour t N Préservaton de la masse S x est un vecteur stochastque, alors son mage y = Ax l est auss Effectvement, y 0 car y = a x est une somme de termes postfs ou nuls De plus on trouve y = a x = ax = a x x = =1 a 0 a = 1 A = ( a ) y pour tout, et pour tout, = a x x = 1, (10)

9 APMEP L algorthme PageRank de Google 481 Mesure nvarante Une mesure de probablté µ vérfant µ = T(µ) est appelée une mesure nvarante ou une mesure statonnare ou encore une mesure d équlbre En termes d algèbre lnéare (8), c est un vecteur propre assocé à la valeur propre 1 En termes d analyse, c est un pont fxe de l applcaton T C est ce derner pont de vue que nous allons exploter c Le Modèle PageRank Dans le modèle PageRank la lo de transton (5) se formalse comme l applcaton affne n T: R R n, x cε + 1 c Ax (12) Ic le vecteur stochastque ε = 1,, 1 n n matrce stochastque défne par (7) correspond à l équprobablté, et A est la Remarque Restrente aux vecteurs stochastques, l applcaton T est donnée par T( x) = ce( x)+ ( 1 c) Ax (13) où E est la matrce dont tous les coeffcents valent 1/n Effectvement, sur le sousespace affne des vecteurs x R n vérfant x = 1, nous avons Ex = ε La restrcton de T coïncde donc avec l applcaton ndute par la matrce stochastque A c = ce + (1 c)a Le théorème du pont fxe Pour un vecteur x R n on défnt sa norme par norme, qu a toutes les bonnes proprétés usuelles Ans entre deux ponts x, y R n relatve à la norme x : = x C est une honnête mesure la dstance Défnton Une foncton f : R n R n est dte contractante de rapport k < 1 s elle vérfe f( x) f( y) k x y pour tout x, y R n Théorème du pont fxe (S Banach 1922) S f : R n R n est une foncton contractante de rapport k < 1, alors : Il exste un et un seul pont µ R n vérfant f (µ) = µ Pour tout vecteur ntal x 0 R n, la sute tératve x m+1 = f(x m ) converge vers µ m m 0 On a x µ k x µ : la convergence de x m vers µ est donc au mons auss rapde que celle de la sute géométrque k m vers 0 Pour le calcul concret on a l estmaton de l écart x ( ) x y k µ k x 1 x m m m 1

10 482 Pour chercher et approfondr APMEP Dans la pratque, on gnore la lmte µ mas on peut faclement calculer la sute tératve x m Pour contrôler la qualté de l approxmaton x m, on maore l écart x m µ entre x m et la lmte nconnue par la quantté Applcaton au modèle PageRank Nous dsposons mantenant de tous les outls nécessares pour montrer que le modèle PageRank admet un unque soluton : Proposton Sot A R n n une matrce stochastque quelconque et sot c une constante vérfant 0 < c 1 Alors l applcaton affne T: R n R n défne par (12) est contractante de rapport k = 1 c Démonstraton Regardons deux vecteurs x, y R n et maorons la norme de z := Tx Ty en foncton de pour tout = 1,,n Cec nous permet de calculer la norme : Tx Ty = z = z = k a x y k a x y ( ) ( ) = k a x y = k a x y = k x y = kx y x y On a z = ka(x y) donc z = k a x y Cec prouve que T : R n R n est contractante de rapport k comme énoncé Remarque La proposton nclut le cas trval c = 1 : dans ce cas, T(x) = ε est constante, donc x = ε est l unque pont fxe Dans l autre extrême, on pourrat consdérer c = 0, mas T = A n est pas forcément contractante Par exemple pour un graphe à n sommets sans arêtes entre eux, nous obtenons la matrce dentté, A = I, qu admet tout vecteur x R n comme pont fxe Un bon chox de c se stue donc quelque part entre 0 et 1 Corollare Pour 0 < c 1, l applcaton T admet une unque mesure nvarante µ = T(µ) et, pour tout vecteur ntal x 0, la sute tératve x m+1 = T(x m ) converge vers le pont fxe µ, au mons auss rapdement que (1 c) m 0 Démonstraton L applcaton T étant contractante, elle admet un unque pont fxe µ R n Il ne reste qu à vérfer que le pont fxe est un vecteur stochastque, c est-à-dre qu l satsfat µ 0 et µ = 1 : s l on démarre avec un vecteur stochastque x 0, alors tous les térés x m restent stochastques, donc leur lmte µ l est auss (Exercce) Remarque Le résultat précédent se généralse au théorème de Perron Frobenus : s une matrce réelle A a tous ses coeffcents postfs, a > 0 pour, = 1,,n, alors le rayon spectral de A est donné par une valeur propre λ R +, l espace propre assocé k 1 k x m x m 1 ( )

11 APMEP L algorthme PageRank de Google 483 E λ est de dmenson 1, et l exste un vecteur propre v E λ dont tous les coeffcents sont postfs Remarque L algorthme tératf correspondant est souvent appelé la «méthode de la pussance» Il se généralse à une matrce A quelconque et permet d approcher numérquement un vecteur propre v assocé à la valeur propre λ de module λ maxmal, pourvu que cette valeur propre sot unque et smple Quelques approfondssements De l algorthme à l mplémentaton Rappelons que la matrce A représentant le graphe du web est très grande : en 2004 Google affrmat que «le classement est effectué grâce à la résoluton d une équaton de 500 mllons de varables et de plus de 3 mllards de termes» Comment est-ce possble? La manère usuelle de stocker une matrce de talle n n est un grand tableau de n 2 coeffcents ndexés par (,) {1,,n} 2 Il est envsageable de stocker ans une matrce , c est-à-dre un mllon de coeffcents, mas cec est hors de queston pour une matrce n n où n 10 6, vore n 10 8 Dans notre cas la plupart des coeffcents de la matrce valent zéro car une page n émet que quelques douzanes de lens typquement Dans ce cas, l sufft de stocker les coeffcents non nuls, dont le nombre est d ordre n et non n 2 Une telle matrce est appelée creuse Pour des applcatons réalstes, l est donc nécessare d mplémenter des structures de données et des méthodes adaptées aux matrces creuses La méthode du pont fxe est fate sur mesure pour ce genre d applcaton, et la lo de transton (5) est facle à mplémenter, vor [2] Chaînes de Markov et ergodcté Ce que nous venons d étuder sont des chaînes de Markov, à temps dscret et c à espace d états fn En plus nos chaînes de Markov sont homogènes dans le sens que la lo de transton ne change pas au cours du temps Le chox du paramètre c ]0,1], qu gère la téléportaton sur le graphe, garantt que notre chaîne de Markov est rréductble et apérodque Dans cette stuaton on a touours convergence vers une unque mesure statonnare µ : les pussances A t, où t N, convergent vers la matrce dont chaque colonne est µ En partculer, la mesure x t = A t x 0 converge vers µ ndépendamment de la mesure ntale x 0 Dans cette stuaton dte «ergodque», la lo des grands nombres est en vgueur : la moyenne «en temps» d une observable h le long d une traectore est égale à sa moyenne «en espace» Plus précsément, pour presque toute traectore ( ω t ) on t N, a l égalté

12 484 Pour chercher et approfondr APMEP T 1 lm h( ω t)= h( ) µ (14) T T t= 1 En partculer, µ est la fréquentaton moyenne de la page P Cec ustfe notre nterprétaton que les pages avec une grande probablté µ sont les plus fréquentées, autrement dt les plus populares Quelques ponts de réflexon Le modèle est-l plausble? La structure caractérstque des documents hypertextes sont les ctatons mutuelles : l auteur d une page web aoute des lens vers les pages qu l consdère utles ou ntéressantes L hypothèse à la base du modèle PageRank est que l on peut nterpréter un len comme un vote ou une recommandaton Des mllons d auteurs de pages web lsent et ugent mutuellement leurs pages, et leurs ugements s exprment par leurs lens Le modèle de la marche aléatore en profte en transformant l évaluaton mutuelle en une mesure globale de popularté Cet argument de plausblté sera à débattre et à analyser plus en détal L ultme argument en faveur du modèle PageRank, par contre, est son succès : le classement des résultats semble ben refléter les attentes des utlsateurs Descrptf ou normatf? Au début de son exstence, Google se voulat un outl descrptf : s une page est mportante, alors elle fgure en tête du classement Son écrasant succès a fat de Google une référence normatve : s une page fgure en tête du classement, alors elle est mportante Pour des stes web commercaux, l optmsaton de leur classement PageRank est ans devenue un eneu vtal Afn d amélorer son classement, l sufft d attrer des lens, de préférence ceux éms des pages mportantes, et l vaut meux en émettre très peu Ces stratéges et astuces sont devenues un domane très actf, dt «search engne optmzaton» (SEO) Cette évoluton rend l évaluaton des pages web encore plus dffcle : comme l approche et l mportance de Google sont mondalement connues, les lens s utlsent dfféremment de nos ours Ans l omnprésence de Google change l utlsaton des lens par les auteurs des pages web, ce qu remet en queston l hypothèse à la base même du modèle PageRank