L effet régulateur des moteurs de recherche. MICHEL Laurent

Transcription

1 L effet régulateur des moteurs de recherche MICHEL Laurent 3 février 26

2 Table des matières Mesure de la qualité d une page Web : l algorithme PageRank 4. L algorithme Les influences de PageRank Modélisation des utilisateurs d Internet 9 2. Définitions générales Hypothèses Lemmes Modèle du «random-surfer user» L évolution de la popularité Modèle du «search-dominant user» Hypothèses L évolution de la popularité Un meilleur estimateur de qualité Le phénomène «rich-get-richer» 2 3. Données empiriques Comparaison des deux modèles entre eux Comparaison des deux modèles avec les données empiriques Un modèle approprié aux données Modèle simplifié Hypothèses L évolution du trafic sur une page de rang R Simulation du trafic Modèle complet Hypothèses L évolution du trafic sur une page de rang R Simulation du trafic Conclusion 38

3 Appendices 4 A Les graphiques 4 A. La Fig A.2 La Fig A.3 La Fig A.4 La Fig B Le programme de la simulation 43 B. Simulation du modèle simplifié B.2 Simulation du modèle complet

4 Introduction Aujourd hui, Internet est un outil indispensable dans toute sorte de domaines. En effet, depuis sa création, cet outil n a pas cessé de prendre de l ampleur, et contiendrait actuellement une dizaine de milliards de pages Web, ce qui en fait une source d informations non négligeable. A cause de sa taille, il a fallu trouver le moyen de classer les pages qu il contient, de manière à ce que tout utilisateur puisse accéder rapidement aux informations les plus pertinentes concernant ses recherches. Mais comment classer toutes ces pages Web? Un classement dont le critère principal serait leur qualité s impose naturellement. La notion de qualité est toutefois subjective, et donc très difficile à mesurer. Dans cet exposé je vais d abord présenter une mesure pratique de la qualité d une page : le PageRank. Comme ce moyen est utilisé par la plupart des moteurs de recherche, je vais donner quelques indications sur la manière d optimiser un ensemble de pages Web pour qu elles obtiennent un meilleur PageRank. Ensuite, je vais présenter les modèles de deux types différents d utilisateurs de la toile, l un qui y circule aléatoirement (random-surfer model), l autre qui y circule en se basant uniquement sur les résultats donnés par un moteur de recherche (search-dominant model). Il ressortira du premier modèle que la mesure de qualité donnée au début de cet exposé n est pas vraiment la meilleure et qu on peut dériver un estimateur beaucoup plus précis. Plus loin, la comparaison des deux modèles va mener à la découverte du phéomène richget-richer, induit par PageRank. La confrontation des deux modèles aux données empiriques montrera finalement que, contrairement aux attentes, les moteurs de recherche régulent le trafic sur les pages Web, et cela d une part, parce que les résultats d une requête soumise à un moteur de recherche ne correspondent pas tous toujours à ce que l utilisateur cherche vraiment, ce qui a pour effet de diriger une partie du trafic vers des pages qui normalement ne le méritent pas, d autre part, parce que la taille des listes de résultats varie selon les requêtes. 3

5 Chapitre Mesure de la qualité d une page Web : l algorithme PageRank. L algorithme Soit (t) le nombre total de pages qui existent sur le Web à un instant t. On fixe l instant t = t, et (t ) :=. Soit encore p i la page i, i =, 2, 3,...,. On fait maintenant l Hypothèse.. Un lien de la page p i vers la page p j implique que l auteur de la page p i a un intérêt pour la page p j. Donc, si beaucoup de liens pointent vers la page p j, il est probable que p j intéresse beaucoup d utilisateurs, i.e. p j est de bonne qualité. Par ailleurs, on peut supposer également Hypothèse.2. Soient p i, p j et p k trois pages différentes, i, j, k {, 2,..., }, p i et p j ayant chacune un lien vers la page p k. Si p i est plus importante que p j, i.e. si le nombre de liens qui pointent vers p i est plus grand que le nombre de liens qui pointent vers p j, alors la contribution de p i à la qualité de la page p k est plus grande que celle de p j. Hypothèse.3. Si une page n a pas de lien sortant, alors elle a un lien sortant vers chaque page, i.e. un utilisateur qui arrive sur une telle page, et qui ne veut pas y rester, va choisir une autre page aléatoirement. Sous ces hypothèses, la qualité d une page p i est en quelque sorte le résultat d un vote des autres pages pour p i quant à son importance. La définition suivante de la qualité d une page, le PageRank, est donc raisonnable : Définition.. Soient p,..., p m des pages différentes qui pointent vers p i. Soit c j le nombre de liens qui partent de la page p j, j {,..., m}. Alors le PageRank Pr(p i ) de la page p i est donné par m Pr(p j ) Pr(p i ) := ( d) + d, c j 4 j=

6 où d est une constante appelée facteur d amortissement. On pose souvent d =.85. Remarque.. Le PageRank d une page peut varier entre.5 et plusieurs millions. Il existe une mesure, le Toolbar PageRank, qui indique le logarithme en base de la valeur réelle du PageRank, i.e. des valeurs entre et. Google définit que est la valeur maximale, les autres valeurs sont ensuite ajustées, puisqu elles changent chaque mois. Remarque.2. La constante d est un choix. La définition suivante du PageRank est donc équivalente : m Pr(p j ) Pr(p i ) := d + ( d), c j où on pose alors souvent d =.5. Dans la suite de cet exposé, la définition. sera préférée. Remarque.3. Pour un réseau de pages Web, le vecteur v, dont les composantes sont définies par v i := Pr(p i ), i, est le vecteur propre, associé à la valeur propre λ =, de la matrice A définie par les matrices M d adjacence, T de transition et E de téléportation j= A := ( d)t t + de, où le symbole t en exposant à une matrice signifie qu on en prend la transposée, et où (T ij ) := (M ij ) := (E ij ) :=. (M ij ) k= (M ik) { si la page p i envoie un lien vers la page p j autrement Le facteur d est alors interprété comme la probabilité qu un visiteur de la page p i suive les liens qui sont sur cette page, i.e. comme la probabilité que le visiteur soit toujours intéressé par la page p i. ( d) est alors la probabilité que le visiteur ne soit plus intéressé par p i. Dans ce cas, il va choisir une page de manière aléatoire. Pr(p i ) est donc la probabilité en moyenne, qu un visiteur quelconque soit sur la page p i à l instant t. Dans ce sens, la qualité d une page p i, donnée par Pr(p i ) peut être interprétée comme sa popularité au temps t. damping factor 5

7 .2 Les influences de PageRank Considérons un ensemble de k pages Web différentes, totalement isolées du reste du Web, i.e. des pages vers lesquelles ne pointent que des pages de cet ensemble. On construit plusieurs manières de les lier entre elles, afin d obtenir un site Web. Le nombre n i de pages formant le site i est tel que n i k. On remarque alors que, indépendemment du nombre de pages qu ils contiennent, le PageRank moyen de ces sites n est jamais plus grand que. Toutefois, une page p i dans cet ensemble peut avoir un PageRank Pr(p i ) plus grand que. Il est même possible de concentrer le PageRank sur une ou plusieurs pages, comme le montrent les exemples ci-dessous, tirés de [4]. En introduisant maintenant un site A, obtenu selon la construction expliquée ci-dessus, sur le Web, on s aperçoit que deux phénomènes perturbent la moyenne du PageRank : Phénomène si des pages extérieures au site A pointent vers ce dernier, son PageRank moyen augmente, Phénomène 2 si l une des pages du site A pointe vers une page d un site B externe, alors le PageRank moyen du site A diminue. L augmentation du PageRank, respectivement sa diminution, relative à ces phénomènes, est donnée selon la manière dont sont liées les pages entre elles. Pour faire connaître un site, il faut faire en sorte que d autres sites créent des liens vers lui, et y minimiser les effets dûs au Phénomène 2. Des modèles sont donnés dans les exemples qui suivent. otation.. Par la suite, le PageRank moyen sera noté Pr. Dans les exemples suivants, la valeur du PageRank d une page est notée en rouge. Exemple. (Sites hiérarchisés). Considérons tout d abord un site simple, hiérarchisé, isolé du reste du Web ( Fig..). Dans ce cas, on remarque que le Pr =.9975, et que le PageRank est concentré sur la page d accueil. A propos.69 Accueil.92 Produits.69 Liens.69 Fig.. Pour l ensemble du système, Pr =

8 L ajout de liens vers des sites externes diminue le PageRank de la page d accueil, comme le montre le schéma de gauche dans la Fig..2. Toutefois, si les sites externes vers lesquels le site pointe renvoient chacun un lien vers la page d accueil de ce dernier, celle-ci voit son PageRank augmenter sensiblement, selon le schéma de droite de la Fig..2. Pr =.537 Site.22 Pr =.6625 Site.34 Accueil.92 A propos.4 Produits.4 Site 2.22 Site 3.22 Accueil 3.35 A propos. Produits. Site 2.34 Site 3.34 Liens Site Liens Site Fig..2 Pour l ensemble du système, à gauche, Pr =.378, à droite, Pr =. On remarque que Pr de l ensemble du système change dans chaque situation. Par ailleurs, le Pr du site lui-même (encadré en bleu) change également de manière non négligeable. Exemple.2 (Répartition équitable entre les pages). En adoptant une liaison des pages entre elles sous forme de boucle (à gauche dans la Fig..3), on arrive à répartir équitablement le PageRank sur chaque page. L ajout de liens entre ces pages (à droite dans la Fig..3) ne change rien. Les Fig..4 et.5 montrent un moyen de faire diminuer les effets néfastes des liens qui pointent vers l extérieur ( Phénomène 2). La morale de l exemple.2 est qu il faudrait toujours faire un lien entre une page quelconque d un site Web vers une page qui contient le plan du site, sauf, évidemment, si les pages concernées n ont aucun lien pointant vers des pages extérieures au site. De cette manière, la pénalisation endurée à cause des liens qui pointent vers l extérieur est moins grande. Pour cette raison, idéalement, les pages Erreur 44 devraient être remplacées par une page présentant le plan du site. 7

9 Accueil A propos Accueil A propos Produits Liens Produits Liens Fig..3 Pour l ensemble du système, dans les deux cas, Pr =. Pr =.355 Site Accueil A propos Produits Liens Site 2.78 Fig..4 Comme il y a peu de liens entre les pages du site lui-même, le Phénomène 2 a plus d effets. Pr =.875 Site Accueil 2.28 A propos.62 Produits Liens Site Fig..5 Le site est construit de telle manière que la diminution de Pr est moins forte. 8

10 Chapitre 2 Modélisation des utilisateurs d Internet 2. Définitions générales Définition 2.. Un «random-surfer user» est un utilisateur du Web qui circule de page en page de manière aléatoire, sans être influencé par un moteur de recherche. Définition 2.2. Un «search-dominant user» est un utilisateur du Web qui y circule uniquement en se basant sur les résultats de ses requêtes dans un moteur de recherche. Définition 2.3. La qualité Q(p) d une page p est la probabilité conditionnelle qu un utilisateur quelconque aime la page p lorsqu il la visite pour la première fois Q(p) := P (A p C p ), où A p représente l événement «l utilisateur aime la page p» et C p l événement «l utilisateur visite la page p pour la première fois» (et donc en devient au courant). Définition 2.4. La popularité P(p, t) d une page p au temps t est la probabilité qu un utilisateur du Web aime p au temps t. Définition 2.5. Le trafic T (p, t) sur une page p au temps t est le nombre de visites que la page p reçoit par unité de temps au temps t. Définition 2.6. La probabilité C(p, t) qu un utilisateur soit au courant de l existence de la page p au temps t est le nombre d utilisateurs, relativement au nombre total d utilisateurs du Web, qui connaît la page p au temps t. 2.. Hypothèses Hypothèse 2.. Le Web comprend utilisateurs et on admet que. 9

11 Hypothèse 2.2. Une page p est visitée par n importe quel utilisateur avec la même probabilité, i.e. si le Web compte utilisateurs, la probabilité qu une page p soit visitée par un seul utilisateur est. Hypothèse 2.3. Un utilisateur prend la décision d aimer, ou de ne pas aimer, une page dès sa première visite sur celle-ci et garde cette opinion pour toujours. Hypothèse 2.4. La qualité Q(p) est indépendante du temps. Hypothèse 2.5. Toutes les fonctions introduites dans cette section sont considérées comme des fonctions de la variable t, i.e. comme des fonctions d une seule variable. La variable p est considérée comme une constante dans tous les calculs qui suivent. 2.2 Lemmes Lemme 2.. La popularité d une page p au temps t est donnée par P(p, t) = C(p, t) Q(p). (2.) Démonstration. Selon la définition 2.4, la page p est populaire, s il existe suffisamment d utilisateurs qui l apprécient. Pour qu un utilisateur apprécie p, il faut qu il la connaisse. La probabilité de cet événement est donnée par la définition 2.6. Ensuite, la probabilité qu il l aime est donnée par la définition 2.3. La probabilité qu un utilisateur aime p est donc donnée par le produit de ces deux probabilités. Lemme 2.2. La probabilité qu un utilisateur connaisse la page p au temps t peut être exprimée par ( C(p, t) = exp t ) T (p, t )dt. (2.2) Démonstration. Le nombre total de visites sur la page p, entre les temps t := et t, est T tot (p) = t T (p, t )dt. Soit u un utilisateur surfant de manière quelconque sur le Web. Alors, la probabilité que le i-ième visiteur de p ne soit pas u est ( /). De ce fait, la probabilité que u n ait jamais visité la page p, sachant qu elle a été visitée T tot (p) fois, est ( /) T tot(p). La probabilité que

12 u ne connaisse pas p au temps t est donc, avec l hypothèse 2., ( C(p, t) = lim ) Ttot (p) = lim = lim ( ) R t T (p,t )dt [ ( ) ] R t T (p,t )dt. De l analyse, on connaît Avec le changement de variable La probabilité cherchée devient ( lim + x = exp(). x x) x :=, On obtient donc finalement [ ( + x C(p, t) = lim x ( = exp x ( = exp C(p, t) = exp t ( ) ] R t x x T (p,t )dt T (p, t )dt ) t t T (p, t )dt ). T (p, t )dt ). 2.3 Modèle du «random-surfer user» Hypothèse 2.6. Le trafic est directement proportionnel à la popularité, T (p, t) = r P(p, t), où r est une constante de normalisation.

13 2.3. L évolution de la popularité Avec les définitions, les hypothèses ainsi que les lemmes établis jusqu ici, il est possible d énoncer le Théorème 2.. La popularité P(p, t) d une page p évolue selon P(p, t) = Q(p) ( ) + Q(p) exp ( r P(p,) Q(p)t ), (2.3) où P(p, ) est la popularité de p au moment de sa création P P(p, t) Fig. 2. L évolution de la popularité dans le cas du «random-surfer model», avec Q(p) =.8, = r = 8 et P(p, ) = 8. t Démonstration. Le lemme 2., P(p, t) = C(p, t) Q(p), où C(p, t) est donnée par le lemme 2.2, auquel on applique l hypothèse 2.6, permet d écrire P comme [ ( P(p, t) = exp r t ) ] P(p, t )dt Q(p). (2.4) 2

14 Cette équation différentielle fait intervenir une intégrale, qui est gênante. Il faut en trouver une forme plus simple, ce qui est faisable, avec la définition ( f(t) := exp r t ) P(p, t )dt. (2.5) La dérivée fournit l expression intéressante df dt = r ( exp r t P(p, t )dt ) d dt t P(p, t )dt. Soit g(t) une fonction intégrable sur [, t], dont la primitive est G(t). Alors ( d t ) g(t )dt = d (G(t) G()) = g(t). dt dt Dans ce cas, df dt = r ( exp r = r f(t)p(p, t). t P(p, t )dt ) P(p, t) On peut donc maintenant substituer P(p, t) par une expression qui dépend de f(t) : Avec cette expression, l équation (2.4) devient P(p, t) = r df f dt. df r f dt = ( f)q(p), ce qui est une équation de Verhulst, i.e. la solution est f(t) = + C exp ( r Q(p)t ), où C est une constante qu il faut déterminer avec la condition initiale. Avec la définition (2.5), on obtient donc une nouvelle équation différentielle ( exp r t P(p, t )dt ) = + C exp ( r Q(p)t ), 3

15 qui devient, lorsqu on prend le logarithme des deux côtés, [ ( ln exp r t ) ] [ ] P(p, t )dt = ln + C exp ( r Q(p)t ) r [ ] t P(p, t )dt = ln + C exp ( r Q(p)t ) r t ( ( P(p, t )dt r )) = ln + C exp Q(p)t, i.e. si on dérive les deux côtés par rapport au temps, ( r d t ) ( [ P(p, t )dt = d ln dt dt i.e. + C exp ( ( d r P(p, t) = dt + C exp r Q(p)t )) + C exp ( r Q(p)t ) r r C P(p, t) = Q(p) exp ( r Q(p)t ) + C exp ( r Q(p)t ), P(p, t) = CQ(p) exp ( r Q(p)t ) + C exp ( r Q(p)t ) = exp ( r Q(p)t ) = exp ( r Q(p)t ) CQ(p) C + exp ( r Q(p)t ) CQ(p) ]) ( r ) Q(p)t exp ( r Q(p)t ) + C La condition initiale fournit P(p, t) = Q(p) + exp ( ). (2.6) r C Q(p)t P(p, ) = CQ(p) C + (C + )P(p, ) = CQ(p) C ( P(p, ) Q(p) ) = P(p, ), 4

16 i.e. ce qui donne pour (2.6) i.e. finalement P(p, t) = P(p, t) = C = P(p, ) Q(p) P(p, ), Q(p) + Q(p) P(p,) exp ( r P(p,) Q(p)t ), Q(p) ( ) + Q(p) exp ( r P(p,) Q(p)t ). Corollaire 2.. La popularité de p tend vers sa qualité après suffisamment de temps, i.e. lim P(p, t) = Q(p). t Démonstration. La relation (2.6) permet d écrire Comme il est clair que on voit tout de suite que lim P(p, t) = lim t t Q(p) + exp ( r C Q(p)t ). ( lim exp r ) t Q(p)t =, lim P(p, t) = Q(p). t 2.4 Modèle du «search-dominant user» 2.4. Hypothèses Hypothèse 2.7. Le moteur de recherche travaille toujours avec le même ensemble de pages, et celles-ci sont toujours présentées dans le même ordre, qui est donné par leur PageRank. Hypothèse 2.8. L utilisateur ne se base que sur les résultats du moteur de recherche choisi. Hypothèse 2.9. Le nombre de visites sur la page p au temps t est donné par où r 2 est une constante de normalisation. T (p, t) = r 2 P(p, t) 9 4, (2.7) Remarque 2.. Le nombre de visites sur une page n est plus, comme dans le modèle précédent, directement proportionnel à sa popularité. Ce résultat est donné dans [6]. 5

17 Fig. 2.2 P(p, t) dans le cas du «search-dominant user». Fig. 2.3 Zoom sur la partie principale de P(p, t) L évolution de la popularité Théorème 2.2. Sous les hypothèses qui précèdent, la popularité P(p, t) de la page p au temps t est donnée par l équation i= P i 9 4 (p, t) P i 9 4 (p, ) ( i 9 4) Qi (p) où P(p, ) est la popularité de la page p au moment de sa création. = r 2 t, (2.8) Démonstration. Dans ce cas, la démonstration ne peut pas être faite de la même manière que pour le modèle précédent, à cause de (2.7), qui ne permet pas de se ramener à une équation de Verhulst. 6

18 Avec les lemmes 2. et 2.2, ainsi qu avec l hypothèse 2.9, il est possible d écrire [ ( P(p, t) = Q(p)C(p, t) = Q(p) exp r t ) ] 2 P k (p, t )dt, où k = 9. La dérivée par rapport au temps donne 4 i.e. dp dt = Q(p) r 2 Pk (p, t) exp = r 2 Q(p)Pk (p, t) dp Q(p)P k (p, t) Comme la plupart du temps, on a P(p,t) Q(p) (2.9) avec la série géométrique, P(p,t) Q(p) Le côté gauche de l équation (2.9) devient alors dp Q(p)P k (p, t) ce qui signifie que (2.9) devient P(p,t) Q(p) i= L intégration des deux côtés donne P(p,t) i= i= ( ( r 2 P(p,t) Q(p) t P(p, t) Q(p) P k (p, t )dt ) ), = r 2 dt. (2.9) <, on peut transformer l expression de gauche de = = = i= ( ) i P(p, t). Q(p) dp Q(p)P k (p, t) i= i= P i k (p, t) Q i+ (p) dp, P i k (p, t) Q i+ (p) dp = r 2 dt. i= P(p,t) P i k (p, t) t r 2 Q i+ (p) dp = P i k (p, t) Q i+ (p) dp = t P i k+ (p, t) + C = r 2 i k + Q i+ (p) t. 7 ( ) i P(p, t), Q(p) dt r 2 dt

19 La substitution j := i + permet de simplifier les indices utilisés dans cette expression ( i j ) P j k (p, t) + C = r 2 j k Q j (p) t, j= où C est la constante d intégration, déterminée par la condition à la limite pour t = P i k (p, ) + C =, i k Q i (p) i.e. Finalement, on obtient ce qui correspond à (2.8). i= i= C = i= i k P i k (p, ). Q i (p) P i k (p, t) P i k (p, ) i k Q i (p) = r 2 t, 2.5 Un meilleur estimateur de qualité Comme par hypothèse la qualité d une page traduit l intérêt des utilisateurs pour cette page, l estimateur de qualité doit être dérivé à partir du modèle du «random-surfer user», puisque l utilisateur fait ses choix lui-même sans aucune autre influence. Or, les calculs effectués dans la description de ce modèle montrent que la popularité d une page est un mauvais estimateur de sa qualité, sauf pour t suffisamment grand, comme le montre le corollaire 2.. Le lemme suivant ouvre la voie vers un meilleur estimateur : Lemme 2.3. La qualité Q(p) de la page p est donnée par Q(p) = r dp dt Démonstration. Selon le lemme 2., on a la relation P(p, t) ( ). (2.) C(p, t) P(p, t) = C(p, t)q(p). A l aide du lemme 2.2, complété de l hypothèse 2.6, on trouve alors dp dt = Q(p)dC dt = Q(p) r d dt ( t = r Q(p)P(p, t) exp ) ( P(p, t )dt exp ( r 8 t r t P(p, t )dt ), P(p, t )dt )

20 i.e. Q(p) = r dp dt ( ) P(p, t) exp r t = P(p, t )dt dp r dt P(p, t) ( C(p, t) ). Contrairement à C(p, t), l augmentation relative de P(p, t) est facilement mesurable. Elle va donc jouer un rôle fondamental dans la recherche de l estimateur idéal : Définition I(p, t) := r dp dt P(p, t). (2.).7.6 P(p, t) I(p, t) Fig. 2.4 I(p, t) et P(p, t). Théorème 2.3. L estimateur Q(p) est donné par t Q(p) = I(p, t) + P(p, t). (2.2) Démonstration. Selon le lemme 2.2, et sous l hypothèse 2.6, [ dc dt = d ( exp r t ) ] P(p, t )dt dt = r ( P(p, t) exp r t ) P(p, t )dt = r P(p, t)( C(p, t) ). 9

21 .8 I(p, t) + P(p, t) t Fig. 2.5 Q(p) = I(p, t) + P(p, t). Donc, i.e. dp dt = Q(p)dC(p) dt Q(p) = r dp dt = r P(p, t) (Q(p) P(p, t)), + P(p, t) = I(p, t) + P(p, t). P(p, t) Remarque 2.2. Dans cet exposé, il a été supposé dès le départ que Q(p) Q(p, t). On peut montrer que lorsque la qualité change avec le temps, on obtient les mêmes résultats. 2

22 Chapitre 3 Le phénomène «rich-get-richer» Définition 3.. Le phénomène «rich-get-richer» consiste en l augmentation de la popularité de pages déjà très populaires alors que, parallèlement, les nouvelles pages évoluent très peu. 3. Données empiriques Des expériences ont été menées sur le Web pour tenter de montrer que ce phénomène existe vraiment ([]). Deux images d une partie du Web (54 sites Web) ont été prises en l espace de sept mois. Elles ont été divisée à chaque fois en dix sous-groupes, selon le PageRank des pages (i.e. le groupe i contient les pages de rangs (i )/ à i/, i ). Ensuite, dans une première phase, on a considéré le nombre de liens qui pointent vers une page comme la mesure de la popularité de cette page. La représentation graphique des augmentations absolue et relative du nombre de liens pointant vers chacune des pages en fonction de leur popularité montre que ce sont les pages les plus populaires qui augmentent le plus leurs popularités, tandis que les pages qui appartiennent aux groupes à 6 ne voient aucune différence (Fig. 3.). Le nombre LE(G i, I i ) total des liens entrant sur les pages du groupe G i dans l image I i est définie par LE(G i, I i ) = p G i LE(p, I i ). L histogramme i sur la partie gauche ou droite de la Fig. 3. représente simplement la différence entre les deux images LE(G i, I 2 ) LE(G i, I ). On obtient des résultats similaires en utilisant le PageRank comme mesure de la popularité (Fig. 3.2), où l interprétation des histogrammes est similaire au cas précédent. L interprétation de ces graphiques laisse penser que le phénomène «rich-get-richer» existe. 2

23 Fig. 3. Augmentation absolue des liens arrivant sur les pages dans chaque sous-groupe. Fig. 3.2 Augmentation absolue du PageRank des pages de chaque sous-groupe. 3.2 Comparaison des deux modèles entre eux La comparaison des Fig. 2. et 2.2 conduit au constat suivant : la différence est énorme! Lorsque les internautes ont un comportement décrit par le modèle du «random-surfer user», on distingue clairement trois phases : Phase : «enfance» Pour t [, 5], on observe une évolution négligeable de la popularité de la page p. Phase 2 : «croissance» Pour t [5, 3], on remarque une croissance claire et nette de la popularité de la page p jusqu à un seuil, qui correspond à sa qualité selon le corollaire 2.. Phase 3 : «maturité» Dans l intervalle de temps [3, [, la popularité de la page p reste à son seuil. La popularité ne bouge donc plus si la qualité est indépendante du temps. Si, au contraire, les internautes ont un comportement décrit par le modèle du «search-dominant user», on remarque que la phase «croissance» est extrêmement rapide et arrive très tard par rapport au cas précédent. 22

24 Fig. 3.3 Confrontation des modèles aux données empiriques : k représente la popularité P(p, t), et t le trafic T (p, t). C est cette raison, appuyée par les résultats expérimentaux présentés dans la section précédente, qui motivent l idée que le phénomène «rich-get-richer» existe, i.e. que les moteurs de recherche biaisent l évolution de la popularité des pages Web. 3.3 Comparaison des deux modèles avec les données empiriques La confrontation de ces deux modèles avec les données réelles du Web a été effectuée dans [3]. Le résultat est présenté sur la Fig Les notations qui y figurent ne sont pas celles qui ont été adoptées dans cet exposé : k correspond à P, et t à T. Les mesures qui ont été prises dans [3] estiment l exposant dans l hypothèse 2.9 à environ.8. On remarque sur cette figure que ni le premier, ni le second modèle ne décrivent bien la situation réelle. C est une preuve que ces 23

25 deux modèles ne correspondent pas à la réalité. L explication de cette incohérence vient du fait qu un paramètre essentiel lié aux moteurs de recherche a été oublié : la discordance éventuelle entre la requête entrée par l utilisateur et les résultats proposés par le moteur de recherche. En effet, on remarque qu il y a souvent, dans les listes de résultats retournées par un moteur de recherche, des résultats non désirés, qui n ont aucun lien avec ce qui a vraiment été demandé. 24

26 Chapitre 4 Un modèle approprié aux données otation 4.. R est le rang de la page p par rapport à toutes les pages du Web entier. Il est proportionnel au PageRank. r est le rang de la page p au sein d une liste de n résultats retournée par un moteur de recherche. 4. Modèle simplifié 4.. Hypothèses Hypothèse 4.. Le Web comprend pages, et. Hypothèse 4.2. Le trafic T (p, t) sur la page p au temps t est lié à son rang R par la relation T (p, t) = cr α (p, t), (4.) où c est une constante de normalisation, et α =.63 ±.5, selon les mesures présentées dans [3]. Dans les modèles précédents, on a supposé α = 3, comme donné dans [7]. 2 Hypothèse 4.3. Le rang R(p, t) d une page p au temps t est lié à son PageRank par la relation où r 3 est une constante de normalisation. R(p, t) = r 3 P β (p, t), La valeur de β varie selon les sources : selon [], β = 3/2, et selon [3], β.. Hypothèse 4.4. La métrique PageRank est le principal facteur de tri des pages Web. 25

27 Hypothèse 4.5. Le moteur de recherche tire n importe quelle page p avec la probabilité h, h, i.e. le processus de recherche obéit à une loi de Bernoulli. Avec cette hypothèse, on peut définir la variable T (p) aléatoire correspondant à l événement «tirer la page p» { avec probabilité h T (p) := (4.2) avec probabilité h Alors, le nombre n total de pages tirées est simplement l espérance de T (p), i.e. n = h. (4.3) Hypothèse 4.6. Les internautes sont des «search-dominant users». Cette dernière hypothèse traite en fait le cas le plus critique des modèles présentés dans le chapitre L évolution du trafic sur une page de rang R Proposition 4.. La probabilité t(r,, h) que la page de rang R soit visitée sous les hypothèses énoncées dans la sous-section 4.., est donnée par t(r,, h) = n= r= n ( )( r α R R n hn ( h) n m= m α r n r ), (4.4) où n m= m α est la constante de normalisation propre à la probabilité t à l intérieur d une liste. Démonstration. Soit n la taille d une liste de résultats. La situation est présentée sur la Fig. 4.. La probabilité p(r, r,, n, h) que la page de rang R ait un rang r dans une liste de n résultats est la probabilité p de sélectionner r pages dans l ensemble des R pages de rangs {, 2,..., R }, multipliée par la probabilité p 2 de sélectionner n r pages dans l ensemble des R pages de rangs {R +, R + 2,..., }, multipliée par la probabilité h de sélectionner la page de rang R : p(r, r,, n, h) = p p 2 h. Le nombre de possibilités qu il y a de sélectionner r pages parmi celles de l ensemble {, 2,..., R } est donné par le coefficient binomial ( ) R. r 26

28 liste de n résultats Web 2. R R R r r = R r +. n éléments sélectionnés avec probabilité p élément sélectionné avec probabilité h éléments sélectionnés avec probabilité p 2 Fig. 4. Création des listes de résultats. La probabilité p est donc donnée par ce nombre de possibilités, multiplié par la probabilité de sélectionner r pages, multiplié par la probabilité de ne pas sélectionner les (R ) (r ) autres pages : ( ) R p = h r ( h) (R ) (r ). r On trouve la probabilité p 2 de la même manière : Ceci donne pour p p 2 = h n r ( h) ( R) (n r) ( R n r p(r, r,, n, h) = h r ( h) (R ) (r ) ( R r ) ). h n r ( h) ( R) (n r) ( R n r ) h, i.e. p(r, r,, n, h) = h n ( h) n ( R r )( R n r ). 27

29 La probabilité t(r, r,, n, h), normalisée, de visiter la page de rang R alors qu elle a le rang r à l intérieur d une liste de n résultats est alors t(r, r,, n, h) = r α n m= m α p(r, r,, n, h). (4.5) Finalement, la probabilité t(r,, h) qu un utilisateur clique sur la page de rang R est donnée par la somme des probabilités (4.5) sur tous les rangs r que cette page peut avoir dans une liste de longueur n, et sur toutes les longueurs de listes possibles, i.e. t(r,, h) = n= r= n t(r, r,, n, h). Malheureusement, cette fonction ne peut pas être exprimée directement analytiquement de manière simple, sauf pour le cas où h =. En effet, dans ce cas, n =, et r = R, et ( )( ) R α R R t(r,, ) = R α = m= m α R R, m= m α i.e. la relation (4.). En simulant le processus, comme cela est présenté dans la sous-section qui suit, on obtient selon les variables choisies pour la représentation, soit la Fig. 4.2, soit la Fig On peut donner une forme algébrique plus précise pour t(r,, h) à partir du résultat de cette simulation : t(r,, h) = hf (Rh)A(), (4.6) i.e. t(r,, h) = F (Rh)A(). h La fonction t(r,, h) peut en fait être exprimée comme une fonction de Rh, et on voit clairement que { const. pour h Rh F (Rh) := (Rh) α pour Rh. On remarque de cette manière, avec F (Rh) = const. si R h, que plus h est petit, plus le plateau est grand. Cela signifie que plus une requête est spécifique, plus le trafic est réparti équitablement entre les pages proposées dans les listes de résultats. La courbe qui résulte de cette simulation reproduit en bonne approximation les données empiriques de la Fig Ce modèle est toutefois simplifié. On peut arriver à un meilleur résultat avec le modèle présenté dans la section suivante : on voit en effet sur la Fig. 3.3 que pour des popularités petites (i.e. k petit selon les notations de la figure), le trafic ne descend pas directement vers. 28