Analyse des réseaux sociaux

Transcription

1 Analyse des réseaux sociaux Emmanuel Viennet Laboratoire de Traitement et Transport de l Information L2TI Université Paris 13 Réseaux sociaux, analyse et data mining École Normale Supérieure Journée organisée par le groupe «Data mining et apprentissage» Société Française de Statistique 16/02/2010 E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

2 Plan de l exposé 1 Introduction: fouille des réseaux sociaux 2 Caractérisation des réseaux sociaux 3 Analyse relations/contenu: un exemple d approche 4 Analyse structurelle: communautés 5 Catégorisation de nœuds 6 Méthodes à noyaux pour les graphes E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

3 Plan de l exposé 1 Introduction: fouille des réseaux sociaux 2 Caractérisation des réseaux sociaux 3 Analyse relations/contenu: un exemple d approche 4 Analyse structurelle: communautés 5 Catégorisation de nœuds 6 Méthodes à noyaux pour les graphes

4 Croissance du Web... E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

5 Croissance des médias sociaux Du web des contenus au web des utilisateurs? Début 2010: Facebook: 400 millions d utilisateurs Twitter: 20 à 60 millions Orkut: 25 millions au Brésil SkyBlog, MySpace, LinkedIn,... E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

6 Les entreprises collectent de plus en plus de données sur les relations entre leurs clients E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

7 Mais quels modèles économiques? Sites payants: peu d audience Sites institutionnels (services publics) Mécénat, donations (Wikipédia) Site gratuits, publicité Publicité personnalisée Marketing viral Marketing temps réel... Et pour fidéliser les visiteurs d un site social : animation de communauté, suivi d un site à l autre,... besoin d analyse (fouille) de données de type graphe E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

8 Mais quels modèles économiques? Sites payants: peu d audience Sites institutionnels (services publics) Mécénat, donations (Wikipédia) Site gratuits, publicité Publicité personnalisée Marketing viral Marketing temps réel... Et pour fidéliser les visiteurs d un site social : animation de communauté, suivi d un site à l autre,... besoin d analyse (fouille) de données de type graphe E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

9 Contexte: fouille de données structurées Des tables aux données structurées... Modèles: discrimination, régression, classification... E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

10 Réseaux (sociaux ou non) Pages Web Routeurs Internet Facebook Communications Citations Biologie E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

11 Réseaux sociaux à l ère Internet... Appels téléphoniques Courrier électronique Réseaux de co-auteurs Réseaux d amitié Réseaux organisationnels Réseaux d affiliation E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

12 Exemple: le réseau Twitter Chaque utilisateur: émet de courts messages (140 caractères) suit (reçoit) les messages de quelques utilisateurs suivi (lu) par d autres. Tous les messages sont publics Environ 25 millions d utilisateurs (?) E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

13 Analyse du réseau Twitter (2007, Bruno Peeters, Belgium) E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

14 Marketing & recommandation: la longue traine Chris Anderson, The Long Tail, Wired, Issue October 2004 E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

15 Marketing, recommandation et réseaux sociaux Besoin de recommandations personnalisées! > 50% font des recherches en ligne avant d acheter Les recommandations personnalisées sont basées sur les achats et notations passées, par ex. le système d Amazon les clients qui ont acheté ceci achètent aussi cela MovieLens, based on ratings of users like you... Epinions, based on the opinions of the raters you trust... Nous sommes plus facilement influencés par nos amis que par des inconnus! 68% des clients consultent leurs amis ou famille avant d acheter des produits électroniques (Burke 2003) E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

16 Applications de l analyse des réseaux sociaux Étude de la structure des réseaux: communautés, diffusion,... (animation, vente ciblée) Web: recherche, extraction d information Marketing: identifier des groupes de clients ou produits pour faire des recommandations (publicité ciblée, marketing viral) Personalisation (interfaces, services) Epidémiologie Détection de fraude Sécurité (contre-terrorisme)... E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

17 Problèmes intéressants pour la fouille de données Un domaine scientifiquement passionnant et pluri-disciplinaire: Data mining et Apprentissage pour: la caractérisation des réseaux sociaux la modèlisation de la diffusion d information (par ex. pour le marketing viral) la modèlisation de l évolution (par ex. créations de nouveaux liens) la classification de nœuds E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

18 Plan de l exposé 1 Introduction: fouille des réseaux sociaux 2 Caractérisation des réseaux sociaux 3 Analyse relations/contenu: un exemple d approche 4 Analyse structurelle: communautés 5 Catégorisation de nœuds 6 Méthodes à noyaux pour les graphes

19 Ordres de grandeurs Quelques jeux de données utilisés en recherche: Nombre de nœuds s labo sur 2 mois s sur 2 ans amitiés entre bloggueurs 4,4 millions Téléphone millions Communications IM 240 millions Parcimonie (sparseness): nombre de liens proportionnel au nombre de nœuds. E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

20 Graphes Théorie des graphes depuis Euler... Très nombreux résultats: chemins, flots, cliques, décompositions spectrales C A E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

21 Réseaux sociaux et graphes: quelles différences? Un réseau social est un graphe, mais: nœuds porteurs d attributs liens valués pouvant porter des données (messages) similarité entre deux nœuds = f (attributs, liens) caractéristique du réseau 6= graphe aléatoire (propriétés structurelles spéciales) E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

22 Exemple de propriété structurelle: l effet petit monde Longueur moyenne du plus court chemin reliant deux nœuds petite. six degrés de séparation Caractéristique liée à la distribution des degrés: graphe sans-échelle (Barabasi, 2000), suivant une loi de Pareto: P(degré d un nœud = k) k γ E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

23 Exemple: simulation du réseau Internet (Mahadevan et al., 2007) E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

24 Etude des réseaux sociaux: terminologie Contagion: flux dans le graphe (microbes, information, modes...) Connection: arêtes du graphe social Homophilie: qui se ressemble s assemble E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

25 Transitivité dans les réseaux sociaux Une relation sociale est transitive si tous les acteurs sont liés: triangles Coefficient de clustering Lié au nombre de voisins d un nœud qui sont eux mêmes reliés (Watts et Strogatz, 1998) A, C: grande transitivité, ancrés dans leurs groupes B, D: faible transitivité, ponts E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

26 Intermédiarité Définition Nombre de plus courts chemins passant par une arête (Newman 2004) Utilisation: nœuds importants pour la communication découpage en communautés E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

27 Communautés (P. Pons, 2007) Recherche de communautés = partitionnement du graphe en N Identification = recherche d une communauté autour d un nœud donné E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

28 E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

29 Hiérarchie de communautés et modularité D après Newman & Girvan, 2004 E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

30 Intérêt de la recherche de communautés Organisation structurelle (micro ou macro) Évolution temporelle (voir exposé de JL Guillaume) Visualisation Permettre une analyse locale des interactions Animation des réseaux sociaux... E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

31 Plan de l exposé 1 Introduction: fouille des réseaux sociaux 2 Caractérisation des réseaux sociaux 3 Analyse relations/contenu: un exemple d approche 4 Analyse structurelle: communautés 5 Catégorisation de nœuds 6 Méthodes à noyaux pour les graphes

32 Clustering à base de modèle pour les réseaux sociaux Ce type d approche vise à modéliser simulanément les distributions de probabilité des attributs de nœuds et de leurs positions dans l espace social : on introduit des variables latentes. Représentation du réseau social La matrice Y ij décrit les liens entre les nœuds. Z = z i R d donne les positions des nœuds dans l espace (latent) R d E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

33 Modélisation (suite): le modèle Exemple: approche de Handcock & Raftery, 2006 n nœuds, Y = y ij matrice d adjacence ( sociomatrix ). Les liens sont considérés comme indépendants: P(Y Z, X, β) = i j P(y ij z i, z j, x ij, β) où: X : attributs des nœuds (ou de la paire (i, j)) β : paramètres du modèle Modélisation par régression logistique: avec 1 n i z i 2 = 1 logit(y ij = 1 z i, z j, x ij, β) = β T 0 x ij β 1 z i z j E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

34 Modélisation (suite): estimation Clustering par modélisation des coordonnées z i en mixture de gaussiennes: z i G λ g exp( z i µ g 2 ) with λ g > 0 and λ g = 1 g=1 2σ 2 g G nombre de clusters, fixé à priori Estimation des paramètres : maximum de vraisemblance (chaîne de Markov ou Monte Carlo) estimation coûteuse en calculs E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

35 Modélisation (suite):: application 1 Le choix du nombre de clusters G se pose comme un problème de sélection de modèle (utiliser par exemple un critère BIC) lent! Relations entre moines Étude sociologique: amitié entre moines 18 nœuds (moines) 3 groupes de moines, qui correspondent à ceux identifiés par les sociologues E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

36 Modélisation (suite): application 2 Liens entre adolescents dans un collège Relations entre 71 adolescents (ici 6 clusters) E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

37 Modélisation (suite): conclusions Méthodes complexes (calculs lourds) mais précises Prise en compte simultanée des liens et des nœuds Applicable uniquement aux très petits réseaux! = on utilise souvent les méthodes structurelles d extraction de communautés, qui ne prennent en compte que les liens (le graphe) E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

38 Plan de l exposé 1 Introduction: fouille des réseaux sociaux 2 Caractérisation des réseaux sociaux 3 Analyse relations/contenu: un exemple d approche 4 Analyse structurelle: communautés 5 Catégorisation de nœuds 6 Méthodes à noyaux pour les graphes

39 Principal critère de qualité: la modularité La modularité mesure la qualité d un découpage du graphe en c communautés Q = i (d ii ( j d ij ) 2 ) D matrice c c, dont les éléments d ij donnent la proportion de liens reliant des nœuds de la communauté i à la communauté j Q [ 1, 1] mesure la densité des liens intra-communautaires vs inter-communautaires E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

40 Recherche de communautés structurelles De nombreux progrès récents Méthodes basées sur l intermédiarité Première proposition: Newman & Girvan (2004) Répéter: 1 calculer l intermédiarité des arêtes 2 couper l arête la plus importante jusqu à isoler tous les nœuds (méthode séparative) Pour un grand réseau parcimonieux de n nœuds: Newman & Girvan 2004 O(n 3 ) Newman 2004 O(n 2 ) Wakita & Tsurumi 2007 O(n log 2 n) Blondel et al. (Louvain) 2008 O(n log n) moins de 5 minutes pour 1 million de nœuds, ou 40 minutes pour 23 millions E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

41 Exemple 1: réseau de collaboration entre scientifiques D après K. Martin et M. Avnet, E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

42 Exemple 2: site web collaboratif Liens entre utilisateurs du site MyMondomix (projet ANR CADI) Modularité Q = 0, 62 E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

43 Exemple 3: XTelco Données d un opérateur téléphonique Numéro appelant Numéro appelé Durée d appel millions d appels, 25 millions de clients. Niveau Nœuds Modularité 0 22 millions 0,53 1 2,5 millions 0, , ,79 E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

44 Identification of communautés Chercher un voisinage (micro-communauté) à partir d un nœud donné E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

45 Principes de l approche physique (Wu & Huberman) On considère le graphe comme un circuit électrique Loi de Kirchhoff sur le nœud C: n I i = i=1 n i=1 V Di V C R = 0 Si graphe avec arcs valués par w ij, on défini R ij = w 1 ij On fixe la tension en deux nœuds: V 1 = 1, V 2 = 0 et on a: V i = 1 k i n V j a ij + 1 a i1 k i j=3 pour i = 3,..., n k i : degré du nœud i, a ij matrice d adjacence. Ce système d équations linéaires se résoud en O(n 3 ) (lent). E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

46 Résolution approchée rapide Méthode itérative: 1 fixer V 1 = 1, V 2 = = V n = 0 (en temps O(V )) 2 mettre à jour la tension de chaque nœud (en O(E)) 3 répèter l étape 2 La précision après l étape 2 ne dépend que du nombre d itérations, pas de la taille du graphe. Quelques dizaines d itérations suffisent pour converger. E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

47 Recherche de communautés: problèmes ouverts Prendre en compte (efficacement) les attributs des nœuds et la structure du graphe. La modularité est-elle le bon critère? (eg Fortunato 2006) Contrôler la distribution des tailles des communautés Communautés avec recouvrement Suivi dynamique Graphes bipartites E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

48 Plan de l exposé 1 Introduction: fouille des réseaux sociaux 2 Caractérisation des réseaux sociaux 3 Analyse relations/contenu: un exemple d approche 4 Analyse structurelle: communautés 5 Catégorisation de nœuds 6 Méthodes à noyaux pour les graphes

49 Catégorisation de nœuds Applications: marketing (churn, influence), categorization de textes,...?? E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

50 Catégorisation de nœuds Première approche: Relaxation labeling par ex. (Angelova et al 2006) Augmentation d un tiers du score F1 / SVM sur les noeuds seuls. => gains importants sur des applications diverses E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

51 Catégorisation de nœuds: une approche simple La RL est lente sur de grands graphes Idée: pour catégoriser les nœuds à partir de leurs attributs et de leur position dans le graphe, exprimer celle ci comme de nouveaux attributs: caractéristiques locales du graphe (degré, triangles,...) attributs décrivant la communauté à laquelle appartient le nœud E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

52 Exemple: catégorisation de texte E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

53 Catégorisation de texte (suite) E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

54 Application: triage de bugs (Bugzilla) Bug tracker du projet Eclipse (Open Source) Réseau de développeurs bug reports, 2100 utilisateurs liens: personnes travaillant sur le même bug objectif: associer le bug à un développeur Niveau # communautés Modularité Méthode Performance TF-IDF SVM 32% TF-IDF + Communauté de l auteur SVM 38% E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

55 Plan de l exposé 1 Introduction: fouille des réseaux sociaux 2 Caractérisation des réseaux sociaux 3 Analyse relations/contenu: un exemple d approche 4 Analyse structurelle: communautés 5 Catégorisation de nœuds 6 Méthodes à noyaux pour les graphes

56 Espace de représentation et noyaux Projection dans un espace de représentation: transformation Φ X Φ F O X Φ(Ο) Φ(X) Φ(Ο) O X X X Φ(Ο) Φ(X) O Φ(Ο) Φ(X) Φ(X) O X Φ(Ο) Φ(X) O Kernel K (x, y) = < φ(x), φ(y) > SVM non linéaire: ŷ = α i K (x i, x) + b i SV kernel trick utilisé dans de nombreux modèles, comme l ACP, l Analyse Discriminante, la régression PLS,... peut s appliquer aux cas où l on ne dispose pas de représentation vectorielle des exemples (chaînes de symboles, arbres, graphes...) E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

57 Définir des noyaux Condition d admissibilité symétrique: k(x, y) = k(y, x) semi-définie positive: c i c j k(x i, x j ) 0 On peut construire des noyaux à partir d autres noyaux: combinaison: k(x, y) = w α k α (x, y), w α 0 composition: k(x, y) = D k d (x d, y d ) (Haussler 1999) d=1 Exemples: noyaux pour séquences, arbres, graphes Exemple simple: noyau sur arbres t t c 0 c 1 c 2 c 0 c 1 k(t, t ) = 2 1 k c (c i, c j ) i=0 j=0 E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

58 Définir des noyaux Condition d admissibilité symétrique: k(x, y) = k(y, x) semi-définie positive: c i c j k(x i, x j ) 0 On peut construire des noyaux à partir d autres noyaux: combinaison: k(x, y) = w α k α (x, y), w α 0 composition: k(x, y) = D k d (x d, y d ) (Haussler 1999) d=1 Exemples: noyaux pour séquences, arbres, graphes Exemple simple: noyau sur arbres t t c 0 c 1 c 2 c 0 c 1 k(t, t ) = 2 1 k c (c i, c j ) i=0 j=0 E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

59 Apprentissage à base de noyaux pour la catégorisation de nœuds Rappel: condition d admissibilité K semi-définie positive: f x, f x f x K (x, x ) 0 x x Suivant l approche d Haussler (1999), on peut écrire: e βh = lim n (1 + βh n )n (1) = I + βh + β2 2! H2 + (2) H auto-adjoint K = e βh semi-définie positive. Le paramètre β contrôle la localité du noyau obtenu (diffusion sur le graphe). E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

60 Noyau de diffusion 1 si i j Laplacien du graphe: L = D A, soit L = d i si i = j 0 sinon Le Laplacien se retrouve souvent en analyse spectrale des graphes. Remarque: t w, w T Hw = Ψ = µ Ψ : équation de la chaleur Si K = e βh, on a d dβ K β = LK β & Lafferty 2002). (i,j) E (w i w j ) 2 : équation de la chaleur sur le graphe (Kondor K β (i, j) can be seen as the energy injected in i received in j, with diffusion parameter β E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

61 Noyau de diffusion: mise en œuvre K (0) = I ( K (β) = lim I + βl ) s s s Problème: K est une matrice dense, même si L est sparse. utilisation impossible sur de très grands graphes Mais résultats intéressants: exemple jeux de données WebKB : pages webs, 7 classes ( universités) - de 8 à 15% d erreur en ignorant le texte des pages! Applications possibles en transductif (suggéré par Gärtner et Smola 2007). E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

62 Conclusions L analyse des réseaux sociaux pose de nouveaux défis pour la fouille de données: échantillons non iid, structure, grands volumes, évolution... Les nouvelles applications industrielles (Telco, Web 2.0,...) produisent d énormes volumes de données en réseau, avec une forte valeur potentielle Nombreuses recherches, nouvelles méthodes et algorithmes. Aujourd hui Évolution des communautés: J.-L. Guillaume Outils industriels: F. Soulié-Fogelman Analyse des données d un grand site social : R. Kirche Apprentissage et inférence: L. Denoyer E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

63 Références principales (1) Ouvrages généraux Albert-Laszlo Barabasi. Linked. Perseus Publishing, Nicholas A. Christakis and James H. Fowler. Connected: The Surprising Power of Our Social Networks and How They Shape Our Lives. Little, Brown and Company, Chris Anderson. The Long Tail. Random House Business, E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

64 Références principales (2) Recherche de communautés M. E. J. Newman. Modularity and community structure in networks. PNAS, 103(23): , June Luciano da F. Costa, Francisco A. Rodrigues, Gonzalo Travieso, and P. R. Villas Boas. Characterization of complex networks: A survey of measurements. Advances in Physics, 56(1): , January Santo Fortunato. Community detection in graphs. Physics Reports, Jun V.D. Blondel, J.L. Guillaume, R. Lambiotte, and E.L.J.S. Mech. Fast unfolding of communities in large networks. Journal of Statistical Mechanics: Theory and Experiment, P10008: , E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

65 Références principales (3) Graphes et apprentissage Jure Leskovec. Dynamics of large networks. PhD thesis, Carnegie Mellon University, September Diane J. Cook and Lawrence B. Holder. Mining Graph Data. John Wiley & Sons, Nello Cristianini and John Shawe-Taylor. An introduction to support vector machines : and other kernel-based learning methods. Cambridge University Press, March E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69

66 Merci de votre attention! Ce travail a été partiellement financé par l ANR (projets CADI 2007 TLOG 003, Ex DEUSS 2009 CORD 010), par la DGCIS (projet CEDRES ) et par le pôle Cap Digital E. Viennet (L2TI) Analyse des réseaux sociaux 16/02/ / 69