Gephi les fondations. Clément Levallois Gephi Support Team et professeur à l EMLyon Business School (2014 -)

Transcription

1 Gephi les fondations Clément Levallois Gephi Support Team et professeur à l EMLyon Business School (2014 -) V 1.0 Nov

2 Note biographique Formation initiale en économie et sciences de gestion, puis doctorat en histoire des sciences. Je me suis tourné depuis 2008 vers les méthodologies digitales data visualization, analyse de réseaux, natural language processing, applications web, etc. Membre de la Gephi Community Support team Formateur Gephi certifié, créateur de plugins. En poste à la Rotterdam School of Management ( ), professeur à l EMLyon à partir de Contact et remarques: sur ou

3 L EQUIPE GEPHI 3

4 Gephi Logiciel créé en 2008 par une équipe de 4 ingénieurs en informatique inspirés par un professeur: 4

5 Gephi En 2013, 11 développeurs Une vingtaine de développeurs de plugins 4 Google Summer of Code Java Duke Award en ,000 téléchargements l année passée Interface de Gephi disponible en français, espagnol, japonais, brésilien, russe, chinois, polonais et tchèque. Près de 1,600 publications universitaires citent Gephi. Forum actif ( 5

6 Gephi Un logiciel écrit en Java pour Mac, PC et Linux Existe en version pour programmeurs (le Gephi Toolkit) pour créer des graphes automatiquement via API Un écosystème de plugins et d applications apparentées Un engagement pour l open source, le service logiciel de qualité et la liberté d utilisation. 6

7 Les plugins Gephi Vous avez accès à un programmeur Java (même junior?) le «Gephi plugin bootcamp» fournit des exemples très simples pour créer de nouveaux plugins: Quel temps de travail pour un plugin? Comptez une journée de formation pour la familiarisation. Puis: ~ une journée pour un plugin très simple. ~ une semaine pour des fonctions plus avancées. 7

8 Le futur de Gephi Gephi est actuellement en version bêta (0.8.2) Signifie que le logiciel va encore subir des évolutions majeures, et qu il n est pas stable (bugs et crashes sont une réalité!) La prochaine version (0.9) arrivera sans doute en 2014, et apportera des gains de performance notables. La version 1.0 est encore loin dans le futur (2015? 2016?). Gephi sera alors stable et «achevé». 8

9 Une remarque sur ces slides Signale un point important ou une erreur à éviter. 9

10 SETUP DE GEPHI 10

11 Check list - Vérifiez que vous avez bien la version de Gephi la plus récente (0.8.2 beta en 2013) - Dans le menu de Gephi, sélectionnez Help -> Check for updates et installez les mises à jour - Vous aurez besoin d une souris avec molette centrale pour faciliter les zooms - Dans le menu de Gephi, sélectionnez Tools -> Options -> Visualization -> OpenGL - Ici, augmentez le facteur d anti-aliasing. Selon votre carte graphique cela peut apporter un gain substantiel de rendu à l écran. - Nous allons télécharger des plugins. Vérifiez que votre connexion Internet fonctionne. - Si par la suite Gephi manque de mémoire (graph de grande taille, etc.) gardez ce lien parmi vos favoris: 11

12 Ajouter des plugins à Gephi Les plugins sont des bouts de logiciel ajoutables à Gephi. Ils ont été créés par des utilisateurs ou des entreprises, qui les ont partagés librement. Dans le menu de Gephi, sélectionnez: Tools -> Plugins -> Available plugins Sélectionnez avec la case à cocher les plugins suivants: Circular Layout, Force Atlas 3D Cliquez sur Install et suivez les instructions Note: Vous remarquerez qu il y a un menu Plugin dans la fenêtre principale de Gephi, qui est vide. C est une fonction secrète. (ou juste un aspect de l interface mal conçu!) 12

13 Une note sur la terminologie Un sommet (ou noeud. par mauvaise habitude j emploie la terminologie anglaise node ). X Une arête (ou un lien, une connection le terme anglais est edge ) Y Y est né en Y est célibataire / marié Y a pour latitude Y a pour longitude Attributs du node (NB: les liens peuvent aussi avoir des attributs!) 3 Un graphe orienté (la direction des liens a une signification le lien s appelle alors arc ) Un graphe non-orienté (la direction des liens n a pas d importance) Un graphe valué (les liens ont une valeur numérique attachée un poids ) 13

14 PRATIQUE D UN WORKFLOW A-Z 14

15 Les étapes Importer un réseau Spatialiser un réseau Visualiser des attributs présents dans les données Visualiser des attributs créés par Gephi Exporter une visualisation 15

16 Le jeu de données Réseau de co-occurrence des personnages des Miserables, par Victor Hugo 2 personnages sont connectés s ils sont mentionnés à proximité l un de l autre dans le texte. Jeu de données mis à disposition par The Stanford GraphBase, Téléchargez le fichier ici: 16

17 1. Importer un fichier dans Gephi 17

18 2. Le rapport d importation Ce rapport fournit des informations sur le fichier qui vient d être importé. Cet onglet fournit des infos sur différentes erreurs liées au format de fichier lors de l import. Très pratique pour débugger ses fichiers. Un lien A-B doit-il être vu comme A->B? Vous le choisissez ici. Redimensionne les noeuds. Ne pas cocher si votre fichier spécifie des dimensions que vous voulez préserver. Nombre de noeuds trouvés. Nombre de connections trouvées Le graphe évolue-t-il dans le temps? S agit-il d un métagraphe? (non traités ici) Les réseaux importés sont souvent formés d une liste de noeuds (ex: A, B et C), et d une liste de liens (ex: A B, B-C). Que faire si Gephi trouve un lien A-D? Si D est manquant dans la liste des noeuds, vous pouvez faire qu il soit ajouté ici. Sinon, le noeud D et le lien A-D ne seront pas importés dans Gephi. 18 Si vous voulez ajouter ce graphe à un autre déjà ouvert dans Gephi Si votre graphe est un snapshot dans le temps. Importer le même graphe plusieurs fois, avec des dates différentes, crée un graphe dynamique.

19 3. Le graphe, une fois ouvert. 19

20 4. Sauvegarder un projet Gephi. Les projets peuvent être sauvegardés avec un fichier.gephi Ces fichiers ne peuvent être ouverts qu avec Gephi. Ils contiennent toutes les informations sur votre projet. Sélectionnez File -> Save. De nombreux rapports font état de bugs sur ces fichiers, donc exportez toujours vos réseaux comme indiqué ci-dessous. Le réseau seul peut être exporté sous plusieurs formats: gexf et graphml sont des formats qui préservent les attributs. => Sélectionnez File -> Export -> Graph File pour exporter. 20

21 5. Utiliser la souris Clic gauche: accomplit l action sélectionnée Clic droit: déplace le graphe dans son ensemble Molette centrale: zoom avant / arrière Alt + clic gauche restant appuyé sur le graphe: déplace le graphe sur une 3ème dimension (donne un effet de profondeur et de perspective) 21

22 6. Disposer les fenêtres Mon expérience: n utilisez pas ce menu Configure Window. Le menu «Window» me sert uniquement à refaire apparaître une fenêtre quand je l ai close par erreur. Glissez-déplacez les fenêtres en portant attention aux pointillés rouges et leurs effets. Essayez de maximiser l espace consacré à la fenêtre graph : c est la fenêtre principale! 22

23 7. Afficher les labels Référez-vous à la cheat sheet 1 en annexe. Remarquez le panneau au bas de l écran, et son onglet Labels. Les noeuds et les liens peuvent avoir des labels. En pratique on affiche plus souvent les labels des noeuds. Cliquez ici pour afficher les labels des noeuds. 23

24 8. Qu est-ce qu un layout C est simplement une procédure pour positionner les noeuds sur l écran, en fonction d une certaine logique que l on est libre de choisir. Beaucoup de façons de positionner les noeuds existent vous êtes libres d inventer les vôtres! (en passant, c est une excellente raison de vouloir apprendre à programmer / écrire un plugin) 24

25 9. Exemple simple d un layout Sélectionnez Circular Layout dans le menu déroulant des layouts. Ne changez aucun setting et cliquez run. 25

26 10. Exemple simple d un layout (suite) Le layout circulaire applique la règle suivante: dispose les noeuds en cercle, à intervalle régulier les uns des autres. Peut-on distribuer les noeuds selon d autres règles? 26

27 11. Un layout intéressant: Force Atlas 2 Sélectionnez Force Atlas 2 dans le menu déroulant des layouts. Cliquez sur Run. 27

28 12. Force Atlas 2 le résultat Résultat: les noeuds connectés tendent à être positionnés à proximité les uns des autres, dans les mêmes régions de l écran. C est très pratique pour interpréter un graphe: - Les groupes de noeuds sont repérables facilement, - Les relations entre groupes sont elles aussi visibles. Des travaux récents ont démontré que nous pouvons en effet nous fier à cette impression visuelle: c est bien le cas que les groupes de noeuds + fortement connectés vont se trouver dans les mêmes régions de l écran. Voir Noack (2009) et Waltman, van Eck and Noyons (2010) parmi les références citées. 28

29 13. Quelle est la logique des layouts force based? Les noeuds se repoussent comme des aimants, tandis que les liens attirent les noeuds qu ils connectent, tels des ressorts. Ces forces mettent les noeuds en mouvement, jusqu à ce qu un point d équilibre soit atteint (les nœuds ne bougent plus) La spécificité de Force Atlas 2: La force de répulsion est modifiée de façon à ce que les noeuds très connectés et leurs nœuds «satellites» peu connectés se repoussent peu. (voir Jacomy et al parmi les références). 29

30 Les algos force-based Fruchterman-Rheingold le layout classique. Les forces s exercent entre nodes voisins. Kamada and Kawai utilise une force d attraction entre deux nodes proportionnelle à la taille du chemin le plus court les séparant. Yifan Hu rassemble les nodes en groupe, et applique une logique force-based à ces groupes. 30

31 Repousse les nodes qui ont beaucoup de liens sortants Uniquement intéressant si votre réseau est orienté. Exemple d un réseau de pages web: les sites qui ont beaucoup de lien sortants, mais peu de liens pointant vers eux, vont être positionnés au centre. Cette option les repousse vers la périphérie du graph. Augmente la force de répulsion La force de répulsion décroît fortement quand les nodes s éloignent. Choisir cette option garde la force de répulsion constante - le graph va être beaucoup plus «espacé». Empêche que les nodes ne se chevauchent Très pratique pour rendre le graphe plus lisible. Choisissez le layout «Label Adjust» (non montré ici) pour faire de même avec les labels des nodes. Contrôle la force des liens entre nodes Votre graph est peut être «valué» (les liens ont une valeur numérique). Dans ce cas, ce paramètre contrôle la magnitude de l attraction exercée par les liens. Augmente la vitesse d exécution Chaque «core» du processeur d un ordi a deux threads. Un ordinateur quad-core peut monter à 8 threads (on met 7 en pratique pour éviter la saturation) Contrôle l intensité des forces de répulsion et d attraction entre nodes Contrôle le regroupement des nodes vers le centre de l écran Option pratique pour récupérer les nodes partis s égarer très loin Augmente spectaculairement la vitesse d exécution En approximant la force de répulsion plutôt que son calcul exact. Détermine de combien les nodes peuvent se déplacer Utile quand un graph bouge trop: on peut diminuer cette valeur pour le «geler». 31 Degré de précision / approximation Augmenter ce facteur permet d aller encore plus vite (si l option précédente est cochée), mais une valeur trop haute rend le graph instable (il ne se stabilise plus).

32 Force Atlas ou Force Atlas 2? Force Atlas 2 est une version retravaillée de Force Atlas. Le code a été rendu plus rapide L algo est multi-threaded (plus rapide) Paramètres différents: Force d attraction et de répulsion dans «Force Atlas» ont été fusionnées en un paramètre unique («échelle») dans «Force Atlas 2», qui rassemble les deux. 32

33 Un piège de lecture Les nœuds au centre sont-ils centraux? (ce slide est basé sur le post de blog de Scott Weingart: «Networks Demystified 8: When Networks are Inappropriate») voir références en fin. 33

34 Le piège expliqué Las Vegas peut apparaître comme central sur la carte: beaucoup de connexions à d autres villes, et occupe une place centrale dans la région Sud-Ouest Les voyageurs vont à Las Vegas, y restent quelques jours, puis repartent chez eux. Donc Las Vegas n est pas un connecteur entre aéroports («hub»), cette ville n est pas «centrale» au sens de lieu de transit privilégié d un destination à une autre. C est plutôt une dépression («sink») 34

35 Le problème des minima locaux Le layout peut «rester bloqué» sur une situation non idéale (un node qui reste voisin d un autre, alors qu il ne sont pas liés). Ouvrir Les Misérables.gexf pour reproduire la situation Solution: Garder cette possibilité à l esprit: plus le graph est large plus la position de chaque node individuel reste sujette à interprétation, cependant la position des groupes et des communautés reste un indicateur robuste. Commencer par un layout très large (échelle élevée), puis le regrouper (échelle réduite). Cela permet aux nodes de se positionner sans «se gêner mutuellement». 35

36 Essayer Force Atlas 3D 36

37 OpenOrd pour les graphs de grande taille? Mon avis personnel: Le fonctionnement d OpenOrd n est pas explicable simplement Pour essayer soi-même: OpenOrd: an open-source toolbox for large graph layout. Shawn Martin, W. Michael Brown, Richard Klavans, Kevin W. Boyack. Proc SPIE 01/2011; 7868: DOI: / Disponible ici: Le résultat n est pas clair Communautés mal distinguées. Comparer à Force Atlas par exemple. Force Atlas 2 est plus rapide sur un graph de 5000 nodes et liens par exemple. Je recommande donc Force Atlas 2 dans tous les cas 37

38 14. Changer la taille des noeuds Référez-vous à la «cheat sheet» de ce document. 2 en annexe Click droit sur l icône «size» et entrez «15» pour valeur. Validez. Puis click gauche sur la même icône. 38

39 15. Visualiser les attributs de vos données Les noeuds de notre réseau ont un attribut: le genre des personnages des Misérables. cet attribut n est pas disponible dans le fichier livré avec Gephi, téléchargez-le ici: Nous pouvons projeter cette information sur le réseau en utilisant la couleur des noeuds comme repère visuel. Note: nous n avons que deux valeurs différentes pour cet attribut (masculin ou féminin), mais nous pourrions évidemment en avoir beaucoup plus (et donc beaucoup plus de couleurs). 39

40 16. Partitioning ou ranking? Partitioning : Masculin Féminin Utile pour les attributs catégoriques (qualitatifs): masculin ou féminin, Sud, Nord, Est, Ouest, pays de résidence. Chaque catégorie est représentée par une couleur différente, comme ci-dessus. Ranking: ou: Utile pour les attributs qui sont graduels (quantitatifs) (age, etc n importe quel attribut numérique). Cette graduation est représentée visuellement soit par des tailles différentes, soit par des échelles dégradées de couleur (du clair au sombre, ou des couleurs froides à chaudes, habituellement). 40

41 17. Exemple de partitioning Dans l onglet partition, cliquez sur le bouton refresh pour être sûr que Gephi trouve bien tous les attributs disponibles. Dans le menu déroulant, sélectionnez Gender qui est le seul attribut disponible dans notre cas d étude. Cliquez sur apply! Si les liens de notre réseau avaient possédé un attribut (relation entre 2 personnages: ami, ennemi ou neutre?), nous aurions pu colorer les liens selon le même principe. Les noeuds de la même catégories peuvent être groupés en un super noeud. Ce sont les graphes hiérarchiques, non traités ici. 41

42 18. Visualiser de nouveaux attributs avec Gephi Gephi peut calculer des métriques, telles que Quels noeuds sont centraux dans le réseau. Le point-clé est: ces métriques sont des attributs (des noeuds ou liens), et ils peuvent donc être visualisés comme n importe quel autre attribut. Visualiser ces métriques (plutôt que de les lire dans un tableur) stimule la compréhension des données. 42

43 19. Détecter des communautés et les visualiser Sélectionner l onglet de statistiques et cliquer sur Modularity. Cet algo identifie les groupes de noeuds qui sont relativement denses. Résultat, chaque noeud se voit attribuer à un de ces groupes ( class ). De même que nous avons coloré les noeuds par genre, nous les colorons ici par leur groupe ( classe ) d appartenance. Sélectionner l onglet de partition, appuyer sur l icone, sélectionner modularity class et apply. Note: on peut choisir quelles couleurs vont être appliquées en cliquant sur les carrés de couleur. Cliquer ici pour choisir une couleur différente. 43

44 Groupes et «modularité» Modularité (Newman 2004) Nombre de liens dans chaque groupe moins nombre de liens dans les mêmes groupes, dans un graph ou les liens auraient été redistribués de façon aléatoire. Trouver les communautés dans un graph = définir des groupes de façon à ce que le score de modularité soit le plus haut. 44

45 20. Visualisation de communautés: le résultat 45

46 21. Conseils pour soigner l apparence du graphe Appliquer le layout Label adjust Pour éviter que les labels ne se chevauchent Utiliser un fond de couleur noir éventuellement Cliquer sur le bulbe d ampoule en bas à gauche (voir cheat sheet 2 ) Moduler l épaisseur des liens Avec un slider 46

47 22. Gephi: quel output? Le slide suivant montre comment exporter une image de Gephi. Estce la seule finalité de Gephi? Mon opinion est que l intérêt de Gephi réside avant tout dans les découvertes possibles lors de l exploration du graph dans Gephi. L export du graph dans un fichier ou une page web répond à des besoins de communication mais l export n est pas la seule raison d utiliser Gephi. Jer Thorp, qui est une référence en data visualization, fait une remarque similaire dans un post de blog pour la Harvard Business Review: 47

48 23. Exporter une visualisation Directement depuis l overview panel par une capture d écran(see cheat sheet 2 ). Ou avec une page web. Voir le plugin SigmaExport. Faire File -> Export -> Sigma.js puis uploader le répertoire créé sur un serveur. Ou avec le preview panel (voir cheat sheet 5 ). Pourquoi les vues dans l overview et la preview ne sont-elles pas identiques? Les deux technologies employées sont différentes, car l overview est interactif. Cette différence de technologie implique qu il y a des différence gênantes entre les deux vues. Dans mon expérience personnelle, j essaie d obtenir un rendu aussi bon que possible dans le Preview. J exporte, puis j ouvre l image avec Inkscape pour peaufiner le résultat. 48

49 24. Les Miserables juste avant l export en svg 49

50 25. Ajuster les labels, ajouter une légende 50

51 Nous avons appris Préparer et configurer Gephi. Lire un rapport d importation de réseau Utiliser l interface de Gephi Notions: qu est-ce qu un layout? Principe de Force Atlas Ecueil à éviter dans la lecture d un graphe. Ranking, partitioning, métriques Exporter un graph sous forme de fichier image 51

52 Prochaine étape: l importation de données dans Gephi 52

53 References Bastian M., Heymann S., Jacomy M. (2009). Gephi: an open source software for exploring and manipulating networks. International AAAI Conference on Weblogs and Social Media. Jacomy M., Heymann S., Venturini T., Bastian M. (2012): ForceAtlas2, A Continuous Graph Layout Algorithm for Handy Network Visualization. (draft) Noack A. (2009). Modularity clustering is force-directed layout, Physical Review E, vol. 79(2). Thorp J. (2013). Visualization as Process, Not Output. HBR Blog Network, April 3. Waltman L., van Eck N. J., Noyons E. C.M. (2010). A unified approach to mapping and clustering of bibliometric networks, Arxiv, 53

54 Flight patterns Le blog post de Scott Weingart: Algos force-based: T. Kamada and S. Kawai. An algorithm for drawing general undirected graphs. Inform. Process. Lett., 31:7 15, Fruchterman, Thomas M. J.; Reingold, Edward M. (1991), "Graph Drawing by Force- Directed Placement", Software Practice & Experience (Wiley) 21 (11): ,doi: /spe Y. F. Hu, Efficient and high quality force-directed graph drawing. The Mathematica Journal, 10 (37-71), (high resolution version (30 MB)) 54