Big Graph Data Forum Teratec 2013

Dimension: px

Commencer à balayer dès la page:

Download "Big Graph Data Forum Teratec 2013"

Valentin Tassé
il y a 8 ans
Total affichages :

1 Big Graph Data Forum Teratec 2013 MFG Labs 35 rue de Châteaudun Paris, France Julien Laugel MFG

2 SOMMAIRE MFG Labs Contexte : les 3 V aujourd hui Les bases de données graphe Les solutions actuelles Les challenges 2

3 MFG Labs 3

4 Un ADN mathématique Jean-Michel Lasry (CEO) Professor of university Paris Dauphine - Fondé en 2010 par 2 mathématiciens - MFG: Mean Field Games - Initialement société de conseil dédié aux applications des MFG en économie Pierre-Louis Lions Fields Medal

MFG: Mean Field Games - Initialement société de conseil dédié

5 Les activités de MFG Labs Recherche Mathématique Big Data Stratégie Digitale 5

6 Contexte : les 3 V aujourd hui 6

7 L ère post-map/reduce Reste-t-il des challenges pour la trinité BigData? Volume Velocity Variety 7

8 VOLUME bases de données MPP Map/Reduce (Hadoop) Spark 8

9 VÉLOCITÉ Complex Event Processing Bases de données orientée flux Base de données In-memory Storm, S4 9

10 VARIÉTÉ Données non-structurées Données semi-structurées Données textuelles 10

11 Problématiques «maitrisées» Stockage => Systèmes de Fichiers Distribués Tâches fortement parallélisables => Map/Reduce Bases de données distribuée à faible latence d écriture => BigTable, Dynamo 11

12 Les question ouvertes Nombre des sources de données Volume des liaisons entre les données x Volume des données Que faire avec les gros graphes? 12

13 Le constat Les technologies Big Data traditionnelles ne savent pas gérer les gros graphes de données Traversée de graphe trop couteuse (itérations) Partitionnement des données non trivial 13

14 BIG GRAPHS à l échelle sociale : Facebook 1milliard de noeuds 144 milliards de relations à l échelle du web : 50 milliards de noeuds 1000 milliards de liens à l échelle du cerveau : 100 milliards de noeuds milliards de liens 14

milliards de noeuds 1000 milliards de liens à l échelle du

15 Les bases de données graphe 15

16 Définition 16

17 Le modèle property graph nom: Hercule type: demi-dieu père nature: généalogique mère nature: généalogique nom: Jupiter nom: Alcmène type : dieu type : humain 17

18 L enjeu 18

19 L importance du modèle graphe Stockage avant usage : Flexilibilité du modèle de données Agilité : Nécessité d un modèle de données dynamique Machine Learning : De très nombreux algorithmes s expriment sous forme de graphe (PageRank, Filtrage collaboratif) Analogie entre matrices sparses et les graphes 19

Learning : De très nombreux algorithmes s expriment sous forme de graphe

20 Les constituants Un «moteur» basé sur la traversée de graphe Un modèle de calcul permettant de développer des algorithmes Des méthodes de partitionnement de données efficaces Un langage de requêtes permettant la recherche de motifs 20

algorithmes Des méthodes de partitionnement de données

21 Exemples 21

22 Interconnecter des sources School friends Jean Coworkers Social Graph (500 millions edges) Clément Open Graph (40 millions objects) Forrest Gump (on Allociné) watched Forrest Gump (on YouTube) wants to watch Cloud Atlas (on Flixster) Knowledge Graph (1 billion entities) Unique ID Forrest Gump Tom Hanks Unique ID Cloud Atlas 22

23 Recherche de similarités via les utilisateurs

24 Recherche de similarités entre concepts

25 Détections d influenceurs

26 Diffusion dans un graphe

27 «Penser» les données en graphe Logs de serveur de demande d itinéraires : id ville de départ ville de destination ==> ville de départ ville de destination occurrences ==> noeuds = villes liens = nombre de demandes de trajets entre ville de départ et ville de destination 27

28 Découvrir les structures endogènes 28

29 Les solutions actuelles 29

30 Un paysage de plus en plus fragmenté 30

31 La fin de l hégémonie des bases de données relationnelles 31

32 Map/Reduce 32

33 Bases de données orientées colonnes 33

34 Bases de données de flux 34

35 Stores Clé/Valeur 35

36 Bases de données orientées documents 36

37 Quid du processing des graphes? Frameworks Bases de données 37

38 Les frameworks 38

39 Les frameworks Parallélisme de Données : Map/Reduce : Systeme de fichier distribué GraphX : Primitives de parallélisme de graphe implémentées sur une abstraction data-parallèle Parallélisme de Graphe («Think like a vertex»): Bulk Synchronous Processing (BSP) Modification des noeuds synchrone Partitionnement des noeuds Graphlab v2 Modification des noeuds asynchrone Partitionnement des liens 39

40 Les bases de données 40

41 Les bases de données Jung igraph Rapidité de la traversée de graphe networkx Taille 41

42 Qui utilise quoi? Neo4J en passe de devenir le PostgreSQL du graphe Les gros acteurs de la Silicon Valley utilisent Giraph, ou des systèmes spécifiques à leur besoin Hadoop reste encore utilisé dans ce domaine GraphX est une alternative prometteuse Graphlab est à la pointe du développement au niveau algorithmique Titan + Faunus aussi très intéressant à suivre pour un couple stockage+processing 42

43 Les langages 43

44 Les langages SPARQL, OWL (bases de données sémantiques) Impératif : Gremlin «suivre» les relations Expliciter les algorithmes (breadth-first, depth-first...) Déclaratif : Cypher Description du pattern à rechercher 44

45 Le Langage Cypher Simple description du pattern recherché 45

46 Les outils de visualisation 46

47 Une spécialité française Gephi: 47

48 Une spécialité française Tulip : 48

49 Une spécialité française Graphstream : 49

50 Les challenges 50

51 Les Challenges 1. Rendre les bases de données graphes «mainstream» 2. Emergence d un standard pour les très gros graphes 3. Traitement des graphes en flux de données 4. Le «big graph processing» permettra l accélération du «big machine learning» 5. Le sujet est complexe, et ouvre de grandes opportunités à qui saura gérer les aspects infrastructure algorithmes langage de requête visualisation 51

52 MFG Labs 35 rue de Châteaudun Paris, France

Documents pareils

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.

Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision