Mastodons Une Approche Interdisciplinaire des Big Data Mokrane Bouzeghoub CNRS / INS2I & MI!"#$%&%'()*%+,$-.'."$%%
PLAN Quelques concepts de base Les ouels du Big Data Le défi Mastodons (CNRS) Conclusion et perspeceves
IntroducEon Quelques concepts de Big Data 3
Emergence du Big Data Exemple : Linked Open Data IniEée en 2007 avec une dizaine de sources de données interconnectées Accès à plusieurs BD scientifiques et culturelles interconnectées sur le Web Aujourd hui, plusieurs centaines de sources connectées et ouvertes
Aucun domaine n échappe à l avalanche des données Commerce et les affaires SI d entreprise, Banques, transactions commerciales, systèmes de réservation, Gouvernements et organisations Loisirs Lois, réglementations, standards, infrastructures,. Musique, vidéo, jeux, réseaux sociaux Sciences fondamentales Santé Astronomie, physique et énergie, génome, Dossier médical, sécurité sociale, Environnement Climat, dév durable, pollution, alimentation, Humanités et Sciences Sociales Numérisation du savoir (littérature, histoire,art, srchitectures), données archéologiques
Qu est- ce qu une (très grande) masse de données? VLDB XLDB Massive Data Big Data Very Big Data Data Deluge Grandes Conf du domaine: VLDB, XLDB, ICDE, EDBT,
Complexité muledimensionnele des Big Data Nouvelles archi. de stockage Nouvelles archi. d interopérabilité Défi pour les réseaux de communicaeon Nouveaux modèles de calcul sur des flux Ne[oyage et transformaeon Fusion de données Nouveaux modèles de qualité (données & processus de traitement) h6p://www.datasciencecentral.com/profiles/blogs/data- veracity
Les grands challenges scienefiques du Big Data Stockage et préservaeon des données Performance des accès, disponibilité des données ProtecGon des données IndexaGon sémangque (ontologies), indexagon pargcipagve (folksonomies) Analyse staeseque et sémaneque, raisonnement Analyse en temps réel de flux congnus de données émanant de différentes sources Requêtes mulgdimensionnelles sur des grands ensembles de données ExtracGon et interprétagon de connaissances Impact sociétal et économique ProtecGon de la vie privée, Droit à l oubli Droits de propriétés, droits d exploitagon Economie d énergie coût du stockage, coût de transfert
Exemple 1 : Analyse complexe à grande échelle Analyse en temps réel de flots continus de données émanant de différentes sources Ex: Découvrir et comprendre les patterns caractéristiques du comportement de certains phénomènes ou certaines populations Réaction en temps réel à des événements d alerte Ex: attaques sur le réseau Requêtes multidimensionnelles sur des grands ensembles de données Découvrir des corrélations entre phénomène
Exemple 2 : La visualisaeon des données Besoins Problèmes Navigation intuitive/contextuelle Visualisation de phénomènes non perceptibles (durant la simulation) Analyse /Interaction visuelle L approche de visualisation peut-elle aider à la compréhension d un phénomène Ou peut-elle introduire un biais et en altérer l interprétation? Ex: Visualisation post-traitement V.S Visualisation in-situ Évite des zones d ombre par perte de calculs intermédiaires à Coupler la simulation et la visualisation (vars température, pression, ) Ex: Swiss Nat Supercomputing Center visualcomplexity.com/vc
Exemple 3 : La préservaeon des données Comment préserver les données à durée de vie illimité? connaissances scientifiques produits culturelles connaissances archéologiques et environnementales connaissances sociales (recensements) Comment préserver les données à durée de vie longue mais limitée patrimoine informationnel des entreprises Données personnelles (stockées dans les disques privés ou publiés sur le Web) Données publiques (fichiers sécu, police, ) Quel coût pour la préservation des données Coût de conversion des données (formats) Coût pour la migration des technologies Coût de maintien des technologies de niche Quelle stratégie pour les données gérées dans le Cloud?
Du Big Data à la Science des Données La science est- elle dans les masses de données? La valeur de ces données réside dans les indicateurs, les pa[erns et les règles/lois qui peuvent en être dérivés (connaissance) Ces données sont importantes non seulement en raison de leur quaneté mais aussi en raison des relaeons existantes entre elles (sémaneque) Les données peuvent être source de plus- value scienefique mais aussi source de bruit et de pollueon (qualité, hétérogéneité, manipulaeon) Les masses de données nous parlent- elles de notre société? Nous disent- elles quelque chose que nous ne sachions déjà? Diront- elles quelque chose de nous aux généraeons futures? Ont- elles une objecevité en elles- mêmes ou sont- elles biaisées par des transformaeons subjeceves? Les masses de données génèrent- elles une valeur économique? Quels sont les secteurs privilégiés? Quel retour sur invesessement? Quel rôle pour ces données (maeère première, produits dérivés, capital)? Quel statut pour ces données (propriété privée, domaine publique, objet commercial)?
Science des données : un 4 e pilier de la Science La disponibilité de très grandes masses de données et la capacité de les traiter de manière efficace est en train de modifier la manière dont nous faisons de la science 1. Science empirique : observaeons de phénomènes naturels, évaluaeon de faits mesurables, extraceon de lois générales par raisonnement inducef 2. Science théorique : cadre de travail offrant des modèles (mathémaeques) pour comprendre un certain univers 3. Science computaeonnelle : simulaeon de phénomènes complexes pour comprendre ou valider des théories 4. Science des données: collecte massive de données et traitement pour en extraire des connaissances nouvelles
OuEls du Big Data NoSQL Hadoop MapReduce. 14
IntroducEon Un paysage très riche et hétérogène. OuEls d acquisieon et d enrichissement de données Architectures de stockage et d accès aux données Des ouels de transformaeon et d intégraeon Des modèles de calcul et d agrégaeon de données Des modèles d extraceon de connaissances (fouille) Des ouels d exploraeon et de visualisaeon Des produits très spécialisés Implémentant souvent des idées de recherche les plus récentes Avec des niveaux d abstraceon différents, nécessitant une forte compétence technique pour les ueliser Souvent de très bas niveau, nécessitant un coût de développement supplémentaire élevé 15
Une offre pléthore 16 FIGURE 1 Carte de l échosystème du Big Data en juin 2012.
Hbase MangoDB CoucheDB SimpleDB Cassandra Voldemort Oracle/NoSQL Caractérisée par la vague NoSQL (Not only SQL) Systèmes de BD ouverts Orienté sur des applicaeons batch Programmable à l aide de pa[erns ad hoc (comme Map/Reduce) Usage de SQL proscrit ou marginal Visant des données Non nécessairement relaeonnelles / Objet Représentées sous forme de couples (Clé, Val) Documents, matrices, graphes, Massivement distribuées (Sur Hadoop par ex.) Avec des exigences fortes sur Le passage à l échelle (montée en charge) Les performances La tolérance aux pannes 17
Hadoop/MapReduce: des briques de base Une architecture parallèle mule- cœurs Assurant à la fois le stockage et le calcul Pouvant passer aisément à l échelle Un système de fichiers distribué, HDFS RéparEssant intelligemment les données sur les nœuds du cluster Tolérant aux pannes grâce à un système de réplicaeon et de matérialisaeon des résultats de calculs Un modèle abstrait de calcul, MapReduce Adaptable à chaque type d applicaeon Efficace pour les très grands volumes de données 18
HDFS Système de fichiers distribué Données écrites une seule fois à la créaeon Données lues plusieurs fois en accès Fichier décomposé en fragments stockés dans des nœuds différents, avec de la réplicaeon (3 copies) Le nœud Maître maineent les méta- données nécessaires à la localisaeon des fragments et des fichiers MulEples implémentaeons (IBM GPFS, Quantcast QFS, BlobSeer BSFS ) 19
MapReduce Modèle de calcul batch Issue de la programmaeon fonceonnelle Prog ( Map ( k, v )*, Reduce ( k, v )* ) ConsEtué de 2 phases : Map(k,v) appliquée à chaque valeur v associée à une clé k Reduce(k,v ) agrégeant les résultats v des Map pour une clé donnée k Et un planificateur de tâches Allouant les paquets de données aux tâches Synchronisant les tâches Reduce sur la terminaison des tâches Map 20
ApplicaEons Tout problème dont les données sont Décomposables en fragments indépendants Représentables sous forme de couples (k,v) Et où l uelisateur est capable Exemples D exprimer sa solueon en termes de fonceons Map et Reduce D écrire/comprendre les fonceons de combinaison, tri, shuffle OpéraEon de Jointure de 2 tables Algorithmes de graphes Algorithmes de classificaeon (très coûteux) 21
Mise en œuvre : Une ingénierie très complexe À l installaeon: un très grand nombre de paramètres à fixer par le programmeur Le nombre de Maps (selon la taille des données et celle des blocks) Le nombre de Reduces (selon les performances visées) L agrégaeon locale de résultats d un même map (opgmisagon) Le critère de pareeonnement des résultats de map en fonceon du nombre de reduce En programmaeon SpécificaEon de la configuraeon du programme Ecriture des programmes Map et Reduce Maîtrise de tous les pa[erns de données et des API pour les tâches Map, Reduce, Combine, Connaître la localisaeon des fichiers input/output 22
Limites Traitement batch Pas de requête interaceve, pas de flux Impossible de contrôler l ordre des Mappers et Reducers (pas de synchronisaeon) Les mapers/reducers ne doivent pas dépendre des résultats d autres mapers/reducers Une tâche Reduce ne peut démarrer que lorsque tous les Map ont terminé (ou abandonné) Un coût très élevé pour certains algorithmes itéraefs Ex: algo des k- means (classif non supervisée) Inadapté pour certains traitements Analyse de flux 23
Nouveaux défis de recherche HadoopDB (Yale) ObjecEfs ciblés AgrégaEon en ligne Requêtes conenues Analyse de flux Monitoring d événements Techniques poteneelles Système de cache des données (aneciper les lectures) Connexion pipeline (éviter les séquences écriture- lecture) entre mapers et reducers Livraison prématurée de résultats (avec raffinement progressif) Contraintes MatérialisaEon périodique pour assurer la tolérance aux pannes OpEmisaEon des communicaeons pipeline Un nouveau modèle de synchronisaeon induit par le pipelining 24
25 Tendance
Le défi Mastodons!"#$%&%'()*%+,$-.'."$%% 26
ObjecEfs duire des concepts et des solueons qui n'auraient pu être obtenus sans coopéraeon entre les différentes disciplines Favoriser l émergence d une communauté scienefique interdisciplinaire autour de la science des données, et produire des solueons originales sur le périmètre des données scienefiques.!"#$%&%'()*%+,$-.'."$%%
Les critères de séleceon Vision scienefique de l équipe/consoreum sur les thèmes du défi Les verrous scienefiques et les axes de recherche à moyen terme, avec un focus pareculier sur la première année Les acquis scienefiques dans le domaine ou dans un domaine connexe suscepeble de contribuer aux problèmes scienefiques ou sociétaux posés (publicaeons significaeves, projets passés ou en cours, applicaeons réalisées, logiciels, brevets...) Les différentes disciplines impliquées et leurs contribueons respeceves au projet Une liste de 3 à 5 chercheurs seniors impliqués de façon significaeve dans la recherche.!"#$%&%'()*%+,$-.'."$%%
Quelques chiffres Défi lancé en 2012, avec un second appel en 2013 Projets de 3 à 5 ans avec un budget de 700 à 885 K /an Nb de soumissions: 58 Nb d UMR impliquées: + 100, Couvrant les 10 insgtuts Nb de projets retenus: 21 +1 Reste 16+1 projets en janvier 2014, cible janvier 2015: 10 projets Degré de pénétraeon dans les labos Nb d UMR impliquées: 69, couvrant les 10 insgtuts Nb de CH/EC impliqués: près de 300 Montant alloué/projet/an 30 à 120 K (projets ayant fusionné) Partenaires hors CNRS INRIA, INRA, IRSTEA, INSERM, CEA, ONERA, Universités, Ecoles!"#$%&%'()*%+,$-.'."$%% 29
ThémaEques couvertes et thémaeques orphelines Collecte, stockage et indexation de données massives Hétérogénéité, interopérabilité, intégration, partage des données Calcul intensif sur des grands volumes de données, parallélisme dirigé par les données, optimisation Extraction de connaissances, datamining et apprentissage, agrégation/résumé, sémantique et raisonnement Visualisation de grandes masses de données Qualité des données, protection et sécurité des données Problèmes de propriété, de droit d usage, droit à l oubli Consommation d énergie, environnement, recyclage Préservation/archivage des données (animation)!"#$%&%'()*%+,$-.'."$%%
Types de données visés dans les projets retenus Cosmologie, astrophysique Dynamique de la Cartographie céleste Sciences de la terre et de l univers (traitement d images) ModélisaEon, déformaeon de la croute terrestre Environnement, climat, biodiversité SimulaEon, intégraeon, fusion de données Biologie santé Génome, séquençage, phénotypage Données médicales Réseaux sociaux RI, analyse d opinions, santé Crowdsourcing!"#$%&%'()*%+,$-.'."$%%
Indicateurs de suivi Pérennité de la coopéraeon PublicaEons communes Co- encadrement de thèses Plateformes de test et d expérimentaeon Montage et soumission de nouveaux projets Dynamique pour faire émerger une communauté interdisciplinaire sur la science des données.!"#$%&%'()*%+,$-.'."$%%
Bilan à 3 ans + Une communauté interdisciplinaire en formaeon sur les thèmes de Big Data et Science des Données + Des résultats tangibles même s ils ne sont pas financés à 100% par le défi Mastodons + Levier pour inieer d autre projets ou réseaux de compétences - Risque de dispersion de la communauté - Coût de développement et de mise en œuvre des plateformes: un véritable verrou!!"#$%&%'()*%+,$-.'."$%%!"#$%&%'()*%+,$-.'."$%%
PerspecEves 2015 Poursuivre la structuraeon de la communauté Poursuite du soueen à certains projets (9 projets) Via le nouveau GDR MaDICS (animaeon) Via un nouveau défi thémaeque sur l analyse et le traitement d images (Imag In) Année thémaeque pour INS2I Coloriage de postes de CR1/CR2 SouEen aux plateformes (AcEon PlaSciDo)) SouEen aux recherches théoriques (PEPS FaSciDo)!"#$%&%'()*%+,$-.'."$%% Mener une réflexion sur une polieque de sites Faire émerger des sites de référence SouEen des plateformes en ingénierie 34
Zoom sur quelques projets Aressos SéPhénoHD PetaSky 35
Projet Aresos : Analyse de grands réseaux socio- sémaneques CAMS - INSMI, EHESS, Paris CSI - INSHS, Ecole des Mines, Paris IRIT - INS2I, U. Toulouse 3 LATTICE - INSHS, ENS/ U. Paris 3 LIG - INS2I, UJF, Grenoble LIP6 - INS2I, UPMC, Paris IRISA, INS2I, U. Rennes 1 GIS ISC- PIF, INSHS ObjecGfs : qui parle, de quoi, comment Reconnaissance d acteurs Analyse sociologique Recherche d informagon dans les microblogs IdenGficaGon de thémagques RecommandaGon collaboragve CrowdIndexing, tagging social 36
Projet SeqPhénoHD : Séquençage & Phénotypage Haut Débit Info et bio- info LIRMM, LIFL, IRISA Phénotypage INRA Génome France Génomique Biologie- environnement ISEM Etude du comportement des plantes, de différents génomes, Densité végétaeon (nb de feuilles) Croissance (rapidité, hauteur, encombrement, ) selon les évolueons de leur environnement Température, Humidité, Lumière/Ensoleillement Exemple 400 génomes 3 à 10 plants par génome 10 5 informaeons / jour
Projet PetaSky : observaeon astronomique grand champ (LSST) LIMOS (Clermont- Fd)=> F. Toumani LIRIS (Lyon) LPC (Clermont- Fd) APC (Paris) LAL (Paris) Centre de Calcul de l IN2P3/CNRS GesEon des données scienefiques dans le domaine de la cosmologie et l astrophysique Des dizaines de milliers de milliards d observaeons photométriques sur des dizaines de milliards d'objets 3 Milliards de sources 1-10 Millions d évènements par nuit 16 TB chaque 8 heures avec un taux de 540 MB/seconde EsGmaGon en fin de projet : 400 000 Milliards de tuples (différentes versions des données sans prise en compte de la réplicagon), 60 PB 15 CEC, 8 ITA, 2 Doct.
Conclusion MathémaGque, InformaGque Traitement du signal Biologie, SHS.. CONCEPTS, MODELES, ALGORITHMES OrganisaGon - IndexaGon Accès - VisualisaGon Ne6oyage - EchanGllonnage ApprenGssage - Datamining ExaScale compugng Cloud CompuGng Réseaux haut débit OS / Middleware.. INFRASTRUCTURES Architectures MulG- cœurs / GPU HPC/ Parallélisme Stockage massif Big Data Data Science Connaissance, décision SémanGque, Qualité Physique, Energie, Cosmologie, Environnement, Biologie, Santé,. DONNEES / CONNAISSANCES Données du Web /rés. sociaux Données de capteurs Données de simulagon Corpus SHS
Sur le site du CNRS Big Data, la déferlante des octets CNRS le journal 04/03/14 12:30 Rechercher Partager l'article Donner du sens à la science Rechercher Se connecter / S'inscrire Suivre VIVANT MATIÈRE SOCIÉTÉS UNIVERS TERRE NUMÉRIQUE MES THÈMES Types file:///users/mokrane-cnrs/desktop/big%20data,%20la%20déferlante%20des%20octets%20%7c%20cnrs%20le%20journal.webarchive Page 1 sur 10
Et ailleurs 41