Mastodons. Une Approche Interdisciplinaire des Big Data. Mokrane Bouzeghoub CNRS / INS2I & MI !"#$%&%'()*%+,$-.'."$%%

Dimension: px
Commencer à balayer dès la page:

Download "Mastodons. Une Approche Interdisciplinaire des Big Data. Mokrane Bouzeghoub CNRS / INS2I & MI !"#$%&%'()*%+,$-.'."$%%"

Transcription

1 Mastodons Une Approche Interdisciplinaire des Big Data Mokrane Bouzeghoub CNRS / INS2I & MI!"#$%&%'()*%+,$-.'."$%%

2 PLAN Quelques concepts de base Les ouels du Big Data Le défi Mastodons (CNRS) Conclusion et perspeceves

3 IntroducEon Quelques concepts de Big Data 3

4 Emergence du Big Data Exemple : Linked Open Data IniEée en 2007 avec une dizaine de sources de données interconnectées Accès à plusieurs BD scientifiques et culturelles interconnectées sur le Web Aujourd hui, plusieurs centaines de sources connectées et ouvertes

5 Aucun domaine n échappe à l avalanche des données Commerce et les affaires SI d entreprise, Banques, transactions commerciales, systèmes de réservation, Gouvernements et organisations Loisirs Lois, réglementations, standards, infrastructures,. Musique, vidéo, jeux, réseaux sociaux Sciences fondamentales Santé Astronomie, physique et énergie, génome, Dossier médical, sécurité sociale, Environnement Climat, dév durable, pollution, alimentation, Humanités et Sciences Sociales Numérisation du savoir (littérature, histoire,art, srchitectures), données archéologiques

6 Qu est- ce qu une (très grande) masse de données? VLDB XLDB Massive Data Big Data Very Big Data Data Deluge Grandes Conf du domaine: VLDB, XLDB, ICDE, EDBT,

7 Complexité muledimensionnele des Big Data Nouvelles archi. de stockage Nouvelles archi. d interopérabilité Défi pour les réseaux de communicaeon Nouveaux modèles de calcul sur des flux Ne[oyage et transformaeon Fusion de données Nouveaux modèles de qualité (données & processus de traitement) h6p://www.datasciencecentral.com/profiles/blogs/data- veracity

8 Les grands challenges scienefiques du Big Data Stockage et préservaeon des données Performance des accès, disponibilité des données ProtecGon des données IndexaGon sémangque (ontologies), indexagon pargcipagve (folksonomies) Analyse staeseque et sémaneque, raisonnement Analyse en temps réel de flux congnus de données émanant de différentes sources Requêtes mulgdimensionnelles sur des grands ensembles de données ExtracGon et interprétagon de connaissances Impact sociétal et économique ProtecGon de la vie privée, Droit à l oubli Droits de propriétés, droits d exploitagon Economie d énergie coût du stockage, coût de transfert

9 Exemple 1 : Analyse complexe à grande échelle Analyse en temps réel de flots continus de données émanant de différentes sources Ex: Découvrir et comprendre les patterns caractéristiques du comportement de certains phénomènes ou certaines populations Réaction en temps réel à des événements d alerte Ex: attaques sur le réseau Requêtes multidimensionnelles sur des grands ensembles de données Découvrir des corrélations entre phénomène

10 Exemple 2 : La visualisaeon des données Besoins Problèmes Navigation intuitive/contextuelle Visualisation de phénomènes non perceptibles (durant la simulation) Analyse /Interaction visuelle L approche de visualisation peut-elle aider à la compréhension d un phénomène Ou peut-elle introduire un biais et en altérer l interprétation? Ex: Visualisation post-traitement V.S Visualisation in-situ Évite des zones d ombre par perte de calculs intermédiaires à Coupler la simulation et la visualisation (vars température, pression, ) Ex: Swiss Nat Supercomputing Center visualcomplexity.com/vc

11 Exemple 3 : La préservaeon des données Comment préserver les données à durée de vie illimité? connaissances scientifiques produits culturelles connaissances archéologiques et environnementales connaissances sociales (recensements) Comment préserver les données à durée de vie longue mais limitée patrimoine informationnel des entreprises Données personnelles (stockées dans les disques privés ou publiés sur le Web) Données publiques (fichiers sécu, police, ) Quel coût pour la préservation des données Coût de conversion des données (formats) Coût pour la migration des technologies Coût de maintien des technologies de niche Quelle stratégie pour les données gérées dans le Cloud?

12 Du Big Data à la Science des Données La science est- elle dans les masses de données? La valeur de ces données réside dans les indicateurs, les pa[erns et les règles/lois qui peuvent en être dérivés (connaissance) Ces données sont importantes non seulement en raison de leur quaneté mais aussi en raison des relaeons existantes entre elles (sémaneque) Les données peuvent être source de plus- value scienefique mais aussi source de bruit et de pollueon (qualité, hétérogéneité, manipulaeon) Les masses de données nous parlent- elles de notre société? Nous disent- elles quelque chose que nous ne sachions déjà? Diront- elles quelque chose de nous aux généraeons futures? Ont- elles une objecevité en elles- mêmes ou sont- elles biaisées par des transformaeons subjeceves? Les masses de données génèrent- elles une valeur économique? Quels sont les secteurs privilégiés? Quel retour sur invesessement? Quel rôle pour ces données (maeère première, produits dérivés, capital)? Quel statut pour ces données (propriété privée, domaine publique, objet commercial)?

13 Science des données : un 4 e pilier de la Science La disponibilité de très grandes masses de données et la capacité de les traiter de manière efficace est en train de modifier la manière dont nous faisons de la science 1. Science empirique : observaeons de phénomènes naturels, évaluaeon de faits mesurables, extraceon de lois générales par raisonnement inducef 2. Science théorique : cadre de travail offrant des modèles (mathémaeques) pour comprendre un certain univers 3. Science computaeonnelle : simulaeon de phénomènes complexes pour comprendre ou valider des théories 4. Science des données: collecte massive de données et traitement pour en extraire des connaissances nouvelles

14 OuEls du Big Data NoSQL Hadoop MapReduce. 14

15 IntroducEon Un paysage très riche et hétérogène. OuEls d acquisieon et d enrichissement de données Architectures de stockage et d accès aux données Des ouels de transformaeon et d intégraeon Des modèles de calcul et d agrégaeon de données Des modèles d extraceon de connaissances (fouille) Des ouels d exploraeon et de visualisaeon Des produits très spécialisés Implémentant souvent des idées de recherche les plus récentes Avec des niveaux d abstraceon différents, nécessitant une forte compétence technique pour les ueliser Souvent de très bas niveau, nécessitant un coût de développement supplémentaire élevé 15

16 Une offre pléthore 16 FIGURE 1 Carte de l échosystème du Big Data en juin 2012.

17 Hbase MangoDB CoucheDB SimpleDB Cassandra Voldemort Oracle/NoSQL Caractérisée par la vague NoSQL (Not only SQL) Systèmes de BD ouverts Orienté sur des applicaeons batch Programmable à l aide de pa[erns ad hoc (comme Map/Reduce) Usage de SQL proscrit ou marginal Visant des données Non nécessairement relaeonnelles / Objet Représentées sous forme de couples (Clé, Val) Documents, matrices, graphes, Massivement distribuées (Sur Hadoop par ex.) Avec des exigences fortes sur Le passage à l échelle (montée en charge) Les performances La tolérance aux pannes 17

18 Hadoop/MapReduce: des briques de base Une architecture parallèle mule- cœurs Assurant à la fois le stockage et le calcul Pouvant passer aisément à l échelle Un système de fichiers distribué, HDFS RéparEssant intelligemment les données sur les nœuds du cluster Tolérant aux pannes grâce à un système de réplicaeon et de matérialisaeon des résultats de calculs Un modèle abstrait de calcul, MapReduce Adaptable à chaque type d applicaeon Efficace pour les très grands volumes de données 18

19 HDFS Système de fichiers distribué Données écrites une seule fois à la créaeon Données lues plusieurs fois en accès Fichier décomposé en fragments stockés dans des nœuds différents, avec de la réplicaeon (3 copies) Le nœud Maître maineent les méta- données nécessaires à la localisaeon des fragments et des fichiers MulEples implémentaeons (IBM GPFS, Quantcast QFS, BlobSeer BSFS ) 19

20 MapReduce Modèle de calcul batch Issue de la programmaeon fonceonnelle Prog ( Map ( k, v )*, Reduce ( k, v )* ) ConsEtué de 2 phases : Map(k,v) appliquée à chaque valeur v associée à une clé k Reduce(k,v ) agrégeant les résultats v des Map pour une clé donnée k Et un planificateur de tâches Allouant les paquets de données aux tâches Synchronisant les tâches Reduce sur la terminaison des tâches Map 20

21 ApplicaEons Tout problème dont les données sont Décomposables en fragments indépendants Représentables sous forme de couples (k,v) Et où l uelisateur est capable Exemples D exprimer sa solueon en termes de fonceons Map et Reduce D écrire/comprendre les fonceons de combinaison, tri, shuffle OpéraEon de Jointure de 2 tables Algorithmes de graphes Algorithmes de classificaeon (très coûteux) 21

22 Mise en œuvre : Une ingénierie très complexe À l installaeon: un très grand nombre de paramètres à fixer par le programmeur Le nombre de Maps (selon la taille des données et celle des blocks) Le nombre de Reduces (selon les performances visées) L agrégaeon locale de résultats d un même map (opgmisagon) Le critère de pareeonnement des résultats de map en fonceon du nombre de reduce En programmaeon SpécificaEon de la configuraeon du programme Ecriture des programmes Map et Reduce Maîtrise de tous les pa[erns de données et des API pour les tâches Map, Reduce, Combine, Connaître la localisaeon des fichiers input/output 22

23 Limites Traitement batch Pas de requête interaceve, pas de flux Impossible de contrôler l ordre des Mappers et Reducers (pas de synchronisaeon) Les mapers/reducers ne doivent pas dépendre des résultats d autres mapers/reducers Une tâche Reduce ne peut démarrer que lorsque tous les Map ont terminé (ou abandonné) Un coût très élevé pour certains algorithmes itéraefs Ex: algo des k- means (classif non supervisée) Inadapté pour certains traitements Analyse de flux 23

24 Nouveaux défis de recherche HadoopDB (Yale) ObjecEfs ciblés AgrégaEon en ligne Requêtes conenues Analyse de flux Monitoring d événements Techniques poteneelles Système de cache des données (aneciper les lectures) Connexion pipeline (éviter les séquences écriture- lecture) entre mapers et reducers Livraison prématurée de résultats (avec raffinement progressif) Contraintes MatérialisaEon périodique pour assurer la tolérance aux pannes OpEmisaEon des communicaeons pipeline Un nouveau modèle de synchronisaeon induit par le pipelining 24

25 25 Tendance

26 Le défi Mastodons!"#$%&%'()*%+,$-.'."$%% 26

27 ObjecEfs duire des concepts et des solueons qui n'auraient pu être obtenus sans coopéraeon entre les différentes disciplines Favoriser l émergence d une communauté scienefique interdisciplinaire autour de la science des données, et produire des solueons originales sur le périmètre des données scienefiques.!"#$%&%'()*%+,$-.'."$%%

28 Les critères de séleceon Vision scienefique de l équipe/consoreum sur les thèmes du défi Les verrous scienefiques et les axes de recherche à moyen terme, avec un focus pareculier sur la première année Les acquis scienefiques dans le domaine ou dans un domaine connexe suscepeble de contribuer aux problèmes scienefiques ou sociétaux posés (publicaeons significaeves, projets passés ou en cours, applicaeons réalisées, logiciels, brevets...) Les différentes disciplines impliquées et leurs contribueons respeceves au projet Une liste de 3 à 5 chercheurs seniors impliqués de façon significaeve dans la recherche.!"#$%&%'()*%+,$-.'."$%%

29 Quelques chiffres Défi lancé en 2012, avec un second appel en 2013 Projets de 3 à 5 ans avec un budget de 700 à 885 K /an Nb de soumissions: 58 Nb d UMR impliquées: + 100, Couvrant les 10 insgtuts Nb de projets retenus: Reste 16+1 projets en janvier 2014, cible janvier 2015: 10 projets Degré de pénétraeon dans les labos Nb d UMR impliquées: 69, couvrant les 10 insgtuts Nb de CH/EC impliqués: près de 300 Montant alloué/projet/an 30 à 120 K (projets ayant fusionné) Partenaires hors CNRS INRIA, INRA, IRSTEA, INSERM, CEA, ONERA, Universités, Ecoles!"#$%&%'()*%+,$-.'."$%% 29

30 ThémaEques couvertes et thémaeques orphelines Collecte, stockage et indexation de données massives Hétérogénéité, interopérabilité, intégration, partage des données Calcul intensif sur des grands volumes de données, parallélisme dirigé par les données, optimisation Extraction de connaissances, datamining et apprentissage, agrégation/résumé, sémantique et raisonnement Visualisation de grandes masses de données Qualité des données, protection et sécurité des données Problèmes de propriété, de droit d usage, droit à l oubli Consommation d énergie, environnement, recyclage Préservation/archivage des données (animation)!"#$%&%'()*%+,$-.'."$%%

31 Types de données visés dans les projets retenus Cosmologie, astrophysique Dynamique de la Cartographie céleste Sciences de la terre et de l univers (traitement d images) ModélisaEon, déformaeon de la croute terrestre Environnement, climat, biodiversité SimulaEon, intégraeon, fusion de données Biologie santé Génome, séquençage, phénotypage Données médicales Réseaux sociaux RI, analyse d opinions, santé Crowdsourcing!"#$%&%'()*%+,$-.'."$%%

32 Indicateurs de suivi Pérennité de la coopéraeon PublicaEons communes Co- encadrement de thèses Plateformes de test et d expérimentaeon Montage et soumission de nouveaux projets Dynamique pour faire émerger une communauté interdisciplinaire sur la science des données.!"#$%&%'()*%+,$-.'."$%%

33 Bilan à 3 ans + Une communauté interdisciplinaire en formaeon sur les thèmes de Big Data et Science des Données + Des résultats tangibles même s ils ne sont pas financés à 100% par le défi Mastodons + Levier pour inieer d autre projets ou réseaux de compétences - Risque de dispersion de la communauté - Coût de développement et de mise en œuvre des plateformes: un véritable verrou!!"#$%&%'()*%+,$-.'."$%%!"#$%&%'()*%+,$-.'."$%%

34 PerspecEves 2015 Poursuivre la structuraeon de la communauté Poursuite du soueen à certains projets (9 projets) Via le nouveau GDR MaDICS (animaeon) Via un nouveau défi thémaeque sur l analyse et le traitement d images (Imag In) Année thémaeque pour INS2I Coloriage de postes de CR1/CR2 SouEen aux plateformes (AcEon PlaSciDo)) SouEen aux recherches théoriques (PEPS FaSciDo)!"#$%&%'()*%+,$-.'."$%% Mener une réflexion sur une polieque de sites Faire émerger des sites de référence SouEen des plateformes en ingénierie 34

35 Zoom sur quelques projets Aressos SéPhénoHD PetaSky 35

36 Projet Aresos : Analyse de grands réseaux socio- sémaneques CAMS - INSMI, EHESS, Paris CSI - INSHS, Ecole des Mines, Paris IRIT - INS2I, U. Toulouse 3 LATTICE - INSHS, ENS/ U. Paris 3 LIG - INS2I, UJF, Grenoble LIP6 - INS2I, UPMC, Paris IRISA, INS2I, U. Rennes 1 GIS ISC- PIF, INSHS ObjecGfs : qui parle, de quoi, comment Reconnaissance d acteurs Analyse sociologique Recherche d informagon dans les microblogs IdenGficaGon de thémagques RecommandaGon collaboragve CrowdIndexing, tagging social 36

37 Projet SeqPhénoHD : Séquençage & Phénotypage Haut Débit Info et bio- info LIRMM, LIFL, IRISA Phénotypage INRA Génome France Génomique Biologie- environnement ISEM Etude du comportement des plantes, de différents génomes, Densité végétaeon (nb de feuilles) Croissance (rapidité, hauteur, encombrement, ) selon les évolueons de leur environnement Température, Humidité, Lumière/Ensoleillement Exemple 400 génomes 3 à 10 plants par génome 10 5 informaeons / jour

38 Projet PetaSky : observaeon astronomique grand champ (LSST) LIMOS (Clermont- Fd)=> F. Toumani LIRIS (Lyon) LPC (Clermont- Fd) APC (Paris) LAL (Paris) Centre de Calcul de l IN2P3/CNRS GesEon des données scienefiques dans le domaine de la cosmologie et l astrophysique Des dizaines de milliers de milliards d observaeons photométriques sur des dizaines de milliards d'objets 3 Milliards de sources 1-10 Millions d évènements par nuit 16 TB chaque 8 heures avec un taux de 540 MB/seconde EsGmaGon en fin de projet : Milliards de tuples (différentes versions des données sans prise en compte de la réplicagon), 60 PB 15 CEC, 8 ITA, 2 Doct.

39 Conclusion MathémaGque, InformaGque Traitement du signal Biologie, SHS.. CONCEPTS, MODELES, ALGORITHMES OrganisaGon - IndexaGon Accès - VisualisaGon Ne6oyage - EchanGllonnage ApprenGssage - Datamining ExaScale compugng Cloud CompuGng Réseaux haut débit OS / Middleware.. INFRASTRUCTURES Architectures MulG- cœurs / GPU HPC/ Parallélisme Stockage massif Big Data Data Science Connaissance, décision SémanGque, Qualité Physique, Energie, Cosmologie, Environnement, Biologie, Santé,. DONNEES / CONNAISSANCES Données du Web /rés. sociaux Données de capteurs Données de simulagon Corpus SHS

40 Sur le site du CNRS Big Data, la déferlante des octets CNRS le journal 04/03/14 12:30 Rechercher Partager l'article Donner du sens à la science Rechercher Se connecter / S'inscrire Suivre VIVANT MATIÈRE SOCIÉTÉS UNIVERS TERRE NUMÉRIQUE MES THÈMES Types file:///users/mokrane-cnrs/desktop/big%20data,%20la%20déferlante%20des%20octets%20%7c%20cnrs%20le%20journal.webarchive Page 1 sur 10

41 Et ailleurs 41

Emergence du Big Data Exemple : Linked Open Data

Emergence du Big Data Exemple : Linked Open Data 16/05/2014 Une approche interdisciplinaire des grandes masses de données (Défi Mastodons) Mokrane Bouzeghoub DAS INS2I / MI 1 Emergence du Big Data Exemple : Linked Open Data Accès à plusieurs BD scientifiques

Plus en détail

Emergence du Big Data Exemple : Linked Open Data

Emergence du Big Data Exemple : Linked Open Data 1 CNRS - Misionpour l'interdisciplinarité Mokrane Bouzeghoub 1 Une approche interdisciplinaire des grandes masses de données (Défi Mastodons) Mokrane Bouzeghoub DAS INS2I / MI Ecole de L Innova.on Thérapeu.

Plus en détail

07/11/2014. Emergence du Big Data Exemple : Linked Open Data. Les grandes questions du Big Data

07/11/2014. Emergence du Big Data Exemple : Linked Open Data. Les grandes questions du Big Data 07/11/2014 Le Défi Mastodons Une approche interdisciplinaire des grandes masses de données Mokrane Bouzeghoub DAS INS2I / MI 1 Emergence du Big Data Exemple : Linked Open Data Accès à plusieurs BD scientifiques

Plus en détail

MASTODONS. Un défi CNRS sur les «Big Data» Mokrane Bouzeghoub. Séminaire DUs INSHS - 6/12/2012

MASTODONS. Un défi CNRS sur les «Big Data» Mokrane Bouzeghoub. Séminaire DUs INSHS - 6/12/2012 MASTODONS Un défi CNRS sur les «Big Data» Mokrane Bouzeghoub Séminaire DUs INSHS - 6/12/2012 1 Qu est qu une (très grande) masse de données? VLDB XLDB Massive Data Big Data Very Big Data Data Deluge Grandes

Plus en détail

Masses de données. 1. Introduction 2. Problématiques 3. Socle de formation (non présenté) 4. Liens avec Formation INSA

Masses de données. 1. Introduction 2. Problématiques 3. Socle de formation (non présenté) 4. Liens avec Formation INSA Masses de données 1. Introduction 2. Problématiques 3. Socle de formation (non présenté) 4. Liens avec Formation INSA Rédacteurs : Mjo Huguet / N. Jozefowiez 1. Introduction : Besoins Informations et Aide

Plus en détail

Mastodons Une approche interdisciplinaire des Big Data

Mastodons Une approche interdisciplinaire des Big Data Mastodons Une approche interdisciplinaire des Big Data Méga- données, IRIT Nov 2014 Mokrane Bouzeghoub DAS INS2I / MI CNRS - Mission pour l'interdisciplinarité Mokrane Bouzeghoub 1 1 Introduction 2 CNRS

Plus en détail

Jean-François Boulicaut & Mohand-Saïd Hacid

Jean-François Boulicaut & Mohand-Saïd Hacid e siècle! Jean-François Boulicaut & Mohand-Saïd Hacid http://liris.cnrs.fr/~jboulica http://liris.cnrs.fr/mohand-said.hacid Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205

Plus en détail

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages

Plan. Pourquoi Hadoop? Présentation et Architecture. Démo. Usages 1 Mehdi LOUIZI Plan Pourquoi Hadoop? Présentation et Architecture Démo Usages 2 Pourquoi Hadoop? Limites du Big Data Les entreprises n analysent que 12% des données qu elles possèdent (Enquête Forrester

Plus en détail

FORMATION HADOOP Développeur pour Hadoop (Apache)

FORMATION HADOOP Développeur pour Hadoop (Apache) FORMATION HADOOP Développeur pour Hadoop (Apache) Ce document reste la propriété du Groupe Cyrès. Toute copie, diffusion, exploitation même partielle doit faire l objet d une demande écrite auprès de Cyrès.

Plus en détail

Les humanités numériques à l ère du big data

Les humanités numériques à l ère du big data Les humanités numériques à l ère du big data D. A. ZIGHED djamel@zighed.com Journées Big data & visualisation Focus sur les humanités numériques ISH Lyon 18-19 juin 2015 Co-organisées par EGC AFIHM - SFdS

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2015) Marc Parizeau, Département de génie électrique et de génie informatique Plan Données massives («big data») Architecture Hadoop distribution

Plus en détail

Data Mining et Big Data

Data Mining et Big Data Data Mining et Big Data Eric Rivals LIRMM & Inst. de Biologie Computationnelle CNRS et Univ. Montpellier 14 novembre 2015 E. Rivals (LIRMM & IBC) Big Data 14 novembre 2015 1 / 30 Introduction, contexte

Plus en détail

Pentaho Business Analytics Intégrer > Explorer > Prévoir

Pentaho Business Analytics Intégrer > Explorer > Prévoir Pentaho Business Analytics Intégrer > Explorer > Prévoir Pentaho lie étroitement intégration de données et analytique. En effet, les services informatiques et les utilisateurs métiers peuvent accéder aux

Plus en détail

avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data

avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data avec nos solutions spécialisées pour la microfinance et ses institutions coopératives Big Data Historique de Big data Jusqu à l avènement d Internet et surtout du Web 2.0 il n y avait pas tant de données

Plus en détail

Programmation parallèle et distribuée

Programmation parallèle et distribuée Programmation parallèle et distribuée (GIF-4104/7104) 5a - (hiver 2014) Marc Parizeau, Département de génie électrique et de génie informatique Plan Mégadonnées («big data») Architecture Hadoop distribution

Plus en détail

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data.

Les participants repartiront de cette formation en ayant une vision claire de la stratégie et de l éventuelle mise en œuvre d un Big Data. Big Data De la stratégie à la mise en oeuvre Description : La formation a pour objet de brosser sans concession le tableau du Big Data. Les participants repartiront de cette formation en ayant une vision

Plus en détail

Indexmed : Le big data en écologie? Pas encore disent certains. Pas si sûr! Avec IndexMed. Relevons ce challenge!

Indexmed : Le big data en écologie? Pas encore disent certains. Pas si sûr! Avec IndexMed. Relevons ce challenge! Indexmed : Le big data en écologie? Pas encore disent certains Pas si sûr! Avec IndexMed Relevons ce challenge! Origine du consortium L état des lieux (source : séminaire Allenvie, séminaire Indexmed1)

Plus en détail

Programmation parallèle et distribuée (Master 1 Info 2015-2016)

Programmation parallèle et distribuée (Master 1 Info 2015-2016) Programmation parallèle et distribuée (Master 1 Info 2015-2016) Hadoop MapReduce et HDFS Note bibliographique : ce cours est largement inspiré par le cours de Benjamin Renaut (Tokidev SAS) Introduction

Plus en détail

New Features. Developed by. BPM Conseil - SARL au capital de 70 000 euros - RCS LYON 479 400 129 9, rue Pierre Blanc - 69001 Lyon - France 1/20

New Features. Developed by. BPM Conseil - SARL au capital de 70 000 euros - RCS LYON 479 400 129 9, rue Pierre Blanc - 69001 Lyon - France 1/20 5 New Features Developed by 1/20 Sommaire 1 Introduction... 3 2 Evolutions des studios de développement et améliorations fonctionnelles... 5 3 Portail Vanilla... 6 3.1 Open Street Maps... 6 3.2 Gestion

Plus en détail

OLAP. Data Mining Decision

OLAP. Data Mining Decision Machine Learning Information Systems Data Warehouses Web & Cloud Intelligence OLAP Knowledge Management Data Mining Decision ENTREPÔTS, REPRÉSENTATION & INGÉNIERIE des CONNAISSANCES Une recherche pluridisciplinaire...

Plus en détail

Big Data et Graphes : Quelques pistes de recherche

Big Data et Graphes : Quelques pistes de recherche Big Data et Graphes : Quelques pistes de recherche Hamamache Kheddouci Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université

Plus en détail

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation

4. Utilisation d un SGBD : le langage SQL. 5. Normalisation Base de données S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Présentation du module Contenu général Notion de bases de données Fondements / Conception Utilisation :

Plus en détail

KARMA Le système de Revenue Management d'air France KLM avec Hadoop

KARMA Le système de Revenue Management d'air France KLM avec Hadoop KARMA Le système de Revenue Management d'air France KLM avec Hadoop Conférence BIG DATA - Master MBDS Université de Nice Sophia Antipolis 16 Décembre 2014 Martial AYAS maayas@airfrance.fr 2 Agenda 1. Présentation

Plus en détail

Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html. R.R. Université Lyon 2

Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html. R.R. Université Lyon 2 Ricco Rakotomalala http://eric.univ-lyon2.fr/~ricco/cours/cours_programmation_r.html 1 Plan de présentation 1. L écosystème Hadoop 2. Principe de programmation MapReduce 3. Programmation des fonctions

Plus en détail

L EXPLOITATION DES DONNEES SCIENTIFIQUES 3 Juillet 2012

L EXPLOITATION DES DONNEES SCIENTIFIQUES 3 Juillet 2012 P. 1 L EXPLOITATION DES DONNEES SCIENTIFIQUES 3 Juillet 2012 Mark Asch, INSMI-CNRS et Université de Picardie Jules Verne Journée BIG DATA - GFII P. 2 MISSION POUR L INTERDISCIPLINARITE Juillet 2012 Organisation

Plus en détail

Big Data. Concept et perspectives : la réalité derrière le "buzz"

Big Data. Concept et perspectives : la réalité derrière le buzz Big Data Concept et perspectives : la réalité derrière le "buzz" 2012 Agenda Concept & Perspectives Technologies & Acteurs 2 Pierre Audoin Consultants (PAC) Pierre Audoin Consultants (PAC) est une société

Plus en détail

Bases de données documentaires et distribuées Cours NFE04

Bases de données documentaires et distribuées Cours NFE04 Bases de données documentaires et distribuées Cours NFE04 Cloud et scalabilité Auteurs : Raphaël Fournier-S niehotta, Philippe Rigaux, Nicolas Travers prénom.nom@cnam.fr Département d informatique Conservatoire

Plus en détail

Afin de définir les axes d innovation liés à l observation de la Terre dans le domaine des risques naturels et de l agriculture, des «réservoirs d

Afin de définir les axes d innovation liés à l observation de la Terre dans le domaine des risques naturels et de l agriculture, des «réservoirs d 1 Afin de définir les axes d innovation liés à l observation de la Terre dans le domaine des risques naturels et de l agriculture, des «réservoirs d innovation» ont été définis. Ils correspondent à des

Plus en détail

parée e avec C. Germain, B. Kegl et M. Jouvin CS de l Université Paris Sud

parée e avec C. Germain, B. Kegl et M. Jouvin CS de l Université Paris Sud Présentation prépar parée e avec C. Germain, B. Kegl et M. Jouvin CS de l Université Paris Sud (pré)histoire de la Grille Paris Sudn1 Les besoins de la communauté HEP La collaboration physiciens/informaticiens

Plus en détail

Les technologies du Big Data

Les technologies du Big Data Les technologies du Big Data PRÉSENTÉ AU 40 E CONGRÈS DE L ASSOCIATION DES ÉCONOMISTES QUÉBÉCOIS PAR TOM LANDRY, CONSEILLER SENIOR LE 20 MAI 2015 WWW.CRIM.CA TECHNOLOGIES: DES DONNÉES JUSQU'À L UTILISATEUR

Plus en détail

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr

Déploiement d une architecture Hadoop pour analyse de flux. françois-xavier.andreu@renater.fr Déploiement d une architecture Hadoop pour analyse de flux françois-xavier.andreu@renater.fr 1 plan Introduction Hadoop Présentation Architecture d un cluster HDFS & MapReduce L architecture déployée Les

Plus en détail

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant

Acquisition des données - Big Data. Dario VEGA Senior Sales Consultant Acquisition des données - Big Data Dario VEGA Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated

Plus en détail

Groupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be

Groupe de Discussion Big Data Aperçu des technologies et applications. Stéphane MOUTON stephane.mouton@cetic.be Groupe de Discussion Big Data Aperçu des technologies et applications Stéphane MOUTON stephane.mouton@cetic.be Recherche appliquée et transfert technologique q Agréé «Centre Collectif de Recherche» par

Plus en détail

Big Data et Graphes : Quelques pistes de recherche

Big Data et Graphes : Quelques pistes de recherche Big Data et Graphes : Quelques pistes de recherche Hamamache Kheddouci http://liris.cnrs.fr/hamamache.kheddouci Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de

Plus en détail

Big data et données géospatiales : Enjeux et défis pour la géomatique. Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique

Big data et données géospatiales : Enjeux et défis pour la géomatique. Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique Big data et données géospatiales : Enjeux et défis pour la géomatique Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique Événement 25e anniversaire du CRG Université Laval, Qc, Canada 08 mai

Plus en détail

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant

Organiser vos données - Big Data. Patrick Millart Senior Sales Consultant Organiser vos données - Big Data Patrick Millart Senior Sales Consultant The following is intended to outline our general product direction. It is intended for information purposes only, and may not be

Plus en détail

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis

MapReduce. Nicolas Dugué nicolas.dugue@univ-orleans.fr. M2 MIAGE Systèmes d information répartis MapReduce Nicolas Dugué nicolas.dugue@univ-orleans.fr M2 MIAGE Systèmes d information répartis Plan 1 Introduction Big Data 2 MapReduce et ses implémentations 3 MapReduce pour fouiller des tweets 4 MapReduce

Plus en détail

Fouillez facilement dans votre système Big Data. Olivier TAVARD

Fouillez facilement dans votre système Big Data. Olivier TAVARD Fouillez facilement dans votre système Big Data Olivier TAVARD A propos de moi : Cofondateur de la société France Labs Développeur (principalement Java) Formateur en technologies de moteurs de recherche

Plus en détail

Big Data Concepts et mise en oeuvre de Hadoop

Big Data Concepts et mise en oeuvre de Hadoop Introduction 1. Objectif du chapitre 9 2. Le Big Data 10 2.1 Introduction 10 2.2 Informatique connectée, objets "intelligents" et données collectées 11 2.3 Les unités de mesure dans le monde Big Data 12

Plus en détail

NoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)

NoSQL. Introduction 1/23. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur) 1/23 2/23 Anne-Cécile Caron Master MIAGE - BDA 1er trimestre 2013-2014 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche

Plus en détail

Le pilotage des collaborations et l interopérabilité des systèmes d information Vers une démarche intégrée

Le pilotage des collaborations et l interopérabilité des systèmes d information Vers une démarche intégrée Colloque : Systèmes Complexes d Information et Gestion des Risques pour l Aide à la Décision Le pilotage des collaborations et l interopérabilité des systèmes d information Vers une démarche intégrée BELKADI

Plus en détail

Introduction Big Data

Introduction Big Data Introduction Big Data SOMMAIRE Rédacteurs : Réf.: SH. Lazare / F. Barthélemy AXIO_BD_V1 QU'EST-CE QUE LE BIG DATA? ENJEUX TECHNOLOGIQUES ENJEUX STRATÉGIQUES BIG DATA ET RH ANNEXE Ce document constitue

Plus en détail

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca

Une brève introduction aux Données Massives - Challenges et perspectives. Romain Picot-Clémente Cécile Bothorel Philippe Lenca Une brève introduction aux Données Massives - Challenges et perspectives Romain Picot-Clémente Cécile Bothorel Philippe Lenca Plan 1 Big Data 2 4Vs 3 Hadoop et son écosystème 4 Nouveaux challenges, nouvelles

Plus en détail

Présentation du module Base de données spatio-temporelles

Présentation du module Base de données spatio-temporelles Présentation du module Base de données spatio-temporelles S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Partie 1 : Notion de bases de données (12,5h ) Enjeux et principes

Plus en détail

Présentation du module. Base de données spatio-temporelles. Exemple. Introduction Exemple. Plan. Plan

Présentation du module. Base de données spatio-temporelles. Exemple. Introduction Exemple. Plan. Plan Base de données spatio-temporelles S. Lèbre slebre@unistra.fr Université de Strasbourg, département d informatique. Présentation du module Contenu général Partie 1 : Notion de bases de données (Conception

Plus en détail

HPC-Desk. HPC et SaaS scientifique : l évolution. nécessaire des outils SaaS. Jérémie Bellec Structure Computation

HPC-Desk. HPC et SaaS scientifique : l évolution. nécessaire des outils SaaS. Jérémie Bellec Structure Computation HPC-Desk HPC et SaaS scientifique : l évolution nécessaire des outils SaaS. Jérémie Bellec Structure Computation Structure Computation Plate-forme is-sim (www.is-sim.com) 2 Structure Computation Missions

Plus en détail

Cartographie des solutions BigData

Cartographie des solutions BigData Cartographie des solutions BigData Panorama du marché et prospective 1 1 Solutions BigData Défi(s) pour les fournisseurs Quel marché Architectures Acteurs commerciaux Solutions alternatives 2 2 Quels Défis?

Plus en détail

NoSQL. Introduction 1/30. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur)

NoSQL. Introduction 1/30. I NoSQL : Not Only SQL, ce n est pas du relationnel, et le contexte. I table d associations - Map - de couples (clef,valeur) 1/30 2/30 Anne-Cécile Caron Master MIAGE - SGBD 1er trimestre 2014-2015 I : Not Only SQL, ce n est pas du relationnel, et le contexte d utilisation n est donc pas celui des SGBDR. I Origine : recherche

Plus en détail

BIG DATA. Veille technologique. Malek Hamouda Nina Lachia Léo Valette. Commanditaire : Thomas Milon. Encadré: Philippe Vismara

BIG DATA. Veille technologique. Malek Hamouda Nina Lachia Léo Valette. Commanditaire : Thomas Milon. Encadré: Philippe Vismara BIG DATA Veille technologique Malek Hamouda Nina Lachia Léo Valette Commanditaire : Thomas Milon Encadré: Philippe Vismara 1 2 Introduction Historique des bases de données : méthodes de stockage et d analyse

Plus en détail

Le BigData, aussi par et pour les PMEs

Le BigData, aussi par et pour les PMEs Parole d expert Le BigData, aussi par et pour les PMEs Stéphane MOUTON, CETIC Département Software and Services Technologies Avec le soutien de : LIEGE CREATIVE Le Big Data, aussi par et pour les PMEs

Plus en détail

Digital Workplace et Gestion des connaissances Concepts et mise en oeuvre

Digital Workplace et Gestion des connaissances Concepts et mise en oeuvre Avant-propos 1. Objectif du livre 17 2. Illustrations des exemples de ce livre 18 2.1 Office 365 comme plateforme technologique pour une digital workplace 18 2.2 SharePoint et Yammer à l honneur 18 3.

Plus en détail

Nouvelles de l AS fouille d images. Émergence de caractéristiques sémantiques

Nouvelles de l AS fouille d images. Émergence de caractéristiques sémantiques Nouvelles de l AS fouille d images Émergence de caractéristiques sémantiques Patrick GROS Projet TEXMEX IRISA - UMR 6074, CNRS, université de Rennes 1, INSA Rennes, INRIA L AS fouille d images Qu est-ce

Plus en détail

Les datas = le fuel du 21ième sicècle

Les datas = le fuel du 21ième sicècle Les datas = le fuel du 21ième sicècle D énormes gisements de création de valeurs http://www.your networkmarketin g.com/facebooktwitter-youtubestats-in-realtime-simulation/ Xavier Dalloz Le Plan Définition

Plus en détail

BIG DATA en Sciences et Industries de l Environnement

BIG DATA en Sciences et Industries de l Environnement BIG DATA en Sciences et Industries de l Environnement François Royer www.datasio.com 21 mars 2012 FR Big Data Congress, Paris 2012 1/23 Transport terrestre Traçabilité Océanographie Transport aérien Télémétrie

Plus en détail

Les sections 6 et 7. du ComitéNational de la RechercheScientifique

Les sections 6 et 7. du ComitéNational de la RechercheScientifique Les sections 6 et 7 du ComitéNational de la RechercheScientifique (CoNRS) Frédérique Bassino et Michèle Basseville Plan Le comité national Les missions des sections Les sections 6 et 7 Le comiténational

Plus en détail

Retour d expérience BigData 16/10/2013 Cyril Morcrette CTO

Retour d expérience BigData 16/10/2013 Cyril Morcrette CTO Retour d expérience BigData 16/10/2013 Cyril Morcrette CTO Mappy en Chiffre Filiale du groupe Solocal 10M de visiteurs uniques 300M visites annuelles 100 collaborateurs dont 60% technique 3,7 Md de dalles

Plus en détail

Titre : La BI vue par l intégrateur Orange

Titre : La BI vue par l intégrateur Orange Titre : La BI vue par l intégrateur Orange Résumé : L entité Orange IT&L@bs, partenaire privilégié des entreprises et des collectivités dans la conception et l implémentation de SI Décisionnels innovants,

Plus en détail

Le Big Data est-il polluant? BILLET. Big Data, la déferlante des octets VIVANT MATIÈRE SOCIÉTÉS UNIVERS TERRE NUMÉRIQUE TERRE (/TERRE)

Le Big Data est-il polluant? BILLET. Big Data, la déferlante des octets VIVANT MATIÈRE SOCIÉTÉS UNIVERS TERRE NUMÉRIQUE TERRE (/TERRE) Donner du sens à la science Rechercher Se connecter / S'inscrire Suivre VIVANT MATIÈRE SOCIÉTÉS UNIVERS TERRE NUMÉRIQUE MES THÈMES Types DOSSIER Paru le 15.11.2012 Mis à jour le 29.01.2014 Big Data, la

Plus en détail

Indexmed : Le big data en écologie? Pas encore disent certains. Pas si sûr! Avec IndexMed. Relevons ce challenge!

Indexmed : Le big data en écologie? Pas encore disent certains. Pas si sûr! Avec IndexMed. Relevons ce challenge! Indexmed : Le big data en écologie? Pas encore disent certains Pas si sûr! Avec IndexMed Relevons ce challenge! Origine du consortium L état des lieux (source : séminaire Allenvie, séminaire Indexmed1)

Plus en détail

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -"Big Data par l'exemple" -Julien DULOUT

20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013. 20 ans du SIAD -Big Data par l'exemple -Julien DULOUT 20 ans du Master SIAD de Toulouse - BigData par l exemple - Julien DULOUT - 22 mars 2013 20 ans du SIAD -"BigData par l'exemple" -Julien DULOUT Qui a déjà entendu parler du phénomène BigData? Qui a déjà

Plus en détail

DÉPLOIEMENT DE QLIKVIEW POUR DES ANALYSES BIG DATA CHEZ KING.COM

DÉPLOIEMENT DE QLIKVIEW POUR DES ANALYSES BIG DATA CHEZ KING.COM DÉPLOIEMENT DE QLIKVIEW POUR DES ANALYSES BIG DATA CHEZ KING.COM Étude de cas technique QlikView : Big Data Juin 2012 qlikview.com Introduction La présente étude de cas technique QlikView se consacre au

Plus en détail

La visualisation au service du Big Analytics : chimère ou nouvelles frontières? Journée Grandes Dimensions 2012/12/10

La visualisation au service du Big Analytics : chimère ou nouvelles frontières? Journée Grandes Dimensions 2012/12/10 La visualisation au service du Big Analytics : chimère ou nouvelles frontières? Journée Grandes Dimensions 2012/12/10 Philippe Saadé psaade@picviz.com 1. Une approche possible au Big Analytics. 1.1 L échec

Plus en détail

Panorama des solutions analytiques existantes

Panorama des solutions analytiques existantes Arnaud LAROCHE Julien DAMON Panorama des solutions analytiques existantes SFdS Méthodes et Logiciels - 16 janvier 2014 - Données Massives Ne sont ici considérés que les solutions autour de l environnement

Plus en détail

Analyse de données textuelles Panorama des fonctions, des méthodes et des usages

Analyse de données textuelles Panorama des fonctions, des méthodes et des usages Analyse de données textuelles Panorama des fonctions, des méthodes et des usages Sylvie Dalbin Assistance & Techniques Documentaires DocForum, Le 17 Novembre 2005 Déroulé de l'intervention (1) 1. Définition

Plus en détail

NoSQL Faut-il franchir le pas?

NoSQL Faut-il franchir le pas? NoSQL Faut-il franchir le pas? Guillaume HARRY Journées rbdd Octobre 2015 Sommaire 1. Evolution des bases de données 2. Le mouvement NoSQL 3. Les grandes familles du NoSQL 4. Aller ou non vers le NoSQL?

Plus en détail

Les activités de recherche sont associées à des voies technologiques et à des opportunités concrètes sur le court, moyen et long terme.

Les activités de recherche sont associées à des voies technologiques et à des opportunités concrètes sur le court, moyen et long terme. Mémoires 2010-2011 www.euranova.eu EURANOVA R&D Euranova est une société Belge constituée depuis le 1er Septembre 2008. Sa vision est simple : «Être un incubateur technologique focalisé sur l utilisation

Plus en détail

Plan. Cours 4 : Méthodes d accès aux données. Architecture système. Objectifs des SGBD (rappel)

Plan. Cours 4 : Méthodes d accès aux données. Architecture système. Objectifs des SGBD (rappel) UPMC - UFR 99 Licence d informatique 205/206 Module 3I009 Cours 4 : Méthodes d accès aux données Plan Fonctions et structure des SGBD Structures physiques Stockage des données Organisation de fichiers

Plus en détail

Cycle de vie, processus de gestion

Cycle de vie, processus de gestion Les données scientifiques au CNES Cycle de vie, processus de gestion Danièle BOUCON Réunion PIN du 4 janvier 2013 Réunion PIN du 22 mars 2012 Outils CNES Contexte des données scientifiques au CNES SOMMAIRE

Plus en détail

CENTAI : Big Data & Big Analytics Réunion DGPN / Thales Octobre 2013

CENTAI : Big Data & Big Analytics Réunion DGPN / Thales Octobre 2013 www.thalesgroup.com CENTAI : Big Data & Big Analytics Réunion DGPN / Thales Octobre 2013 2 / Sommaire CENTAI : Présentation du laboratoire Plate-forme OSINT LAB Détection de la fraude à la carte bancaire

Plus en détail

Les entrepôts de données pour les nuls... ou pas!

Les entrepôts de données pour les nuls... ou pas! Atelier aideà la Décision à tous les Etages AIDE@EGC2013 Toulouse Mardi 29 janvier 2013 Cécile Favre Fadila Bentayeb Omar Boussaid Jérôme Darmont Gérald Gavin Nouria Harbi Nadia Kabachi Sabine Loudcher

Plus en détail

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL

AVRIL 2014. Au delà de Hadoop. Panorama des solutions NoSQL AVRIL 2014 Panorama des solutions NoSQL QUI SOMMES NOUS? Avril 2014 2 SMILE, EN QUELQUES CHIFFRES 1er INTÉGRATEUR EUROPÉEN DE SOLUTIONS OPEN SOURCE 3 4 NOS EXPERTISES ET NOS CONVICTIONS DANS NOS LIVRES

Plus en détail

Les besoins. Le capital existant. Les nouvelles ambitions. Les projets. Conclusions. Compétences et ressources humaines Les ressources

Les besoins. Le capital existant. Les nouvelles ambitions. Les projets. Conclusions. Compétences et ressources humaines Les ressources Les besoins Le capital existant Compétences et ressources humaines Les ressources Les nouvelles ambitions Les projets Conclusions 2 Les thématiques P2IO reposent sur la production et l exploitation de

Plus en détail

Introduction aux bases de données NoSQL

Introduction aux bases de données NoSQL Introduction aux bases de données NoSQL Khaled Tannir ets@khaledtannir.net Montréal - 23 Juillet 2015 Qui suis-je? Khaled TANNIR Big Data Architect Lead 20 ans d expérience ets@khaledtannir.net @khaled_tannir

Plus en détail

Spécifications de la Plateforme OrphaMine

Spécifications de la Plateforme OrphaMine Spécifications de la Plateforme OrphaMine Chedy Raïssi 24 juillet 2013 1 Table des matières 1 Présentation de la plateforme OrphaMine 2 1.1 Objectifs.............................. 2 1.1.1 Les contraintes......................

Plus en détail

Introduction à MapReduce/Hadoop et Spark

Introduction à MapReduce/Hadoop et Spark 1 / 36 Introduction à MapReduce/Hadoop et Spark Certificat Big Data Ludovic Denoyer et Sylvain Lamprier UPMC Plan 2 / 36 Contexte 3 / 36 Contexte 4 / 36 Data driven science: le 4e paradigme (Jim Gray -

Plus en détail

SÉRIE NOUVELLES ARCHITECTURES

SÉRIE NOUVELLES ARCHITECTURES SÉRIE NOUVELLES ARCHITECTURES Alerte au tsunami des données : les entreprises doivent prendre la vague maintenant! Quels sont les faits qui sous-tendent cette réalité? Quelles entreprises sont aujourd

Plus en détail

Présentation des. MicroStrategy 10.

Présentation des. MicroStrategy 10. Présentation des nouveautés de MicroStrategy 10. microstrategy.com/analytics 1 M MicroStrategy 10. Une véritable révolution. MicroStrategy 10 représente une étape majeure dans l évolution de la suite MicroStrategy

Plus en détail

Conception de systèmes d'information et d'entrepôts de données

Conception de systèmes d'information et d'entrepôts de données Territoires, Environnement, Télédétection et Information Spatiale Unité mixte de recherche AgroParisTech - Cirad - Irstea Conception de systèmes d'information et d'entrepôts de données Vers des structures

Plus en détail

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture

API04 Contribution. Apache Hadoop: Présentation et application dans le domaine des Data Warehouses. Introduction. Architecture API04 Contribution Apache Hadoop: Présentation et application dans le domaine des Data Warehouses Introduction Cette publication a pour but de présenter le framework Java libre Apache Hadoop, permettant

Plus en détail

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales

Ecole des Hautes Etudes Commerciales HEC Alger. par Amina GACEM. Module Informatique 1ière Année Master Sciences Commerciales Ecole des Hautes Etudes Commerciales HEC Alger Évolution des SGBDs par Amina GACEM Module Informatique 1ière Année Master Sciences Commerciales Evolution des SGBDs Pour toute remarque, question, commentaire

Plus en détail

e-biogenouest CNRS UMR 6074 IRISA-INRIA / Plateforme de Bioinformatique GenOuest yvan.le_bras@irisa.fr Programme fédérateur Biogenouest co-financé

e-biogenouest CNRS UMR 6074 IRISA-INRIA / Plateforme de Bioinformatique GenOuest yvan.le_bras@irisa.fr Programme fédérateur Biogenouest co-financé e-biogenouest Coordinateur : Olivier Collin Animateur : Yvan Le Bras CNRS UMR 6074 IRISA-INRIA / Plateforme de Bioinformatique GenOuest yvan.le_bras@irisa.fr Programme fédérateur Biogenouest co-financé

Plus en détail

BI = Business Intelligence Master Data-ScienceCours 2 - ETL

BI = Business Intelligence Master Data-ScienceCours 2 - ETL BI = Business Intelligence Master Data-Science Cours 2 - ETL UPMC 1 er février 2015 Rappel L Informatique Décisionnelle (ID), en anglais Business Intelligence (BI), est l informatique à l usage des décideurs

Plus en détail

FORUM NTIC BIG DATA, OPEN DATA Big Data: les challenges, les défis

FORUM NTIC BIG DATA, OPEN DATA Big Data: les challenges, les défis FORUM NTIC BIG DATA, OPEN DATA Big Data: les challenges, les défis Joseph Salmon Télécom ParisTech Jeudi 6 Février Joseph Salmon (Télécom ParisTech) Big Data Jeudi 6 Février 1 / 18 Agenda Contexte et opportunités

Plus en détail

Conserver les Big Data, source de valeur pour demain

Conserver les Big Data, source de valeur pour demain Le potentiel et les défis du Big Data UIMM Mardi 2 et mercredi 3 juillet 2013 56 avenue de Wagram 75017 PARIS Conserver les Big Data, source de valeur pour demain Définir les Big Data Les Big Data à travers

Plus en détail

Objectifs du cours Modèles et Approches Formels de Systèmes Distribués

Objectifs du cours Modèles et Approches Formels de Systèmes Distribués Objectifs du cours Modèles et Approches Formels de Systèmes Distribués Mohamed Mosbah LaBRI ENSEIRB - Université Bordeaux 1 mosbah@labri.fr dept-info.labri.fr/~mosbah/mafsd.html Connaître les caractéristiques

Plus en détail

Masses de données et calcul : à l IRIT. 8 octobre 2013

Masses de données et calcul : à l IRIT. 8 octobre 2013 Masses de données et calcul : la recherche en lien avec les Big Data à l IRIT 8 octobre 2013 08/10/2013 1 L IRIT en qq chiffres 700 personnes sur tous les sites toulousains 5 tutelles 7 thèmes et 21 équipes

Plus en détail

Rôle des STIC dans les grands enjeux sociétaux, économiques et environnementaux. La Vision d ALLISTENE. 5 janvier 2012 Michel Cosnard

Rôle des STIC dans les grands enjeux sociétaux, économiques et environnementaux. La Vision d ALLISTENE. 5 janvier 2012 Michel Cosnard A Rôle des STIC dans les grands enjeux sociétaux, économiques et environnementaux La Vision d ALLISTENE 5 janvier 2012 Michel Cosnard Missions d Allistene Stratégie de recherche et d innovation Distingue

Plus en détail

Master Sciences et Technologies. Mention Informatique. Spécialité MOCAD. En Alternance

Master Sciences et Technologies. Mention Informatique. Spécialité MOCAD. En Alternance Master Sciences et Technologies Mention Informatique Spécialité MOCAD En Alternance 2 Le Master Informatique MOCAD de l'université Lille 1 s'adresse à tout étudiant(e) titulaire d'une première année de

Plus en détail

Les données massives de Copernicus : vers un nouveau paradigme. Hervé Jeanjean Cnes

Les données massives de Copernicus : vers un nouveau paradigme. Hervé Jeanjean Cnes Les données massives de Copernicus : vers un nouveau paradigme Hervé Jeanjean Cnes 1 Règlement Copernicus du 03/04/2014 : cadre politique, organisationnel et financier Règlement délégué du 12/07/2013 sur

Plus en détail

Conception des systèmes répartis

Conception des systèmes répartis Conception des systèmes répartis Principes et concepts Gérard Padiou Département Informatique et Mathématiques appliquées ENSEEIHT Octobre 2012 Gérard Padiou Conception des systèmes répartis 1 / 37 plan

Plus en détail

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1

Big Data. Cyril Amsellem Consultant avant-vente. 16 juin 2011. Talend 2010 1 Big Data Cyril Amsellem Consultant avant-vente 16 juin 2011 Talend 2010 1 Big Data Architecture globale Hadoop Les projets Hadoop (partie 1) Hadoop-Core : projet principal. HDFS : système de fichiers distribués

Plus en détail

FICHE CONCEPT 01 ETL (EXTRACT TRANSFORM & LOAD)

FICHE CONCEPT 01 ETL (EXTRACT TRANSFORM & LOAD) FICHE CONCEPT 01 ETL (EXTRACT TRANSFORM & LOAD) BIEN GERER SES REFERENTIELS DE DONNEES : UN ENJEU POUR MIEUX PILOTER LA PERFORMANCE DE SON ETABLISSEMENT octobre 2008 GMSIH 44, Rue de Cambronne 75015 Paris.

Plus en détail

Gestion de données à large échelle. Anne Doucet LIP6 Université Paris 6

Gestion de données à large échelle. Anne Doucet LIP6 Université Paris 6 Gestion de données à large échelle Anne Doucet LIP6 Université Paris 6 1 Plan Contexte Les réseaux P2P Non structurés Structurés Hybrides Localisation efficace et Interrogation complète et exacte des données.

Plus en détail

Quels usages des données massives pour les statistiques publiques? Enjeux, méthodes et perspectives

Quels usages des données massives pour les statistiques publiques? Enjeux, méthodes et perspectives Quels usages des données massives pour les statistiques publiques? Enjeux, méthodes et perspectives Stéphanie Combes et Pauline Givord (DMCSI) INSEE-DMSCI 02/04/2015 Plan Qu'est-ce que le Big Data? Les

Plus en détail

Modélisation des dynamiques spatiales et cartographies animée, interactive et dynamiques

Modélisation des dynamiques spatiales et cartographies animée, interactive et dynamiques Modélisation des dynamiques spatiales et cartographies animée, interactive et dynamiques Point de vue géographique UMR 7300 Espace Université d Avignon GDR MoDys École Thématique Modys : Modélisation et

Plus en détail

Optimisation de requêtes. I3009 Licence d informatique 2015/2016. Traitement des requêtes

Optimisation de requêtes. I3009 Licence d informatique 2015/2016. Traitement des requêtes Optimisation de requêtes I3009 Licence d informatique 2015/2016 Cours 5 - Optimisation de requêtes Stéphane.Gançarski Stephane.Gancarski@lip6.fr Traitement et exécution de requêtes Implémentation des opérateurs

Plus en détail

PLANIFICATION ET OPERATIONS INTEGREES DU TRANSPORT MULTIMODAL

PLANIFICATION ET OPERATIONS INTEGREES DU TRANSPORT MULTIMODAL PLANIFICATION ET OPERATIONS INTEGREES DU TRANSPORT MULTIMODAL KEYWORDS : SYSTEMX, Transport, Multimodal, Simulation, Optimisation, Supervision CONTEXTE de l IRT SYSTEMX L IRT SystemX est un institut de

Plus en détail

Big Data On Line Analytics

Big Data On Line Analytics Fdil Fadila Bentayeb Lb Laboratoire ERIC Lyon 2 Big Data On Line Analytics ASD 2014 Hammamet Tunisie 1 Sommaire Sommaire Informatique décisionnelle (BI Business Intelligence) Big Data Big Data analytics

Plus en détail

Big Data par l exemple

Big Data par l exemple #PARTAGE Big Data par l exemple Alexandre Chauvin Hameau Directeur de la production Malakoff Médéric @achauvin CT BIG DATA 10/12/2015 Soyons pragmatiques BIG DATA beaucoup de bruit pour des choses finalement

Plus en détail

DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD

DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD DEMARRER UN PROJET BIGDATA EN QUELQUES MINUTES GRACE AU CLOUD BIGDATA PARIS LE 1/4/2014 VINCENT HEUSCHLING @VHE74! 1 NOUS 100% Bigdata Infrastructure IT + Data Trouver vos opportunités Implémenter les

Plus en détail