Big data et données géospatiales : Enjeux et défis pour la géomatique. Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique

Transcription

1 Big data et données géospatiales : Enjeux et défis pour la géomatique Thierry Badard, PhD, ing. jr Centre de Recherche en Géomatique Événement 25e anniversaire du CRG Université Laval, Qc, Canada 08 mai 2014

2 Plan de la présentation Déluge de données Qu est ce que le Big data Écosystème technologique Big data Use cases et défis relatifs au Big data Et le géospatial dans tout cela? Défis et enjeux

3 Variété de sources d information Explosion de la téléphonie mobile Quantité colossale de documents/informations Sur le Net mais aussi dans vos propres systèmes d information! Wiki, blogs, documents Word, PDF, s, logs/transactions, stats Apogée des réseaux sociaux Non seulement textuels, mais aussi image, vidéo, Avec documents, données hautement non structurées Développement de l open data Accessibilité de plus en plus grande à de la donnée $ Développement d API d accès Les capteurs sont partout et fournissent des quantités immenses : Imagerie, vidéo, nuages de points, mesures diverses, En continu dans le temps Historique, accès à différents états Explosion à venir des objets connectés (Internet of Things), drones (diminution des coûts),

4 Information overload Souce : IDC

5 Information overload Souce : IDC

6

7 Qu est ce que le Big data? Dan Ariely

8 Qu est ce que le Big data? Selon un étude intéressante de Celent auprès de 33 institutions financières (banques et assurances) : Les répondants devaient choisir 3 phrases parmi 4 pour définir le terme Big data : "data that is semi structured or unstructured" (74%) "predictive analytics or modeling" (68%) "large volumes of data that can not be accommodated with traditional relational DBMS" (59%) social media data (27%)

9 Qu est ce que le Big data? Selon un étude intéressante de Celent auprès de 33 institutions financières (banques et assurances) : Les répondants devaient choisir 3 phrases parmi 4 pour définir le terme Big data : "data that is semi structured or unstructured" (74%) "predictive analytics or modeling" (68%) "large volumes of data that can not be accommodated with traditional relational DBMS" (59%) social media data (27%)

10 Les 3 V de Gartner Introduit en 2001 par Doug Laney de Gartner : Volume Variété Côté structuré/non structuré des données n est qu un aspect Vélocité Fait référence à la fréquence de changement des données Et donc à la durée pendant laquelle ces données restent pertinentes Nécessite donc des technologies qui peuvent agréger très rapidement ces données pour en permettre l analyse dans un délais court On peut ajouter : Valeur ou la Véracité Qualité de ces données : Garbage in / garbage out! Défis important du Big data! Mais aussi importance existence d un business case!

11 Écosystème technologies Big data Pas de solution unique / diversité des analyses Stockage et traitement distribué de l information Cloud, cluster de nœuds, Pas seulement Hadoop! GoogleFS, BigTables, MapReduce, Lot de technologies Big data NoSQL MongoDB, Cassandra, Entrepôts de données MPP (Massively Parallel Processing) Ex. : IBM Netezza, GreenPlum, Vertica, Solutions dites de «In memory computing» Ex. : SAP HANA, Aussi de plus en plus présent dans couche analytique de l écosystème Hadoop

12

13 Écosystème Hadoop Écosystème riche à plusieurs couches : Du stockage, traitement/intégration à l interrogation et l analyse Traitement batch vs. temps réel

14 Big data use cases Source : Gartner, 2013

15 Big data use cases Source : Gartner, 2013

16 Big data use cases Pourquoi utiliser des technos big data? Diminution des coûts : Hadoop as a staging area 1TB de données : Hadoop ($500 à $2,000) vs. high end EDW ($20,000 à $200,000) Ne remplace pas les solutions BI/analyse en place mais les complémentent! Maintenant moyen d entreposer l EDW dans Hadoop Structuration plus «agile» Tester plusieurs modèles? Permettent de répondre à des besoins d analyse dans des temps plus courts ou qui ne pouvaient être adressés par les technologies actuelles 2x moins de temps = 2 fois plus de nœuds! Mais nécessité de bien définir un business case réaliste! Sinon risque important d errance et d avoir du mal à justifier in fine un projet Big data

17 Défis Big data Si les aspects stockage, intégration et interrogation peuvent toujours progresser, déjà des solutions intéressantes existent et peuvent être utilisées D autant plus qu elles se couplent aux engins BI déjà en place! Néanmoins, ces technos ne sont pas la solution miracle à tous les maux! Les données non structurées pour être analysées doivent être structurées même si cela ne se fait un peu qu au dernier moment et de façon moins figée! Image, vidéo, textes bruts,... imposent que ces technos doivent disposer de capacités d intégration, d interrogation et d analyse appropriées/spécifiques/spécialisées Elles sont pour l heure non adressées par ces technologies!

18 Retour sur l étude de Gartner Source : Gartner, 2013

19 Défis Big data Si les aspects stockage, intégration et interrogation peuvent toujours progresser, déjà des solutions intéressantes qui existent et peuvent être utilisées D autant plus qu elles se couplent aux engins BI déjà en place! Néanmoins, ces technos ne sont pas la solution miracle à tous les maux! Les données non structurées pour être analysées doivent être structurées même si cela ne se fait un peu qu au dernier moment et de façon moins figée! Image, vidéo, textes bruts,... imposent que ces technos doivent disposer de capacités d intégration, d interrogation et d analyse appropriées/spécifiques/spécialisées Elles sont pour l heure non adressées par ces technologies! De plus, l analyse passant par la visualisation des informations, comment visualiser/interagir avec ces grandes masses d information?

20 Défis de visualisation du Big data Source :

21 Défis de visualisation du Big data Source :

22 Défis de visualisation du Big data Source : data visualizations/

23 Défis de visualisation du Big data Source :

24 Défis de visualisation du Big data Source : data visualizations/

25 Défis de visualisation du Big data Source : and technology/geography beer 78105/

26 Défis de visualisation du Big data Source : /2014/04/map all places us where nobodylives/8910/

27 Défis de visualisation du Big data Source : Spatialytics

28 La carte Un médium de communication intuitif Tout le monde la comprend, se situe et en appréhende les relations entre entités (proximité, densité, forme, intensité, ) Permet de croiser/superposer différentes informations et de faire les liens entre les couches de données Navigation intuitive au sein de l information (cf. Google Maps/Earth) Un médium assez universel 80 % of all data stored in corporate databases has a spatial component [Franklin 1992] Mais composante sous estimée vs. le temps / décision

29 Prochaine étape : la donnée géo? Source : Gartner, 2013

30 Vers des solutions Geo Big Data Instiller/intégrer de façon cohérente la composante spatiale et ses opérateurs d interrogation/analyse dans le «mille feuille Big data» Stockage Intégration Traitement Interrogation Analyse Fouille/exploration Rendre la composante spatiale aussi simple à manipuler, traiter et interroger que n importe quel type abstrait de données usuel (nombre, date, )

31 Vers des solutions Geo Big Data Certaines solutions commencent à apparaître au niveau stockage et accès/interrogation en mode batch Spatial Hadoop HadoopGIS GIS Tools for Hadoop (ESRI) Spatial Hive Hive SP ST_HBase Pigeon (basé sur Pig) GeoMesa (basé sur Accumulo), Un commencement seulement Très embryonnaire pour bon nombre, prototypes de R&D Bien loin encore de l analyse en temps quasi réel

32 Vers des solutions Geo Big Data De nouvelles méthodes et techniques de visualisation cartographique et d interaction restent à inventer Capables d afficher et de naviguer dans ces grands volumes de données, de façon fluide et en temps réel Pour ne pas entraver le processus de pensée d un analyste Capables de supporter la Vélocité qu impose le Big data rapidité des changements et impacts qu ils peuvent avoir sur les données (relations) Avec comme support un simple navigateur web

33 Autres défis Géo & Big data Nouvelles méthodes d analyse de données Interopérabilité et sémantique des données Qualité des données Sécurité des données Aspect confidentialité, respect de la vie privée et responsabilité vis à vis de la donnée Disposer d expertise Formation de la relève

34 MERCI Pour me contacter : Tél. : Skype : tbadard Twitter LinkedIn :