Les technologies du Big Data

Dimension: px

Commencer à balayer dès la page:

Download "Les technologies du Big Data"

Adèle Bellefleur
il y a 8 ans
Total affichages :

1 Les technologies du Big Data PRÉSENTÉ AU 40 E CONGRÈS DE L ASSOCIATION DES ÉCONOMISTES QUÉBÉCOIS PAR TOM LANDRY, CONSEILLER SENIOR LE 20 MAI

2 TECHNOLOGIES: DES DONNÉES JUSQU'À L UTILISATEUR Source: SAP 2

3 TECHNOLOGIES: LES PRINCIPAUX COMPOSANTS Source: Thales 3

4 LA BASES DE DONNÉES RELATIONNELLE, ESPÈCE MENACÉE? ACID Propriétés garantissant la fiabilité des transactions Plus difficile à garantir lorsque distribué Source: Wikibooks La base de données relationnelle S adapte mal aux capacités de stockage et de traitement modernes Schémas fixes, peu agiles Mise à l échelle verticale (plus gros serveurs) Presque toutes ACID cependant Source: ixwebhosting.mobi 4

distribué Source: Wikibooks La base de données relationnelle S adapte mal aux capacités de stockage

5 UNE ALTERNATIVE, LE NOSQL Motivations Technique: mise à l échelle horizontale Financière: alternative aux solutions propriétaires Agilité: évolution rapide des technos Particularités des bases NoSQL Applications en ligne, en production Nouveaux types et structures de données Parfait pour les méthodes agiles Source: couchdb Les modèles de données Document: tout usage, flexible Ø Élimine le besoin de joindre des tables Graph: Nœuds, liens, propriétés Ø Plus facile de modéliser les relations Clé-valeur: applications ciblées Ø Haute-performance par mise à l échelle 5

Parfait pour les méthodes agiles Source: couchdb Les modèles de données Document: tout usage, flexible Ø Élimine le besoin de joindre des

6 HADOOP ET LE MAP-REDUCE Apache Hadoop Cadriciel pour stocker et traiter des données massives de façon distribuée OpenSource, avec distributions commerciales (Cloudera, Hortonworks) Composants principaux Ø HDFS: système de fichier Ø YARN: gestion des requêtes Ø MapReduce: traitement parallèle MapReduce Diviser pour conquérir! Réparti les données en blocs indépendants Peu efficace pour les tâches itératives et interactives Source: MongoDB MAP: conversion par division des données d entrée et distribution aux noeuds REDUCE: récupération des résultats et combinaison pour le nœud maître. 6

parallèle MapReduce Diviser pour conquérir!

7 L ACCÈS AUX DONNÉES Apache Hive HQL: syntaxe similaire au SQL Rend Hadoop plus accessible, car HQL transformées en MapReduce Ligne de commande, JDBC, ODBC ou applications C++, Python, Java, etc. Apache Pig Language PigLatin pour flots de données complexes Étendu par Java, Ruby ou autres langages de script Composant permettant de bâtir des applications d affaires ETL (Extract, Transform, Load) E: Bases de données, XML, CSV, JSON, logs T: Sélectionner, trier, joindre, aggréger L: Mise-à-jour, publication, archive Hive et Pig pour le ETL Hive conçu pour les entrepots, mais peut être lent Plus petite courbe d apprentissage pour Hive Pig conçu pour le ETL En général, Pig plus puissant Source: analyticsengines.com 7

Apache Pig Language PigLatin pour flots de données complexes Étendu par Java, Ruby ou autres langages de script Composant permettant de bâtir des applications d affaires ETL

8 L INFONUAGIQUE S EN MÊLE Plateformes infonuagiques Solutions commerciales matures, par exemple Amazon EC2 Ø Choix du type d instances (CPU, MEM, stockage, OS, etc.) Ø Paiement à l usage, à la demande, réservées, ponctuelles, etc. La plus connue dans le libre est OpenStack Calcul, stockage, réseautique, sécurité, quotas, administration, télémétrie, etc. MapReduce comme service Déploiement et gestion d instances Hadoop: un défi Solution Amazon: Ø Données massives d entrée dans S3, résultats vers S3 Ø Elastic MapReduce (EMR): Hadoop, Spark, Hive, Pig Solution OpenStack, projet Sahara: Ø «Analytics as a Service» Ø Accès par API REST ou dans l interface de gestion OpenStack Ø Simplification du flot de travail Source: hadoopshere.com 8

La plus connue dans le libre est OpenStack Calcul, stockage, réseautique, sécurité, quotas, administration, télémétrie, etc.

9 LE TRAITEMENT EN MÉMOIRE Source: SAP Traitement VIP en temps réel pour larges blocs de données Limite le goulot d étranglement E/S, parallélisme des cœurs du CPU, emploi des caches, puis de la RAM Souvent employé en contexte BI temps réel (rapports, indicateurs, tableaux de bord) 9

parallélisme des cœurs du CPU, emploi des caches, puis de la RAM

10 APACHE SPARK, LE NOUVEL ÉLÈVE MODÈLE Source: SQLstream.com Spark, un cadriciel de traitement unifié et tout usage En mémoire (100x plus rapide que Hadoop?) API Java, Scala et Python, avec shell interactif Support de MapReduce, SQL et HDFS Flux (micro-batch, fenêtre temporelle) Apprentissage machine 10

11 L APPRENTISSAGE MACHINE Apprendre pour prédire Classifier Regrouper Détecter Estimer Décider Réduire Comment? Supervisé Ø Voici les entrées et les sorties, quelles sont les règles? Non supervisé Ø Voici les données, quelles structures vois-tu? Techniques Réseaux de neurones (deep learning) Arbres de décision Algorithmes génétiques Etc. Source: frontiersin.org Source: Sharif University 11

Non supervisé Ø Voici les données, quelles structures vois-tu?

12 PAR OÙ COMMENCER? Source: Dlib.net 12

13 LA VISUALISATION Source: jinfonet.com Source: d3js.org 13

14 L ANALYTIQUE VISUELLE Source: Tamara Munzer, UBC 14

15 L OMNIPRÉSENCE DU GÉOSPATIAL Source: GeoMesa 15

16 DÉSILLUSIONNÉS DU BIG DATA? Source: Gartner 16

17 LA RÉALITÉ VIRTUELLE ET L IMMERSION Source: Los Alamos National Laboratory L ingénierie de l avenir? Tirer profit du cerveau humain pour détecter, déduire, comprendre Emploi de tout le corps pour interagir Environnements collaboratifs et immersifs Simulations et modélisations de systèmes complexes Source: Monash University 17

Tirer profit du cerveau humain pour détecter, déduire, comprendre Emploi de tout

18 UNE NOUVELLE RACE D ORDINATEURS Le calculateur quantique Exit les bits (1 OU 0), voici le qbit (1 ET 0 à la fois) La machine peut simultanément considérer toutes les combinaisons possibles Le problème est exprimé en termes de contraintes sur les qbits; la réponse fixe les qbits dans un état stable L optimisateur idéal? Meilleure route, meilleure répartition, meilleur état, meilleur arrangement Complément du CPU comme co-processeur Source: Dwave Source: creondai.com.br 18

contraintes sur les qbits; la réponse fixe les qbits dans un état stable L optimisateur idéal?

19 Tom Landry Conseiller senior Équipe Vision et Imagerie CRIM Centre de recherche informatique de Montréal Suivez-nous Dialoguez avec nous Suivez-nous #CRIM_ca wwwcrimca Le CRIM est un centre de recherche appliquée en TI qui développe, en mode collaboratif avec ses clients et partenaires, des technologies innovatrices et du savoir-faire de pointe, et les transfère aux entreprises et aux organismes québécois afin de les rendre plus productifs et plus compétitifs localement et mondialement. Le CRIM dispose de quatre équipes de recherche en TI de calibre mondial qui œuvrent principalement dans les domaines des interactions et interfaces personne-système, de l analytique avancée et de la science et technologie du logiciel. Détenteur d une certification ISO 9001:2008, son action s inscrit dans les politiques et stratégies pilotées par le ministère de l'économie, de l'innovation et des Exportations (MEIE), son principal partenaire financier. Principal partenaire financier Tous droits réservés 2015 CRIM. 405, avenue Ogilvy, bureau 101, Montréal (Québec) H3N 1M3/ /

technologies innovatrices et du savoir-faire de pointe, et les transfère aux entreprises et aux organismes québécois afin de les rendre plus productifs et plus compétitifs localement et mondialement.

Documents pareils

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop

Formation Cloudera Data Analyst Utiliser Pig, Hive et Impala avec Hadoop Passez au niveau supérieur en termes de connaissance grâce à la formation Data Analyst de Cloudera. Public Durée Objectifs Analystes de données, business analysts, développeurs et administrateurs qui ont