Le traitement du Big Data inclue la collecte, la curation, le stockage, l enrichissement, le croisement, la partage, l analyse et la visualisation.

Dimension: px

Commencer à balayer dès la page:

Download "Le traitement du Big Data inclue la collecte, la curation, le stockage, l enrichissement, le croisement, la partage, l analyse et la visualisation."

Arsène Drapeau
il y a 8 ans
Total affichages :

1 Les infrastructure du Big Data Le «Big Data» vise à tirer un avantage concurrentiel au travers de méthodes de collecte, d analyse et d exploitation des données qu on ne pouvait utiliser jusqu à présent du fait des contraintes économiques, fonctionnelles et techniques liées aux volumétries, à la vitesse de traitement et à la variété des données à considérer. Le traitement du Big Data inclue la collecte, la curation, le stockage, l enrichissement, le croisement, la partage, l analyse et la visualisation

techniques liées aux volumétries, à la vitesse de traitement et à la variété des données à considérer.

2 Mobilité et BYOD (Bring Your Own Device) CAPTEURS AGENDA AUDIO IMAGES BYOD NOTES MANUSCRITES VIDEO DONNEES STRUCTUREES RESEAUX SOCIAUX DONNEES SEMI STRUCTUREES

3 VOLUME = STORAGE DATA = ANALYSIS

Les capacités de l internet des objects: Information & Contrôle INFORMATION & ANALYSE Surveillance de Comportement & Suivi: Capteurs de géolocalisation embarqués sur véhicules pour surveillance des

.) Surveillance des piéces d usure / maintenance pro-active Amélioration de l Analyse de Situation : Capteurs avec Video, audio, conditions météo, detection vibrations, pour le contrôle d une zone

4 Les capacités de l internet des objects: Information & Contrôle INFORMATION & ANALYSE Surveillance de Comportement & Suivi: Capteurs de géolocalisation embarqués sur véhicules pour surveillance des regles d utilisation et sa position. Identification et contrôle de l utilisateur (hybride,..) Surveillance des piéces d usure / maintenance pro-active Amélioration de l Analyse de Situation : Capteurs avec Video, audio, conditions météo, detection vibrations, pour le contrôle d une zone Capteur acoustique pour localiser la source des tirs Capteurs pour l Aide à la decision: Etude de zone avec visualisation 3D et simulation AUTOMATISATION & CONTROLE Optimisation de Process : Conversion des données en instruction pour modification des process / procédures par les actionneurs. Modification des mélanges selon températures, pressions dans des process complexes pour supprimer intervention d opérateur Consommation optimisée des ressources: Algorithmes de gestion des ressources Système Complexe autonome: Systeme automatique de freinage Evitement de collisions imminentes

5 Les capacités de l internet des objects: Information & Contrôle INFORMATION & ANALYSE AUTOMATISATION & CONTROLE

6 Capteurs: L internet des objets

7 Evolutivité X Capteurs terrain autonomes

PROCESS COMPLEXITY Valeur Analyse temps réel (CEP): Capacité IN MEMORY PROCESSING DECISION MANUELLE OU AUTOMATISEE DECISION LATENCY AUTOMATED PREDICTIVE DECISION AUTOMATED OPERATIONAL DECISION HUMAN

8 PROCESS COMPLEXITY Valeur Analyse temps réel (CEP): Capacité IN MEMORY PROCESSING DECISION MANUELLE OU AUTOMATISEE DECISION LATENCY AUTOMATED PREDICTIVE DECISION AUTOMATED OPERATIONAL DECISION HUMAN PREDICTIVE DECISION HUMAN OPERATIONAL DECISION EVENEMENT DATA LATENCY CAPTURE DE LA DONNEE TRAITEMENT RESULTAT DU TRAITEMENT EVENT COMPLEXITY COMPLEX EVENT PROCESSING ANALYTICS LATENCY DECISION LATENCY PRISE DE DECISION Distributed Real-time Bus 100K msgs/sec - 50 µsecs latency Temps

EVENEMENT DATA LATENCY CAPTURE DE LA DONNEE TRAITEMENT RESULTAT DU TRAITEMENT EVENT COMPLEXITY COMPLEX EVENT PROCESSING

REFINEMENT EVENT REFINEMENT EVENT PRE- PROCESSING

9 Analyse temps réel (CEP): Capacité Cyberdistortion IN MEMORY PROCESSING PROCESS REFINEMENT IMPACT ASSESMENT SITUATION REFINEMENT EVENT REFINEMENT EVENT PRE- PROCESSING Distributed Real-time Bus 100K msgs/sec - 50 µsecs latency

10 Data Sources Data Ingestion / Integration BIG DATA SOLUTION Data Pre-Processing Business Intelligence & Analytics Analytical Processing Big Data Reference Architecture Data Storage DATA SCIENTIST / ADVANCED ANALYTICS ENTERPRISE INFORMATION MANAGEMENT BUSINESS INTELLIGENCE / LOCATION INTELLIGENCE / GIS Data Governance ANALYTIC DATASETS ANALYTICAL APPS ANALYTICAL FRAMEWORK DATA DICTIONARY ANALYTICAL SERVICES PROCESSED DATASETS MASTER DATASETS DATA QUERYING / VIRTUALISATION BATCH / STREAM / REAL-TIME PROCESSING COMPLEX EVENT PROCESSING / SEMANTIC GRAPH PROCESSING / DATA CONSOLIDATION Hadoop PARALLELIZATION / DISTRIBUTION EDW ENTERPRIS E DATA WAREHOUS E MDM MASTER DATA MGMT. DATA MODELLING DATA PROTECTION PRIVACY ANONYMISATION DATA SECURITY BIG DATA SOLUTION HADOOP / NOSQL / IN-MEMORY / DW APPLIANCE DATA AUDIT & QUALITY MGMT. DATA STAGING DATA ACQUISITION REAL-TIME / NEAR REAL-TIME: MESSAGES DATA INTEGRATION BATCH : ETL / ELT, CDC DATA QUALITY DISCOVERY + PROFILING + CLEANSING + STANDARDISATION + ENRICHMENT DATA CURATION / ENRICHMENT UNSTRUCTURED DATA SOCIAL MEDIA + TEXT + AUDIO + VIDEO SEMI-STRUCTURED DATA MACHINE GENERATED + XML+ LOGS STRUCTURED DATA MASTER + REF. + TRANSACTIONAL TRADITIONAL BI & ANALYTICS ARCHITECTURE COMPONENTS BIG DATA ARCHITECTURE COMPONENTS

ANALYTICAL SERVICES PROCESSED DATASETS MASTER DATASETS DATA QUERYING / VIRTUALISATION BATCH / STREAM / REAL-TIME PROCESSING COMPLEX EVENT PROCESSING / SEMANTIC GRAPH PROCESSING / DATA CONSOLIDATION

11 Hadoop: Les principes

12 Hadoop: Les principes

Niveau de Complexité BIG Data: explorer le champ des possibles Prescriptive analytics Predictive analytics Descriptive analytics Standard reports Adhoc reports Query drill down Alerts Statistical

13 Niveau de Complexité BIG Data: explorer le champ des possibles Prescriptive analytics Predictive analytics Descriptive analytics Standard reports Adhoc reports Query drill down Alerts Statistical analysis Complex event processing Extreme SQL Forecast - ing Predictive modeling Optimization Stochastic optimization Natural Language Processing Multivariate statistical analysis Data mining Basic analytics Qu est il arrivé? Quand? Quelle conséquence? Time series analysis Behavioral analytics Social network analytics Semantic analytics Visualization Online analytical processing (OLAP) Constraint based BI Analytic database functions Advanced analytics Pourquoi? Quand cela se reproduira t il? Quel est la cause? Que faire pour eviter que ca se reproduise? COMPREHENSION

Basic analytics Qu est il arrivé? Quand? Quelle conséquence?

14 Le défi des nouvelles compétences Source Gartner

De l Infrastructure de la dissuasion nucléaire aux applications civiles critiques LE CEA à la responsabilité de garantir la capacité de dissuasion nucléaire de la France à long terme couvrant la

Le CEA a aussi renforcé ses capacités pour prévenir les risques nucleaires radiologiques, biologiques et chimique s(nrbc-e).

15 De l Infrastructure de la dissuasion nucléaire aux applications civiles critiques LE CEA à la responsabilité de garantir la capacité de dissuasion nucléaire de la France à long terme couvrant la totalité du cyle de vie des têtes nucléaires embarquées sur des avions ou des sous marins. Le CEA a aussi renforcé ses capacités pour prévenir les risques nucleaires radiologiques, biologiques et chimique s(nrbc-e). Les experiences permettent de valider les interconnections entre les différent types de modélisations comme les simulations de combustion deuterium-tritium de même nature que celles employées dans les armes PetaFlops 4300 Nodes / 20 Po Les autres technologies Bull : Suite logicielle bullx supercomputer suite l ultra capacitor qui est un module qui réduit la consommation électrique de 15% en permettant de s affranchir d un onduleur électriquecomprennent une porte refroidie à eau qui réduit la consommation Data Analysis Scan rate: 5,3 GB/s to 16 Gb/s 100 % X 2 2 to 16 sockets linear scalability Performance 25% Form Factor Reduction (3U) 30% Energy savings RAM RAS

BigData : différentes prestations complémentaires Conseil & Accompagnement Aide à la mise en place d une stratégie Big Data Analyse et qualification des données candidates Etude de cadrage et

16 BigData : différentes prestations complémentaires Conseil & Accompagnement Aide à la mise en place d une stratégie Big Data Analyse et qualification des données candidates Etude de cadrage et propositions d architectures cibles POC / maquette / choix de solution Formations (Hadoop, MongoDB, ActivePivot, Gigaspaces, TIBCO SpotFire, ) Implémentation de solutions Appliances & Infrastructures Infogérance & Support Conception et mise en œuvre d architectures d analyse et de traitement des données Big Data Hadoop/NoSQL Intégration avec le SI existant Mise en place de solutions de visualisation (dashboard / reporting / data navigation / géolocalisation) Mise en œuvre méthodes Agiles sur les projets Big Data Dimensionnement de solutions SQL-HADOOP-InMemory Fournitures d infrastructures «Clé en Main» Engagements sur qualité de services (performance, ) Intégration avec le SI existant Déploiement des architectures BigData Hadoop/NoSQL, (sur infrastructure propriétaire, Data Center, et/ou Cloud) Exploitation, administration, supervision et support Mise en place d une facturation à l usage (mode SaaS)

Infogérance & Support 16 30-3-2015 2014 Conception et mise en œuvre d architectures d analyse et de traitement des données Big Data Hadoop/NoSQL Intégration avec le SI existant Mise en place de

17 Denis Grisot Big Data Consultant Atos, le logo Atos, Atos Consulting, Atos Worldline, Atos Sphere, Atos Cloud et Atos Worldgrid sont des marques déposées d Atos SE. Septembre Atos. Informations confidentielles appartenant à Atos, à n utiliser Merci que par le destinataire. Ce document ne peut en aucun cas être reproduit, copié, communiqué et/ou diffusé et cité, en tout ou en partie, sans l accord écrit préalable d Atos

déposées d Atos SE. Septembre 2014 2014 Atos.

18 Data Center de nouvelle génération - Produits Enterprise class DATA CENTER Serveurs

Documents pareils

BIG DATA : une vraie révolution industrielle (1) Les fortes évolutions liées à la digitalisation

BIG DATA : une vraie révolution industrielle (1) Les fortes évolutions liées à la digitalisation - définition - étapes - impacts La révolution en cours du big data - essai de définition - acteurs - priorités