Les infrastructure du Big Data Le «Big Data» vise à tirer un avantage concurrentiel au travers de méthodes de collecte, d analyse et d exploitation des données qu on ne pouvait utiliser jusqu à présent du fait des contraintes économiques, fonctionnelles et techniques liées aux volumétries, à la vitesse de traitement et à la variété des données à considérer. Le traitement du Big Data inclue la collecte, la curation, le stockage, l enrichissement, le croisement, la partage, l analyse et la visualisation. 30-3-2015 2015
Mobilité et BYOD (Bring Your Own Device) CAPTEURS AGENDA AUDIO IMAGES BYOD NOTES MANUSCRITES VIDEO DONNEES STRUCTUREES RESEAUX SOCIAUX DONNEES SEMI STRUCTUREES 2 30-3-2015 2014
VOLUME = STORAGE DATA = ANALYSIS 3 30-3-2015 2014
Les capacités de l internet des objects: Information & Contrôle INFORMATION & ANALYSE Surveillance de Comportement & Suivi: Capteurs de géolocalisation embarqués sur véhicules pour surveillance des regles d utilisation et sa position. Identification et contrôle de l utilisateur (hybride,..) Surveillance des piéces d usure / maintenance pro-active Amélioration de l Analyse de Situation : Capteurs avec Video, audio, conditions météo, detection vibrations, pour le contrôle d une zone Capteur acoustique pour localiser la source des tirs Capteurs pour l Aide à la decision: Etude de zone avec visualisation 3D et simulation AUTOMATISATION & CONTROLE Optimisation de Process : Conversion des données en instruction pour modification des process / procédures par les actionneurs. Modification des mélanges selon températures, pressions dans des process complexes pour supprimer intervention d opérateur Consommation optimisée des ressources: Algorithmes de gestion des ressources Système Complexe autonome: Systeme automatique de freinage Evitement de collisions imminentes 4 30-3-2015 2014
Les capacités de l internet des objects: Information & Contrôle INFORMATION & ANALYSE AUTOMATISATION & CONTROLE 5 30-3-2015 2014
Capteurs: L internet des objets 6 30-3-2015 2014
Evolutivité X 10 000 Capteurs terrain autonomes 7 30-3-2015 2014
PROCESS COMPLEXITY Valeur Analyse temps réel (CEP): Capacité IN MEMORY PROCESSING DECISION MANUELLE OU AUTOMATISEE DECISION LATENCY AUTOMATED PREDICTIVE DECISION AUTOMATED OPERATIONAL DECISION HUMAN PREDICTIVE DECISION HUMAN OPERATIONAL DECISION EVENEMENT DATA LATENCY CAPTURE DE LA DONNEE TRAITEMENT RESULTAT DU TRAITEMENT EVENT COMPLEXITY COMPLEX EVENT PROCESSING ANALYTICS LATENCY DECISION LATENCY PRISE DE DECISION Distributed Real-time Bus 100K msgs/sec - 50 µsecs latency Temps 8 30-3-2015 2014
Analyse temps réel (CEP): Capacité Cyberdistortion IN MEMORY PROCESSING PROCESS REFINEMENT IMPACT ASSESMENT SITUATION REFINEMENT EVENT REFINEMENT EVENT PRE- PROCESSING Distributed Real-time Bus 100K msgs/sec - 50 µsecs latency 9 30-3-2015 2014
Data Sources Data Ingestion / Integration BIG DATA SOLUTION Data Pre-Processing Business Intelligence & Analytics Analytical Processing Big Data Reference Architecture Data Storage DATA SCIENTIST / ADVANCED ANALYTICS ENTERPRISE INFORMATION MANAGEMENT BUSINESS INTELLIGENCE / LOCATION INTELLIGENCE / GIS Data Governance ANALYTIC DATASETS ANALYTICAL APPS ANALYTICAL FRAMEWORK DATA DICTIONARY ANALYTICAL SERVICES PROCESSED DATASETS MASTER DATASETS DATA QUERYING / VIRTUALISATION BATCH / STREAM / REAL-TIME PROCESSING COMPLEX EVENT PROCESSING / SEMANTIC GRAPH PROCESSING / DATA CONSOLIDATION Hadoop PARALLELIZATION / DISTRIBUTION EDW ENTERPRIS E DATA WAREHOUS E MDM MASTER DATA MGMT. DATA MODELLING DATA PROTECTION PRIVACY ANONYMISATION DATA SECURITY BIG DATA SOLUTION HADOOP / NOSQL / IN-MEMORY / DW APPLIANCE DATA AUDIT & QUALITY MGMT. DATA STAGING DATA ACQUISITION REAL-TIME / NEAR REAL-TIME: MESSAGES DATA INTEGRATION BATCH : ETL / ELT, CDC DATA QUALITY DISCOVERY + PROFILING + CLEANSING + STANDARDISATION + ENRICHMENT DATA CURATION / ENRICHMENT UNSTRUCTURED DATA SOCIAL MEDIA + TEXT + AUDIO + VIDEO SEMI-STRUCTURED DATA MACHINE GENERATED + XML+ LOGS STRUCTURED DATA MASTER + REF. + TRANSACTIONAL TRADITIONAL BI & ANALYTICS ARCHITECTURE COMPONENTS BIG DATA ARCHITECTURE COMPONENTS 10 30-3-2015 2014
Hadoop: Les principes 11 30-3-2015 2014
Hadoop: Les principes 12 30-3-2015 2014
Niveau de Complexité BIG Data: explorer le champ des possibles Prescriptive analytics Predictive analytics Descriptive analytics Standard reports Adhoc reports Query drill down Alerts Statistical analysis Complex event processing Extreme SQL Forecast - ing Predictive modeling Optimization Stochastic optimization Natural Language Processing Multivariate statistical analysis Data mining Basic analytics Qu est il arrivé? Quand? Quelle conséquence? Time series analysis Behavioral analytics Social network analytics Semantic analytics Visualization Online analytical processing (OLAP) Constraint based BI Analytic database functions Advanced analytics Pourquoi? Quand cela se reproduira t il? Quel est la cause? Que faire pour eviter que ca se reproduise? COMPREHENSION 13 30-3-2015 2014
Le défi des nouvelles compétences 14 30-3-2015 2014 Source Gartner
De l Infrastructure de la dissuasion nucléaire aux applications civiles critiques LE CEA à la responsabilité de garantir la capacité de dissuasion nucléaire de la France à long terme couvrant la totalité du cyle de vie des têtes nucléaires embarquées sur des avions ou des sous marins. Le CEA a aussi renforcé ses capacités pour prévenir les risques nucleaires radiologiques, biologiques et chimique s(nrbc-e). Les experiences permettent de valider les interconnections entre les différent types de modélisations comme les simulations de combustion deuterium-tritium de même nature que celles employées dans les armes. 1.25 PetaFlops 4300 Nodes / 20 Po Les autres technologies Bull : Suite logicielle bullx supercomputer suite l ultra capacitor qui est un module qui réduit la consommation électrique de 15% en permettant de s affranchir d un onduleur électriquecomprennent une porte refroidie à eau qui 15 30-3-2015 2014 réduit la consommation Data Analysis Scan rate: 5,3 GB/s to 16 Gb/s 100 % X 2 2 to 16 sockets linear scalability Performance 25% Form Factor Reduction (3U) 30% Energy savings RAM RAS
BigData : différentes prestations complémentaires Conseil & Accompagnement Aide à la mise en place d une stratégie Big Data Analyse et qualification des données candidates Etude de cadrage et propositions d architectures cibles POC / maquette / choix de solution Formations (Hadoop, MongoDB, ActivePivot, Gigaspaces, TIBCO SpotFire, ) Implémentation de solutions Appliances & Infrastructures Infogérance & Support 16 30-3-2015 2014 Conception et mise en œuvre d architectures d analyse et de traitement des données Big Data Hadoop/NoSQL Intégration avec le SI existant Mise en place de solutions de visualisation (dashboard / reporting / data navigation / géolocalisation) Mise en œuvre méthodes Agiles sur les projets Big Data Dimensionnement de solutions SQL-HADOOP-InMemory Fournitures d infrastructures «Clé en Main» Engagements sur qualité de services (performance, ) Intégration avec le SI existant Déploiement des architectures BigData Hadoop/NoSQL, (sur infrastructure propriétaire, Data Center, et/ou Cloud) Exploitation, administration, supervision et support Mise en place d une facturation à l usage (mode SaaS)
Denis Grisot Big Data Consultant Denis.Grisot@atos.net Atos, le logo Atos, Atos Consulting, Atos Worldline, Atos Sphere, Atos Cloud et Atos Worldgrid sont des marques déposées d Atos SE. Septembre 2014 2014 Atos. Informations confidentielles appartenant à Atos, à n utiliser Merci que par le destinataire. Ce document ne peut en aucun cas être reproduit, copié, communiqué et/ou diffusé et cité, en tout ou en partie, sans l accord écrit préalable d Atos. 30-3-2015 2015
Data Center de nouvelle génération - Produits Enterprise class DATA CENTER Serveurs 18 30-3-2015 2014