Les données massives de Copernicus : vers un nouveau paradigme Hervé Jeanjean Cnes 1
Règlement Copernicus du 03/04/2014 : cadre politique, organisationnel et financier Règlement délégué du 12/07/2013 sur la diffusion des données : Full Open Free 2
Composante spatiale Copernicus Missions contributrices Sentinelles 1-2-3-4-5 & Jason series Système coordonné d accès aux données 1 Les services Copernicus remplissent les besoins communs et mutualisés des Etats Membres Observations in situ SERVICES COPERNICUS 2 Certains besoins des services aval à l échelle Projets régionale et locale ne sont pas couverts par le périmètre «core» de Copernicus collaboratifs Utilisateurs Copernicus 3
Un flux de données inédit avec Copernicus Données Sentinel : > 13 To/jour en régime de croisière (5 Pétaoctets/an) Avec les services Copernicus et les produits aval, le volume >> 10 Po/an Enjeux pas uniquement le volume et le stockage des données mais la structuration et la gestion des données pour répondre à la diversité des cas d usage avec des moyens de calculs massifs & positionnés auprès des données + une interopérabilité des plateformes et un point d entrée unique à terme (one stop shop) Volume total Volume / an 4
Dissémination des données Sentinelles Pour tous, performances limitées Réservé aux services Copernicus performances garanties 1 utilisateur/ pays, performances garanties Hub ESA ouverts mais une archive limitée et sans moyens de traitements besoins du secteur aval et scientifique pas bien couverts PEPS Au plus tard fin 2015 : Hub de distribution via CLS Réponse de la France = PEPS Plateforme d Exploitation des Produits Sentinelles offrant une solution bien adaptée aux besoins pour la période 2015-2017 en complément de l architecture européenne, avec toute l archive temporelle solution la plus économique basée sur une infrastructure existante (Data Centre du Cnes) solution transitoire, flexible, offrant une capacité d évolution et transférable 5
Segments sols collaboratifs Trois étapes Définition du processus et collecte des propositions Analyse de la faisabilité des propositions Formalisation de la collaboration Point de contact national = CNES Accord signé entre le CNES et l ESA (18 mars 2015) Accord comprenant le site miroir PEPS et une station bande X (pour CleanSeaNet). Discussions à poursuivre pour d autres stations de réception Autres pays ayant signé : Grèce, Norvège, Italie, Allemagne, Finlande, UK 6
PEPS 1, c est quoi? PEPS - tranche 1 4 ans : novembre 2014 à fin 2017 + 2018 (année de transition) Préparation PEPS2 avec tous les acteurs en parallèle Objectifs : servir les utilisateurs nationaux : industriels PME/PMI, scientifiques, organismes institutionnels Diffuser / mettre à disposition les données Sentinelles, libres et gratuites Permettre le traitement près des données.. et les valoriser Favoriser l innovation par le développement des SAV Satisfaire les besoins spécifiques des utilisateurs «aval» Structurer la gestion des données selon les différentes utilisations Préparer PEPS2 : solutions technologiques, retour de satisfaction et caractérisation du besoin des utilisateurs La solution technique Une interface Web Un système de recherche et d accès performant Une interface avec le hub de l ESA pour récupérer les produits Un système de stockage les données Sentinelles, au fur et à mesure de leur production (sur disques 2Po + sur bandes 5Po) Des serveurs de calcul 7
Deux développements industriels Infrastructure de stockage : BULL (ATOS)- IBM Solution HPSS performante, évolutive Couplage natif HPC CNES Application logicielle : consultation ACIS (choix ATOS) 8
Planning PEPS Phase de Bêtatests V1.1 fin mai 2015 : OUVERTURE DU SERVICE Version mise en œuvre par le CNES et maintenue par l industriel V1.2 juillet 2015 : V1.1 industrialisée et consolidée par l industriel V1.3 novembre 2015 Visualisation avancée - phasé data S2 V1.4 septembre 2016 Complet avec services à valeur ajoutée, évolutions retours utilisateur 9
Comment bénéficier du Big Data? 10
Participer aux formations, partager des retours d expérience, Citoyens Innovation : définition, participation aux actions R&D, H2020/ITC, Consom. Institutionnels Stratégie Open Data pour les données spatiales Accompagner les changements de métiers Organiser et définir la gouvernance (mutualisation, croisement, ) Formation / Ecoles / Universités Pôle de données Rechercher les solutions à moindre coûts pour l utilisation et exploitation des infrastructures «Big Data» Infrastructures Industriels Entrepreneurs Soutenir les «startup» (incubateurs : utilisation des infrastructures institutionnelles pour le développement des nouveaux services) Inciter les industriels au développement des nouveaux services en croisant les données 11
Le déluge de données : un nouveau paradigme Big data : explosion du volume des données (5 V: volume, vélocité, variété, véracité, valeur) Accès aux données qui se démocratise : «open data», (Etalab), directive PSI (gratuité des données publiques) & INSPIRE Quelques chiffres 1 Go coûtait 1 million $ en 1980 : moins de 10 centimes en 2010 9 Mds de chiffre d affaires dans le monde (2,2 Mds en Europe) 600 $ suffisent pour acheter un disque dur et y stocker toute la musique du monde 30 milliards de contenus échangés par mois dans Facebook 1 heure de vidéo téléchargée par minute sur YouTube 140 Mds /an : recettes indirectes espérées par le Big Data 74% des entreprises françaises convaincues de l intérêt du Big Data 12
Le numérique envahit tout 13
Les hyper data centres 1. Range International Information Hub, Langfang, Chine, 580 000 m² Terminé en 2016. À peu près équivalent au Pentagone en terme de taille. Destiné à créer de nouvelles tendances dans l industrie TI. Faire le tour de ses installations prendra toute une semaine. 2. Switch SuperNAP, Las Vegas, Nevada, USA 205 000 m² Destiné à éviter les désastres naturels au Nevada. 3. Utah Data Center, Bluffdale, Utah, USA, 93 000 m² Investissement de la NSA de 2 milliards de dollars, connue comme étant le Intelligence Community Comprehensive National Cybersecurity Initiative Data Center. Source : Microfix 14
La rencontre de deux mondes Producteurs de données Brokers de données Développeurs APIs & Apps dédiées Intégrateurs ACIS Observation de la géo sciences Terre Recherche en Nouvel écosystème géo information Technologies numériques TIC Développeurs Big Data Services aval Opérateurs Clouds Nouveaux modèles économiques Nouvelle alliance (PPP?) 15
Quels modèles économiques? 16
Quels partenariats? 17
Vers PEPS 2 Une mine à valoriser au niveau européen : 30 ans d observation de la Terre en France Missions spatiales : SPOT, Pléiades, Jason, Calipso, Parasol, IASI et à venir (Merlin, SWOT ) SPOT World Heritage : accès à l archive SPOT > 5ans à la demande (annoncé au sommet du GEO en janvier) Un cas unique en Europe avec la mise en place de pôles de données (thématiques) en partenariat avec la communauté scientifique Enjeux combiner les données sentinelles avec les données de tous les capteurs du continuum spatial-terrestre avec des moyens de calcul et du stockage distribués : hybridation de plateformes 1 2 Enjeu pour la France : valoriser l expertise scientifique et le savoir faire thématique aval Approche nationale : rôle des industriels, redéfinition de la chaine de valeur, «RFI» 3 Approche européenne : nouvelle gouvernance projets collaboratifs, task force EC/ESA/Etats Membres 18