L'AGENCE SPATIALE EUROPÉENNE :

Transcription

1 I N T E RS Y S T E M S W H I T E P A P E R L'AGENCE SPATIALE EUROPÉENNE : CARTOGRAPHIER LA GALAXIE AVEC LE SATELLITE GAIA ET INTERSYSTEMS CACHÉ Synthèse L'Agence spatiale européenne (ESA) a choisi la technologie InterSystems Caché pour la solution astrométrique AGIS qui servira à analyser les données célestes capturées par le satellite Gaia. L'objectif de la mission Gaia est de créer une carte de phases portant sur environ un milliard de corps célestes. Durant la mission, la solution AGIS affinera de manière itérative la précision des observations spatiales effectuées par Gaia, afin d'obtenir à terme un degré de précision de l'ordre de 20 millionièmes de seconde d'arc. Pour se préparer aux exigences extrêmes du projet en matière de données, InterSystems a récemment réalisé un démonstrateur de faisabilité portant sur 5 milliards d'objets Java distincts, de 600 octets chacun, à insérer dans la base de données InterSystems Caché sur une période de 24 heures. Exécuté sur un seul processeur Intel 64 bits à huit cœurs et Red Hat Enterprise Linux 5.5, Caché a ingéré toutes les données avec succès en 12 heures et 18 minutes, soit une moyenne d'insertion de objets par seconde. William O Mullane, responsable du développement des opérations scientifiques, Agence spatiale européenne ; Vik Nagjee, responsable produit, InterSystems Corporation

2 L'AGEnCE SpATIALE EURopéEnnE : CARToGRAphIER LA GALAxIE AvEC LE SATELLITE GAIA ET InTERSySTEmS CAChé Introduction Les missions spatiales s'inscrivent sur le long terme. D'une durée de 15 à 20 ans, elles nécessitent des technologies robustes et durables pour le traitement, la manipulation et le stockage des données. Ces technologies doivent également fournir des informations critiques suite au traitement afin de pouvoir apporter rapidement des ajustements éventuels à l engin spatial. La mission Gaia est considérée comme le plus grand défi jamais relevé en matière de traitement des données astronomiques. Comme nous l'annoncions dans un communiqué de presse en mai 2010, l'agence spatiale européenne (ESA) a choisi InterSystems Caché pour assurer une partie du traitement scientifique associé à la mission Gaia. IInterSystems et le Centre européen d'astronomie spatiale (ESAC) collaborent depuis 2008 pour évaluer comment InterSystems Caché peut offrir un avantage à tout ou partie des traitements informatiques de Gaïa, et offrir un modèle d architecture informatique économique capable de supporter les besoins de traitement massifs du projet Gaia. La mission Gaia Le satellite Gaia doit être lancé depuis la Guyane française à bord d'une fusée Soyuz-Fregat en Il voyagera durant deux mois pour atteindre son orbite finale à 1,5 million de kilomètres de la Terre et analysera ensuite la totalité du ciel pendant 5 ans. L'objectif : une carte de phases de notre galaxie. Avec deux champs de vision, un plan focal en gigapixels et un spectromètre de vitesse radiale, le satellite de 2 tonnes effectuera une analyse exhaustive. Durant sa durée de vie, Gaia observera 1 milliard de sources, environ 80 fois chacune. En plus de l'astrométrie et de la photométrie de chaque source, Gaia mesurera le spectre d'environ 150 millions de sources. La précision astrométrique dans le catalogue final devrait être de l'ordre de 20 millionièmes de seconde d'arc. Un tel niveau de précision exige un traitement extrêmement sophistiqué. Tous les logiciels de traitement de données de Gaia sont écrits en Java, dont la solution astrométrique principale appelée AGIS (Astrometric Global Iterative Solution) qui affine de manière itérative la précision spatiale de toutes les mesures effectuées par Gaia. En effet, Gaia sera en rotation libre et effectuera des mesures uniquement associées à d'autres mesures effectuées par Gaia. C est pourquoi les données recueillies doivent être traitées de manière cohérente, de sorte que chaque observation individuelle de source céleste, le modèle de la position et du déplacement de chaque source, et l'altitude, l'orbite et la vitesse de Gaia soient harmonisées. Dans l avenir, le système pourra être aligné sur le système ICRS (International Celestial Reference System). AGIS représente 10 à 50 % des traitements informatiques Gaia et c est pour cela qu'intersystems Caché a été choisi. Les objectifs scientifiques de Gaia sont multiples mais sont entres autres d analyser la structure et de mieux comprendre l histoire de la formation de notre galaxie. 1

3 Défis techniques et exigences Gaia doit observer environ 10 puissance 9 (soit ) objets célestes qui traverseront son plan focal ; pour chaque objet céleste, Gaia observera environ 100 attributs, soit un total de observations (soit 100 milliards) observations. Environ 10 à 50 % de ces observations devraient servir à créer un cadre de référence global avec AGIS. Une fois étalonnées et ajustées en fonction de l'altitude, ces données du cadre de référence global servent à actualiser la position et le mouvement d'autres sources dans le catalogue. La figure 1 illustre le processus de haut niveau de flux des données entre la base de données principale et la base de données InterSystems Caché d'agis. FIGURE 1 : PROCESSUS DE HAUT NIVEAU D'EXTRACTION ET DE TRAITEMENT AGIS L'estimation initiale était que la base de données InterSystems Caché contiendrait des données pour environ sources (pour un total de observations). L'estimation de la taille de ce volume de données était de l'ordre de 20 téraoctets. Toutefois, une estimation récente suggère que la base de données AGIS pourrait contenir jusqu'à sources (pour un total de observations) et une base de données de 100 téraoctets. Il est nécessaire que les données soient ingérées (ou insérées) dans la base de données sous 7 jours afin que le traitement puisse démarrer immédiatement. Une fois que les données ont été insérées dans AGIS, environ 40 itérations seront nécessaires pour étalonner et ajuster complètement les données, ce qui doit être effectué sous 120 jours. Une fois l'ajustement terminé, les données AGIS sont réinsérées dans la base de données principale, et le cycle suivant est initié. Ce processus itératif se poursuivra tout au long de la durée de vie de la mission. En outre, le traitement complet des données Gaia est lui-même itératif. Les positions améliorées par AGIS permettent à d'autres processus (photométrie, variabilité, etc.) d'obtenir de meilleurs résultats. Ceux-ci sont ensuite utilisés pour améliorer la solution AGIS suivante. 2

4 Insertion en masse de données dans la base de données Caché d'agis Le modèle de données AGIS comprend plusieurs objets et il est défini en termes d'interfaces Java. plus précisément, AGIS traite chaque observation en tant qu'un objet AstroElémentaire distinct. Comme illustré à la figure 2, chaque objet astroélémentaire est doté de différentes propriétés (surtout de type données longues IEEE) et occupe environ 600 octets sur disque. class AstroElementary { long transittimes[]; long transittimeerrors[]; long HEALPIXID; long HTMID; double etaobs[]; double zetares; double[] sourceparam; double[] etares; double zeta; double zetaerror; float flux; float fluxerror; float bg; float bgerror; long id; long telescope; long ccdrow; short pixelcolumns[]; long dettime; long dettimeerror; int typeflag; long sourceid; } FIGURE 2 : LE MODÈLE DE DONNÉES ASTROÉLÉMENTAIRE par ailleurs, la base de données AGIS contient plusieurs index créés durant la phase d'insertion. Ces index servent aux requêtes durant le traitement AGIS et offrent des capacités de reporting à la volée. Avec InterSystems Caché et sa fonctionnalité Caché extreme for Java, plusieurs programmes Java AGIS injecteront les 100 téraoctets de données générées par Gaia sous forme de objets astroélémentaires distincts. Cette insertion de données, tout comme la création d'index supplémentaires, doit être effectué sous 5 jours, ce qui correspond à un taux d'insertion continu d'environ objets astroélémentaires par seconde. Démonstration de faisabilité d'insertion de données pour le démonstrateur de faisabilité, InterSystems et ESAC, en collaboration avec des ingénieurs de chez netapp, ont développé un banc d'essai pour ingérer 5 milliards ( ) d'objets astroélémentaires, soit environ 10 % du volume total de données prévues dans la base de données AGIS à la fin de la mission. mis à l'échelle, il fallait que ces données soient ingérées sous 12 heures. Toutefois, en raison du matériel qui n'était pas au niveau du matériel de production, ESAC estimait que cette démonstration de faisabilité serait réussie si les données parvenaient à être ingérées sous 24 heures. Le tableau 1 résume les spécifications de l'ordinateur de test fourni pour ce test : Système Informations / détails sur le serveur Serveur SE Mémoire Système de fichiers Stockage Réseau Connexion entre le host et le stockage Version de InterSystems Caché Serveur Intel / 8 cœurs Red hat Enterprise Linux 5.5 ( el5), 64 bits 32 Go de RAm -> 11 Go affectés à Caché (mémoire tampon globale) ext3 netapp FAS3160 avec 176 disques SATA de 1 To à 7200 tours/min. Carte 10 GigE, port unique, canal unique avec trames étendues iscsi sur 10 GigE , Field Test 6 (et mises à jour ad hoc) TABLEAU 1 : RÉSUMÉ DE L'ARCHITECTURE DE L'ORDINATEUR DE TEST 3

5 Avec la fonctionnalité Caché extreme for Java, l environnement de test a réussi à ingérer les objets astroélémentaires distincts en 12 heures et 18 minutes, soit un taux moyen continu de objets par seconde. Élément Valeur Nombre d'objets astroélémentaires insérés Durée d'exécution totale Durée d'exécution cible (allouée) Taux d'insertion moyen secondes (~12,5 heures) secondes (24 heures) objets/seconde TABLEAU 2 : RÉSUMÉ DES RÉSULTATS DU DEMONSTRATEURPOUR L INSERTION EN MASSE Le test a été qualifié d'exceptionnellement réussi, surtout en raison de l'insertion terminée en moitié moins de temps que la durée de 24 heures allouée, avec une configuration système nominale. Les tests d'ingestion suivants utiliseront certainement plusieurs programmes d'insertion en parallèle, ce qui devrait améliorer le taux d'insertion moyen et réduire la durée totale. Conclusion Lors du démonstrateur mené par l'agence spatiale européenne et InterSystems, des données astrométriques exemple ont été insérées dans la base de données InterSystems Caché à un taux moyen de objets/seconde. Le test complet fut réalisé en 12 heures et 18 minutes, soit à peine la moitié de la durée des 24 heures allouée, sur du matériel de test nominal. Caché a ainsi pu confirmer qu'il constituait le bon choix de technologie de base de données pour répondre aux exigences extrêmes en matière de traitement des données du satellite de cartographie de la galaxie Gaia. 4

6 À propos de Caché InterSystems Caché est une base de données hautes performances qui permet l'accès aux données objet, SQL et multidimensionnelles, sans besoin de mapping. Elle est utilisée comme moteur d applications innovantes dans les domaines de la santé, de la finance, du secteur public, des télécommunications, de la distribution et d autres marchés verticaux. À propos de Caché extreme for Java Caché extreme for Java est une nouvelle fonctionnalité de la base de données InterSystems Caché qui expose les fonctions hautes performances de Caché à Java par le biais de JnI (Java native Interface). Elle permet une communication directe «in-process» entre Java et Caché pour un temps de latence extrêmement faible lors du stockage et de la récupération de données. pour plus de détails, visitez InterSystems.com/java. À propos de l'esa L'Agence spatiale européenne représente pour l'europe une porte d'accès à l'espace. Sa mission consiste à maitriser le développement des capacités spatiales européennes et à garantir que les investissements réalisés dans le domaine spatial bénéficient aux citoyens européens et au monde. L'ESA a pour mission d'élaborer le programme spatial européen et de le mener à bien. Les projets de l'agence sont conçus pour en apprendre davantage sur la Terre, sur son environnement spatial immédiat, sur le système solaire et sur l'univers, ainsi que pour mettre au point des technologies et services satellitaires et pour promouvoir les industries européennes. L'ESA travaille également en étroite collaboration avec des organisations spatiales hors d'europe. L ESA dispose dans différents pays d'europe de centres qui assument chacun des responsabilités bien définies. L'ESAC, Centre européen de l'astronomie spatiale, se trouve à villafranca en Espagne. C'est à l'esac que sont menées les opérations scientifiques liées aux télescopes spatiaux. Ce centre est responsable de la collecte, l'archivage et la distribution de données issues des missions astronomiques et planétaires. À propos d'intersystems IInterSystems Corporation est un éditeur leader mondial dont le siège est basé en face du mit (Cambridge massachusetts) et présent dans 23 pays. InterSystems fournit des technologies logicielles de pointe pour le développement d applications de nouvelle génération. Avec InterSystems Caché base de données objet/sql hautes performances, Inter- Systems Ensemble, une plate-forme d échange (ESB/EAI), InterSystems DeepSee, moteur décisionnel temps réel, et InterSystems iknow, analyseur sémantique de données non structurées, InterSystems propose au marché des technologies innovantes et totalement intégrées entre-elles et avec les grands standards technologiques, pour rendre vos applications plus performantes, plus maintenables, et plus innovantes. pour plus de détails, visitez InterSystems.com. 5

7 InterSystems Corporation World headquarters one memorial Drive Cambridge, ma Tel: Fax: InterSystems.com InterSystems Ensemble and InterSystems Caché are registered trademarks of InterSystems Corporation. InterSystems DeepSee and InterSystems healthshare are trademarks of InterSystems Corporation. other product names are trademarks of their respective vendors. Copyright 2010 InterSystems Corporation. All rights reserved