Utilisation de l'ibm Blue Gene/P de l'idris: Le projet DEUSS Dark Energy Universe Simulation Series (DEUSS) Responsable et collaborateurs : Jean-Michel ALIMI1, Yann RASERA 1, Pier-Stefano CORASANITI 1, Jérome COURTIN 1, Fabrice ROY 1, André FUZFA 1,2, Vincent BOUCHE 3,4, Romain TEYSSIER 4 Affiliations: 1 Laboratoire Univers et Théories (LUTH), CNRS- UMR8102, Observatoire de Paris, Université Paris Diderot, Place Jules Janssen, Observatoire de Meudon, 92190 MEUDON, France 2 GAMASCO, Université de NAMUR, Belgique 3 CP3, Université catholique de LOUVAIN, Belgique 4 Service d Astrophysique, CEA Saclay, Bat 709, L Orme des Merisiers, F-91191 Gif-sur-Yvette Cedex Résumé du projet : L'énergie noire constitue 75% du contenu énergétique de l Univers, elle est la source de l accélération cosmique récente. Sa nature est cependant encore inconnue. Nous nous proposons en étudiant l'empreinte fine de l'énergie noire sur la formation des grandes structures de l'univers de contraindre les diverses hypothèses envisagés sur la nature de cette énergie. Nous avons réalisé une série de 9 simulations N-corps
qui calculent l'évolution de plus d'un milliard de particules de matière noire depuis le début de l'univers jusqu'à l'instant présent. Ces simulations réalisées durant le dernier trimestre 2008 sur le supercalculateur Blue Gene de l'idris dans le cadre d'un projet Grand Challenge constituent la série de simulations la plus performante au monde aujourd hui en terme de résolution spatiale dédiée à l'étude de l'énergie noire. Ces simulations permettent d'étudier la structuration de l'univers pour trois modèles d'énergie noire concurrents sur une gamme d'échelles inédite allant de 6 gigaparsecs (la moitié du rayon de l'univers observable) à 3 kiloparsecs (un dixième du diamètre de la voie lactée)! Objet de la recherche, problématique scientifique D'après les dernières observations du fond diffus cosmologique par le satellite WMAP, et des supernovae par le catalogue SNLS, l'univers serait composé au trois-quarts d'énergie noire dont l'origine est encore inconnue. Cette énergie noire qui agit comme une pression négative serait responsable de l'accélération récente de l'expansion de l'univers. De nombreuses théories s'affrontent pour expliquer la nature de cette énergie comme la constante cosmologique (modèle LCDM), les champs scalaires (modèle de quintessence avec potentiel Ratra-Peebles dit RPCDM), les champs scalaires avec correction de supergravité (modèle de quintessence avec potentiel Sugra dit SUCDM), les modifications de la gravité (modèle de pesanteur anormale dit AWE), etc. Dans ce contexte, de nombreux projets observationnels ont été proposés par les grandes agences internationales pour discriminer entre ces différents modèles comme par exemple
EUCLID (ESA), JDEM (NASA), SKA, Plank, etc... Ces projets visent à mesurer avec une précision sans précédent les propriétés de l'énergie noire par l'observation respectivement des supernovae, du fond diffus cosmologique, des oscillations baryoniques, des lentilles gravitationnelles faibles, de l'effet SZ ou encore de la distribution des galaxies et des amas. Paradoxalement, les simulations cosmologiques actuelles qui explorent ces différents modèles d'énergie noire ne sont pas du tout au niveau de précision des observations pourtant elles seules permettent d étudier les effets de l énergie noire sur la distribution de matière sur une gamme d échelle large. Dans ce contexte, notre objectif est donc triple. Premièrement un objectif théorique : mieux saisir l'empreinte de l'énergie noire sur la formation des grandes structures. Deuxièmement un objectif observationnel : trouver de nouvelles observables pour discriminer entre les modèles d'énergie noire. Et enfin troisièmement, un objectif de défi numérique : améliorer la précision des précédents travaux. Caractéristiques du code et de l implémentation sur la Blue Gene/P Le code utilisé est le code N-corps à raffinement de maillage adaptatif (AMR) RAMSES (Teyssier, 2002) écrit en Fortran 90. Ce code résout l'équation de Poisson avec une méthode multigrille et évolue des particules de matière noire avec une méthode de type particulemaille (PM). Grâce à sa stratégie de raffinement basée sur un critère de densité, il présente une dynamique spatiale importante ce qui est fondamental pour des simulations cosmologiques. Ce code a été parallélisé avec MPI. La décomposition de domaine est dynamique
et basée sur la courbe de Peano-Hilbert. Cela lui assure une bonne scalabilité jusqu'à dix mille processus sur le supercalculateur Blue Gene. Ce code a ensuite été étendu à différents modèles d'énergie noire (Alimi et al, 2009). Un effort tout particulier a été réalisé pour l'implémentation sur Blue Gene concernant la gestion des sorties (I/O) qui sont très importantes. En effet, le code produit deux types de fichiers de sortie: des petits fichiers très nombreux à chaque pas de temps (plusieurs millions par simulation) et des gros fichiers moins nombreux mais plus volumineux (plusieurs téraoctets par simulation). Nous avons donc réduit le nombre de petits fichiers produits, créé un système de répertoires avec un nombre raisonnable de fichiers par répertoire, «tarré» les répertoires et transféré les archives sur le système de sauvegarde au cours de la simulation. Concernant le gros volume de données, Philippe Wautelet (IDRIS) a créé un système de «ticket» avec MPI afin qu'un nombre limité de processus écrivent sur le disque simultanément pour ne pas saturer l'accès disque. Un autre effort important a été réalisé pour le postprocessing avec le développement d'un nouveau code de détection des halos de matière noire parallèle. Ce code tourne directement sur la Blue Gene et permet de détecter la position et la masse des halos et surtout de trier les particules halo par halo dans les fichiers. Cela permet ainsi de réaliser les analyses ultérieures de manière séquentielle (halo par halo) sur nos machines locales au laboratoire. Au final la stratégie optimale retenue a été de lancer simultanément 3 simulations sur 4096 coeurs chacune
durant le dernier trimestre 2008 ce qui a représenté de l ordre de 5 000 000 d heures mono-cpu (soit l équivalent de 600 ans). Le post-processing a été beaucoup plus rapide et a tourné sur 512 coeurs de calcul. Description des résultats obtenus Nous avons tout d abord calibré nos modèles d énergie noire sur les observations du CMB et des SNIa. Nous avons ainsi défini des modèles dits réalistes compatibles avec toutes les observations les plus récentes. Nous avons ensuite réalisé une série de 9 simulations N-corps pour ces différents modèles (LCDM, SUCDM et RPCDM) et calculé l'évolution d'un milliard de particules de matière noire dans sept milliards de cellules depuis l'émission du CMB jusqu'à l'univers actuel (z=0). Les structures actuelles, appelées halos, ont enregistré l'histoire de l'expansion de l'univers lors de leur formation. Les caractéristiques fines de ces halos permettent ainsi de remonter aux propriétés de l'énergie noire. L'empreinte de l'énergie noire étant présente à toutes les échelles et pour toutes les masses de halos, nous avons réalisé pour chaque modèle 3 simulations pour 3 «tranches» d univers de différentes tailles. Les simulations avec une grande «boite» d univers (3.5 Gpc) permettent d'avoir une bonne statistique pour les amas de galaxies à bas redshift (z=0). Les simulationsavec une «boite» d univers de taille intermédiaire (900 Mpc) permettent d'étudier les groupes de galaxies, la structure interne des amas et les galaxies. Et, les simulations avec une «boite» d univers de petites taille (225 Mpc) permettent de sonder la structure interne des galaxies de type voie
lactée et les petites galaxies jusqu'à haut redshift (z=10). Au total, nous avons produit près de 40 To de données réparties entres 216 snapshots à différents instants de l histoire de l univers, 6 lightcones pour la comparaison aux observations, ainsi que 3 sous volumes sauvés à tous les pas de temps. Nous avons ensuite détecté tous les halos dans chaque snapshot qui peut contenir jusqu à 500 000 halos avec entre 100 et 3 000 000 de particules par halo. La gamme de modèle d énergie noire (LCDM, RPCDM et SUCDM), de masses de halos de matière noire (3.1010 à 8.1015 Msol) et d échelles (3 kpc à 6 Gpc) couvertes est unique au monde. Afin de caractériser quantitativement la structuration de la matière noire dans ces différents modèles univers nous avons calculé le spectre de puissance de la distribution de matière noire, la fonction de masse des halos de matière noire, ainsi que leurs profils de densité et vitesse. Ces prédictions pourront ainsi être comparé aux futurs grands relevés observationnelles, aux comptages d amas de galaxies et aux courbes de rotation des galaxies afin de briser les dégénérescences et contraindre les différents modèles d énergie noire. Nous travaillons actuellement à l élaboration d ateliers de présentation des résultats et à la création d une base de données de halos cosmologiques en connection avec le projet international d Observatoire Virtuel Astronomique. (Dark Energy Universe Virtual Observatory, DEUVO), afin de diffuser et de partager ces résultats avec l ensemble de la communauté scientifique international.
Légende de l image Cette image présente des cartes de la densité projetée de matière noire issues de la plus grande série de simulations au monde dédiée à l'étude de l'énergie noire. Deux aspects sont illustrés. Premièrement, l'aspect dynamique spatiale d une simulation, avec ce zoom sur un halo parmi les centaines de milliers que contient chaque simulation. Deuxièmement, l'influence de l'énergie noire elle-même. En effet, chaque couleur correspond à un modèle d'énergie noire différent. On s'aperçoit ainsi que les différences entre les modèles d'énergie noire sont particulièrement marquées aux petites échelles (les 3 couleurs sont distinguables). Au total, 9 simulations comme celles présentées ici ont été réalisées. Elles ont nécessité 5 millions d'heures monocpu sur 4096 coeurs de calcul du supercalulateur Blue Gene de l'idris dans le cadre d'un projet Grand Challenge obtenue par les membres du Projet Horizon au LUTH. Références et publications associéesarticlesalimi, J-M., Füzfa, A., Boucher, V., Rasera, Y., Courtin, J. & Corasaniti, P-S, Imprints of Dark Energy on Cosmic Structure Formation I) Realistic Quintessence Models, 2009, arxiv:0903.5490cet article est le premier d'une série qui présentera d'abord les aspects observationnels et physiques puis finira par la présentation de cette série de simulation Grand Challenge.Site WebSite du Projet Horizon : http://www.projethorizon.fr/www.projethorizon.fr/rubrique174.htmlune base de données des halos cosmologiques issus des simulations réalisés est en construction dans le cadre du projet international d Observatoire Virtuel Astronomique Publication à diffusion Grand public
Magasine de l'observatoire de Paris : http://grandpublic.obspm.fr/squelettes/pdf/magazine/ mag11/mag11.pdf Conférences Poster à Understanding the Dark Sector: Dark Matter and Dark Energy, Aspen 2009 Winter Conference, 25 au 31 Janvier 2009 Contribution orale au LUTH, «Visite de l AERES», Observatoire de Paris, 17 Mars 2009 Contributions orales à Invisible Universe International Conference, Palais de l'unesco, Paris, June 29- July 3, 2009. Film Un film consacré aux simulations réalisées dans le cadre de ce projet est en préparation. Il devrait être présenté au Palais de l UNESCO dans le cadre des manifestations «Invisible Universe», June 29, July 10, 2009.