1. CONTEXTE ET POSITIONNEMENT DU PROJET...2

Transcription

1 Acronyme NEWCASTLE Titre du projet en français Calcul de Structure électronique à Très Large Échelle : Ondelettes et ordre N pour le passage à l'échelle des méthodes ab initio Titre du projet en anglais Wavelets and order N for very large scale calculations of Electronic structure Axe(s) thématique(s) 1 Type de recherche Recherche Fondamentale Recherche Industrielle Développement Expérimental Aide totale demandée Durée du projet 36 mois 1. CONTEXTE ET POSITIONNEMENT DU PROJET Contexte et enjeux économiques et sociétaux Positionnement du projet DESCRIPTION SCIENTIFIQUE ET TECHNIQUE État de l'art Objectifs et caractère ambitieux/novateur du projet PROGRAMME SCIENTIFIQUE ET TECHNIQUE, ORGANISATION DU PROJET Programme scientifique et structuration du projet Management du projet (Tâche 0) Création d'un site web et diffusion des connaissances Gestion du développement du code Accord de consortium Points d'avancement des travaux Description des travaux par tâche Tâche 1 : oîtes à outils pour le passage à l'échelle (responsable ESRF) /40

2 3.3.2 Tâche 2 : Pseudo-potentiels transférables et doux méthode PAW (responsable CEA-DIF-DPTA et INAC) Tâche 3 : Tolérance aux pannes de la bibliothèque MPI (responsable ULL) Tâche 4 : Challenge applicatif (responsable CEA-DIF-DPTA et INAC) Calendrier des tâches, livrables et jalons STRATÉGIE DE VALORISATION DES RÉSULTATS ET MODE DE PROTECTION ET D EXPLOITATION DES RÉSULTATS ORGANISATION DU PARTENARIAT Description, adéquation et complémentarité des partenaires Partenaire 1 INAC, Grenoble Partenaire 2 ESRF, Grenoble Partenaire 3 CEA-DIF-DPTA, ruyères-le-châtel Partenaire 4 ULL, Échirolles Partenaire associée étranger Qualification du coordinateur du projet JUSTIFICATION SCIENTIFIQUE DES MOYENS DEMANDÉS Partenaire 1 : INAC, Grenoble Partenaire 2 : ESRF, Grenoble Partenaire 3: CEA-DIF-DPTA, ruyères-le-châtel Partenaire 4: ULL, Échirolles ANNEXES Références bibliographiques CONTEXTE ET POSITIONNEMENT DU PROJET Les méthodes ab initio sont les méthodes d'excellence pour prédire la structure et les propriétés des systèmes atomiques car elles sont sans paramètres. La majorité de ces méthodes résolvent l'équation de Schrödinger dans le cadre de la théorie de la fonctionnelle de la densité [19,20]. Elles sont utilisées en chimie, en science des matériaux, en nanosciences et aussi en biologie. Ces méthodes utilisent traditionnellement, pour représenter les fonctions d'onde des électrons, des bases de fonctions gaussiennes ou bien d'ondes planes. Le temps de calcul varie alors en puissance 3 en fonction du nombre d'atomes limi- 2/40

3 tant la taille des systèmes à quelques centaines d'atomes. D'autre part, ces deux bases de fonctions limitent considérablement le parallélisme à quelques centaines de cœurs. Nous avons montré [1-4] dans le code igdft que les bases en espace réel comme les ondelettes étaient réellement utilisables pour des codes en production sur machines parallèles et n'étaient pas soumises aux limitations des codes traditionnels. Il est possible, notamment, d'avoir un maillage adaptatif dans les régions de fortes variations de densité électronique. Les approches d'ordre N [6] sont surtout plus facilement applicables pour avoir un comportement linéaire du temps de calcul en fonction du nombre de cœurs. De plus, les expériences acquises avec le code igdft nous ont permis d'aborder des problématiques d'intérêt plus général pour les calculs dans des environnements massivement parallèles. Des calculs avec plusieurs centaines, voire quelque milliers de processeurs, présentent des aspects à prendre en compte très différents par rapport à ceux des calculs parallèles traditionnels, qui restent en dessous de la centaine de cœurs. Avec les tests de benchmark effectués en début d'année 2010 sur les plus grands supercalculateur nationales, le lancement du code igdft a permis de mettre en évidence une série de questions qui doivent se poser en vue de l'utilisation des grandes machines pour des calculs à l'échelle du pétaflopique, et qui prépare la voie pour la venue des machines exaflopiques (prévue vers 2018). En d autres termes, le code igdft se présente, à l'heure actuelle, comme un cas applicatif concret qui est capable d'explorer les problématiques typiques du passage à l'échelle. Pour cette raison, ce code est récemment rentré dans les benchmarks officiels du projet européen PRACE ainsi que dans les tests de validation des architectures des supercalculateurs français. En se fondant sur l'expérience déjà accumulée sur les ondelettes [1-4,9], sur les approches d'ordre N [7] et sur le développement d'applications parallèles [8], ce projet a comme première ambition de passer à l'échelle, c'est-à-dire d'être capable d'utiliser des milliers voire des dizaines de milliers de cœurs pour simuler des systèmes physiques réels. Cette procédure nécessitera une analyse exhaustive des stratégies possibles pour améliorer les performances d'un code complexe comme igdft, qui va donner des solutions d'implémentation de portée plus générale et sans aucun doute d'intérêt pour toute la communauté du calcul haute performance. Pour cela, nous souhaitons, nous baser sur le code igdft pour pouvoir utiliser des milliers de cœurs pour le calcul de la structure électronique via une approche d'ordre N déjà validée [35] pour des systèmes de quelques dizaines d'atomes. Une partie du projet est d'ailleurs d'avoir une meilleure transférabilité du code et un maillage plus large via l'implémentation de pseudo-potentiels plus doux. Toutes ces avancées bénéficieront à d autres codes de calcul de structure électronique via la réutilisation des modules développés comme cela a été le cas dans le passé (code AINIT, Octopus, CP2K, Siesta). 3/40

4 Suite à des tests sur plusieurs milliers de cœurs sur les différents centres français (CCRT, INES), nous souhaitons, en partenariat avec ull, améliorer la robustesse et le passage à l échelle de la bibliothèque MPI (OpenMPI), notamment des messages collectifs comme MPI_ALLTOALL et MPI_ALLREDUCE. En effet, nous nous sommes aperçus que toutes les bibliothèques testées avaient des problèmes de stabilité en montant le nombre de cœurs et que les algorithmes de communication devaient adopter des optimisations différentes en fonction du nombre de cœurs. Enfin, la tolérance aux pannes d'un nœud via un mécanisme de reprise dans la bibliothèque MPI sera étudiée et implantée dans le code. L'objectif de ce projet est double : 1. avoir un code ab initio «opensource» moderne, fiable, robuste pouvant exploiter des dizaines de milliers de cœurs pour la science des matériaux (défauts ponctuels), la chimie (macro-molécules), les nanosciences (fonctionnalisation de surface) et même la biologie (protéines) ; 2. valider un ensemble de solutions robustes et fiables pour le calcul massivement parallèle et hybride pouvant être ré-utilisé par d autres logiciels CONTEXTE ET ENJEUX ÉCONOMIQUES ET SOCIÉTAUX Les méthodes ab initio sont utilisées principalement en chimie, en science des matériaux, en nano-électronique et en nanosciences. Dans ce dernier domaine, la simulation atomistique et notamment les méthodes ab initio sont incontournables pour prédire les propriétés des surfaces, des nano-objets comme les nanofils et les nanotubes et donner un guide pour leur élaboration et leur synthèse. Autant la prédiction sur les propriétés des méthodes ab initio n'est plus à démontrer, autant l'aide à la synthèse et à la croissance est encore un grand enjeu. En effet, la synthèse met en jeu des phénomènes complexes de diffusion qui obligent à avoir une bonne description des interactions comme c'est le cas avec les méthodes ab initio mais aussi à une exploration des configurations atomiques encore trop coûteuses. Nous espérons, via ce projet et la puissance des futurs calculateurs pouvoir fournir les premières briques de base pour une meilleure approche de la croissance des matériaux. Les méthodes ab initio représentent environ 40% des simulations sur le calculateur CCRT et est de l'ordre de 30% sur celui de l'idris et du CINES. La majorité des utilisateurs ne développe pas et se repose sur des codes commerciaux, plutôt dans le domaine de la chimie, ou bien des codes académiques développés par un réseau de laboratoire comme c'est le cas pour AINIT [26,27] ( Le code igdft est fourni en standard dans AINIT pour une meilleure diffusion auprès des utilisateurs. Luigi Genovese a d ailleurs reçu le prix ull-fourier 2009 pour son travail de développement dans igdft. Ces codes, comme AINIT, sont 4/40

5 ensuite souvent proposés dans un environnement de simulation par des entreprises, comme Scienomics ( Ceci montre l'intérêt commercial croissant de ces codes utilisés par des entreprises comme EDF, ASF, Michelin,... Les ondelettes, grâce à leurs relations d'échelle, sont une base avec des propriétés très intéressantes pour la DFT. Nous avons déjà démontré [1] qu'il est possible d'avoir un code efficace et robuste pour différentes sortes de systèmes (molécules, cristal, surfaces). De plus, les ondelettes avec l'approche d'ordre N sont bien adaptées pour étudier des systèmes complexes avec des conditions aux bords variés comme ils se rencontrent en nanosciences, photovoltaïque, piles à combustibles et en électrochimie. D autre part, leur localisation ouvre des perspectives intéressantes pour exploiter les architectures massivement parallèles mais aussi les architectures hybrides. Via le projet ANR ProHMPT, nous avons commencé à porter le code sur carte graphique (GPU) et avons un facteur d'accélération entre 7 et 10 par rapport à un cœur CPU sur le temps d exécution total. Nous avons aussi développé une bibliothèque S_GPU qui permet d exploiter pleinement tous les cœurs CPU et les GPUs ensemble présent sur un nœud de calcul. Il est important de pouvoir exploiter cet avantage pour fournir les outils de simulation nécessaires pour la science future associés à la puissance de calcul considérable des futurs grands serveurs massivement parallèles. Ceci passe par savoir exploiter de manière robuste et fiable les grands serveurs de calcul. Pour cela, il faut des codes tests qui peuvent fournir des indications importantes lors des appels d offre pour le choix du matériel. Ainsi, igdft est programme de test dans le cadre du projet PRACE pour doter l Europe de supercalculateur pétaflopique car il peut déjà exploiter des nœuds à architecture hybride et permettre la comparaison d architectures différentes à au même coût financier POSITIONNEMENT DU PROJET Ce projet bénéficie des avancées du projet européen igdft (FP6-STREP-NEST) qui s'est fini en 2008 et a permis une première démonstration de la puissance des ondelettes pour le calcul des structures électroniques. Il est d'ailleurs à noter qu'en France, c'est le seul code développé et coordonné par une équipe française. igdft est de plus disponible dans le paquetage AINIT, projet collaboratif international coordonné par l'université de Louvain-la-Neuve, elgique, avec une forte participation de laboratoires français (CEA-DIF-DPTA, LSI, École Polytechnique, INAC). AINIT [26,27] est un code OpenSource (GPL) fondé sur les ondes planes, comme VASP, CASTEP, PWSCF ou CPMD. Ces codes développés depuis une quinzaine d'années utilisent de façon intensive la transformée de Fourier rapide pour calcu- 5/40

6 ler certains opérateurs dans l'espace réel (application d'un potentiel) et d'autres dans l'espace de Fourier (opérateur cinétique). De plus le formalisme des ondes planes a permis un développement rapide de ces codes. Il est possible maintenant de calculer de nombreuses propriétés électroniques et spectroscopiques avec une précision impressionnante. À cause de la transformée de Fourier rapide, ces codes sont limitées à quelques centaines de cœurs pour une efficacité proche de 50%. Aller au-delà signifie être capable de prendre en compte une série de problèmes d optimisation liés d'un coté à la pleine exploitation des ressources, de l'autre à l utilisation d une base dans l'espace réel comme dans notre cas les ondelettes. Il existe d'autres bases en espace réel dont certains groupes ont déjà exploités les propriétés : Les différences finies avec le code Octopus développé à San Sebastian en Espagne ( spécialisé dans la spectroscopie, GPAW (Université technique du Danemark, et le code PARSEC ( Université du Texas). Le problème de ces codes est qu'ils ne peuvent avoir un maillage adaptatif et sont souvent contraints à utiliser un pas de maillage petit : 0.2bohr par exemple pour un système contenant des atomes de Mn au lieu de 0.4 dans le cas des ondelettes ce qui multiplie par 8 la mémoire nécessaire. Les sinus cardinaux avec le code ONETEP [23,24] développé au Royaume-Uni ( Ce code est le plus avancé dans l'approche d'ordre N. La base composée des fonctions sinus cardinaux est équivalente à une base d'ondes planes. Ce choix, par contre, oblige à avoir des fonctions moins localisées (décroissance en 1/r) et à ne pas pouvoir adapter le maillage. Ces codes utilisant des bases en espace réel sont la solution d'avenir pour simuler de grands systèmes sur des ordinateurs massivement parallèles. Deux codes nous semblent concurrents du nôtre : ONETEP qui a déjà simulé des systèmes de dizaines de milliers d'atomes et PARSEC. ONETEP ne semble pour l'instant pas un code de production et s'est cantonné à des systèmes modèles. Le code PARSEC a comme notre code des conditions aux bords versatiles pour le calcul de l'électrostatique comme les surfaces ou les systèmes isolés. Par contre, il n'a pas la possibilité d'un maillage adaptatif et est moins bien parallélisé. Ce projet se propose de répondre à l'axe thématique 1 (simulation et calcul intensif) dans son ensemble. Il propose des défis applicatifs (dynamique moléculaire, étude de surface) qui sont prototypes pour l'étude d'une série de problématiques d'exploitation des performances, donc d'intérêt général. Ils exploiteront pour cela une augmentation du parallélisme et la possibilité d'utiliser des architectures hybrides comme les GPU (processeurs graphiques). D'autre part, via grâce à notre partenaire ull, différentes stratégies d optimisation seront étudiées pour les communications collectives à grand nombre de cœurs. Le code sera aussi équipé 6/40

7 d'une possibilité de continuer le calcul en cas de défaillance d'un nœud, événement devenant de plus en plus probable avec le passage à l'échelle. Ce projet a pour ambition d'utiliser les calculateurs actuels ( cœurs) auxquels nous pouvons accéder via les comités thématiques du GENCI et surtout les calculateurs futurs comme celui du CINES (23000 cœurs), du CCRT ou Tera100 (CEA-DIF-DPTA, plusieurs dizaines de milliers de cœurs). Notre partenaire CEADIF-DPTA aura accès et pourra tester en avance de phase les avancées liées à ce projet. Ces grandes simulations permettront ensuite la mise au point de modèles pour une approche multi-échelle utilisant des paramètres issus des méthodes ab initio. À l'inac, nous étudions ainsi la diffusion des défauts dans le silicium par un couplage des méthodes ab initio et de Monte Carlo cinétique d'un intérêt pour la micro-électronique, les nanosciences et le photovoltaïque. Toutes ces différentes composantes seront modulaires et pourront être utilisées pour d autres logiciels notamment toute la partie développée par ull. 2. DESCRIPTION 2.1. ÉTAT SCIENTIFIQUE ET TECHNIQUE DE L'ART Les méthodes ab initio ont été développées, en chimie, en utilisant des fonctions gaussiennes et en physique en utilisant des ondes planes. Elles ont un comportement cubique en fonction de la taille du système en nombre d'atomes. Walter Kohn et John Pople ont partagé le prix Nobel de chimie pour, respectivement, la découverte de la théorie de la fonctionnelle de la densité [19,20] et son implémentation à l'aide de fonctions gaussiennes. Les fonctions gaussiennes sont bien localisées en espace réel mais ont deux inconvénients majeurs : 1. les bases fondées sur les fonctions gaussiennes ne peuvent pas être améliorées d'une façon systématique ce qui oblige à utiliser différentes bases pour montrer la qualité d'un calcul donné. On simule donc le même système plusieurs fois. 2. Le manque d'orthogonalisation et les problèmes liés à la surcomplétude rendent difficile la mise au point de méthodes d'ordre N. 7/40

8 Illustration 1 : Molécule de cinchonidine et son maillage adaptatif associé Les ondes planes ont une localisation maximale dans l'espace réciproque amenant des techniques de pré-conditionnement excellentes pour la résolution des équations différentielles comme l opérateur laplacien mais ont deux inconvénients majeurs : 1. leur non localisation en espace réel oblige à considérer à chaque fois l'espace entier de simulation et donc rende impossible les approches d'ordre N. D'autre part, on est obligé de ne considérer que des conditions aux bords périodiques. 2. une mauvaise capacité de parallélisme de la transformée de Fourier (jusqu'à 64 cœurs) car de nombreux petits paquets de données sont échangés entre cœurs ayant pour conséquence une augmentation importante du temps de communications en fonction du nombre de cœurs. Une base en espace réel comme les fonctions ondelettes arrive à avoir les avantages des deux bases d'ondes planes et de gaussiennes. Ceci a été démontré par le projet européen igdft ( ). De plus, la faisabilité de l'approche d'ordre N en ondelettes a été montrée [35] même pour des systèmes d'une cinquantaine d'atomes. Enfin, les ondelettes permettent un maillage adaptatif diminuant l'utilisation de la mémoire. 8/40

9 Dans le code igdft, deux niveaux de résolution (voir illustration 1) sont utilisés permettant d'avoir un maillage plus fin près des noyaux de plus forte densité électronique. Un seul paramètre suffit pour caractériser le maillage, c'est le pas de grille qui peut ainsi être diminué autant qu'on veut pour améliorer la précision des calculs. Illustration 2 : Efficacité du code igdft pour différents systèmes atomiques L'efficacité du parallélisme a été aussi démontrée jusqu'à plus de 4000 cœurs. Les fonctions d'onde sont distribuées par processeur. Chaque processeur a ainsi toute l'information pour appliquer l'hamiltonien sur les fonctions d'onde qu'il traite minimisant les communications. Deux communications importantes (transposition) ont lieu pour l'orthonormalisation des fonctions d'onde. Ce faible nombre de communication rend le code peu sensible aux temps de latence. Sur l'illustration 2, nous montrons les performances pour des systèmes atomiques différents en fonction du nombre de cœurs de calcul obtenues avec la machine platine du CCRT au printemps L'efficacité est toujours supérieure à 88%. Les nombres près des courbes indiquent le nombre de fonctions d'onde par cœurs de calcul. Il est important de noter que ces donnés ont désormais deux ans, et que de nouveau tests ont été faits sur les machines plus récentes des serveurs nationaux français (Illustration 4). ien que l'amélioration de la technologie produit de nettes améliorations de performances (temps de rendu jusqu'à un ordre de grandeur plus petit pour le code CPU et deux pour le code hybride CPU+GPU), des problèmes commencent à se poser d'un point de vue efficacité parallèle. Ces problèmes seront l objet d'études approfondies dans ce projet parce qu ils vont apparaître de façon dominante dans les calculs à plusieurs milliers de cœurs. Actuellement, seule la version dont le temps varie en puissance 3 en fonction du nombre d'atomes est utilisée en production et de manière robuste. Nous donnons ci-dessous la répartition du temps dans les différentes routines en fonction du nombre de processeurs. 9/40

10 Illustration 3 : Temps et répartition des différentes opérations du code en fonction du nombre de cœurs de calcul La courbe en rouge pointillé montre la dépendance en puissance 3 liée au fait que les fonctions d'onde sont étalées dans tout le système. La partie d'algèbre linéaire, notée «LinAlg», augmente considérablement. Ce sont les opérations de la bibliothèque LAS DGEMM et la factorisation de Cholesky DPOTRF de la bibliothèque LAPACK qui sont utilisées pour l'orthonormalisation. Le nombre de fonctions d'onde varie linéairement en fonction du nombre d'atomes N. Il faut donc calculer N2 produits scalaires dont chacun a un coût en N car les fonctions d'onde s'étendent sur tout le système. On se retrouve à avoir un coût en puissance 3, N 3, du calcul de la matrice de recouvrement. Le programme passe alors plus de 70% de son temps dans la routine DGEMM, une des routines les mieux optimisées de la bibliothèque LAS. Pour éviter cela, il faut utiliser une approche d'ordre N [7]. Le code igdft, intégré dans AINIT, a ainsi un potentiel important dans les méthodes ab initio pour la simulation des matériaux et des molécules et pour le domaine des nanosciences. Début 2010, nous avons testé les différents supercalculateurs disponible en France et un en Suisse jusqu à 600 cœurs. Nous nous sommes aperçus alors que les bibliothèques MPI n avaient pas un bon passage à l échelle notamment en ce qui concerne les communications collectives comme MPI_ALLTOALL. Ces problèmes étant bien connus vu la nature de la communication, il n'avait pas pu être vu il y a deux ans à cause du temps de calcul CPU plus important à l époque qui cachait partiellement la mauvaise scalabilité des communications. Avec les nou- 10/40

11 velles architectures, plus performantes en Gflops, on est plus sensible qu'avant à une mauvais scalabilité des communications, bien que la scalabilité de la partie CPU reste très bonne. L'efficacité du code chute donc à environ 50%, même si le nombre de Gflops a augmenté d'un facteur deux. Il est évident que ces problèmes se retrouvent dans nombre d application et sont d un grand intérêt pour les futures applications massivement parallèles. De plus, les bibliothèques MPI devenaient peu robustes pour des simulations au-delà de 500 cœurs. Ces problèmes pouvaient apparaître au bout de 8 heures rendant difficile les calculs de production. Illustration 4 : Efficacité de différentes catégories de calcul en particulier les communications (Comms) en fonction du nombre de cœurs de calcul Sur la figure 4, nous donnons les résultats pour le supercalculateur titane à base de Nehalem. Du fait de la performance de ces processeurs, l efficacité du code chute plus vite qu avec les autres surpercalculateurs à cause de la performance des communications (courbe rose). Le réseau de titane est pourtant le meilleur de tous les réseaux testés. Ce graphique illustre l importance d avoir des programmes de tests pour la mise au point et la compréhension des supercalculateurs massivement parallèles. Ainsi, il semble possible d améliorer les performances des communications en adoptant des stratégies différentes à petit nombre et à grand nombre de cœurs. Actuellement, un effort important est à l'utilisation des processeurs graphiques (GPU, projet ANR ProHMPT) pour le code igdft. Il a déjà fonctionné sur le supercalculateur titane jusqu à 192 GPUs avec une efficacité proche de 100%. Via la bibliothèque S_GPU, les nœuds complets (8 CPUS et 2 GPUs) ont été exploités. Ce projet sera couplé au projet ANR ProHMPT permettant d'exploiter les futures ar- 11/40

12 chitectures hybrides. L'objectif du projet ANR ProHMPT, complémentaire de ce projet, est d'exploiter les architectures hybrides à base de GPU. L objectif de ce projet n est pas seulement d avoir un code applicatif ambitieux dans la science des matériaux mais aussi de fournir des solutions fiables et robustes pour le passage à l échelle au niveau des communications OJECTIFS ET CARACTÈRE AMITIEUX/NOVATEUR DU PROJET L'objectif de ce projet est double : 1. avoir un passage à l'échelle en nombre de cœurs pour les méthodes ab initio ; 2. obtenir un passage à l échelle robuste et fiable des bibliothèques de communications dotées en plus d une tolérance aux pannes. Grâce aux ondelettes et au code igdft, nous avons l'opportunité d'une base en espace réel qui permet : d'avoir des conditions aux bords versatiles de type périodique, surface, fil ou libre ; une approche d'ordre N passant par des régions de localisation ; de pouvoir traiter l'électrostatique via des fonctions de Green à un coût équivalent à une transformée de Fourier rapide. L'approche d'ordre N combinée à la possibilité d'avoir des conditions aux bords complexes nous permet d'envisager des tailles de systèmes importants et de l'appliquer à dans des approches multi-échelles pour aller vers les dispositifs ou systèmes réels. Nous en citerons quatre : les protéines dans le cadre de la biologie avec une validation de classe de potentiels polarisables ; des défauts chargés ou non au cœur des matériaux qui sont souvent la clef des propriétés désirées ou non de nombreux dispositifs comme dans le cadre du photovoltaïque et plus généralement de l'électronique ; l'étude de la cinétique et de la croissance des matériaux ; l'étude via une approche multi-échelle des OLEDs requérant de nombreux calculs de paramétrage en ab initio. L'idée est d'utiliser des fonctions d'onde localisées dans des régions de localisation. Toutes les opérations sur ces fonctions d'onde localisées c'est-à-dire l'application de l'hamiltonien ou l'orthonormalisation conservent la localisation des fonctions d'onde dans ces régions de localisation. Dans ce cas, mise à part le calcul du potentiel de Hartree qui reste sur tout le système (et qui est déjà d'ordre N), le reste peut se faire sur des parties du système considéré. Cette technique permet alors de pouvoir partager un système proprement. Nous montrons sur l'illustration 5, le principe des régions de localisation. Chaque fonction d'onde ne s'étend plus sur toute la boîte de simulation mais dans des régions de localisation dont le centre et l'extension sont déterminés au départ. Il 12/40

13 est possible de contrôler cette approximation en faisant varier l'extension de ces régions afin de contrôler la convergence de l'énergie du système. Cette technique que nous proposons permettra de pouvoir traiter de nombreux problèmes au cœur de la physique du solide en permettant d'utiliser plusieurs milliers de cœurs avec une efficacité de l'ordre de 90%. Actuellement, nous avons montré la faisabilité de la méthode en construisant, pour plusieurs molécules différentes, les régions de localisation [35]. Cela requiert de définir le centre et l'extension pour chacune des régions. Ces fonctions sont appelées fonctions de Wannier et, au contraire des fonctions propres de l'hamiltonien dit fonctions de Kohn-Sham, elles sont bien plus localisées. Illustration 5 : Principe des régions de localisation des fonctions d'onde Un premier enjeu sera d'avoir une stratégie robuste et efficace pour la construction des régions de localisation en fonction de la précision souhaitée. Nous savons le faire pour des systèmes simples comme les molécules d'alcane ou quelques molécules organiques, pouvoir l'automatiser est un autre challenge. Un autre point très important est l'étude de la meilleure stratégie de communication une fois les régions de localisation établies. Cette approche étant conçue pour des milliers d'atomes, les stratégies vont forcément prendre en compte des aspects généraux d exploitation des performances du réseau de communications et seront conçues pour le maximiser. Nous comptons extraire beaucoup d'informations utiles de cette partie du projet. En effet, nous passerons d une répartition très régulière des données à une répartition irrégulière plus difficile à répartir. Le deuxième enjeu est de réduire le nombre d'ondelettes nécessaires pour la description des fonctions d'onde en utilisant des pseudo-potentiels plus doux et plus transférables de type PAW (Projector Augmented Waves). Avoir un maillage 13/40

14 20% plus grand permet de diminuer d'un facteur 2 le nombre d'ondelettes nécessaires notamment près des noyaux. Pour cela, il faudra adapter le formalisme existant pour les ondes planes aux ondelettes et utiliser des projecteurs exprimés sous forme d'une somme de fonctions gaussiennes pour appliquer rapidement les projecteurs aux fonctions. Cette tâche prévoit aussi un effort important de modularisation des parties implémentées afin de pouvoir permettre une réutilisation efficace de ces développements dans d' autres codes, via une sorte de «bibliothèque PAW». Enfin le dernier enjeu sera d'équiper le code pour continuer le calcul en cas de défaillance d'un ou plusieurs nœuds. L'idée de base est que la bibliothèque MPI au lieu de tuer toutes les tâches envoie un signal à chaque processus MPI qui déclenchera l'utilisation d'une routine spécifique. Cette routine analysera la défaillance pour proposer de continuer le calcul. Ce projet allie physique et informatique avec une partie mathématiques appliquées via l'utilisation des ondelettes. Le résultat sera d'avoir un code massivement parallèle, disponible gratuitement qui permettra des calculs de systèmes réalistes d'une taille jusqu'ici jamais atteintes d'un intérêt pour les nanosciences, le photovoltaïque ou bien les nouvelles énergies. Dans son ensemble ce travail permettra ainsi d'aborder des questions complexes sur des systèmes de grande taille, alors que de nombreuses études actuelles n'abordent que les aspects énergétiques. Ce sont les techniques algorithmiques et numériques commentées dans les parties précédentes qui le permettront. D autre part, ce travail fournira des solutions robustes et fiables pour le passage à l échelle des applications au niveau communication. 3. PROGRAMME 3.1. PROGRAMME SCIENTIFIQUE ET TECHNIQUE, ORGANISATION DU PROJET SCIENTIFIQUE ET STRUCTURATION DU PROJET Le programme sera décomposé en quatre tâches : 1. oîte à outil pour le passage à l'échelle : cette tâche regroupe la partie algorithmique et de programmation pour l'exploitation de l'ordre N avec une base d'ondelettes. Un point essentiel est la définition des régions de localisation et la répartition des données notamment pour l'orthonormalisation. 2. Pseudo-potentiels transférables et doux : cette tâche a comme ambition d'avoir des pseudo-potentiels demandant un raffinement moins important avec une meilleure transférabilité. Ceci aura pour impact une utilisation plus faible de la mémoire d'un facteur de 2 environ. 3. Tolérance aux pannes de la bibliothèque MPI : cette tâche a comme ambition de pouvoir continuer un calcul même si un nœud est tombé en panne, ainsi que de fournir au démarrage du calcul des guides pour l'établissement de la stratégie de parallélisation. 4. Applications des développements : cette tâche illustrera le travail accompli par d autres tâches sur des applications concrètes (dynamique moléculaire, étude de phénomènes en surface). 14/40

15 La première tâche (boîte à outils pour le passage à l'échelle) implémente l'approche ordre N adaptée à un très grand nombre de cœurs et fournit les outils nécessaires pour l'utilisation des architectures massivement parallèles. Elle fournira la possibilité d'exploiter les architectures parallèles de manière efficace pour s'attaquer à des problèmes physiques réalistes. La tâche 2 (pseudo-potentiels transférables et doux) est importante pour permettre une diminution d'un facteur 2 environ de la mémoire nécessaire par cœur tout en améliorant la précision et la transférabilité des calculs. La mémoire par cœur a en effet tendance à être faible comme dans le cas de l'architecture IM luegene (512 Mo) ou bien reste aux alentours de 1 à 2 Go par cœur. Pouvoir la diminuer devient primordial. Enfin, la tâche 3 (tolérance aux pannes de la bibliothèque MPI) apportera une fiabilité et une robustesse du code face aux pannes de nœuds de calcul qui seront incontournables durant le temps de calcul (de quelques heures à quelques jours). Cette tâche s'appuiera sur la tâche 1 qui apportera les outils nécessaires pour la récupération des données du nœud en panne via un système de reprise interne : détection de la partie des données concernées, récupération par un nouveau calcul, puis nouvelle répartition des données sur les nouveaux nœuds. Finalement, la tâche 4 permettra d appliquer les développements des autres tâches à des applications concrètes. Deux ensembles d applications sont visés : la dynamique moléculaire de phase complexes atomiques et la simulation de phénomènes en surface. Illustration 6 : Répartition des tâches pour l'utilisation de serveurs massivement parallèles 15/40

16 Sur l'illustration 6, nous montrons la répartition des quatre tâches. La tâche 1 est la tâche de base pour permettre via les tâches 2 et 3 d'exploiter un serveur de plusieurs dizaines de milliers de cœurs avec un minimum de mémoire tout en améliorant la précision des calculs. La tâche 4 permettra d'appliquer ces développements sur des défis applicatifs Tout le développement dans le code igdft sera disponible sous licence GPL sur le site Un soin particulier sera apporté pour la modularisation des différentes composantes afin de ré-utiliser chaque partie facilement. Il sera aussi porté dans le paquetage AINIT qui a une diffusion très large (plusieurs milliers d'utilisateurs). Ce travail fera l'objet de publications dans des revues à comités de lecture et les partenaires exposeront leurs travaux au cours de conférences internationales MANAGEMENT DU PROJET (TÂCHE 0) Le management du projet sera coordonné par le partenaire INAC qui a déjà une expérience de management via le projet européen igdft et plusieurs projets ANR. Ce partenaire sera responsable de la tâche 0 «management du projet» et assurera le bon déroulement des travaux de chaque partenaire dans le respect du calendrier CRÉATION D'UN SITE WE ET DIFFUSION DES CONNAISSANCES Le premier objectif sera de créer un site web sur le site du partenaire INAC en s'appuyant sur son site web ( qui intègre déjà une page pour la diffusion du code ab initio igdft ( Ce site web regroupe d'autres outils de simulation (T_Sim, µ_magnet, V_Sim) et est cité par d'autres sites web de laboratoires ainsi que par le site consacré à AINIT ( Les articles publiés seront disponibles sur le site ainsi que le code igdft. L'intégration de ce code dans AINIT pour une diffusion large sera assurée par le partenaire INAC. De plus les partenaires communiqueront au cours de conférences nationales et internationales sur leurs travaux en citant le projet GESTION DU DÉVELOPPEMENT DU CODE Le serveur du site d'ainit est aussi utilisé pour la conception du code igdft. Il inclut un système de gestion de version (bazaar, permettant la conception de logiciel par différents développeurs. Ce système de gestion, déjà en production, sera utilisé par chaque partenaire pour le management des différents développements. Le partenaire CEA-DIF-DPTA est un développeur principal d'ainit et a déjà une grande expérience dans cet outil ainsi que le partenaire ESRF, mainteneur actuel du code igdft. Ce système de gestion permettra de gérer facilement les contributions de chacun. Le partenaire ESRF sera chargé de la sortie régulière de nouvelles versions du code igdft intégrant les développements de ce projet. 16/40

17 Le formalisme des ondelettes dans les méthodes ab initio a été développé par les partenaires INAC, ESRF ainsi que le groupe du Professeur Stefan Goedecker de l'université de âle. Cette collaboration sera maintenue au cours du projet. Le professeur Stefan Goedecker sera associé aux travaux. Le partenaire CEA-DIF-DPTA sera mis régulièrement au courant des avancements des partenaires grenoblois assurés par les partenaires INAC et ESRF lors des séjours au départ du projet ACCORD DE CONSORTIUM Le deuxième objectif est la rédaction de l'accord de consortium entre les quatre partenaires. Il y aura notamment une séparation entre les trois premières tâches de recherche fondamentale et la quatrième de recherche industrielle. Le code sera sous licence GPL et la bibliothèque restera propriété de ull. Un comité de pilotage du projet sera constitué d'une personne par partenaire. Un comité scientifique du projet sera constitué d'une personne par partenaire et du Professeur Stefan Goedecker de l'université de âle en Suisse. Les publications seront soumises à l'aval du comité scientifique du projet POINTS D'AVANCEMENT DES TRAVAUX Dès le début du projet, une réunion de démarrage aura lieu permettant de mettre en place les outils nécessaires aux développements et un calendrier des échanges entre groupes notamment pour diffuser le formalisme des ondelettes. Le rythme des réunions sera tous les neufs mois soit cinq réunions sur l'agglomération grenobloise pour faire le point sur l'avancée des travaux. Les différentes versions du code disponibles publiquement suivront ce calendrier. D'autres réunions entre deux partenaires seront décidées en fonction de l'avancement des travaux notamment au départ du projet pour la diffusion des compétences sur le code DESCRIPTION DES TRAVAUX PAR TÂCHE Les trois premières tâches ont comme objectif d'avoir un code ab initio massivement parallèle sous licence libre (GPL) pouvant s'appliquer à de nombreux sujets de recherches. Ce sont des tâches de recherche fondamentale. Trois niveaux de parallélisation existeront dans le code : 1. Un premier niveau via OpenMP ou l'utilisation des GPUs pour l'application des opérations élémentaires sur une orbitale ; 2. Un deuxième niveau, déjà programmé, utilisant MPI et les régions de localisation ; 3. Un troisième niveau qui sera une parallélisation des colonnes de la matrice hessienne (calcul des vibrations) via l'utilisation de groupe de processus MPI. La première tâche (boîte à outils pour le passage à l'échelle) mettra en place les routines nécessaires pour l'exploitation du massivement parallèle. La deuxième tâche (pseudo-potentiels transférables et doux), en partie découplée de la première, a comme objectif d'améliorer la précision du code et aussi sa rapidité. 17/40

18 La troisième tâche (tolérance aux pannes de la bibliothèque MPI) est du ressort de la recherche industrielle et sera portée par le partenaire industriel ull qui sera propriétaire de la bibliothèque développée. Via les résultats de cette tâche, le code sera outillé pour continuer le calcul en cas de perte d'un nœud de calcul TÂCHE 1 : OÎTES À OUTILS POUR LE PASSAGE À L'ÉCHELLE (RESPONSALE ESRF) Le premier objectif pour assurer un bon passage à l'échelle du code en ondelettes est celui de la création des routines fondamentales qui puissent assurer une bonne répartition de travail parmi les différents cœurs de calculs. Dans un deuxième temps, il sera nécessaire de développer les outils de gestion et de répartition des différentes sections du code, afin d'assurer des performances optimales adaptées au système considéré. Routines de base pour le code Ordre N. Comme déjà mentionnées, les propriétés d'orthogonalité et de localisation des ondelettes de Daubechies assurent la localisation des données au cours des opérations intensives du code igdft. Les opérations comme la construction de la densité de charge et l'application de l'hamiltonien sont effectuées sous la forme de convolutions avec des filtres courts et séparables. Ces opérations se prêtent bien à une optimisation intensive (elles tournent actuellement à plus de 3.5 Gflops sur des cœurs modernes), et ne doivent être effectuées que sur le domaine de définitions des fonctions d'onde, indépendamment de la taille totale de la boîte de simulation. Lorsqu'on peut déterminer la région de l'espace où la fonction d'onde se localise (dite région de localisation), comme par exemple pour un système avec des liaisons covalentes, il est possible de restreindre la taille des données à passer aux routines des convolutions. On réduit alors considérablement le temps de calcul par rapport à celui dans le cas d une approche générale où toutes les fonctions d'ondes du système sont définies sur l ensemble de la boîte. La première partie de cette tâche comprendra donc la redéfinition des routines de convolution sur les différentes régions de localisation au lieu de les appliquer sur toute la boîte. Cette partie est conceptuellement immédiate : la technologie de convolution déjà implémentée sur la boîte doit être restreinte à une région de localisation donnée. La deuxième partie sera l'étude de la stratégie de communication de données pour calculer l'orthogonalisation des orbitales. Cette partie n'est pas qu'une simple retransposition de la version cubique du code à une version avec des régions de localisations. En effet, lorsqu'une orbitale devient localisée, elle ne se superpose qu'avec les orbitales qui appartiennent à des régions de localisations proches. Une stratégie de communication de type «MPI_ALLTOALL» comme celle implémentée à l'heure actuelle ne serait pas donc nécessairement adaptée. Des stratégies alternatives avec des communications point à point non bloquantes devront être étudiées. Comme déjà expliqué plus haut, ce genre de stra- 18/40

19 tégies est d'intérêt pour beaucoup de codes haute performances, même au-delà du domaine de la DFT. La troisième partie sera l'identification de ces régions de localisation pour un système donné. Cette section incorpore les problématiques de nature physique liées à une approche basée sur les régions de localisation. Celles-ci étant définies au départ du calcul, il est important d'avoir une stratégie pour les positionner de façon optimale en fonction du système analysé. Par exemple, si une région de localisation pour une orbitale se révèle trop petite, des problèmes de convergence ainsi que d'instabilités numériques pourraient apparaître pendant le processus d'optimisation. Comprendre les signaux liés à ce type de problème est donc vitale pour une bonne réussite de la méthode. Toutes les parties de cette section ont déjà été analysées au cours du projet igdft et du projet ANR LN3M. Leur faisabilité a été montrée à travers le développement d'un code prototype. Dans cette sous-tâche, nous nous proposons de stabiliser ces procédures dans un code de production, qui puisse attaquer des systèmes très généraux en profitant au maximum de la puissance du formalisme. Répartition parallèle des calculs Une fois la première section réalisée, un problème qui se posera, sera celui de répartir de façon équilibrée les différentes régions de localisation entre les cœurs de calculs. Ce type de répartition va nécessairement devoir tenir compte des opérations numériques particulières à effectuer. Par exemple, du point de vue des communications, il est plus optimale de placer les orbitales appartenant à des régions de localisation proches sur les cœurs d'un même nœud. De plus, un même cœur de calcul pourra gérer plusieurs régions de localisation si celles-ci sont de tailles petites, alors qu'une région de grande taille occupera plus de mémoire et sera donc dédiée à tout un cœur. Des informations de ce genre (dimensionnement du calcul) vont devoir être gérées par une routine externe, qui sera lancée au début du calcul, et qui déterminera automatiquement, ou bien indiquera à l'utilisateur les choix concernant la distributions des données. Cette sous-tâche bénéficiera des travaux du projet ANR ProHMPT consacré à l'exploitation des architectures hybrides dont une des tâches est l'étude de la répartition optimale des données. Dans le projet NEWCASTLE, nous nous proposons d'amplifier cet effort en considérant plusieurs milliers de cœurs mais homogènes dans un premier temps TÂCHE 2 : PSEUDO-POTENTIELS TRANSFÉRALES ET DOUX MÉTHODE PAW (RESPONSALE CEADIF-DPTA ET INAC) ase d'ondelettes et méthode «Projector Augmented-Wave» Les pseudo-potentiels sont utilisés pour représenter de manière approchée l'influence des noyaux atomiques et des électrons des couches profondes sur les 19/40

20 électrons de valence. Ces derniers sont ceux qui déterminent la chimie et la structure atomique. Cette approche est essentielle pour éviter de traiter les électrons de cœur et diminuer ainsi la complexité des calculs. Pour rendre le code à base d'ondelettes encore plus rapide et précis, deux aspects restent à améliorer : 1. Malgré le caractère adaptatif de la base d'ondelettes, le nombre d'éléments de base nécessaires pour décrire les fonctions d'onde des électrons de certains systèmes physiques reste encore élevé. Ceci est principalement dû à l'utilisation de pseudo-potentiels dont les variations sont trop rapides (ou «dures») et parce qu'ils doivent répondre à une contrainte de «conservation de la norme». 2. L'utilisation de pseudo-potentiels reste encore problématique d'un point de vue de la précision, plus particulièrement à cause de leur manque de transférabilité d'un système physique à l'autre. En effet, chaque pseudo-potentiel est ajusté sur un système de référence qui est susceptible d'être très différent du système étudié. Il existe un formalisme qui permet de pallier à ces deux inconvénients : la méthode «Projector Augmented-Wave» (PAW) [26] proposée par P. löchl en L'usage de ce formalisme permet, à la fois, de s'affranchir de la contrainte de «conservation de la norme» et de rattraper l'erreur entre le système de référence utilisé pour générer le pseudo-potentiel et le système étudié. La mise en place de la méthode PAW dans le code à base d'ondelettes se caractérisera par : Un aspect numérique, pour un gain de performances. Il faudra utiliser, en plus des ondelettes, une base de fonctions localisées ne se recouvrant pas qui permettra de traiter les fortes variations des potentiels près des noyaux atomiques. Ces fortes variations ne seront plus traitées par les ondelettes ce qui réduira très sensiblement le nombre. Un aspect théorique, pour un gain de précision. La méthode PAW repose sur une transformation mathématique qui permet d'accéder, sans l'approximation des pseudo-potentiels, aux vraies fonctions d'onde électroniques. À ce jour, la méthode PAW a déjà été implémentée [25], dans le code AINIT, par le partenaire CEA-DIF-DPTA, mais pour une utilisation associée uniquement à la base d'ondes planes. Il s'agit d'un développement qui s'est réalisé en parallèle de celui du code igdft. Actuellement, une utilisation conjointe de PAW et des ondelettes n'existe pas. Nous nous proposons, comme but final de cette tâche, de coupler, dans igdft (et par conséquent dans AINIT) les ondelettes avec la méthode PAW, dans sa totalité. Pour cela, plusieurs étapes seront nécessaires. Implémentation de «PAW+ondelettes» dans le code AINIT : Adjoindre, à la base d'ondelettes, une base de fonctions locales (représentées par des «projecteurs»), pour traiter les fortes variations de potentiel. Cette étape consistera à adapter le formalisme PAW existant pour les ondes planes en le rendant compatible avec les ondelettes, en utilisant des projec- 20/40

21 tions sur la base locale exprimées sous forme de sommes de gaussiennes. Les fonctions gaussiennes sont particulièrement bien adaptées notamment pour leurs propriétés de séparabilité dans l'espace réel ce qui permet un gain considérable du calcul de leur coefficient sur une grille. Ce travail commencera par une partie théorique puisque l expression mathématique de ces projections en gaussiennes n est pas immédiate. Nous implémenterons ensuite cette expression dans le paquetage AINIT qui contient déjà le formalisme PAW. Cette étape est très importante car elle permettra de démontrer la faisabilité de la tâche finale : réunir les formalismes PAW et ondelettes. Extraction d une bibliothèque informatique open-source «PAW+ondelettes» : Mise à disposition de la communauté scientifique Une fois le code AINIT opérationnel, intégrant la méthode PAW ainsi que l utilisation de la base d ondelettes, nous prévoyons d en extraire un ensemble de fonctionnalités. Nous rédigerons une bibliothèque informatique qui contiendra toutes les modules nécessaires à l introduction de la méthode PAW dans un code de structure électronique, indépendamment de la base choisie pour représenter les fonctions d onde électroniques. Cette bibliothèque sera publiée sous la forme d un package open-source et mise à la disposition de la communauté. D un certain point de vue, elle sera l analogue de la bibliothèque «igdft» déjà disponible et permettant d introduire un base adaptative d ondelettes dans n importe quel code de calcul de structure électronique. Introduction de la méthode PAW dans le code igdft : Lever le manque de précision des pseudo-potentiels et accélérer le traitement des fortes variations de densité électronique Cette étape consistera à utiliser la nouvelle bibliothèque «PAW» créée à l étape précédente dans le code igdft. Il sera nécessaire d introduire quelques nouveaux objets (au sens informatique «orienté-objet») dans le code. Un travail d'adaptation sera nécessaire, en particulier pour la parallélisation. Notons que la définition des (nouveaux) objets PAW est indépendante de la base utilisée pour les fonctions d'onde électronique : le transfert devrait en être simplifié. Tous ces développements permettront (dans les deux codes AINIT et igdft) : - d accélérer significativement les calculs, grâce à l emploi de pseudo-potentiels doux ; - de réduire la mémoire nécessaire, en utilisant moins d éléments dans la base d ondelettes ; - d améliorer la précision des calculs, grâce à l emploi de la méthode PAW. Ces développements seront mis à disposition de la communauté scientifique par le biais de la publication d une bibliothèque informatique «PAW», complémentaire de la bibliothèque «igdft» existante. Cette tâche donnera lieu à la publication d un article scientifique présentant l adaptation de la méthode PAW à une base d ondelettes (jamais encore effectuée). 21/40

22 3.3.3 TÂCHE 3 : TOLÉRANCE AUX PANNES DE LA ILIOTHÈQUE MPI (RESPONSALE ULL) Le standard MPI (version 1.2 et 2) ne prévoit pas de mécanisme particulier pour gérer des pannes matérielles telles que pannes de processeurs ou pannes dans le système de communication. Il spécifie uniquement que de telles pannes doivent être, dans la mesure du possible, reflétées en tant qu'erreurs dans l'appel à la bibliothèque MPI. En pratique, la perte d'un nœud ou d'un autre composant matériel (le réseau par exemple) provoque une erreur fatale et l'application MPI est arrêtée. Les exceptions MPI Une exception MPI est une erreur que la bibliothèque MPI est capable de détecter et de remonter à l'application Gestion des exceptions Par défaut, une exception détectée pendant l'exécution de la bibliothèque MPI provoque l'arrêt immédiat de l'application (excepté pour les opérations sur les fichiers). Mais le standard MPI fournit aux utilisateurs des mécanismes permettant de modifier ce comportement par défaut, et ainsi de gérer des erreurs quand elles sont détectées. Ainsi, l'utilisateur peut spécifier qu'aucune erreur n'est fatale, ou même choisir de gérer lui-même les erreurs retournées par les appels MPI. L'utilisateur peut en outre définir ses propres routines de gestion d'erreur, qui seront invoquées dès le retour anormal d'un appel à la bibliothèque MPI. Ainsi, la fonction MPI_XXX_SET_ERRHANDLER permet d'affecter une fonction de gestion d'erreur à un communicateur MPI, une fenêtre MPI ou un fichier MPI. Cette fonction peut être une fonction prédéfinie (telle que MPI_ERRORS_RETURN qui remonte un code d'erreur à l'application MPI ou MPI_ERRORS_ARE_FATAL qui arrête l'application MPI) ou une fonction précédemment définie par un appel à MPI_XXX_CREATE_ERRHANDLER. Cette fonction de gestion d'erreur est appelée en cas d'occurrence d'une erreur sur l'objet auquel elle est associée. L'appel à cette fonction offre alors la possibilité à l'utilisateur de définir le traitement associé. Une application peut ainsi sauvegarder le travail en cours pour le reprendre plus tard, lors du lancement suivant. ull travaillera sur ce point et vérifiera les implications de ce mécanisme dans une application réelle. Une fois cette tâche effectuée, l'objectif sera l'extension de ce mécanisme. Reprise sur erreur Après qu'une erreur ait été détectée, la bibliothèque MPI est dans un état indéfini. Le standard MPI spécifie qu'une implémentation MPI est libre, mais non tenue, d'autoriser une application MPI à continuer son exécution à la suite d'une erreur. C'est dans cette in-définition qu'une extension est possible sans changement de standard. Les implémentations MPI actuelles ne peuvent continuer après une erreur pour une raison simple: un ou plusieurs processus peuvent être manquants, rendant incohérents le ou les communicateurs auxquels appartiennent ces processus. L'optique de ce point de recherche va donc être de relancer les processus man-

23 quants afin de remplacer ceux qui ont disparu. Ainsi, le communicateur MPI sera à nouveau valable et le code pourra continuer à s'exécuter sans modification, de retour de la fonction de gestion des erreurs. Le relancement des processus manquants implique la sur-réservation d'un certain nombre de nœuds de calcul en «spare» afin d'avoir un espace supplémentaire pour relancer les processus de calcul dans un contexte d'exécution dans un batch scheduler sur une machine en production. Il apparaît clairement que sur les processus relancés (nouveaux arrivés), la fonction de gestion des erreurs, appelée certainement dès l'exécution du MPI_INIT, sera en charge de la reconstruction de l'application. Cette approche permet de minimiser l'impact sur l'application parallèle (pas de nouveau mot-clef MPI, pas de changement sur les algorithmes) mais demande une modification importante de l'implémentation. Elle est donc susceptible d'être lourdement modifiée en fonction des difficultés rencontrées. Toutefois, le support des processus dynamiques par les implémentations open-source devrait aider cette approche et minimiser l'impact de cette nouvelle fonctionnalité dans le code de la bibliothèque MPI. Pannes de réseau Lorsqu'un composant réseau tombe en panne, même sur une courte durée, un message peut ne pas être transmis correctement. La bibliothèque MPI peut alors dans certains cas générer une erreur fatale à cause d'un problème réseau, même intermittent («timeout» expiré par exemple). ull travaillera également sur ce point afin de permettre à la bibliothèque MPI de ré-établir les connexions réseau lors d'une panne de réseau. Deux possibilités sont envisagées : dans une infrastructure composée de machines disposant de plusieurs interfaces réseau, le basculement du trafic d'une interface à une autre ; dans une infrastructure dont les machines ne disposent que d'une interface réseau fonctionnelle, la mise en pause des communications en cours et leur retransmission lorsque l'interface réseau sera redevenue opérationnelle. Cette deuxième possibilité serait aussi à envisager dans le cas de machines disposant de plusieurs interfaces réseau, si une panne était détectée sur la dernière interface opérationnelle disponible. Ainsi, la bibliothèque MPI serait en charge de transmettre les messages quoi qu'il arrive, et réduirait ainsi le nombre de cas pour lesquels l'application avorte. Il faudra cependant notifier à l'utilisateur, via un avertissement par exemple, le fait qu'une erreur anormale a causé un ralentissement important de l'application. Le livrable final de cette tâche sera une bibliothèque MPI contenant ces améliorations (première sous-tâche). Une documentation sur l'utilisation de la bibliothèque afin de permettre la tolérance aux pannes sera fournie au préalable aux développeurs de l'application MPI afin de leur permettre l'adaptation à ces nouveaux mécanismes dans le code igdft pour validation de la bibliothèque sur une application concrète (deuxième sous-tâche).

24 Avec cette nouvelle bibliothèque, l'application sera à même de pouvoir réagir en cas de défaillance d'un nœud. Via l'utilisation de nœud redondant («spare»), il y aurait remplacement des nœuds défaillants par les nœuds redondants et reconstruction des données. Le remplacement évite une redistribution des données. Comme, dans l'application igdft, la parallélisation se fait sur les orbitales, un nœud défaillant provoquera une perte de quelques orbitales. Celles-ci peuvent être reconstruites en partant de nouvelles orbitales initiales orthonormées aux orbitales restantes et en minimisant l'énergie sans changer les autres orbitales restantes. Avec ces trois tâches, nous aurons alors un code ab initio optimisant l'utilisation de la mémoire, efficace sur des dizaines de milliers de nœuds et tolérants aux pannes MPI TÂCHE 4 : CHALLENGE APPLICATIF (RESPONSALE CEA-DIF-DPTA ET INAC) De nombreuses problématiques visant à étudier l interaction d une espèce chimique ou d une molécule avec la surface d un matériau sont d un intérêt technologique certain. Nous pouvons citer, par exemple, l interaction entre une molécule de monoxyde de carbone CO et la surface d un oxyde de ruthénium ou de cérium (application dans la conception de pot catalytiques), ou encore la dissociation d une molécule d hydrogène à la surface d un métal comme le magnésium (application au stockage d hydrogène). Le choix définitif du système qui servira d application démontrant la performance de nos implémentations se fera en tenant compte des mesures expérimentales qui seront alors disponibles. Ces problématiques constituent un réel challenge applicatif. En effet, pour étudier l interaction d une espèce chimique avec une surface, il est nécessaire de pouvoir décrire à l échelle microscopique les mécanismes s opérant à l échelle électronique. De plus, les mécanismes donnant lieu aux réactions entre molécule et surface (ad-sorption, chimie-sorption, dissociation, etc) demandent une très grande précision dans les calculs de structure électronique effectués, afin de discriminer entre des états du système molécule-surface d énergie très proche. Tant en chimie qu en physique des matériaux, les méthodes dite «de premiers principes», basées sur une résolution exacte des équations de la mécanique quantique dans le cadre de la Théorie de Fonctionnelle de la Densité (DFT), sont les outils privilégiés pour étudier ces phénomènes. Le cout de calcul prohibitif de ces méthodes limite malheureusement leurs applications à des systèmes des plus simples comme, par exemple, l interaction d une molécule avec un motif élémentaire représentatif d une surface donnée. Cette limite numérique et méthodologique freine à l heure actuelle l application à des systèmes plus étendus et donc plus proche de la réalité expérimentale. Pour progresser dans ce domaine, il est nécessaire que les codes de calcul gagne un niveau dans leurs performances, tant d un point de vue numérique scalabilité et stabilité sur un très grand nombre de cœurs que méthodologique accélération des calculs en gardant une précision maximale. Notre projet vise à lever les différents verrous ; il s inscrit dans la démarche cidessus, la tâche 1 visant à améliorer la scalabilité, la tâche 4 visant la stabilité et la tâche 2 cherchant à améliorer les algorithmes. En couplant les méthodes de type ondelettes avec une approche précise de calcul de structure électronique telle formulée dans le cadre de la méthode PAW,

25 nous espérons obtenir le meilleur compromis entre efficacité et précision numérique pour ces problèmes difficiles. Aujourd hui, avec le code AINIT (ou tout code de structure électronique utilisant une base d ondes planes), bien que disposant de la précision optimale obtenue par l approche PAW, il est très difficile de traiter ce type de système inhomogène (mélangeant des zones de vide avec des zones de forte densité électronique). A l opposé, les bases d ondelettes telles qu implémentées dans le code igdft, optimales pour ce type de situation, souffrent par ailleurs d un léger manque de précision lié à l approche des pseudopotentiels. En unifiant ces deux méthodes (PAW et ondelettes) dans une même approche numérique, il sera possible de traiter des systèmes inhomogènes plus réalistes avec la précision requise. Pour étudier l interaction entre une molécule et une surface, il est possible d utiliser divers outils : a. La relaxation d une molécule sur un certain nombre de sites prédéfinis. Dans cette approche, une molécule est placée sur un site donné et les positions des atomes sont optimisées afin d obtenir les forces d amplitude minimale. Cette approche, la plus économe, souffre toutefois de deux désavantages majeurs : le choix des sites privilégiés et l existence de minima locaux ne permettant une relaxation vers le minimal absolu. b. La méthode dite «Elastic band». La molécule est déplacée «manuellement» sur la surface selon un chemin judicieusement choisi, de manière à explorer la cartographie énergétique de la surface étudiée. Cette méthode, relativement couteuse, permet de ne trouver que les barrières de potentiel mais ne donne pas accès aux réactions correspondantes. c. La méthode de la méta-dynamique. La molécule évolue dynamiquement en explorant de manière optimale l espace des phases. Ceci est permis par l ajout de potentiel locaux judicieux choisis. Cette méthode est a priori la plus prometteuse car l espace des configurations est exploré en profondeur. Cependant, elle reste limitée actuellement à de petits systèmes car la puissance nécessaire à la résolution de la partie «structure électronique» est très importante. Une accélération de cette partie permettrait de traiter des systèmes plus réalistes. Le passage à l échelle proposé dans ce projet permettrait l application de la méta-dynamique à des systèmes plus étendus, moins uniformes et allant jusqu à présenter des défauts. Nous pourrions également envisager une simulation de dynamique moléculaire directe ou plusieurs molécules sont en interaction avec une surface plus étendue. Le type d application envisageable porterait plus précisément sur les systèmes cités en introduction de ce chapitre, avec des applications directes d un intérêt technologique certain (pots catalytiques, stockage de l hydrogène, ). Pour réaliser ces applications, nous utiliserons probablement le très grand centre de calcul (TGCC) qui sera doté d une machine pétaflopique. Ce projet permettra pour un code comme igdft de montrer la possibilité d utiliser ce surpercalculateur pour du massivement parallèle non trivial CALENDRIER DES TÂCHES, LIVRALES ET JALONS TALEAU des LIVRALES et des JALONS Tâche Intitulé et nature des livrables et des jalons Date de fourniture nombre de mois à compter Partenaire responsable du livrable/jalon

26 de T0 0. Management du projet (INAC) Diffusion des connaissances (web, articles) Gestion du développement de code Accord de consortium Points d'avancement des travaux 1. oîtes à outils pour le passage à l'échelle (ESRF) Routines de base pour le code Ordre N Répartition parallèle des calculs 2. Pseudo-potentiels transférables et doux (CEA-DIF-DPTA) Implémentation de (PAW+ondelettes) dans le code AINIT Introduction de PAW dans le code igdft Optimisation du code igdft+paw Publication scientifique de calculs PAW en ondelettes 3. Tolérance aux pannes de la bibliothèque MPI (ULL) Définition de l interface de gestion des erreurs aux développeurs MPI et spécification de la solution proposée. Développement, tests et intégration de la bibliothèque MPI «fault-tolerant» 4. Applications Définition d applications cibles (molécule sur surface) en fonction des expériences Simulations massivement parallèles et résultats des applications cibles sous forme de publications INAC ESRF INAC INAC ESRF ESRF 12 CEA-DIF-DPTA+ESRF CEA-DIF-DPTA+ESRF CEA-DIF-DPTA+INAC 36 CEA-DIF-DPTA+ESRF 12 ull 24 ull + ESRF 24 CEA-DIF-DPTA+INAC 36 CEA-DIF-DPTA +INAC+ESRF Les livrables sont donc : 1. ibliothèques de répartition de données pour régions de localisation et communications collectives optimisées associées. Une publication de méthodologie sera associée à ce travail. 2. ibliothèque de pseudopotentiels PAW directement utilisables pas d autres codes avec un article sur l implémentation en ondelettes. 3. Une bibliothèque MPI tolérante aux pannes avec optimisation des communications collectives via un choix des algorithmes. 4. Résultats et publications des applications tests avec démonstration de la possibilité d utiliser une machine de rang pétaflopique. Le diagramme de Gantt ci-dessus permet de montrer la dépendance entre les différentes tâches. La tâche 1 (boîte à outils) permettra de passer à l échelle et de fournir les éléments nécessaires pour réaliser la tâche 4 plus applicative. La tâche 2 (pseudo-potentiel) permettra une réduction de l utilisation de la mémoire ce qui sera profitable à la tâche 4 des applications. Enfin, la tâche 3 permettra d avoir une application tolérante aux pannes MPI.

27 Illustration 7: Répartition des tâches pour l'utilisation de serveurs massivement parallèles 4. STRATÉGIE DE VALORISATION DES D EXPLOITATION DES RÉSULTATS RÉSULTATS ET MODE DE PROTECTION ET Les travaux issus des quatre tâches seront publiés sous forme de publications dans des journaux à comité de lecture. Le code igdft et son intégration dans AINIT seront fournis sous licence GPL via le site du partenaire INAC et le site AINIT. La communauté AINIT regroupe plusieurs centaines d'utilisateurs, est une des plus active internationalement et est reconnue comme un modèle de développement. Elle est principalement francophone avec des collaborations actives de nombreux laboratoires français. Avoir la possibilité d'exploiter les architectures parallèles et le massivement parallèle permettra à la communauté française de revenir au premier plan de la scène du développement de codes et de méthodologies (méthodes ab initio). Ce n'est pas le code de calcul qui est directement la valeur ajoutée d'un laboratoire. Un code ab initio est long à développer, demande beaucoup d'effort qui ne peut être rentable que pour une communauté d'utilisateurs. La valeur ajoutée se trouve dans l'avancée en terme de méthodologie permettant d'appréhender de nouveaux champs de la physique du solide. C'est le cas avec les bases de fonctions en espace réel et l'approche d'ordre N. D'autre part, via l'efficacité du code en parallèle, les temps de rendus reviennent sur la journée, ce qui permet de tester rapidement des hypothèses et d'acquérir une connais-