EDITION 2009 DOCUMENT DE SOUMISSION B. REaching Petascale for advanced fluid-structure transient DYNamics

Transcription

1 Acronyme REPDYN Titre du projet en français Titre du projet en anglais Axe(s) thématique(s) Type de recherche Passage à l'échelle pour des calculs avancés en dynamique transitoire des fluides et des structures REaching Petascale for advanced fluid-structure transient DYNamics Recherche Fondamentale Recherche Industrielle Développement Expérimental Aide totale demandée Durée du projet 36 mois 1. CONTEXTE ET POSITIONNEMENT DU PROJET Contexte et enjeux économiques et sociétaux Positionnement du projet DESCRIPTION SCIENTIFIQUE ET TECHNIQUE État de l'art Objectifs et caractère ambitieux/novateur du projet PROGRAMME SCIENTIFIQUE ET TECHNIQUE, ORGANISATION DU PROJET Programme scientifique et structuration du projet Management du projet Description des travaux par tâche Tâche 1 : Passage à l'échelle pour des calculs de grande taille en dynamique des structures et en interaction fluide-structure Tâche 2 : Couplage efficace de formulations différentes (continues, particulaires, discrètes) et passage à l'échelle Tâche 3 : Extension du formalisme parallèle vers les architectures de pointes : parallélisme multi-niveaux, exploitation des GPUs Tâche transverse : intégration dans la plateforme SALOME et gestion des grands volumes de données en entrée et en sortie (CEA + EDF) 21 1/42

2 3.3.5 Annexe : description des cas de simulation envisages pour l'evaluation des ameliorations apportees à EUROPLEXUS Calendrier des tâches, livrables et jalons STRATEGIE DE VALORISATION DES RESULTATS ET MODE DE PROTECTION ET D EXPLOITATION DES RESULTATS ORGANISATION DU PARTENARIAT Description, adéquation et complémentarité des partenaires Description des partenaires Pertinence du partenariat Complémentarité des partenaires Qualification du coordinateur du projet JUSTIFICATION SCIENTIFIQUE DES MOYENS DEMANDES Partenaire 1 : CEA Partenaire 2 : EDF Partenaire 3 : LaMSID Partenaire 4 : ONERA Partenaire 5 : INRIA Partenaire 6 : LaMCoS ANNEXES Références bibliographiques CONTEXTE ET POSITIONNEMENT DU PROJET La simulation numérique des situations accidentelles, telles que les accidents dans les réacteurs nucléaires ou les impacts de volatiles ou de glace sur le fuselage des engins aéronautiques, nécessite une puissance de calcul considérable pour pouvoir effectuer des prédictions réalistes de l évolution rapide de phénomènes physiques complexes sur des échelles de temps et d espace très différentes conjuguant des effets locaux et globaux. Il s agit de déterminer les nouvelles pratiques ou méthodes à même d'évaluer et de maîtriser les risques, pour relever les défis qui se posent dès aujourd hui. Les résultats du projet concernent l'ensemble des acteurs socio-économiques : industriels, investisseurs, ingénieurs, consultants, spécialistes de l'analyse de risque et de la sûreté de fonctionnement, autorités de tutelle, universitaires, chercheurs Ces derniers pourront utiliser les nouvelles approches proposées pour faire face à leurs enjeux, dans les principaux secteurs d activités : aérospatial, énergie, environnement, événements naturels et extrêmes, génie civil, mécanique... Le code de dynamique rapide EUROPLEXUS [R0], co-développé dans le cadre d un consortium de partenaires industriels et de recherche (CEA, EDF, ONERA, SAMTECH) et 2/42

3 utilisé pour des études de sûreté par AREVA et IRSN, permet de répondre aux besoins de calcul des conséquences des situations accidentelles, en proposant un grand nombre de modélisations physiques et numériques exclusives, notamment dans le domaine de l'interaction fluide-structure, qui le situent au meilleur niveau mondial et le distinguent de ses concurrents du marché. Récemment, de nouvelles fonctionnalités ont été introduites dans le logiciel, lui permettant de simuler des problématiques locales très complexes, telles que la perforation du béton armé par un projectile ou l'écoulement d'un fluide en dehors d'un réservoir se fragmentant sous impact. Ces fonctionnalités sont caractérisées par la cohabitation de formulations diverses au sein d'un même modèle, par exemple des éléments discrets et des éléments finis, ou des particules SPH et des éléments finis, ainsi que par la taille des jeux de données permettant de produire des calculs d'une précision satisfaisante, atteignant plusieurs millions d'entités à calculer sur plusieurs dizaines de milliers de cycles en temps. Le passage à l'échelle d'europlexus sur les supercalculateurs massivement parallèles devient ainsi un enjeu majeur pour l'avenir du logiciel et de la communauté de ses utilisateurs. EUROPLEXUS est doté dès à présent d'une structuration parallèle permettant son exécution sur des clusters à mémoires distribuées. L'objectif du présent projet est la levée des verrous algorithmiques empêchant le code de tirer parti efficacement des architectures proposant plusieurs centaines, voire plusieurs milliers d'unités de calcul. Il s'agit d'élaborer des stratégies de calculs innovantes et robustes pour assurer l'équilibrage de la charge en toutes circonstances, en particulier pour des simulations fortement non-linéaires, ce qui représente un défi d'envergure pour des codes proposant une telle diversité de formulation et un tel degré de couplage entre elles. Ceci représente clairement un domaine de recherche pour la communauté du calcul mécanique. Il est également prévu d'étendre les travaux de recherche algorithmique vers les architectures les plus récentes, dans une direction complémentaire au formalisme existant. Sont ainsi particulièrement concernées les machines composées d'un assemblage de nœuds multi-cœurs et dotés en sus éventuellement de co-processeurs de type GPU à même d'accélérer significativement le traitement de certaines tâches dédiées. Le contenu du projet le place naturellement dans le cadre de la recherche industrielle. L'extension du formalisme parallèle aux architectures de pointe contient toutefois des aspects de recherche amont, avec la définition de nouveaux algorithmes et méthodes qui pourront enrichir la communauté du calcul intensif au-delà de leur mise en œuvre applicative dans EUROPLEXUS. Le projet REPDYN fait suite au projet PADRE, proposé lors de l'appel à projets COSINUS 2008 et placé en deuxième position sur la liste complémentaire, sans être finalement financé. L un des changements importants par rapport à la proposition 2008 est la participation d équipes de l INRIA, spécialistes du calcul parallèle. 3/42

4 1.1. CONTEXTE ET ENJEUX ECONOMIQUES ET SOCIETAUX EUROPLEXUS est un code de simulation en dynamique rapide, propriété conjointe du CEA et du Centre Commun de Recherche (CCR) de la Commission Européenne, situé à Ispra (Italie). Il permet la réalisation d'études avancées en calculs de structure et en contexte d'interaction fluide-structure. Son développement est piloté dans le cadre d'un consortium créé en 2000, impliquant les deux propriétaires, et d'autres organismes, nommés partenaires majeurs. Ces partenaires majeurs ont accès à l'intégralité du code et peuvent être des établissements à vocation industrielle, à savoir EDF, ou à vocation de recherche, à savoir l'onera. Un éditeur de logiciel, Samtech SA, leader européen des éditeurs de logiciels généralistes, est également impliqué comme partenaire majeur dans le consortium en tant que dépositaire et distributeur d'une version commerciale d'europlexus. Une problématique liée aux performances du programme en termes de temps CPU a clairement été identifiée au sein du consortium au cours de ces dernières années, en l'absence d'un parallélisme efficace sur machines à mémoire distribuée avant Quantitativement, un facteur 10 en défaveur d'europlexus par rapport à la version parallèle de LS-DYNA a été mesuré en 2006 sur un cas de calcul de structure correspondant à une perte d'aube sur un turbopropulseur aéronautique. Cela a conduit les opérationnels en charge de ce calcul vers l'utilisation de LS-DYNA, malgré les incertitudes liées au traitement des contacts. Dans le même ordre d'idée, réaliser une campagne d'études paramétriques pour des modèles d'impact de projectile sur un bâtiment réacteur, demandée à EDF, est encore actuellement trop consommateur numériquement pour être mis en œuvre. Ceci a motivé le développement à partir de 2007 d'un algorithme de résolution destiné aux clusters à mémoire distribuée, dont la première version beta sortira au second semestre Ceci permettra de replacer EUROPLEXUS dans un domaine de performances compatibles avec les exigences industrielles actuelles. Cependant, l'effort doit être accentué pour réaliser le passage à l'échelle d'europlexus et lui permettre d'appréhender les simulations du futur. Celles-ci seront caractérisées par une modélisation spatiale de plus en plus fine, faisant intervenir plusieurs millions (voire dizaines de millions) de mailles ou de particules (voir la suite de ce paragraphe pour les modélisations envisagées), sur des échelles de temps de plus en plus longues, pour parvenir par exemple à suivre de manière réaliste la ruine complète d'une structure consécutive à un transitoire accidentel brutal. Ainsi, la simulation prédictive de la rupture et de la fragmentation multiple sous impact requiert une représentation d'une extrême précision pour reproduire la complexité physique des phénomènes locaux, aujourd'hui hors de portée des codes actuels. Ceci ne pourra être réalisé qu'en utilisant de manière intensive et efficace les dernières générations de calculateurs, tout en conservant la capacité de traiter rigoureusement les équations de la physique et de produire une solution de qualité. En plus de leur taille, les modèles du futur feront cohabiter des modélisations de nature très différentes, pour représenter des problématiques complexes telles que l'écoulement d'un fluide à l'extérieur d'un réservoir fragmenté sous impact, avec des particules pour 4/42

5 représenter le fluide, des particules d'une autre nature ou des éléments finis de coque pour représenter le réservoir et éventuellement des éléments finis massifs ou des éléments discrets pour représenter la cible impactée par le réservoir, susceptible également de se perforer. Cette diversité, associée au traitement nécessaire des connexions entre les formulations, engendre une demande significative en stratégies innovantes d algorithmique parallèle et d équilibrage de la charge en parallèle, qui représente le point clé pour tirer parti des supercalculateurs massivement parallèles. L'objectif du présent projet, regroupant le CEA, l'onera, EDF et le laboratoire associé LaMSID 1, l'inria, via le LIG 2, et le laboratoire LaMCoS 3 de l'insa Lyon, est donc de lever les verrous algorithmiques et techniques pour permettre le passage à l'échelle d'europlexus. Les architectures visées sont d'une part les clusters massivement parallèles, pouvant faire intervenir plusieurs milliers de processeurs, tels que les machines Platine au CCRT ou BlueGene, propriété d'edf R&D. D'autre part, on cherchera à faire évoluer l'algorithme de résolution du code pour tirer parti, en complément de l'approche à mémoire distribuée, des spécificités des nœuds de calcul modernes, se présentant comme des machines multi-cœurs de taille croissante et dotés éventuellement de co-processeurs de type GPU offrant une puissance de calcul considérable pour certaines tâches écrites en conséquence. Cette orientation vers les architectures les plus récentes ouvre un important spectre de recherche et développement, aussi bien théorique que pratique, dont l'envergure dépasse le cadre du seul code EUROPLEXUS et qui étend les retombées du projet à l'échelle de la communauté du calcul intensif pour des systèmes fortement couplés. Il est également fondamental de souligner qu'europlexus présente des spécificités fortes au niveau de son algorithme de résolution explicite par rapport aux codes concurrents, par exemple LS-DYNA ou RADIOSS. Le passage à l'échelle du programme ne doit pas se faire au détriment de ces spécificités, ce qui introduit par conséquent une importante part d'innovation. En particulier, les développements proposés prolongent une série d'optimisations effectuées sur la version séquentielle du programme dont les bénéfices doivent être valorisés par les avancées apportées par le projet dans le cadre du parallélisme intensif. Par ailleurs, une des richesses du système de pilotage de l'évolution d'europlexus par l'intermédiaire du consortium précité est la pluridisciplinarité des acteurs impliqués, notamment en ce qui concerne les domaines scientifiques d'utilisation du code. Ces domaines s'étendent des calculs de structures avec de multiples surfaces de contact, comme les chutes de colis de transport de matières radioactives pour le CEA, aux calculs d'écoulements complexes en interaction fluide-structure pour reproduire les accidents sur le 1 Laboratoire de Mécanique des Structures Industrielles Durables, UMR CNRS EDF Laboratoire d'informatique de Grenoble, UMR Laboratoire de Mécanique des Contacts et des Structures, UMR CNRS INSA Lyon /42

6 circuit primaire d'un réacteur nucléaire pour EDF, en passant par des calculs de recherche sur des impacts balistiques sur un réservoir pour l'onera. Le projet proposé s'appuie donc sur le large potentiel d'application proposé par les différents partenaires pour définir un programme de développement validé au fur et à mesure par des mesures de performances quantitatives. A cette fin, des tests seront mis en œuvre sur des modèles scientifiquement significatifs et soigneusement sélectionnés pour valider les étapes majeures du développement. En matière de résultats attendus pour le projet, deux directions sont à envisager : une direction théorique, avec la production d'algorithmes novateurs validés aussi souvent que possible par des publications dans des revues à comité de lecture, une direction pratique, avec l'analyse rigoureuse et quantitative des performances parallèles d'europlexus sur des cas significatifs. Enfin, à l'initiative conjointe d'edf et du CEA, EUROPLEXUS est en cours d'intégration dans la plateforme SALOME 4, plateforme de développement générique de pré- et post-traitement et de couplage de codes pour la simulation. Le présent projet bénéficie dans ce cadre du soutien du Pôle de Compétitivité System@tic, porteur de la plateforme. L'environnement SALOME s'oriente logiquement vers les moyens de calcul parallèles. A ce titre, EUROPLEXUS supporte également l'outil de visualisation parallèle PARAVIEW 5, pour que les capacités d'exploitation des résultats du code suivent de manière cohérente ses capacités de résolution que ce projet propose d'étendre POSITIONNEMENT DU PROJET EUROPLEXUS est un outil de simulation à la structure très originale dans la communauté du calcul numérique en mécanique des structures et des fluides. Son développement est ouvert et permet la collaboration d'acteurs variés, prenant une place majeure dans l'industrie et la recherche française. Ce projet permet de contribuer à sa valorisation et sa pérennisation. De plus, le code se positionne comme un outil privilégié pour l'appréhension de problématiques complexes et novatrices dans le domaine de la dynamique transitoire des structures et des systèmes faisant intervenir l'interaction fluide-structure, par la flexibilité de développement qu'il offre aux partenaires du consortium, à la différence de codes du commerce. La composante Recherche & Développement du projet EUROPLEXUS fait de l'innovation un moteur majeur du développement du code, et le passage à l'échelle proposé par ce projet sur les moyens de calcul actuels et à venir ne fait pas exception. 4 SALOME 2, projet RNTL open-source labellisé par le ministère de l'economie, des Finances et de l'industrie 5 PARAVIEW, outil de visualisation open-source multi-plateformes en environnement parallèle à mémoire distribué - 6/42

7 Par ailleurs, le projet repose, tout en la renforçant, sur une structure collaborative riche et fonctionnelle grâce au consortium en place depuis 2000, auquel s'ajoute le savoir-faire important de l'inria en matière d'algorithmique parallèle, ainsi que son potentiel d'innovation en direction des nouvelles architectures. Dans le cadre de l'appel à projet COSINUS, le projet REPDYN s'inscrit dans l'axe thématique 1, concernant le Calcul intensif et la Simulation, dans la catégorie 'Grands défis, passage à l'échelle pour les applications'. Les méthodes numériques concernées sont notamment : la gestion de modèles comprenant des modélisations continues, élémentaires ou particulaires, et discrètes en interaction, la prise en compte d'échelles de temps et d'espace très différentes au sein d'une même simulation, la gestion des connexions entre les différentes formulations et des liaisons cinématiques (contact unilatéral, interaction fluide-structure) à l'aide de multiplicateurs de Lagrange pour une précision maximale. En ce qui concerne la pertinence du projet par rapport aux projets concurrents, il est nécessaire d'insister sur la spécificité du développement parallèle pour un code tel qu'europlexus, mettant en jeu au sein d'une même simulation de nombreuses modélisations fluide et structures différentes, avec de multiples couplages cinématiques entre elles. Une telle richesse de modélisations fait que l'obtention d'une extensibilité compatible avec le calcul massivement parallèle pour un code de dynamique rapide dédié à la simulation des situations accidentelles, pour des problèmes couplées impliquant fluide et structure, est un domaine encore ouvert qui présente des difficultés que de nombreux programmes de simulation scientifique mono-modélisation ne rencontrent pas. En particulier, et sans déprécier les qualités des solveurs parallèles proposés par ces programmes, les grands codes de mécanique des fluides ne présentent pas la même diversité d'éléments, ni le même degré de couplage cinématique. La décomposition de domaine est alors plus aisée à réaliser et les liens entre les process restent locaux, là où des liaisons non-permanentes telles que les surfaces de contact, primordiales en dynamique rapide, conduisent à des liens au niveau global, bien plus difficiles à gérer en parallèle. Cette situation est encore plus avérée pour un code d'analyse statistique par Monte Carlo, qui correspond à une multitude de calculs découplés, naturellement compatible avec les architectures à grand nombre de CPU, pour ne parler que de programmes utilisés dans la communauté scientifique concernant les partenaires du projet REPDYN. Le présent projet n'est à ce titre en aucun cas un programme de développement sur des bases déjà existantes dans d'autres logiciels. Toutes les tâches de mise au point et de développement d'algorithmes parallèles citées au paragraphe suivant présentent un fort contenu d'innovation pour lever les verrous de l'exécution parallèle robuste et de l'équilibrage des charges empêchant aujourd'hui le véritable passage à l'échelle pour un code de la nature d'europlexus. 7/42

8 Précisions enfin qu'europlexus est un outil identifié au niveau européen, dans la mesure où le code est la copropriété du CEA et de la Commission Européenne, par l'intermédiaire du Centre Commun de Recherche d'ispra (Italie). 2. DESCRIPTION SCIENTIFIQUE ET TECHNIQUE 2.1. ÉTAT DE L'ART EUROPLEXUS s'appuie majoritairement sur la méthode des éléments finis pour discrétiser l'espace. Il comprend également des modélisations particulières telles que les volumes finis ou des méthodes sans maillage (particules SPH, éléments discrets), mieux adaptées au traitement de certains phénomènes spécifiques, comme la rupture et la multi-fragmentation. Au niveau de l'intégration temporelle, on sépare classiquement les grands codes de dynamique en deux catégories : les codes dits implicites et les codes dits explicites. Dans les deux cas, le temps continu est remplacé par une série de pas discrets. Pour un code implicite, la configuration du modèle au pas de temps courant est une inconnue, alors que pour un code explicite, il s'agit d'une donnée déduite des informations disponibles au pas de temps précédent. Classiquement, l'intégration implicite s'accompagne d'une résolution matricielle complexe, au bénéfice d'un choix arbitraire de la taille des pas de temps à utiliser. Au contraire, l'intégration explicite ne requiert aucune matrice, mais la prédiction explicite du déplacement conduit à une limitation sur la taille autorisée pour le pas de temps, sous peine d'une divergence des calculs par accumulation des erreurs de troncature. Le pas limite est estimé à partir de la taille des éléments et de la vitesse du son dans le matériau les composant. En dynamique rapide, le chargement et les conditions requièrent une finesse de description temporelle souvent comparable avec le pas maximum autorisé pour l'intégration. L'approche explicite est alors choisie, comme c'est le cas dans EUROPLEXUS. La structure vectorielle du problème à traiter est une caractéristique fondamentale à prendre en compte au moment de définir une stratégie parallèle. En effet, en l'absence de résolution matricielle d'ensemble, la majorité du temps nécessaire à la résolution est passé dans le calcul des forces internes dans les éléments à la fin de chaque pas de temps. Le point de départ pour une résolution parallèle consiste donc toujours à repartir les différents éléments sur les différents processeurs disponibles. Cette répartition peut être automatique, à la discrétion du compilateur, dans le cas d'un parallélisme à mémoire partagée, le modèle restant stocké en intégralité dans la mémoire. Au contraire, dans le cas d'un parallélisme à mémoire distribuée, le modèle doit être scindé en plusieurs sous-domaines, chacun étant affecté à un process. Il faut alors gérer les communications aux interfaces entre les sous-domaines. La décomposition du modèle initial en sous-domaines est de préférence effectuée par un procédé de découpage automatique avec pondération des éléments, en fonction de leur formulation ou de leur matériau, pour parvenir à un équilibrage satisfaisant de la charge entre les process. L'approche parallèle avec 8/42

9 décomposition de domaine automatique est utilisée dans les codes commerciaux les plus répandus, tels que LS-DYNA [R1] ou RADIOSS [R2]. Contrairement aux méthodes numériques dont le coût de résolution est concentré au niveau d'une inversion matricielle, il est moins aisé de définir une approche parallèle générale et extensible en dynamique explicite. Il faut prendre en compte les grandes variabilités dans la géométrie de la structure en cours de calcul, ce qui modifie notamment le coût de traitement des éléments finis, ainsi que la localisation et le nombre des liaisons de contact fréquemment utilisées. Parvenir dans ce contexte à une extensibilité permettant de profiter judicieusement des supercalculateurs à plusieurs milliers de processeurs représente un défi théorique majeur pour les codes de cette nature, qu'aucun acteur du marché n'a encore relevé. Nous pouvons à présent introduire une spécificité forte d'europlexus par rapport à ses principaux concurrents. Elle concerne le traitement des liaisons cinématiques, comme les liaisons de contact unilatéral évoquées dans le paragraphe précédent ou les liaisons pour l'interaction fluide-structure. Dans les codes précités, pour des raisons d'efficacité de résolution, ces liaisons sont traitées de manière simplifiée, soit par des méthodes de pénalisation, soit par des techniques maîtres-esclaves qui interdisent le couplage des liaisons entre elles. Ceci conduit à des limitations dans la modélisation ou à l'emploi de paramètres arbitraires difficiles à caler pour l'utilisateur. Au contraire, dans EUROPLEXUS, toutes les liaisons cinématiques, ainsi que les liaisons entre sous-domaines, sont traitées de manière exacte et couplée par l'intermédiaire de multiplicateurs de Lagrange [R3]. Le calcul des forces de liaison représente alors un problème additionnel qui demande une stratégie parallèle dédiée, en particulier pour les liaisons impliquant des nœuds répartis dans des process différents. Une deuxième spécificité majeure d'europlexus concerne la gestion de la limitation du pas de temps en explicite. Classiquement, la dimension du pas de temps est identique pour la totalité du modèle et elle est fixée par le plus petit élément. Ceci conduit fréquemment à un grand nombre de pas à effectuer pour parvenir au temps final de la simulation, avec de très nombreux éléments intégrés avec un pas bien inférieur à leur pas optimal. Le code propose alors une méthode originale de partitionnement spatial du pas de temps sur les éléments [R4] permettant d'intégrer chaque élément individuellement avec un pas proche de son pas optimal, conduisant à des gains substantiels en matière de temps de résolution en séquentiel. Cette approche doit être conservée à l'intérieur des sous-domaines dans le cadre parallèle avec mémoire distribuée. Elle doit également être prise en compte au moment de la décomposition en sous-domaines au niveau de la recherche d'un équilibre des charges optimal. Le traitement des liaisons cinématiques gérant la nature asynchrone de l'intégration temporelle sur les éléments est fonctionnelle dans la version actuelle du programme. Enfin, une troisième caractéristique définissant l'identité propre d'europlexus est son ouverture sur les méthodes sans maillage, aussi couramment appelées méthodes particulaires, pour des calculs complexes impliquant des jets fluides et des structures subissant de multiples fragmentations. Sont en particulier concernées les approches SPH 9/42

10 (Smooth Particle Hydrodynamics), aussi bien pour les fluides que pour les structures, et Eléments Discrets, pour la fracturation des matériaux de type béton armé sous impact. Au niveau de sa structure, EUROPLEXUS gère de longue date des calculs avec décomposition de domaines. Cette approche a tout d'abord été développée dans un cadre séquentiel pour permettre d'adopter des traitements différents d'un sous-domaine à l'autre (pas de temps différents [R5], résolution locale sur base modale, éventuellement en présence de rotations d'ensemble non-linéaires de grande amplitude [R6][R7]), toujours pour réduire le temps de résolution. La structure de données créée à cet effet a ensuite été réutilisée et enrichie pour la mise en œuvre de la version parallèle du programme pour machines à mémoire distribuée. Sa nature dynamique et évolutive permettra d'adapter aisément le code aux nouvelles méthodes de résolution parallèle prévue dans le projet REPDYN. Enfin, la réalisation de simulations à grande échelle avec des modèles particulaires se heurte à l absence d outil de génération de maillage approprié. Le support géométrique des méthodes particulaires est différent des maillages classiques utilisés pour des calculs par éléments finis ou volumes finis. Il se présente sous forme d une collection, ou un empilement, de particules rigides de forme géométrique simple (sphères de diamètre variable) assimilables à des éléments ponctuels sans connectivité mais avec un rayon d interaction donné. La fabrication de tels supports nécessite des algorithmes spécifiques qui sont absents des outils de maillage standard. Actuellement, les particules SPH pour les calculs EUROPLEXUS sont générées par des procédures semi-automatiques fastidieuses, alors que les supports nécessaires au éléments discrets sont fabriqués à l aide d une procédure complexe en MATLAB écrite par les chercheurs de l'institut Grenoble INP [R8]. EDF dispose d une version universitaire séquentielle non optimisée de cet outil et en a déjà préparé une version MATLAB auto-portante (évitant toute intervention manuelle), mais ses performances numériques empêchent le passage à des modèles de taille industrielle. Pour arriver à élaborer des modèles contenant plusieurs millions de particules pour des structures réelles, il est nécessaire de développer une version parallèle robuste de l'algorithme originel OBJECTIFS ET CARACTERE AMBITIEUX/NOVATEUR DU PROJET Conformément au paragraphe précédent, le contenu novateur du présent projet comporte plusieurs volets. Un premier volet regroupe les besoins de définition d'algorithmes parallèles innovants, selon deux directions, à partir d'une approche parallèle classique fondée sur une décomposition de domaine : le traitement parallèle de modèles de grande taille faisant cohabiter des modélisations différentes, aussi bien continues que discrètes. La problématique repose sur la gestion des couplages entre les formulations et sur l'équilibrage de la charge dans une situation de forte hétérogénéité des coûts élémentaires, 10/42

11 le traitement par multiplicateurs de Lagrange des liaisons cinématiques faisant intervenir des degrés de liberté répartis sur des process différents. Ces liaisons regroupent les couplages entre formulations évoquées ci-dessus, ainsi que des conditions additionnelles, comme le contact unilatéral entre éléments de structure contenus dans le modèle. Il s'agit de proposer une stratégie efficace et robuste d'identification des couplages éventuels entre les liaisons, puis une méthode de calcul des forces de liaisons couplées préservant l'extensibilité du solveur parallèle. Le second volet concerne l'extension du formalisme parallèle aux architectures de pointe. Plusieurs niveaux de parallélisme interviennent alors dans la résolution, avec un traitement classique entre les sous-domaines distribués sur les nœuds de clusters, un traitement local capable de tirer partie des multiples cœurs disponibles et finalement un traitement data parallèle à grain très fin adapté aux co-processeurs de type GPU [R9][R10][R11][R12][R13]. Les moyens de tirer profit des capacités locales des nœuds varieront probablement en fonction des formulations prises en compte par le programme, par exemple entre les éléments finis et les approches sans maillages (SPH ou éléments discrets). Ceci introduit à nouveau un besoin pour une série d'algorithmes performants. La question de l'équilibrage de la charge, éventuellement dynamique, aussi bien au niveau local que global entre les sousdomaines, est également encore un point-clé à ce niveau. Seules des solutions performantes apportées aux deux gammes de problèmes précitées permettront de tirer parti efficacement de machines de calcul à plusieurs centaines, voire milliers, d'unités de calcul. L'ambition du projet est de démontrer sur un cas représentatif un bénéfice significatif, en termes de speed-up absolu et d'extensibilité, obtenu pour EUROPLEXUS grâce à ce type d'architecture. Comme annoncé au 2.1, on sépare les objectifs du projet en deux classes. 1. La première classe concerne la qualité théorique des algorithmes parallèles produits dans le cadre du projet, et testés autant que possible sur des cas de grande taille avec EUROPLEXUS. Le premier critère d'évaluation logique de cette qualité est l'ensemble des publications qui seront réalisées sur ces algorithmes, aussi bien au niveau de leur nombre que de l'envergure des revues scientifiques dans lesquelles elles paraitront. Une seconde mesure de qualité est une évaluation quantitative de l'extensibilité obtenue lors du passage à l'échelle du code mettant en œuvre ces algorithmes. Cette extensibilité pourra être mesurée sur une ou plusieurs applications tests dans les phases de mise au point des méthodes. Les tests effectués avec une version d'europlexus dotée des nouveaux algorithmes dans leur version finalisée sur des exemples de taille industrielle seront considérés avec un intérêt majoré. 11/42

12 En dehors des mesures de qualité du parallélisme, il faut également souligner que le projet doit fournir une base de résultats permettant de délimiter clairement le domaine de performance du code et ainsi d'orienter judicieusement les utilisateurs et les développeurs après l'échéance du projet. 2. La seconde classe de produits du projet concerne la méthodologie de mise en œuvre pratique d'europlexus sur les architectures de pointe pour le calcul intensif. Elle se compose d'un retour d'expérience détaillé impliquant des cas significatifs au niveau des besoins des partenaires. Cela permettra d'éclairer durablement les choix à venir en matière de développement. De plus, un examen des moyens de génération de maillage, de mise en données et de gestion des sorties parallèles, avec potentiellement de grands volumes de données, sera proposé, en lien avec la plateforme SALOME. Notamment, l ambition du projet REPDYN est de développer et d intégrer dans la plate-forme SALOME une version parallèle en C/C++ d un algorithme de génération de maillage pour éléments discrets à partir d une version universitaire en MATLAB. 3. PROGRAMME SCIENTIFIQUE ET TECHNIQUE, ORGANISATION DU PROJET 3.1. PROGRAMME SCIENTIFIQUE ET STRUCTURATION DU PROJET Les contributions attendues des partenaires sont orientées selon deux axes de travail complémentaires : 1. Axe D : Définition et développement des algorithmes parallèles. a. Mise au point de la méthode de résolution de l'équilibre dynamique à chaque pas de temps de la simulation et de la stratégie d'équilibrage associée aux différentes modélisations traitées en parallèle dans le code, b. Activité de développement des fonctionnalités de résolution parallèle et de décomposition de domaine pondérée dans le code, c. Elaboration d une version parallèle de l'outil de génération des éléments discrets. 2. Axe E : Activité d'évaluation des performances et d'identification des faiblesses résiduelles du programme sur des cas de calcul représentatifs, correspondant aux besoins applicatifs des partenaires. La répartition des tâches suivant les deux axes proposés permet de tirer un profit maximal de la richesse du consortium et des spécificités des partenaires : les compétences en matière de développement parallèle de l'équipe EUROPLEXUS du CEA, propriétaire du code, et de l'inria, expert en algorithmique parallèle et porteur de nombreuses activités de recherche en optimisation pour les architectures 12/42

13 de pointe, sont mises à profit pour les tâches de mise au point de stratégies de calcul et de programmation, de même que les ressources de recherche au sujet des méthodes sans maillage disponibles au LaMCoS et à l'onera, dans le temps prévu pour le projet, les partenaires, industriel (EDF) et recherche (CEA, ONERA), fournissent des modèles représentatifs des problématiques complexes qu'ils sont amenés à traiter, et apportent leur compétence en matière de modélisation et de mise en œuvre du code. En tant que partenaires majeurs dans le consortium EUROPLEXUS disposant d'un accès complet au code source du programme, ils disposent également d'un recul appréciable en matière de développement et sont ainsi à même de faire remonter des observations pertinentes sur d'éventuels dysfonctionnements ou défauts d'optimisation dans l'algorithme du programme. Les deux axes de travail sont ensuite combinés au sein de trois tâches principales (cf. Figure 1). 1. Passage à l'échelle pour des calculs de grande taille en dynamique des structures et en interaction fluide-structure. 2. Couplage efficace de formulations différentes (continues, particulaires, discrètes) et passage à l'échelle. 3. Extension du formalisme parallèle vers les architectures de pointes : parallélisme multi-niveaux, exploitation des GPUs. A ces trois axes principaux s'ajoute une tâche transverse, intitulée : intégration dans la plateforme SALOME, génération efficace des modèles et gestion des grands volumes de données en entrée et en sortie. La tâche 1 s'appuie sur les fonctionnalités parallèles existantes d'europlexus pour identifier dans un premier temps par l'expérience numérique les freins au passage à l'échelle sur les clusters massivement parallèles : gestion de l'équilibrage de la charge, optimisation du traitement parallèle des liaisons cinématiques par multiplicateurs de Lagrange. La tâche 2 comporte initialement une tache de développement de nouveaux couplages entre formulations et parallélisation, qui peut être menée simultanément avec les travaux algorithmiques de la tâche 1. Le passage à échelle pour les modèles exploitant ces couplages tirera ensuite profit, en les adaptant, des algorithmes et méthodes proposés en tâche 1. La tâche 3 propose tout d'abord un volet de recherche avancée en méthodes parallèles multiniveaux orientées vers les architectures innovantes, caractérisées par des nœuds multi-cœurs, équipés potentiellement de GPUs. Les concepts mis au point seront ensuite intégrés à EUROPLEXUS et testés sur les modèles mis en œuvre dans les tâches 1 et 2. Dans le cadre de la tâche transverse, il s agit notamment de développer une version parallèle en C/C++ de l algorithme de fabrication de support géométrique pour éléments discrets et de l industrialiser en intégrant dans la plate-forme SALOME. Par ailleurs SALOME sera utilisée 13/42

14 comme plate-forme d accueil pour la mise en données et le post-traitement des différentes simulations prévues dans le cadre de REPDYN et décrites dans l annexe (3.3.5). Tâche 1 Tâche 2 Tâche 3 Evaluation version parallèle courante Développements pour passage à l'échelle Validation sur tests industriels Nouveaux couplages en parallèle Passage à l'échelle pour les nouvelles approches Validation sur tests industriels Nouveaux algorithmes parallèles multiniveaux Intégration dans EUROPLEXUS Reprise des tests des tâches 1 & 2 Gestion de la mise en données et de l'exploitation des résultats via la plateforme SALOME Tâche transverse Fig. 1 : Structure du projet REPDYN 3.2. MANAGEMENT DU PROJET Le code EUROPLEXUS est né en 2000 de la fusion entre les codes PLEXUS du CEA et PLEXIS-3C du CCR Ispra, après plus d'une décennie de développement conjoint des deux programmes. Son développement et son exploitation ont alors été confiés à un consortium impliquant les deux propriétaires et d'autres organismes, nommés partenaires majeurs. Ces derniers ont un accès complet au code source du programme et participent au processus de développement, via un atelier logiciel performant assurant la bonne collaboration de tous les intervenants. Le consortium EUROPLEXUS est doté d'un Comité Technique se réunissant deux fois par an pour assurer le suivi des projets de développements et des études en cours. Les partenaires industriels du présent projet appartiennent tous au consortium EUROPLEXUS. Le pilotage du projet bénéficie donc naturellement des procédures existantes pour la collaboration entre les équipes. Les différents interlocuteurs pour chaque équipe sont clairement identifiés, les relations sont stables et régulières. Au niveau technique, les partenaires impliqués dans les activités d'étude disposent à chaque instant, via un système 14/42

15 de sites miroir 6, de la dernière version du programme pour pouvoir suivre l'évolution des fonctionnalités. Les partenaires concernés par les tâches de programmation profitent également de la gestion de configuration et de co-développement avancée proposée par l'atelier. En ce qui concerne les partenaires INRIA et LaMCoS, ne disposant pas d'un site miroir, un site de développement sera installé dans les laboratoires concernés, selon une procédure déjà définie et fonctionnelle dans le cas du LaMCoS. Le site de développement propose un accès au code source limité au domaine de développement considéré, ainsi que toutes les procédures de compilation et d'édition de liens permettant de construire une version locale du programme. En ce qui concerne le pilotage proprement dit du projet REPDYN, le suivi sera réalisé par l'équipe de développement du CEA. Elle assurera la centralisation des informations sur l'avancement des tâches des différentes équipes, dans le cadre des réunions programmées du Comité Technique du consortium EUROPLEXUS, réunissant CEA, EDF et ONERA, et auxquelles les partenaires INRIA et LaMCoS seront invités. Ces réunions seront le lieu privilégié pour les discussions techniques et les décisions relatives à d'éventuelles difficultés. Par ailleurs, l'équipe pilote du CEA organisera naturellement des réunions supplémentaires, entre tout ou partie des partenaires, si le besoin s'en fait sentir, notamment dans le cadre de la collaboration technique à un niveau de détail incompatible avec les réunions du Comité. Il est également judicieux de souligner que le LaMCoS collabore de longue date avec le consortium EUROPLEXUS par l'intermédiaire de nombreuses thèses et que l'inria, par l'intermédiaire du LIG, est impliqué dans le projet ANR VULCAIN, auquel collabore le CEA et l'équipe d'edf R&D associée à EUROPLEXUS. Dans le cadre de VULCAIN, l INRIA travaille à la parallélisation, notamment sur GPU, d un code de mécanique granulaire et à son couplage avec EUROPLEXUS. Les tests de passage à l'échelle se feront sur les machines à grand nombre de processeurs du CCRT ou d'edf (BlueGene). Pour les développements orientés vers les architectures de pointe, l'inria dispose d'un parc de machines approprié et peut accéder, comme le CEA, aux ressources du CCRT. Le diagramme suivant récapitule l'implication des partenaires dans les différentes tâches (cf. 3.3) : 6 Site miroir : Le code source original du code EUROPLEXUS se trouve au CEA sur un site appelé Site Central. Une copie exacte de ce site est installée en local au CCR Ispra et chez chaque partenaire majeur. A chaque nouveau développement, le code source de référence sur le Site Central est soumis à une évolution, puis celle-ci est immédiatement et automatiquement reportée sur tous les sites miroir. Tous les sites testent individuellement, sur leur machine locale, la conformité du programme à partir de tests de non-régression pour identifier toute anomalie, et remontent leur diagnostic à tous les partenaires. 15/42

16 Partenaires TE CEA EDF & LaMSID ONERA INRIA LaMCoS E1.1 D1.1 E1.2 D1.2 E1.3 D2.1 D2.2 E2.1 D2.3 E2.2 D3.1 D3.2 E3.1 D4.1 Tab. 1 : Distribution des tâches élémentaires 3.3. DESCRIPTION DES TRAVAUX PAR TACHE Chaque tache principale se présente sous la forme d'un groupe de taches élémentaires (TE), reprises dans le tableau 1 du paragraphe précédent. 16/42

17 3.3.1 TACHE 1 : PASSAGE A L'ECHELLE POUR DES CALCULS DE GRANDE TAILLE EN DYNAMIQUE DES STRUCTURES ET EN INTERACTION FLUIDE-STRUCTURE EUROPLEXUS est doté au démarrage du projet d'un solveur parallèle destiné aux clusters (formalisme SPMD avec décomposition de domaine et interconnexion MPI), compatible avec la majorité des fonctionnalités relatives au calcul en dynamique des structures et en interaction fluide-structure. Ce solveur tient en particulier compte du traitement des liaisons par multiplicateurs de Lagrange, proposant une structure de données dynamique permettant de gérer les liaisons permanentes et non-permanentes (liaisons de contact unilatéral par exemple). L'identification des liaisons couplées impliquant plusieurs sous-domaines, ainsi que le calcul des multiplicateurs pour ces liaisons, qui requiert la résolution d'un système linéaire au niveau global, ont bénéficié d'un soin particulier au moment de la mise au point de l'algorithme parallèle existant. Il subsiste des réserves concernant le passage à l'échelle du code parallèle initial. Cela concerne notamment l'équilibrage de la charge de la boucle élémentaire pour chaque sousdomaine, faisant intervenir des éléments de types différents (éléments finis ou volumes finis), auxquels sont affectés des matériaux différents. Ce problème est en général traité à l'aide d'une pondération des entités au moment de la décomposition de domaine, approche suivie dans le cadre d'europlexus. Les méthodes de pondération, ainsi que les questions d'optimisation dynamique de la décomposition en cours de calcul, doivent toutefois être examinées en détail pour atteindre une efficacité compatible avec les machines massivement parallèles. La solution efficace et extensible du problème posé sur les liaisons cinématiques couplées entre les sous-domaines se présente également comme un verrou potentiel dans la version actuelle. Le processus actuel utilise en effet un processeur particulier pour réaliser les tâches globales d'identification des couplages et de construction de la matrice à résoudre, avant de lancer le calcul des multiplicateurs à l'aide d'un solveur distribué. Détail de la tâche TE - E1.1 Evaluation des performances de la version parallèle existante d'europlexus en calcul de structure et d'interaction fluide-structure Définition des tests industriels représentatifs (CEA + EDF + ONERA) : Chute de colis de transport (CEA), Simulation de l'essai MARA (CEA), Impact de projectile sur un bâtiment nucléaire (EDF), Blade shedding sur moteur d'hélicoptère (ONERA). Etat des lieux et analyse des verrous : Mise en œuvre des modèles et vérification des solutions, Mesures de performance et interprétations. 17/42

18 TE - D1.1 Définition d'algorithmes innovants pour lever les verrous Méthodes avancées de pilotage de la décomposition de domaine (CEA + INRIA) Identification robuste des poids, Possibilité d'équilibrage dynamique. Stratégie de traitement équilibré des liaisons cinématiques couplées (CEA + INRIA) Equilibrage de la tâche d'identification des couplages, Optimisation des communications pour la solution du système linéaire. TE - E1.2 JALON 1 : Passage des cas d'évaluation sélectionnés en tâche élémentaire E1.1 avec la version parallèle améliorée d'europlexus Identification des gains et des problèmes résiduels (CEA + ONERA + EDF + INRIA) TE - D1.2 Poursuite des travaux d'optimisation de la version parallèle à mémoire distribuée du code (CEA + INRIA) TE - E1.3 Suivi régulier des travaux d'optimisation à l'aide des cas d'évaluation (CEA + ONERA + EDF) TACHE 2 : COUPLAGE EFFICACE DE FORMULATIONS DIFFERENTES (CONTINUES, PARTICULAIRES, DISCRETES) ET PASSAGE A L'ECHELLE Pour permettre la simulation de phénomènes physiques complexes, EUROPLEXUS a été doté récemment d'approches originales venant compléter le formalisme éléments finis et volumes finis existant. Il s'agit par exemple d'approches particulaires pour les structures massives et les coques, accompagnant l'approche SPH pour les fluides existant déjà dans le code et permettant le calcul du crash d'un réservoir, ou d'approches par éléments discrets, mises en œuvre pour la représentation de la perforation de structures en béton armé. Ces approches et leurs interactions avec les modélisations continues font l'objet de nombreux travaux de recherche menées directement avec EUROPLEXUS ou en lien avec le programme. Il s'agit en particulier de deux thèses en cours, l'une concernant les éléments discrets 7, l'autre 7 Thèse de J.Rousseau "Modélisation numérique du comportement dynamique de structures sous impact sévère avec un couplage éléments finis / éléments discrets", dirigée par L.Daudeville (3S-R Grenoble) et encadrée par S.Potapov (EDF-LaMSID), lancée en octobre /42

19 les particules SPH étendues 8. La première de ces thèses est soutenue dans le cadre du projet VULCAIN (cf. 3.2) au niveau de son contenu théorique liée à la modélisation du béton armé. La problématique du coût numérique des éléments discrets a clairement été identifiée, de même que la nécessité du passage à l'échelle pour les modèles impliquant éléments discrets et éléments finis, ce qui justifie la poursuite des travaux dans le présent projet. La seconde thèse, comportant un important volet performances numériques et parallèlisme, pour parvenir à une mise en œuvre à l'échelle industrielle de simulations SPH complexes, était entièrement associée au projet PADRE proposé l'an passé, dans le cadre de la collaboration avec le LaMCoS. Lancée en octobre 2008 et financée sur fonds propres par le CEA et EDF, elle figure naturellement dans le projet REPDYN. En complément de ces travaux en cours, le LaMCoS travaille sur l'écriture de couplages innovants, pour représenter par exemple l'écoulement d'un fluide modélisé en SPH à travers des fissures modélisées par la méthode des éléments finis étendus dans une structure mince, ou encore la continuité cinématique par la méthode Arlequin entre une coque modélisée en SPH et une coque éléments finis. Toutes ces approches font intervenir des modélisations coûteuses, associées à de grande finesse de modélisation, ce qui justifie l'examen de leur traitement parallèle et du passage à l'échelle des modèles les utilisant : cela correspond à leur intégration dans le formalisme avec décomposition de domaines, puis la gestion des questions d'équilibrage de la charge qui leur sont propres. Détail de la tâche TE - D2.1 Mise au point de techniques de couplage innovantes entre formulation et intégration dans le formalisme parallèle d'europlexus Définition, programmation et intégration parallèle des algorithmes de couplage (CEA + LaMCoS) : Poursuite des travaux sur la modélisation de crash de réservoirs avec SPH fluide et coques, Interaction entre une fluide SPH et une structure mince fissurée, Modélisation couplée d'une coque par SPH et éléments finis. TE - D2.2 Passage à l'échelle pour les modèles couplés (éléments finis, volumes finis, particules SPH, éléments discrets) Adaptation des algorithmes à l'aide des méthodes développées en TE D1.1 (CEA + EDF-LaMSID + INRIA + LaMCoS) 8 Thèse de F. Caleyron "Simulation numérique SPH de fuites de fluide consécutive à la déchirure d un réservoir sous impact", dirigée par A. Combescure (professeur au LaMCoS) et encadrée par S. Potapov (EDF-LaMSID) et V. Faucher (CEA), lancement effectué en octobre /42

20 TE - E2.1 Mise en œuvre de la version parallèle sur des cas industriels significatifs Définition des modèles (CEA + EDF-LaMSID + ONERA + LaMCoS) : Coup de bélier hydraulique après impact et pénétration d'un projectile balistique dans un caisson réservoir (ONERA), Perforation d une enceinte en béton armé (EDF-LaMSID), Crash et multi-fragmentation d'un réservoir (CEA + EDF + LaMCoS). Identification des performances et des verrous spécifiques restants (CEA + EDF-LaMSID + ONERA + LaMCoS + INRIA) TE - D2.3 Optimisation spécifique pour les modèles couplés pour lever les verrous Stratégie avancée pour l'équilibrage de la charge et la gestion des liaisons de couplage (CEA + INRIA) TE - E2.2 JALON 2 : Passage des cas d'évaluation sélectionnés en tâche élémentaire E2.1 avec la version parallèle améliorée d'europlexus Identification des améliorations et des problèmes (CEA + ONERA + EDF-LaMSID + LaMCoS) TACHE 3 : EXTENSION DU FORMALISME PARALLELE VERS LES ARCHITECTURES DE POINTES : PARALLELISME MULTI-NIVEAUX, EXPLOITATION DES GPUS Les évolutions de la dernière décennie en matière d'architectures parallèles ont été marquées par la généralisation des machines parallèles sous la forme réseaux interconnectés (clusters), associées obligatoirement à un parallélisme à mémoire distribuée, le plus souvent à l'aide de la librairie de passage de messages MPI. C'est le formalisme retenu dans EUROPLEXUS. Cependant, l'avènement récent des processeurs multi-cœurs et les avancées prometteuses en matière de calcul scientifique sur processeurs graphiques (GPU) modifient en profondeur la nature des nœuds interconnectés dans un cluster, les éloignant largement de la simple unité de calcul séquentielle. Il devient ainsi judicieux de chercher à exploiter au mieux les spécificités locales des nœuds, tout en conservant l'approche SPMD avec MPI pour exécuter le programme sur plusieurs nœuds simultanément. On aboutit à un parallélisme à plusieurs niveaux, totalement complémentaire du parallélisme classique, qui reste pertinent au niveau le plus élevé entre les nœuds et se trouve enrichi de méthodes d'accélération au niveau local sur les nœuds. La mise en œuvre équilibrée de ce parallélisme innovant est un domaine de recherche actif dont l'inria est un moteur majeur. En ce qui concerne spécifiquement EUROPLEXUS, l'exploitation judicieuse des unités de calcul appartenant à un même nœud, en les exploitant à l'aide d'un seul sous-domaine dont le solveur local est optimisé, permet d'améliorer l'extensibilité du code en réduisant le 20/42

21 nombre de sous-domaines à mettre en œuvre pour un nombre donné d'unités de calcul, et en limitant ainsi les couplages cinématiques entre les domaines. Détail de la tâche TE - D3.1 Recherche avancée en algorithmique parallèle multi-niveaux Mise au point d'algorithmes innovants utilisant les nœuds multi-cœurs et les GPUs (INRIA). Analyse de l'équilibrage de la charge et stratégie d'optimisation en présence d'un parallélisme global à mémoire distribuée et d'un traitement accélérateur local (INRIA). Validation des approches avec des applications locales et/ou EUROPLEXUS. TE - D3.2 Intégration des concepts les plus prometteurs dans EUROPLEXUS Enrichissement du processus de solution local à un sous-domaine à l'aide des concepts de la TE précédente (CEA + INRIA) : Adaptation éventuelle de la structure de données, Evolution de la stratégie d'équilibrage de la charge. TE - E3.1 JALON 3 : Passage des cas d'évaluation sélectionnés avec la version parallèle multi-niveaux d'europlexus Identification des améliorations et des problèmes (CEA + ONERA + EDF-LaMSID + LaMCoS) TACHE TRANSVERSE : INTEGRATION DANS LA PLATEFORME SALOME ET GESTION DES GRANDS VOLUMES DE DONNEES EN ENTREE ET EN SORTIE (CEA + EDF) Cette tache intervient en support de toutes les TE d'évaluation des performances et de mise en œuvre de modèles complexes de grande taille. La plateforme SALOME propose alors un environnement interactif et d'accès libre, facilitant la création des jeux de données, aussi bien au niveau de la géométrie, que du maillage ou des commandes EUROPLEXUS. Détail de la tâche TE D4.1 Mise en œuvre dans SALOME d un algorithme parallèle pour la génération des éléments discrets (LaMSID) Développement et intégration dans la plate-forme SALOME via un module indépendant d une version parallèle (parallélisation multithreading, multiprocesseur) en C/C++ d un algorithme de génération de maillage pour éléments discrets, à partir d une version universitaire en MATLAB, avec une mise en place d une sortie au format MED parallèle. JALON 4 : Livraison d'un outil intégré à la plateforme SALOME Démonstration des fonctionnalités sur la mise en donnée d'un modèle d'enceinte en 21/42

22 béton armé modélisée par éléments discrets (éventuellement couplés à des éléments finis) ANNEXE : DESCRIPTION DES CAS DE SIMULATION ENVISAGES POUR L'EVALUATION DES AMELIORATIONS APPORTEES A EUROPLEXUS On présente dans cette annexe les calculs envisagés pour servir de support aux cas d'évaluation inscrits dans le projet. On se restreint dans la description des modèles à des informations conformes à d'éventuelles clauses de confidentialités qui leur seraient associées. De même, aucune information quantitative sur les résultats des calculs effectués n'est prévue dans le projet. Seuls les résultats en termes de performances seront produits. On vérifiera toutefois pour tous les cas que le calcul parallèle conduit aux mêmes résultats physiques que le calcul séquentiel de référence. Chute de colis de transport (CEA) Il s'agit d'évaluer la résistance au choc d'un colis destiné au transport de matière radioactive et soumis à une chute (cf. Figure 2). Ce colis comprend des capots de protection contenant du bois massif pour l'absorption d'énergie. Le modèle contient un nombre réduit d'éléments finis de structure, mais présente surtout un grand nombre de surfaces de contact et permet donc d'évaluer précisément la qualité du traitement parallèle des liaisons cinématiques non-permanentes, ce qui représente un point théorique délicat dans le projet. T = 0 ms T = 9 ms T = 18 ms (après rebond) Fig. 2 : Chute verticale d'un colis sur un plan rigide Représentation de la déformation plastique dans la direction des fibres du bois contenu dans le capot de protection. Simulation du Blade Shedding appliqué au cas d'un moteur complet d'hélicoptère TURBOMECA (ONERA) L'ONERA est impliqué dans un Projet de Recherche Concertée DYNA depuis L'objectif est de développer avec l'accord de TURBOMECA un modèle complet de moteur d'hélicoptère en vue de simuler le phénomène de Blade Shedding. Il s'agit, lors de la mise en survitesse du moteur, de rupture de pâles (à la suite d'une ingestion d oiseau, de glace, etc.), 22/42

23 lesquelles doivent être retenues par un anneau de rétention (blindage) prévu spécialement à cet effet (sorte de "fusible mécanique"). L'ONERA dispose d un modèle Eléments Finis de moteur complet et a déjà initié des premiers calculs de faisabilité en prenant en compte un étage TL simplifié qui serait donc utilisé pour le protocole d'évaluation proposé dans le projet. Impact de projectile sur un bâtiment nucléaire (EDF) On cherche à modéliser la tenue mécanique d un bâtiment nucléaire complet sous l impact d un projectile déformable de grande taille. La modélisation actuellement mise en place repose sur une méthode de décomposition de domaine qui permet de mener des calculs sur des bâtiments de génie civil complets (composés de mûrs, planchers et voiles). Afin de restituer fidèlement les phénomènes non linéaires (endommagement du béton et plasticité des aciers) se produisant dans une zone limitée autour de l endroit de l impact, cette zone est intégrée en temps avec des petits pas (de l ordre d une microseconde) en utilisant une loi de comportement du béton armé non linéaire et un maillage fin. Le reste de la structure, n étant pas endommagé, est traité en élasticité linéaire avec des pas de temps plus larges (de l ordre d une milliseconde) cohérents avec une discrétisation spatiale grossière utilisée lors des études sismiques qualifiant ces bâtiments. Un raccordement approprié des sous-domaines linéaire et non-linéaire en espace et en temps permet de traiter dans une même simulation la phase de l'impact (dynamique rapide) et les vibrations induites (dynamique des structures classique). Il est ainsi possible d estimer l ampleur de dégradations de l ouvrage dans la zone d impact (zone endommagée) et d étudier ainsi l influence de la perte de rigidité locale sur le comportement vibratoire global de la structure. Bien que cette stratégie multi-échelles permette d aborder des modèles de taille industrielle (jusqu alors inaccessibles par un calcul classique mono-domaine), les simulations actuelles demandent, en résolution séquentielle, des dizaines d heures de calcul à cause d un nombre important de pas de temps dans la zone non linéaire. L amélioration des performances via la parallélisation de l algorithme multi-domaines permettra d accéder à la réalisation des études paramétriques indispensables pour la crédibilité des dossiers de sûreté. Dans le cadre du projet, ce test est représentatif de la simulation parallèle impliquant des modèles avec de multiples échelles de temps. Dépressurisation de la cuve de réacteur suite à une rupture accidentelle (EDF) Il s agit de simuler la réponse dynamique transitoire non linéaire couplée fluide-structure d une cuve de réacteur à eau pressurisée en situation accidentelle hypothétique, connue comme un Accident de Perte de Réfrigérant Primaire (APRP). Le scénario d un APRP suppose l apparition d'une brèche sur un tuyau du Circuit Primaire Principal suivie d une onde de dépressurisation rapide et violente qui se propage dans l'ensemble du circuit primaire et sollicite les structures internes du réacteur. Dans ce cas, il est nécessaire de tenir compte à la fois de l'aspect thermo-hydraulique du problème en sachant modéliser différents régimes d'écoulements diphasiques instationnaires et aussi de traiter de manière appropriée 23/42

24 des interactions dynamiques entre le fluide et la structure. La cuve et les structures internes du réacteur sont modélisées en éléments finis 3D et coque, alors que le fluide est traité en formulation volumes finis 3D sur un maillage mobile (description ALE du mouvement) avec un modèle matériau diphasique. La mise en œuvre dans EUROPLEXUS des interfaces fluide-structure non conformes a permis d optimiser en partie la modélisation de la physique de chacun des deux milieux donnant la possibilité de choisir des maillages fluide et structure de finesse différente. Cependant, ce type de problème IFS est toujours traité actuellement en mono-domaine avec un pas de temps unique, ce qui est pénalisant car la célérité des ondes dans la structure est beaucoup plus grande que dans le fluide, alors que le fluide nécessite une discrétisation plus fine que celle de la structure. En outre, le niveau de finesse des maillages fluide reste globalement insuffisant. Afin que le temps de calcul reste raisonnable, des raffinements locaux sont pratiqués même si l utilisation de maillages non uniformes est déconseillé dans les calculs transitoires car provoquant des réflexions d ondes parasites sur des surfaces de séparation des maillages de taille différente. Pour le projet, ce cas est représentatif de la prise en compte en parallèle des liaisons fluidesstructures, le couplage de formulations éléments finis différentes (éléments volumiques, éléments de coque, éléments tubulaires) et la gestion des échelles de temps multiples. Simulation de l'essai MARA MARA est une série d'essais correspondant à l'explosion d'une charge dans une enceinte métallique confinée comprenant une piscine d'eau et une couverture d'hélium. L'explosif est calibré pour conduire à l'évaluation des conséquences d'un Accident De Confinement dans un cœur de Réacteur à Neutrons Rapides à caloporteur Sodium (cf. Figure 3). Plusieurs configurations sont testées, avec et sans représentation de structures métalliques internes dans la piscine. La simulation des essais MARA représente un axe de validation important d'europlexus, au niveau de modèles multi-fluides et du traitement de l'interaction fluide-structure. 24/42

25 Situation initiale : bulle de gaz comprimée au niveau du cœur Situation finale : bulle de gaz détendue, gaz de couverture comprimé et structures déformées Fig. 3 : Simulation de l'essai MARA 10 (avec structures internes) Coup de bélier hydraulique généré par l'impact et la pénétration d'un projectile balistique dans les caissons réservoirs (ONERA) L'ONERA est impliquée depuis 2004 dans un programme EUCLID (European Co-operation for the Long Term in Defense), à savoir le RTP3.32 (Research and Technology Project n 3.32), dont un sujet concerne la vulnérabilité des structures composites d'avions militaires. Plus précisément, la menace identifiée par le groupe de travail en question relève du coup de bélier hydraulique généré par l impact et la pénétration d un projectile balistique dans les caissons réservoirs composites. Une stratégie de modélisation combine éléments finis Lagrangiens (ou éventuellement particules SPH appliquées aux solides) et particules SPH fluide et met en œuvre différentes interactions fluide/structure (projectile-fluide et fluide-structure du réservoir, uniquement métallique ici). Au final, elle doit simuler, dans ses effets, le développement du phénomène de cavitation dans le sillage du projectile au sein d'un code numérique où n'interviennent pas de changements de phase. Ce calcul servira de test de référence pour le traitement parallèle des méthodes particulaires SPH. A titre d'illustration, la Figure 4 présente la perforation d'une plaque modélisée à l'aide particules SPH par un projectile sphérique. 25/42

26 T = 50 ms T = 100 ms T = 150 ms T = 200 ms Fig. 4 : Perforation d'une plaque modélisée par des particules SPH Perforation d une enceinte en béton armé (EDF-LaMSID) Il s agit de modéliser la fissuration et la perforation d une enceinte de protection en béton armé sous l impact d un projectile de grande vitesse en utilisant la formulation particulaire aux éléments discrets (cf. Figure 5). La difficulté de ce cas réside dans la nécessité d utiliser un modèle de calcul comportant plusieurs millions de particules pour représenter correctement le comportement non-linéaire avec ruine éventuelle du matériau béton et des barres de ferraillage. Le projectile de grande taille sera également modélisé à l aide des éléments finis. Fig. 5 : Impact d un bloc sur une structure en béton armé (modélisation aux éléments discrets) 3.4. CALENDRIER DES TACHES, LIVRABLES ET JALONS Le projet est organisé sur 36 mois, décomposés en 6 semestres. Un rapport d'avancement est programmé à la fin de chaque année à compter du lancement du projet. 26/42

27 Trois publications, sous la forme d'une participation à un colloque international ou d'un article dans un journal à comité de lecture, sont prévues dans le cadre du projet. La première traitera des méthodes couplages originales et leur traitement parallèle, à partir des travaux du LaMCoS dans la tâche élémentaire D2.1. La deuxième publication sera dédiée aux algorithmes parallèles multi-niveaux définis par les équipes de l'inria dans la tâche élémentaire D3.1. La troisième publication concernera l'intégration des approches innovantes ci-dessus dans EUROPLEXUS, le traitement spécifique de l'équilibrage au niveau industriel et l'illustration des gains sur des exemples complexes de taille significative, correspondant aux tâches élémentaires D3.2 et E3.1. Un rapport final, sous la forme d'un bilan et d'une description des perspectives ouvertes par le projet pour le code EUROPLEXUS, sera remis à l'issue des trois années de travail. Semestre Tâche 1 Tâche 2 Tâche 3 Tâche 4 Dev. Eval. Dev. Eval. Dev. Eval. Dev. Livrables et rapports S1 S2 S3 S4 S5 S6 TE D1.1 TE E1.1 Jalon 1 - TE E1.2 TE D1.2 TE E1.3 TE D2.1 TE D2.2 TE D2.3 TE E2.1 Jalon 2 - TE E2.2 TE D3.1 TE D3.2 TE D4.1 Jalon 4 Rap. avanc. n 1 Publi n 1 Publi n 2 Rap. avanc. n 2 Jalon 3 - TE Publi. n 3 E3.2 Rap. final Tab. 3 : Organisation temporelle du projet Les tâches élémentaires de développements D2.1 et D2.2 peuvent se chevaucher, en fonction de leur avancement, en tenant compte de leur complémentarité. La tâche élémentaire D2.1 prévoit la définition de méthodes de couplage innovantes, qui peuvent commencer à être parallélisées dans EUROPLEXUS avant leur complète mise au point. 27/42

28 Il en est de même pour les tâches élémentaires de développements D3.1 et D3.2 au sujet des algorithmes parallèles multi-niveaux, dont certaines parties peuvent etre introduites et testées dans EUROPLEXUS (tâche élémentaire D3.2) avant leur complète validation au niveau académique dans la tâche élémentaire D3.1. Libellé du livrable Type Responsable Partenaires participants Date 0 Site web du projet Mise en place au plus tard 6 mois après le démarrage du projet et mise à jour au moins semestrielle Web Coordinateur Tous T0+6 1 Rapport d'avancement intermédiaire n 1 Rapport Coordinateur Tous T Rapport d'avancement intermédiaire n 2 Rapport Coordinateur Tous T Rapport final Rapport Coordinateur Tous T Article ou participation à un colloque international au sujet des méthodes de couplage originales entre formulations Publication LaMCoS LaMCoS, CEA T Article ou participation à un colloque international au sujet des algorithmes parallèles multi-niveaux 6 Article ou participation à un colloque international au sujet de l'intégration au niveau industriel du parallélisme multi-niveaux dans EUROPLEXUS Publication INRIA CEA, INRIA T0+24 CEA CEA, INRIA T0+30 Tab. 4 : Récapitulatif des livrables et rapports 4. STRATEGIE DE VALORISATION DES RESULTATS ET MODE DE PROTECTION ET D EXPLOITATION DES RESULTATS Au sujet de la pérennité des retombées du projet, elle repose naturellement sur la solidité du consortium EUROPLEXUS existant. Il s'inscrit dans une évolution logique du code souhaitée par la totalité des membres du consortium. La diversité et l'envergure des acteurs, ainsi que la présence d'un distributeur, assurent par ailleurs la diffusion des concepts mis en valeur pendant le projet au sein de la communauté des mécaniciens. On peut à ce titre souligner qu'en complément de la distribution commerciale du programme à des fins industrielles, le contrat de partenariat régissant EUROPLEXUS donne le droit au CEA de le diffuser gratuitement à des établissements universitaires. Cette diffusion peut correspondre à une simple utilisation gratuite de la version commerciale ou comprendre la mise à disposition d'une partie du code source, pour les besoins d'une thèse par exemple. Cela confère à EUROPLEXUS une ouverture séduisante pour le monde de la recherche universitaire, dont bénéficient à l'heure actuelle plusieurs 28/42

29 laboratoires, comme le LaMCoS de l'insa Lyon, acteur important dans le domaine et ressource d un Institut Carnot (Ingénierie@Lyon), et le laboratoire 3S-R de l'institut Grenoble-INP. Plus généralement, le présent projet s'inscrit dans une démarche d'innovation et de valorisation d'un outil proposant un lien original entre activités de recherche et activités industrielles dans le domaine de la dynamique rapide. Par ailleurs, le rapprochement entre les partenaires existants du consortium EUROPLEXUS et les équipes de recherche de l'inria ouvre des perspectives très enrichissantes des deux côtés. Remarquons enfin qu'europlexus est par nature un code d'envergure européenne, utilisé en Belgique (par SONACA), en Italie (pour des études complexes sur les malveillances dans les lieux publics) ou en Espagne (à l'université de Barcelone). 5. ORGANISATION DU PARTENARIAT 5.1. DESCRIPTION, ADEQUATION ET COMPLEMENTARITE DES PARTENAIRES DESCRIPTION DES PARTENAIRES 1- Commissariat à l'energie Atomique (CEA) Le CEA représente une force d'expertise et de proposition pour les pouvoirs publics dans les domaines de l'énergie, les technologies pour l'information et la santé, la défense et la sécurité. Il s'appuie sur chercheurs et collaborateurs aux compétences internationalement reconnues pour proposer une recherche fondamentale d'excellence. L'équipe de développement du Laboratoire d'études Dynamique, au sein de la direction de l'energie Nucléaire, regroupe les compétences et l'expérience accumulées en dynamique rapide depuis la création du logiciel PLEXUS (cf 6) vers la fin des années 70. Il en résulte des acquis considérables en matière de méthodes numériques en dynamique non-linéaire dédiées à l'analyse de phénomènes transitoires rapides, ainsi qu'une maîtrise totale du processus de développement dans EUROPLEXUS. Le personnel permanent impliqué dans le présent projet comprend : Vincent FAUCHER Ingénieur civil des Ponts et Chaussées, docteur de l'ecole Normale Supérieure de Cachan. Développeur des méthodes de réduction modale dans le cadre de l'approche multidomaines en séquentiel au cours de son travail doctoral, il est le spécialiste pour les questions relatives à la structure de données qui sert de support à l'approche parallèle à mémoire distribuée. Il présente aussi une expérience de trois années dans le développement d'un code industriel concurrent (RADIOSS), avec une implication forte au niveau de la parallélisation orientée vers les machines de type cluster. 29/42

30 2- Electricité de France (EDF) EDF S.A. est un groupe industriel européen dans le domaine de l énergie avec un modèle d activité intégré (amont - aval) et équilibré (régulé - non régulé), présent sur tous les métiers de l électricité. Le Groupe dispose du plus important parc de production en Europe. EDF organise son programme de recherche et de développement dans plusieurs domaines afin de rationaliser toujours davantage l'exploitation et la maintenance des sites de production d'énergie, et faire bénéficier les ouvrages de production des avancées technologiques les plus à même d'augmenter les performances tout en minimisant l'impact environnemental. Le groupe «Outils d Analyse Mécanique» du Département Analyses Mécaniques et Acoustique (AMA) de la Direction Recherche et Développement d EDF a pour mission de développer et maintenir des outils de simulation en mécanique des structures (code de mécanique générale Code_Aster, code de dynamique rapide EUROPLEXUS) et d élaborer et qualifier de méthodologies d étude applicables dans les études de justification du dimensionnement et des études d expertise. Le personnel permanent impliqué dans le présent projet comprend : Stéphane MOULIN Ingénieur diplômé de l'ecole Nationale des Ponts et Chaussées. Ingénieur-chercheur au Département Analyses Mécaniques et Acoustique d EDF R&D. Depuis 6 ans, il travaille dans le domaine de la dynamique des structures. Il participe à différents projets applicatifs portant sur la simulation numérique de la tenue mécanique des ouvrages de génie civil. Ces principaux thèmes de travail sont le comportement mécanique des ouvrages sous chargement sismique et sous chargement dynamique accidentel de type impact. 3- Laboratoire de Mécanique des Structures Industrielles Durables (LaMSID) Le LaMSID est une unité Mixte EDF CNRS créée en janvier Le laboratoire se situe au sein du dispositif de recherche d EDF. Ses ressources en personnel EDF proviennent de trois départements d EDF R&D avec une très forte majorité pour le premier : le département Analyses Mécaniques et Acoustique (105 Ingénieurs et techniciens), issu en 2001 du regroupement des mécaniciens des départements Mécanique et Modèles Numériques, et Acoustique et Mécanique Vibratoire, le département Matériaux et Mécanique des Composants (175 Ingénieurs et techniciens), issu en 2001 du regroupement des départements Mécanique et Technologie des Composants et Etudes des Matériaux, 30/42

31 Le département Simulation en Neutronique, Technologie de l Informations, et Calcul Scientifique (35 Ingénieurs pour la partie mathématiques appliquées et calcul scientifique). La situation de l unité dans un environnement de recherche appliquée et d études à destination de l ingénierie permet, d une part, de trouver ses thèmes de recherche dans des problèmes à moyen et long termes posés pas l ingénierie, et d autre part, de voir sa production scientifique déclinée et mise en oeuvre au sein de projets applicatifs ou de logiciels et méthodologies directement utilisés. Le personnel permanent impliqué dans le projet se compose de : Serguei POTAPOV Ingénieur diplômé de l Ecole Supérieure du Bâtiment et des Travaux Publics de Kiev en Ukraine, docteur de l Ecole Centrale Paris. Chercheur au LaMSID et chef de projet «Dynamique Rapide» au Département Analyses Mécaniques et Acoustique d EDF R&D. Il pilote les activités de recherche et de développement dans le domaine de la simulation numérique de la tenue mécanique des ouvrages et composants sous chargements dynamiques accidentels (impacts, explosions) et des phénomènes d interaction fluide-structure dus aux ondes de choc, explosions internes. 4- Office Nationale d'etudes et Recherches Aérospatiales (ONERA) L'ONERA est depuis 50 ans au service de la recherche aéronautique et spatiale. Il compte 2000 salariés dont 1500 chercheurs, ingénieurs et techniciens. Ses compétences scientifiques couvrent l'ensemble des domaines intéressant la conception des véhicules et engins aéronautiques et font de l'onera un acteur majeur de la communauté aéronautique et spatiale française et européenne. Le Département Aéroélasticité et Dynamique des Structures (DADS), au sein de la branche Matériaux et Structures, élabore les méthodes d'analyse des pièces et des structures soumises à des conditions extrêmes, telles que des impacts ou des crashs. Il compte 75 personnes, dont 68 permanents (dont 51 ingénieurs et 12 techniciens). Parmi les 51 ingénieurs du département, 30% sont docteurs, 3 sont Maîtres de Recherche et 2 sont HDR. Le personnel impliqué dans le projet appartient à l'unité Conception et Résistance Dynamique des Structures (CRD) : Roland ORTIZ Docteur de l'ecole Nationale Supérieure des Mines de Paris. 31/42

32 Ingénieur de recherche, spécialiste des problématiques de crash et d'impact, de modélisation numérique pour calculs en dynamique explicite et en interaction fluidestructure. Jacques DUPAS Ingénieur diplômé de l'ecole Centrale de Paris. Ingénieur d'études, qualifié en mécanique des structures, méthodes particulaires (SPH), résistance des matériaux et propagation d'ondes. Jean-François SOBRY Technicien supérieur calcul et maillage depuis Institut National de Recherche en Informatique et Automatique (INRIA) L INRIA (Institut National de Recherche en Informatique et en Automatique) comporte un important centre à Grenoble. Les équipes-projets EVASION et MOAIS de ce centre proposent d apporter leur expertise en programmation parallèle et simulation mécanique dans le cadre d EUROPLEXUS. L équipe MOAIS ( a pour thème le calcul hautes performances sur architectures parallèles. Elle travaille notamment sur les algorithmes parallèles, l ordonnancement statique ou dynamique des tâches. Elle a développés plusieurs environnements de programmation parallèles tels que KAAPI, FlowVR, TakTuk et AWS. Depuis 2005, l équipe a publiée plus de 120 articles. KAAPI en particulier implante de manière efficace des algorithmes d équilibrage de charge dynamique. L'équipe EVASION ( a pour thème la simulation graphique de phénomènes naturels de forte complexité ainsi que la simulation physique temps-réel. Elle participe activement au développement de SOFA, librairie open-source de simulation physique, en partenariat avec plusieurs équipes internationales. Cette librairie a démontré sa capacité à intégrer de multiples modèles physiques en interaction, avec détection, modélisation et prise en compte dynamique de contacts entre les objets simulés. Reposant sur une ontologie séparant clairement modèles géométriques, lois rhéologiques, couplages et algorithmes de simulation. EVASION et MOAIS travaillent conjointement à la parallélisation de SOFA sur architecture multi-coeurs et multi-gpu. Dans le cadre de ce projet, les équipes MOAIS et EVASION contribueront à l effort de parallélisation hiérarchique d EUROPLEXUS. L effort se focalisera en particulier sur l intégration de techniques d équilibrage de charge dynamique, le couplage de codes multicœurs et multi-gpu. Nous utiliserons les librairies telles que SOFA et KAAPI (ordonnanceur dynamique de tâches parallèles) pour expérimenter différentes approches de parallélisation. 32/42

33 En ce qui concerne l organisation des contributions aux objectifs du projet REPDYN et la coordination des équipes, l'intégration du calcul sur GPU dans EUROPLEXUS se fera en suivant les principes suivants. Pour le modèle de programmation, la librairie Cuda et les bibliothèques associées comme Thrust ( seront utilisées en premier lieu. L évolution des implantations d'opencl sera observée attentivement. Pour le moment aucune implantation de qualité n'est disponible, mais il sera probablement pertinent de passer sur ce standard assez rapidement. OpenCL devrait faciliter le portage de code entre les co-processeurs de ATI, Nvidia et Intel. De même, l'offre d'intel de co-processeurs haute performance sera suivie. L'architecture Intel Larabbee est sur le papier très intéressante car elle associe du parallélisme de tâche via les coeurs de calcul x86, ainsi que du parallélisme de données via l'unité vectorielle de 16 instructions de chaque coeur. A priori cette architecture devrait demander moins d'effort de programmation que les architectures d'nvidia et être plus polyvalente, donc supporter la parallélisation efficace d'une plus large gamme de codes, de par la possibilité de contrôler finement l'ordonnancement des tâches. Intel évoque une disponibilité de ce co-processeur en L'intégration de code GPU dans EUROPLEXUS se fera en plusieurs étapes, utilisant alternativement les compétences des équipes présentées ci-dessus. Tout d'abord nous identifierons les algorithmes dont une parallélisation sur GPU apporte un gain important seront identifiés. Pour cela une accélération de plus de 10x par rapport à une exécution mono-coeur est impérative. Aujourd'hui la disponibilité d'architectures CPU à plus de 4-coeurs permet d'envisager des gains de performance significatifs (accélération proportionnelle au nombre de coeurs) pour un effort de programmation beaucoup plus réduit que sur GPU. Ne seront donc considérés que les codes nécessitant des transferts mémoire du CPU vers le GPU restreints et qui exposent un parallélisme de données massif. Par exemple, est actuellement développé un premier code GPU pour la mécanique granulaire dans le cadre du projet ANR Vulcain qui répond à ces critères. Ce code va être couplé à EUROPLEXUS et pourra être utilisé comme premier prototype de code GPU dans le cadre de REPDYN. D'autres codes GPU seront développés pour disposer d'un base d'exemples assez représentatifs. Le couplage multi-gpu et multi-cpu sera examiné ensuite. Dans le cadre du simulateur mécanique temps-réel SOFA, est actuellement développée une parallélisation par vol de tâche capable de répartir dynamiquement la charge de travail entre l'ensemble des CPU et GPU disponibles. Outre la difficulté technique d'une telle implantation, la nature très différente des CPU et GPU nécessite de réviser la politique de vol. Dans le prototype, le vol exclusivement entre CPU ou exclusivement entre GPU est performant, mais le vol mixte CPU/GPU reste un problème difficile en cours d'étude. Le modèle de programmation est basé sur la librairie de vol de tâche KAAPI( Il s'organise autour 33/42

34 des mots clefs share et fork, qui indiquent respectivement les données partagées entre tâche (par défaut les données sont toutes locales), et les tâches de calcul. Cette base permet ensuite d'extraire les dépendances de tâches nécessaire pour une exécution efficace. Dans le cadre de REPDYN seront aussi évalués les environnements Cilk et Intel TBB (l'équipe MOAIS compare très régulièrement les performances de ces environnements avec KAPPI). Des changements majeurs pourraient avoir lieu dans les mois qui viennent suite au rachat de Cilk-Arts par Intel. A terme l'objectif est de disposer d'un cadre (librairie) pour supporter la parallélisation multi-cpu et multi-gpu dans le contexte d EUROPLEXUS ainsi que de quelques prototypes applicatifs permettant de démontrer l'intérêt d'une telle approche. 6- Laboratoire de Mécanique des Contacts et des Structures (LaMCoS) Le LaMCoS est une UMR rattachée à l'institut National des Sciences Appliquées de Lyon. Son directeur est A. Combescure et le laboratoire emploie 50 permanents enseignantschercheurs, 54 doctorants, 24 ingénieurs et techniciens de recherche. L objectif scientifique global du laboratoire est de mener une recherche sur la maîtrise et le contrôle du comportement des systèmes et structures mécaniques en prenant en compte leurs interfaces. Le cas de sollicitations extrêmes est étudié avec un de développement essentiel des recherches. Les régimes de fonctionnement étudiés sont aussi bien statiques que dynamiques et l approche se base sur le développement de modèles et de moyens expérimentaux spécifiques pour comprendre et maîtriser : les processus d'endommagement, d usure et de frottement des composants mécaniques et de leurs interfaces sous sollicitations sévères et complexes, les performances dynamiques des composants et systèmes mécaniques, le contrôle des réponses dynamiques des systèmes mécaniques complexe, Les mots clés principaux associés à l'activité du laboratoire sont : Mécanique ; Dynamique ; Tribologie ; Endommagement ; Frottement ; Contrôle actif ; Contrôle passif ; Interactions ; Machine Tournante ; Plasturgie ; Biomécanique ; Rupture ; Eléments finis ; Usure ; Elastohydrodynamique ; Simulation numérique ; Mise en forme ; Fatigue ; Lubrification ; Mécanismes ; Engrenages ; Paliers ; Crash ; Composites ; Métaux ; Soudage Structure du laboratoire La recherche s appuie sur 4 équipes assistées d une équipe d appui fonctionnel : Equipe Tribologie et de Mécanique des Interfaces (TMI). Equipe Mécanique des Solides et Endommagements (MSE), qui accueille la thèse. 34/42

35 L objectif est d'expliquer et de prévoir le comportement, les endommagements et les ruptures dans les pièces mécaniques soumises à des sollicitations extrêmes, en cours d élaboration ou en service. Equipe Systèmes Mécaniques et Contacts (SMC) Equipe Modèles et Contrôles en Dynamique des Structures (MCDS) Le personnel permanent impliqué dans le projet, en dehors du soutien logistique au développement effectué par le doctorant, se compose de : Alain COMBESCURE Professeur INSA de Classe Exceptionnelle Ancien élève de l'ecole Polytechnique (promotion 1970), ingénieur civil des Mines de Paris (1973). Habilitation à diriger les recherches en janvier 1995 Directeur du LaMCoS (UMR CNRS 5514 puis UMR CNRS 5259 depuis 2007) depuis Il dirige de nombreuses activités de recherche dans les thématiques suivantes : instabilités de structure, mécanique de la rupture, dynamique transitoire PERTINENCE DU PARTENARIAT Comme évoqué précédemment, le partenariat proposé dans le cadre du présent projet s'appuie majoritairement sur un consortium existant et fonctionnel depuis CEA, EDF et ONERA sont associés au devenir du code et un projet ambitieux sur la modernisation du solveur, en lien avec ses applications les plus exigeantes, les implique logiquement tous les trois. Le CEA pilote le projet en tant que copropriétaire du code et développeur original. En ce qui concerne la collaboration de l'inria, via le LIG, le pilote du projet souhaite disposer d'une expertise de haut niveau en matière d'algorithmique parallèle pour aider à la définition et valider les options de développement intervenant dans le projet. De plus, la présence de ce partenaire permet d'intégrer dans le projet une composante de recherche en algorithmique parallèle qui présente potentiellement une forte valeur ajoutée, pour les retombées du projet vers le monde académique et pour le passage à l'échelle d'europlexus sur les architectures de pointe. Enfin, le laboratoire LaMCoS est un partenaire universitaire fréquemment associé à la R&D effectuée avec EUROPLEXUS, comme en témoignent de nombreuses thèses réalisées ou en cours de réalisation avec différents membres du consortium EUROPLEXUS 9. La 9 Parmi les travaux les plus récents : 35/42

36 collaboration, reposant sur la mise à disposition des doctorants d'un outil leur permettant de valider les modélisations et les méthodes numériques sur des cas significatifs et pour les industriels sur la possibilité de profiter des compétences théoriques et novatrices issues du monde académique, est fonctionnelle et pérenne COMPLEMENTARITE DES PARTENAIRES Les contributions complémentaires des membres du consortium EUROPLEXUS au projet peuvent se résumer comme suit : CEA : Expérience pour le développement en profondeur d'europlexus, pour la définition et l'optimisation d'algorithmes de résolution, et pour la mise en œuvre du code sur des cas relatifs aux systèmes du nucléaire, EDF-LaMSID : Participation au développement (financement de recherche dans le cadre des éléments discrets) et utilisation avancée du code pour des calculs de grande envergure impliquant le parc nucléaire, ONERA : Expertise pour des simulations complexes en dynamique rapide liées au domaine aéronautique (création des modèles, mise en œuvre d'europlexus), nécessitant les modélisations sans maillage pour des calculs avec fluide et structure en interaction, LaMCoS : Lien fort entre recherche académique et industrielle, source d'innovation, à quoi s'ajoute un bénéfice à la formation de jeunes chercheurs par la confrontation avec un outil d'envergure, à même de valider et d'assurer la pérennité de leur recherche. L'INRIA complète le partenariat en tant qu'expert des questions parallèles au niveau algorithmique, indispensable pour organiser le passage à l'échelle d'applications complexes et fortement couplées. Elle ajoute également son orientation innovante vers les architectures les plus récentes et un lien judicieux avec la communauté de la recherche numérique académique QUALIFICATION DU COORDINATEUR DU PROJET Vincent Faucher est le chef de projet opérationnel en charge de l'orientation du développement du code EUROPLEXUS au laboratoire CEA/DEN/DANS/DM2S/SEMT/DYN depuis septembre Développeur des méthodes de réduction modale dans le cadre de l'approche multi-domaines en séquentiel au cours de son travail doctoral, il est le spécialiste Thèse de T. Menouillard "Dynamique Explicite pour la Simulation Numérique de Propagation de Fissures par la Méthode des Eléments Finis Etendus", dirigée par A. Combescure (LaMCos) et encadrée par H. Bung (CEA), soutenue en septembre 2007 Thèse de B. Maurel "Modélisation par la Méthode SPH de l'impact d'un Réservoir rempli de Fluide", dirigée par A. Combescure (LaMCos) et encadrée par S. Potapov (EDF), soutenue en janvier 2008, poursuivie par la thèse de F. Caleyron (cf. 1.5) 36/42

37 pour les questions relatives à la structure de données qui sert de support à l'approche parallèle à mémoire distribuée. Il présente aussi une expérience de trois années (entre 2003 et 2006) dans le développement d'un code industriel concurrent (RADIOSS), avec une implication forte au niveau de la parallélisation orientée vers les machines de type cluster. Dans le cadre de la collaboration entre les partenaires du projet, il anime le Comité Technique du consortium EUROPLEXUS pour les questions relatives au développement et aux dysfonctionnements du programme et le pilotage d'un projet tel que PADRE correspond pleinement à ses attributions vis-à-vis des membres du consortium. 6. JUSTIFICATION SCIENTIFIQUE DES MOYENS DEMANDES 6.1. PARTENAIRE 1 : CEA Equipement Le montant des frais de fonctionnement prévus dans le projet s'élève à 20 k. Ces frais couvrent l acquisition d un machine de développement hybride CPU/GPU pour les travaux en collaboration avec l INRIA (10 k ). Ils prennent également en compte le coût d'une mise en œuvre de tout ou partie des modèles sur les moyens de calcul du CCRT, pour le test du code sur machines massivement parallèles (10 k ). Personnel Le projet prévoit 1.5 homme.an (18 homme.mois) en qualité d'ingénieur-chercheur. Ceci correspond à 50% de l'activité de V. Faucher, soit la totalité de son activité de développement sur la période du projet, à quoi s'ajoute une participation aux études d'évaluation. On y ajoute 0,3 homme.an (3,6 homme.mois) pour les tâches de coordination du projet, pour un total de 1.8 homme.an (21,6 homme.mois). Prestation de service externe Missions Des frais de mission pour un montant de 5 k figurent également dans le coût total du projet. Ils concernent la participation prévue dans le projet à un colloque international. Ils couvrent également les missions occasionnelles chez les divers partenaires, pour des travaux collaboratifs d'une part et dans le cadre par la tâche de pilotage du projet par le CEA d'autre part. 37/42

38 Dépenses justifiées sur une procédure de facturation interne Autres dépenses de fonctionnement 6.2. PARTENAIRE 2 : EDF Equipement EDF ne prévoit pas de dépense d'équipement dans le cadre du projet. Personnel Le projet prévoit la contribution de 0.8 homme.an (10.0 homme.mois), correspondant au travail de S. Moulin pour les tâches d'évaluation des algorithmes parallèles contenues dans les sous-projets 1 et 2, ainsi que pour le suivi de l intégration du module de génération de maillage aux éléments discrets dans la plate-forme SALOME. Missions Un montant de 5 k est prévu pour EDF pour les missions, associées à la collaboration multisite entre les partenaires et à la participation éventuelle à un congrès international PARTENAIRE 3 : LAMSID Equipement Le montant des frais de fonctionnement prévus dans le projet s'élève à 5 k. Ces frais couvrent l achat d un calculateur de développement. Personnel Le projet prévoit la contribution de 1.5 homme.an (18 homme.mois), pour un post-doc (personnel non permanent) en charge des tâches de développement dans la tâche transverse liée à la plate-forme SALOME, ainsi que 0.1 homme.an (0.9 homme.mois) de la part de S. Potapov pour l'encadrement du post-doc au LaMSID et la définition des cas représentatifs pour les tâches d'évaluation des méthodes du sous-projet 3. Missions Comme pour EDF, un montant de 5 k est prévu pour les missions PARTENAIRE 4 : ONERA Equipement L'ONERA ne prévoit pas de dépense d'équipement dans le cadre du projet. 38/42

39 Personnel Le projet prévoit la contribution de 1.8 homme.an (21.6 homme.mois), avec la répartition suivante : 1.2 homme.an (14.4 homme.mois) de la part des ingénieurs-chercheurs R. Ortiz et J. Dupas, pour les calculs complexes d'évaluation Blade shedding et Coup de hydraulique (cf. 1.5), 0.6 homme.an (7.2 homme.mois) de la part de techniciens spécialistes de la CAO et du maillage pour la mise en œuvre des modèles et l'adaptation éventuelle en cours d'étude. Un montant de 18 k est également prévu pour des prestations internes à l'entreprise, représentant les coûts de calcul départementalisés. Missions Un montant de 6 k est prévu pour les missions, pour couvrir les déplacements des personnels impliqués sur les différents sites de réalisation du projet, et la participation éventuelle à un ou plusieurs congrès internationaux PARTENAIRE 5 : INRIA Personnel Un CDD (36 mois ingénieur) permettra de mettre en œuvre, tester et intégrer dans EUROPLEXUS des stratégies de parallélisation performantes. L ingénieur aura une bonne expérience de la programmation, avec des bases de programmation parallèle. Il aura tout particulièrement le rôle d intégration et de stabilisation d algorithmes parallèles dans EUROPLEXUS. Il aura par ailleurs un travail important de liaisons techniques avec les autres partenaires. Il pourra être amené dans ce cadre à effectuer des séjours de plusieurs jours au CEA en particulier. Plus précisément, son travail portera sur les algorithmes parallèles pour la simulation mécanique sur nœuds de calcul multi-cœurs et multi-gpu. Il sera co-encadrée par François Faure (spécialiste en simulation mécanique) et Bruno Raffin (spécialiste en parallélisme). Son travail aura d abord pour objectif d identifier clairement les goulets d étranglement du code actuel et les algorithmes qui pourront être mis en œuvre. Il mènera une veille sur l état de l art, un travail d expérimentation et d analyse des performances des solutions envisagées. Un effort tout particulier sera mené pour développer des parallélisations qui travaillent en harmonie avec la hiérarchie mémoire. Les schémas d accès mémoire sont particulièrement importants pour les calculs sur architectures multi-cœurs et sur GPU. Ce travail se fera en étroite collaboration avec les travaux en cours dans les équipes Moais et Evasion sur les techniques d optimisation des schémas d accès mémoire (cache oblivious) d équilibrage de charge dynamique (processor oblivious), d algorithmes sur GPU pour la simulation mécanique ainsi que de la distribution de tâches sur architecture hybrides 39/42

40 multi-cpu et multi-gpu. En particulier le candidat profitera la première année de l expérience d Everton Hermann, actuellement en thèse avec Bruno Raffin et François Faure, et dont le travail porte sur la parallélisation dynamique d applications de simulation mécanique. Missions Le budget mission permettra à la fois de participer aux réunions liées au projet, des séjours de plusieurs jours au CEA, ainsi que quelques missions pour la présentation d articles liés aux résultats du projet à des conférences internationales Autres dépenses de fonctionnement Les dépenses de fonctionnement serviront essentiellement à l achat de machines pour le CDD ainsi qu à l achat de quelques cartes graphiques pour les expérimentations sur GPU PARTENAIRE 6 : LAMCOS Equipement Le montant des frais de fonctionnement prévus dans le projet s'élève à 10 k. Ces frais couvrent l achat de deux stations de développement, d un PC portable et divers petits achats nécessaires au développement informatique dans le cadre des tâches prévues par le projet. Fonctionnement Le laboratoire accueille le doctorant F. Caleyron à plein temps pendant les 3 années de son contrat doctoral, dont les 2 dernières sont couvertes par le projet. De plus, figure également dans le projet l accueil d un post-doctorant pour une durée d un an. Ceci engendre des frais inhérents aux activités de ce personnel : secrétariat, documentation, fluides, location des locaux à l INSA, frais d impression Ces charges sont forfaitaires et le montant cumulé sur les 3 ans du projet est de 31 k. Personnel Est d une part prévue dans le projet la contribution de 1 homme.an (12 homme.mois) dans le cadre d un contrat post-doctoral (personnel non-permanent) pour la réalisation des travaux de la tâche D2.1, en relation avec la thèse de F.Caleyron. Le projet prévoit d autre part 0.3 homme.an (3.6 homme.mois, soit 10% du temps) au titre de l encadrement de la thèse de F. Caleyron par le Professeur A. Combescure, Professeur des Universités Classe Exceptionnelle. De plus 0.15 homme.an (1.8 homme.mois) d ingénieur d étude informatique sera dépensé pour mettre en place le support nécessaire au développement. 40/42

41 Missions. Des frais de mission pour un montant de 20 k figurent également dans le coût total du projet, relatifs aux déplacements du personnel supporté par le projet. Ils concernent la participation prévue dans le projet à un ou deux colloques internationaux. Ils couvrent également les missions entre Lyon et Saclay pendant 3 ans (une centaine de déplacements pour les deux personnes). 7. ANNEXES 7.1. REFERENCES BIBLIOGRAPHIQUES [R0] EUROPLEXUS Manuel utilisateur [R1] LS-DYNA Theoretical Manual, Livermore Software Technology Corporation, [R2] RADIOSS Theory Manual, Version 5.1, [R3] Programme PLEXUS, Notice théorique, [R4] Explicit Time Step Spatial Partitioning in Nonlinear Transient Dynamics, F. Casadei, J. P. Halleux, ECCOMAS, Rethymno, Crete, Greece, June 2007 (texte disponible sur le site web du consortium EUROPLEXUS). [R5] EUROPLEXUS : A Domain Decomposition Method in Explicit Dynamics, V. Faucher, H. Bung, A. Combescure, Supercomputing in Nuclear Application (SNA), [R6] Local Modal Reduction in Explicit Dynamics with Domain Decomposition. Part 1 : Extension to Subdomains Undergoing Finite Rigid Rotations, V. Faucher, A. Combescure, Int. Jour. for Num. Meth. in Engrg., 2004, 60: [R7] Local Modal Reduction in Explicit Dynamics with Domain Decomposition. Part 2 : Specific Interface Treatment when Modal Subdomains are Involved, V. Faucher, A. Combescure, Int. Jour. for Num. Meth. in Engrg., 2004, 61: [R8] A geometric algorithm for discrete element method to generate composite materials, Discrete Element Group for Hazard Mitigation. J.F.Jerier, F.V.Donzé, D.Imbault, P.Doremus, Annual Report n 4, February [R9] D}eque-free work-optimal parallel {STL} algorithms. Daouda Traore, Jean-Louis Roch, Nicolas Maillard, Thierry Gautier and Julien Bernard, EUROPAR [R10] Work Stealing for Time-constrained Octree Exploration: Application to Real-time 3D Modeling. Luciano Soares, Clément Ménier, Bruno Raffin and Jean-Louis Roch, EGPGV [R11] Processor-oblivious parallel stream computations. Julien Bernard, Jean-Louis Roch and Daouda Traore, 16th Euromicro International Conference on Parallel, Distributed and network-based Processing, /42

42 [R12] A Fast Cache Oblivious Mesh Layout with Theoretical Guarantees. Marc Tchiboukdjian, Vincent Danjean and Bruno Raffin, 1th International Workshop on Super Visualization. [R13] Sofa an open source Framework for médial simulation. MM-VR 15. J. Allard, S Cotin, F. Faure, F. Bensousan, L. Poyer, C. Duriez, H Delingette and L. Grisoni, California, February /42