Vers la simulation numérique d écoulements sanguins

Transcription

1 Vers la simulation numérique d écoulements sanguins Vincent Chabannes Université Joseph Fourier 10 Juin 2010

2 Collaborators C. Prud homme (UJF/LJK) M. Ismail (UJF/LSP) N. Debit (UCB/ICJ) G. Pena (U. Coimbra) Sponsors UJF, Cluster ISLE/CHPID, U. Coimbra

3 Sommaire Introdution Modélisation Dynamique des fluides Modèles de structure Intéraction fluide-structure Méthodes Numériques Méthode d ordre élevé Méthode de la frontière élargie Environnement informatique Langage pour les EDP Plateforme logicielle et architecture matérielle Accélération par GPU Perspectives

4 Introdution Modélisation Dynamique des fluides Modèles de structure Intéraction fluide-structure Méthodes Numériques Méthode d ordre élevé Méthode de la frontière élargie Environnement informatique Langage pour les EDP Plateforme logicielle et architecture matérielle Accélération par GPU Perspectives

5 Motivations Figure: Photo O. K. Baskurt, de Rhéologie des écoulements sanguins Intéraction plasma/paroi artérielle Simulation d un grand nombre de cellules sanguines Organisation spatio-temporelle des entités Transport de masse

6 Objectifs Simulation 3D : Circulation du sang Déformation des artères Déplacement, contact et déformation des globules rouges Méthodes Spectrales : Espace Temps Géométrie Calcul haute performance : Stratégies de décomposition de domaine Architectures parallèles(cpu, GPU) Intégration au langage Feel++

7 Introdution Modélisation Dynamique des fluides Modèles de structure Intéraction fluide-structure Méthodes Numériques Méthode d ordre élevé Méthode de la frontière élargie Environnement informatique Langage pour les EDP Plateforme logicielle et architecture matérielle Accélération par GPU Perspectives

8 Dynamique des fluides Fluide newtonien Equation de Navier-Stokes Fluide non newtonien La viscosité µ dépend du taux de cisaillement γ : µ = F ( γ) Modèles : rhéofluidifiant, à seuil, rhéoépaississant,... Modéles de rhéologie du sang Grandes artères : fluide newtonien Petites artères : fluide rhéofluidifiant

9 Dynamique des fluides dans un domaine fixe Fluide newtonien incompressible ρ v t + ρ(v )v τ + p = f, in Ω (0, T ) (1) v = 0, in Ω (0, T ) (2) B(v, p) = g, on Ω [0, T ] (3)

10 Ω σ t0 Ω σ t0 Dynamique des fluides dans un domaine mobile Ω σ t Ω σ t Ω D t Ωt Ω D t Ω D t Ωt Ω D t Ω σ t Ω σ t Lt At u Ω D t0 Ωt0 Ω D t0 carte ALE ( Arbitrary Lagrangian-Eulerian) : Vitesse du domaine : A t : Ω t0 Ω t Y x w(x, t) = A t(y) t Modification des équations de la dynamique(qdm) v t + [(v w) ]v + p τ = f, in Ω t Y Y

11 Dynamique des fluides dans un domaine mobile Application Σ t Γ w t Entrée parabolique S 1 Sortie sans contrainte Déplacements imposés u Ω t S 2 Vidéo Navier-Stokes ALE

12 Modèles de structure Modèles élastiques Equation de la dynamique des solides : u : le deplacement σ s : tenseur des contraintes d 2 u dt 2 1 ρ 0 σ s = f (4) Elasticité linéaire(loi de Hooke) σ s = λ tr ( ) ɛ u I + 2µɛu ɛ u = 1 2 ( u ) + ( u) T λ et µ : coefficients de Lamé

13 Modèles de structure Hyper-élasticité σ s = F S F = I + u : gradient des déformations S : tenseur de Piola-Kirchhoff 2 caractérisé par une loi de comportement ψ(e) ou ψ(c) E tenseur de Green-Lagrange C tenseur de Cauchy-Green Saint Venant-Kirchhoff : ψ (E) = λ 2 (tre)2 + µ tr (E) 2 Mooney-Rivlin (I i invariants de C) : Autres modèles visco-élastique plasto-élastique ψ (I 1, I 2, I 3 ) = C 1 (I 1 3) + C 2 (I 2 3)

14 Intéraction fluide-structure Couplage des modèles Dynamique des fluides sur Ω t v = v in sur S 1 σ f = 0 sur S 2 S 1 Σ t Γ w t Dynamique des structures sur Σ t u = 0 sur S 1 σ s = 0 sur S 2 Conditions de couplage : u Ω t S 2 v = u sur Γ w t σ s = σ f sur Γ w t Méthodes de couplage Partitionnées Monolithiques

15 Méthode partitionnée de couplage Solveur implicite Prédiction Déplacement du maillage Solveur Fluide Solveur Structure Relaxation (Aitken) Test de convergence

16 100 average number of iterations BDF1 BDF2 BDF3 BDF BDF1 BDF2 BDF3 BDF4 scheme for the fluid t = 0ms Figure: Pressure pulse propagating through the pipe. Fluid discretized with BDF 3 and P 4 P 2 elements, h = 0.2, t = 10 6, no stabilization and tol = For the structure we used BDF 3 and P 1 elements.

17 100 average number of iterations BDF1 BDF2 BDF3 BDF BDF1 BDF2 BDF3 BDF4 scheme for the fluid t = 2ms Figure: Pressure pulse propagating through the pipe. Fluid discretized with BDF 3 and P 4 P 2 elements, h = 0.2, t = 10 6, no stabilization and tol = For the structure we used BDF 3 and P 1 elements.

18 100 average number of iterations BDF1 BDF2 BDF3 BDF BDF1 BDF2 BDF3 BDF4 scheme for the fluid t = 4ms Figure: Pressure pulse propagating through the pipe. Fluid discretized with BDF 3 and P 4 P 2 elements, h = 0.2, t = 10 6, no stabilization and tol = For the structure we used BDF 3 and P 1 elements.

19 100 average number of iterations BDF1 BDF2 BDF3 BDF BDF1 BDF2 BDF3 BDF4 scheme for the fluid t = 6ms Figure: Pressure pulse propagating through the pipe. Fluid discretized with BDF 3 and P 4 P 2 elements, h = 0.2, t = 10 6, no stabilization and tol = For the structure we used BDF 3 and P 1 elements.

20 100 average number of iterations BDF1 BDF2 BDF3 BDF BDF1 BDF2 BDF3 BDF4 scheme for the fluid t = 8ms Figure: Pressure pulse propagating through the pipe. Fluid discretized with BDF 3 and P 4 P 2 elements, h = 0.2, t = 10 6, no stabilization and tol = For the structure we used BDF 3 and P 1 elements.

21 100 average number of iterations BDF1 BDF2 BDF3 BDF BDF1 BDF2 BDF3 BDF4 scheme for the fluid t = 10ms Figure: Pressure pulse propagating through the pipe. Fluid discretized with BDF 3 and P 4 P 2 elements, h = 0.2, t = 10 6, no stabilization and tol = For the structure we used BDF 3 and P 1 elements.

22 Introdution Modélisation Dynamique des fluides Modèles de structure Intéraction fluide-structure Méthodes Numériques Méthode d ordre élevé Méthode de la frontière élargie Environnement informatique Langage pour les EDP Plateforme logicielle et architecture matérielle Accélération par GPU Perspectives

23 Méthodes d ordre élevé (h/p) Bases polynomiales Méthodes des élements spectraux (a) Polynômes de Dubiner (L2-Orthorgonaux) de degré 5 sur des triangles (b) Polynômes de Lagrange de degré 4 sur des quadrangles Espace Temps Géométrie Méthodes h/p Compromis entre h et p Compromis entre précision et performances Feel++(Life) développée au LJK Librairie C++ pour les méthodes de Galerkin généralisée (h/p) en {1,2,3}D

24 Interpolation d ordre élevé Motivations Interpolation entre differents maillages ou espaces de fonction Transfert à l interface de maillages non conformes Calcul des différents opérateurs ( id,grad,...) Applications Couplage multiphysique (FSI) Méthodes des frontières élargies (FBM) Décomposition de domaine

25 p-type convergence. H 1 h-type convergence. L 2 h-type convergence. H 1 p-type convergence. H 1 Interpolation d ordre élevé Projection H 1 Soit u : X h R et f une fonction analytique trouver u X h t.q. : (u, v) H 1 = (f, v) H 1, v X h Validation numérique 10 0 Log-Log 10 0 SemiLogY p-type convergence. L h-type convergence. L h-type convergence. H p-type convergence. L Ndof Ndof

26 Etapes de construction de la carte ALE d ordre élevé Ω σ 0 Ω σ t Ω D 0 Ω0 Ω D 0 Ω D t Ωt Ω D t Ω σ 0 Ω σ t

27 Etapes de construction de la carte ALE d ordre élevé 1. génération d un maillage droit

28 Etapes de construction de la carte ALE d ordre élevé 1. génération d un maillage droit 2. A partir d une description des frontières courbes, on crée une extension harmonique P 1, noté A 1 h

29 Etapes de construction de la carte ALE d ordre élevé 1. génération d un maillage droit 2. A partir d une description des frontières courbes, on crée une extension harmonique P 1, noté A 1 h 3. On projette A 1 h dans un espace P N, noté A N h

30 Etapes de construction de la carte ALE d ordre élevé 1. génération d un maillage droit 2. A partir d une description des frontières courbes, on crée une extension harmonique P 1, noté A 1 h 3. On projette A 1 h dans un espace P N, noté A N h 4. On change la valeur des dofs de A N h pour ajuster la carte sur les frontières courbes Utilisation de la transformation de Gordon-Hall Déplacement des dofs de l arête et de l intérieur de l élément en contact avec la frontière

31 Méthode de la frontière élargie γ γ Tests de la convergence optimale de la méthode Solution analyique non polynomiale Calcul de l erreur H 1 1 h = 0.1 H1 errors (log scale) 0,01 0,0001 P3 FEM Slope ~ 3.11 P4 FEM Slope ~ 3.94 P5 FEM Slope ~ 5.05 P6 FEM Slope ~ 6.05 P7 FEM Slope ~ 7.32 P8 FEM Slope ~ 9.49 H1 error (log scale) e-06 0,01 0,1 h (log scale) p

32 Introdution Modélisation Dynamique des fluides Modèles de structure Intéraction fluide-structure Méthodes Numériques Méthode d ordre élevé Méthode de la frontière élargie Environnement informatique Langage pour les EDP Plateforme logicielle et architecture matérielle Accélération par GPU Perspectives

33 Langage pour les EDP Programmation générative : permet de dissocier la complexité de haut niveau et de faible niveau. Numerical Methods Best expressivity using high level language Physical Models Numerical Methods Best expressivity using high level language Physical Models Express Complexity of Scientific Computing Software Domain Complexity Specific of Scientific Embedded Computing Language Software for Galerkin Methods Generate Computer Science Best performance using low level language Algebraic Methods Computer Science Best performance using low level language Algebraic Methods

34 Example de DSEL : Feel++ Code pour Navier-Stokes αv w + 2µD(v) : D(w) + β v w w p + v q Ω auto def = 0.5 ( grad ( v ) + t r a n s ( grad ( v ) ) ) ; auto deft = 0.5 ( gradt ( u ) + trans ( gradt ( u ) ) ) ; form2 ( Xh, Xh, M) = i n t e g r a t e ( elements ( Xh >mesh ( ) ), IM, alpha t r a n s ( i d t ( u )) i d ( v ) nu t r a c e ( t r a n s ( d e f t ) def ) + t r a n s ( gradt ( u) i d v ( beta )) i d ( v ) d i v ( v ) i d t ( p ) + d i v t ( u) i d ( q ) ) ; Interpolation : integration transparente dans le language Γ s 1 2 ( u + ( u) T ) N auto Xh s p a c e _ f l u i d : : New( mesh_fluid ) ; auto U( Xh, " u " ) ; integrate ( markedfaces ( mesh_struct, " interface " ), 0.5 ( gradv (U)+ t r a n s ( gradv (U) ) ) N( ) ). evaluate ( ) ;

35 Plateforme logicielle et architecture matérielle Feel++ Plateforme de travail collaboratif : LJK Forge Plateforme de tests : CDash Tests informatiques Tests mathématiques Chaine logicielle : gmsh, petsc, trilinos, boost, paraview, openturns... Disponible sur Debian Science (Bientôt Ubuntu) Exploitation des architectures CPU Parallélisation de type MPI Portage sur des grilles de calcul GPU Massivement parallèle Grande puissance de calcul vectoriel

36 Accélération par GPU Problème Trouver u Xh N t.q. u v + uv = fv, v Xh N (5) Ω Ω Ω où Xh N de degré N est un espace de fonctions polynomiales par morceau u = N dof i=1 u i Φ i Après discrétisation, (5) peut d écrire sous la forme d un sytème linéaire A x = b (6) Objectif Accélérer le calcul de la matrice A

37 Accélération par GPU Assemblage Global Construction à l aide des matrices élémentaires de masse et de raideur Assemblage local Matrice dense de taille N localdof Construction par la technique de l élément de référence Temps de calcul liée à la complexité des équations Indépendance des calculs de chaque composante Stratégie Répartition du calcul de chaque composante sur un processeur du GPU

38 Accélération par GPU ŷ Transformation géométrique ˆx 3 ˆx 6 ˆx 1 ˆx 5 ˆK ˆx 4 ˆx2 ϕ K (ˆx) ϕ 1 K (x) ˆx y x6 x 1 x 3 K x 4 x 5 x2 x Soit L i la base de Lagrange t.q. L i (ˆx j ) = δ ij, i, j [ 1, Ng K ]] Ng K x = ϕ K (ˆx) = x i L i (ˆx) Transformation linéaire ˆx = ϕ 1 K (x) implique la résolution d un système linéaire Transformations d ordre élevé ˆx = ϕ 1 K (x) implique la résolution d un système non linéaire Définition sur l élément de référence i=1 u = N dof i=1 u i Φ i = K N localdof i=1 u i ˆΦi ϕ 1 K

39 Accélération par GPU Matrice de masse élémentaire N q M(i, j) = Φ i (x)φ j (x)dx = w q ˆΦi (ˆx q ) ˆΦ j (ˆx q ) J K q=1 Matrice de raideur élémentaire M(i, j) = Ñ q q=1 ( )] [ ( )] w q [( ˆx ϕ K ) T ˆx ˆφi ( ˆx q) ( ˆx ϕ K ) T ˆx ˆφj ( ˆx q) J

40 Accélération par GPU Mémoires des GPU dimgridy y Bxy T 00 T 01 T 02 T 03 T 04 T 10 T 11 T 12 T 13 T 14 T 20 T 21 T 22 T 23 T 24 T 30 T 31 T 32 T 33 T 34 T 40 T 41 T 42 T 43 T 44 Mémoire globale : accessible par tous les proc du GPU accessible par l hote (CPU) dimblocy dimblocx x Mémoire partagée : défini sur chaque bloc accès très rapide dimgridx Topologies des processus La taille des blocs dépend de l architecture matérielle et du programme parallele => Trouver le choix optimal Communications CPU/GPU Très couteux : à minimiser Capacité limité : envoi par paquets

41 Influence du degré d interpolation Secondes CPU GPU Speed Up(CPU/GPU) N Figure: d=2, Nel=10000, TailleBloc=6 N CPU GPU Speed Up CPU GPU Speed Up(CPU/GPU) 10 2 Secondes N N CPU GPU Speed Up Figure: d=3, Nel=10000, TailleBloc=6

42 Influence de la taille des blocs Secondes N CPU GPU Speed Up(CPU/GPU) Taille CPU GPU Speed Up Figure: d=2, N=8, Nel=1000 Secondes N CPU GPU Speed Up(CPU/GPU) Taille CPU GPU Speed Up Figure: d=3, N=6, Nel=200

43 Influence du nombre d élément Secondes 10 2 CPU GPU Speed Up(CPU/GPU) Nel Nel CPU GPU Speed Up inf Figure: d=2, N=8 Secondes CPU GPU Speed Up(CPU/GPU) Nel CPU GPU Speed Up Nel Figure: d=3, N=8

44 Accélération par GPU FBM GPU 0 GPU 1 CPU 1 GPU 2 GPU 3 GPU 4 GPU 5

45 Introdution Modélisation Dynamique des fluides Modèles de structure Intéraction fluide-structure Méthodes Numériques Méthode d ordre élevé Méthode de la frontière élargie Environnement informatique Langage pour les EDP Plateforme logicielle et architecture matérielle Accélération par GPU Perspectives

46 Perspectives Prochaines étapes Validation de la FBM pour des géométries d ordre élevé Fluide-Structure 3D Nouvelle méthode pour la construction de la carte ALE Parallélisation Recherche de collaborations Modèles Données Benchmarks