Le GPU dans les sciences du vivant et de la santé

Transcription

1 Le GPU dans les sciences du vivant et de la santé étude de cas en cryomicroscopie électronique Julien Bert Laboratory of Medical Information Processing LaTIM - INSERM U650 CHU Brest, France 1

2 Le plan Introduction : imagerie médicale biologie moléculaire Etude de cas en cryomicroscopie électronique algorithme K-means implémentation GPU via CUBLAS implémentation multi-cpu/gpu Conclusions 2

3 Reconstruction Jens Langner [Schneider and Westermann 2003] ATI 9700 IRM de diffusion (faisceaux de matière blanche) Université de Fribourg [McGraw and Nadar 2007] NVIDIA GeForce 8800 GTX 768 MB 256x256x256 voxels, x20 [Pratx et al. 2009] NVIDIA GeForce 8800 GT x50 Schneider, J. & Westermann, R., IEEE Visualization, 2003, McGraw, T. & Nadar, M., IEEE Transactions on Visualization and Computer Graphics, 2007, 13, Pratx, G.; Chinn, G.; Olcott, P. D. & Levin, C. S. IEEE Transactions on Medical Imaging, 2009, 28,

4 Visualisation [Kruger and Westermann 2003] ATI 9700, x17 Scanner rayon X, 256x256x256 voxels [Kratz et al. 2006] NVIDIA GeForce Quadro FX 3400/4400 Scanner rayon X, 512x512x1112 voxels [Stuart et al. 2010] NVIDIA Tesla C1090 (8 GPUs) Scanner rayon X, 1024x1024x1024 voxels Kruger, J. & Westermann, R., IEEE Visualization, 2003, Kratz, A.; Hadwiger, M.; Fuhrmann, A.; Splechtna, R. & Bhler, K. International workshop on Augmented environments for Medical Imaging and Computer-aided Surgery, 2006, 1-7 4

5 Recalage et segmentation [Ansorge et al. 2009] NVIDIA GTX285 Scanner rayon X et TEP [Chen et al. 2008] NVIDIA GeForce 8800 GTX MB IRM, 256x256x256 voxels Ansorge, R. CUDA Textures and Image Registration University of Cambridge, 2009 Chen, H.-L. J.; Samavati, F. F. & Sousa, M. C., The Visual Computer, 2008, 24,

6 Simulation et Réalité augmentée [Melchionna et al. 2009] Multi GPU NVIDIA GT 200 Artère coronaire 512x512x512 voxels [Kutter et al. 2008] NVIDIA GeForce 8800 Ultra 768 MB Scanner rayon X, thorax 256x368x261 voxels, 30 FPS Melchionna, S.; Kaxiras, E.; Bernaschi, M. & Succi, S., EPFL Flash Informatique, 2009, Kutter, O.; Aichert, A.; Bichlmeier, C.; Traub, J.; Heining, S. M.; Ockert, B.; Euler, E. & Navab, N. International workshop on Augmented environments for Medical Imaging and 6 Computer-aided Surgery, 2008,

7 Biologie Moléculaire [Sinnott-Armstrong et al. 2009] Analyse génétique sur ADN humain Plusieurs NVIDIA GeForce GTX 280 ~ x90 [Langdon and Harrison 2008] Expression des gènes pour le cancer du sein Plusieurs NVIDIA GeForce 8800 GTS ~ x7 Sinnott-Armstrong, N. A.; Greene, C. S.; Cancare, F. & Moore, J. H. BMC Research Notes, 2009, 2, 1-6 Langdon, W. B. & Harrison, A. P. Soft Computing, 2008, 12,

8 Biologie Moléculaire [Tan et al. 2009] NVIDIA GeForce GB x10 [Sukhwani and Herbordt 2009] NVIDIA Tesla C1060 x18 Tan, G.; Guo, Z.; Chen, M. & Meng, D. International Conference on Supercomputing, 2009, Sukhwani, B. & Herbordt, M. C. Proceedings of 2nd Workshop on General Purpose Processing on Graphics Processing Units, 2009,

9 Biologie Moléculaire [Phillips and Stone 2009] Lincoln cluster, 384 GPUs (Tesla S1070) x20 Phillips, J. C. & Stone, J. E., Communications of the ACM, 2009, 52,

10 Le plan Introduction : imagerie médicale biologie moléculaire Etude de cas en cryomicroscopie électronique algorithme K-means implémentation GPU via CUBLAS implémentation multi-cpu/gpu Conclusions 10

11 Cryomicroscopie électronique - principe RNA pol II - densité électronique 11

12 Cryomicroscopie électronique - reconstruction Classification par K-means 2400 images de 32x32 pixels images de 32x32 pixels (4-10 Å) 12

13 Le plan Introduction : imagerie médicale biologie moléculaire Etude de cas en cryomicroscopie électronique algorithme K-means implémentation GPU via CUBLAS implémentation multi-cpu/gpu Conclusions 13

14 K-means - propriétés K groupes, N images 1. Assigne aléatoirement chaque image dans un groupe 2. Calcul la moyenne de chaque groupe 3. Pour chaque image : - Calcul les distances entre image/moyennes - Assigne l image dans le groupe qui a la distance image/moyennes la plus faible 4. Calcul la nouvelle moyenne 5. Si une des images a changé de groupe retour à l étape 3. K moyennes, affectation de N images Algorithme itératif simple Complexité O(n) Simple paramètre K Converge dans un minimum local Classification dépend de l initialisation Similarité par la norme L2 (Carré de la distance Euclidienne) 14

15 K-means - propriétés K groupes, N images 1. Assigne aléatoirement chaque image dans un groupe 2. Calcul la moyenne de chaque groupe 3. Pour chaque image : - Calcul les distances entre image/moyennes - Assigne l image dans le groupe qui a la distance image/moyennes la plus faible 4. Calcul la nouvelle moyenne 5. Si une des images a changé de groupe retour à l étape 3. K moyennes, affectation de N images Algorithme itératif simple Complexité O(n) Simple paramètre K Converge dans un minimum local Classification dépend de l initialisation Similarité par la norme L2 (Carré de la distance Euclidienne) 15

16 K-means - propriétés K groupes, N images 1. Assigne aléatoirement chaque image dans un groupe 2. Calcul la moyenne de chaque groupe 3. Pour chaque image : - Calcul les distances entre image/moyennes - Assigne l image dans le groupe qui a la distance image/moyennes la plus faible 4. Calcul la nouvelle moyenne 5. Si une des images a changé de groupe retour à l étape 3. K moyennes, affectation de N images Algorithme itératif simple Complexité O(n) Simple paramètre K Converge dans un minimum local Classification dépend de l initialisation Similarité par la norme L2 (Carré de la distance Euclidienne) 16

17 K-means - propriétés K groupes, N images 1. Assigne aléatoirement chaque image dans un groupe 2. Calcul la moyenne de chaque groupe 3. Pour chaque image : - Calcul les distances entre image/moyennes - Assigne l image dans le groupe qui a la distance image/moyennes la plus faible 4. Calcul la nouvelle moyenne 5. Si une des images a changé de groupe retour à l étape 3. K moyennes, affectation de N images Algorithme itératif simple Complexité O(n) Simple paramètre K Converge dans un minimum local Classification dépend de l initialisation Similarité par la norme L2 (Carré de la distance Euclidienne) 17

18 K-means - propriétés K groupes, N images 1. Assigne aléatoirement chaque image dans un groupe 2. Calcul la moyenne de chaque groupe 3. Pour chaque image : - Calcul les distances entre image/moyennes - Assigne l image dans le groupe qui a la distance image/moyennes la plus faible 4. Calcul la nouvelle moyenne 5. Si une des images a changé de groupe retour à l étape 3. K moyennes, affectation de N images Algorithme itératif simple Complexité O(n) Simple paramètre K Converge dans un minimum local Classification dépend de l initialisation Similarité par la norme L2 (Carré de la distance Euclidienne) 18

19 K-means - propriétés K groupes, N images 1. Assigne aléatoirement chaque image dans un groupe 2. Calcul la moyenne de chaque groupe 3. Pour chaque image : - Calcul les distances entre image/moyennes - Assigne l image dans le groupe qui a la distance image/moyennes la plus faible 4. Calcul la nouvelle moyenne 5. Si une des images a changé de groupe retour à l étape 3. K moyennes, affectation de N images Algorithme itératif simple Complexité O(n) Simple paramètre K Converge dans un minimum local Classification dépend de l initialisation Similarité par la norme L2 (Carré de la distance Euclidienne) 19

20 K-means - propriétés K groupes, N images 1. Assigne aléatoirement chaque image dans un groupe 2. Calcul la moyenne de chaque groupe 3. Pour chaque image : - Calcul les distances entre image/moyennes - Assigne l image dans le groupe qui a la distance image/moyennes la plus faible 4. Calcul la nouvelle moyenne 5. Si une des images a changé de groupe retour à l étape 3. K moyennes, affectation de N images Algorithme itératif simple Complexité O(n) Simple paramètre K Converge dans un minimum local Classification dépend de l initialisation Similarité par la norme L2 (Carré de la distance Euclidienne) 20

21 K-means - propriétés K groupes, N images 1. Assigne aléatoirement chaque image dans un groupe 2. Calcul la moyenne de chaque groupe 3. Pour chaque image : - Calcul les distances entre image/moyennes - Assigne l image dans le groupe qui a la distance image/moyennes la plus faible 4. Calcul la nouvelle moyenne 5. Si une des images a changé de groupe retour à l étape 3. K moyennes, affectation de N images Algorithme itératif simple Complexité O(n) Simple paramètre K Converge dans un minimum local Classification dépend de l initialisation Similarité par la norme L2 (Carré de la distance Euclidienne) 21

22 K-means - propriétés K groupes, N images 1. Assigne aléatoirement chaque image dans un groupe 2. Calcul la moyenne de chaque groupe 3. Pour chaque image : - Calcul les distances entre image/moyennes - Assigne l image dans le groupe qui a la distance image/moyennes la plus faible 4. Calcul la nouvelle moyenne 5. Si une des images a changé de groupe retour à l étape 3. K moyennes, affectation de N images Algorithme itératif simple Complexité O(n) Simple paramètre K Converge dans un minimum local Classification dépend de l initialisation Similarité par la norme L2 (Carré de la distance Euclidienne) 22

23 K-means - propriétés K groupes, N images 1. Assigne aléatoirement chaque image dans un groupe 2. Calcul la moyenne de chaque groupe 3. Pour chaque image : - Calcul les distances entre image/moyennes - Assigne l image dans le groupe qui a la distance image/moyennes la plus faible 4. Calcul la nouvelle moyenne 5. Si une des images a changé de groupe retour à l étape 3. K moyennes, affectation de N images Algorithme itératif simple Complexité O(n) Simple paramètre K Converge dans un minimum local Classification dépend de l initialisation Similarité par la norme L2 (Carré de la distance Euclidienne) 23

24 K-means - propriétés K groupes, N images 1. Assigne aléatoirement chaque image dans un groupe 2. Calcul la moyenne de chaque groupe 3. Pour chaque image : - Calcul les distances entre image/moyennes - Assigne l image dans le groupe qui a la distance image/moyennes la plus faible 4. Calcul la nouvelle moyenne 5. Si une des images a changé de groupe retour à l étape 3. K moyennes, affectation de N images Algorithme itératif simple Complexité O(n) Simple paramètre K Converge dans un minimum local Classification dépend de l initialisation Similarité par la norme L2 (Carré de la distance Euclidienne) 24

25 Le plan Introduction : imagerie médicale biologie moléculaire Etude de cas en cryomicroscopie électronique algorithme K-means implémentation GPU via CUBLAS implémentation multi-cpu/gpu Conclusions 25

26 K-means - CUBLAS CUBLAS Basic Linear Algebra Subprograms (BLAS) ATLAS LAPACK CUBLAS = CUDA + BLAS NVIDIA CUDA SDK (simplecublas) Level 1 : opération vecteur - vecteur Level 2 : opération matrice - vecteur Level 3 : opération matrice - matrice Exemple avec la fonction simple précision SGEMV level 2: y = alpha * A * x + beta * y 26

27 K-means - GPU - Calcul des distances m d 2 E = (im i moy i ) 2 Kernel?! i m m m d 2 E = im 2 i + moy 2 i 2 im i.moy i i i i opération vecteur - vecteur pour une valeur de distance D 2 jk = IM 2 j + MOY 2 j 2[IM MOY T ] jk opération matrice - matrice pour toutes les distances CUBLAS SGEMM level 3 C αop(a)op(b)+βc 27

28 K-means - GPU - Séquence d implémentation CPU GPU 491 Mo Lecture des images images de 32x32 pixels 491 Mo Pré-calcul IM Mo Itérations Calcul des moyennes Pré-calcul 496 Mo MOY images de 32x32 pixels 9,8 Mo 500 Mo 1,65 Go x éléments Complètes les distances Affectation 1,15 Go Pré-calcul toutes les distances en une opération IM x MOY 1,65 Go Convergence!! Bénéfice entre CPU/GPU!! 28

29 K-means - GPU - implémentation Initialisation Pré-calcul la somme de chaque image au carré Assigne aléatoirement les images dans un groupe Allocation mémoire - Host et Device IM 2 Transfert des images du PC à la carte graphique Calcul des moyennes Accumulation (N x m) Division (K x m) MOY 2 29

30 K-means - GPU - implémentation Pré-calcul des distances C αop(a)op(b)+βc cublassgemm( op(a), op(b), nb lignes op(a), nb colonnes op(b), nb colonnes op(a), alpha, A, lda, B, ldb, beta, C, ldc) m K T x m N = K N MOY T x IM = D 30

31 K-means - GPU - implémentation Calcul des distances finales et affectation des images Libère l espace mémoire et quitte 31

32 K-means - GPU - résultats Matériels : Tesla C SPs - 4 GB - 1,3 GHz GFLOPS Intel Quad Xeon E5520 Nehalem 4 coeurs - 2,26 GHz - 64 bits - 8MB cache - 36,16 GFLOPS RAM - 12 MB Environnement : Mac OS x - Leopard (développement) GNU/Linux - RedHat (exécution) Haut niveau - Python (prototypage, flexibilité) Bas niveau - C / CUDA (noyau rapide) Jeu de données : images de 32x32 pixels (vecteur de 1024) groupes Type Temps par itération Gain de rapidité 1 CPU 2423 s (40 min) 1 CPU + 1 GPU 10,6 s x 228! 32

33 Le plan Introduction : imagerie médicale biologie moléculaire Etude de cas en cryomicroscopie électronique algorithme K-means implémentation GPU via CUBLAS implémentation multi-cpu/gpu Conclusions 33

34 K-means - multi-cpu/gpu - scalabilité Capacité d une application à fonctionner sur un système plus grand (cluster). Parallèliser un programme : MPI, OpenMP, etc. Calcul distribué - séparé le jeu de données (les images) CPU CPU CPU N / ncpu images (locale) N / ncpu images (locale) N / ncpu images (locale) MPI Moyennes (globales) Moyennes (globales) Moyennes (globales) GPU Distances (locales) GPU Distances (locales) GPU Distances (locales) Affectations (locales) Affectations (locales) Affectations (locales) 34

35 K-means - multi-cpu/gpu - cluster Python/C++ CPU Noeud maître MPI Réseau Ethernet (répertoire partagé) Python/C++ CPU CPU CPU CPU CPU CPU CPU CPU CUDA GPU GPU GPU GPU GPU GPU GPU GPU Noeud 1 Noeud 2... Noeud i 4xU NVIDIA Tesla S1070 Intel Quad Xeon - 2,26 GHz - NVIDIA Tesla S GPUs (240 SPs - 4 GB GFLOPS) 12 GB de RAM GNU/Linux SUSE 35

36 K-means - multi-cpu/gpu - résultats Clusteur CPUs (Ranger) 4 coeurs / noeud Nb de coeurs CPUs Gain de rapidité x 1 x 32 x 64 x 128 x 252 x 444 x 760 Temps 4125 s 129 s 64 s 32 s 16 s 9 s 5 s Ranger - Texas Advanced Computing Center (Austin) : noeuds coeurs Clusteur CPUs/GPUs Nb de CPUs/GPUs Gain de rapidité x 228 x 432 x 692 x 1275 x 1730 Temps 10,6 s 5,6 s 3,5 s 1,9 s 1,4 s 2000,00 Clusteur CPUs/GPUs 1500, ,00 500, ,00 500,00 Clusteur CPUs

37 Conclusions 2 coeurs CPUs + 2 GPUs CPU = 1 x 400 GPU = 2 x 1200 Tot = 2,8 k x coeurs CPUs CPU = 128 x 400 Tot = 51,2 k facteur de gain de x500, Intel Xeon Quad E5520, Tesla C1060 4GB GPU : parallélisation à faible coût dans un seul PC prix 1/10 consommation 1/20 Pour une catégorie d algorithme 37

38 Conclusions Dans un projet : Le GPU ne peut résoudre tous les problèmes scientifiques Toujours une limitation par la communication (scalabilité) Refonte complète de l algo (temps de développement) Attention à l optimisation, recherche de l ordre de grandeur Gain Temps x1 x50 x60 x150 x200 2 j 18 min 80 min 66 min 26 min 20 min Beaucoup de problèmes peuvent être implémentés avec CUBLAS 38

39 Questions? 39