Parallélisme et bioinformatique

Transcription

1 Master EGOIST - Rouen

2 Plan Généralités

3 Plan Généralités 1 Généralités 2

4 Généralités

5 La science informatique n est pas plus la science des ordinateurs que l astronomie n est celle des télescopes (ou la biologie celle des séquenceurs)

6 informatique : science des modèles computables

7 Pourquoi le parallélisme? Principe effectuer à plusieurs ce qu un seul aurait du mal à faire comprendre et analyser le travail à effectuer, connaître et analyser les ressources disponibles, diviser le travail en tâches, répartir ces tâches entre les ressources de manière adéquate.

8 Pourquoi le parallélisme? Objectif : calculer, traiter les données... plus vite, plus gros et différemment Calculs numériques. Vérification/validation de modèles. Simulations.

9 Qui utilise le parallélisme? milieux de la recherche académique et industrielle milieux économiques et industriels société civile, services publics vous!

10 Milieux de la recherche et du développement Infrastructure à plusieurs niveaux : internationale : Globus, BOINC (Berkeley Open Infrastructure for Network Computing), etc. nationale : centre de calcul CINES, IDRIS, CEA, etc. régionale : CALMIP, CICG, CRIHAN, etc. locale : laboratoires, réseaux de stations, grappes de PCs (ID-IMAG). Applications : physique nucléaire, mécanique céleste, biologie moléculaire, chimie de synthèse, mathématiques, informatique, télécommunications, histoire, géographie, sociologie...

11 Physique des particules Large Hadron Collider principe : générer des collisions entre particules (événements) enregistrer puis traiter ces informations, volumes extraordinaires : 15 Petaoctets par an, utilisation de machines réparties dans la monde entier

12 Milieux économiques et industriels industrie pharmaceutique, industrie automobile, bâtiment et habitat, transport et logistique, banque et marchés financiers, assurance, aéronautique, secteur agroalimentaire, secteur médical, cinéma, etc.

13 Industrie aéronautique et spatiale vérification des procédures de fonctionnement (Ariane) étude des turbulences, calculs de profils d ailes. Onera : image des interactions entre les tourbillons en bout d aile et les turbulences résultant de la propulsion. Calcul réalisé sur NEC SX5 et NEC-SX6 :

14 Industrie automobile Généralités crash-tests virtuels chez un constructeur automobile :

15 Industrie automobile Généralités Principe : définition des caractéristiques mécaniques du véhicule modélisation en 3D (maillage) modélisation mathématique/mécanique des processus de déformation simulation de la dynamique de déformation des éléments

16 Industrie automobile Généralités

17 Industrie pétrolière Généralités conception d outils de forage pour l industrie pétrolière et minière : l outil (trépan carottier) doit répondre au mieux aux exigences des compagnies pétrolières. code de simulation hydraulique parallèle réduit la durée de simulation de 20 à 7 jours et augmente la vitesse d avancement des outils étudiés (d environ 40 %).

18 Secteur du bâtiment, de l habitat vente par internet : conception/aménagement en ligne et visualisation de décors 3D principe : le calcul est déporté sur un environnement parallèle et le résultat sous forme d image est renvoyé au client

19 Industrie du jeu et secteur des loisirs Production d images de synthèse pour films et jeux vidéos : premières images de synthèse intégrées dans des vues réelles (Jurassic Park) 1995 : Toy Story premier film entièrement en images de synthèse.

20 Industrie du jeu et secteur des loisirs District 9 Imagine Engine Design Inc. de Vancouver, Canada, a géré les effets spéciaux de District 9, qui intègre une course d extraterrestres dans un documentaire naturaliste qui se déroule à Johannesbourg, en Afrique du Sud. La société a déployé près de 100 cartes graphiques professionnelles NVIDIA Quadro dans ses stations Linux pour produire chaque plan d extraterrestre du film. [

21 Services publics : énergies gestion et production d énergie : EDF : gestion du réseau, fonctionnement de certains éléments des centrales nucléaires... prévisions météorologiques :

22 Services publics : Météo France Modèle opérationnel Arpège (1998), nombre de variables à traiter est Nv = 2, quatre variables à trois dimensions x 31 niveaux x 600 x 300 points sur l horizontale et une variable à deux dimensions x 600 x 300 points sur l horizontale, le nombre de calculs à effectuer pour une variable est Nc = le nombre de pas de temps pour réaliser une prévision à 24 heures d échéance est Nt = 96 (pas de temps de 15 minutes).

23 Météo France Généralités Les calculs étant effectués sur l ordinateur Fujitsu VPP700 crédité d une vitesse de calcul R atteignant 20 gigaflops (20 milliards d opérations flottantes par seconde) le temps T nécessaire pour obtenir une prévision à 24 heures d échéance est un peu inférieur à un quart d heure.

24 Qui utilise le parallélisme? Météo France Météo-France a acheté en 2008 un NEC SX-8R qui délivre une puissance crête de 35.2 Tflops.

25 Qui utilise le parallélisme? Calculer plus vite : en théorie, le même calcul : 1 seconde Calculer plus gros : nouveau modèle Arome passage d une maille de 10km à une maille de 2.5 km Calculer différemment : possibilité de calculer des événements plus localisés et ponctuels : pluies torrentielles, orages violents, brouillard, etc. [http ://

26 Société civile : aménagement du territoire simulation pour réaménagement d un centre ville, construction d une ligne de tramway

27 Vous? Généralités Au coeur de vos ordinateurs : pour le calcule : utilisation de processeurs dits multi-coeurs : multicore (x10) pour la visuation : en plus du CPU, les ordinateurs sont équipés de GPU Graphics Processing Unit : manycores (x100), de véritables machines parallèles sur un circuit

28

29 Généralités : les pionniers : explosion des architectures : extinction massive : l ère des géants 2010 : les hybrides

30 Les pionniers (1950s-70s) Difficulté première, la mise en oeuvre du matériel. Challenge : augmenter le ratio fonctionnement/maintenance. ILLIAC IV : quelques heures de calcul/quelques semaines de maintenance. Les premiers grands noms du parallélisme apparaissent et avec eux, les premiers grands principes : vectorisation, techniques de pipeline, temps partagé, multiprogrammation... Amdahl : IBM 701, 704, 709. Seymour Cray : Control Data Corporation.

31 Les machines Généralités CDC6600 (1964) : unités de calcul en parallèle, 10MHz, 2Mo, 9 MFlops CDC7600 (1969) : équivalent à 10 CDC6600 : 40 MFlops

32 Ces années-là Généralités transistor sur base de silicium (Texas Instrument ) premier disque dur (1957) premier compilateur fortran (1957) algol ( ). Algorithmic language - récursivité. Voici un langage très en avance de son temps, il n a pas seulement été une amélioration de ses prédécesseurs mais aussi une amélioration de presque tous ses successeurs. Bull : Gamma 60. Première machine multiprocesseurs française. interface RS-232 (1966) technologie CMOS (Texas Instrument ) ARPANET (ancêtre d Internet ) Unix (1970)

33 Le temps de l exubérance (1970s-80s) Premiers succès commerciaux. Apparition de multiples constructeurs : Thinking Machine Corporation ( ), Sequent ( ), Telmat ( ), Archipel ( ), Parsytec ( ), Kendall Square Research ( ), Meiko ( ), BBN ( ), Digital ( ), IBM, Intel, CRAY ( ), MasPar ( ), Silicon Graphics ( ), Sun, Fujitsu, Nec. Offre importante et exotique : Connection Machine 1 : hypercube de processeurs. Problèmes majeurs : l offre logicielle et le prix. étape suivante : machines abordables et utilisables.

34 Les machines Généralités Cray-1 (1975), Cray X-MP (1982) : 2 à 4 processeurs, Cray-2 (1983) : 8 processeurs, Cray Y-MP (1989). Hitachi S-810/820. Fujitsu VP200/VP400. Convex C-1. Nec SX-1/2. Connection Machine processeurs. Topologie : hypercube. Intel ipsc/1 128 processeurs. Topologie : grille.

35 Les machines Généralités Illiac IV (Burrough CRAY MHz, 8 Mo, 160 MFlops

36 Les machines Généralités

37 Ces années-là Généralités Langage pascal (Wirth ) Ray-Tomlinson : premier (1972) composants sur 1 cm 2 (1975). premier réseau local : Datapoint système ARC (1976). fibre optique (1977). Support d Ethernet par les principaux constructeurs (1979). Paterson - Hennessy : concept des processeurs RISC (1980) Tim Berners-Lee : projet World Wide Web au CERN (1989).

38 Environnements (1990s) Difficultés bien identifiées : routage, ordonnancement... parallélisme automatique très limité conception d outils d aide à la parallélisation : Hypertool, Pyrros, ParaRex, Adam, Apache... Autre problème : ratio prix/durée de vie d une machine parallèle extrêmement élevé. solution apportée par PVM : utiliser des réseaux locaux de stations de travail pour faire du calcul parallèle. Constructeurs machines parallèles réseaux de stations de travail intégrés.

39 Les machines Généralités Nec SX-3 (1991). Fujitsu VP-2600 (1991). CM-5 (1992). Topologie : fat-tree. Cray T3D (1993). Jusqu à 512 processeurs. Topologie : tore 3D. ASCI Red, et Blue ( ).

40 Les machines Généralités

41 Ces années-là Généralités Microsoft Windows 3.0 (1990), Windows 95, Windows 98 PVM (1991). premier site web au CERN (1991) Altavista (premier moteur de recherche) 15 millions de pages web (1995) création de Linux par Linus Torvald création de Yahoo! (1995) annonce officielle de java (1995) Netscape à partir de NCSA Mosaic (1994). IBM Deep Blue bat Gary Kasparov (1997) mise en ligne du moteur google (1997) premier GPU (Nvidia GeForce 256) (1999) passage à l euro

42 L ère des Géants : les Grilles Depuis les milieu des années 90. Constat : les matériels sont la plupart du temps peu et sous-utilisés. Idée : utiliser ces matériels dont le nombre est énorme, Principe : des milliards de calculs indépendants effectués sur les PCs de volontaires. Précurseur : le projet Seti@Home

43 L ère des Géants : les Grilles Grilles de calcul. meta-computing. Principe de base : offrir un service tel qu il est offert par les producteurs d énergie : Electric Power Grid Computational Grid Objectif : brancher le cable réseau du PC pour utiliser de la puissance de calcul comme on branche une prise de courant pour utiliser de l électricité. Grille de calcul = capacités de calcul + capacités de stockage + disponibilité + interactions

44 L ère des Géants : les Grilles Eléments fondamentaux : partage de ressources (calcul + stockage) existence d un réseau d interconnexion mondial (Internet) calcul distribué/parallèle Contraintes : confidentialité : accès sécurisé gestion : partage de ressources performance : équilibrage de charge

45 L ère des Géants : les Grilles Grille Ressources de calcul et de stockage Réseaux Applications Intergiciel : coordination de l ensemble : authentification et confidentialité, stockage, répartition de charge, maintenance, etc. Cloud Computing évolution du grid computing portail unique Google, Amazon, IBM Blue Cloud, Intel+HP+Yahoo, etc.

46 L ère des Géants : les Grappes Depuis les milieu des années 90. Idée des grilles de calcul intéressante mais... Constat : les communications pénalisent une bonne utilisation. Remède : construire des réseaux locaux de grandes dimensions. Grappes de machines (clusters of machines).

47 L ère des Géants : les machines 1 BlueGene/L. IBM. US. 280 TFlops processeurs. 2 Red Storm. Cray Inc. US. 101 TFlops processeurs. 3 Blue Gene. IBM. US. 91 TFlops processeurs. 4 ASC Purple. IBM. US. 91 TFlops. 75 TFlops processeurs. 5 BladeCenter. IBM. Espagne. 62 TFlops processeurs. 6 Thunderbird. Dell. US. 53 TFlops processeurs. 7 Tera-10. Bull SA. CEA France. 52 TFlops processeurs.

48 Généralités L ère des Géants : les machines

49 Les hybrides Généralités Depuis le milieu des années Constat : le parallélisme a été bien maîtrisé, passons à l intégration à grande échelle Idée : intégré le parallélisme au sein des unités de calcul (processeurs multicores) et graphiques (GPU et GPGPU) Extension : construisons des environnements parallèles qui utilisent ces technologies

50 Les machines Généralités

51 Puissance 2007 Généralités 1 BlueGene/L. IBM. US. 280 TFlops processeurs. 2 Red Storm. Cray Inc. US. 101 TFlops processeurs. 3 Blue Gene. IBM. US. 91 TFlops processeurs. 4 ASC Purple. IBM. US. 91 TFlops. 75 TFlops processeurs. 5 BladeCenter. IBM. Espagne. 62 TFlops processeurs. 6 Thunderbird. Dell. US. 53 TFlops processeurs. 7 Tera-10. Bull SA. CEA France. 52 TFlops processeurs.

52 Puissance 2008 Généralités 1 Roadrunner IBM. Los Alamos DOE US TFlops processeurs. Nucléaire, armement, sécurité. 2 Jaguar Cray Inc. DOE US TFlops processeurs. 3 Pléïades SGI. NASA US. 487 TFlops processeurs. 4 BlueGene/L. IBM. US. 478 TFlops processeurs. 5 (9) Red Storm. Cray Inc. US. 204 TFlops processeurs. 6 (14) Jade SGI CINES FRANCE 128 TFlops processeurs. 7 (54) Tera-10. Bull SA. CEA France. 52 TFlops processeurs.

53 Puissance 2012 Généralités 1 K Computer Fujitsu (Japon) PFlops. Sparc cores. Linux 2 Tianhe 1A NUDT (Chine). 2.5 PFlops. Xeon+NVidia cores. Linux 3 Jaguar CRAY XT5 (USA) PFlops. AMD Opteron cores. Linux 4 Nebulae Dawning TC3600 (Chine) PFlops. Xeon+NVidia cores. Linux 5 Tsubame (NEC/HP). 1.2 PFlops. Xeon+NVidia cores. Linux

54 Les systèmes Généralités Système % (2007) % (2011) Linux Unix 15 6 Mixed BSD Based Mac OS Windows 0 0.2

55 Bilan? Généralités Toujours plus l augmentation de puissance ne connait pas de répit machines parallèles processeurs et GPU machines parallèles nombre de coeurs explose mobilité augmente : le terminal devient une interface mais... consommation électrique de plus en plus importante confidentialité/données personnelles : enjeu critique

56 Le parallélisme dans le domaine de la biologie

57 et parallélisme Motivations bioinformatique : collecte, stockage, classification, traitement et analyse des données biologiques biologie génère des volumes énormes de données problèmes modélisés sont difficiles (solutions approchées) approches gourmandes en calcul (simulations)

58 Sciences de la vie : applications domaine médical et pharmaceutique distinguer les processus entre états (santé/maladie) dépister/comprendre les maladies génétiques (SNPs) découvrir/conception et développer de nouveaux médicaments

59 Sciences de la vie : applications Prédiction de structures de protéines à partir de séquences ou de séquences à partir de données structurelles. Interactions protéine-protéine, protéine-adn, etc. Site d interaction entre la protéase et son inhibiteur Carte des potentiels. En bleu le minimum

60 : quelques problèmes Assemblage, annotation du génome. Imagerie médicales. Simulations cellulaires. Analyses transcriptomes. Simulation de réseaux d interactions.

61 Apport essentiel du HPC seuils de réalisme en deça desquels les résultats de simulation perdent de leur pertinence détails permettent de capturer la dynamique des systèmes étudiés et simulés Simulations peuvent reproduire des phénomènes inexpliqués et prédire des résultats à confirmer par des expérimentations

62 Apport essentiel du HPC Protein Folding Brooks et al. ont découvert une faible portion de structures hélicoïdales (en dessous des limites de détection expérimentale) qui apparaîtraient dans la dynamique des protéines non encore repliées, mais qui serviraient de germe de départ pour le repliement. http ://

63 Quelles entreprises? Celera Genomics A propos d un partenariat avec Compaq en 2001 : Celera s current resource is a massively parallel Compaq Alpha processor farm of approximatly 1000 processors that was heavily used for assembling the human genome. However, annotating these genomes is expected to require even greater resources, and the post-genomic problem of proteomics is anticipated to be up to 1000-fold more computationally demanding.

64 Quelles entreprises? GeneBio éditeur de logiciels de bioinformatique (Genève)). A propos de la conception de son outil Phenyx en 2006 : "Phenyx was designed for industrial use and massive scalability, and thus can accommodate both small and large cluster environments. Incyte Genomics Toronto, Incyte Genomics will use Platform LSF and Platform Analyzer to manage its 1200 CPU Linux and Unix compute farm.

65 Quelles entreprises? Hopitaux Cedars-Sinai Medical Center, one of the largest academic medical centres in the Western United States, has been recognized for having one of the 500 most powerful computers in the world. Cedars-Sinai s supercomputer is designed to analyse blood proteins from cancer cells and provide information that will allow researchers to more accurately predict how cancer patients will respond to specific treatments.

66 Quels futurs? Généralités Simulation. Challenges Comprendre le fonctionnement des réseaux d interactions. Modéliser puis simuler le fonctionnement de la cellule. Quotidiennement utilisation industrielle de l outil HPC pour les besoins quotidiens de biologistes : Analyse d images (électrophorèse 2D) Alignement multiple (clustalw) Blast, fasta...

67 Grilles et biologie GenoGrid : grille expérimentale pour la génomique. Rugbi : Réalisation et Utilisation d une Grille pour la Bio-Informatique. Grille d exploitation pour les sociétés de bio-technologies. EGEE : enabling grids for e-science CPU et 10 Po d espace de stockage. Volet applications médicales (essentiellement docking et images). BioGrid (volet bioinfo du projet EuroGrid). HealthGrid. http ://

68 Grilles et biologie TeraGrid : plusieurs passerelles (gateways) ont un rapport direct avec la biologie. Parmi les projets traités Molecular phylogeny and microbial genome annotation. SHARCNET - Shared Hierarchical Academic Research Computing Network consisting of 14 academic institutions in South Central Ontario. Total CPU performance of 5423 gflops. European DataGrid - Funded by European Union. At its largest was comprised of 25 sites in Europe, Russia and Taiwan with over 1000 processors. Concluded March Grid 5000

69 Références le livre de Ian Foster en ligne quelques ouvrages de bioinformatique parallèle