Situation du calcul informatique de pointe en recherche au Canada De concert avec les organisations régionales que sont ACENET, Calcul Québec, Compute Ontario et WestGrid, Calcul Canada favorise une accélération de l innovation scientifique en déployant des systèmes de calcul informatique de pointe (CIP), des installations de stockage et des solutions logicielles. Ensemble, ces organismes offrent les services et l infrastructure CIP indispensables aux chercheurs canadiens et à leurs collaborateurs dans tous les domaines universitaires et industriels. Notre équipe, qui compte au-delà de 200 experts de calibre mondial répartis dans 35 universités et institutions de recherche partenaires situées partout au pays, épaule directement les groupes de recherche. Calcul Canada est fière de représenter l excellence canadienne en calcul informatique de pointe partout au Canada et ailleurs dans le monde. Aperçu Les prévisions exposées dans le présent document, qui concernent les principaux obstacles à court terme, se fondent sur une exploration des données relatives à l utilisation au cours des cinq dernières années combinée à la rétroaction obtenue dans le cadre de l élaboration du Plan durable pour l informatique de pointe en recherche (PDIPR). Ces prévisions mettent en relief l écart qui se creuse entre les besoins des chercheurs et la disponibilité des ressources de calcul informatique de pointe en recherche au Canada. Calcul Canada met tout en œuvre pour que les services de calcul informatique de pointe en recherche évoluent au rythme des besoins de leurs utilisateurs. En dépit de ses efforts, la première plateforme de calcul informatique de pointe en recherche à l échelle nationale éprouve de plus en plus de difficultés à satisfaire aux besoins des chercheurs canadiens. À l heure actuelle, la base d utilisateurs de Calcul Canada compte plus de 2 700 groupes de recherche universitaire (dont plus de 300 chaires de
recherche canadiennes) et plus de 6 800 chercheurs et étudiants d un bout à l autre du pays représentant un large éventail de disciplines, pour qui ces ressources sont des outils indispensables à la réalisation de leurs travaux. Le succès de la recherche au Canada dans des domaines tels que les matériaux industriels de pointe, la médecine personnalisée et la génomique, les ressources naturelles et la pharmacologie repose sur l accès à ces services. Bien que l ensemble des chercheurs canadiens y aient accès, 80 % des ressources de Calcul Canada sont attribuées à l issue d un concours scientifique annuel fondé sur le mérite. Ce concours s adresse aux chercheurs qui ont déjà reçu des fonds des trois conseils subventionnaires et pour qui le calcul informatique de pointe (CIP) est un élément essentiel du programme financé. Ainsi, on s attend à un taux de réussite élevé étant donné que les besoins ont fait l objet d une évaluation appropriée. Calcul Canada a attribué à ses utilisateurs la totalité de son espace de stockage disponible. Dans le cadre du dernier concours (pour l année 2015), l intégralité des ressources de stockage à long terme a été octroyée à des projets de recherche. À moins d obtenir de nouvelles ressources d ici la fin de l année, Calcul Canada sera incapable d offrir de l espace de stockage supplémentaire aux scientifiques canadiens l an prochain. Or, nous constatons une croissance exponentielle de la demande de stockage de la part des chercheurs, alors que les données à stocker sont considérées comme des biens nationaux stratégiques. Malgré le renouvellement prévu de son matériel, Calcul Canada voit décliner ses ressources de calcul informatique de pointe. À l issue du concours pour 2015, nous avons attribué une capacité informatique totale de 124 000 années-cœurs, comparativement à 133 000 années-cœurs en 2014. Cette baisse est imputable à nos systèmes défaillants. Malgré les nouveaux investissements, le nombre total d années-cœurs disponibles chutera. À la lumière de nos consultations auprès des groupes de recherche, la demande de ressources de calcul informatique est multipliée par des facteurs de 3 à 12 tous les cinq ans (soit un taux de croissance annuel de 25 à 60 %), en fonction des différentes disciplines de recherche. 1
La majeure partie des infrastructures de CIP de Calcul Canada a déjà atteint, voire dépassé sa durée de vie utile. Vingt-cinq des systèmes de CIP partageables de Calcul Canada ont été installés en 2010 ou avant et représentent plus de la moitié de la capacité informatique totale. Certains systèmes datent même de 2004. La durée de vie normale des systèmes de CIP est de cinq ans. Les fonds accordés à Calcul Canada dans le cadre du volet 1 de l Initiative sur la cyberinfrastructure de la Fondation canadienne pour l innovation (FCI) permettront de remplacer les systèmes actuels, mais non d augmenter leur capacité. Nous présentons ci-dessous un aperçu des évaluations des besoins pour les prochaines années soumises jusqu à ce jour par les chercheurs. Pour en savoir plus sur le Plan durable pour l informatique de pointe en recherche (PDIPR) et nos autres initiatives, visitez notre site : www.computecanada.ca. Données sur les utilisateurs et prévisions de Calcul Canada Calcul Canada a vu plus que doubler sa base d utilisateurs depuis 2011. Le tableau ci-dessous indique le nombre annuel de groupes de recherche universitaire dirigés par un professeur qui utilisent ou ont utilisé nos services au cours des cinq dernières années (au 1 er janvier de chaque année). Chacun de ces groupes comprend les boursiers postdoctoraux et les étudiants des cycles supérieurs. 2011 2012 2013 2014 2015 Professeurs 1 415 1 854 2 229 2 343 2 721 Professeurs et chercheurs 4 171 6 278 7 753 8 151 9 570 2
3
A. Attribution des ressources au cours des cinq dernières années On voit clairement dans le tableau ci-dessous l accroissement du nombre de demandes reçues et des ressources requises au cours des cinq dernières années. L unité de mesure en calcul informatique est l «année-cœur» (AC). Une année-cœur représente l utilisation continue d un cœur de calcul durant un an, ou de 12 cœurs de calcul durant un mois, et ainsi de suite. Le stockage s exprime en téraoctets (To). Les chiffres sur le stockage comprennent seulement l espace de stockage sur disque déployé que nous pouvons attribuer à des projets scientifiques. D autres disques sont réservés à des systèmes non accessibles aux chercheurs et donc exclus des totaux ci-dessous. 2011 2012 2013 2014 2015 Nombre de demandes 135 159 212 291 348 Demandes de ressources de calcul (AC) 72 848 103 84 5 142 106 172 989 191 425 Attribution de ressources de calcul (AC) Demandes de stockage (To) Attribution d espace de stockage (To) 75 471 87 312 117 218 133 508 123 699 8 169 9 903 12 412 13 422 20 871 5 887 7 751 11 692 13 559 15 587** 4
Ressources de calcul manquantes (AC) Espace de stockage manquant (To) 0 16 632 24 888 39 481 67 726 0 0 0 0 5 284 ** Note : ce nombre représente la totalité de l espace de stockage sur disque dont dispose Calcul Canada. Calcul Canada n a pas installé de nouveaux systèmes de calcul informatique depuis 2012. Bien que les nouveaux systèmes aient été utilisés au maximum de leur capacité en 2011 et en 2012, l ajout soudain de ressources supplémentaires a permis aux utilisateurs de dépasser les limites qui leur étaient imposées. Les systèmes ont atteint leur point de saturation en 2013-2014 sous la pression des besoins croissants. La légère baisse en 2014 s explique par le retrait de quelques systèmes vieillissants. Cette année-là, pour la première fois, notre offre de ressources de calcul informatique a diminué. Pour 2015, l espace de stockage sur disque attribué représente la totalité des ressources que nous sommes en mesure d offrir aux chercheurs, et les budgets actuels nous empêchent d augmenter significativement l espace de stockage. Il est extrêmement difficile de redistribuer l espace de stockage consacré aux projets. 5
B. Évaluation des besoins futurs Nous avons reçu une série de livres blancs préparés par des groupes de recherche tout au long de 2014. À notre demande, chacun des groupes devait évaluer l augmentation de ses besoins dans les cinq années à venir. Le tableau ci-dessous livre les résultats. Calcul Objet du livre blanc Hausse des besoins prévue entre 2015 et 2020 Relativité numérique Multiplication par 3 Physique subatomique Multiplication par 3 Recherche sur les matériaux Multiplication par 5 Centres canadiens de génomique Multiplication par 8 Société canadienne d astronomie Multiplication par 10 Chimie théorique Multiplication par 12 D ici cinq ans, les besoins devraient se multiplier par des facteurs compris entre 3 et 12. Après pondération selon l utilisation actuelle par discipline, la hausse prévue s élève en moyenne à sept fois les besoins actuels dans les cinq prochaines années. Stockage Les deux tableaux ci-dessous illustrent la croissance prévue des besoins de stockage de deux disciplines qui regroupent de grands utilisateurs de données massives au Canada : la physique subatomique et la génomique. La physique subatomique s attend à voir tripler ses besoins de stockage sur disque en cinq ans à compter de 2015 (de 22,1 à 67,9 Po). Par contre, les besoins de stockage de la génomique seront multipliés par un facteur de 27 au cours de la même période. Dans les circonstances actuelles, nous serons incapables de satisfaire aux besoins de stockage des scientifiques en 2016, encore moins aux besoins liés à l expansion de notre base d utilisateurs. Besoins de stockage de la physique subatomique (pétaoctets) 2014 2015 2016 2017 2018 2019 2020 2021 Disque 12,9 14,9 19,4 22,6 26,5 30,4 37 43,9 Bande 5,5 7,2 10,4 13,7 16 23,4 30,9 40,7 Total 18,4 22,1 29,8 36,3 42,5 53,8 67,9 84,6 6
Besoins de stockage des quatre principaux centres de génomique du Canada (pétaoctets) 2014 2016 2018 2020 Disque (Po) 17 51 153 459 Bande (Po) 12,7 38,1 114,3 342,9 Total (Po) 29,7 89,1 267,3 801,9 C. Prévisions relatives à l attribution des ressources et à la demande 2016 2017 2018 2019 2020 Demande de ressources de calcul (AC) Attribution de ressources de calcul (AC) Demande de stockage (To) Attribution d espace de stockage (To) 281 000 414 000 608 000 893 000 1 312 000 124 000 106 000 233 000 233 000 233 000 36 000 61 000 103 000 176 000 300 000 18 200 28 300 37 500 37 500 37 500 Les prévisions ci-dessus ont été réalisées à l aide des méthodes suivantes et sans tenir compte d une éventuelle augmentation du nombre d utilisateurs des services de Calcul Canada. Demande de ressources de calcul : rappelons que la hausse moyenne pondérée pour les cinq prochaines années, selon les consultations menées dans le cadre de l élaboration du PDIPR, représente en moyenne sept fois les besoins actuels. Nous supposons que cette croissance sera exponentielle au cours de la période (temps de doublement de 1,8 an) et que nous utiliserons les mêmes cœurs qu aujourd hui (à puissance de calcul égale, le nombre de cœurs nécessaires sera inférieur en 2020). Attribution des ressources de calcul : nous supposons que Calcul Canada recevra toute l enveloppe de 15 M$ du FCI en 2015 et que l équipement sera prêt pour la mise en ligne en 2017, après quoi les systèmes antérieurs à 2011 seront désaffectés, entraînant une nette réduction du nombre de cœurs. Nous supposons par ailleurs que Calcul Canada recevra toute l enveloppe de 15 M$ du FCI en 2016 et que l équipement sera prêt pour la mise en ligne en 2018, ce qui se traduira par la première véritable augmentation du nombre de cœurs 7
depuis 2012. En l absence d autres concours approuvés du FCI pour l instant, nous ne prévoyons aucune augmentation après 2018. Demande de stockage : De toutes les disciplines, c est la physique subatomique qui utilise actuellement le plus d espace de stockage de Calcul Canada, et ses besoins devraient tripler. Toutefois, la plupart des autres disciplines voient leurs besoins croître à un rythme bien plus rapide (jusqu à 30 fois). Il serait donc inapproprié de fonder nos prévisions sur un taux de croissance moyen pondéré basé sur l utilisation actuelle de l espace de Calcul Canada. Étant donné que les besoins en ressources de calcul devraient se multiplier par sept d ici cinq ans, nous avons fixé à 15 le facteur de croissance des besoins en stockage pour notre modèle (croissance exponentielle avec un temps de doublement de 1,3 an). Nous supposons également que nous pourrons déployer une petite fraction de l espace de stockage attribué pour 2015 (soit environ 3 000 To) à temps pour 2016, afin d atténuer la crise actuelle. 8
9
* Calcul Canada stocke des données liées à des projets de recherche en cours. Le stockage à long terme exigerait des fonds supplémentaires. Calcul Canada continue d assurer une utilisation optimale des ressources disponibles en vue d offrir aux chercheurs le meilleur service possible. Nous nous employons à définir des modèles de financement appropriés qui nous permettront de satisfaire aux besoins croissants de la recherche fortement axée sur les données numériques au Canada. 10