Rapport de stage. Université de Rouen. à l'attention de Mr P. CARON et Mr S.ABDEDDAIM. Page 1/78

Transcription

1 Rapport de stage à l'attention de Mr P. CARON et Mr S.ABDEDDAIM Université de Rouen Page 1/78

2 Table des matières 1 Sujet de Stage fourni par le CRIHAN Description Entreprise d'accueil Description Réseau RENATER La communauté des utilisateurs Liaisons vers les autres réseaux de recherche dans le monde Liaisons avec l Internet Les services Réseau SYRHANO Les services SYRHANO Les services réseaux Les services applicatifs mutualisés SYRHANO : infrastructures et montage organisationnel Articulation de compétences Le rôle du CRIHAN Les partenaires Établissements d'enseignement Supérieur et de Recherche Établissements d'enseignement Supérieur et de Santé Enseignement secondaire Autres Réseau InterCampus Axe Nord-Sud et extensions Les membres d'intercampus Service de calcul du CRIHAN Les ressources de calcul Les supercalculateurs du Pôle de Modélisation Numérique Les services Assistance Optimisation de codes Formations Le calcul numérique intensif Adapter les programmes de calcul : la parallélisation Qu'est ce que la virtualisation de serveurs? Infrastructure virtuelle Pourquoi l infrastructure virtuelle est-elle importante? Les types de solutions de virtualisation Type de virtualisation Virtualisation d'os Virtualisation d'espace utilisateur Virtualisation complète Para-virtualisation Les solutions du marché Plateforme de virtualisation...22 Page 2/78

3 Technologie vserver...22 vserver...22 OpenVZ Technologies XEN...22 Xen open-source...22 Citrix XenServer...22 Licence XenServer et Essentials for Xenserver...23 Prix publique des licences à l'unité (max 10 unités, possibilité d'achat en plus grand nombres par un vendeur) Technologie KVM...23 Module KVM du Linux noyau et supérieur Technologie VMWare...24 VMWare ESXi...24 VMWare ESX...24 Pack VMWare Infrastructure Entreprise...24 VMWare Infrastructure Entreprise et Support commercial VMWare compatible pour 2 processeurs...24 VirtualCenter Server Logiciel de gestion de cluster XenCenter ovirt Proxmox VE VMWare vcenter Server RedHat Cluster Suite avec Cobbler Cloud Computing Qu'est ce que le Cloud Computing? Enomalism Eucalyptus OpenNebula OpenQRM Comparatif de solutions de Cloud Computing Les besoins du CRIHAN Détail Topologie Type de serveurs à virtualiser Serveurs DNS Serveurs d'authentifications Serveurs de base de données Serveurs d'hébergement Web de type LAMP (Linux Apache MySQL PHP) Wiki interne Serveurs administratifs internes Serveur de licences pour le calcul Serveur ADICAP GateKeeper (pont de visio-conférence) Machines de test Comparatif des solutions de virtualisation Les notions abordés...38 Page 3/78

4 5.2 Plateforme de virtualisation Logiciel de gestion de cluster Choix final de la solution Intégration en production Topologie avant intégration Topologie après intégration avec nouvelles fonctionnalités Activités annexes au sein du CRIHAN Support aux utilisateurs Association Pôle Image de Haute Normandie Participation au groupe de travail gt-stockage Étude des solutions de stockage mutualisé Participation au groupe de travail gt-virtualisation Étude d'une solution de Cloud Computing au sein du réseau SYRHANO Présentations et formations sur la virtualisation Glossaire Références Annexe Support de formation virtualisation au CRIHAN Procédure d'installation de serveur SUN SUNFIRE x2270 au CRIHAN pour la virtualisation...61 Page 4/78

5 1 Sujet de Stage fourni par le CRIHAN Étude et mise en place d'une architecture de serveurs virtualisés. 1.1 Description Ce stage consiste en l'étude et la comparaison des solutions de virtualisation du marché et la mise en place d'une architecture de virtualisation au CRIHAN. Vous devrez dans un premier temps rédiger un document de synthèse décrivant les différents logiciels et solutions de virtualisation en indiquant leurs principaux avantages et inconvénients. Dans un deuxième temps vous participerez à l'élaboration et la mise en place d'une architecture virtualisée pour les services du CRIHAN (services internes et hébergement). Vous devrez prendre en compte notamment les aspects de consolidation des serveurs et la sécurisation des services critiques (PRA). De manière transversale vous participerez au groupe de travail virtualisation auquel les principaux établissements d'enseignement et de recherche de la région participent. N.B.: Un glossaire terminologique est fourni avant les annexe expliquant les principaux termes Page 5/78

6 2 Entreprise d'accueil 2.1 Description Association créée fin 1991 à l'initiative du Conseil Régional de Haute-Normandie, le CRIHAN a pour mission d'aider les organismes publics et privés de la région à développer des activités d'enseignement, de recherche et de développement basées sur l'utilisation des nouvelles technologies de communication et sur l'informatique. Les quatre thématiques de l'association sont : les outils pour la modélisation numérique, les réseaux informatiques, le support aux projets innovants, les actions de formation. Le financement de l'association CRIHAN est assuré par le Conseil Régional de Haute-Normandie. Les projets lourds, comme le pôle de modélisation numérique et le réseau régional SYRHANO sont financés dans le cadre du Contrat de Projets État-Région. 2.2 Réseau RENATER RENATER, Réseau National de télécommunications pour la Technologie l Enseignement et la Recherche, a été déployé au début des années 90 pour fédérer les infrastructures de télécommunication pour la recherche et l éducation. Afin de mener à bien cette action, le Groupement d Intérêt Public RENATER a été constitué en janvier Les organismes membres du GIP RENATER sont de grands organismes de recherche : CNRS, CPU, CEA, INRIA, CNES, INRA, INSERM, ONERA, CIRAD, CEMAGREF, IRD, BRGM, ainsi que le Ministère l enseignement supérieur et de la Recherche et le ministère de l Éducation Nationale. Plus de 1000 sites sont raccordés via les réseaux de collectes régionaux au réseau national RENATER. Ce réseau fournit une connectivité nationale et internationale, il évolue régulièrement en fonction de l évolution des technologies et des capacités des infrastructures disponibles. Le GIP RENATER est également maître d ouvrage du SFINX, point d échanges entre opérateurs créé en La communauté des utilisateurs Aujourd hui plus de 1000 établissements ayant une activité dans les domaines de la Recherche, la Technologie et l Enseignement sont raccordés à RENATER. Ce réseau leur permet de communiquer entre Page 6/78

7 eux, d accéder aux centres de recherche et aux établissements d enseignement du monde entier et à l Internet. Le réseau RENATER est composé d une infrastructure métropolitaine et de liaisons internationales à haut débit. RENATER est également présent dans les départements et territoires d Outre Mer. Les caractéristiques de ce réseau sont : Une architecture majoritairement basée sur des fibres noires et des équipements DWDM Page 7/78

8 Une architecture avec un maillage complet avec des liaisons à 10 Gb/s sur presque la totalité des points de présence du réseau Une possibilité de répondre aux besoins de très hauts débits des grands projets de recherche en établissant des chemins optiques de bout en bout entre les points de présence Liaisons vers les autres réseaux de recherche dans le monde RENATER est interconnecté à 10 Gbit/s aux autres réseaux de recherche européens et américains - y compris Internet 2 (réseau ABILENE) - via le réseau européen GEANT2 qui est, au plan mondial, la plus grande structure de ce type Liaisons avec l Internet En France la communication avec l Internet est réalisée par le nœud d échange SFINX (lien à 2x10 Gbit/s avec plus de 80 opérateurs). La communication avec l Internet dans le reste du monde est assurée par deux interconnexions à 10 Gbps avec 2 opérateurs de transit : Cable&Wireless et Level Les services Des services sont offerts à l ensemble de ses utilisateurs qui s engagent au respect d une charte déontologique. Parmi les services, signalons : la connectivité en IPv4 et en IPv6 disponible en natif sur le réseau, le service multicast utile à la diffusion de visioconférences, la gestion de la qualité de service (QoS), et la sécurité qui est assurée par le CERT-RENATER. Pour produire ces services le GIP RENATER développe des technologies telles que la métrologie et maintient des relations suivies avec ses utilisateurs. Le GIP-RENATER propose également un "modèle" de charte déontologique pour les établissements. 2.3 Réseau SYRHANO SYRHANO (SYstème Réseau de HAute-Normandie) est le réseau régional pour l'enseignement et la recherche. Ce projet est financé dans le cadre du Contrat de Projets et bénéficie de cofinancements européens (fonds FEDER). SYRHANO est piloté par le CRIHAN (Centre de Ressources Informatiques de Haute-Normandie), établissement dont le fonctionnement est assuré par le Conseil Régional de Haute-Normandie. SYRHANO constitue depuis 1993 l'épine dorsale de l'internet non-marchand de notre région ; il est connecté par RENATER sur les réseaux pour l'enseignement et la recherche du monde entier. SYRHANO joue également un rôle structurant en Haute-Normandie par la mise en œuvre d'un point d'échange régional (GIX NERO) sur lequel sont connectés plusieurs opérateurs commerciaux.. A l'instar des réseaux pour l'enseignement, la Technologie et la Recherche en France et dans le monde, SYRHANO sert entre autres à : fournir les meilleurs services possibles aux chercheurs et aux enseignants et plus généralement à tous les utilisateurs du réseau régional promouvoir et servir de support à une politique des contenus d intérêt général (bibliothèques, musées, laboratoires virtuels, université numérique en région, etc.) ; Page 8/78

9 faciliter la mutualisation des services entre les partenaires (UNR, PRES, etc.) ; développer ou maintenir un savoir-faire technologique et une capacité d innovation pour ses partenaires ; défricher les technologies et prototyper les services dont certains seront ensuite proposés sous la forme d'offres commerciales par les opérateurs et les fournisseurs d'accès Internet ; structurer et dynamiser l Internet (en particulier avec les GIX) y compris pour les développements les plus avancés (typiquement IPv6 et la qualité de service) ; mettre en application les stratégies de développement des TICE des collectivités locales et de l'état ; développer les usages des TICE. SYRHANO est plus qu'un réseau pour la Recherche : c'est une infrastructure mutualisée de qualité supérieure ouverte aux communautés scientifiques et culturelles ainsi qu'au monde de la santé. SYRHANO est un socle technique conçu pour que chaque établissement utilisateur construise et mette en œuvre les services et les applications dont il a besoin Les services SYRHANO SYRHANO offre à ses utilisateurs une connectivité IP de qualité supérieure sur RENATER et sur les réseaux pour l'enseignement, la Technologie et la Recherche dans le monde. Les règles d'ingénierie qui prévalent au déploiement d'un service sont strictes, tant sur le plan du dimensionnement (par exemple : pas de sur-réservation de bande passante) que du comportement des équipements (délai de propagation et variation du délai de propagation, entre autres) Les services réseaux IPv4 : c'est la connexion IP "classique", mais avec des critères de qualité très élevés. IPv6 : c'est le protocole qui permet dès aujourd hui l extension de l Internet à toute la planète, qui va petit à petit remplacer la version 4 et permettre à tous les objets courants de fonctionner en réseau (téléphones, ordinateurs, voitures, appareils électroménagers, capteurs, etc.). IPv6 facilite la création d applications nouvelles, nécessitant par exemple une configuration automatique, une gestion efficace de la mobilité ou un niveau élevé de sécurité. Multicast : c'est la capacité, offerte par le réseau, d'envoyer efficacement des informations à un ensemble de destinataires. Parfois complexe à mettre en œuvre, le multicast offre par exemple des fonctionnalités intéressantes pour toutes les applications de diffusion multimédia. Réseaux privés virtuels : ils permettent à plusieurs sites d'échanger des informations de manière privée ou, plus généralement, d'instancier plusieurs réseaux logiques sur la même infrastructure. Ils peuvent être de niveau 2 (typiquement Ethernet) ou de niveau 3 (IP). Classes de service : afin de permettre un fonctionnement optimum de certaines applications très sensibles au comportement du réseau comme la téléphonie sur IP ou la visioconférence, les classes de service permettent de différencier les flux de données venant de certains applicatifs afin de les traiter en priorité dans les équipements actifs. La disponibilité des services réseau est supérieure à 99,95% sur une fenêtre glissante de 12 mois. Le réseau est exploité et supervisé 24h/24 et les utilisateurs disposent d un accès permanent à la cellule d exploitation de SYRHANO. Page 9/78

10 Les services applicatifs mutualisés Service CATA : filtrage antispam et antivirus, boîtes aux lettres et espace disque bureautique, accessible à tous. Service de stockage et de présentation des données (courant 2009) : destiné principalement aux établissements et aux laboratoires qui souhaitent valoriser des résultats de recherche, disposer d'un espace collaboratif avec des partenaires ou simplement stocker/sauvegarder des données numériques, le service de stockage et de présentation des données permet le partage ou la conservation de grandes quantités d'information (plusieurs centaines de To, avec une architecture extensible). Service régional de visioconférence multipoint : utilisable depuis des terminaux spécialisés IP et RNIS, des logiciels libres sur Macintosh et PC (Windows, Linux ou FreeBSD) voire avec un simple téléphone, le service de visioconférence permet à plusieurs utilisateurs distants de partager un espace de discussion multimédia. Ce service va évoluer courant 2009 vers le format HD. Autres services rendus par le CRIHAN : hébergement web, serveur ftp miroir de nombreux outils libres, serveur de news USENET, secours DNS et courrier électronique, nombreux sont les services rendus aux utilisateurs régionaux par le CRIHAN SYRHANO : infrastructures et montage organisationnel SYRHANO utilise principalement, au niveau régional, les services de liaisons louées des opérateurs de télécommunication. Régulièrement, des appels d'offres de service sont publiés pour améliorer ou compléter le réseau. Ces appels d'offres ont permis, au fil des ans, de mesurer le dynamisme régional et, souvent, d'accélérer le déploiement de services en région. On peut par exemple citer le 2Mbit/s sur Le Havre en 1993, le 155Mbit/s sur Rouen en 1995, le service optique DWDM entre Evreux, Rouen et Le Havre et la liaison Ethernet Gbit/s entre Rouen et Le Havre en SYRHANO utilise également l'infrastructure optique privée du CRIHAN sur l'agglomération de Rouen, appelée "InterCampus" et, quand cela est possible, les services de location de fibres noires (Agglomération de Rouen, NEUF CEGETEL au Havre). Les extrémités des liaisons louées et celles des faisceaux optiques arrivent dans des locaux techniques mis à la disposition du CRIHAN par les établissements utilisateurs de SYRHANO. Des équipements actifs y sont alors installés pour permettre de raccorder potentiellement plusieurs sites et constituer ainsi des points de présence (PoP) SYRHANO. L'interface de raccordement sur SYRHANO est généralement Ethernet et le débit de connexion IP peut aller de quelques centaines de kbit/s (via ADSL ou SDSL) à plusieurs Gbit/s. Depuis 2005, le débit de sortie sur RENATER est de 1Gbit/s. Cette interface peut techniquement évoluer sans modification matérielle vers 10Gbit/s. A l'aube du déploiement d'infrastructures privées par les Conseils Généraux et certaines agglomérations, la communauté SYRHANO est fortement intéressée par ces nouveaux réseaux et la capillarité améliorée qu'ils vont offrir, dans le cadre d'accords de mutualisation comme celui déjà engagé avec l'agglomération de Rouen pour InterCampus. Page 10/78

11 2.3.3 Articulation de compétences SYRHANO est un réseau fédérateur, qui repose sur une articulation des compétences et d'infrastructures. Début 2009, le réseau est constitué : d'une épine dorsale optique entre les principaux points de présence (de Saint-Etienne du Rouvray, du Havre, de Dieppe, de Mont-Saint-Aignan, d'evreux, de Val de Reuil et de Vernon). Ces liaisons, louées à Orange Business Services et à NEUF CEGETEL, sont pour la plupart de type Ethernet Gigabit/s (simple ou double) et peuvent évoluer jusqu'à 2,5Gbit/s ; de liaisons louées périphériques pour irriguer des sites excentrés (IUT du Havre ville haute, IUT d'elbeuf, Val de Reuil, bibliothèque universitaire et IUT d'evreux, etc.). Ces liaisons vont de 100Mbit/s à 2Gbit/s et sont louées à Orange Business Service et NEUF CEGETEL ; du réseau InterCampus sur l'agglomération de Rouen. C'est une infrastructure optique privée appartenant au CRIHAN. Le CRIHAN a obtenu en septembre 2000 une licence d'exploitation de réseau filaire indépendant pour un Groupe Fermé d'utilisateurs (GFU) Enseignement Supérieur et Recherche ; de fibres noires louées à l'agglomération de Rouen et à NEUF CEGETEL ; de services complémentaires ou partenaires, comme un accès Internet de secours directement accessible de SYRHANO et une collecte xdsl opérée par un opérateur privé dans le cadre d'un marché coordonné par le Rectorat de Rouen ; de plusieurs lignes d équipements, qui sont intégrées au réseau de manière transparente ; d'un opérateur de service unique, garantissant une exploitation et une supervision 24h/24 et 7j/7 des infrastructures et des services réseau Le rôle du CRIHAN Porteur du projet dans le cadre du "programme SYRHANO" du Contrat de Projets État-Région , le CRIHAN est le Maître d œuvre technique du projet SYRHANO : il rédige les spécifications techniques et lance régulièrement des consultations. D'autre part, le CRIHAN est une structure opérationnelle pour étudier et expérimenter, en partenariat avec les sites utilisateurs, des opérations pilotes (desserte IPv6, classes de service, multicast, etc.) ainsi que de nouveaux services applicatifs (visioconférence, téléphonie sur IP, mutualisation d'outils de sauvegarde et de stockage, etc.). Le CRIHAN organise également des actions de formation et de sensibilisation aux TICE à destination des utilisateurs finaux, des techniciens et des ingénieurs Les partenaires Établissements d'enseignement Supérieur et de Recherche Université de Rouen - Mont-Saint-Aignan, Rouen, Saint-Etienne du Rouvray, Elbeuf, Evreux Université du Havre INSA de Rouen - Mont-Saint-Aignan, Saint-Etienne du Rouvray IUT du Havre IUT de Rouen Page 11/78

12 IUT d'evreux COmplexe de Recherche Interprofessionnel en Aérothermochimie (CORIA) Rectorat de Rouen Institut Universitaire de Formation des Maîtres (IUFM) - Mont-Saint-Aignan, Evreux, Le Havre Centre National d'enseignement à Distance (CNED) École d'architecture de Rouen ESIGELEC ESITPA Groupe ESC Rouen Sciences Po Le Havre Établissements d'enseignement Supérieur et de Santé Centre Hospitalier Universitaire de Rouen (CHU de Rouen) Centre Hospitalier Intercommunal Eure-Seine (CHI Eure-Seine) - Evreux, Vernon Centre de Lutte Contre le Cancer Henri Becquerel Centre Hospitalier de Bernay Enseignement secondaire Lycées et collèges des départements de Seine-Maritime et de l'eure Autres Conseil Régional de Haute-Normandie Espace Public Numérique "Cyberbase" du Conseil Régional de Haute-Normandie CROUS Haute-Normandie Centre Régional de Documentation Pédagogique (CRDP) Cité des Métiers ESTRAN Cité de la Mer Institut de Formation des Apprentis (IFA) Institut Départemental de l'enfance de la Famille et du Handicap pour l'insertion (IDEFHI) Centre de Ressources Informatiques de Haute-Normandie (CRIHAN) 2.4 Réseau InterCampus Intercampus est une infrastructure optique déployée par le CRIHAN sur l'agglomération rouennaise. Initié à la fin des années 90, le projet InterCampus avait comme principal objectif de raccorder entre eux les principaux campus universitaires (Mont-Saint-Aignan et Saint-Étienne du Rouvray), et par là même connecter à très haut débit les établissements d'enseignement Supérieur et de Recherche. Ces établissements étaient à l'époque réunis dans le cadre d'un Groupement Fermé d'utilisateurs (GFU) pour lequel le CRIHAN avait obtenu auprès de l'autorité de Régulation des Télécommunications (ART, aujourd'hui ARCEP) une licence d'exploitation L.33-2 le 13 septembre Aujourd'hui, le réseau IP mutualisé sur une partie des fibres est cependant exploité dans le cadre du réseau régional SYRHANO. Page 12/78

13 Au fil des ans, InterCampus s'est étendu aux nouveaux campus (Pôle Universitaire des Sciences du Tertiaire au centre de Rouen, IUFM à Mont-Saint-Aignan, Faculté de Médecine, Cité des Métiers, ESITPA etc.). Les faisceaux optiques sont posés principalement dans les fourreaux des services de transport de l'agglomération de Rouen (TEOR, métrobus) mais également en génie civil traditionnel quand cela est nécessaire Axe Nord-Sud et extensions Depuis 2000, un axe principal nord-sud relie les campus de Mont-Saint-Aignan et de Saint-Etienne du Rouvray. Une extension a été réalisée en 2002 vers le Pôle Universitaire des Sciences du Tertiaire (PUST) au centre ville de Rouen. En 2004, d'autres travaux ont été réalisés pour irriguer le campus de l'iufm de Mont-Saint-Aignan et pour modifier le tracé au nord de Rouen. En 2007, une nouvelle extension vers l'est a permis de rejoindre le Centre Hospitalier Universitaire de Rouen, la Faculté de Médecine, le Conseil Régional de Haute-Normandie, le Centre Henri Becquerel et l'ecole d'architecture. En 2008, l'esitpa et l'ifa ont également rejoint le réseau Les membres d'intercampus Université de Rouen Campus de Mont Saint Aignan Site Colbert STAPS Campus de Martainville (médecine) Pôle Universitaire des Sciences du Tertiaire (PUST) Campus du Madrillet IUFM Mont Saint Aignan ESITPA Mont Saint Aignan IFA Mont Saint Aignan INSA de Rouen Site de Mont-Saint-Aignan Site de Saint-Etienne du Rouvray Groupe ESC Rouen Mont Saint Aignan Rectorat de Rouen ASCORIA CERTAM Lycée le Corbusier Centre de Ressources Informatiques de Haute-Normandie (CRIHAN) École d'architecture Cité des Métiers CHU de Rouen Centre Henri Becquerel Rouen Conseil Régional de Haute-Normandie Page 13/78

14 Page 14/78

15 2.5 Service de calcul du CRIHAN Les ressources de calcul Dans le cadre du Contrat de Plan Etat-Région, le CRIHAN est en charge de la plate-forme technique du Pôle de Modélisation Numérique. Depuis fin 2005, la machine la plus puissante du centre de ressources est un supercalculateur IBM, d'une puissance crête de plus de 1,1TFlops (1,1 millions de millions d'opérations flottantes par seconde). La vocation de cet ordinateur est de réaliser des simulations numériques de grandes tailles qui ne peuvent pas être traitées sur les équipements habituels des laboratoires ou des entreprises. Les laboratoires de recherche publics ou privés disposent d'accès à ce supercalculateur pour permettre à leurs ingénieurs et chercheurs de réaliser leurs travaux. Le CRIHAN fait régulièrement évoluer ses moyens de calcul de manière à disposer d'une puissance de calcul correspondant aux besoins de ses utilisateurs Les supercalculateurs du Pôle de Modélisation Numérique La machine la plus récente du pôle de modélisation est un cluster IBM p575 comprenant 22 noeuds octoprocesseurs (Power5 cadencés à 1,9Ghz) dont 16 interconnectés par un réseau rapide à très faible latence. La puissance crête de ce cluster est de plus de 1,1TFlops. La solution de calcul est complétée par une unité de stockage des données sur disque d'une capacité d'environ 20To. En 2008, un des deux nœuds p690 Turbo, installés en 2002 est encore utilisé. Il est composé de 32 processeurs Power4 cadencés à 1,3 Ghz et 32 Gigaoctets de mémoire, ce qui représente une puissance crête globale d'environ 165 GigaFlops. Cette machine apporte un complément intéressant pour les applications nécessitant beaucoup de mémoire Les services Les utilisateurs disposent d'espaces de travail sur les supercalculateurs pour la réalisation de leurs simulations. Chacun, dans le cadre du projet d'étude numérique qui le concerne, dispose d'un compte qui représente son environnement de travail (ses droits d'accés, son quota en heures de calcul, son espace disque alloué, les logiciels accessibles) dans lequel il met en œuvre ses simulations numériques Assistance Un service d'assistance scientifique est proposé au CRIHAN pour que chacun puisse optimiser l'utilisation des ressources de calcul (prise en compte de l'architecture du supercalculateur, des modalités de stockage, accessibilité des logiciels). Cette assistance répond aux problèmes que les utilisateurs peuvent rencontrer avec leurs applications (déboguage, compilation, parallélisation, performances). Elle peut aussi répondre à des besoins spécifiques, pour adapter l'environnement de travail, installer de nouveaux logiciels, etc Optimisation de codes Dans certains cas, les besoins exprimés, aussi bien par les entreprises que par les laboratoires publics, Page 15/78

16 concernent directement l'optimisation des codes de calcul soumis à la machine : le service d'assistance scientifique peut alors proposer une aide directe, en conseil voire en développement sur ces codes. Cela peut être la prise en charge de la parallélisation et de l'optimisation d'un code, depuis la conception d'un algorithme parallèle jusqu'à sa validation Formations Des formations théoriques et pratiques sont régulièrement proposées sur l'environnement des supercalculateurs et sur les techniques de programmation : elles permettent aux utilisteurs de se familiariser avec les ressources du CRIHAN. Des formations plus spécifiquement liées au domaine de l'optimisation et de la parallélisation des codes de calcul sont également organisées Le calcul numérique intensif Il est possible de modéliser des phénomènes d'une complexité grandissante et de simuler le comportement de prototypes sans avoir à les construire. Les domaines d'application des techniques de simulation sont très nombreux, allant de la biochimie moléculaire à l'aéronautique en passant par la météorologie. Pour les laboratoires, la modélisation permet de simuler certains phénomènes et ainsi éviter des expérimentations réelles coûteuses. Pour une entreprise, utiliser des ordinateurs scientifiques permet de gagner du temps dans les phases de modélisation et donc d'optimiser les coûts. Dans de nombreux cas, la modélisation numérique est devenue un outil incontournable. La figure ci-dessous illustre l'écoulement de l'eau de mer autour de la carène d'un voilier de compétition. Grâce aux simulations numériques, la durée de la phase de conception est fortement réduite. Lorsqu'il s'agit de problèmes complexes nécessitant des mois de calcul, ou si le temps de restitution représente une contrainte forte, il devient alors nécessaire de partager la masse de calcul entre plusieurs processeurs pour diminuer le temps de restitution. On utilise pour cela des calculateurs parallèles, c'est-àdire des machines dotées de plusieurs processeurs. Des techniques logicielles existent pour aider à la distribution du travail et la gestion de l'ensemble. Un supercalculateur est un ordinateur doté de ressources (en processeurs, en mémoire et en disques durs) qui dépasse de plusieurs ordres de grandeur les capacités du PC familial. De grands constructeurs informatiques (Cray, HP, IBM, Fujitsu, NEQ, SGI, SUN, etc.) se sont spécialisés dans la conception de tels Page 16/78

17 calculateurs. Les composants employés sont très performants mais de coût de développement élevé. Il existe également depuis quelques années des calculateurs, appelés clusters, qui sont constitués de plusieurs nœuds de calcul interconnectés par un réseau rapide. Certains clusters peuvent même être constitués par des composants relativement bon marché, comme des PC reliés entre-eux par un simple réseau Ethernet Adapter les programmes de calcul : la parallélisation Les simulations numériques permettent de modéliser des phénomènes de plus en plus complexes qui nécessitent des milliards d'opérations, ce qui représente des semaines voire des mois de calcul sur un processeur avec parfois des contraintes fortes sur le temps de restitution (par exemple les prévisions météo). Une technique pour diminuer le temps de restitution de l'application s'appelle la parallélisation. Elle consiste à partager le travail entre plusieurs processeurs (de deux à plusieurs milliers, en fonction de leur puissance). On peut ainsi abaisser le temps de restitution à quelques heures ou à quelques jours. Un autre avantage de la parallélisation réside dans la taille des problèmes pouvant être traités. Pour un même temps de restitution, la parallélisation permet de résoudre des problèmes plus gros en morcelant l'application sur plusieurs processeurs, voire sur plusieurs groupes de processeurs (nœuds de calcul). Dans certains cas extrêmes, plusieurs ordinateurs peuvent même être utilisés simultanément (metacomputing ou grille de calcul). Il existe différentes techniques de parallélisation (parallélisme de données, parallélisme par échanges de messages), et certaines ne peuvent être mises en œuvre que sur une architecture spécifique. A titre d'illustration, la figure ci-dessous donne une idée des ressources nécessaires pour résoudre des problèmes auxquels sont confrontés les ingénieurs, les chercheurs, ainsi que l'année où ces simulations ont commencé à être réalisées. N.B.: Le CRIHAN prévoit le remplacement des nœuds de calcul en fin 2009-début Page 17/78

18 3 Qu'est ce que la virtualisation de serveurs? La virtualisation de serveurs est un ensemble de techniques et d outils permettant de faire tourner plusieurs systèmes d exploitation sur un même serveur physique. Le principe de la virtualisation est donc un principe de partage : les différents systèmes d exploitation se partagent les ressources du serveur. Pour être utile de manière opérationnelle, la virtualisation doit respecter deux principes fondamentaux : Le cloisonnement : chaque système d exploitation a un fonctionnement indépendant, et ne peut interférer avec les autres en aucune manière. La transparence : le fait de fonctionner en mode virtualisé ne change rien au fonctionnement du système d exploitation et à fortiori des applications. La transparence implique la compatibilité : toutes les applications peuvent tourner sur un système virtualisé, et leur fonctionnement n est en rien modifié. Pour ce qui est du cloisonnement, il existe bien sûr une interférence passive liée à la concurrence dans le partage des ressources. Mais nous verrons que ce partage peut être parfaitement contrôlé. La virtualisation n est pas une idée nouvelle. En fait, elle remonte aux débuts de l informatique. On peut ainsi citer les travaux de Popek et Goldberg en 1974, qui ont analysé les différents types de solutions de virtualisation possible, leurs inconvénients respectifs et ont jeté les bases des développements futurs. Dans l'univers des Mac, on a récemment beaucoup entendu parler de virtualisation depuis le passage des Mac à des processeurs Intel. Windows et MacOS étant dorénavant prévus pour fonctionner sur les mêmes CPU il est légitime d envisager de les faire cohabiter. De plus, les fondeurs Intel et AMD se sont eux aussi lancés dans l aventure, en prétendant résoudre les problèmes rencontrés jusqu alors grâce à des optimisations matérielles des CPU. On pourrait donc presque dire que la virtualisation est passée sous le feu des projecteurs. Presque car, malgré tout, cela reste une technologie assez mystérieuse pour le grand public. Il est donc apparu utile de faire un tour d horizon des solutions de virtualisation disponibles actuellement et de leurs développements futurs. 3.1 Infrastructure virtuelle L'infrastructure virtuelle simplifie l'informatique en permettant aux entreprises d'exploiter leurs ressources de stockage, réseau et informatiques pour contrôler leurs coûts et améliorer leur réactivité. Le principe de l'infrastructure virtuelle repose sur la création de ressources virtuelles, libérées de toute infrastructure physique, que les administrateurs peuvent allouer dynamiquement en fonction des projets les plus demandeurs. L'administration du matériel est désormais totalement indépendante de celle des logiciels et son approvisionnement peut être traité comme un ensemble unique de ressources à affecter ou à réaffecter «à la volée» à travers l'entreprise. Dans une infrastructure virtuelle, les utilisateurs voient les ressources comme si elles leur étaient exclusivement réservées, tandis que l administrateur les gère et les optimise globalement, à l échelle de l entreprise. Page 18/78

19 3.2 Pourquoi l infrastructure virtuelle est-elle importante? L infrastructure virtuelle permet aux entreprises de réduire leurs coûts informatiques tout en étant plus efficaces, plus flexibles et plus réactives. La gestion d une infrastructure virtuelle permet aux responsables informatiques d allouer et de gérer dynamiquement des ressources en fonction des besoins. Il y a des avantages à la virtualisation comme avoir : plusieurs serveurs consommant 5 à 15% de ressources sur une seul machine en consommant 60 à 80% des ressources un délai de provisioning (voir Glossaire) des nouvelles applications mesuré en quelques minutes et non plus en jours un temps de réponse aux demandes de changement de configuration mesuré en minutes une maintenance matérielle sans interruption de service pour les utilisateurs et sans attente pour les équipes d'intervention L'intégration des serveurs pour la virtualisation permettra l'économie en matériel, en maintenance, en économie d'énergie et en formation du personnel du CRIHAN en mutualisant les services sur des machines virtuelles répartis sur quelques gros serveurs (beaucoup de mémoire vive) avec le stockage partagé mis en place. Page 19/78

20 4 Les types de solutions de virtualisation Une solution de virtualisation est la technologie mise en place sur un serveur physique afin d'apporter des possibilités de virtualisation permettant d'instancier des machines virtuelles (VM, voir Glosssaire) sur ce dit serveur. 4.1 Type de virtualisation Virtualisation d'os Cela permet, à partir d'un même noyau d'avoir des conteneurs sécurisés qui segmentent la machine hôte en VM. On peut citer comme exemple vserver et son dérivé OpenVZ. Avantage(s) : performance très proche du natif (juste perte au niveau de la RAM allouable en tout). Inconvénient(s) : Un seul noyau est commun entre toutes les VMs donc une mise à jour du noyau sur une seule VM n'est pas possible, donc il n'est pas possible d'avoir une VM de production et une de test de mise à jour du noyau sur la même machine. La partie Isolateur + User Space correspond à la machine virtuelle Virtualisation d'espace utilisateur Cette technique de virtualisation repose sur un système proche de l'isolation (virtualisation d'os). On peut citer comme logiciel UML, User Mode Linux, utilisé pour des tests simples (exemple: réseau, routage, ). Cette solution est très peu performante, car deux noyaux sont empilés et l isolation des environnements n est pas gérée et l indépendance par rapport au système hôte est inexistante. Page 20/78

21 4.1.3 Virtualisation complète La VM accède à des périphériques virtuels standards. La plateforme de virtualisation installée traduit les accès à ces périphériques virtuels en appel aux périphériques physiques. Avantage(s) : Support de beaucoup plus de types d'os invités car les périphériques sont standards. Inconvénient(s) : Beaucoup plus lourd que les autres types de virtualisation car il faut tout virtualiser, ce qui alourdi la charge du système. Dans certains implémentations, il est obligatoire d'installer des modules sur l'os invité pour le support de l'accélération matériel (HVM) Para-virtualisation Technique proche de la full-virtualization (virtualisation complète) mais avec des modules installés sur les OS invités pour un accès plus direct aux périphérique physiques ce qui permet d'avoir des performances proche du natif. Pour la description d'un hyperviseur, voir Glossaire. Avantage(s) : Performance très proche du natif. Inconvénient(s) : Obligation d'installer des drivers sur le noyau hôte et sur les OS invités. Obligation d'avoir un CPU Intel-VT ou AMD-V. Page 21/78

22 4.2 Les solutions du marché Plateforme de virtualisation Technologie vserver vserver vserver est le précurseur de la compartimentation de VMs sur un même serveur physique. Il offre des fonctionnalités de base mais pas de support des techniques avancées comme les tags VLAN (802.1Q). L'une des utilisations est de mettre en place cette solution sur une autre solution (ex: XEN) offrant les composantes manquantes. OpenVZ OpenVZ propose de la virtualisation basé sur le compartimentation pour Linux. OpenVZ crée de multiples containers isolés et sécurisés (appelés parfois VE ou VPS) sur un seul serveur physique assurant une meilleure utilisation des ressources du serveur et assurent que les applications ne rentrent pas en conflit. Chaque container fonctionne sur le même principe qu'un serveur physique. Un container peut ainsi être redémarrer indépendamment et avoir un compte root, des utilisateurs, des adresses IP, mémoire allouée, processus, applications, bibliothèques système et fichiers de configuration Technologies XEN Xen open-source Il est développé par l'université de Cambridge (UK). Xen est un hyperviseur qui requière un noyau adapté pour faire fonctionner des machines virtuelles. Initiateur de la paravirtualisation, cet hyperviseur fût et est encore largement déployé dans le monde malgré son pré-requis lourd à mettre en place. Du fait de cette «paravirtualisation» (adaptation du système d'exploitation invité) et de sa légèreté, Xen est un outil de virtualisation des plus performants. En effet les systèmes invités peuvent avoir un accès direct au matériel, ce qui offre un bien meilleur potentiel d'optimisation. Cependant, faire fonctionner une machine virtuelle Windows dont le code source est fermé pose quelques problèmes. Le fait de paravirtualiser le noyau en le «xenifiant» permet d'apporter des fonctionnalités comme la migration à chaud (dite «live») assurant ainsi une plus grande disponibilité de services par la fonctionnalité de Haute Disponibilité. Citrix XenServer Basé sur le noyau Xen opensource développé à Cambridge, cette version «packagée» fourni par Citrix a été pendant longtemps payante (jusqu'à la version 4.1). C'est avec cet hyperviseur que Citrix tente de porter un coup au marché de la virtualisation pour contrer le quasi monopole de VMWare. Depuis le version 5.0, XenServer est passé dans la catégorie du logiciel gratuit en proposant des fonctionnalités évoluées, chose que VMWare fait payer un prix élevé. C'est une solution de déploiement rapide et simple offrant souplesse, sécurité des données serveurs. Page 22/78

23 Licence XenServer et Essentials for Xenserver XenServer Essentials for XenServer, Enterprise Ed. Essentials for XenServer, Platinum Ed. Xen hypervisor 64 bits VM Windows et Linux Nombre illimités de serveurs, VMs, et CPUs XenCenter management console Multi-server management migration live XenMotion Historique des performances Rapport des performances et des erreurs par mail Haute Disponibilité Intégration au système de stockage StorageLink Gestion du workflow Provisioning de services dynamique (virtuel seulement) Provisioning de services dynamique (physique et virtuel) Gestion de laboratoires automatisés Prix publique des licences à l'unité (max 10 unités, possibilité d'achat en plus grand nombres par un vendeur) XenServer 5 : 0 Citrix Essentials for XenServer, Entreprise Edition Contient en autre la Haute Disponibilité (migration automatique d'une VM vers un autre hôte en cas de défaillance) 2750 USD Citrix Essentials for XenServer, Platinium Edition 5500 USD 3300 USD (40% réduction actuellement) Technologie KVM Module KVM du Linux noyau et supérieur Afin de contrer la lourdeur qu'impose la modification du noyau Linux par les morceaux de code permettant à un Xen de fonctionner, la communauté Linux a permis le développement d'une alternative qui fût par la suite intégré, sous la forme de module, dans le noyau Linux pour un large déploiement dans l'optique de remplacer, à moyen terme, les solutions à base de Xen. KVM est une solution de virtualisation open source sous licence GPL. Elle est idéale sur des Page 23/78

24 processeurs possédant le jeu d'instructions adéquates car dans de telles conditions, le ralentissement induit est minime et les systèmes-invités n'ont pas besoin d'être modifiés. Ces jeux d'instructions portent les noms de SVM pour AMD (Pacifica) et VT pour Intel. C'est un projet encore assez jeune mais promis à un brillant avenir dès l'hors que des solutions de gestion de cluster matures et apportant toutes les fonctionnalités nécessaires à la mise en production à grande échelle verront le jour Technologie VMWare VMWare ESXi Version allégé de VMWare ESX et gratuite, cet outil ne permet pas la gestion à proprement dite d'un cluster, ni la haute disponibilité et autres fonctionnalités avancées. C'est une solution minimale pour peu de machines à virtualiser, ce qui peut suffire pour des tests dans une architecture de type VMWare ESX déployé en production. VMWare ESX Version payante de la gamme ESX/ESXi, cette mouture est devenu au fils des ans un outil très populaire lors des débuts de la virtualisation sans «xenification». Son intégration dans les architectures d'entreprise lui permet de s'interfacer avec des bases d'authentification comme Active Directory sur les Windows Serveur pour une gestion des rôles. On peut cependant constater que VMWare ESX est devenu progressivement une «usine à gaz» au même titre que 3DS Max pour la 3D. Pack VMWare Infrastructure Entreprise VMware ESX 3.5 or VMware ESXi 3.5 VMware vcenter Server Agent VMware Virtual Machine File System (VMFS) VMware Virtual Symmetric Multi-Processing (vsmp) VMware Update Manager (Guest and Host) VMware VMotion + Storage VMotion VMware High Availability (HA) VMware Distributed Resource Scheduler (DRS) VMware Consolidated Backup Voici un détail des prix publiques proposés par VMWare pour sa solution ESX. VMWare Infrastructure Entreprise et Support commercial VMWare compatible pour 2 processeurs Support Platinum Fonctionnalités Page 24/78 Support Gold

25 24/24, 7/7, 365j/ 12/24, 5/7, 365j/ an an Plage d intervention Durée du service 1, 2 ou 3 ans Prix VI3 + support 1 an TTC TTC Prix VI3 + support 2 ans TTC TTC Prix VI3 + support 3 ans TTC TTC Mises à jour des produits Mise à niveau des produits Produits pris en charge Tous les produits Possibilités d accès Téléphone/Web Support à distance Accès au site Web de VMware Accès aux forums de discussion et à la base de connaissances de VMware Nombre maximum d administrateurs de support par contrat 6 Nombre de demandes de support 4 Illimité Support sur site pour des interventions exceptionnelles N/A Temps de réponse visés Critique (Gravité 1) Dans les 30 min 4h Temps de réponse visés Majeure (Gravité 2) 4h 8h Temps de réponse visés Mineure (Gravité 3) 8h 12h Temps de réponse visés Superficielle (Gravité 4) 12 h Heures de bureau Europe, Moyen-Orient et Afrique (EMEA) 7 h 00 à 19 h 00 (GMT) VirtualCenter Server Fonctionnalités Support Platinum Support Gold Prix VirtualCenter + support 1 an TTC TTC Prix VirtualCenter + support 2 ans TTC TTC Prix VirtualCenter + support 3 ans TTC TTC Logiciel de gestion de cluster Le logiciel de gestion de cluster est l'outil de base de la gestion centralisée, c'est lui qui indique aux membres du cluster comment interagir en gardant une cohésion sur l'ensemble. Page 25/78

26 XenCenter Client développé en.net 2.0 par Citrix pour accompagner sa solution XenServer, ce logiciel permet de gérer un ou plusieurs pools (clusters avec ressources). Cet outil se base sur l'api développé par Citrix pour le contrôle de XenServer. Malgré une taille très réduire (8Mo), cet outil offre une grande souplesse d'utilisation avec un nombre de fonctionnalités grandissant à chaque version et une compatibilité avec les grands noms du stockage de masse comme NetApp et Dell Equalogic ovirt Sortie directement du Emerging Technology Lab de Red Hat, ovirt est une petite merveille en devenir mais n'est pas encore assez mature pour de la production et ne correspond pas au choix final de la solution pour le CRIHAN. À la base, ovirt est une image simple et efficace permettant de fournir des machines virtuelles, semblable à VMware ESX. Cependant, sous cette apparence simple, ovirt cache tout un monde. Par exemple, ovirt offre un serveur d authentification et d autorisation basés sur FreeIPA, un serveur DNS et DHCP pour les VM, une interface de monitoring, une interface de déploiement simplifiée pour les nouvelles VM, etc. Page 26/78

27 Cependant, ce qui est le plus intéressant, c est ce qui va être mis en place dans les prochaines versions : Clustering et haute disponibilité, migration simplifiée des VM, ajout de support pour d autres hyperviseur (Xen, openvz), etc. C'est un projet à suivre pour une migration vers une solution de type KVM, Bref, c est un projet qui sera très intéressant à suivre dans le futur! Proxmox VE Outil développé afin de gérer un cluster de machines de type OpenVZ et KVM. Le niveau de contrôle des VMs est assez limité (juste démarrer/stopper/redémarrer) avec une vue temps réel de l'occupation des ressources. Page 27/78

28 VMWare vcenter Server Point central de la gestion d'un cluster VMWare ESX, ce logiciel doit être installé sur un Windows Server afin de gérer l'ensemble du cluster, ce qui offre malheureusement un point de défaillance car si ce serveur cesse de fonctionner, tout le cluster perd sa cohésion. Page 28/78

29 RedHat Cluster Suite avec Cobbler Ensemble de deux logiciels de provenances différentes, ce couple permet la création d'un cluster et de provisionner des VMs sur le cluster, permettant ainsi une installation rapide basé sur les templates crées avec Cobbler. Ce système est actuellement en place à l'université de Rouen pour la mise en place de services sur le réseau universitaire. Cobbler est un serveur d'installation. Il permet d'installer facilement et automatiquement vos systèmes d'exploitations, virtualisés ou non via PXE. Cobbler est un projet, il utilise donc de nombreuses technologies propres aux systèmes RedHat/Fedora (yum, rpm, kickstart...). Il est donc particulièrement adapté pour ces systèmes, mais des efforts sont en cours pour le rendre compatible avec Debian notamment. Page 29/78

30 4.3 Cloud Computing Qu'est ce que le Cloud Computing? Le Cloud Computing correspond à une technologie permettant de dématérialiser les salles de serveurs en se basant sur un technologie non sans rappeler la technologie des grilles de calcul, utilisée pour le calcul scientifique. Le Cloud Computing fait référence à l'utilisation de la mémoire et des capacités de calcul des ordinateurs et des serveurs répartis dans le monde entier, et liés par un réseau, tel Internet. Les utilisateurs du nuage pourraient ainsi disposer d'une puissance informatique considérable et modulable. Ce concept était déjà ébauché par les services d'hébergement, le mode SaaS (Software as a Service) ou la location de puissance de calcul. La donne a changé sous l'impulsion de la virtualisation et de plates-formes conçues d'emblée pour être mutualisées au travers de vastes grilles de serveurs. Ce qui faisait peur se transforme même en avantage : Page 30/78