Rapport de stage. Université de Rouen. à l'attention de Mr P. CARON et Mr S.ABDEDDAIM. Page 1/78

Transcription

1 Rapport de stage à l'attention de Mr P. CARON et Mr S.ABDEDDAIM Université de Rouen Page 1/78

2 Table des matières 1 Sujet de Stage fourni par le CRIHAN Description Entreprise d'accueil Description Réseau RENATER La communauté des utilisateurs Liaisons vers les autres réseaux de recherche dans le monde Liaisons avec l Internet Les services Réseau SYRHANO Les services SYRHANO Les services réseaux Les services applicatifs mutualisés SYRHANO : infrastructures et montage organisationnel Articulation de compétences Le rôle du CRIHAN Les partenaires Établissements d'enseignement Supérieur et de Recherche Établissements d'enseignement Supérieur et de Santé Enseignement secondaire Autres Réseau InterCampus Axe Nord-Sud et extensions Les membres d'intercampus Service de calcul du CRIHAN Les ressources de calcul Les supercalculateurs du Pôle de Modélisation Numérique Les services Assistance Optimisation de codes Formations Le calcul numérique intensif Adapter les programmes de calcul : la parallélisation Qu'est ce que la virtualisation de serveurs? Infrastructure virtuelle Pourquoi l infrastructure virtuelle est-elle importante? Les types de solutions de virtualisation Type de virtualisation Virtualisation d'os Virtualisation d'espace utilisateur Virtualisation complète Para-virtualisation Les solutions du marché Plateforme de virtualisation...22 Page 2/78

3 Technologie vserver...22 vserver...22 OpenVZ Technologies XEN...22 Xen open-source...22 Citrix XenServer...22 Licence XenServer et Essentials for Xenserver...23 Prix publique des licences à l'unité (max 10 unités, possibilité d'achat en plus grand nombres par un vendeur) Technologie KVM...23 Module KVM du Linux noyau et supérieur Technologie VMWare...24 VMWare ESXi...24 VMWare ESX...24 Pack VMWare Infrastructure Entreprise...24 VMWare Infrastructure Entreprise et Support commercial VMWare compatible pour 2 processeurs...24 VirtualCenter Server Logiciel de gestion de cluster XenCenter ovirt Proxmox VE VMWare vcenter Server RedHat Cluster Suite avec Cobbler Cloud Computing Qu'est ce que le Cloud Computing? Enomalism Eucalyptus OpenNebula OpenQRM Comparatif de solutions de Cloud Computing Les besoins du CRIHAN Détail Topologie Type de serveurs à virtualiser Serveurs DNS Serveurs d'authentifications Serveurs de base de données Serveurs d'hébergement Web de type LAMP (Linux Apache MySQL PHP) Wiki interne Serveurs administratifs internes Serveur de licences pour le calcul Serveur ADICAP GateKeeper (pont de visio-conférence) Machines de test Comparatif des solutions de virtualisation Les notions abordés...38 Page 3/78

4 5.2 Plateforme de virtualisation Logiciel de gestion de cluster Choix final de la solution Intégration en production Topologie avant intégration Topologie après intégration avec nouvelles fonctionnalités Activités annexes au sein du CRIHAN Support aux utilisateurs Association Pôle Image de Haute Normandie Participation au groupe de travail gt-stockage Étude des solutions de stockage mutualisé Participation au groupe de travail gt-virtualisation Étude d'une solution de Cloud Computing au sein du réseau SYRHANO Présentations et formations sur la virtualisation Glossaire Références Annexe Support de formation virtualisation au CRIHAN Procédure d'installation de serveur SUN SUNFIRE x2270 au CRIHAN pour la virtualisation...61 Page 4/78

5 1 Sujet de Stage fourni par le CRIHAN Étude et mise en place d'une architecture de serveurs virtualisés. 1.1 Description Ce stage consiste en l'étude et la comparaison des solutions de virtualisation du marché et la mise en place d'une architecture de virtualisation au CRIHAN. Vous devrez dans un premier temps rédiger un document de synthèse décrivant les différents logiciels et solutions de virtualisation en indiquant leurs principaux avantages et inconvénients. Dans un deuxième temps vous participerez à l'élaboration et la mise en place d'une architecture virtualisée pour les services du CRIHAN (services internes et hébergement). Vous devrez prendre en compte notamment les aspects de consolidation des serveurs et la sécurisation des services critiques (PRA). De manière transversale vous participerez au groupe de travail virtualisation auquel les principaux établissements d'enseignement et de recherche de la région participent. N.B.: Un glossaire terminologique est fourni avant les annexe expliquant les principaux termes Page 5/78

6 2 Entreprise d'accueil 2.1 Description Association créée fin 1991 à l'initiative du Conseil Régional de Haute-Normandie, le CRIHAN a pour mission d'aider les organismes publics et privés de la région à développer des activités d'enseignement, de recherche et de développement basées sur l'utilisation des nouvelles technologies de communication et sur l'informatique. Les quatre thématiques de l'association sont : les outils pour la modélisation numérique, les réseaux informatiques, le support aux projets innovants, les actions de formation. Le financement de l'association CRIHAN est assuré par le Conseil Régional de Haute-Normandie. Les projets lourds, comme le pôle de modélisation numérique et le réseau régional SYRHANO sont financés dans le cadre du Contrat de Projets État-Région. 2.2 Réseau RENATER RENATER, Réseau National de télécommunications pour la Technologie l Enseignement et la Recherche, a été déployé au début des années 90 pour fédérer les infrastructures de télécommunication pour la recherche et l éducation. Afin de mener à bien cette action, le Groupement d Intérêt Public RENATER a été constitué en janvier Les organismes membres du GIP RENATER sont de grands organismes de recherche : CNRS, CPU, CEA, INRIA, CNES, INRA, INSERM, ONERA, CIRAD, CEMAGREF, IRD, BRGM, ainsi que le Ministère l enseignement supérieur et de la Recherche et le ministère de l Éducation Nationale. Plus de 1000 sites sont raccordés via les réseaux de collectes régionaux au réseau national RENATER. Ce réseau fournit une connectivité nationale et internationale, il évolue régulièrement en fonction de l évolution des technologies et des capacités des infrastructures disponibles. Le GIP RENATER est également maître d ouvrage du SFINX, point d échanges entre opérateurs créé en La communauté des utilisateurs Aujourd hui plus de 1000 établissements ayant une activité dans les domaines de la Recherche, la Technologie et l Enseignement sont raccordés à RENATER. Ce réseau leur permet de communiquer entre Page 6/78

7 eux, d accéder aux centres de recherche et aux établissements d enseignement du monde entier et à l Internet. Le réseau RENATER est composé d une infrastructure métropolitaine et de liaisons internationales à haut débit. RENATER est également présent dans les départements et territoires d Outre Mer. Les caractéristiques de ce réseau sont : Une architecture majoritairement basée sur des fibres noires et des équipements DWDM Page 7/78

8 Une architecture avec un maillage complet avec des liaisons à 10 Gb/s sur presque la totalité des points de présence du réseau Une possibilité de répondre aux besoins de très hauts débits des grands projets de recherche en établissant des chemins optiques de bout en bout entre les points de présence Liaisons vers les autres réseaux de recherche dans le monde RENATER est interconnecté à 10 Gbit/s aux autres réseaux de recherche européens et américains - y compris Internet 2 (réseau ABILENE) - via le réseau européen GEANT2 qui est, au plan mondial, la plus grande structure de ce type Liaisons avec l Internet En France la communication avec l Internet est réalisée par le nœud d échange SFINX (lien à 2x10 Gbit/s avec plus de 80 opérateurs). La communication avec l Internet dans le reste du monde est assurée par deux interconnexions à 10 Gbps avec 2 opérateurs de transit : Cable&Wireless et Level Les services Des services sont offerts à l ensemble de ses utilisateurs qui s engagent au respect d une charte déontologique. Parmi les services, signalons : la connectivité en IPv4 et en IPv6 disponible en natif sur le réseau, le service multicast utile à la diffusion de visioconférences, la gestion de la qualité de service (QoS), et la sécurité qui est assurée par le CERT-RENATER. Pour produire ces services le GIP RENATER développe des technologies telles que la métrologie et maintient des relations suivies avec ses utilisateurs. Le GIP-RENATER propose également un "modèle" de charte déontologique pour les établissements. 2.3 Réseau SYRHANO SYRHANO (SYstème Réseau de HAute-Normandie) est le réseau régional pour l'enseignement et la recherche. Ce projet est financé dans le cadre du Contrat de Projets et bénéficie de cofinancements européens (fonds FEDER). SYRHANO est piloté par le CRIHAN (Centre de Ressources Informatiques de Haute-Normandie), établissement dont le fonctionnement est assuré par le Conseil Régional de Haute-Normandie. SYRHANO constitue depuis 1993 l'épine dorsale de l'internet non-marchand de notre région ; il est connecté par RENATER sur les réseaux pour l'enseignement et la recherche du monde entier. SYRHANO joue également un rôle structurant en Haute-Normandie par la mise en œuvre d'un point d'échange régional (GIX NERO) sur lequel sont connectés plusieurs opérateurs commerciaux.. A l'instar des réseaux pour l'enseignement, la Technologie et la Recherche en France et dans le monde, SYRHANO sert entre autres à : fournir les meilleurs services possibles aux chercheurs et aux enseignants et plus généralement à tous les utilisateurs du réseau régional promouvoir et servir de support à une politique des contenus d intérêt général (bibliothèques, musées, laboratoires virtuels, université numérique en région, etc.) ; Page 8/78

9 faciliter la mutualisation des services entre les partenaires (UNR, PRES, etc.) ; développer ou maintenir un savoir-faire technologique et une capacité d innovation pour ses partenaires ; défricher les technologies et prototyper les services dont certains seront ensuite proposés sous la forme d'offres commerciales par les opérateurs et les fournisseurs d'accès Internet ; structurer et dynamiser l Internet (en particulier avec les GIX) y compris pour les développements les plus avancés (typiquement IPv6 et la qualité de service) ; mettre en application les stratégies de développement des TICE des collectivités locales et de l'état ; développer les usages des TICE. SYRHANO est plus qu'un réseau pour la Recherche : c'est une infrastructure mutualisée de qualité supérieure ouverte aux communautés scientifiques et culturelles ainsi qu'au monde de la santé. SYRHANO est un socle technique conçu pour que chaque établissement utilisateur construise et mette en œuvre les services et les applications dont il a besoin Les services SYRHANO SYRHANO offre à ses utilisateurs une connectivité IP de qualité supérieure sur RENATER et sur les réseaux pour l'enseignement, la Technologie et la Recherche dans le monde. Les règles d'ingénierie qui prévalent au déploiement d'un service sont strictes, tant sur le plan du dimensionnement (par exemple : pas de sur-réservation de bande passante) que du comportement des équipements (délai de propagation et variation du délai de propagation, entre autres) Les services réseaux IPv4 : c'est la connexion IP "classique", mais avec des critères de qualité très élevés. IPv6 : c'est le protocole qui permet dès aujourd hui l extension de l Internet à toute la planète, qui va petit à petit remplacer la version 4 et permettre à tous les objets courants de fonctionner en réseau (téléphones, ordinateurs, voitures, appareils électroménagers, capteurs, etc.). IPv6 facilite la création d applications nouvelles, nécessitant par exemple une configuration automatique, une gestion efficace de la mobilité ou un niveau élevé de sécurité. Multicast : c'est la capacité, offerte par le réseau, d'envoyer efficacement des informations à un ensemble de destinataires. Parfois complexe à mettre en œuvre, le multicast offre par exemple des fonctionnalités intéressantes pour toutes les applications de diffusion multimédia. Réseaux privés virtuels : ils permettent à plusieurs sites d'échanger des informations de manière privée ou, plus généralement, d'instancier plusieurs réseaux logiques sur la même infrastructure. Ils peuvent être de niveau 2 (typiquement Ethernet) ou de niveau 3 (IP). Classes de service : afin de permettre un fonctionnement optimum de certaines applications très sensibles au comportement du réseau comme la téléphonie sur IP ou la visioconférence, les classes de service permettent de différencier les flux de données venant de certains applicatifs afin de les traiter en priorité dans les équipements actifs. La disponibilité des services réseau est supérieure à 99,95% sur une fenêtre glissante de 12 mois. Le réseau est exploité et supervisé 24h/24 et les utilisateurs disposent d un accès permanent à la cellule d exploitation de SYRHANO. Page 9/78

10 Les services applicatifs mutualisés Service CATA : filtrage antispam et antivirus, boîtes aux lettres et espace disque bureautique, accessible à tous. Service de stockage et de présentation des données (courant 2009) : destiné principalement aux établissements et aux laboratoires qui souhaitent valoriser des résultats de recherche, disposer d'un espace collaboratif avec des partenaires ou simplement stocker/sauvegarder des données numériques, le service de stockage et de présentation des données permet le partage ou la conservation de grandes quantités d'information (plusieurs centaines de To, avec une architecture extensible). Service régional de visioconférence multipoint : utilisable depuis des terminaux spécialisés IP et RNIS, des logiciels libres sur Macintosh et PC (Windows, Linux ou FreeBSD) voire avec un simple téléphone, le service de visioconférence permet à plusieurs utilisateurs distants de partager un espace de discussion multimédia. Ce service va évoluer courant 2009 vers le format HD. Autres services rendus par le CRIHAN : hébergement web, serveur ftp miroir de nombreux outils libres, serveur de news USENET, secours DNS et courrier électronique, nombreux sont les services rendus aux utilisateurs régionaux par le CRIHAN SYRHANO : infrastructures et montage organisationnel SYRHANO utilise principalement, au niveau régional, les services de liaisons louées des opérateurs de télécommunication. Régulièrement, des appels d'offres de service sont publiés pour améliorer ou compléter le réseau. Ces appels d'offres ont permis, au fil des ans, de mesurer le dynamisme régional et, souvent, d'accélérer le déploiement de services en région. On peut par exemple citer le 2Mbit/s sur Le Havre en 1993, le 155Mbit/s sur Rouen en 1995, le service optique DWDM entre Evreux, Rouen et Le Havre et la liaison Ethernet Gbit/s entre Rouen et Le Havre en SYRHANO utilise également l'infrastructure optique privée du CRIHAN sur l'agglomération de Rouen, appelée "InterCampus" et, quand cela est possible, les services de location de fibres noires (Agglomération de Rouen, NEUF CEGETEL au Havre). Les extrémités des liaisons louées et celles des faisceaux optiques arrivent dans des locaux techniques mis à la disposition du CRIHAN par les établissements utilisateurs de SYRHANO. Des équipements actifs y sont alors installés pour permettre de raccorder potentiellement plusieurs sites et constituer ainsi des points de présence (PoP) SYRHANO. L'interface de raccordement sur SYRHANO est généralement Ethernet et le débit de connexion IP peut aller de quelques centaines de kbit/s (via ADSL ou SDSL) à plusieurs Gbit/s. Depuis 2005, le débit de sortie sur RENATER est de 1Gbit/s. Cette interface peut techniquement évoluer sans modification matérielle vers 10Gbit/s. A l'aube du déploiement d'infrastructures privées par les Conseils Généraux et certaines agglomérations, la communauté SYRHANO est fortement intéressée par ces nouveaux réseaux et la capillarité améliorée qu'ils vont offrir, dans le cadre d'accords de mutualisation comme celui déjà engagé avec l'agglomération de Rouen pour InterCampus. Page 10/78

11 2.3.3 Articulation de compétences SYRHANO est un réseau fédérateur, qui repose sur une articulation des compétences et d'infrastructures. Début 2009, le réseau est constitué : d'une épine dorsale optique entre les principaux points de présence (de Saint-Etienne du Rouvray, du Havre, de Dieppe, de Mont-Saint-Aignan, d'evreux, de Val de Reuil et de Vernon). Ces liaisons, louées à Orange Business Services et à NEUF CEGETEL, sont pour la plupart de type Ethernet Gigabit/s (simple ou double) et peuvent évoluer jusqu'à 2,5Gbit/s ; de liaisons louées périphériques pour irriguer des sites excentrés (IUT du Havre ville haute, IUT d'elbeuf, Val de Reuil, bibliothèque universitaire et IUT d'evreux, etc.). Ces liaisons vont de 100Mbit/s à 2Gbit/s et sont louées à Orange Business Service et NEUF CEGETEL ; du réseau InterCampus sur l'agglomération de Rouen. C'est une infrastructure optique privée appartenant au CRIHAN. Le CRIHAN a obtenu en septembre 2000 une licence d'exploitation de réseau filaire indépendant pour un Groupe Fermé d'utilisateurs (GFU) Enseignement Supérieur et Recherche ; de fibres noires louées à l'agglomération de Rouen et à NEUF CEGETEL ; de services complémentaires ou partenaires, comme un accès Internet de secours directement accessible de SYRHANO et une collecte xdsl opérée par un opérateur privé dans le cadre d'un marché coordonné par le Rectorat de Rouen ; de plusieurs lignes d équipements, qui sont intégrées au réseau de manière transparente ; d'un opérateur de service unique, garantissant une exploitation et une supervision 24h/24 et 7j/7 des infrastructures et des services réseau Le rôle du CRIHAN Porteur du projet dans le cadre du "programme SYRHANO" du Contrat de Projets État-Région , le CRIHAN est le Maître d œuvre technique du projet SYRHANO : il rédige les spécifications techniques et lance régulièrement des consultations. D'autre part, le CRIHAN est une structure opérationnelle pour étudier et expérimenter, en partenariat avec les sites utilisateurs, des opérations pilotes (desserte IPv6, classes de service, multicast, etc.) ainsi que de nouveaux services applicatifs (visioconférence, téléphonie sur IP, mutualisation d'outils de sauvegarde et de stockage, etc.). Le CRIHAN organise également des actions de formation et de sensibilisation aux TICE à destination des utilisateurs finaux, des techniciens et des ingénieurs Les partenaires Établissements d'enseignement Supérieur et de Recherche Université de Rouen - Mont-Saint-Aignan, Rouen, Saint-Etienne du Rouvray, Elbeuf, Evreux Université du Havre INSA de Rouen - Mont-Saint-Aignan, Saint-Etienne du Rouvray IUT du Havre IUT de Rouen Page 11/78

12 IUT d'evreux COmplexe de Recherche Interprofessionnel en Aérothermochimie (CORIA) Rectorat de Rouen Institut Universitaire de Formation des Maîtres (IUFM) - Mont-Saint-Aignan, Evreux, Le Havre Centre National d'enseignement à Distance (CNED) École d'architecture de Rouen ESIGELEC ESITPA Groupe ESC Rouen Sciences Po Le Havre Établissements d'enseignement Supérieur et de Santé Centre Hospitalier Universitaire de Rouen (CHU de Rouen) Centre Hospitalier Intercommunal Eure-Seine (CHI Eure-Seine) - Evreux, Vernon Centre de Lutte Contre le Cancer Henri Becquerel Centre Hospitalier de Bernay Enseignement secondaire Lycées et collèges des départements de Seine-Maritime et de l'eure Autres Conseil Régional de Haute-Normandie Espace Public Numérique "Cyberbase" du Conseil Régional de Haute-Normandie CROUS Haute-Normandie Centre Régional de Documentation Pédagogique (CRDP) Cité des Métiers ESTRAN Cité de la Mer Institut de Formation des Apprentis (IFA) Institut Départemental de l'enfance de la Famille et du Handicap pour l'insertion (IDEFHI) Centre de Ressources Informatiques de Haute-Normandie (CRIHAN) 2.4 Réseau InterCampus Intercampus est une infrastructure optique déployée par le CRIHAN sur l'agglomération rouennaise. Initié à la fin des années 90, le projet InterCampus avait comme principal objectif de raccorder entre eux les principaux campus universitaires (Mont-Saint-Aignan et Saint-Étienne du Rouvray), et par là même connecter à très haut débit les établissements d'enseignement Supérieur et de Recherche. Ces établissements étaient à l'époque réunis dans le cadre d'un Groupement Fermé d'utilisateurs (GFU) pour lequel le CRIHAN avait obtenu auprès de l'autorité de Régulation des Télécommunications (ART, aujourd'hui ARCEP) une licence d'exploitation L.33-2 le 13 septembre Aujourd'hui, le réseau IP mutualisé sur une partie des fibres est cependant exploité dans le cadre du réseau régional SYRHANO. Page 12/78

13 Au fil des ans, InterCampus s'est étendu aux nouveaux campus (Pôle Universitaire des Sciences du Tertiaire au centre de Rouen, IUFM à Mont-Saint-Aignan, Faculté de Médecine, Cité des Métiers, ESITPA etc.). Les faisceaux optiques sont posés principalement dans les fourreaux des services de transport de l'agglomération de Rouen (TEOR, métrobus) mais également en génie civil traditionnel quand cela est nécessaire Axe Nord-Sud et extensions Depuis 2000, un axe principal nord-sud relie les campus de Mont-Saint-Aignan et de Saint-Etienne du Rouvray. Une extension a été réalisée en 2002 vers le Pôle Universitaire des Sciences du Tertiaire (PUST) au centre ville de Rouen. En 2004, d'autres travaux ont été réalisés pour irriguer le campus de l'iufm de Mont-Saint-Aignan et pour modifier le tracé au nord de Rouen. En 2007, une nouvelle extension vers l'est a permis de rejoindre le Centre Hospitalier Universitaire de Rouen, la Faculté de Médecine, le Conseil Régional de Haute-Normandie, le Centre Henri Becquerel et l'ecole d'architecture. En 2008, l'esitpa et l'ifa ont également rejoint le réseau Les membres d'intercampus Université de Rouen Campus de Mont Saint Aignan Site Colbert STAPS Campus de Martainville (médecine) Pôle Universitaire des Sciences du Tertiaire (PUST) Campus du Madrillet IUFM Mont Saint Aignan ESITPA Mont Saint Aignan IFA Mont Saint Aignan INSA de Rouen Site de Mont-Saint-Aignan Site de Saint-Etienne du Rouvray Groupe ESC Rouen Mont Saint Aignan Rectorat de Rouen ASCORIA CERTAM Lycée le Corbusier Centre de Ressources Informatiques de Haute-Normandie (CRIHAN) École d'architecture Cité des Métiers CHU de Rouen Centre Henri Becquerel Rouen Conseil Régional de Haute-Normandie Page 13/78

14 Page 14/78

15 2.5 Service de calcul du CRIHAN Les ressources de calcul Dans le cadre du Contrat de Plan Etat-Région, le CRIHAN est en charge de la plate-forme technique du Pôle de Modélisation Numérique. Depuis fin 2005, la machine la plus puissante du centre de ressources est un supercalculateur IBM, d'une puissance crête de plus de 1,1TFlops (1,1 millions de millions d'opérations flottantes par seconde). La vocation de cet ordinateur est de réaliser des simulations numériques de grandes tailles qui ne peuvent pas être traitées sur les équipements habituels des laboratoires ou des entreprises. Les laboratoires de recherche publics ou privés disposent d'accès à ce supercalculateur pour permettre à leurs ingénieurs et chercheurs de réaliser leurs travaux. Le CRIHAN fait régulièrement évoluer ses moyens de calcul de manière à disposer d'une puissance de calcul correspondant aux besoins de ses utilisateurs Les supercalculateurs du Pôle de Modélisation Numérique La machine la plus récente du pôle de modélisation est un cluster IBM p575 comprenant 22 noeuds octoprocesseurs (Power5 cadencés à 1,9Ghz) dont 16 interconnectés par un réseau rapide à très faible latence. La puissance crête de ce cluster est de plus de 1,1TFlops. La solution de calcul est complétée par une unité de stockage des données sur disque d'une capacité d'environ 20To. En 2008, un des deux nœuds p690 Turbo, installés en 2002 est encore utilisé. Il est composé de 32 processeurs Power4 cadencés à 1,3 Ghz et 32 Gigaoctets de mémoire, ce qui représente une puissance crête globale d'environ 165 GigaFlops. Cette machine apporte un complément intéressant pour les applications nécessitant beaucoup de mémoire Les services Les utilisateurs disposent d'espaces de travail sur les supercalculateurs pour la réalisation de leurs simulations. Chacun, dans le cadre du projet d'étude numérique qui le concerne, dispose d'un compte qui représente son environnement de travail (ses droits d'accés, son quota en heures de calcul, son espace disque alloué, les logiciels accessibles) dans lequel il met en œuvre ses simulations numériques Assistance Un service d'assistance scientifique est proposé au CRIHAN pour que chacun puisse optimiser l'utilisation des ressources de calcul (prise en compte de l'architecture du supercalculateur, des modalités de stockage, accessibilité des logiciels). Cette assistance répond aux problèmes que les utilisateurs peuvent rencontrer avec leurs applications (déboguage, compilation, parallélisation, performances). Elle peut aussi répondre à des besoins spécifiques, pour adapter l'environnement de travail, installer de nouveaux logiciels, etc Optimisation de codes Dans certains cas, les besoins exprimés, aussi bien par les entreprises que par les laboratoires publics, Page 15/78

16 concernent directement l'optimisation des codes de calcul soumis à la machine : le service d'assistance scientifique peut alors proposer une aide directe, en conseil voire en développement sur ces codes. Cela peut être la prise en charge de la parallélisation et de l'optimisation d'un code, depuis la conception d'un algorithme parallèle jusqu'à sa validation Formations Des formations théoriques et pratiques sont régulièrement proposées sur l'environnement des supercalculateurs et sur les techniques de programmation : elles permettent aux utilisteurs de se familiariser avec les ressources du CRIHAN. Des formations plus spécifiquement liées au domaine de l'optimisation et de la parallélisation des codes de calcul sont également organisées Le calcul numérique intensif Il est possible de modéliser des phénomènes d'une complexité grandissante et de simuler le comportement de prototypes sans avoir à les construire. Les domaines d'application des techniques de simulation sont très nombreux, allant de la biochimie moléculaire à l'aéronautique en passant par la météorologie. Pour les laboratoires, la modélisation permet de simuler certains phénomènes et ainsi éviter des expérimentations réelles coûteuses. Pour une entreprise, utiliser des ordinateurs scientifiques permet de gagner du temps dans les phases de modélisation et donc d'optimiser les coûts. Dans de nombreux cas, la modélisation numérique est devenue un outil incontournable. La figure ci-dessous illustre l'écoulement de l'eau de mer autour de la carène d'un voilier de compétition. Grâce aux simulations numériques, la durée de la phase de conception est fortement réduite. Lorsqu'il s'agit de problèmes complexes nécessitant des mois de calcul, ou si le temps de restitution représente une contrainte forte, il devient alors nécessaire de partager la masse de calcul entre plusieurs processeurs pour diminuer le temps de restitution. On utilise pour cela des calculateurs parallèles, c'est-àdire des machines dotées de plusieurs processeurs. Des techniques logicielles existent pour aider à la distribution du travail et la gestion de l'ensemble. Un supercalculateur est un ordinateur doté de ressources (en processeurs, en mémoire et en disques durs) qui dépasse de plusieurs ordres de grandeur les capacités du PC familial. De grands constructeurs informatiques (Cray, HP, IBM, Fujitsu, NEQ, SGI, SUN, etc.) se sont spécialisés dans la conception de tels Page 16/78

17 calculateurs. Les composants employés sont très performants mais de coût de développement élevé. Il existe également depuis quelques années des calculateurs, appelés clusters, qui sont constitués de plusieurs nœuds de calcul interconnectés par un réseau rapide. Certains clusters peuvent même être constitués par des composants relativement bon marché, comme des PC reliés entre-eux par un simple réseau Ethernet Adapter les programmes de calcul : la parallélisation Les simulations numériques permettent de modéliser des phénomènes de plus en plus complexes qui nécessitent des milliards d'opérations, ce qui représente des semaines voire des mois de calcul sur un processeur avec parfois des contraintes fortes sur le temps de restitution (par exemple les prévisions météo). Une technique pour diminuer le temps de restitution de l'application s'appelle la parallélisation. Elle consiste à partager le travail entre plusieurs processeurs (de deux à plusieurs milliers, en fonction de leur puissance). On peut ainsi abaisser le temps de restitution à quelques heures ou à quelques jours. Un autre avantage de la parallélisation réside dans la taille des problèmes pouvant être traités. Pour un même temps de restitution, la parallélisation permet de résoudre des problèmes plus gros en morcelant l'application sur plusieurs processeurs, voire sur plusieurs groupes de processeurs (nœuds de calcul). Dans certains cas extrêmes, plusieurs ordinateurs peuvent même être utilisés simultanément (metacomputing ou grille de calcul). Il existe différentes techniques de parallélisation (parallélisme de données, parallélisme par échanges de messages), et certaines ne peuvent être mises en œuvre que sur une architecture spécifique. A titre d'illustration, la figure ci-dessous donne une idée des ressources nécessaires pour résoudre des problèmes auxquels sont confrontés les ingénieurs, les chercheurs, ainsi que l'année où ces simulations ont commencé à être réalisées. N.B.: Le CRIHAN prévoit le remplacement des nœuds de calcul en fin 2009-début Page 17/78

18 3 Qu'est ce que la virtualisation de serveurs? La virtualisation de serveurs est un ensemble de techniques et d outils permettant de faire tourner plusieurs systèmes d exploitation sur un même serveur physique. Le principe de la virtualisation est donc un principe de partage : les différents systèmes d exploitation se partagent les ressources du serveur. Pour être utile de manière opérationnelle, la virtualisation doit respecter deux principes fondamentaux : Le cloisonnement : chaque système d exploitation a un fonctionnement indépendant, et ne peut interférer avec les autres en aucune manière. La transparence : le fait de fonctionner en mode virtualisé ne change rien au fonctionnement du système d exploitation et à fortiori des applications. La transparence implique la compatibilité : toutes les applications peuvent tourner sur un système virtualisé, et leur fonctionnement n est en rien modifié. Pour ce qui est du cloisonnement, il existe bien sûr une interférence passive liée à la concurrence dans le partage des ressources. Mais nous verrons que ce partage peut être parfaitement contrôlé. La virtualisation n est pas une idée nouvelle. En fait, elle remonte aux débuts de l informatique. On peut ainsi citer les travaux de Popek et Goldberg en 1974, qui ont analysé les différents types de solutions de virtualisation possible, leurs inconvénients respectifs et ont jeté les bases des développements futurs. Dans l'univers des Mac, on a récemment beaucoup entendu parler de virtualisation depuis le passage des Mac à des processeurs Intel. Windows et MacOS étant dorénavant prévus pour fonctionner sur les mêmes CPU il est légitime d envisager de les faire cohabiter. De plus, les fondeurs Intel et AMD se sont eux aussi lancés dans l aventure, en prétendant résoudre les problèmes rencontrés jusqu alors grâce à des optimisations matérielles des CPU. On pourrait donc presque dire que la virtualisation est passée sous le feu des projecteurs. Presque car, malgré tout, cela reste une technologie assez mystérieuse pour le grand public. Il est donc apparu utile de faire un tour d horizon des solutions de virtualisation disponibles actuellement et de leurs développements futurs. 3.1 Infrastructure virtuelle L'infrastructure virtuelle simplifie l'informatique en permettant aux entreprises d'exploiter leurs ressources de stockage, réseau et informatiques pour contrôler leurs coûts et améliorer leur réactivité. Le principe de l'infrastructure virtuelle repose sur la création de ressources virtuelles, libérées de toute infrastructure physique, que les administrateurs peuvent allouer dynamiquement en fonction des projets les plus demandeurs. L'administration du matériel est désormais totalement indépendante de celle des logiciels et son approvisionnement peut être traité comme un ensemble unique de ressources à affecter ou à réaffecter «à la volée» à travers l'entreprise. Dans une infrastructure virtuelle, les utilisateurs voient les ressources comme si elles leur étaient exclusivement réservées, tandis que l administrateur les gère et les optimise globalement, à l échelle de l entreprise. Page 18/78

19 3.2 Pourquoi l infrastructure virtuelle est-elle importante? L infrastructure virtuelle permet aux entreprises de réduire leurs coûts informatiques tout en étant plus efficaces, plus flexibles et plus réactives. La gestion d une infrastructure virtuelle permet aux responsables informatiques d allouer et de gérer dynamiquement des ressources en fonction des besoins. Il y a des avantages à la virtualisation comme avoir : plusieurs serveurs consommant 5 à 15% de ressources sur une seul machine en consommant 60 à 80% des ressources un délai de provisioning (voir Glossaire) des nouvelles applications mesuré en quelques minutes et non plus en jours un temps de réponse aux demandes de changement de configuration mesuré en minutes une maintenance matérielle sans interruption de service pour les utilisateurs et sans attente pour les équipes d'intervention L'intégration des serveurs pour la virtualisation permettra l'économie en matériel, en maintenance, en économie d'énergie et en formation du personnel du CRIHAN en mutualisant les services sur des machines virtuelles répartis sur quelques gros serveurs (beaucoup de mémoire vive) avec le stockage partagé mis en place. Page 19/78

20 4 Les types de solutions de virtualisation Une solution de virtualisation est la technologie mise en place sur un serveur physique afin d'apporter des possibilités de virtualisation permettant d'instancier des machines virtuelles (VM, voir Glosssaire) sur ce dit serveur. 4.1 Type de virtualisation Virtualisation d'os Cela permet, à partir d'un même noyau d'avoir des conteneurs sécurisés qui segmentent la machine hôte en VM. On peut citer comme exemple vserver et son dérivé OpenVZ. Avantage(s) : performance très proche du natif (juste perte au niveau de la RAM allouable en tout). Inconvénient(s) : Un seul noyau est commun entre toutes les VMs donc une mise à jour du noyau sur une seule VM n'est pas possible, donc il n'est pas possible d'avoir une VM de production et une de test de mise à jour du noyau sur la même machine. La partie Isolateur + User Space correspond à la machine virtuelle Virtualisation d'espace utilisateur Cette technique de virtualisation repose sur un système proche de l'isolation (virtualisation d'os). On peut citer comme logiciel UML, User Mode Linux, utilisé pour des tests simples (exemple: réseau, routage, ). Cette solution est très peu performante, car deux noyaux sont empilés et l isolation des environnements n est pas gérée et l indépendance par rapport au système hôte est inexistante. Page 20/78

21 4.1.3 Virtualisation complète La VM accède à des périphériques virtuels standards. La plateforme de virtualisation installée traduit les accès à ces périphériques virtuels en appel aux périphériques physiques. Avantage(s) : Support de beaucoup plus de types d'os invités car les périphériques sont standards. Inconvénient(s) : Beaucoup plus lourd que les autres types de virtualisation car il faut tout virtualiser, ce qui alourdi la charge du système. Dans certains implémentations, il est obligatoire d'installer des modules sur l'os invité pour le support de l'accélération matériel (HVM) Para-virtualisation Technique proche de la full-virtualization (virtualisation complète) mais avec des modules installés sur les OS invités pour un accès plus direct aux périphérique physiques ce qui permet d'avoir des performances proche du natif. Pour la description d'un hyperviseur, voir Glossaire. Avantage(s) : Performance très proche du natif. Inconvénient(s) : Obligation d'installer des drivers sur le noyau hôte et sur les OS invités. Obligation d'avoir un CPU Intel-VT ou AMD-V. Page 21/78

22 4.2 Les solutions du marché Plateforme de virtualisation Technologie vserver vserver vserver est le précurseur de la compartimentation de VMs sur un même serveur physique. Il offre des fonctionnalités de base mais pas de support des techniques avancées comme les tags VLAN (802.1Q). L'une des utilisations est de mettre en place cette solution sur une autre solution (ex: XEN) offrant les composantes manquantes. OpenVZ OpenVZ propose de la virtualisation basé sur le compartimentation pour Linux. OpenVZ crée de multiples containers isolés et sécurisés (appelés parfois VE ou VPS) sur un seul serveur physique assurant une meilleure utilisation des ressources du serveur et assurent que les applications ne rentrent pas en conflit. Chaque container fonctionne sur le même principe qu'un serveur physique. Un container peut ainsi être redémarrer indépendamment et avoir un compte root, des utilisateurs, des adresses IP, mémoire allouée, processus, applications, bibliothèques système et fichiers de configuration Technologies XEN Xen open-source Il est développé par l'université de Cambridge (UK). Xen est un hyperviseur qui requière un noyau adapté pour faire fonctionner des machines virtuelles. Initiateur de la paravirtualisation, cet hyperviseur fût et est encore largement déployé dans le monde malgré son pré-requis lourd à mettre en place. Du fait de cette «paravirtualisation» (adaptation du système d'exploitation invité) et de sa légèreté, Xen est un outil de virtualisation des plus performants. En effet les systèmes invités peuvent avoir un accès direct au matériel, ce qui offre un bien meilleur potentiel d'optimisation. Cependant, faire fonctionner une machine virtuelle Windows dont le code source est fermé pose quelques problèmes. Le fait de paravirtualiser le noyau en le «xenifiant» permet d'apporter des fonctionnalités comme la migration à chaud (dite «live») assurant ainsi une plus grande disponibilité de services par la fonctionnalité de Haute Disponibilité. Citrix XenServer Basé sur le noyau Xen opensource développé à Cambridge, cette version «packagée» fourni par Citrix a été pendant longtemps payante (jusqu'à la version 4.1). C'est avec cet hyperviseur que Citrix tente de porter un coup au marché de la virtualisation pour contrer le quasi monopole de VMWare. Depuis le version 5.0, XenServer est passé dans la catégorie du logiciel gratuit en proposant des fonctionnalités évoluées, chose que VMWare fait payer un prix élevé. C'est une solution de déploiement rapide et simple offrant souplesse, sécurité des données serveurs. Page 22/78

23 Licence XenServer et Essentials for Xenserver XenServer Essentials for XenServer, Enterprise Ed. Essentials for XenServer, Platinum Ed. Xen hypervisor 64 bits VM Windows et Linux Nombre illimités de serveurs, VMs, et CPUs XenCenter management console Multi-server management migration live XenMotion Historique des performances Rapport des performances et des erreurs par mail Haute Disponibilité Intégration au système de stockage StorageLink Gestion du workflow Provisioning de services dynamique (virtuel seulement) Provisioning de services dynamique (physique et virtuel) Gestion de laboratoires automatisés Prix publique des licences à l'unité (max 10 unités, possibilité d'achat en plus grand nombres par un vendeur) XenServer 5 : 0 Citrix Essentials for XenServer, Entreprise Edition Contient en autre la Haute Disponibilité (migration automatique d'une VM vers un autre hôte en cas de défaillance) 2750 USD Citrix Essentials for XenServer, Platinium Edition 5500 USD 3300 USD (40% réduction actuellement) Technologie KVM Module KVM du Linux noyau et supérieur Afin de contrer la lourdeur qu'impose la modification du noyau Linux par les morceaux de code permettant à un Xen de fonctionner, la communauté Linux a permis le développement d'une alternative qui fût par la suite intégré, sous la forme de module, dans le noyau Linux pour un large déploiement dans l'optique de remplacer, à moyen terme, les solutions à base de Xen. KVM est une solution de virtualisation open source sous licence GPL. Elle est idéale sur des Page 23/78

24 processeurs possédant le jeu d'instructions adéquates car dans de telles conditions, le ralentissement induit est minime et les systèmes-invités n'ont pas besoin d'être modifiés. Ces jeux d'instructions portent les noms de SVM pour AMD (Pacifica) et VT pour Intel. C'est un projet encore assez jeune mais promis à un brillant avenir dès l'hors que des solutions de gestion de cluster matures et apportant toutes les fonctionnalités nécessaires à la mise en production à grande échelle verront le jour Technologie VMWare VMWare ESXi Version allégé de VMWare ESX et gratuite, cet outil ne permet pas la gestion à proprement dite d'un cluster, ni la haute disponibilité et autres fonctionnalités avancées. C'est une solution minimale pour peu de machines à virtualiser, ce qui peut suffire pour des tests dans une architecture de type VMWare ESX déployé en production. VMWare ESX Version payante de la gamme ESX/ESXi, cette mouture est devenu au fils des ans un outil très populaire lors des débuts de la virtualisation sans «xenification». Son intégration dans les architectures d'entreprise lui permet de s'interfacer avec des bases d'authentification comme Active Directory sur les Windows Serveur pour une gestion des rôles. On peut cependant constater que VMWare ESX est devenu progressivement une «usine à gaz» au même titre que 3DS Max pour la 3D. Pack VMWare Infrastructure Entreprise VMware ESX 3.5 or VMware ESXi 3.5 VMware vcenter Server Agent VMware Virtual Machine File System (VMFS) VMware Virtual Symmetric Multi-Processing (vsmp) VMware Update Manager (Guest and Host) VMware VMotion + Storage VMotion VMware High Availability (HA) VMware Distributed Resource Scheduler (DRS) VMware Consolidated Backup Voici un détail des prix publiques proposés par VMWare pour sa solution ESX. VMWare Infrastructure Entreprise et Support commercial VMWare compatible pour 2 processeurs Support Platinum Fonctionnalités Page 24/78 Support Gold

25 24/24, 7/7, 365j/ 12/24, 5/7, 365j/ an an Plage d intervention Durée du service 1, 2 ou 3 ans Prix VI3 + support 1 an TTC TTC Prix VI3 + support 2 ans TTC TTC Prix VI3 + support 3 ans TTC TTC Mises à jour des produits Mise à niveau des produits Produits pris en charge Tous les produits Possibilités d accès Téléphone/Web Support à distance Accès au site Web de VMware Accès aux forums de discussion et à la base de connaissances de VMware Nombre maximum d administrateurs de support par contrat 6 Nombre de demandes de support 4 Illimité Support sur site pour des interventions exceptionnelles N/A Temps de réponse visés Critique (Gravité 1) Dans les 30 min 4h Temps de réponse visés Majeure (Gravité 2) 4h 8h Temps de réponse visés Mineure (Gravité 3) 8h 12h Temps de réponse visés Superficielle (Gravité 4) 12 h Heures de bureau Europe, Moyen-Orient et Afrique (EMEA) 7 h 00 à 19 h 00 (GMT) VirtualCenter Server Fonctionnalités Support Platinum Support Gold Prix VirtualCenter + support 1 an TTC TTC Prix VirtualCenter + support 2 ans TTC TTC Prix VirtualCenter + support 3 ans TTC TTC Logiciel de gestion de cluster Le logiciel de gestion de cluster est l'outil de base de la gestion centralisée, c'est lui qui indique aux membres du cluster comment interagir en gardant une cohésion sur l'ensemble. Page 25/78

26 XenCenter Client développé en.net 2.0 par Citrix pour accompagner sa solution XenServer, ce logiciel permet de gérer un ou plusieurs pools (clusters avec ressources). Cet outil se base sur l'api développé par Citrix pour le contrôle de XenServer. Malgré une taille très réduire (8Mo), cet outil offre une grande souplesse d'utilisation avec un nombre de fonctionnalités grandissant à chaque version et une compatibilité avec les grands noms du stockage de masse comme NetApp et Dell Equalogic ovirt Sortie directement du Emerging Technology Lab de Red Hat, ovirt est une petite merveille en devenir mais n'est pas encore assez mature pour de la production et ne correspond pas au choix final de la solution pour le CRIHAN. À la base, ovirt est une image simple et efficace permettant de fournir des machines virtuelles, semblable à VMware ESX. Cependant, sous cette apparence simple, ovirt cache tout un monde. Par exemple, ovirt offre un serveur d authentification et d autorisation basés sur FreeIPA, un serveur DNS et DHCP pour les VM, une interface de monitoring, une interface de déploiement simplifiée pour les nouvelles VM, etc. Page 26/78

27 Cependant, ce qui est le plus intéressant, c est ce qui va être mis en place dans les prochaines versions : Clustering et haute disponibilité, migration simplifiée des VM, ajout de support pour d autres hyperviseur (Xen, openvz), etc. C'est un projet à suivre pour une migration vers une solution de type KVM, Bref, c est un projet qui sera très intéressant à suivre dans le futur! Proxmox VE Outil développé afin de gérer un cluster de machines de type OpenVZ et KVM. Le niveau de contrôle des VMs est assez limité (juste démarrer/stopper/redémarrer) avec une vue temps réel de l'occupation des ressources. Page 27/78

28 VMWare vcenter Server Point central de la gestion d'un cluster VMWare ESX, ce logiciel doit être installé sur un Windows Server afin de gérer l'ensemble du cluster, ce qui offre malheureusement un point de défaillance car si ce serveur cesse de fonctionner, tout le cluster perd sa cohésion. Page 28/78

29 RedHat Cluster Suite avec Cobbler Ensemble de deux logiciels de provenances différentes, ce couple permet la création d'un cluster et de provisionner des VMs sur le cluster, permettant ainsi une installation rapide basé sur les templates crées avec Cobbler. Ce système est actuellement en place à l'université de Rouen pour la mise en place de services sur le réseau universitaire. Cobbler est un serveur d'installation. Il permet d'installer facilement et automatiquement vos systèmes d'exploitations, virtualisés ou non via PXE. Cobbler est un projet, il utilise donc de nombreuses technologies propres aux systèmes RedHat/Fedora (yum, rpm, kickstart...). Il est donc particulièrement adapté pour ces systèmes, mais des efforts sont en cours pour le rendre compatible avec Debian notamment. Page 29/78

30 4.3 Cloud Computing Qu'est ce que le Cloud Computing? Le Cloud Computing correspond à une technologie permettant de dématérialiser les salles de serveurs en se basant sur un technologie non sans rappeler la technologie des grilles de calcul, utilisée pour le calcul scientifique. Le Cloud Computing fait référence à l'utilisation de la mémoire et des capacités de calcul des ordinateurs et des serveurs répartis dans le monde entier, et liés par un réseau, tel Internet. Les utilisateurs du nuage pourraient ainsi disposer d'une puissance informatique considérable et modulable. Ce concept était déjà ébauché par les services d'hébergement, le mode SaaS (Software as a Service) ou la location de puissance de calcul. La donne a changé sous l'impulsion de la virtualisation et de plates-formes conçues d'emblée pour être mutualisées au travers de vastes grilles de serveurs. Ce qui faisait peur se transforme même en avantage : Page 30/78

31 associée à la redondance et à la dispersion géographique, cette mutualisation devient synonyme de montée en charge aisée, de haute disponibilité et de plan de reprise d'activité (PRA) à moindre coût Enomalism Logiciel installé sur un OS de type Linux (Ubuntu 8.04 préconisé), cet outil affiche des fonctionnalités de gestion assez complète malgré son manque au niveau de la gestion du réseau Eucalyptus Eucalyptus est un logiciel de gestion d'infrastructure virtuelle open-source qui implémente le Cloud Computing sur des clusters. L'interface actuelle est compatible avec les API Amazon EC2, S3 et EBS gérant toutes les facettes de la virtualisation (VM, stockage,...). Eucalyptus est implémenté sur la plupart des OS de type Linux et propose une interface Web rendant plus facile la maintenance et l'utilisation du logiciel. Son architecture basé sur les API Amazon le rend quand même un peu trop propriétaire dans ces modèles de communication. Page 31/78

32 4.3.4 OpenNebula OpenNebula est un moteur d'infrastructure virtuelle open-source qui fourni un provisionement dynamique et de migration de machines virtuelles entre sites. OpenNebula étend les bénéfices liés à la virtualisation en permettant le déploiement réparti sur plusieurs sites. OpenNebula peut être utilisé comme plateforme de virtualisation en créant un cloud interne représentant l'infrastructure de l'entreprise ou du datacenter. Ensuite, il est tout aussi simple d'utiliser OpenNebula pour une intégration sur plusieurs Cloud externes construisant ainsi un Cloud publique supportant de multiples solutions de virtualisation (Xen, KVM,.) tout en restant modulaire et évolutif OpenQRM Basé sur un technologie totalement modulaire, on peut créer des images type (templates) de services et provisionner à la volée, sur des serveurs distants et par TFTP, une machine virtuelle fournissant un service pour un temps donné. Avec son système de ticket, il permet d'allouer des quotas de provisioning de VM sur une période de temps choisi et ainsi gérer le déploiement des serveurs sur un ensemble de machines réparties de manière éparses géographiquement. Page 32/78

33 4.3.6 Comparatif de solutions de Cloud Computing Avant d'envisager une étude approfondie des solutions de Cloud Computing, il faut établir les besoins et pré-requis qu'ont chaque établissement concernant une solution de Cloud Computing, les besoins en Haute Disponibilité, en techniques réseaux avancées (VLAN, ), de supervision, en temps de réponses, etc. A partir de cette étude, il devient ensuite possible d'établir un cahier des charges communs et ensuite choisir la solution la plus adéquate. Lors des réunions de groupe de travail SYRHANO GT-Virtualisation (voir chapitre 8), il a été plus au moins établi que la haute disponibilité et la supervision sont les éléments cruciaux pour une mise en place d'un service régional de Cloud Computing. Un autre point est aussi devenu quasiment obligatoire : le support des machines virtuelles déjà mise en place dans les différents établissements (XEN, KVM, ) donc il est nécessaire de voir à choisir une solution supportant ces technologies. Une composante très à la mode est aussi devenu un critère de choix : le disponibilité d'une API permettant l'interaction entre la plateforme de Cloud Computing et des solutions de supervision et autres déjà mise en place sur les différents sites afin d'intégrer en douceur le Cloud Computing dans les architectures en place. Prenons Enomalism, son interface simple permet une prise en main rapide dès que l'on a intégré les concepts de base du Cloud Computing mais les fonctionnalités sont beaucoup trop restreinte au niveau sécurité, ce qui n'en fait pas une solution viable. Ensuite Eucalyptus, une solution basé sur les APIs Amazon, tant au niveau stockage que de gestion du Cloud, obligeant à intégrer un nouveau langage spécialisé, ce qui oblige une formation lourde et complexe à mettre en place sur l'ensemble des sites. Cette solution n'est pas viable. Vient ensuite OpenNebula, un projet assez jeune dans le domaine mais montrant des possibilités évolutives de par sa conception modulaire. C'est un des projets phare du Cloud Computing, surtout dans le monde de l'open source. C'est une des solutions que l'on peut retenir, un test plus approfondi est nécessaire afin de comparer avec une autre solution. Page 33/78

34 OpenQRM est un projet un peu plus ancien qu'opennebula et intégrant, de manière modulaire, l'ensemble des fonctionnalités que l'on demande à une solution de Cloud Computing. Cela passe par le support des différentes technologies de virtualisations (XEN, Citrix XenServer, KVM, VMWare ESX, etc.), la gestion de ticket de provisioning (on demande pour créer une VM sur le Cloud pour une période donnée et si on a du crédit auprès du Cloud, cela provisionne une VM conformément à ce qui est demandé). Toute ces fonctionnalités sont basés sur un service TFTP/DHCP qui fournit à des serveurs physiques, ayant suffisamment de ressources disponibles, la VM demandée basée sur un template décrivant le service voulu. C'est une solution intéressante mais assez complexe à mettre en œuvre. Pour résumer, l'ensemble des solutions présentés montrent des fonctionnalités que l'on attend d'un Cloud mais avec des restrictions. Peu de solutions intègrent le minimum requis à la mise en place d'un Cloud. Seul une étude approfondie de chaque solution permettra de choisir correctement. 4.4 Les besoins du CRIHAN Détail Les besoins du CRIHAN pour ce qui est de la virtualisation ont été définis et ont permis d'établir une liste succincte des critères de choix d'une solutions de virtualisation : la supervision avec des outils de type Nagios, InterMapper, etc, la facilité d'intégration avec des outils déjà en place, une interface graphique, de préférence Web, pour gérer le provisioning et la gestion du cluster, La possibilité de gérer une collection de template de provisioning afin de monter rapidement un service, une rétro-compatibilité avec du matériel obsolète mais encore fonctionnel, avoir un suivi des performances et une remontée des alertes en cas de problème, la gestion des snapshot pour un plan de sauvegarde «à chaud» des machines rentrant dans le cadre d'un PRA, une compatibilité avec la solution de stockage retenue par le CRIHAN pour son nouveau service de stockage mutualisé inter-établissement, un moyen de se connecter au cluster de virtualisation afin d'intégrer des outils existants ou à venir, le support de la migration live (à chaud) de machines virtuelles entre serveurs physiques au sein d'un cluster, le support des techniques réseaux avancées : tags des paquets réseaux (802.1q VLAN) et EtherChannel (bonding), une option pour faciliter la maintenance des serveurs physiques (panne, nettoyage, ), la haute disponibilité (si possible), l'intégration dans un nuage à la «Cloud Computing». Page 34/78

35 4.4.2 Topologie Type de serveurs à virtualiser Tous les types de serveurs cités ci-dessous sont/seront virtualisés afin de maximiser la durée de service et d'avoir une protection des données Serveurs DNS Les deux serveurs DNS du CRIHAN gérant, en autre, les domaines CRIHAN.fr et SYRHANO.net seront virtualisés. Le service est actuellement hébergés sur machines serveurs MacOS Serveurs d'authentifications Le serveur LDAP contenant les informations d'authentification du personnel du CRIHAN sera répliqué sur une machine virtuelle à partir d'un serveur physique (ou inversement). Le service d'authentification auprès du matériel Cisco, utilisant le protocole propriétaire Cisco Tacacs+, est Page 35/78

36 maintenant sur une machine virtuelle pour assurer un accès constant à l'authentification sur les équipements Serveurs de base de données La base MySQL des applications de type Web, interne au CRIHAN, qui sont utilisés pour stocker les données provenant de services comme Nagios, des statisqtiques provenant de diverses applications, la gestion du personnel (congés, ), etc Serveurs d'hébergement Web de type LAMP (Linux Apache MySQL PHP) Deux serveurs d'hébergement Web sont en production au CRIHAN et ils sont destinés à être virtualiser en raison de leurs faibles consommations en ressources (CPU, RAM, I/O Disque, I/O réseau) Wiki interne Le service de wiki en place actuellement au sein du CRIHAN est un Twiki. La machine virtuelle intègre maintenant un «fork» de Twiki, Foswiki qui a une rétro-compatibilité avec Twiki tout en améliorant et ajoutant des fonctionnalités par rapport au Twiki. Ce service est protégé par une authentification LDAP où seul le personnel CRIHAN a accès et uniquement en interne (pas d'ouverture de ports vers l'extérieur) Serveurs administratifs internes Le serveur principal contenant des applicatifs de gestion du CRIHAN sera à terme remplacé par une machine virtuelle afin d'intégrer le PRA et ainsi pouvoir remonter le service en cas de panne physique Serveur de licences pour le calcul Les logiciels de calcul dans les domaines de la chimie moléculaire, de la mécanique et autres spécialités nécessitant une puissance de calcul, nécessitent d'avoir des licences d'utilisation. Le but d'un serveur de licences est de distribuer des jetons licences (nombre initialement achetés par logiciel cible) pour la période de temps nécessaires et alloués au calcul. Une fois le calcul terminé, le logiciel rend le jeton au serveur de licences afin qu'il soit à nouveau réutilisable Serveur ADICAP En 1996, l'association pour le Développement de l'informatique en Cytologie et en Anatomie Pathologique (ADICAP) a demandé l'aide technique du CRIHAN pour concevoir une plate-forme d'échange et d'aide au travail collaboratif pour ses membres. Les praticiens étaient en effet confrontés à plusieurs problèmes : les échanges d'informations pour la co-expertise à distance étaient jusqu'ici limités à l'utilisation du Réseau Numérique à Intégration de Services (RNIS, Numéris en France) ; les stations de numérisation utilisaient des protocoles d'échange propriétaires ce qui ne permettait le travail collaboratif qu'entre utilisateurs de matériels identiques. L'ADICAP avait depuis longtemps élaboré une codification pour annoter des images numérisées et fait adopter ce "standard de fait" par les industriels. Fort de ce succès, l'adicap a souhaité que le CRIHAN, organisme commercialement "neutre" dans la profession, définisse l'architecture d'un service lui permettant de s'affranchir des difficultés liées à la télétransmission. Le schéma ci-dessous représente un échange typique entre praticiens : Page 36/78

37 On recense à la mi-2009 : plus de 700 utilisateurs inscrits ; plus de 210 sites utilisateurs ; environ 1000 dossiers déposés ; entre 20 et 40 dossiers déposés par mois, chacun ayant une taille moyenne de 1,5 Mo. Ce service devra, à terme, être virtualisé afin d'assurer un maintien du service en cas de défaillance matérielle (le serveur actuel fonctionne depuis 8 ans) GateKeeper (pont de visio-conférence) Partie intégrante de la visio-conférence, le gatekeeper permet de connecter plusieurs sites équipés de la visio-conférence pour effectuer une conférence multi-points. Ce service a été virtualisé Machines de test Plusieurs machines de test ont été intégrés directement en tant que machines virtuelles afin de minimiser le nombre de serveurs physiques utilisés et ainsi faire une économie en énergie, climatisation et espace de stockage. Ces machines ont été créées à la fois pour le personnel du CRIHAN, le personnel du portail des musées de Haute Normandie, les stagiaires du CRIHAN. Des machines virtuelles de tests pour des industriels liés au CRIHAN sont en cours de préparation en vue d'une migration, à terme et si les tests sont concluants, vers la virtualisation et l'externalisation des ressources de calcul. Page 37/78

38 5 Comparatif des solutions de virtualisation 5.1 Les notions abordés Chaque outil de virtualisation met en œuvre une ou plusieurs de ces notions : couche d'abstraction matérielle et/ou logicielle, système d'exploitation hôte (installé directement sur le matériel bare-metal ), systèmes d'exploitations (ou applications, ou encore ensemble d'applications) «virtualisé(s)» ou «invité(s)», partitionnement, isolation et/ou partage des ressources physiques et/ou logicielles, images manipulables : démarrage, arrêt, gel, clonage, sauvegarde et restauration, sauvegarde de contexte, migration d'une machine physique à une autre, réseau virtuel : réseau purement logiciel, interne à la machine hôte, entre hôte et/ou invités, utilisation optimale des ressources d'un parc de machines (répartition des machines virtuelles sur les machines physiques en fonction des charges respectives), installation, déploiement et migration facile des machines virtuelles d'une machine physique à une autre, notamment dans le contexte d'une mise en production à partir d'un environnement de qualification ou de pré-production, livraison facilitée, économie sur le matériel par mutualisation (consommation électrique, entretien physique, monitoring, support, compatibilité matérielle, etc.), installation, tests, développements, destruction et possibilité de recommencer sans casser le système d'exploitation hôte, sécurisation et/ou isolation d'un réseau (destruction des systèmes d'exploitation virtuels, mais pas des systèmes d'exploitation des serveurs physique qui sont invisibles pour l'attaquant), allocation dynamique de la puissance de calcul en fonction des besoins de chaque application à un instant donné, diminution des risques liés au dimensionnement des serveurs lors de la définition de l'architecture d'une application, l'ajout de puissance (nouveau serveur etc) étant alors transparent. 5.2 Plateforme de virtualisation Page 38/78

39 Gratuit Isolation Full-Virtualisation Support HVM Para-Virtualisation CPU hôte OS hôte CPU invité OS invité Support Commercial P2V inclus? CPU Hôte Min Max vcpu/vm Max RAM/VM Max CPU/Hôte Min/Max RAM/Hôte Max VMs/Hôte Coût (public) licence XenServer oui Non x86 Aucun x86 Linux, Windows 1.5Ghz KVM oui Non x86 Linux x86 Linux, Windows Non Non VMware Infrastructure Enterprise Non Non? Non x86 Aucun x86 Linux, Windows, FreeBSD, Netware, Solaris Linux-VServer Non Non Non x86, IA64, PowerPC, Linux identique hôte Linux Non Non 0,00 64Go 32?/128Go à ,00 1/128 Go 0, Logiciel de gestion de cluster GUI? Migration Live Limit. BP Migration Live Snapshot Clonage Limitation CPU (%Min) Limitation CPU (%Max) Limitation SMP (Max vcpu) Limitation RAM (Min Mo) Limitation RAM (Max Mo) Opérations multi-serveur Gestion Pool image OS Spécifique Support SAN/NAS Compatible Xen? Compatible QEmu? Compatible KVM? Compatible VMWare? Stat graphique? Coût licence? ovirt, HTML Virtual Manager Monitor Non Non Non Non Fedora iscsi, NFS Non Non Non Non Virsh Non, console Non Non Affinité CPU Non Non 0,00 Page 39/78 ConVirt Proxmox, HTML Non Non Non Linux iscsi, NFS Non (LVM) Non Non Non Non Non Non Non Non Linux Local Non Non Non

40 6 Choix final de la solution Après étude approfondi des besoins du CRIHAN et des fonctionnalités proposés par les différents logiciels et leur niveau de maturité, notre choix s'est porté sur Citrix XenServer avec son interface XenCenter. Son installation est très rapide (10min) et l'outil XenCenter permet une prise en main immédiate avec une interface simple et complète, même pour un novice de la virtualisation ce qui permet à plusieurs membres d'une équipe technique de pouvoir intervenir sur le cluster sans (ou très peu) de formations sur le sujet. J'en suis arrivé à ce choix après avoir testé les solutions cités et testé au mieux l'ensemble des fonctionnalités de chacun. J'ai pu ainsi intégré ma solution dans la production au CRIHAN et migrer des services CRIHAN sur les machines de virtualisation. Toute cette étude des solutions de virtualisation s'est étendue sur environ 10 semaines avec des phases de tests sur des serveurs de test (2x Intel Xeon 5130 avec 8Go de RAM et deux supports de stockage en NFS : baie de 5 To et serveur de stockage 250Go) puis au choix de la solution avec intégration en production sur de grands serveurs (2xSUN X2270 bi-quad core Nehalem avec 36Go de RAM et un support de stockage Isilon en phase de test, par NFS). J'ai ainsi pu migrer une partie des serveurs du CRIHAN sur lesquel fonctionnés en majorité des systèmes d'exploitation de type Debian/Ubuntu. Voici la répartition des systèmes d'exploitations virtualisés à la date du 20 août 2009 : 2 Windows XP 20 Debian Lenny Paravirtualisés 4 Ubuntu bits version serveur Seul les deux premières catégories permettent la migration à chaud des VMs entre serveurs mais toutes permettent les snapshots. Page 40/78

41 7 Intégration en production 7.1 Topologie avant intégration Page 41/78

42 7.2 Topologie après intégration avec nouvelles fonctionnalités Ceci est une représentation sommaire de l'architecture nouvellement mis en place au sein du CRIHAN, intégrant le futur cluster de calcul dans le nouveau DataCenter prévu prochainement, le nouveau support de stockage partagé (la baie NAS Isilon) et les serveurs de virtualisation intégrant des machines virtuelles remplaçant progressivement une grand majorité des serveurs internes et hébergés du CRIHAN. Page 42/78

43 8 Activités annexes au sein du CRIHAN 8.1 Support aux utilisateurs Association Pôle Image de Haute Normandie Le CRIHAN a plusieurs sites partenaires avec lequel il travaille, le plus souvent en tant que support de réseaux informatiques mais aussi pour du soutien aux projets innovants et c'est dans ce cadre que j'ai été amené à apporter mes connaissances dans différents domaines de l'informatique : conversion en masse de vidéos, aide à la prise de décision concernant une refonte de l'architecture informatique et aux développements des nouveaux projets de l'association Pôle Image de Haute Normandie. J'ai pu aussi exposé les bienfaits de la virtualisation aux représentants de l'association dans le cadre de la restructuration de leur architecture. 8.2 Participation au groupe de travail gt-stockage Bien que le stockage ne fasse pas, à première vue, partie de la virtualisation de serveur, il a été quand même important de participer à ce groupe de travail inter-établissements membres SYRHANO et d'assister aux réunions sur ce sujet car la virtualisation possède certaines obligations dont l'une est d'avoir un support de stockage partagé. Un autre point important est la sauvegarde des données pour éviter toute perte sur des données critiques comme des données de serveurs. De plus, le CRIHAN étant à la recherche d'un support de stockage partagé au début de mon stage, cela m'a permis d'avoir une vue sur les besoins de stockage du CRIHAN et les technologies recherchées et ainsi, j'ai pu orienté mon choix vers une solution adaptée au choix du support de stockage choisi Étude des solutions de stockage mutualisé IBM nous a présenté une de ses solutions de stockage : IBM XIV offrant des fonctionnalités intéressantes mais une croissance des performances peu satisfaisante, un prix très onéreux. J'ai assisté également à une présentation sur la mise en production d'une solution SAN, NetApp Fas2020, à l'université du Havre expliquant les fonctionnalités de cet équipement et sa mise en œuvre mais cette solution fût rejetée en partie en raison du manque d'accès direct aux données par des protocoles évolués du style WebDav et un coût assez élevé de la solution et de la maintenance ainsi qu'une évolutivité capacité/performance peu concluante. Enfin, la solution choisie, la baie de stockage Isilon à base de nœuds IQ36xxx offrant de grandes performances avec évolution presque linéaire avec un coût de possession (achat, maintenance, alimentation, etc.) le plus faible tout en répondant au besoin du CRIHAN. 8.3 Participation au groupe de travail gt-virtualisation Dans l'optique de trouver la solution adaptée aux besoins en matière de virtualisation pour le CRIHAN, j'ai été amené à rendre visite à différents sites et à assister à des présentations de solutions de virtualisation mis en place sur ces dits sites, comparer les possibilités, la stabilité, le niveau de maturité des logiciels et de leurs déploiements. Plusieurs possibilités se sont imposés comme des solutions viables mais avec des restrictions ne permettant pas l'intégration en production avec la solution de stockage retenue. Les Page 43/78

44 représentants de certains établissements étaient présents lors des réunions du groupe comme Bruno LEVASSEUR (CROUS Rouen), Matthieu CLAVIER (Université de Rouen), Franck Le GUILLOUS (INSA ROUEN SER), Sébastien BONNEGENT (ISA ROUEN SER) et Jonathan COHEN (Université du Havre). Ils m'ont exposé les solutions et problèmes d'intégration de leurs solutions de virtualisation qu'ils ont eux même intégré dans leur structure: CROUS Rouen : VMWare ESX(production) et ESXi (test), support de stockage SAN Université de Rouen : Xen opensource sur CentOS, RedHat Cluster Suite, Support de stockage SAN iscsi INSA Rouen SER : Xen opensource, vserver, support de stockage SAN Université du Havre : KVM, outils libvirt et/ou Red Hat Cluster Suite, support de stockage SAN NetApp Fas2020 Toutes ces possibilités de virtualisation apportent leur aisance et leur lot de problèmes : toutes sont basés sur un support SAN, probablement pour des raisons historiques. Cette solution a l'avantage d'être déjà en place sur les sites et de pouvoir intégrer le support de la Haute Disponibilité aux solutions de virtualisation, ce qui n'est pas possible avec la baie de stockage Isilon (NAS) mise en place au CRIHAN. VMWare a pour sa part deux contraintes majeures : le prix (il faut compter environ plusieurs milliers d'euros de logiciels pour 2-3 serveurs physiques supportant la virtualisation) et la surcharge liée à la virtualisation (au niveau CPU, RAM, comptez 15-20% de surcharge). Xen opensource, la majeure contrainte est que les machines virtuelles doivent avoir un noyau «xenifié» et donc pour Windows, c'est beaucoup plus difficile. L'overhead associé est d'environ 2-3% KVM a pour lui de faire fonctionner quasiment n'importe quel système d'exploitation sans les contraintes de Xen ni ceux de VMWare mais comme c'est un produit assez jeune, les outils annexes sont très peu développés et pas assez mature pour l'instant. Cela semble la solution d'avenir mais il est encore un peu trop tôt pour une intégration à grande échelle. Son overhead : 2-3% Étude d'une solution de Cloud Computing au sein du réseau SYRHANO Dans le cadre du réseau SYRHANO, le CRIHAN a à l'étude de mettre en place une plateforme de virtualisation mutualisée inter-établissement. Le type de virtualisation qui s'applique alors est ce que l'on appelle le Cloud Computing. Cette variante de la virtualisation pure, tel que mise en place dans chaque établissement, permet de migrer des machines virtuelles sur des serveurs externes au site tout en gardant l'intégrité et la sécurité de la machine, ce qui permet la mutualisation des ressources de virtualisation entre chaque site et ainsi répartir la charge en optimisant l'utilisation des serveurs. A l'heure actuelle, ce projet est à peine initié par les membres du groupe de travail gt-virtualisation et des tests supplémentaires sur la virtualisation avec XenServer sont en cours sur différents sites membres de SYRHANO. Des tests interétablissements concernant le Cloud Computing sont à l'étude avec possibilités d'utilisation de XenServer pour faire du Cloud Computing, ce qui n'est pas sa vocation initiale. 8.4 Présentations et formations sur la virtualisation L'un des objectifs du CRIHAN est la formation. C'est dans cet esprit que j'ai présenté le résultat de mes recherches sur la virtualisation au groupe de travail et que j'ai transmis mon savoir sur l'outil Citrix Page 44/78

45 XenServer. Ce transfert de connaissances a permis à Bruno LEVASSEUR (CROUS Rouen) et Matthieu CLAVIER (université de Rouen) de profiter d'une présentation et d'une démonstration d'installation d'un cluster XenServer avec les fonctionnalités mise en place au CRIHAN et d'autres n'étant pas supportés au CRIHAN comme la haute disponibilité (obligation d'un support de stockage SAN) par exemple. J'ai pu ainsi montrer les fonctionnalités de l'outil XenCenter associé à XenServer sur un support SAN prêté pour la durée de la démonstration. J'ai répondu aux questions que pouvaient avoir mes interlocuteurs concernant cet outil et les technologies utilisées par XenServer pour fournir ces fonctionnalités. Un autre formation, pour le personnel du CRIHAN, sur XenServer a pu avoir lieu la semaine du 10 août 2009 afin de leur présenter XenServer, son installation et sa gestion à travers l'outil XenCenter et la ligne de commande xe. Cette formation donnera lieu à une partie pratique permettant au personnel du CRIHAN de se familiariser à la manipulation de l'outil. Enfin, pour les absents de la première formation, une session de rattrapage est prévue fin août Page 45/78

46 9 Glossaire Cluster : peut désigner une grappe de serveurs (ou ferme de calcul) de deux serveurs au minimum (appelé aussi nœuds) et partageant, en option, une baie de disques commune, pour assurer une continuité de service et/ou repartir la charge de calcul et/ou la charge réseau. On parle de cluster actif-actif ou actif-passif. Cet usage optimisé des ressources permet la répartition des traitements sur les différents nœuds. HA : acronyme de High Availibility (Haute Disponibilité en français). Terme relatif au domaine de la virtualisation exprimant un besoin de continuité de service, même lors que le serveur physique hébergeant ne fonctionne plus. Ce service est fourni en migrant les VMs du serveur physique vers un autre serveur physique du même cluster sans, ou presque, de coupure de services. Hyperviseur : (voir VMM) ILOM : technologie IPMI de chez SUN pour la prise de contrôle à distance de l'écran, clavier, souris et lecteur de CD/DVD du serveur par une interface dédié permettant aussi la gestion de l'énergie du serveur (démarrage, redémarrage, arrêt, ) Noyau «xenifié» : noyau linux compilé avec des bibliothèques et l'hyperviseur Xen afin d'apporter au linux qui utiliserait ce noyau, le support de la paravirtualisation. Overhead : terme anglais pour désigner la surcharge d'une ressource. Dans le domaine de la virtualisation, cela représente l'utilisation, par l'hyperviseur, pour fonctionner sur le serveur physique. Provisioning : Terme inhérent à la virtualisation indiquant que l'on approvisionne une machine virtuelle selon un critère prédéfinie qui peut être un template de base par exemple. Serveur physique : Il possède des ressources matérielles, principalement CPU, mémoire, disques et interfaces réseau. Ces ressources sont utilisées par des applications, non pas de manière directe, mais en s appuyant sur un système d exploitation. Serveur virtuel : (voir VM) Snapshot : vue à un instant t d'une machine virtuelle. Peut être utiliser pour recréer une VM correspondant à la VM initiale à cet instant t. Template : Dans le domaine de la virtualisation, un template représente un modèle de machine virtuelle Page 46/78

47 contenant une configuration spécifique qui peut être une simple série de paquetage installés sur l'os invité ou alors des services courants (services de type LAMP, service DNS, ). On peut citer deux types de templates : les templates de provisioning qui sont des modèles types de machines virtuelles (OS Debian par exemple) et les templates d'installation qui ne sont que des modèles contenant les paramètres à définir, pendant ou après l'installation d'une nouvelle machine virtuelle à partir d'un support d'installation standard (ISO, dépôt officiel, ). VM : acronyme de Virtual Machine, soit Machine Virtuelle. Il s agit de l ensemble des ressources matérielles (processeur, mémoire, disque dur, périphériques, etc.) simulées par le logiciel de virtualisation et vues par les systèmes d exploitation invités. Plus précisément, on parle ici de HVM (Hardware Virtual Machine), machine virtuelle matérielle. VMM : Virtual Machine Monitor, ou gestionnaire de machine virtuelle. C est le logiciel de virtualisation à proprement parler. Il en existe de nombreux sur le marché (VMware, Virtual PC, Parallels Workstation etc ). Le VMM peut aussi être appelé hyperviseur. Le VMM peut soit être installé comme une application d un système d exploitation hôte (type 1), soit comme une couche logicielle plus profonde que le système d exploitation (type 2). Page 47/78

48 10 Références Page 48/78

49 11 Annexe 11.1 Support de formation virtualisation au CRIHAN Page 49/78

50 Page 50/78

51 Page 51/78

52 Page 52/78

53 Page 53/78

54 Page 54/78

55 Page 55/78

56 Page 56/78

57 Page 57/78

58 Page 58/78

59 Page 59/78

60 Page 60/78

61 11.2 Procédure d'installation de serveur SUN SUNFIRE x2270 au CRIHAN pour la virtualisation Page 61/78

62 Page 62/78

63 Page 63/78

64 Page 64/78

65 Page 65/78

66 Page 66/78

67 Page 67/78

68 Page 68/78

69 Page 69/78

70 Page 70/78

71 Page 71/78

72 Page 72/78

73 Page 73/78

74 Page 74/78

75 Page 75/78

76 Page 76/78

77 Page 77/78

78 Page 78/78