CONCEPTION ET DÉPLOIEMENT D UNE GRILLE DE CONTRÔLE DE PROCESSUS PHYSIQUES MÉMOIRE EN INFORMATIQUE. SABATIER Fabrice Soutenu à Metz le 6 septembre 2004

Transcription

1 CONSERVATOIRE NATIONAL DES ARTS ET MÉTIERS CENTRE RÉGIONAL DE LORRAINE CENTRE D ENSEIGNEMENT DE METZ CONCEPTION ET DÉPLOIEMENT D UNE GRILLE DE CONTRÔLE DE PROCESSUS PHYSIQUES MÉMOIRE EN INFORMATIQUE PRÉSENTÉ PAR SABATIER Fabrice Soutenu à Metz le 6 septembre 2004 JURY Président : Monsieur Jean-Pierre ARNAUD, Membres : Monsieur Stéphane VIALLE, Professeur Principal Monsieur Laurent Watrin, Monsieur Claude Lhermitte, Monsieur Hervé Frezza-Buet.

2 Table des matières i Remerciements Mes remerciements vont tout particulièrement à : Monsieur Stéphane VIALLE, chercheur et enseignant à SUPELEC, pour ses conseils en programmation Monsieur Hervé FREZZA-BUET, chercheur et enseignant à SUPELEC, pour ses conseils sur l utilisation de la bibliothèque de commandes du Koala L équipe système informatique de SUPELEC

3 Table des matières ii Table des matières Introduction v 1 Les «Grilles» de calcul et de ressources Les besoins et l enjeux La Grille d information La Grille de calcul L ingénierie concourante L historique du «Grid computing» Le concept de Grille Quelques exemples Les projets européens DATAGRID et EGEE Le projet européen EUROGRID La plate-forme RNTL e-toile Notre projet de Grille de contrôle de processus physiques Le GridRPC et DIET Le GridRPC Le modèle de base L architecture de DIET Les composants de DIET Le fonctionnement général de DIET Application robotique et architecture client-serveur initiale L application robotique Description Sa plate-forme matérielle Ses modules logiciels Le module de localisation Le module de navigation L architecture client-serveur de contrôle du robot Vue d ensemble Qu est-ce que la bibliothèque nono? Principe de base de la bibliothèque nono Structure de la bibliothèque nono Le protocole de la bibliothèque nono L annuaire de ressources Réveil du serveur lors de la réception de nouvelles requêtes Qu est-ce que la bibliothèque koala? Structure de la bibliothèque koala Création d une application cliente

4 Table des matières iii Qu est-ce que la bibliothèque nonovideo? Structure de la bibliothèque nonovideo Conception d une nouvelle architecture logicielle adaptée à une Grille Vue d ensemble de l environnement de Grille expérimentale Les caractéristiques du robot L application robotique expérimentée La configuration du VPN L environnement de Grille Les services de la Grille expérimentale L architecture du logiciel de Grille La Grille orientée serveur de robots Les besoins spécifiques pour contrôler le robot Le service d annuaire de ressources L utilisation de buffers d historique Élaboration du mécanisme de concurrence Algorithme de mémorisation Déploiement et installation d une Grille multi-sites Réseaux privés virtuels IPSec Architecture d IPsec Principe de fonctionnement Types d utilisations possibles Équipement fournissant IPsec Modes de fonctionnement Les projets Open Source IPsec Sécurisation de l accès au VPN Architecture sécurisée de notre Grille Protocole d accès au service d annuaire Les concepts de LDAP Le protocole LDAP Le modèle de données arborescentes Les attributs des entrées Le partitionnement Le service «referral» Le service «replication» L annuaire de notre Grille locale Déploiement de l environnement de Grille DIET Déploiement des services CORBA Déploiement et configuration de DIET API - Application Programming Interface Principes de l API côté client Les appels GridRPC de l API L algorithmique de Grille Architecture de l API côté client Structure type d un client pour un service de haut niveau Description du service de localisation Description du service de navigation

5 Table des matières iv Description du service de mesure de luminosité Extensibilité de notre API côté client Conception d une application robotique de Grille Principes de l API côté serveur Architecture de l API côté serveur Structure type d un service de haut niveau Agencement des différentes classes Expérimentations et performances Les expérimentations de la redondance Les performances mesurées Performances sur la Grille locale Performances sur la Grille déployée Comparaison à une exécution «classique» Performances de la Grille à travers l Internet Conclusion et perspectives 102 Annexe 103 A Publication pour la conférence internationale WETICE B Les principaux schémas UML des bibliothèques nono, koala et nonovideo 104 B.1 Diagramme de déploiement B.2 Consultation de l annuaire des ressources B.3 Établissement d une connexion en mode directe B.4 Traitement des caractères de réveil B.5 La méthode DataTransfer() - première partie B.6 La méthode DataTransfer() - seconde partie B.7 Initialisation du client koala pour la ressource configurable B.8 Initialisation du client koala pour le contrôle de la ressource B.9 Initialisation de la ressource de commande B.10 Initialisation de la ressource configurable C Les mécanismes de sécurité d IPsec 115 C.1 Authentication Header (AH) C.1.1 Encapsulating Security Payload (ESP) C.2 La gestion des clés pour IPsec : ISAKMP et IKE C.2.1 ISAKMP C Indépendance vis à vis des mécanismes : les domaines d interprétation C et les phases Indépendance vis à vis du protocole de gestion des clés : la construction des messages par blocs C.2.2 IKE C Phase 1 : Main Mode et Aggressive Mode C Phase 2 : Quick Mode C Les groupes : New Group Mode C Phases et modes

6 Introduction v D Installation de FreeS/WAN sur un noyau D.0.3 Installations des commandes IPsec D.0.4 Test de l installation E Création des certificats X E Création de l autorité de certification E Création du certificat de la passerelle E Signature du certificat de la passerelle E.0.5 Mise en place de la passerelle F Installation du VPN 129 F.0.6 Configuration de la passerelle F Le fichier /etc/ipsec.conf F Le fichier /etc/ipsec.secrets F.0.7 Configuration du poste distant situé en Italie F Le fichier /etc/ipsec.conf F Le fichier /etc/ipsec.secrets F.0.8 Connexion d un poste distant à la Grille G Sécurisation de la passerelle 135 H Fichiers de configuration de DIET 137 H.1 L agent maître - MA (sfma1.cfg) H.2 L agent local - LA (sfla1.cfg) H.3 Le serveur démon - SeD (sfsed1.cfg) H.4 Le client (sfclient.cfg) I Script de lancement des agents 140

7 Introduction vi Introduction Le calcul sur une Grille est vu comme le moyen d avenir pour obtenir des ressources de calcul «à la demande». Les applications qui en bénéficient pour le moment sont généralement des applications très gourmandes en temps de calcul. Ce sont des simulations numériques, des calculs d algèbre linéaire, des modélisations de structures, etc. Par contre, aucune de ces applications ne concerne la distribution au sein d une Grille informatique d applications «interactives» accompagnées de contraintes de temps. C est-à-dire celles où des flots de données (permanents) entrent dans l application alors que d autres en ressortent, et où une vitesse de traitement minimale est imposée par la vitesse des flots de données au lieu d être fixée par la puissance de traitement disponible. Ces applications sont par exemple toutes celles qui concernent le contrôle de processus physiques, comme l analyse de signaux en provenance de capteurs et le réglage en conséquence des commandes du dispositif. Utiliser la Grille comme on utilise le réseau électrique, où il suffirait de connecter son «appareil» d un côté au secteur électrique pour avoir de l énergie et de l autre côté à la Grille de calcul pour avoir la puissance de calcul nécessaire à son fonctionnement, est la perceptive que s est donné l équipe de Supélec. C est pourquoi une première approche a été réalisée dans ce sens en portant une application robotique sur une Grille de PC standard, PC multiprocesseurs et cluster de PC. Grâce aux travaux précédemment réalisés avec l Ensam, nous disposions d une application où les robots peuvent se déplacent jusqu à rejoindre une position fixée, en effectuant tout d abord une auto-localisation basée sur une détection panoramique de marques artificielles, puis en calculant une trajectoire minimisant les glissements entre la position courante et l objectif (module qui demande encore à être amélioré). La Grille nous a permis d utiliser plus de machines que nécessaire afin d être tolérant aux pannes et d accélérer les calculs en faisant appel à des machines plus puissantes que l ordinateur portable typiquement utilisé ou que les ordinateurs que l on peut raisonnablement dédier aux robots. Par la suite, cette architecture de Grille testée sur un seul robot «KOALA» et sur deux pays européens servira de base à la prochaine étape : le déploiement de différents «services de contrôle de processus physiques» à travers une Grille étendue à l Europe, afin de permettre de contrôler une multitude de processus physiques diversifiés (robot Hercule, moteurs, capteurs, etc.) tout en respectant une politique de gestion des services permettant un équilibrage de charge et une tolérance aux pannes. Le portage de cette architecture sur une plate-forme comme Globus sera étudiée après cette expérimentation à grande échelle.

8 Mémoire d ingénieur CNAM 1 Chapitre 1 Les «Grilles» de calcul et de ressources Un des éléments importants dans l évolution des technologies de l information, lié à la convergence des télécommunications, de l informatique et de l audiovisuel, est que l ensemble de l information dont nous disposons ou que nous générons (données, textes, images, vidéo, etc.) est maintenant numérique. Ainsi nous nous trouvons face à une explosion de la quantité d informations directement accessible via les réseaux de communication. La maîtrise et le traitement de ces informations sont devenus un enjeu stratégique de tout premier ordre pour toutes les organisations tant industrielles que publiques ou associatives. Face à une concurrence de plus en plus grande, les entreprises doivent faire preuve du maximum de réactivité dans la conception de nouveaux produits ou services, l adaptation de leurs outils de production ou la mise en œuvre de solutions spécifiques à la demande. Dans ce contexte, les outils informatiques de modélisation et de simulation sont à la base de leur compétitivité. Ces deux remarques démontrent l importance de disposer, dans les meilleures conditions, de moyens adaptés pour le stockage, la transmission et le traitement de l information et pour la mise en œuvre de la puissance de calcul nécessaire. Or, aujourd hui, on constate que, suivant la loi de Moore [1], la puissance de traitement des processeurs croit très rapidement et est facilement accessible au travers de PC ou de stations de travail. Ces puissances de traitement sont globalement extrêmement sous-utilisées, et ainsi les entreprises ou organisations disposent de réserve importante de puissance qu elles souhaitent utiliser. Par ailleurs, des réseaux de communication à haut débit ont été installés ou sont en cours de déploiement, à l exemple de l initiative GÉANT [2] permettant de disposer, au niveau des organismes de recherche, d un réseau à 10 Gigabits. Cette organisation des moyens disponibles et des besoins en terme de puissance de traitement et de capacité de stockage accompagne le développement des Grilles informatiques.

9 Mémoire d ingénieur CNAM 2 ' 10 Gbit/s 2,5 Gbit/s 622 Mbit/s Mbit/s FIG. 1.1 Le réseau GÉANT 1.1 Les besoins et l enjeux La Grille d information La maîtrise et la disponibilité des informations par l accès à de très grandes bases d informations réparties géographiquement et à des capacités de traitement adaptées (data-mining par exemple) est un enjeu essentiel pour toutes les organisations. Ces informations peuvent être d origine et de type très variés. A titre d exemple, on peut indiquer les bases de données expérimentales issues de grandes expériences scientifiques (physique des particules, biologie, observation spatiale, etc.) ou résultant d actions spécifiques telles que les données commerciales ou économiques, les bases de données textuelles provenant de publications ou de centre de documentation, maintenant largement interconnectés, les bases de données techniques, etc. Les quantités de données stockées ou générées peuvent atteindre aujourd hui des grandeurs de l ordre du petabyte [3] ou plus, nécessitant des capacités de stockage inaccessibles pour un organisme seul. Par ailleurs, il apparaît souvent inutile de devoir rapatrier en un même lieu l ensemble des données alors que seule une faible partie est nécessaire pour le traitement envisagé. Un système de partage «intelligent» de ces données est nécessaire La Grille de calcul Les techniques de simulation et les outils de conception de nouveaux produits ou systèmes apportent une différenciation concurrentielle forte en permettant la réduction des coûts et du temps de mise au point. Avec les outils de PLM (Product Lifecycle Management) on s oriente vers le concept d entreprise numérique. La complexité des systèmes considérés, la nécessité de coupler plusieurs phénomènes (thermique, structure, fluides, etc.) ou de prendre en compte des géométries 3D complexes induisent des besoins de puissance de calcul pouvant atteindre plusieurs téraflops. L objectif est de résoudre soit des systèmes couplés d équations aux dérivées partielles par diverses méthodes numériques (différences finies, volumes finis, éléments finis, Monte-Carlo, méthodes particulaires, etc.) soit de grands systèmes algébro-différentiels et de disposer de capacités de pré et post traitement adaptées intégrant des techniques de réalité virtuelle.

10 Mémoire d ingénieur CNAM 3 Parmi les grands défis nécessitant de telles puissances de calcul, on peut citer les modèles météo et les études sur le changement climatique global, les simulations ab-initio de matériaux dans les domaines scientifiques, les simulations et outils de conception en aéronautique, automobile, chimie ou nucléaire pour ne citer que quelques exemples industriels, sans oublier les domaines de la finance, notamment avec les calculs de risque et de la santé [4] L ingénierie concourante De plus en plus souvent, dans le cadre de grands projets, les entreprises doivent collaborer entre elles à partir de sites géographiquement répartis, mettre en commun des bases de données ou de connaissances, des descriptions 3D d objets complexes, des outils de modélisation ou de simulation... Ces problématiques se retrouvent en particulier dans des secteurs tels que l aéronautique, l espace ou l automobile entre maître d œuvre, équipementiers et fournisseurs. L objectif est, par une mise en commun en permanence de moyens, de données et d outils dans le cadre d une «organisation virtuelle» (une Grille), de réduire considérablement les temps et coûts de conception. Ainsi la Grille apparaît comme une architecture des systèmes d information particulièrement bien adaptée aux nouvelles organisations du travail et des entreprises. 1.2 L historique du «Grid computing» Le terme de «Grid computing» apparaît en 1998, plusieurs définition circulent, nous présentons rapidement les principales. Une première définition présente le Grid computing comme la suite du «meta computing» : Un peu avant 1998 où deux projets américains ont expérimenté l utilisation conjointe de plusieurs superordinateurs répartis en différents sites des USA. Il s agit des projets CASA [5] de simulations intensives de phénomènes chimiques et météorologiques, et SF [6] (Synthetic Force) de simulation interactive de guerre pour l armée américaine. Synthetic B attlespace An o perator s primary interaction with the console is through the touch-sensitive display screens. All four consoles in an OM are identical LE GEND 1. OPE N SHE L TE R V IE W OF OPE R AT IONS M ODU L E 5. POW E R GE NE R AT OR 2. L OCAL AN/ TPS-7 5 R ADA R S 6. OT HE R MC E 3. MANNE D OPE RATIONS M ODU LES 7. AI R FIELD 4. R EMOTE R ADAR 8. TA DIL TO A WACS FIG. 1.2 les projets SF et CASA Le «meta computing» regroupe l ensemble des techniques permettant d utiliser plusieurs superordinateurs au sein d une même application, en tenant compte des temps de communications sur des réseaux longue distance lors de la conception de l application. L extension de cette technique à un grand nombre de super-ordinateurs, prenant en compte les problèmes de répartition et d équilibrage de charge, et réalisant une tolérance aux pannes, constitue l une des approches du Grid computing. Une deuxième définition est donnée par les fondateurs du Grid computing (Ian Foster et Karl Kesselman), qui font une analogie avec les grilles de gaz, d eau et d électricité [7]. Aujourd hui la plupart des

11 Mémoire d ingénieur CNAM 4 maisons européennes sont raccordées au réseau d électricité, au réseau d eau courante et au réseau de gaz. Peu importe où est produit cette électricité, cette eau ou ce gaz. Il en arrive suffisamment dans toutes les maisons. Il suffit de se raccorder à ces réseaux. Derrière ces réseaux de tuyaux se trouvent également des réservoirs de stockage, des centres de production, des artères à haut débit entre les principaux centre de production et de stockage, puis des artères à plus faible débit pour atteindre les particuliers. On peut envisager la même démarche en informatique : disposer chez sois d une prise de raccordement de son ordinateur au réseau informatique, mais pas seulement pour y trouver des données comme sur Internet, mais pour y trouver de la puissance de calcul et de l espace de stockage. On aurait alors une Grille informatique, comme l on a des grilles d électricité, d eau et de gaz. On serait alors capable de répondre plus souplement aux besoin des utilisateurs en globalisant les ressources. FIG. 1.3 Une Grille informatique, comme l on a des grilles d électricité Ainsi, derrière ce concept, se cachent deux approches : la virtualisation des ressources (une vision à long terme) et la distribution de calculs lourds (déjà opérationnelle). Les difficultés techniques à relever sont légion et les acteurs de ce marché devront se mettre d accord sur des standards communs afin de favoriser l interopérabilité des Grilles de calcul et la formation de Grilles inter-entreprises. Les Grilles en cours de déploiement se limitent en effet à des projets isolés regroupant très peu de partenaires et reposant souvent sur des plates-formes technologiques propriétaires. Aujourd hui, il s agit d un empilement d intergiciel (middleware) évoluant vers une architecture orientée services web et visant à faire communiquer chaque nœud de la Grille (calculateurs, baies de stockage, instruments scientifiques, etc.) au travers d un réseau à haut débit. Toutefois, des problèmes de sécurité restent à résoudre. Authentification et chiffrement s imposent. Pour sa part, Globus, le projet le plus avancé, propose un système de type PKI 1 pour authentifier les serveurs, les utilisateurs et les processus. Enfin, une troisième définition du «Grid computing» correspond à certains projets très médiatisés, comme «seti@home», qui font travailler de concert des centaines de milliers de PC. Cette activité hautement parallèle fonctionne à travers Internet car les différentes tâches ne communiquent pas entre elles. Il s agit d application «embarassingly parallel», où chaque nœud de la Grille exécute une version complète du programme avec certains paramètres ou un certain jeu de données. L ensemble des exécutions de la Grille permet de réaliser la totalité des calculs plus rapidement. La distribution d une application de «lancer de rayon» sur le réseau du campus de Metz de Supélec est un exemple d application «embarassingly parallel» : chaque portion de l image peut être calculée indépendamment des autres. Un simple réseau Ethernet peut alors suffire pour réaliser cette distribution de calculs. 1. Public Key Infractructure ou en français Infrastructure de Gestion de Clés IGC.

12 Mémoire d ingénieur CNAM 5 D autres définition existe pour d autres types de Grilles informatiques, comme les Grilles d information, les Grilles d environnements,... Mais nous pouvons résumer toutes ces définitions par celle du ministère français de la recherche : Globalisation des Ressources Informatiques et des Données (GRID). 1.3 Le concept de Grille Le concept de Grille a été mis au point pour répondre aux différents besoins évoqués précédemment en optimisant au maximum l utilisation des moyens de traitement et de stockage disponibles. Il a pour objet de fournir, de manière transparente et sure, à des communautés d intérêt (organisation virtuelle), l accès à des moyens de traitement et de stockage hétérogènes distribués géographiquement, permettant de disposer de capacités difficilement accessibles, individuellement ou incompatibles avec les moyens financiers d une telle structure. Un système de Grille repose sur les éléments suivants : des moyens matériels, systèmes de traitement et de calcul (PC, stations de travail, clusters, etc.) et systèmes de stockage; des mécanismes de communication par des réseaux haut-débit reliant les différents centres; des services de Grilles réunis au sein d un intergiciel; des boites à outils génériques (outils de visualisation, bibliothèques de données, etc.); des logiciels d applications spécifiques adaptés à l architecture de Grille. L intergiciel est la brique de base regroupant l ensemble des éléments logiciels pour la mise en œuvre d une Grille. Il comprend notamment les fonctions suivantes : le partage et l allocation des différentes ressources de la Grille suivant des critères techniques de performance, mais également des critères économiques et d éventuelles contraintes utilisateurs; l exécution, l ordonnancement et l administration de la Grille, intégrant toutes les fonctions de monitoring et de gestion en termes de facturation notamment; l ensemble des procédures de sécurisation de la Grille, notamment les outils d authentification des utilisateurs, la gestion des restrictions d accès, la confidentialité des données et des résultats; les outils collaboratifs permettant aux divers acteurs de travailler ensemble et d échanger documents, données, logiciels, résultats, etc., en garantissant la cohérence de ceux-ci au cours de l ensemble des manipulations; les outils d évaluation des performances et de mesure de la qualité de service; les outils de développement et les interfaces utilisateurs pour le déploiement des différentes applications. Ces intergiciels s appuient sur des protocoles standards de l Internet tels que FTP (File Transfer protocol), LDAP (Ligth Directory Acccess Protocol), HTTP (Hypertext Transfert Protocol). Parmi les intergiciels les plus utilisés actuellement il faut citer les outils GLOBUS, LEGION et UNICORE.

13 Mémoire d ingénieur CNAM 6 FIG. 1.4 Logiciel de supervision de Grille utilisant l intergiciel LEGION Le développement de ces intergiciels fait l objet d une très grande activité tant au niveau recherche qu industriel notamment dans le cadre du GGF (Global GRID Forum). Une initiative très importante appelée OGSA (Open Grid Services Architecture) a été récemment lancée pour assurer la convergence entre les technologies de Grilles et les technologies de Web Services, notamment WSDL (Web Services Description Language) et définir ainsi des standards pour des services distribués. L initiative OGSA se prolonge aujourd hui par «WSRF» ( Web Services Resource Framework) qui sera au cœur de Globus 4 Actuellement, les entreprises boudent encore ces projets coûteux et difficiles à mettre en œuvre. Elles préfèrent des Grilles internes qui leur permettent d optimiser leurs cycles CPU dormants en recourant à des technologies de calcul distribué identiques à celles utilisées par le Décrypthon qui a permis l établissement de la carte de protéines du vivant ou le très médiatique «Seti@home» qui, pour la recherche de signaux extra-terrestres, a réussi, en récupérant sur des milliers de PC les cycles processeurs inutilisés, à générer une puissance de 33, 79 Téraflops. 1.4 Quelques exemples Aujourd hui de très nombreux projets de Grille sont en cours de développement dans le monde. Il s agit d un axe majeur des actions proposées dans le cadre du 6 e Programme Cadre de Recherche et de Développement (PCRD) de l Union Européenne et de plus en plus expérimentations industrielles sont en cours Les projets européens DATAGRID et EGEE Le projet DATAGRID [8] était un projet européen (5 e PCRD) pour la mise en place d une Grille de stockage et d analyse de données issues de grandes expériences scientifiques. Le projet, issu d une initiative du CERN, a réunit six partenaires principaux (CERN, CNRS, ESRIN, INFN, NIKHEF, PPARC) et quinze partenaires associés dont trois industriels (CS Communication et Systèmes, DATAMAT et IBM- UK).

14 Mémoire d ingénieur CNAM 7 Testbed Sites DataGrid Testbed HEP sites ESA sites Lisboa Lund RAL Estec KNMI Berlin IPSL Prague Paris Brno CERN Santander Lyon Grenoble Milano PD-LNL Madrid Marseille Torino Pisa BO-CNAF Barcelona ESRIN Roma Valencia Catania Dubna Moscow FIG. 1.5 le projet européen DataGrid Le projet DATAGRID avait pour principaux objectifs : de développer un intergiciel open-source fondé sur l outil GLOBUS, de déployer des testbeds à grande échelle, de valider le concept de Grille sur différents démonstrateurs. Trois grandes applications ont servies à valider ce projet 2 : Physique des particules L objectif est de traiter les données qui seront fournies par les expériences avec le nouveau collisionneur LHC (Large Hadron Collider) en cours de montage au CERN. Le LHC est un accélérateur permettant la collision entre protons et ions à des énergies jamais atteintes aujourd hui, ceci devant recréer les conditions initiales de l univers après le «Big Bang». Les différents détecteurs du LHC fournissent une énorme quantité de données (environ 3,5 Petabytes par an), données devant être stockées, accessibles et traitées par la communauté mondiale des physiciens des particules regroupant en Europe plus de 250 instituts et dans le reste du monde plus de 200 instituts. 2. Aujourd hui DATAGRID se poursuit par un nouveau projet appelé EGEE (Enabling Grids for E-science in Europe) qui reprend les deux premières applications à savoir la physique des particules et la Bio-informatique.

15 Mémoire d ingénieur CNAM 8 FIG. 1.6 le collisionneur LHC Cette problématique requiert des besoins de stockage et de traitement inaccessibles à une seule organisation et seule une architecture de type Grille peut y répondre. Bio-informatique Le domaine de la bio-informatique est caractérisé par son interdisciplinarité (biologie moléculaire, calcul scientifique, technologies de l information, gestion de données, etc.) Il manipule de très grandes bases de données réparties à travers le monde (les bases de données connaissent une croissance exponentielle depuis plusieurs années). Les architectures de Grilles doivent permettre de répondre aux problèmes d organisation des données, d accès à celles-ci (en prenant en compte les aspects de distribution et de réplications) et de traitement de ces données (data-mining). Observation de la terre L objectif de cette application est le stockage, la distribution et le traitement des données fournies par les satellites d observation ERS 1/2 et ENVISAT. A titre d exemple le satellite d observation de la terre ENVISAT fournira un volume de 500 Go de données par jour. Le concept «Grille» doit permettre d accroître la disponibilité de ces données, de fournir un moyen de retraiter les archives de données et d autoriser l utilisation de traitements complexes de fusion de données, d analyse et de modélisation de celles-ci. Un premier système fonctionne sur plus de dix sites en Europe regroupant plus de chercheurs.

16 Mémoire d ingénieur CNAM 9 FIG. 1.7 le satellite d observation de la terre ENVISAT Le projet européen EUROGRID Le projet EUROGRID était un projet européen (5 e PCRD) pour le développement des technologies de Grille autour du calcul haute performance. Le projet dont le coordinateur était la société allemande PALLAS, regroupe six centres de calcul haute performance dont le centre IDRIS du CNRS et deux grands utilisateurs (GIE, EADS, CCR et Deutsche Wetterdienst). Le projet s appuyait sur l intergiciel UNICORE de la société PALLAS. Les principales applications mises en œuvre étaient : la simulation en recherche biomoléculaire, les modèles de prédiction météorologique, notamment les modèles atmosphériques régionaux, le couplage de codes d IAO, notamment pour des applications dans le domaine de l aéronautique, la simulation «multiphysique». LRZ: SR 8000, VPP, LC* RUS: SX-5, 2xLC* FZJ: 2xT3E,SV1, LC* ZIB: T3E, Sun DWD: IBM SP, SGI RUKA: IBM SP FZJ PC²: LC* TUD: T3E, SGI Pallas: Sun Fujitsu: VPP, Sun *LC = Linux Cluster RUKA PC 2 DWD RUS LRZ ZIB TUD FIG. 1.8 Le réseau Grille utilisant l intergiciel UNICORE en Allemagne Au niveau européen il convient également de signaler l initiative GRIDSTART dont l objectif est de consolider les avancées européennes dans les technologies de Grille et de stimuler le développement

17 Mémoire d ingénieur CNAM 10 des Grilles dans tous les domaines scientifiques, industriels et grand public. Ils associent la plupart des projets européens (AVO, CROSSGRID, DAMIEN, DATAGRID, DATATAG, EGSO, EUROGRID, GRIA, GRIDLAB, GRIP). FIG. 1.9 Le projet européen EUROGRID La plate-forme RNTL e-toile Le projet e-toile est une plate-forme financée par le RNTL (Réseau National des Technologies Logicielles ). Ce projet vient de se terminer. Plate-forme de production Plate-forme de tests noeuds actifs antares2 à antares4 IRISA nas PRiSM node-001 à node-006 cocteau antares1 CEA ursus-0 à ursus-9 ursa-minor ursa-major VTHD VTHD 3 Gb/s Gb/s EDF node1 à node6 serveur1 node7 à node10 Sirius-vthd ressources de test UREC supervision réseau et administration RESO 3 qos 6 tamanoir ENS-LYON IBCP ID-IMAG 6 icluster SUN-Lyon ls1 à ls16 gasp-front poi0 à poi23 poi tortue LIP kwad cobalt-31 à cobalt-39 SUN-Grenoble mercure CERN saturne Journées RNTL FIG Le projet e-toile Il réunit de grands acteurs français de la recherche et de l industrie dans le domaine des Grilles (CNRS, INRIA, ENS Lyon, CEA, EDF, France Télécom, SUN France, CS-Communication et Systèmes). Les objectifs du projet peuvent se résumer comme suit : mettre à la disposition de la communauté scientifique française une plate-forme d expérimentation d une Grille de calcul s appuyant sur RENATER (Réseau National de Télécommunications

18 Mémoire d ingénieur CNAM 11 pour la Technologie, l Enseignement et la Recherche) et VTHD (Vraiment Très Haut Débit). Cette plate-forme devait permettre de valider les travaux de recherche sur l intergiciel et de tester des applications dans les domaines du calcul intensif et du traitement de grandes quantités de données; développer un intergiciel prototype 3 intégrant les travaux les plus récents en réseaux actifs, DSM (Distributed Shared Memory), allocation de ressources et sécurité; favoriser la valorisation de cette technologie dans les grands domaines scientifiques et industriels en préparant une démarche de type GRID Service Provider. Réseau pour l'enseignement Supérieur, la Recherche et la Technologie SFINX accès à l'internet en France Connexion vers l'internet Mondial Lille GEANT Connexion vers les réseaux de la Recherche Europe, Amérique... Rouen Caen Compiègne Reims Strasbourg Rennes Nantes Orléans Dijon Nancy Connexion Asie Pacifique Poitiers Besançon Limoges Bordeaux Clermont - Ferrand Lyon Grenoble Martinique Guadeloupe Guyane La Réunion Nouvelle Calédonie Mayotte Tahiti Connexion vers les DOM-TOM Pau Toulouse Montpellier Marseille Nice Corté Boucle en Ile de France 2,5 Gbit/s 622 Mbit/s 155 Mbit/s NR NRI FIG Le réseau RENATER Trois applications nécessitant l accès à de grandes puissances de calcul ont été testées : des problèmes d optimisation combinatoire à partir de la bibliothèque Bob (Bibliothèque d Optimisation avec Branch-and-bound) développée par le laboratoire PRISM (université de Versailles Saint Quentin). Il s agit de traiter des arbres de quelques milliards de sommets; un logiciel de dynamique moléculaire avec potentiels empiriques lissés par des calculs ab initio et un atelier de neutronique composé d un modèle de données métier et d une solution générique d enchaînement de codes de calcul développé par EDF; deux applications dans les domaines de la physique nucléaire pour la simulation de données de l expérience ALICE [9] et des sciences du vivant pour des problèmes de dynamique moléculaire. Le projet e-toile ce termine cette année et son expérience servira au nouveau projet Grid 5000 [10]. Grid 5000 est une plateforme mis en place pour la recherche dans le domaine des Grilles. Dix laboratoires sont impliqués afin de fournir une plate-forme dédiée, permettant aux développeurs de la communauté Grille de valider les différents niveaux logiciels acteurs de la mise en œuvre des technologies Grille. L objectif est de fournir une plate-forme de huit sites composés de clusters de 256 à CPUs connectés par Renater à 1Gbit/s (étendu à 10 Gbit/s par la suite). 3. Ces travaux se sont réalisés en étroite complémentarité avec l ACI GRID du ministère de la recherche.

19 Mémoire d ingénieur CNAM 12 FIG Le projet Grid Notre projet de Grille de contrôle de processus physiques Au départ de ce projet, une application robotique client-serveur a été développée pour permettre à un robot de type «KOALA» de se déplacer et de se localiser dans un environnement clôt. L objectif final de ce projet, est de permettre de connecter n importe quel processus physique sur une Grille de ressources, en fournissant les outils et l architecture nécessaire. Une Grille de calcul a été mise en place au sein de Supélec, composée de mono et quadriprocesseur Intel Xéon. Le projet prévoit quatre phases qui sont : Phase 1 : Test de performance à travers Internet Lors de la première phase, une attention toute particulière a été portée à l optimisation de la routine d auto-localisation qui se répète fréquemment lors de longs parcours (optimisation de la liaison série, utilisation du multithreading, de l hyperthreading, de la parallélisation sur cluster, et du recouvrement des temps de communication, des temps de calcul, et des temps des mouvements mécaniques). Un déploiement de l application sur une liaison pair à pair (lien direct sur un tunnel SSH) avec l Italie, a montré qu il était possible de contrôler le robot à travers l Internet avec un ralentissement acceptable à certaines heures.

20 Mémoire d ingénieur CNAM 13 T-autolocalisation (s) JPEG & Séquentiel JPEG & Recouvrement JPEG & Recouv+MPI Meilleur temps en local Heures du jour FIG Mesures réalisées entre la France et l Italie à travers une liaison SSH Phase 2 : Premier déploiement sur intergiciel de Grille Cette phase présentée dans ce document, a permis d élaborer une architecture de Grille composée à ce jour : de machines de deux campus de recherche, en France et en Italie, reliés à travers l Internet par un Réseau Privé Virtuel (VPN) basé sur le protocole IPsec. De l environnement de Grille DIET en GridRPC utilisant un bus CORBA pour les communications entre les agents, serveurs et clients permettant la localisation des services redondants. Et enfin d une interface de programmation (API) écrite en C ++ facilitant grandement la conception de systèmes robotiques complexes. Phase 3 : Test d extensibilité de l architecture Durant cette phase, l architecture de Grille développée précédemment sera étentue à d autre processus physiques (robot HERCULE, second robot KOALA, etc.) ainsi qu à d autre sites géographiques. On vérifiera notamment si le contrôle de plusieurs processus physiques en même temps sur une Grille de plusieurs sites reste performant. FIG Le robot HERCULE de la société «Française d Instrumentation»