Gd Une introduction à la Problématique Grilles/P2P!"
Gd " % #$ % & '$ '(( ) *& +, ( $(+ # ((-(+ * ( (% &./ $
Gd - 3 types de Grilles Grilles d institutions / d entreprise Grilles de PC «Internet Computing» Systèmes Peer-to-Peer (P2P) 2* ( 3 45 678 Grands Sites, Centres de calcul, #Clients>>#Serveurs PC, #clients<= #serveurs Portail (pas de coordination) Caractéristiques des nœuds : <100 Stables Authentificati on forte Confiance ~100 000 Volatiles Pas d authentifica tion Confiance très limitée & 01$
Gd " % Three Obstacles to Making Grid Computing Routine 1) New approaches to problem solving Data Grids, distributed computing, peer-to-peer, collaboration grids, 2) Structuring and writing programs $(($% ( Abstractions, tools 3) Enabling resource sharing across distinct institutions - (% ( Resource discovery, access, reservation, allocation; authentication, authorization, policy; communication; fault detection and notification;
Gd Les problèmes soulevés par les Grilles/P2P Les Grilles et systèmes P2P sont des systèmes distribués! Mais : Leur échelle, leur dynamisme et la présence de très nombreux domaines d administration renouvelle la problématique 7( # ( (( $ $((" 9 9 # ( : / ;/ % ;+%$ 9$ ;+ + & ( 9 9 ( $
Gd Données Massives et Grilles/P2P Problèmes typiques liés aux données (projets ACI Masse de données) : Masse de Documents Pair à Pair, Grid Data Service, Pair à Pair, Data Grid eplorer Gestion des données Stockage, indexation, recherche, communication et partage de données (protocole P2P, algorithmique de Graphe) Tolérance aux pannes / extensibilité Volatilité à grande échelle (persistance, intégrité, graphes dynamiques) Asynchronisme de l Internet (résultat d impossibilité) Performance Accès rapide (protocoles, réplication, cohérence), équilibrage de charge (modèle de charge/trafic), Minimisation de la consommation de ressources liée au contrôle du système (sécurité, maintient des Metadata, etc.)
Gd *+ 9+ <==? <=== >&9 1$ *+ "#$ % & & *+',$- $#.$& / &%' () * & & $$&%0 1 &$% & & &5.$ %6 0 3 '4 -&*! &% "* *$ $+&$ 0& 7$8$$ )2 $&" $+&" $. &% &9 -.( %$( $ ( (
Gd Data Grid eplorer @ ( /( ( *&9 7!" ( (% 7#6$
Gd @ ( /( 'A 7 -" 'A.$(% + # ( : / ;/ % ;+%$ 9$ $ ( $ $ $(($9( (( ( " 7. 9+ ( ( 4 5 "8 @ ( ( * /( (( ( B C ' 9+ / C 7( C C " $ 9 0
Gd 5& -.( % -.( %*$ 9 # <854(. ( ( @ ( 8 A8 9 9 $4D8 &6 ++#$ &6 $ &*9$: % ".6; &6 ++#$ &6 $ &*&6 % &6 1 %52 "$++ $ &* % 16#$'#6 $++' "$ $ &*& % ".6; $4( 8 1$. *$ *$ "5*6
Gd Netbed (Emulab) Comme «Modelnet» Description de la topologie => NS script Utilisation de Dummynet Outils de Mapping routeur_logique => machine physique Utilisation du simulateur NSE (ns emulation) Utilisation de noeuds exterieurs client (40 DSL) 3 Sites
Gd 5& -" 'A (( ($ > # &- @ ( *& #( *$ 9 $4D8 *&% 1#& &% &#< 1 % #' & # +& $$&%-+ && E% ;(% &%=>??? :; % $: % $4( 8 1$. *$ *$ "5*&6
Gd &(*$ 9 -.( * 9 # F Liens Gigabits Commutateur x gigabits (non bloquant) Emulateur de lien Routeur logiciel F -.( A FAI PC FAI PC ;/ 9(. *$ 9 ( ( $ FAI PC Cœur de réseau FAI PC
Gd G&?HHH (% / @ ( /( $4D8 &%=>??? &%-+ && *&% 1#& &% &#< 1 % #' & # +& /( % /( 1$. *$ *$ "5* &6 $4( 8 ($ > *( % 9 9 *((&?HHH
Gd & 17 M$
Gd > 7 13 Labs 1 47?<LA8% & (+ % % $ 4;;AHKL8% 9 9 (+ &( M F 47KJAL8% 9 9 (+ @ @4KHH<8% I- I9 -.( 31B>?C4% 9 9 (+ " 31>AA@4% I (+ ( 03@?!!4% & (+ ( +.$+ C A31BA?A4% I (+ J 31>@??4% 6 9 9 (+ 31>?@A4 6$ 9( : 9$ I ( 4-8 9 9 (+ -.(
Gd Alain Lecluse (IBCP), Alexandre Genoud, (Projet OASIS, INRIA Sophia Antipolis) Antoine Vernois, (IBCP) Arnaud Contes, (Projet OASIS, INRIA Sophia Antipolis) Aurélien Bouteiller, (LRI), Bénedicte Legrand (LIP6) Brice Goglin (doctorant), (INRIA LIP RESO), Brigitte Rozoy (LRI) Cécile Germain (LRI) Christophe Blanchet, (IBCP) Christophe Cérin, (Amiens, Laria) Christophe Chassot, (LAAS-ENSICA), Colette Johnen (LRI) CongDuc Pham, (LIP) Cyril Randriamaro, (LaRIA) Denis Caromel, (Projet OASIS, INRIA Sophia Antipolis) Eddy Caron, (LIP/ENS Lyon), Emmanuel Jeannot, (Loria) Eric Totel (Supélec Rennes) Fabrice Huet, (Projet OASIS, INRIA Sophia Antipolis) Faycal Bouhaf (DEA)(INRIA LIP RESO), Franck Cappello, (LRI) Françoise Baude, (Projet OASIS, INRIA Sophia Antipolis) Frédéric Desprez, (LIP/INRIA Rhône-Alpes), Frédéric Magniette, (LRI) Gabriel Antoniu, (IRISA/INRIA Rennes), George Bosilca, (LRI) Georges Da Costa, (ID-IMAG), Géraud Krawezik (LRI) Gil Utard, (LaRIA) Gilles Fedak, (LRI) Grégory Mounié (ID-IMAG) Guillaume Auriol, (LAAS-ENSICA), Guillaume Mercier, (LaBRI), Guy Bergère, (LIFL, GrandLarge INRIA Futur) Haiwu He, (LIFL, GrandLarge INRIA Futur) Isaac Scherson, (LIFL, GrandLarge, INRIA Futur) Jens Gustedt (LORIA & INRIA Lorraine) Joffroy Beauquier (LRI) Johanne Cohen, (Loria) Kavé Salamatian (LIP6), Lamine Aouad (LIFL, GrandLarge, INRIA Futur) Laurent Baduel, (Projet OASIS, INRIA Sophia Antipolis) Laurent Dairaine, (LAAS) Luc Bougé, (IRISA/ENS Cachan Antenne de Bretagne), Luciana Arantes (LIP6), Ludovic Mé, (Supélec Rennes) Luis Angelo Estefanel, (ID-IMAG) Marin Bertier (LIP6), Mathieu Goutelle, (KIP) Mathieu Jan, (IRISA) Michel Diaz, (LAAS-ENSICA), Michel Koskas (Amiens, Laria) Nicolas Lacorne, (IBCP) Nicolas Larrieu (LAAS-ENSICA), Nicolas Viovy (CEA-DSM-LSCE) Oleg Lodygensky, (LRI) Olivier Richard (ID-IMAG), Olivier Soyez, (LaRIA) Pascal Berthou, (LAAS-ENSICA), Pascale Primet (LIP), Pascale Vicat-Blanc Primet, (INRIA LIP RESO), Patrick Sénac, (LAAS-ENSICA), Philippe d'anfray (CEA-DTI/SISC), Philippe Gauron, (LRI) Philippe Owezarski (LAAS) Pierre Fraigniaud, (LRI) Pierre Lemarini, (LRI) Pierre Sens (LIP6 / INRIA), Pierre-André Wacrenier, (LaBRI), Raymond Namyst, (LaBRI), Samir Djilali, (LRI) Sébastien Tixeuil (LRI) Serge Petiton, (LIFL, GrandLarge INRIA Futur) Stéphane Vialle (Supélec) Tanguy Pérennou (LAAS) Thierry Gayraud, (LAAS-ENSICA), Thierry Priol, (IRISA) Thomas Hérault, (LRI) Timur Friedman (LIP6) Vincent Danjean, (LaBRI), Vincent Néri (LRI)
Gd -Responsable -Référent ACI MD Franck Cappello (LRI) Luc Bougé (ENS) Les 4 thématiques transversales et leur responsable : -Infrastructure (Matériel + système), -Emulation (Virtualisation), -Réseau, -Applications. Olivier Richard (ID-IMAG) Pierre Sens (LIP6) Pascale Primet (LIP, Inria RESO) Christophe Cérin (Laria)
Gd 7-5% # 7 # N?HOP:: &?HHHAHHQ# <??OP:: + # <?HOP:: # <?HOP:: R% $ ( <NHOP::' ( # ;7; # =HHOP:: :;AHH?# LHHOP:: 7-9(# LJ(4A/<K(8$ 7 AQ($ $ 4 *+ 8 $ 4 *+ 8
Gd ;/ 6$ 7 6$ <HLHOP:: CDD (2) 115 000,00 Fonctionnement 115 000,00 Equipement 800 000,00
Gd ;/ 6$ 7 LRI Equipement 23 000 23 000 LRI LAAS LIP6 Fonctionnement 12 572 8 628 8 628 8 628 8 628 LAAS LIP6 IMAG-ID LaRIA LORIA 12 572 8 628 LIP-ENS-Lyon LIFL 12 572 8 628 INRIA-Sophia 754 000 4 316 8 628 12 572 8 628 LABRI IBCP CEA IRISA
Gd 7 47G&?HHHG8 Configuration : 648 C CPUs + 48 N CPUs + 3 Frontaux Nœuds de calcul Nœuds de calcul Réseau et noeuds Nœuds de calcul Infiniband / Myrinet %> & $ %AHH?0 (. 9 <?5% 4A'L8
Gd +@% &( 'AB <8 @ ( / / 4 8 A8 SA' T% 4 5 ( U 8 L8 2T% 3 25% % 3 SA' 4( 8 Q8 (% &$ / T /
Gd Data Grid eplorer :/ + <8 &( # @ <O4 V (* JHH %$ 8 @ $% 4;9 7-8 @ 5 $% 4-% "8 @ (% &&( @ 7@ A8 ; &( &9 -.( 'A @; %.( / ( # C ;/ %: / 5 ( " @; %.( * # C 9 ( $ $ A / " @ C ((+ 6 (+ "
Gd Experiences I.1 Plate-forme I.2 Virtual Grid I.3 Virt. Techniques I.4 Simul. Guidée par Emul. I.5 Emul. réseau I.6 Emul hétérogénéité I.7 Communication I.8 Emul. Internet II.1 Engineering tech. II.2 Objets Mobiles II.3 Tolérance aux pannes II.4 DHT II.5 Base de Données II.6 Ordonnancement II.7 Optimisation des comms. II.8 Partage de données II.9 Uni et multicast II.10 Automate cellulaire II.11 Bioinformatique II.12 Stockage P2P II.13 Adversaires II.14 Sécurité II.15 Internet nouvelle génér. II.16 Simulation numérique Infrastructure Emulation Réseau Application
Gd #$ Aujourd hui. 4<8 (. 4A8 & ;/". 4L8 $ 7 ((;/ G % 4W<H8 ( % 9" & 9 9 ;/ ( - ;/ G&?HHH : HL M HQ HQ HL HL 7HQ MHQ 5HQ MH?
Gd C 9 9 'A @ ( * $ 9 + ( ( $ 4 -.( $ $$ (. $(( 8 /( % C @ @ ( /( 9 9 'A @ ( -.( *$ 9 @ ( 5% AHHQ @ > &?HHH4 9 9 / /> 8 @ ( &?HHH* ($AHHQ
Gd Y B
Gd ;/ ( /#"AF48 ;( <HH < <HO<HH48 <HHO<O48 ( ; F F 7F7U 9 -/Z ;/ ( F # <- < A ' '<'Z ' 'A'Z 9+ F (( + (. + + #+ (+ + % 9( @D &( @;+ 47( F + 8 @ ( (% :9* AHHQ
Gd ;/ ( /#"? E# $ 9%( Switch x gigabits (non blocking) Gigabits links Software routers Etapes 1. Définition de la configuration 2. Génération des scripts et tables 3. Déploiement automatique 4. Lancement des expériences 5. Analyse des traces Link Emulators Point dur: Le multigigabit longue latence Entrées Expériences Sorties Topologie, Délais QoS, limitation débit IPv6 ou v4, jumbo frames Sources: vrais flux Vraies applications ou squelettes. Trafic concurrent contrôlé. Performance et comportement E2E Influence des paramètres d échelle Taux d utilisation ressources
Vue logique Gd ;/ ( /# "J;( I9$458 Objectif : rendre Gd hétérogène pour faire des expériences d'émulation Moyen : dégrader les caractéristiques de la plate-forme : vitesse CPU, mémoire disponible, latence réseau, bande passante réseau. Mise en œuvre : configuration par îlot (union d'intervalle d'adresse IP), Définition des caractéristiques communes à chaque îlot, Définition des caractéristiques entre îlots. îlot de machines avec les même caractéristiques 1 2 3 4 5 6 7 Sous réseau pour l'îlot Sous réseau pour l'îlot 1 2 3 4 8 Réseau inter-îlot ilot1 : [152.81.2.12-152.81.2.25]-[152.81.2.151-152.81.2.176]{ SEED : 1 % -1 pour une graine aléatoire CPU : [800-1400] %chaque membre de l'îlot aura une vitesse CPU choisie uniformément entre 800 MHz et 1,4 GHz BPOUT : [1000;200] % Chaque membre de l îlot aura une bande-passante en sortie choisie suivant une % gaussiène de moyenne 1000 Ko/s et de variance 200 Ko/s }!INTER : [ilot1;ilot2] [200-200] [300-300] [1;0] -1 %caractéristiques réseau entre ilot1 et ilot2
Gd ;/ ( /# "K;( 48 C 4*& ( 8 & (9 (9 %* &AHHQ C (9 * ( 7.$ $ ( ((- ( & (. &$ > C [ # 7 S $ $+ 4R# 8 9 9 $ * ( ( (( + &
Gd ;/ ( /#"L $ - 4J8 C $ *&9 R9 1W$ &$(% (+ 1W *-( %#\AHHL] C F $ $9( $ /$ $9( *> %#\HQ] 9 9 (*M( * C 7 # @ ( & (#AHS AS& ( $ # ( -.( *$ 9 >
Gd!"#$!%&'# (!()*%*#!" #!! $"%& $%"!'$( )*! + ),)-!" # % "*!% Contact: http://gripps.ibcp.fr Christophe.Blanchet @ ibcp.fr
Gd ;/ ( /#"<? 48 C L /( V Y(@( & / & * ( # 9 7647 ( 6 9 8'747 ( $$8;/ T $ 7647 ( 6 $ 8 % % 47 U %8 ;/( ( & @ ( <H(9