GdX. Une introduction à la Problématique Grilles/P2P

Transcription

1 Gd Une introduction à la Problématique Grilles/P2P!"

2 Gd " % #$ % & '$ '(( ) *& +, ( $(+ # ((-(+ * ( (% &./ $

3 Gd - 3 types de Grilles Grilles d institutions / d entreprise Grilles de PC «Internet Computing» Systèmes Peer-to-Peer (P2P) 2* ( Grands Sites, Centres de calcul, #Clients>>#Serveurs PC, #clients<= #serveurs Portail (pas de coordination) Caractéristiques des nœuds : <100 Stables Authentificati on forte Confiance ~ Volatiles Pas d authentifica tion Confiance très limitée & 01$

4 Gd " % Three Obstacles to Making Grid Computing Routine 1) New approaches to problem solving Data Grids, distributed computing, peer-to-peer, collaboration grids, 2) Structuring and writing programs $(($% ( Abstractions, tools 3) Enabling resource sharing across distinct institutions - (% ( Resource discovery, access, reservation, allocation; authentication, authorization, policy; communication; fault detection and notification;

5 Gd Les problèmes soulevés par les Grilles/P2P Les Grilles et systèmes P2P sont des systèmes distribués! Mais : Leur échelle, leur dynamisme et la présence de très nombreux domaines d administration renouvelle la problématique 7( # ( (( $ $((" 9 9 # ( : / ;/ % ;+%$ 9$ ;+ + & ( 9 9 ( $

6 Gd Données Massives et Grilles/P2P Problèmes typiques liés aux données (projets ACI Masse de données) : Masse de Documents Pair à Pair, Grid Data Service, Pair à Pair, Data Grid eplorer Gestion des données Stockage, indexation, recherche, communication et partage de données (protocole P2P, algorithmique de Graphe) Tolérance aux pannes / extensibilité Volatilité à grande échelle (persistance, intégrité, graphes dynamiques) Asynchronisme de l Internet (résultat d impossibilité) Performance Accès rapide (protocoles, réplication, cohérence), équilibrage de charge (modèle de charge/trafic), Minimisation de la consommation de ressources liée au contrôle du système (sécurité, maintient des Metadata, etc.)

7 Gd *+ 9+ <==? <=== >&9 1$ *+ "#$ % & & *+',$- $#.$& / &%' () * & & $$&%0 1 &$% & & &5.$ %6 0 3 '4 -&*! &% "* *$ $+&$ 0& 7$8$$ )2 $&" $+&" $. &% &9 -.( %$( $ ( (

8 Gd Data Grid ( /( ( *&9 7!" ( (% 7#6$

9 ( /( 'A 7 -" 'A.$(% + # ( : / ;/ % ;+%$ 9$ $ ( $ $ $(($9( (( ( " ( ( 4 5 ( ( * /( (( ( B C ' 9+ / C 7( C C " $ 9 0

10 Gd 5& -.( % -.( %*$ 9 # <854(. ( ( 8 A8 9 9 $4D8 &6 ++#$ &6 $ &*9$: % ".6; &6 ++#$ &6 $ &*&6 % &6 1 %52 "$++ $ &* % 16#$'#6 $++' "$ $ &*& % ".6; $4( 8 1$. *$ *$ "5*6

11 Gd Netbed (Emulab) Comme «Modelnet» Description de la topologie => NS script Utilisation de Dummynet Outils de Mapping routeur_logique => machine physique Utilisation du simulateur NSE (ns emulation) Utilisation de noeuds exterieurs client (40 DSL) 3 Sites

12 Gd 5& -" 'A (( ($ > # ( *& #( *$ 9 $4D8 *&% 1#& &% &#< 1 % #' & # +& $$&%-+ && E% ;(% &%=>??? :; % $: % $4( 8 1$. *$ *$ "5*&6

13 Gd &(*$ 9 -.( * 9 # F Liens Gigabits Commutateur x gigabits (non bloquant) Emulateur de lien Routeur logiciel F -.( A FAI PC FAI PC ;/ 9(. *$ 9 ( ( $ FAI PC Cœur de réseau FAI PC

14 Gd G&?HHH (% ( /( $4D8 &%=>??? &%-+ && *&% 1#& &% &#< 1 % #' & # +& /( % /( 1$. *$ *$ "5* &6 $4( 8 ($ > *( % 9 9 *((&?HHH

15 Gd & 17 M$

16 Gd > 7 13 Labs 1 47?<LA8% & (+ % % $ 4;;AHKL8% 9 9 (+ &( M F 47KJAL8% 9 I- I9 -.( 31B>?C4% 9 9 (+ " 31>AA@4% I (+ ( 03@?!!4% & (+ ( +.$+ C A31BA?A4% I (+ J 31>@??4% (+ 31>?@A4 6$ 9( : 9$ I ( (+ -.(

17 Gd Alain Lecluse (IBCP), Alexandre Genoud, (Projet OASIS, INRIA Sophia Antipolis) Antoine Vernois, (IBCP) Arnaud Contes, (Projet OASIS, INRIA Sophia Antipolis) Aurélien Bouteiller, (LRI), Bénedicte Legrand (LIP6) Brice Goglin (doctorant), (INRIA LIP RESO), Brigitte Rozoy (LRI) Cécile Germain (LRI) Christophe Blanchet, (IBCP) Christophe Cérin, (Amiens, Laria) Christophe Chassot, (LAAS-ENSICA), Colette Johnen (LRI) CongDuc Pham, (LIP) Cyril Randriamaro, (LaRIA) Denis Caromel, (Projet OASIS, INRIA Sophia Antipolis) Eddy Caron, (LIP/ENS Lyon), Emmanuel Jeannot, (Loria) Eric Totel (Supélec Rennes) Fabrice Huet, (Projet OASIS, INRIA Sophia Antipolis) Faycal Bouhaf (DEA)(INRIA LIP RESO), Franck Cappello, (LRI) Françoise Baude, (Projet OASIS, INRIA Sophia Antipolis) Frédéric Desprez, (LIP/INRIA Rhône-Alpes), Frédéric Magniette, (LRI) Gabriel Antoniu, (IRISA/INRIA Rennes), George Bosilca, (LRI) Georges Da Costa, (ID-IMAG), Géraud Krawezik (LRI) Gil Utard, (LaRIA) Gilles Fedak, (LRI) Grégory Mounié (ID-IMAG) Guillaume Auriol, (LAAS-ENSICA), Guillaume Mercier, (LaBRI), Guy Bergère, (LIFL, GrandLarge INRIA Futur) Haiwu He, (LIFL, GrandLarge INRIA Futur) Isaac Scherson, (LIFL, GrandLarge, INRIA Futur) Jens Gustedt (LORIA & INRIA Lorraine) Joffroy Beauquier (LRI) Johanne Cohen, (Loria) Kavé Salamatian (LIP6), Lamine Aouad (LIFL, GrandLarge, INRIA Futur) Laurent Baduel, (Projet OASIS, INRIA Sophia Antipolis) Laurent Dairaine, (LAAS) Luc Bougé, (IRISA/ENS Cachan Antenne de Bretagne), Luciana Arantes (LIP6), Ludovic Mé, (Supélec Rennes) Luis Angelo Estefanel, (ID-IMAG) Marin Bertier (LIP6), Mathieu Goutelle, (KIP) Mathieu Jan, (IRISA) Michel Diaz, (LAAS-ENSICA), Michel Koskas (Amiens, Laria) Nicolas Lacorne, (IBCP) Nicolas Larrieu (LAAS-ENSICA), Nicolas Viovy (CEA-DSM-LSCE) Oleg Lodygensky, (LRI) Olivier Richard (ID-IMAG), Olivier Soyez, (LaRIA) Pascal Berthou, (LAAS-ENSICA), Pascale Primet (LIP), Pascale Vicat-Blanc Primet, (INRIA LIP RESO), Patrick Sénac, (LAAS-ENSICA), Philippe d'anfray (CEA-DTI/SISC), Philippe Gauron, (LRI) Philippe Owezarski (LAAS) Pierre Fraigniaud, (LRI) Pierre Lemarini, (LRI) Pierre Sens (LIP6 / INRIA), Pierre-André Wacrenier, (LaBRI), Raymond Namyst, (LaBRI), Samir Djilali, (LRI) Sébastien Tixeuil (LRI) Serge Petiton, (LIFL, GrandLarge INRIA Futur) Stéphane Vialle (Supélec) Tanguy Pérennou (LAAS) Thierry Gayraud, (LAAS-ENSICA), Thierry Priol, (IRISA) Thomas Hérault, (LRI) Timur Friedman (LIP6) Vincent Danjean, (LaBRI), Vincent Néri (LRI)

18 Gd -Responsable -Référent ACI MD Franck Cappello (LRI) Luc Bougé (ENS) Les 4 thématiques transversales et leur responsable : -Infrastructure (Matériel + système), -Emulation (Virtualisation), -Réseau, -Applications. Olivier Richard (ID-IMAG) Pierre Sens (LIP6) Pascale Primet (LIP, Inria RESO) Christophe Cérin (Laria)

19 Gd 7-5% # 7 # N?HOP:: &?HHHAHHQ# <??OP:: + # <?HOP:: # <?HOP:: R% $ ( <NHOP::' ( # ;7; # =HHOP:: :;AHH?# LHHOP:: 7-9(# LJ(4A/<K(8$ 7 AQ($ $ 4 *+ 8 $ 4 *+ 8

20 Gd ;/ 6$ 7 6$ <HLHOP:: CDD (2) ,00 Fonctionnement ,00 Equipement ,00

21 Gd ;/ 6$ 7 LRI Equipement LRI LAAS LIP6 Fonctionnement LAAS LIP6 IMAG-ID LaRIA LORIA LIP-ENS-Lyon LIFL INRIA-Sophia LABRI IBCP CEA IRISA

22 Gd 7 47G&?HHHG8 Configuration : 648 C CPUs + 48 N CPUs + 3 Frontaux Nœuds de calcul Nœuds de calcul Réseau et noeuds Nœuds de calcul Infiniband / Myrinet %> & $ %AHH?0 (. 9 <?5% 4A'L8

23 Gd &( 'AB ( / / 4 8 A8 SA' T% 4 5 ( U 8 L8 2T% 3 25% % 3 SA' 4( 8 Q8 (% &$ / T /

24 Gd Data Grid eplorer :/ + <8 &( <O4 V (* JHH %$ $% 4;9 5 $% 4-% (% 7@ A8 ; &( &9 -.( %.( / ( # C ;/ %: / 5 ( %.( * # C 9 ( $ $ A / C ((+ 6 (+ "

25 Gd Experiences I.1 Plate-forme I.2 Virtual Grid I.3 Virt. Techniques I.4 Simul. Guidée par Emul. I.5 Emul. réseau I.6 Emul hétérogénéité I.7 Communication I.8 Emul. Internet II.1 Engineering tech. II.2 Objets Mobiles II.3 Tolérance aux pannes II.4 DHT II.5 Base de Données II.6 Ordonnancement II.7 Optimisation des comms. II.8 Partage de données II.9 Uni et multicast II.10 Automate cellulaire II.11 Bioinformatique II.12 Stockage P2P II.13 Adversaires II.14 Sécurité II.15 Internet nouvelle génér. II.16 Simulation numérique Infrastructure Emulation Réseau Application

26 Gd #$ Aujourd hui. 4<8 (. 4A8 & ;/". 4L8 $ 7 ((;/ G % 4W<H8 ( % 9" & 9 9 ;/ ( - ;/ G&?HHH : HL M HQ HQ HL HL 7HQ MHQ 5HQ MH?

27 Gd C 9 9 ( * $ 9 + ( ( $ 4 -.( $ $$ (. $(( 8 /( ( /( 9 9 ( -.( *$ ( 5% > &?HHH4 9 9 / /> ( &?HHH* ($AHHQ

28 Gd Y B

29 Gd ;/ ( /#"AF48 ;( <HH < <HO<HH48 <HHO<O48 ( ; F F 7F7U 9 -/Z ;/ ( F # <- < A ' '<'Z ' 'A'Z 9+ F (( + (. + + #+ (+ + % 47( F + ( (% :9* AHHQ

30 Gd ;/ ( /#"? E# $ 9%( Switch x gigabits (non blocking) Gigabits links Software routers Etapes 1. Définition de la configuration 2. Génération des scripts et tables 3. Déploiement automatique 4. Lancement des expériences 5. Analyse des traces Link Emulators Point dur: Le multigigabit longue latence Entrées Expériences Sorties Topologie, Délais QoS, limitation débit IPv6 ou v4, jumbo frames Sources: vrais flux Vraies applications ou squelettes. Trafic concurrent contrôlé. Performance et comportement E2E Influence des paramètres d échelle Taux d utilisation ressources

31 Vue logique Gd ;/ ( /# "J;( I9$458 Objectif : rendre Gd hétérogène pour faire des expériences d'émulation Moyen : dégrader les caractéristiques de la plate-forme : vitesse CPU, mémoire disponible, latence réseau, bande passante réseau. Mise en œuvre : configuration par îlot (union d'intervalle d'adresse IP), Définition des caractéristiques communes à chaque îlot, Définition des caractéristiques entre îlots. îlot de machines avec les même caractéristiques Sous réseau pour l'îlot Sous réseau pour l'îlot Réseau inter-îlot ilot1 : [ ]-[ ]{ SEED : 1 % -1 pour une graine aléatoire CPU : [ ] %chaque membre de l'îlot aura une vitesse CPU choisie uniformément entre 800 MHz et 1,4 GHz BPOUT : [1000;200] % Chaque membre de l îlot aura une bande-passante en sortie choisie suivant une % gaussiène de moyenne 1000 Ko/s et de variance 200 Ko/s }!INTER : [ilot1;ilot2] [ ] [ ] [1;0] -1 %caractéristiques réseau entre ilot1 et ilot2

32 Gd ;/ ( /# "K;( 48 C 4*& ( 8 & (9 (9 %* &AHHQ C (9 * ( 7.$ $ ( ((- ( & (. &$ > C [ # 7 S $ $+ 4R# $ * ( ( (( + &

33 Gd ;/ ( /#"L $ - 4J8 C $ *&9 R9 1W$ &$(% (+ 1W *-( %#\AHHL] C F $ $9( $ /$ $9( *> %#\HQ] 9 9 (*M( * C 7 ( & (#AHS AS& ( $ # ( -.( *$ 9 >

34 Gd!"#$!%&'# (!()*%*#!" #!! $"%& $%"!'$( )*! + ),)-!" # % "*!% Contact: ibcp.fr

35 Gd ;/ ( /#"<? 48 C L /( V Y(@( & / & * ( # ( 6 9 8'747 ( $$8;/ T $ 7647 ( 6 $ 8 % % 47 U %8 ;/( ( ( <H(9