SysFera-DS : vers une solution de portail scientifique collaboratif chez EDF. Benjamin Depardon

Transcription

1 SysFera-DS : vers une solution de portail scientifique collaboratif chez EDF Benjamin Depardon

2 Plan de la présentation 1 Contexte 2 SysFera-DS 3 Solution mise en place 4 Conclusion et perspectives SysFera 2

3 Plan de la présentation 1 Contexte 2 SysFera-DS 3 Solution mise en place 4 Conclusion et perspectives SysFera 3

4 Complexité des plates-formes distribuées Accès aux ressources via ssh Pas de compte unique Multiples interfaces Intégration complexe des applications Dépendance aux batchschedulers Pas d interactions fortes entre utilisateurs/ applications/machines SysFera 4

5 SysFera : qui sommes-nous? 2001 : Projet de recherche de l équipe Graal, INRIA/ENS DIET : intergiciel de grille 2007 : SysFera-DS au sein du projet Décrypthon Utilisation en production 24/7/365 en remplacement d une solution concurrente : Création de SysFera, spin-off de l INRIA (ENS Lyon, équipe Graal) 2011 : Une équipe de 11 personnes (4 ingénieurs et 4 PhD) Supportée par deux experts, chercheurs de l ENS/LIP SysFera 5

6 "#$%&'()*+*,%&#*-.%* #/0-12/.*3%*4/&1'20* #52% %*5/00'8/&'126* 59%:*;)$ <51/8&%*=>?? E%'.(F'&5*GDHFDE<IJ K/&2#*)DLJ LM;CLN* <L*

7 "##$%&' #$%&'()'(*#+,-#./0'121-,'1%&#3#4%&+'1%&&,21'5- #D(-#0-,E(-#F#+%0:'#('#>20-#2%&E#'(:?( #$%&+20-1%&- "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "

8 $%&'()*%+&,-./01&2 3)4+%5+%6&789& "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "##

9 "#$%&$%'()'*'+,-'./, "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45)

10 "#$%&'()#% $%&'(')*+,*),-./.0121'3*+,(4%&&53,%67,+*33.6+&*3,89: ;*3,<,6)'('3%)*6+3,=,&'>(*3,?, ;*3,B(%)*C.+/*3,?,G%(./*H,I%+J*);%>H,KB*2LMNOG, ;*3,+*33.6+&*3,89:,01+1*3? E*/%'2,?,+*33.6+&*3,*7)*+2*3,?,/%&-'2*3,*2,B%+)*2%+'%),,A::NLH,RONRP\D,*2,%&&53, :'>(*,?,62*,3.(6)'.2]]] KB*2,G.6+&*,B.6+,C%&'(')*+,(41&-%20*,%F*&,2.3,B%+)*2%'+*3 G1&6+'31*H,$'%>(*H,N.>63)*,*),G&%(%>(* :.*7'3)%2),%F*&,(463%0*,%&)6*( "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "##

11 "#$%&'()*)#"()+,$%-#$.-##+'./-#$01$23456 $%&'()$*+,)-.$)/$0+(/)$*)$-122'/*)$3.,'/&4),.$*)&$5)67$*)$*1//8)&9$ ) /9$&6,:)+00'/-)$;$,'<<'.,+)2)/.$*)&$,8&60.'.&=9 $>+&6'0+&'.+1/$?$*+&.'/-)9 D',E).F'G9$H<)/I%JKC=$)/$21*)$+/.),'-.+49$G'.-L$16$&16&$,8&),:'.+1/9 $M.6*)&$<','28.,+N6)&9 $O)&.+1/$*)$0A6.+0+&'.+1/$*)&$,)&&16,-)&P "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "##

12 "#$%&'()*)#"()+,$%-#$.-##+'./-#$01$23435 $%&'(()*+$%,-$./'((0)1'2)3*45 $6'&2'+,$,2$(7-0)1'2)3*$.,4$&84702'24$,*2&,$72)0)4'2,7&45 $9,42)3*$.,$0/'11:4$'7;$'((0)1'2)3*45 $<)==74)3*$.,$*37>,00,4$>,&4)3*4$./'((0)1'2)3*4$?$.,4$72)0)4'2,7&4$-,2'5 "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "##

13 "#$%&'('")*+,-'#.,)/0'$12'3%4),5*)&6*+)/ A+-*3:-/5'B/55=+)6/5'$;*;)=>8?/5'0+'$12 "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45)

14 "#$%&"##'(&%)*+*%'#,'-,*+.%+'/'#$).* $%&'(&)(* +,,-.*/*+0%12'%343,&%35'6**$$76*()53%.*(8&,,-.*43,132).*9*:;$ C3,132).*/*<)&'.42)%.*.D',1)5'2.*E*&.D',1)5'2.**9*C;$ F'45)?&%35'*/*.0)G23>>&',2*(2*>8&,,-.6*(2*>83'4)&.%)0,%0)2*2%*(2*HF$IJ:*9*F;$ +G&',K2. LK.2)G&%35'*(2*)2..50),2. M5B.*N&)*?3>>32).*OK%0(2.*N&)&?2%)3P02.Q RKN>532?2'%*(8&NN>3,&%35'*E*(82'G3)5''2?2'% S2.%35'*(2.*N)35)3%K.*2'%)2*0%3>3.&%20). ;0>%3T.,12(0>3'U* V&)%2*(2*A5B*0'3G2).2> "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "##

15 "#$%&""'('")*+'*+,#'-&..'('") C;A6,%D6<+';E3% C+,M=JJNR 39::&69)A,C;A6,C+G9;A "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "#$$

16 "#$%&'()*+&&$',&)*$,*-$.&$/"0$*1233 $%&'()*(+,-./%0(1,()2/03'*-.'&4.&',(567-/8&,(9 :/-/%0(4,0.'*)/-;,(1,()2;.*.(1,()2/03'*-.'&4.&', " <&5,'=/-/%0(,.(.'*4,- <4*)*C/)/.;D(-.*C/)/.;(,.(5,'3%'B*04, E;),-.*+, $%&'(),-(*55)/4*./%0-(9 F0,(?$G(-.*01*'1(=,'-()2/03'*-.'&4.&', " 5%&'()*(+,-./%0(1,(H%C-(,.()*(+,-./%0(1,(3/46/,'- "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "##

17 Plan de la présentation 1 Contexte 2 SysFera-DS 3 Solution mise en place 4 Conclusion et perspectives SysFera 6

18 Description Vishnu : Projet collaboratif entre EDF R&D et SysFera But : Uniformiser et simplifier l accès à l infrastructure HPC Pour des utilisateurs et développeurs d applications scientifiques (e.g., SALOME) Simplifier les interactions du triplet utilisateurs/applications/ressources informatiques SysFera 7

19 Fonctionnalités SysFera-DS Simplicité Contrôle Accès Fiabilité & Perf. Authentification SSO Login/pwd unique Session 4 APIs Commandes Unix C++, Python, WS Batcher universel Gestion des informations Gestion des options utilisateur Gestion des tâches Gestion des transferts de fichiers Gestion des sessions Historique Reproductibilité Authentification unique Portail web Gestion des tunnels ssh Transferts entre mémoires de masse Messages d erreur Reproductibilité Relance de tâches & transferts de fichiers Gestion des défaillances et redémarrages Temps de réponse SysFera 8

20 La solution SysFera-DS End-User End-User End-User End-User CLI - C/C++ - Python - WS SysFera-DS Users - Tasks - Workflows - Data - Info Workstations Data centers Servers Clusters or Private/public supercomputers Clouds SysFera 9

21 La solution SysFera-DS Web interface User and Admin Interfaces Web services C C++ CLI Python Security Data Management Workflow Engine Task Management File Management Hierarchy of Schedulers FIFO Green Cloud Appli1 Appli2... Persistence Implicit/Explicit Replication LRMS Monitoring SLURM SGE LoadLeveler OAR... Cloud Interface User Management Computing Resources Storage Cloud Resources External Storage Local Storage Cloud Storage 10

22 Plan de la présentation 1 Contexte 2 SysFera-DS 3 Solution mise en place 4 Conclusion et perspectives SysFera 11

23 Résultats Fonctions de base : UMS : user management system (authentification, sessions) TMS : task management system (interface batch sched.) FMS : file management system (commandes usuelles) IMS : information management system (trace, état, charge, délestage) Interfaces utilisateurs : CLI, C++, Python WS Produit open source sous licence CeCILL Disponible dans debian SysFera 12

24 Module UMS User Management System Contrôle les aspects d'authentification et autorisation des utilisateurs pour tous les modules VISHNU Gestion des comptes utilisateurs Ajout/suppression Obtenir des informations sur l ensemble des utilisateurs Modification des informations d un compte Connexion à l infrastructure Par identifiant/mot de passe Gestion des «comptes locaux» Gestion des sessions Sauvegarde/restauration de l état de la plate-forme SysFera 13

25 Module FMS File Management System Permet la gestion de fichiers situés sur une machine distante Manipulation des propriétés des fichiers Création/suppression de fichiers/dossiers distants Transfert de fichiers de manière synchrone ou asynchrone depuis une machine locale vers une machine distante, depuis une machine distante vers une machine locale, entre deux machines distantes. SysFera 14

26 Module IMS Information Management System Gestion des informations et historique Récupération de l historique des commandes dans un script shell Obtenir des informations sur les machines Valeur des métriques à l instant t ou historique Alertes automatiques lors de dépassement de seuils Surveillance des processus Arrêt / redémarrage Délestage machine soft / hard SysFera 15

27 Module TMS Task Management System Gestion des tâches des utilisateurs Uniformisation de la gestion des tâches pour différents gestionnaires de ressources : Création d'un identifiant de job unique Ecriture d'un script générique indépendant de la plateforme de soumission Possibilité d avoir des sections spécifiques aux batch schedulers Permet de soumettre un job sur différents types de platesformes sur lesquelles sont installés des gestionnaires de ressources différents (i.e., Torque, LoadLeveler, SLURM) SysFera 16

28 Infrastructure distribuée SysFera 17

29 Plate-forme distribuée SysFera 18

30 "#$%#&'(($&) %'*&#+ "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "#""

31 "#$%#&'(($&)%'*&+ =%:RSLG R0).H)*I).>).TEIU/2+1/E0.)1.>).1)'1'.+41EI+1/'3'.=D)0V/0'G :)'.1)'1'.)HH)T143'.5. 'E41)04)G TE0HE*I).+4.T+B/)*.>)'.TB+*W)' U*E>4/1.*E?4'1). X.0E1)*.5 0).03T)''/1).U+'.>).>*E/1.+>I/0/'1*+1)4*.'4*.2)'.T+2T42+1)4*'.5.,-&.%*.)' /2/'+1)4*.U+*I/. >Y+41*)' "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "#$$

32 "#$%&"'()*'+,--.'(/"01%'(2%34566 "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45)

33 "#$%#&'"#$($)*%+,$ ",$-.%#$.*/'$,"+0" "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "#$$

34 "#$%&'()%*+,,%-."&/0+-.1&1%.2%3 %&'()*+*,-%./,0)1'20'1%3 40)1'20'1%506%02*7*+5210'+%8125%1-%492,8'1%$:; &',?'1++*)1=1-2%,0)1'20'1%G%7/1-+1=871%.1%75%HIJ%1-%$:$K <>>,'2+%1+9,=>2(+%3 L-1%*-21'M591%0-*N01;%+25871%12%>('1--1%506%=,B1-+%O&D%PJQ; L-%.(802%.1%)*'2057*+52*,-%.1%7/599R+; S/599R+%*==(.*52%G%.1%-,0)1506%+1')*91+%3%TT4;%2'5-+M1'2+%5+B-9C',-1+;%U,8% 0-*)1'+17; <%21'=1;%./502'1+%+1')*91+%>70+%*--,)5-2+%3%'(+1')52*,-;%=125+9C1.07*-?;%.(>7,*1=1-2;%+,0=*++*,-%7,9571%+0'%+252*,-%.1%2'5)5*7K "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "#$$

35 "#$%&'($)('%*+"&,-).*,%" /"%01(,&"%2%".+%&34536 %&'()*+,-./012+,3 4.)')'>-2,;C2=/&1'()*,2',;2,+1(0(,;C5--6(&5'()*+,-5.5B/'.(P12+Q %--).'+,2+&)B-'/+,-)1.,6C1'(6(+5'21.,3 42.B2''.2,H,;2,*)10251=,1'(6(+5'21.+,;C1'(6(+2.,62+,B)>2*+,:4G,+5*+,;20)(., "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "#$$

36 "#$%&'(#)%"*+,-.%" %&'()*+,-./012+,3 B,C:7,-)1.,+)1D2''.2,B,+1.02(<<2.,1*,E)=,F(*'2.G6&2,48HI,4JJ,K,'2.D2LM,N, -.)')'O-2,G(*,$P 4)**25()*,602&,9-2*AQRS7I,7%89:;#T%47,K,(*('(2.,2*,$P$ 4)**25()*,-)++(=<2,602&,:6.U2'86=,F0(6,V2=72.0(&2+M %--).'+,2+&)D-'/+,3 8Z6&&[+,K,\2+,G)*&'()**6<('/+,606*&/2+,K,'2.D23,./+2.06'()*I,D2'6]+&?2\1<(*^I, 779 %,'2.D2I,-)1.,7%89:;,(*'2.&)**25()*,\2+,=1+,4).=6L "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "#$$

37 "#$%&%'()*+,#-,".*/+0*-&1234&5 %&'()*+,-./012+,3 4*51+'.(67(+6'()*,52,76,+)71'()*,2*,&)1.+,602&, ,52,.276(,9,76,5(0(+()*, %--).'+,2+&);-'/+,3 -71+,52,7(F2.'/,52,&G)(H,52+,.2++)1.&2+,+)1+IJ6&2*'2+ K2+'()*,-71+,7(F.2+,52+,;)B2*+,L-)++(F(7('/,0(6,M4NCOAP,5=(*'2.5(.2, -.)0(+)(.2;2*',7=6&&Q+,9,1*2,.2++)1.&2R?/7/86'()*,-.)8.2++(02,02.+,52+,65;(*(+'.6'21.+,M4NCOA,52+,5.)('+,5=1'(7(+6'()*, 5=6--7(&6'()*+P,51,5/-7)(2;2*',5=2*0(.)**2;2*',2',52,76,./+2.06'()*,)1,52, 7=677)&6'()*,-./:/.2*'(2772,52,.2++)1.&2+ "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "#$$

38 "#$%%"&'"&()#*"&+,&-.,&/&012"(3& 4556&7&4584 0'%"#$%&'($#"+&+,(-#"H D1%'(B)7-5"<'"('%%-:(2'%"S"B=%: "#$%&'($#")$"*+#$"H 6-55'M=-5"#INO8E"/()5%3)('5/' I:/4'57J2)7-5 TU8"DV0"#E,?EW K'%7-5"<'"J24='(% T5<:%/(=)>=%)7-5"6#,XT? K'%7-5"<'"/L24'% "6-:3>)G'"#INO8E"PQY #:=B="<'%"/L24'% ",(-/-/$3'"2-55'M=-5"#INO8E"PQR )B'2"8)(C'/>)A 24-=M"<'">Z-:7>"0TE?"<'">ZTWDTI 2-52'37-5"'/"<1A:/"<'%"<1B'>-33'['5/% DEF %/(:2/:()7-5"<:"A'%-=5 6)4='("<'%"24)(G'% :%'"2)%'% 0'%"#$%&'($#"+&+,(-#"H D1%'(B)7-5"<'"('%%-:(2'%"S" B=%: \'A]-)(< O:7>%"<Z)<[=5=%/()7-5 EM/'5%=-5"<'">)"G'%7-5"<'%" 2>-:<%"3(=B1%"S"3:A>=9:'% [-5=/-(=5G_"('3-(75G,(-.'/ 012($3/4-5 6(1)7-5 #$%&'().,)/#0%'+1'#+23,")/"4%3)/'0 5%36$0"7'#8,/ "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "#$%&'()" *+

39 "#$%&'("#' $%&'()*+(,-*(. C?3+5'2D*C(35>E65('%E&385B(C%0(9F16%75>508(538(50(;%&'3B(C53(G%0;87%002678F3( 2420;F53(3%08(1'%>5885&353(58(3%08(1'F4&53(9<3(H"B I:& %0(50(67J05(95(;%>>2095(538(1'F4&(9<3(%;8%E'5(H""(58(50(H"(472( 953(16285G%'>53(%&(&0(3785(K5EB "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "#

40 Conclusions SysFera-DS : une pile logicielle permettant la gestion collaborative d'it à la mode Cloud privé Suite allant du portail web orienté utilisateur jusqu'à des outils de collaboration comme le wiki par exemple Permettant de faire du Cloud Hybrid avec des platesformes physiques et virtuelles Solution Open Source et ouverte pour permettre l'enrichissement par la communauté La collaboration EDF/SysFera continue SysFera 20

41 "#$%&'($)* +",)-#).#/)0 1)2%% $6$7#,859': 1)2%% $6$7#,859':4;&$2(" A8,):8&-)0 1)/#(B8:&(5C#38,C'(D$6$7#,859': 1)$8:"#-5E',%8$D#C757, "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "

42 Merci de votre attention Vos questions? Sur le web : Par mail : benjamin.depardon@sysfera.com samuel.kortas@edf.fr SysFera 22

43 "##$%&'()*+(,%- "#$%&"$'$$()*+)$,+$-.$/.-+0)$+1$2)*2.)+)$-3./+45) "#

44 Découpage SysFera-DS Third party software GUI Desktop PDA... WebBoard SysFera-DS VISHNU-Client DIET SysFera-DS related tools deployment, plugins... VISHNU-Server Resources SysFera 24

45 Gestion des utilisateurs (SSO) End-User Computer "# %&''()- Identification DB (2) Retreive identification credentials (1) Open session (3) Send requests... (6) Close session SysFera-DS SeD SeD SeD (5) ssh as Bobby (5) ssh as Bob1 Site 1 Site 2 Site 3 /home/bobby /home/bob1 /home/bob "##$ %&''()* "#* %&''()+ "# %&''(), (4) Use global ID (5) ssh as Bob SysFera 23

46 Multi-domaines, Multi-sites SysFera 24