MetaCC Compilation et exécution nomades

Transcription

1 Meta ompilation et exécution nomades Georges-André ilber entre de recherche en informatique École des mines de Paris Meta p.1/35

2 ompilation et exécution nomades Permettre à un utilisateur d accéder à ses données, de compiler et d exécuter du code n importe où, depuis n importe où. ompile and execute everywhere! Offrir des services disséminés sur un réseau. Pour tout ce qui est coûteux, critique. tockage (sources, données, exécutables, analyses). Analyse et transformation (source à source). ompilation (source vers exécutable). Exécution (machines diverses). Meta p.2/35

3 L univers Internet Le monde GRID ( Transferts et accès sécurisés, acquisition de ressources, équilibrage de charges,... Lingua franca de représentation et d exécution du calcul? Le monde WWW ( Transferts et accès sécurisés, équilibrage de charges, acquisition de ressources,... Lingua franca de représentation et mouvement de données? Meta p.3/35

4 Approche Les autres approches GRID (ex: GrAD) supposent un environnement de programmation dédié: réécriture des codes, utilisation de blocs de base (composants). Frein à l utilisation de la grille? Industrie: Fortran 77 et optimisés/bidouillés. Étude de cas avec PIP. Meta p.4/35

5 Down top Majoritairement: vision de haut en bas. Nous avons l approche de bas en haut. Adaptation des outils existants au Metacomputing. emacs autoconf, automake, libtool, make, gcc ld, ar, as, ld.so, libc.a Meta p.5/35

6 Plan Problématique Travaux et réalisations Présentation de l équipe ommunication interne et externe alendrier Meta p.6/35

7 Problématique Meta p.7/35

8 ervices Pour réaliser tous ces services, il y a une foule de problèmes à résoudre. Transparence (facilité d utilisation). écurité (sources, données, exécutables). Protocoles d échanges, formats des données. Performance à tous les niveaux. Middleware pour faire communiquer les services. ompilation (optimisation de code). Tentative d isolement des problèmes. Meta p.8/35

9 ervice virtuel est client service sert data (XML) data (XML) Machine de Turing. data est subdivisé en code/données. Un code info de contrôle du service. Meta p.9/35

10 pécialisations Dérivation en six services spécialisés : identification, stockage, analyse, transformation, compilation, exécution. pécialisation des canaux de données : identité, code source, exécutable, analyse, données, paramètres. Un code info particulier par service. Meta p.10/35

11 ervices spécialisés identification stockage exécution Données Identité Identité Identité ode source Exécutable Données Données Analyse Données Exécutable Analyse analyse transformation compilation Identité Identité Identité ode source ode source ode source Analyse Analyse Analyse Analyse ode source Exécutable Meta p.11/35

12 Réalisation Réalisation des services spécialisés (implémentation). Par exemple: ftp réalise le service stockage, petit réalise le service analyse, nestor réalise le service transformation, gcc réalise le service compilation, ld.so réalise le service exécution. Meta p.12/35

13 ontexte local local fs (ext2) G stockage ode source 1 compilation ode source 2 # gcc matmul.c 1, 2 # ls a.out data matmul.c # a.out data 3, 4 # ls a.out data matmul.c result # 3 ld.so 4 Meta p.13/35

14 ' ; / 110 / Meta p.14/35 ontexte nomade pips.metacc.net polylib.u strasbg.fr transformation analyse '*>*<=. 1 '*>*<=. 1 ode source ode source Analyse Analyse Analyse ode source #! " # $!" #! "! nestor.metacc.net stockage *>*<=. 1 forte.sun.com smp.cines.fr gcc.metacc.net ode source compilation 89: 5 6 compilation '. '*>*<=. 1 '*>*<=. 1 '*>*<=. 1 Analyse ode source,-. *+) '( %& ode source '( *+),-. %& Analyse Analyse '( *+),-. %& '. 2 '. /,-. *+) '( %&

15 Avantages Dépasser la frontière du compilateur généraliste. ommunauté de la compilation. Test en vrai grandeur! Architecture. imulateur d exécution. Utilisateur: Machine virtuelle puissante. Write Once Everywhere, Run Efficiently Everywhere. ans réécriture de code. Meta p.15/35

16 Études et réalisations Meta p.16/35

17 Problèmes transversaux ervice identification. L, H, Kerberos, autres? ervice stockage. rsync, sftp, caches, Avaki? Implantation du code info. ervice, architecture, charge, etc. ur le modèle d Apache ( Meta p.17/35

18 Protocoles et formats Un protocole par service. omment faire communiquer les services? Un format (langage) par canal de données. omment faire se comprendre les services? Meta p.18/35

19 ? Formats XML est utilisé comme moyen de structuration des données unifié. Quelques avantages de XML: fichiers texte (portables), parseurs gratuits disponibles, transformation de XML n importe quoi (XLT, XPath), récupération d information (XFragments, XQuery), des grammaires explicites (DTD, Xchema), sécurité (XML Encryption, signature), un standard (W3)! Meta p.19/35

20 Formats PLML Programming Language Markup Language. Une famille de dialectes XML. /++ Java Fortran (77, 95, 2000) cilab Assembleur Travail en cours avec Paul Feautrier (A3). Meta p.20/35

21 MetaPIP, polylib Réalisation du service transformation et analyse. Parallélisation du code de PIP. Polylib, pip, omega library, paf, Nestor. Meta p.21/35

22 ompilation G Gnu ompiler ollection (différentes architectures)., ++, Fortran, Java,... OR Open Research ompiler (IA-64). Prise en charge des différents paramètres. ervices très spécialisés (gcc -O3). ompilateurs commerciaux? Meta p.22/35

23 RED Remote Execution Daemon. Réalisation du service exécution. rsync+ssh, chroot, rexec. Traces d exécution. ontrôle de l exécution (code info). Vraie machine ou simulateur. JVM. Meta p.23/35

24 Middleware Rôle de glue entre les services. Ordonnancement des tâches à accomplir. hoix du meilleur chemin de données. ollaboration avec AI AP (Diet). Performances des transferts. ollaboration avec AI REAM. hoix des paramètres pour les services. Meta p.24/35

25 lient léger ontrôle de la glue. imple analyseur syntaxique. erreurs de syntaxe traitées en local! ource XML. Applet, PalmO, emacs, PHP,... Meta p.25/35

26 Présentation de l équipe Meta p.26/35

27 RI Équipe ATIP Analyses statiques et transformations de codes. Optimisation, maintenance, sécurité, rétro-ingéniérie. Projets : AB, onso. Logiciels : PIP, Nestor. Membres : Irigoin, Ancourt, Jouvelot, oelho, ilber. Relations industrielles : EDF, agem. Relations scientifiques : A3 (INRIA), ReMaP, EA,... Veille technologique : compilateurs. Meta p.27/35

28 RI Équipe ADM Internet, multimédia et architectures documentaires. Moteurs de recherche, e-learning, sites web. Projets : BIAM, droit.org, VIDAL, OTAN, Préfecture. Membres : Mahl, Jouvelot, Daverio, Olivier. Veille technologique : technologies web. Meta p.28/35

29 Meta Jeune équipe financée par l AI Grid Georges-André ilber (coordinateur) Parallélisation automatique de nids de boucles, transformation de code source à source (Nestor). Thèse décembre 1999, Alain Darte, LIP. Fabien oelho ompilateurs pour langages data-parallèles (HPF), analyses de programmes. Thèse octobre 1996, François Irigoin, RI. Laurent Daverio Technologies WEB, base de données, systèmes d exploitation. Meta p.29/35

30 ollaborations Projet A3 INRIA (Rocquencourt) Projet ompys (Lyon) Projet ReMaP (Lyon) AI AP (Lyon) AI REAM (Lyon)? EA (aclay)? Meta p.30/35

31 ommunication Meta p.31/35

32 ommunication externe domaine metacc.net. onférences, workshops, journaux. Europar 2002 MA Notes de travail et rapports (RI). Meta p.32/35

33 alendrier Meta p.33/35

34 ? Ordonnancement T0+6 Protocoles et formats v0.1. Implémentation jouet des services v0.1. Dissémination (Bleau, Evry, Paris, ophia, InternetFR). Dissémination amis (Lyon, Paris). Glue a la main. v1.0. Document de référence (communautaire). Implémentation services v1.0 + instances. Glue v0.1 + clients légers. T0+12 v0.1 T0+18 Glue v1.0. Tests. T0+24 Meta v1.0. Meta p.34/35

35 Informations Rapport interne RI E Meta p.35/35