CORBA haute performance

Transcription

1 CORBA haute performance «CORBA à 730Mb/s!» Alexandre DENIS PARIS/IRISA, Rennes

2 Plan Motivations : concept de grille de calcul CORBA : concepts fondamentaux Vers un ORB haute performance Conclusion et perspectives

3 Ressources de la grille Réseau hiérarchique WAN : Internet, VTHD, etc. LAN : Ethernet SAN : Myrinet, SCI Machines Grappes de PCs Calculateurs parallèles SAN Grappe de calculateurs homogènes SAN Grappe de calculateurs homogènes WAN LAN Visualisation Calculateur parallèle

4 Applications de la grille Applications parallèles grille vue comme un supercalculateur Applications de couplage de codes exécution de plusieurs codes Structural Mechanics écrits dans des langages différents qui utilisent des paradigmes de communication différents (MPI, DSM, ) contraintes de localisation (visualisation, confidentialité, ) Optics Thermal Dynamics Satellite design

5 Approche à la «Globus» Modèle à plat «flat» la structure n apparaît pas au niveau applicatif grille vue comme une seule grappe MPI tous les nœuds sont égaux SAN LAN Grappe de calculateurs homogènes SAN WAN Grappe de calculateurs homogènes Visualisation Calculateur parallèle

6 Approche du projet PARIS Composants structuration de l application encapsulation du parallélisme Couplage composants reliés par un middleware Structural Mechanics Thermal Optics Dynamics Composant séquentiel Composant parallèle SAN LAN middleware Grappe de calculateurs homogènes SAN WAN Composant séquentiel Composant parallèle Grappe de calculateurs homogènes Calculateur parallèle Visualisation

7 Placement composants-ressources SAN LAN Déployer le même code sur des ressources réseau différentes SAN WAN Configuration 1 Middleware WAN Le middleware s adapte au réseau disponible Middleware haute performance Configuration 2

8 Middleware : CORBA Accès à des objets à distance localisation transparente prise en charge de l hétérogénéité Implémentations courantes : presque exclusivement TCP... interface MatrixOperations { const long SIZE = 100; typedef double Vector[ SIZE ]; typedef double Matrix[ SIZE ][ SIZE ]; void multiply(in Matrix A, in Vector B, out Vector C ); }; Client Invocation de l objet Talon IDL Compilateur IDL Serveur Implémentation de l objet Squelette IDL BOA Courtier d objets (ORB)

9 Anatomie d une requête CORBA Encodage et décodage format GIOP alignement des données spécifié copies souvent nécessaires Décodage (demarshalling) Encodage (marshalling) Invocation de l objet Transmission réseau limitée à TCP la plupart du temps... Implémentation de l objet Squelette IDL Talon IDL Transmission réseau protocole IIOP IIOP = GIOP sur TCP/IP BOA/POA Courtier d objets (ORB) IIOP/TCP

10 ORB sur Madeleine Madeleine : bibliothèque de communication pour grappes module de PM 2 ( - LIP, ENS Lyon vise la haute performance sur grappes approche «zéro copie» Portabilité Myrinet, SCI, VIA, etc. interface uniforme pour les différents réseaux Invocation de l objet Talon IDL Courtier d objets (ORB) Implémentation de l objet Squelette IDL BOA/POA IIOP TCP/IP Madeleine SCI, Myrinet, VIA, etc.

11 Interopérabilité Compatibilité avec le «monde extérieur» Madeleine pour contacter les nœuds de la grappe IIOP pour dialoguer avec les autres ORB Virtual sockets modification minimale de l ORB pour ne pas dépendre des évolution de l ORB possibilité de porter d autre middlewares sur VSock DSM, JVM, etc. implémente un sous-ensemble des fonctionnalités «socket» ORB standard IIOP TCP/IP Conversion automatique ORB VSock Virtual socket (Vsock) IIOP Madeleine TCP/IP SCI, Myrinet, VIA, etc.

12 Transparence Services fournis par VSock sélection automatique du protocole en fonction du nœud distant en fonction de l objet distant résolution d adresses en fonction des adresses IP multiplexage au-dessus de Madeleine Dynamicité CORBA est client/serveur avec connexion dynamique Madeleine a une topologie réseau fixe projection d une topologie client/serveur sur un graphe complet d interconnexion application chargée dynamiquement par des résidants sur la grappe

13 Débit SCI : 86Mo/s Myrinet : 91Mo/s 92 à 99% du débit Madeleine exploité Latence CORBA/IIOP (standard) 150 µs CORBA/SCI ou Myrinet 50 µs Amélioration nette! En latence et en débit Performances CORBA sur SISCI/SCI, BIP/Myrinet et TCP/Ethernet-100

14 CORBA et MPI Comparaison entre CORBA et MPI omniorb/madeleine - MPI/Madeleine performances du même ordre de grandeur structurer l application ne pénalise pas les performances CORBA et MPI sur SCI

15 Latence Quel protocole pour CORBA/Madeleine? GIOP pas optimal surcoût logiciel 40 µs entêtes longs superflus à l intérieur d une grappe Temps de CORBA et Madeleine sur SCI Débit de CORBA et Madeleine sur SCI

16 Conclusion CORBA favorise la structuration des applications sa réputation de lenteur est une légende! Structuration des applications en composants simplifie l allocation des ressources ne pénalise pas les performances Implémentation CORBA complète opérationnelle! Validation de notre approche de structuration des applications Intégration dans Padico, notre plate-forme d objets distribués haute performance

17 Perspectives Optimisation de la latence utilisation d un ESIOP Padico : intégration CORBA + MPI multiplexage de l accès au réseau factorisation des threads de communication Coopération plutôt que concurrence des accès aux ressources middleware