Utilisation de «gossip» pour une exécution distribuée efficace de programmes chimiques

Transcription

1 Utilisation de «gossip» pour une exécution distribuée efficace de programmes chimiques Stage réalisé à l IRISA (Rennes) du 29 avril au 21 juin. Antoine Chatalic ÉNS de Cachan - Antenne de Bretagne Cédric Tedeschi Équipe MYRIADS Marin Bertier Équipe ASAP 1 / 13

2 Paradigme de programmation chimique Modèle d exécution de règles non déterministe. Un programme est représenté par : un multiensemble (= solution) de molécules de types variés ; un ensemble de règles de réaction de la forme : «remplacer les éléments x 1,..., x n par R(x 1,..., x n ) si C(x 1,..., x n )». Exemple [calcul du maximum] un multiensemble d entiers ; une règle : «remplacer les entiers x et y par x si x y». Exemple [recherche de composantes connexes] molécules de types «ensemble de sommets» et «arête» ; une règle : «remplacer A, S 1, S 2, par S 1 S 2 si l arête A lie un sommet de l ensemble S 1 à un sommet de l ensemble S 2». 2 / 13

3 Distribution Réseau de nœuds, dont chacun héberge une partie de la solution. Problème : effectuer des réactions entre molécules physiquement situées sur des nœuds différents. Hypothèse : pas de réseau structuré pour raison de coût. 1. Moteur d exécution 2. Tolérance aux pannes 3. Stratégies d accélération 4. Simulations 3 / 13

4 Présentation du moteur d exécution Protocole de «gossip» : échanges périodiques, pair à pair et simultanés d information. Principe du moteur d exécution : effectuer des échanges aléatoires de molécules entre pairs. Algorithme 1 : Thread actif répéter tous les T choisir un pair ; lui envoyer certaines des molécules hébergées ; en recevoir d autres en retour et les ajouter aux molécules hébergées ; réagir localement ; Algorithme 2 : Thread passif réception d un message d échange initié par un pair envoyer en retour certaines des molécules hébergées ; ajouter les molécules reçues aux molécules hébergées ; réagir localement ; Comment effectuer le choix du pair? 4 / 13

5 Protocole de «random peer sampling» (RPS) But : «connaître» d autres nœuds choisis aléatoirement à l échelle du réseau. Chaque nœud : possède une liste restreinte (= vue) d adresses de pairs ; échange ces adresses au moyen d un protocole de type «gossip». Le fonctionnement de l algorithme assure : le caractère aléatoire des vues ; la connexité du réseau ainsi créé. 5 / 13

6 Tolérance aux pannes La plateforme utilisée est sujette à : des arrivées de nouveaux nœuds ; des pannes ou déconnexions volontaires. Le moteur d exécution doit donc fonctionner sous ces conditions. Une duplication de l état des nœuds est ici inappropriée. On introduit des propriétaires pour se protéger des pannes. Chaque molécule possède un temps de vie et plusieurs nœuds propriétaires. Un nœud peut régénérer les molécules dont il est propriétaire. Chaque molécule échange régulièrement avec ses propriétaires. Lorsqu une molécule en fin de vie ne répond pas, elle est régénérée de manière unique par ses propriétaires. 6 / 13

7 Remplacement des propriétaires La régénération des molécules est assurée tant que les propriétaires sont présents. Comment renouveler les propriétaires défaillants? Pour une molécule donnée, chacun possède un rang. Le propriétaire de rang 0 surveille les autres ; en cas de panne d un d entre eux, un autre nœud prend le relai. En cas de défaillance du propriétaire de rang 0, le propriétaire en vie de plus petit rang si charge de lui trouver un remplaçant. 7 / 13

8 Agglomération de nœuds Choix du pair : remplacement du protocole RPS par T-Man. Ce protocole construit une topologie définie au moyen d une métrique. Chaque nœud garde contact en priorité avec les nœuds qui lui sont «proches» ou «complémentaires» dans notre cas. Comment quantifier cette proximité? Exemple [utilisation du nombre de molécules hébergées] ( t T argmax {m n.moléculeshébergées m de type t} ) n où T = ensemble des types intervenant dans la réaction. Exemple [utilisation d une métrique sur les graphes] Choisir le nœud possédant les molécules les plus fortement «intriquées» avec celles que l on héberge. 8 / 13

9 Regroupements de molécules Idée : créer des agglomérats de molécules, i.e. des groupes de molécules se déplaçant ensemble, à partir de réactifs en puissance. Comment déceler un début de réaction? Décomposer les conditions de réaction en sous-conditions : C(x 1,..., x n ) = c C j (X j ) Agglomérer tous les groupes de molécules vérifiant une telle sous-condition. j=1 Une taille limite est imposée aux aggrégats pour garantir leur mobilité. 9 / 13

10 Concentration des réactifs Constatation : lorsque le nombre de molécules devient faible, il est plus difficile d effectuer des réactions. Idée : rendre certains nœuds inactifs, de manière à concentrer les molécules. Comment procéder pour changer d état? Mesurer l activité des nœuds (par exemple par le temps écoulé depuis leur dernière réaction). Diffuser cette information : chaque nœud connaît la moyenne de l activité de ses voisins et s y compare. Lorsqu un nœud devient inactif, il envoie toutes ses molécules à un de ses voisins. 10 / 13

11 Simulation Les tratégies d accélération sont difficilement formalisables. Nous réalisons donc des simulations pour en évaluer l efficacité. Utilisation du simulateur Peersim (Java). Gestion modulaire des éléments intervenant dans la simulation. De nombreux composants sont déjà proposés. Les interfaces proposées permettent de créer aisément de nouveaux nœuds, protocoles, réseaux. Simulations réalisées sur le problème de la recherche de composantes connexes. 11 / 13

12 Résultats des simulations Nb. d ensembles de sommets T-Man T-Man (graphe) + agglomérats RPS RPS + agglomérats Cycles Figure : Comparaison de la vitesse d exécution de la réaction avec et sans agglomérats de molécules/nœuds. 12 / 13

13 Résultats des simulations Nb. d ensembles de sommets RPS RPS + inactifs Nœuds inactifs Ratio de nœuds inactifs Cycles Figure : Comparaison de la vitesse d exécution de la réaction avec et sans concentration des réactifs. 12 / 13

14 Conclusion Le moteur d exécution réalisé est fonctionnel, tolérant aux pannes et relativement léger. Plusieurs points différents permettent de gagner en efficacité. Pas de stratégie d accélération «universelle». Chaque problème/classe de problèmes apporte : des contraintes spécifiques en termes de conditions de réactions ; de nouvelles possibilités d optimisations liées à la structure intrinsèque du problème. Intérêt à relativiser si l on cherche à atteindre l inertie. 13 / 13