Architectures de sélection d actions

Transcription

1 Architectures de sélection d actions V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 1 / 101

2 Introduction Plan Introduction V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 2 / 101

3 Introduction Introduction Comment choisir une action qui va mener à l accomplissement des buts de l agent De manière autonome De manière réactive De manière pro-active Comment éviter les oscillations entre actions Architecture de Sélection d Actions V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 3 / 101

4 Introduction Introduction suite Plusieurs techniques possibles dépendantes : du type d architecture des agents des applications V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 4 / 101

5 Part I Architecture BDI V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 5 / 101

6 Introduction Plan Introduction Logique modale pour agents BDI Principes des agents BDI Exemple d implémentation d agents BDI Conclusion V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 6 / 101

7 Introduction Principes [Rao and Georgeff, 1995] L architecture BDI est issue de l étude philosophique du raisonnement pratique. Et consiste à décider à tout moment : Quoi faire, Comment le faire. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 7 / 101

8 Introduction Introduction suite Quand vous avez une décision à prendre vous examinez les choix qui s offrent à vous (les options ou Désirs) et vous en choisissez un dans lequel vous vous engagez. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 8 / 101

9 Introduction Introduction suite Quand vous avez une décision à prendre vous examinez les choix qui s offrent à vous (les options ou Désirs) et vous en choisissez un dans lequel vous vous engagez. Les choix offerts sont fonctions de vos croyances (Beliefs). L option choisie devient une Intention. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 8 / 101

10 Introduction Introduction suite Quand vous avez une décision à prendre vous examinez les choix qui s offrent à vous (les options ou Désirs) et vous en choisissez un dans lequel vous vous engagez. Les choix offerts sont fonctions de vos croyances (Beliefs). L option choisie devient une Intention. Tom a un final le lendemain. Il a le choix de faire la fête ou de rester chez lui pour bosser son examen. S il choisit de faire la fête il va s investir consciencieusement dans ce choix. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 8 / 101

11 Introduction Introduction suite Les hypothèses L intention mène à des actions. L agent va essayer d agir pour aboutir à la satisfaction de l intention. L intention va avoir une persistance dans le temps...mais pas trop. L intention est en lien avec mes croyances (Beliefs) futures. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 9 / 101

12 Introduction Introduction suite et fin En résumé [Wooldridge, 2003] Les intentions dirigent le raisonnement moyen-fins Les intentions contraignent les délibérations futures Les intentions persistent Les intentions influencent les croyances futures V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 10 / 101

13 Logique modale pour agents BDI Plan Introduction Logique modale pour agents BDI Principes des agents BDI Exemple d implémentation d agents BDI Conclusion V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 11 / 101

14 Logique modale pour agents BDI [Weiss, 1999] En logique classique la sémantique d une formule renvoit vraie ou faux. La logique modale propose d autre type de vérité comme il est possible que ou il est nécessaire que V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 12 / 101

15 Logique modale pour agents BDI CTL En fait on considère que la vérité d une formule dépend d un contexte qu on appelle monde possible Une des utilisations de ces mondes possibles est de les considérer comme un historique Logique du temps arborescent V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 13 / 101

16 Logique modale pour agents BDI Quantificateurs de CTL Aφ sur toutes les branches φ Eφ sur certaines les branches φ V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 14 / 101

17 Logique modale pour agents BDI (Bel i φ) i croit que φ est vraie (Des i φ) i désire que φ est vraie (Int i φ) i a l intention de réaliser φ V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 15 / 101

18 Logique modale pour agents BDI Logique pour agents BDI (Des i φ) = (Bel i φ) (Int i φ) = (Des i φ) et donc (Int i φ) = (Bel i φ) V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 16 / 101

19 Logique modale pour agents BDI B=Beliefs, D=Desire, I=Intention B relation d accessibilité des croyances ou opérateur modal. Pour chaque agent et chaque moment tout ce que l agent croit possible. D ou désirs associe à tout moment ce que veut l agent. Un agent a un désir φ a un moment ssi φ est vraie dans les mondes D-accessibles de l agent. I ou intentions associe à tout moment pour chaque agent les conditions vraies pour les futurs de l agent ce qui définit un ensemble de chemins sélectionnés/préférés. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 17 / 101

20 Principes des agents BDI Plan Introduction Logique modale pour agents BDI Principes des agents BDI Exemple d implémentation d agents BDI Conclusion V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 18 / 101

21 Principes des agents BDI Des croyances courantes (Beliefs) une fonction de révision des croyances (brf) une fonction de génération d options (options) des options courantes qui représentent les actions possibles une fonction de filtre qui représente le processus de délibération de l agent et qui calcule les intentions de l agent un ensemble d intentions courantes une fonction de sélection d actions (execute) qui détermine l action à exécuter en fonction des intentions courantes. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 19 / 101

22 Principes des agents BDI B:=B 0 ; I:=I 0 ; tant que True faire p:=getpercept(); B:=brf(B,p); D:=options(D,I); I:=filter(B,D,I); π:=plan(b,i); execute(π); fin Algorithme 1 : Algorithme naïf d un agent BDI V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 20 / 101

23 Principes des agents BDI Exemple Beliefs Desires Intentions exécuté accompli verre verre boire - - g-add(boire) verre boire { soda, - g-add(soda) boisson } aucunsoda boire - frigo frigo, g- add(boire) verre boire { boisson } prendreboisson prendreboisson boire - - boire boire V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 21 / 101

24 Principes des agents BDI Problèmes et hypothèses liés à l algorithme Les intentions posent le problème de comment les réaliser Les intentions fournissent un filtre pour adopter d autres intentions S il y a échec lors de la réalisation d une intention l agent retente Les agents croient que leurs intentions sont possibles E φ Les agents ne croient pas qu ils ne peuvent pas réussir leurs intentions A φ Les agents croient que sous certaines conditions ils peuvent réussir leurs intentions A φ Les agents ne s attendent pas à tous les effets de leur intention V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 22 / 101

25 Principes des agents BDI B:=B 0 ; I:=I 0 ; tant que True faire p:=getpercept(); B:=brf(B,p); D:=options(D,I); I:=filter(B,D,I); π:=plan(b,i); execute(π); fin V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 23 / 101

26 Principes des agents BDI B:=B 0 ; I:=I 0 ; tant que True faire p:=getpercept(); B:=brf(B,p); D:=options(D,I); I:=filter(B,D,I); π:=plan(b,i); execute(π); fin tant que non vide(π) ou succès(i,b) ou impossible(i,b) faire α:=head(π); execute(α); π:=tail(π); p:=getpercept(); B:=brf(B,p); si reconsider(i,b) alors D:=options(π); I:=filter(B,D,I); si non sound(π,i,b) alors π:=plan(b,i); fin V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 23 / 101

27 Principes des agents BDI Remarques Architecture pour SMA cognitifs Comportements fortement prédictibles Problèmes de sémantique et d efficacité Complexité d analyse et conception V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 24 / 101

28 Exemple d implémentation d agents BDI Plan Introduction Logique modale pour agents BDI Principes des agents BDI Exemple d implémentation d agents BDI Conclusion V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 25 / 101

29 Exemple d implémentation d agents BDI IRMA [Chaib-Draa, 2003] Une librairie de plans Beliefs ou croyances Desires sous forme de tâches Intentions sous-ensemble de désirs que l agent a choisi et sur lesquels il s est engagé V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 26 / 101

30 Exemple d implémentation d agents BDI IRMA suite et fin un moteur d inférence pour raisonner sur le monde un analyseur moyen-fin détermine quels plans sont les mieux adaptés pour réaliser les intentions un analyseur d opportunité monitore l environnement et peut générer de nouvelles options un processus de filtrage détermine quelles options sont compatibles avec les intentions courantes un processus de délibération pour décider quelles sont les intentions à adopter V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 27 / 101

31 Conclusion Plan Introduction Logique modale pour agents BDI Principes des agents BDI Exemple d implémentation d agents BDI Conclusion V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 28 / 101

32 Conclusion Conclusion Une des architectures agent les plus utilisés jusque là Lien intuitif avec actes de langages Formalisation de nombreux aspects V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 29 / 101

33 Part II Architectures modulaires V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 30 / 101

34 Subsomption Plan Subsomption Architecture ANA de P. Maes V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 31 / 101

35 Subsomption [Brooks and Connell, 1986] Architecture modulaire verticale Interaction par rapport dominance/dominé V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 32 / 101

36 Subsomption Dominant Stimulus Dominé Réponse V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 33 / 101

37 Subsomption éviter les obstacles Stimulus se rapprocher du but Réponse V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 34 / 101

38 Subsomption Exemple de genghis [Brooks, 1989] V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 35 / 101

39 Subsomption Architecture de genghis Se Lever Marche Simple 2Balance Perceptions Hauteur Patte Moustaches 6Balance Explorer Suiveur Commande V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 36 / 101

40 Architecture ANA de P. Maes Plan Subsomption Architecture ANA de P. Maes V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 37 / 101

41 Architecture ANA de P. Maes Définitions [Maes, 1989] Définition Un module i est défini par un quadruplet (c i, a i, d i, α i ). Où c i est une liste de pré-conditions à remplir avant d activer le module a i et d i sont les effets attendus du module sous la forme de listes d ajouts et de retraits α i est le niveau d activation du module. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 38 / 101

42 Architecture ANA de P. Maes Définitions Il y a un arc successeur d un module x vers un module y pour tout p a x c y Il y a un arc prédecesseur d un module x vers un module y pour tout p c x a y il y a un arc inhibiteur d un module x à un module y pour tout p c x d y V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 39 / 101

43 Architecture ANA de P. Maes Principes : activation Activation par les perceptions : ajout d énergie aux modules qui matchent partiellement l état de l environnement Activation par les buts : ajout d énergie aux modules qui accomplissent un des buts de l agent (add-list) Inhibition par buts protégés : on enlève de l énergie à un module si un des buts déjà réalisé fait partie de sa liste des retraits (delete-list) V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 40 / 101

44 Architecture ANA de P. Maes Principes : propagation Activation des successeurs : on augmente l énergie des successeurs d un module actif Activation des prédecesseurs : on augmente l énergie des prédecesseurs d un module non actif Inhibition des modules conflictuels : chaque module diminue l énergie des modules qui sont en conflit avec lui V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 41 / 101

45 Architecture ANA de P. Maes Algorithme tant que True faire Impacter niveaux d action par env et buts ; Propagation d énergie par les arcs du graphe; Dégrader énergie; si 1 module exécutable et niveau d énergie seuil d activation alors ce module devient actif; remise à 0 du niveau d énergie de ce module; si deux modules répondent à ces conditions alors choix aléatoire; remise à 0 du niveau d énergie de ce module; si aucun module alors seuil diminué de 10% fin V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 42 / 101

46 Architecture ANA de P. Maes Paramètres globaux θ : le seuil pour qu un module devienne actif φ : l énergie qu une proposition vraie observée injecte dans le réseau γ : l énergie qu un but injecte dans le réseau δ : l énergie qu un but protégé enlève du réseau V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 43 / 101

47 Architecture ANA de P. Maes Exemple Soit un robot avec deux mains qui doit se peindre lui-même avec un spray et poncer une planche. Une fois peint le robot n est plus opérationnel. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 44 / 101

48 Architecture ANA de P. Maes Exemple suite PICK-UP-SPRAYER condition-list : sprayer-somewhere hand-is-empty add-list : sprayer-in-hand delete-list : sprayer-somewhere hand-is-empty PICK-UP-SANDER condition-list : sander-somewhere hand-is-empty add-list : sander-in-hand delete-list : sander-somewhere hand-is-empty PICK-UP-BOARD condition-list : board-somewhere hand-is-empty add-list : board-in-hand delete-list : board-somewhere hand-is-empty V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 45 / 101

49 Architecture ANA de P. Maes Exemple suite put down sprayer put down sander put down board predecesseur pick up sprayer pick up sander pick up board inhibiteur spray paint self sand board in hand place board in vise sand board in vise V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 46 / 101

50 Architecture ANA de P. Maes Conclusion Architecture de sélection d actions connectioniste et délibérative Apprentissage des paramètres possible Problème de choix entre actions avec niveau d énergie équivalent Difficulté de prise en compte de buts multiples V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 47 / 101

51 Part III Systèmes Auto-organisé V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 48 / 101

52 Introduction Plan Introduction SMA Holonique Framework générique Exemple : le maillage adaptatif Conclusion Système immunitaire Introduction Réseau idéotypique Structures Exemple : robots footballeurs Sélection par clonage Conclusion Conclusion générale V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 49 / 101

53 Introduction Apparition dynamique de structures intéressantes Etat stable vus comme des solutions (ECO-résolution) Modélisation intentionnelle on va provoquer l émergence de structures organisationnelles pertinentes V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 50 / 101

54 Introduction Introduction suite Plusieurs niveaux d interprétation/modélisation nécessaire pour expliquer l émergence en terme d organisations. Les choses n existent que de la façon dont on les perçoit à une certaine échelle. B. Mandelbrot V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 51 / 101

55 SMA Holonique Plan Introduction SMA Holonique Framework générique Exemple : le maillage adaptatif Conclusion Système immunitaire Introduction Réseau idéotypique Structures Exemple : robots footballeurs Sélection par clonage Conclusion Conclusion générale V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 52 / 101

56 SMA Holonique Définition structures naturelles ou artificielles qui ne sont ni touts ni parties au sens absolu. (Kostler, 1967) Chaque holon peut être composé d un ensemble de sous-holons et/ou être membre d un holon qui le contient Cette holarchie définit une structure organisationnelle apte à réagir de manière dynamique aux changements de l environnement Chaque holon utilise au mieux les ressources et répond au mieux aux buts du système V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 53 / 101

57 SMA Holonique Exemple V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 54 / 101

58 SMA Holonique Exemple suite V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 55 / 101

59 SMA Holonique Framework générique Structure d un holon Comment les sous-holons sont organisés pour former un super-holon? trois solutions [Gerber et al., 1999] V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 56 / 101

60 SMA Holonique Framework générique Structure d un holon Comment les sous-holons sont organisés pour former un super-holon? trois solutions [Gerber et al., 1999] Fusion V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 56 / 101

61 SMA Holonique Framework générique Structure d un holon Comment les sous-holons sont organisés pour former un super-holon? trois solutions [Gerber et al., 1999] Fusion Groupes modérés V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 56 / 101

62 SMA Holonique Framework générique Structure d un holon Comment les sous-holons sont organisés pour former un super-holon? trois solutions [Gerber et al., 1999] Fusion Groupes modérés Fédération V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 56 / 101

63 SMA Holonique Framework générique [Rodriguez et al., 2003] Standalone : initialisation, un holon tout seul Head : représentant d un holon à l extérieur, gère le holon Part : membre d un holon Multipart : membre de plusieurs holons V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 57 / 101

64 SMA Holonique Framework générique Framework générique : structure V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 58 / 101

65 SMA Holonique Framework générique Interactions inter-holons Fusion Standalone 1 * Head > merge <accept refuse V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 59 / 101

66 SMA Holonique Framework générique Interactions intra-holon Holon Management Multipart * 1 Head 1 Part * V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 60 / 101

67 SMA Holonique Framework générique Satisfactions Self Satisfaction (SS i ) produite pour un holon i par ses actions. Collaborative Satisfaction (CSi H ) produite pour un holon i par ses collaboration avec les autres membres du super-holon H. Accumulative Satisfaction (AS i ) produite pour un holon i par ses collaborations avec les membres des super-holons. AS i = CS p i p superholon(i) p (1) V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 61 / 101

68 SMA Holonique Framework générique Satisfactions (suite) Instant Satisfaction (IS i ) Current satisfaction of holon i CS i + SS i R i = Part Head i HMAS IS i = AS i + SS i R i = MultiPart SS i R i = Stand Alone (2) R i : role joué par le holon i. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 62 / 101

69 SMA Holonique Framework générique Dynamique des rôles Stand Alone [ SS < NS ] Head [ SS < NS ] [ LS > SS or REJECTED ] [ ( SS < NS ) and ( SS > Head.SS ) ] Fusioning [LS < SS] Part V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 63 / 101

70 SMA Holonique Framework générique Framework générique : affinité Critère de décision pour le choix du holon avec qui fusioner Heuristique pour l émergence de structures organisationnelles Attirance/complémentarité de services/ressources V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 64 / 101

71 SMA Holonique Exemple : le maillage adaptatif Le maillage adaptatif V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 65 / 101

72 SMA Holonique Exemple : le maillage adaptatif Exemple : adaptation du framework Satisfaction NS = couverture maximale des stations émettrices SS = ressource d un holon Head.SS = ressource d une maille V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 66 / 101

73 SMA Holonique Exemple : le maillage adaptatif Exemple : adaptation du framework Affinité Affinité liée à la distance (contrainte géométrique) On conserve des mailles convexes Affinité liée à la ressource (couverture) On tente d obtenir des mailles de ressource homogène V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 67 / 101

74 Intelligence Artificielle Distribuée & Systèmes Multi-Agents SMA Holonique Exemple : le maillage adaptatif Head Parts Holon trying to fusion Acceptance distance Average Distance V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 68 / 101

75 SMA Holonique Conclusion Conclusion Framework générique pour SMA auto-organisés Difficulté de conception de la distance et du paramétrage des satisfactions V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 69 / 101

76 Système immunitaire Plan Introduction SMA Holonique Framework générique Exemple : le maillage adaptatif Conclusion Système immunitaire Introduction Réseau idéotypique Structures Exemple : robots footballeurs Sélection par clonage Conclusion Conclusion générale V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 70 / 101

77 Système immunitaire Introduction Vue calculatoire du SI [Farmer et al., 1986] parallèle, distribué, système complexe (non prévisible). V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 71 / 101

78 Système immunitaire Introduction Principes généraux Collectif : La réponse du SI est collective c est l anticorps dont le paratope correspond le mieux à l épitope de l antigène. Auto-régulé : au travers de stimulation-inhibition la population d anticorps évolue selon les agressions. Auto-organisation : la structure du SI varie selon les évolutions de l environnement. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 72 / 101

79 Système immunitaire Introduction Mécanismes de base Le SI fonctionne selon trois grands principes Reconnaissance (intrus/non intrus) Apprentissage Mémoire associative V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 73 / 101

80 Système immunitaire Introduction Comment ça marche? Système Immunitaire au repos Antibody 1 Antibody 2 Antibody 3 V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 74 / 101

81 Système immunitaire Introduction Comment ça marche? Antigen Un Antigène arrive Antibody 1 Antibody 2 Antibody 3 V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 74 / 101

82 Système immunitaire Introduction Comment ça marche? Antigen l Antigène est reconnu (self/non self) Antibody 1 Antibody 2 Antibody 3 V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 74 / 101

83 Système immunitaire Introduction Comment ça marche? Antigen Antibody 3 Mémoire Associative Antibody 1 Antibody 2 Antibody 3 Antibody 3 Antibody 3 V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 74 / 101

84 Système immunitaire Introduction Comment ça marche? Immune System au repos et amélioré (apprentissage) Antibody 1 Antibody 2 Antibody 3 V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 74 / 101

85 Système immunitaire Réseau idéotypique Réseau idéotypique [Jerne, 1974] Les anticorps communiquent par des liens de stimulation-inhibition et identifie les intrusions (antigènes) L idéotope d un anticorps est reconnu par les autres anticorps comme un antigène. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 75 / 101

86 Système immunitaire Structures Réseau idéotypique de Jerne [Watanabe et al., 1999] Antigen epitope B Cell 3 B Cell 2 idiotope 3 paratope 3 B Cell 1 idiotope 2 paratope 2 V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 76 / 101

87 Système immunitaire Structures Mécanisme d adaptation Mécanisme d auto-régulation. Maintenance d un ensemble approprié de cellules. Optimisation de la réaction à l environnement. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 77 / 101

88 Système immunitaire Structures Comportement du SI [Watanabe et al., 1999] Immune Network Bone marrow remove natural death incorporation new antibody proliferation V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 78 / 101

89 Système immunitaire Structures Résolution par Auto-organisation Emerged service idiotypic network=h agent B agent V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 79 / 101

90 Système immunitaire Structures Structure des agents [Watanabe et al., 1999] précondition attributs, code, données, comportement Paratope Spécification de l agent références au à d autres B-Agent à stimuler ou inhiber avec le degré correspondant (affinité) Idéotope V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 80 / 101

91 Système immunitaire Structures Structure du SMA [Suzuki and Yamamoto, 2000] Antibody 1 paratope behaviour m1i mi1 Antibody 1 paratope behaviour Antibody j paratope behaviour mji Antibody i paratope behaviour mik Antibody k paratope behaviour Antibody N Antibody M paratope behaviour mni Antigen 1 mim paratope behaviour V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 81 / 101

92 Système immunitaire Structures Méchanisme d affinités Ab i est choisit, {Ab j1,..., Ab jn } sont sélectionnés Ab i reçoit des récompenses : les affinités de {Ab j1,..., Ab jn } avec Ab i augmentent Ab i reçoit des pénalités : les affinités de Ab i avec {Ab j1,..., Ab jn } augmentent V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 82 / 101

93 Système immunitaire Structures Calcul de l affinité m 12 = T p Ab1 + T Ab2 r T Ab2 Ab1 (3) is the number of times penalty reinforcement signals were received when Ab1 was selected. T Ab1 p is the number of times reward reinforcement signals were received when Ab2 was selected. T Ab2 r is the number of times both, Ab1 and Ab2, have reacted to specific antigens. TAb1 Ab2 V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 83 / 101

94 Système immunitaire Structures Calcul de la concentration da i (t) dt = (α 1 N N m ji a j (t) α 1 M j=1 M m ik a k (t) + βm i k i )a i (t) k=1 stimulation par anticorps ayant une affinité positive inhibition par anticorps ayant une affinité négative m i =0 1 (stimulé ou non) facteur de dissipation V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 84 / 101

95 Système immunitaire Structures Calcul de la concentration (suite) La valeur calculée est rapporté à un intervalle [0,1] a i (t) = exp(0.5 A i (t)) V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 85 / 101

96 Système immunitaire Structures Scénario ImmuneSystem Antibody environmentanalysis() *antigens() stimulationtest() *[stimulated]broadcast() sendconcentration() computeconcentration() choosewinningantibody() execute() behavior() analyseaction() *reinforcement() updateaffinities() Figure: Séquence typique d interactions V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 86 / 101

97 Système immunitaire Exemple : robots footballeurs Principes généraux Equipe Affectation role Role Affectation objectif Mouvement V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 87 / 101

98 Système immunitaire Exemple : robots footballeurs SI de bas niveau Quelques anticorps : Paratope Spécification de l agent AimFront MoveFront ObstacleLeft MoveFront ObstacleRight TurnLeft Idéotope V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 88 / 101

99 V. Hilaire Table: () Medium Intelligence levelartificielle immune Distribuée system & Systèmes antibody Multi-Agents example IA54 89 / 101 Intelligence Artificielle Distribuée & Systèmes Multi-Agents Système immunitaire Exemple : robots footballeurs SI de niveau moyen defense far defense far defense far Figure: Examples of medium level antibodies Precondition Behavior Affinities defense-far NorthEast

100 Système immunitaire Exemple : robots footballeurs SI de haut niveau Precondition Behavior Affinities TeamInControl and (BallZone goalkeeper, near-defender, =1 or BallZone=2 or Ball- midfielder, left-attacker, rightattacker Zone=3) Table: High level immune system antibody example V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 90 / 101

101 Sélection par clonage Plan Introduction SMA Holonique Framework générique Exemple : le maillage adaptatif Conclusion Système immunitaire Introduction Réseau idéotypique Structures Exemple : robots footballeurs Sélection par clonage Conclusion Conclusion générale V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 91 / 101

102 Sélection par clonage Principes Stimulation par antigène(s) Anticorps = réponses aux stimulations Codage des antigènes/anticorps V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 92 / 101

103 Sélection par clonage Codage A un antigène/anticorps on associe une séquence {b 1,..., b n } de valeurs numériques L intervalle des valeurs dépend du problème L affinité entre un antigène et un anticorps est calculé selon une fonction objectif V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 93 / 101

104 Sélection par clonage Clonage Le clonage reproduit certains anticorps (solutions) Les techniques de sélection sont multiples Les meilleurs anticorps Aléatoire Les meilleurs anticorps tout en gardant une population variée... V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 94 / 101

105 Sélection par clonage Mutation Chaque clonage peut introduire une mutation i.e. un petit changement dans l anticorps Il faut définir la fréquence (probabilité) de ces changements Il faut définir l opération de mutation Définir les changements possibles (une ou plusieurs positions du codage par ex) Assurer la cohérence des solutions V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 95 / 101

106 Sélection par clonage Mort Un anticorps non stimulé voit le nombre de ses occurences diminuer Si le nombre d occurence d un anticorps est nul ou faible il est mort. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 96 / 101

107 Sélection par clonage Algorithme initialiser les anticorps B(0); calculer les affinités; tant que non(condition d arrêt) faire k:=k+1; cloner(b(k-1)); muter(b(k-1)); sélectionerclones(b(k-1)); simulermort(b(k-1)); calculer les affinités de B(k-1); B(k):=B(k-1); fin Algorithme 2 : Algorithme de sélection par clonage V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 97 / 101

108 Sélection par clonage Conclusion Bilan Différentes applications : Architecture pour la robotique mobile collective [Bakhouya et al., 2003] Découverte adaptative de services dans des réseaux larges [Bakhouya et al., 2004] Détection de détérioration d outils [Dasgupta and Forrest, 1995] V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 98 / 101

109 Conclusion générale Plan Introduction SMA Holonique Framework générique Exemple : le maillage adaptatif Conclusion Système immunitaire Introduction Réseau idéotypique Structures Exemple : robots footballeurs Sélection par clonage Conclusion Conclusion générale V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA54 99 / 101

110 Conclusion générale Conclusion générale Panel d architectures pour la sélection d action Degrés de dépendance de la représentation interne des agents Dédiées à un domaine d application V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA / 101

111 Conclusion générale Fin du cours V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA / 101

112 Conclusion générale Bakhouya, M., Gaber, J., and Koukam, A. (2004). Adaptive service discovery and composition in ubiquitous computing. In International Conference on Information and Communication Technologies: from Theory to Applications. Bakhouya, M., Rodriguez, S., Hilaire, V., Koukam, A., and Gaber, J. (2003). Intelligent immune-based system for autonomous soccer robots. In FIRA Robot World Congress Austria. Brooks, R. and Connell, J. H. (1986). Asynchronous distributed control systems for a mobile robot. SPIE, 727. Mobile Robots. Brooks, R. A. (1989). A robot that walks: Emergent behaviors from a carefully evolved network. Technical Report AI MEMO 1091, MIT. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA / 101

113 Conclusion générale Chaib-Draa, B. (2003). Partie 4 : Raisonnement pratique. coursmas/. Dasgupta, D. and Forrest, S. (1995). Tool breakage detection in milling operations using a negative-selection algorithm. Farmer, J. D., Packard, N. H., and Perelson, A. S. (1986). The immune system, adaptation and machine learning. Physica D, 22: Gerber, C., Siekmann, J., and Vierke, G. (1999). Holonic multi-agent systems. Research Report RR-99-03, DFKI. Jerne, N. K. (1974). V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA / 101

114 Conclusion générale Towards a network theory of the immune system. Ann Immunol (Inst Pasteur), 125C: Maes, P. (1989). How to do the right thing. Technical Report AIM-1180, MIT Artificial Intelligence Laboratory. Rao, A. S. and Georgeff, M. P. (1995). BDI agents: from theory to practice. In Lesser, V., editor, Proceedings of the First International Conference on Multi Agent Systems, pages , San Francisco, CA. MIT Press. Rodriguez, S., Hilaire, V., and Koukam, A. (2003). Towards a methodological framework for holonic multi-agent systems. In Proceedings of the ESAW 03 workshop, pages Suzuki, J. and Yamamoto, Y. (2000). A decentralized policy coordination facility in openwebserver. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA / 101

115 Conclusion générale In proceedings of SPA2000. Watanabe, Y., Ishiguro, A., and Uchkawa, Y. (1999). Decentralized behavior arbitration mechanism for autonomous mobile robot using immune system. Books Artificial Immune Systems and Their Applications, Springer-Verlag, p , ISBN Weiss, G. (1999). Multiagent Systems: A Modern Approach to Distributed Artificial Intelligence. The MIT Press, Cambridge, MA, USA. Wooldridge, M. (2003). Lecture 2: Practical reasoning. V. Hilaire () Intelligence Artificielle Distribuée & Systèmes Multi-Agents IA / 101