De la conception participative de systèmes multi-agents. à la mise en place de coopérations humain non-humain

De la conception participative de systèmes multi-agents à la mise en place de coopérations humain non-humain Paul Guyot Séminaire CHM, LIMSI, 17 octobre 2006

Présentation Paul Guyot Formation pluri-disciplinaire (économie, logique, DEA intelligence artificielle, DEA philosophie des sciences) Thèse d informatique au LIP6 2003-2006 sous la direction d Alexis Drogoul Chercheur invité 2005-2007 au National Institute of Informatics (Tokyo) 2

Problème(s) & approche Contexte: intelligence sociale, coopérations médiées et en réseau Comment concevoir des coopérations entre agents et humains, impliquant plusieurs agents et plusieurs humains? - Modélisation & reproduction des mécanismes de coopération - Tolérance réciproque Approche expérimentale & incrémentale 3

Plan Cadre conceptuel et hypothèses de travail : agents et systèmes multiagents Participation : trois inspirations Les simulations multi-agents participatives Relation de pouvoir Formation de coalitions Communication entre les participants Perspectives 4

Les systèmes multi-agents un cadre conceptuel, des hypothèses de travail

Deux objectifs de l intelligence artificielle Ingénierie de systèmes intelligents Humain Compréhension et exploration de l intelligence humaine par la simulation Interrogateur humain? Ordinateur Les systèmes multi-agents 6

Intelligence artificielle distribuée Messor Sancta ants 1,500 corpses La tradition multi-agents partage les 26 hours objectifs de l intelligence artificielle Un système multi-agents est un ensemble d entités logicielles qui agissent (les agents), conçu pour résoudre un problème particulier de manière collective [Ferber, 1995] Une simulation multi-agents est un ensemble d agents conçu pour simuler un phénomène réel. Les systèmes multi-agents 7

Explorer pour concevoir des systèmes multi-agents Les systèmes multi-agents 8

Explorer pour concevoir des systèmes multi-agents Problème similaire Les systèmes multi-agents 9

Explorer pour concevoir des systèmes multi-agents Solution inspirée des fourmis Les systèmes multi-agents 10

Explorer pour concevoir des systèmes multi-agents Systèmes multi-agents Les systèmes multi-agents 11

Explorer pour concevoir des systèmes multi-agents Les exemples biologiques et éthologiques présentent quelques limites [Drogoul, 2000] : La seule méthode d analyse est l observation Le nombre de classes de problèmes est limité L horizon est l intelligence (collective) humaine Les systèmes multi-agents 12

Simulations multi-agents et systèmes multi-agents Système multi-agents : objectif de résolution de problème. Comment construire un système pour résoudre un problème donné? Simulations multi-agents : objectif de simulation. Comment construire un système qui reproduit un phénomène donné? Hypothèse : les interactions entre agents sont suffisamment riches pour modéliser les comportements collectifs humains Itérations entre conception et simulation Les systèmes multi-agents 13

Trois traditions d approches participatives trois inspirations

Modélisation d accompagnement Mouvement ComMod, courant de recherche français (CIRAD, CEMAGREF, INRA, IRD ) Issu des approches participatives en agronomie Charte [Barreteau, 2003] Inspirations 16

Approche MAS/RPG Approche typique de la démarche ComMod qui combine simulations multi-agents (MAS) et de jeux de rôles (RPG) [Barreteau, 1998] Monde réel Simulations Jeu de rôles Système multi-agents (JASSS, à paraître) Inspirations 17

L économie expérimentale 60 ans d expériences en laboratoire pour explorer les comportements des agents économiques Des réflexions sur les méthodes Consécration avec le prix Nobel de Vernon Smith (2002) Couplage avec des agents logiciels [Duffy, 1999; Grossklags & Schmidt, 2003] (AESCS, 2005) Inspirations 18

Breaching en ethnométhodologie Technique de sociologie expérimentale inventée par Harold Garfinkel [1967] Créer des brèches dans l ordre social. Susciter l étonnement, l indignation, la honte, la culpabilité pour révéler les mécanismes des activités quotidiennes et routinières Se comporter comme un étranger chez soi Négocier les prix alors que ce n est pas l usage Inspirations 19

Emergence et participation [Les auteurs remarquent que] les expériences participatives conduisent à l émergence de comportements imprévus [Bos, 2006] Une partie des comportements peuvent être contrôlés; la difficulté est de créer les conditions pour que les participants innovent dans une direction intéressante et récupérer suffisamment d information pour exploiter cette innovation (SIC, 2005; SMAGET, 2005) Inspirations 20

Méthode et protocole les simulations multi-agents participatives

Les simulations multi-agents participatives Les simulations multi-agents participatives sont des expériences en laboratoire avec des participants humains et des agents les agents dans ces simulations participent au même titre que les humains; ils ne fournissent pas un service. les participants accèdent à la simulation exactement comme les agents Simulations multi-agents participatives 23

Les simulations multi-agents participatives Chaque participant est assis à un poste de travail et toutes les interactions, conçues comme des interactions entre agents, se font par le biais de l ordinateur. Simulations multi-agents participatives 24

Simulations multi-agents participatives une méthode

Protocole d expérimentation Séances de verbalisation participation verbalisation Acteurs Outil de simulation participent influence Construction (Implémentation) Exécutions Enregistrements (trace) génèrent Simulation multi-agents participative Modèle opérationnel Résultats Modèle de simulation Modèle de conception Modèle du domaine Analyse Interprétation Analyse & Validation Modèle de conception Connaissances théoriques Observations Hypothèses Système cible (réalité) Publications Modèle du domaine Connaissances théoriques, observations, hypothèses Conception de simulations multi-agents [Vanbergue, 2003] Système cible (réalité) Simulations multi-agents participatives

Protocole d expérimentation Les expériences se fondent sur un modèle initial de comportements collectifs. Séances de verbalisation Enregistrements (trace) participation verbalisation génèrent participent Acteurs influence Simulation multi-agents participative Modèle de simulation Analyse & Validation Modèle de conception Modèle du domaine Connaissances théoriques, observations, hypothèses Système cible (réalité) Simulations multi-agents participatives 27

Protocole d expérimentation 2.Les protocoles d interaction entre les agents tels que spécifiés dans le modèle sont divisés en primitives. Séances de verbalisation Enregistrements (trace) participation verbalisation génèrent participent Acteurs influence Simulation multi-agents participative Modèle de simulation Analyse & Validation Modèle de conception Modèle du domaine Connaissances théoriques, observations, hypothèses Système cible (réalité) Simulations multi-agents participatives 28

Protocole d expérimentation Séances de verbalisation participation verbalisation Acteurs 3.Une interface graphique est construite en suivant le modèle. Un cadriciel Java a été développé spécifiquement pour ces expériences, appelé Simulación. Enregistrements (trace) Analyse & Validation génèrent participent Simulation multi-agents participative Modèle de simulation Modèle de conception influence Modèle du domaine Connaissances théoriques, observations, hypothèses Système cible (réalité) Simulations multi-agents participatives 29

Protocole d expérimentation 4.L expérience se déroule en laboratoire ou à travers le réseau Internet. Séances de verbalisation Enregistrements (trace) participation verbalisation génèrent participent Acteurs influence Simulation multi-agents participative Modèle de simulation Analyse & Validation Modèle de conception Modèle du domaine Connaissances théoriques, observations, hypothèses Système cible (réalité) Simulations multi-agents participatives 30

Protocole d expérimentation 5.Toutes les actions des participants sont enregistrées. Séances de verbalisation Enregistrements (trace) participation verbalisation génèrent participent Acteurs influence Simulation multi-agents participative Modèle de simulation Analyse & Validation Modèle de conception Modèle du domaine Connaissances théoriques, observations, hypothèses Système cible (réalité) Simulations multi-agents participatives 31

Protocole d expérimentation 6.Après l expérience, la séance de verbalisation permet de discuter avec les participants de leur stratégies individuelles et collectives. Séances de verbalisation Enregistrements (trace) participation verbalisation génèrent participent Acteurs influence Simulation multi-agents participative Modèle de simulation Analyse & Validation Modèle de conception Modèle du domaine Connaissances théoriques, observations, hypothèses Système cible (réalité) Simulations multi-agents participatives 32

Protocole d expérimentation 7.L analyse des séances de verbalisation et des enregistrements permet de valider le modèle. Séances de verbalisation Enregistrements (trace) participation verbalisation génèrent participent Acteurs influence Simulation multi-agents participative Modèle de simulation Analyse & Validation Modèle de conception Modèle du domaine Connaissances théoriques, observations, hypothèses Système cible (réalité) Simulations multi-agents participatives 33

Simulations multi-agents participatives un cadriciel

Simulación Cadriciel en Java pour construire des simulations multi-agents participatives Orienté agent (!) Adaptation rapide à différents modèles (3 mois) Gère les aspects réseau, traduction, robustesse, enregistrement (MMAS I, 2005) Simulación 35

Simulación Le cadriciel est disponible sur sourceforge http://sourceforge.net/projects/ simulacion Les applications sont téléchargeables http://www-poleia.lip6.fr/~guyot/ Simulación 36

SimCommod relations de pouvoir dans les négociations, ou la difficulté des coopérations hybrides

Pouvoir, négociations & multi-agents 1 2 Pouvoir dans les SMA : conscience d une relation de dépendance [Castelfranchi, 1989; Sichman, 1994; Carabelea, 2005] 3 4 Les négociations dans les systèmes ouverts reposent sur la négociation préalable des notions (ontologies) et sur des agents bienveillants Études sur les agents byzantins, systèmes de confiance, etc. 5 6 7 8 Relations de pouvoir 39 9 10

SimCommod 1 2 Expériences construites comme idéaltype de l approche ComMod Domaine : négociation au sujet d une ressource renouvelable. 3 4 5 6 1 2 3 4 5 6 7 8 7 8 9 10 11 12 Relations de pouvoir 13 14 15 16 40 9 10

SimCommod 1 2 Trois classes d agents avec des objectifs différents : 3 4 des exploitants, un environnementaliste et le gouvernement Chaque partie se divise en tours 5 6 Chaque tour se divise en quatre étapes 7 8 Relations de pouvoir 41 9 10

SimCommod : exploitation 1 2 3 4 5 6 7 8 Relations de pouvoir 42 9 10

SimCommod : exploitation 1 2 3 4 5 6 7 8 Relations de pouvoir 43 9 10

SimCommod : négociation 1 2 3 4 5 6 7 8 Les exploitants mettent des jetons verts Relations de pouvoir 44 9 10

SimCommod : négociation 1 2 3 4 5 6 7 8 L environnementaliste place des jetons rouges Relations de pouvoir 45 9 10

SimCommod : discussion 1 2 3 4 5 6 7 8 Relations de pouvoir 46 9 10

SimCommod : décision du gouvernement 1 2 3 4 5 6 7 8 Relations de pouvoir 51 9 10

SimCommod : tour suivant 1 2 3 4 5 6 7 8 Relations de pouvoir 52 9 10

SimCommod : tour suivant 1 2 3 4 5 6 7 8 Relations de pouvoir 53 9 10

Négociation dans SimCommod 1 2-1 L environnementaliste et les exploitants discutent et placent des jetons. +2 +1 3 4 Les jetons rouges valent -1 (protéger), les verts +1 (exploiter). Les valeurs sont additionnées. -2 5 6-1 1 2 3 4-2 -1 +2 +3-1 5 6 7 8 +1 +3 7 8-1 -1-1 9 10 11 12 +2 +1-1 13 14 15 16-2 Relations de pouvoir 54-1 9 10

Problème 1 2-1 Il n y a aucune relation de dépendance a priori Méthode inspirée de l économie expérimentale Comment les exploitants peuvent se coaliser contre l environnementaliste? +2 +1 3 4-2 5 6-1 Comment l environnementaliste peut diminuer la pression sur la ressource? +3 7 8-1 -1 Relations de pouvoir 55 9 10

SimCommod : expériences 1 2 1 expérience 06/2005, LIP6 (test) 3 expériences 09/2005, NII, anglais 5 expériences 11/2005, Chula, thaï 3 4 5 6 7 8 Relations de pouvoir 56 9 10

Interdiction & prescription 1 2-1 Deux environnementalistes, deux stratégies différentes Convaincre les autres de ce qui est le mieux pour eux, essayer de coordonner et dire où exploiter (prescription) Interdire aux participants d exploiter sur certaines cases (interdiction) +2 +1 3 4-2 5 6-1 +3 7 8-1 Relations de pouvoir 57-1 9 10

Haruko l environnementaliste 1 2-1 L environnementaliste a convaincu des exploitants de ne pas exploiter certaines cases ( il faut protéger la forêt ) d exploiter des cases blanches, sans ressource ( il y a de l or sur les cases blanches ) +2 +1 3 4-2 5 6-1 Pourtant, le jeu était présenté avec des termes abstraits (économie expérimentale) +3 7 8-1 -1 Relations de pouvoir 58 9 10

Conclusions 1 2-1 La notion de pouvoir dans des systèmes hybrides ne peut pas se limiter à une relation de dépendance. Elle doit être aussi large que la définition de Dahl [1961] L alignement des ontologies confère du pouvoir aux agents, bien qu il soit clairement séparé de la négociation elle-même dans les protocoles classiques [Wang, 2002] +2 +1 3 4-2 5 6 +3 7 8-1 -1 (AAMAS, 2006) Relations de pouvoir 59-1 9 10

SimCafé formation de coalitions, ou nos modèles sont incomplets

Coalitions sur le marché du café Domaine : production de café et marché du café dans l état de Veracruz (Mexique) On suppose que les producteurs forment des coalitions pour satisfaire des offres d achat (à terme), même s ils refusent de l admettre Coalitions sur le marché du café 62

SimCafé : coalitions offre coopérative partage des informations, des ressources et des bénéfices acheteur producteur Coopératives Coalitions sur le marché du café 63

SimCafé : coalitions offre producteurs offre acheteur producteur Coalitions directes Coalitions sur le marché du café 64

SimCafé : coalitions offre producteurs acheteur producteur Broadcast (ContractNet) Coalitions sur le marché du café 65

SimCafé Agents : Un acheteur omniscient (organisateur) Des producteurs de café (participants) Offres d achat à terme (durée, quantité) Les producteurs peuvent s échanger des messages, du café, de l argent Coalitions sur le marché du café 66

SimCafé : expériences 3 expériences 05/2003, LANIA, espagnol Coalitions sur le marché du café 67

Observation Comme prévu, des coalitions se sont formées. offre producteurs Un participant a créé deux coalitions lors de la troisième expérience. offre acheteur producteur Coalitions sur le marché du café 68

Le courtier Émergence d un rôle absent du modèle initial Un des producteurs de café s est comporté comme un courtier : Il proposait d acheter et de revendre du café Il proposait aux autres producteurs de les payer après la revente Coalitions sur le marché du café 69

Le courtier 160 Nombre d'offre acceptées 140 120 100 80 60 40 20 0 Solipsists Direct Broadcast Trader and direct Trader and broadcast 0 200 400 600 800 1000 Temps (ticks de la simulation) Coalitions sur le marché du café 70

Le courtier 160 Nombre d'offre acceptées 140 120 100 80 60 40 20 0 Broadcast Trader and broadcast 0 200 400 600 800 1000 Temps (ticks de la simulation) Coalitions sur le marché du café 71

Conclusions La méthode permet de valider des modèles de comportements collectifs si les participants sont libres de ne pas interagir strictement comme dans le modèle initial (ABS, 2003) Les participants peuvent créer des solutions plus efficaces que nos modèles (AAMAS, 2005) Coalitions sur le marché du café 72

Analyseur extraction automatique de motifs d interaction

Description des interactions avec Q Le langage Q permet à des experts non informaticiens de décrire les interactions entre agents Q dissocie interactions et raisonnement [Ishida, 2002] Processeur Q Patrons d'interaction Traducteur automatique des patrons d'interactions Concepteur d'application (auteur des scénarios) Interprète Q Définition des patrons d'interaction Concepteur des interactions Scénario Q Analyseur Q Scheme Moteur d'agent Requêtes d'analyse de scénario Cues & Actions Définitions des Cues & des Actions Planification Apprentissage Fonctions motrices et capteurs Niveau méta Niveau d'exécution Java, C++ Concepteur d'agents (informaticien) Extraire automatiquement des motifs d interaction 74

Description des interactions avec Q Q est dérivé de LISP Chaque carte d interaction se limite à une situation Card ID 14 Card Name Visiting Kimono Web site Card Type User initiative Opening Reactions to Users' Mouse Click (Repeat) Closing Hm-hum, you are so enthusiastic. Then, how about this page? http://www.kimono.com/index.htm Mouse Click No Reaction Cue http://kimono.com/ type.htm http://kimono.com/ fukuro.htm http://kimono.com/ maru.htm Seconds Did you enjoy Japanese Kimono? OK, let's move on to the next subject. Action 20 (End of Repeat) Action There are many types of obi. Can you tell the difference? (GestureLeft) Fukuro obi is for a ceremonial dress. Use it at a dress-up party! (Evaluate Card42) Action Action Extraire automatiquement des motifs d interaction 75

Extraction automatique avec Analyseur Extraction automatique de motifs d interaction La programmation génétique fortement typée [Montana, 1993] permet de générer des programmes Q Analyseur extrait des motifs d interaction en Q automatiquement à partir des enregistrements XML (guard (#f (...)) ((?receive_pergamino :qty $Int-X :from $Agent-Z) (do (!accept_offer :contract (if (?have_less_pergamino :than get_cereza_bags_count) (if (?transformation_process_completed) $Contract-1 $Contract-2) (if #t $Contract-2 $Contract-2))) (do (!send_message :to $Agent-X) (do (!transform_cereza :amount (if #t $Int-Y (get_budget))) (!send_message :to $Agent-Y))))) (#f (...)) (otherwise (go (if #f 3 1)))) FIG. 6.9: Scène extraite automatiquement de la trace des actions d Hector lors de la troisième expérience Extraire automatiquement des motifs d interaction 76

Breaching ethnométhodologique inciter les participants, analyser ces comportements collectifs

Inciter & analyser Les simulations participatives introduisent une couche malléable dans les interactions Les techniques de la séance de verbalisation et les enregistrement permettent de créer des modèles formalisés des stratégies des participants Breaching ethnométhodologique 79

L agent assistant 1 2 Il fait des suggestions à partir d un modèle du jeu et d un algorithme d apprentissage très simple. Il pose des questions. 3 4 5 6 7 8 L agent assistant 80 9 10

L agent assistant 1 2 3 4 5 6 7 8 L agent assistant 81 9 10

L agent assistant 1 2 Est fondé sur un modèle de la stratégie. Ici, exploiter des cases de la même couleur, choisies aléatoirement, avec au départ une de chaque couleur (solution au problème) 3 4 Utilise un système d apprentissage pour faire des suggestions proches des actions précédentes des joueurs Simple renforcement ou système à base de classeur 5 6 7 8 (S&G, soumis) L agent assistant 82 9 10

SimBar un modèle simple-complexe de coopération, communication entre les participants

Le Bar El Farol Problème du Bar El Farol [Arthur, 1994] Problème difficile de la théorie des jeux Nombreuses études informatiques [Greenwald, 1998; Edmonds, 1999; Farago, 2002 ] Problème considéré comme une instance du jeu de la minorité [Challet, 1997] Un modèle simple-complexe 85

Le Bar El Farol N amateurs de musique irlandaise habitent Santa Fe Il y a un concert au Bar El Farol chaque semaine, le jeudi soir Les agents économiques décident, de manière synchrone, d aller au bar ou de rester chez eux L utilité dépend du nombre de personnes au bar avec un effet de seuil à 60% de la population totale U bar,pop>60% < U maison < U bar,pop 60% Un modèle simple-complexe 86

Points Le bar n est pas 3 Aller au bar plein Le bar est plein 1 Rester chez soi 2 Un modèle simple-complexe 87

SimBar Un modèle simple-complexe 88

Communication Dans le Bar El Farol de Brian Arthur, il n y a aucune communication [Arthur, 1994], et donc aucune coopération. Pourtant l utilité des agents dépend directement des actions des autres agents. Un mécanisme de communication simple simplifie la différentiation [Edmonds, 1999] Un modèle simple-complexe 89

SimBar : expériences 2 expériences 06/2004, LIP6, français 3 expériences 04-09/2006, NII, japonais 3 expériences 10/2006, NII & LIP6 Un modèle simple-complexe 90

Résultat sur la communication Des contraintes trop fortes sur la communication entre les participants rendent difficile l émergence de comportements collectifs Expériences de 2004 : Difficile de se concerter avec des messages pré-définis Première expérience de 2006 : la communication libre est une condition suffisante pour qu émergent des comportements collectifs Un modèle simple-complexe 91

SimBar premières expériences de coopération hybride

Les équipes Introduites en septembre 2006 Inciter les participants à coopérer Fonctionne sur invitation Bonus si toute l équipe se rend au bar et qu il n est pas trop plein Un modèle simple-complexe 94

Les équipes Aller au bar Le bar n est pas plein Le bar est plein Toute l équipe y va 1+taille Défection 1-1 Rester chez soi 0 Un modèle simple-complexe 95

Observations Les équipes incitent les participants à élaborer des stratégies collectives. Les participants font globalement moins bien que la stratégie naïve (y aller aléatoirement) L espérance d un agent logiciel avec la stratégie naïve est cependant négative Un modèle simple-complexe 96

Expériences hybrides Expériences en cours (LIP6, NII) Dix participants Cinq agents logiciels avec les stratégies des participants du 26 septembre (trahisons, petites équipes, ) Perspectives: Intégrer des mécanismes de dialogue moins simplistes Scénario plus complexe, moins abstrait Un modèle simple-complexe 97

Conclusion

Conclusion La méthode développée permet d explorer, de modéliser et de reproduire, sous la forme de simulations multi-agents, des mécanismes de coopération. Elle permet également de construire des simulations hybrides où des agents se comportent comme des humains et d observer, d analyser et de construire des coopérations humains non-humains. 99

Questions merci pour votre attention http://www-poleia.lip6.fr/~guyot/ paul@nii.ac.jp Paul Guyot Séminaire CHM, LIMSI, 17 octobre 2006