Agent Reputation and Trust Testbed : Expérimentations et Compétitions sur la Confiance dans les Sociétés d Agents Karen K. Fullam, Tomas B. Klos, Guillaume Muller, Jordi Sabater, Zvi Topol, K. Suzanne Barber, Jeffrey S. Rosenschein, Laurent Vercouter http://www.art-testbed.net Banc d essais ART - p. 1/ 15
Confiance et Réputation? Un moyen souple pour permettre à des agents de travailler ensemble dans un environnement incertain. Exemples de modèles : JFSMA 04 : [Melaye] [Muller] AAMAS 05 : 2 sessions à la conférence et 1 workshop dédié... Constat AAMAS 04 : trop de modèles et de métriques différentes Banc d essais ART - p. 2/ 15
Motivations Sciences : besoin de «valider» les modèles À défaut de pouvoir valider comparer TAC (Trading Agent Competition) pour le commerce électronique TREC (Text Retrieval Conference)... Un banc d essais pour les modèles de confiance? Banc d essais ART - p. 3/ 15
Pourquoi un banc d essais? Présente un défi commun aux chercheurs Facilite la résolution des problèmes les plus importants Procure un moyen souple et universel d expérimentation Utilise des métriques bien définies Permet d identifier les modèles efficaces Fait avancer le domaine de la recherche sur la confiance Utilise un domaine attrayant pour attirer l attention des chercheurs et du public Banc d essais ART - p. 4/ 15
Plan Motivations Scénario & Déroulement d un pas de temps Métriques objectives Architecture & Interfaces Graphiques Caractéristiques Banc d essais ART - p. 5/ 15
Le banc d essais ART C est un outil pour : Les expérimentations : Les chercheurs peuvent générer des expérimentations facilement répétables dans un environnement commun et se comparer à des benchmarks acceptés. Compétitions : Les modèles de confiance sont mis en compétitions les uns avec les autres ; les modèles les plus efficaces peuvent être identifiés. Banc d essais ART - p. 6/ 15
Le scénario Banc d essais ART - p. 7/ 15
Le scénario Banc d essais ART - p. 7/ 15
Le scénario Banc d essais ART - p. 7/ 15
Étape 1 : Affectation des clients et des expertises Moteur de Simulation Génération peintures Banc d essais ART - p. 8/ 15
Étape 2 : Transactions de réputations Réputations/experts Paiement Chaque réputation a un prix fixe Chaque valeur de réputation [0, 1] C est un standard pour la communication Mensonges possibles Banc d essais ART - p. 8/ 15
Étape 3 : Transactions d opinions Opinions/peintures Paiement Chaque opinion a un prix fixe Il n y a pas de limite sur le nombre d opinions Mensonges possibles Banc d essais ART - p. 8/ 15
Étape 4 : Calcul des évaluations Moteur de Simulation Récupération des informations Banc d essais ART - p. 8/ 15
Étape 4 : Calcul des évaluations Moteur de Simulation Vraies valeurs des peintures Révision des réputations Révision des réputations Révision des réputations Banc d essais ART - p. 8/ 15
Métriques Objectives Métriques orientées agent : Argent en banque Précision moyenne des évaluations Consistence de la précision des expertises Nombre de messages de chaque type Métriques orientées systèmes Banc d essais ART - p. 9/ 15
Architecture Base de Données Agent Agent Agent Agent Agent Agent Agent Agent Agent Agent Agent Agent Moteur de Simulation Moteur de Simulation Serveur de Simulations Moteur de Simulation Interface d Initialisation Interface d Observation Interface d Observation Banc d essais ART - p. 10/ 15
Interfaces Utilisateur Banc d essais ART - p. 11/ 15
Caractéristiques des modèles (1) Le banc d essais favorise les modèles qui sont : Précis : les experts doivent identifier les fournisseurs d opinion et de réputation dignes de confiance Adaptatif : les experts peuvent changer leurs stratégies de diffusion d opinions et de réputations à tout moment Convergence rapide : les experts doivent avoir des modèles corrects dès le début du jeu Multi-dimensionnel : les experts peuvent modéliser la confiance dans les experts pour les différentes périodes des peintures et pour le fait de fournir des opinions ou des réputations. Efficace : les experts doivent fournir leur réponses dans un temps limité Banc d essais ART - p. 12/ 15
Caractéristiques des modèles (2) Le banc d essais favorise les décisions : Identifiant et isolant des agents qui se comportent mal : les experts peuvent refuser de demander des opinions ou réputations à des agents non dignes de confiance Évaluant l utilité d une interaction : les experts doivent décider le montant à payer pour générer leurs opinions Déterminant si (et avec qui) interagir : les experts doivent jauger le coût d une information eu égard de la confiance qu il ont dans le fournisseur Banc d essais ART - p. 13/ 15
Caractéristiques du testbed Le banc d essais présente les caractéristiques suivantes : Modularité : les paramètres sont adjustables par l expérimentateur Conception multi-usage : le banc d essais supporte deux modes (compétition et expérimentation) Accessibilité : les chercheurs peuvent utiliser les représentations qu ils souhaitent dans leurs modèles de confiance Métriques Objectives : plusieurs métriques sont proposées, autant orientées agent que orientées système Ciblage des problèmes : le scénario cible uniquement la modélisation de la confiance et élimine les problèmes annexes comme : les connaissances à aquérir sur le domaine, la révision de croyances ou la négotiation de prix Banc d essais ART - p. 14/ 15
Comment participer? En donnant votre avis (Forum de discussion) En téléchargeant et utilisant le banc d essais En participant à la première compétition (mai 2006) En rejoignant l équipe de développement Le site web du banc d essais ART : http://www.art-testbed.net Banc d essais ART - p. 15/ 15