Quelques éléments de contexte. Jeux à deux joueurs : une introduc1on. Pourquoi les jeux? Les jeux comme des problèmes de recherche

Transcription

1 Jeux à deux joueurs : une introduc1on par Julien Velcin Licence MISHS Stefan Gustafsson Quelques éléments de contexte Plusieurs points de vue sur le jeu théorie des jeux (cf. économie) mul1-agents en environnement compé11f En I, souvent : déterministe totalement observable deux agents qui jouent chacun leur tour deux valeurs «d u1lité» connues à la fin, symétriques et opposées (on parle de «situa1ons adverses») Pourquoi les jeux? Les jeux comme des problèmes de recherche Un ensemble bien défini et souvent pe1t de règles Une connaissance approfondie des jeux étudiés (ex. les échecs ou le go) Espaces de recherche très vastes Remporter une victoire contre un être humain dans un domaine de l intelligence Chaque posi1on est un état Chaque mouvement est une opéra1on qui permet de passer d un état à un autre L espace d état est vraiment très grand facteur de branchement des échecs ~35 arbre de recherche profond (~50 pour les échecs)

2 esoin d heuris1ques! L opposant n est pas facilement prédic1ble La solu1on est un stratégie quel mouvement en fonc1on de la réponse de l adversaire? prévoir jusqu à un certain horizon Limites de temps il faut des heuris1ques pour réduire le temps et augmenter l horizon les agents doivent approximer Exemples de jeux ackgammon TD-Gammon (1992) Dames Chinook (1994) Chess Deep lue (1997) Othello Logistello (1997) beginning, middle, and ending strategy generally accepted that humans are no match for computers at Othello ridge (ridge arron 1997, Jack 2006) imperfect informa1on mul1player with two teams of two Go lphago (2016) rbre de jeu (2 joueurs, déterministe, chacun son tour) Minimax Décision «parfaite» dans des jeux déterministes Idée: choisir un pas vers une position avec la valeur minimax la plus élevée = meilleurs rendements atteignables contre le meilleur jeu (en supposant que l adversaire essaie de faire la même chose) Par ex., jeu à 2 plis

3 lgorithme Minimax Propriétés de minimax Complète? Oui (si l arbre est fini) Optimal? Oui (contre un joueur optimal qui utilise la même stratégie) Temps? O(b m ) Espace? O(bm) (exploration en profondeur d abord) Pour les échecs, b 35, m 50 pour un jeu «raisonnable» à solution exacte infaisable Limiter la profondeur Nombre de plis à développer pli (ply) = une couche de jeu, par Max ou par Min Changement à faire dans l algorithme if TERMINL-TEST(state) then return UTILITY(state) If DEPTH-LIMIT(state) then return EVL(state) Fonc1on d u1lité En limitant la profondeur, il faut réussir à évaluer une situaiton Par exemple aux échecs : une fonc1on est typiquement une combinaison linéaire de variables (features) eval(s) = w 1 f 1 (s) + w 2 f 2 (s) + + w n f n (s) exemple de variables : w 1 = 9 f 1 (s) = nb de reines du cas 1 nb de reines du camps 2

4 Elagage lpha-eta lgorithme α-β pour ne pas explorer des nœuds inutiles lpha = valeur du meilleur choix trouvé jusqu à présent pour un noeud MX (plus grande valeur) eta = valeur du meilleur choix trouvé jusqu à présent pour un noeud MIN (plus pe(te valeur) Quand on parcourt l arbre : si on doit maximiser, on coupe les valeurs < alpha si on doit minimiser, on coupe les valeur > beta Sur un chemin, on a des limites connues pour la valeur à trouver [α,β] (initialisées à [-,+ ]) Max a déjà trouvé une solution α, et Min ne va pas permettre de choisir une solution plus grande que β sur cette branche Pour un nœud Max, on tente de maximiser. Si un enfant génère une valeur > β, alors le nœud parent (Min) ne va jamais choisir ce nœud. à On coupe le reste de la branche. Pour un nœud Min, on tente de minimiser. Si un enfant génère une valeur < α, alors son parent (Max) ne va jamais choisir le nœud. à On coupe le reste de la branche MIN [α,β] MX >β MIN lgorithme α-β lgorithme α-β

5 (a) [, + ] Exemple (b) [, + ] Propriété de α-β [, 3] [, 3] (c) [3, + ] (d) [3, + ] L élagage n affecte pas le résultat final élaguer seulement les nœuds qui ne sont pas compétitifs [, 2] C La quantité de nœuds élagués dépend de l ordre de nœuds (e) [3, 14] (f) vec un ordre parfait, complexité en temps = O(b m/2 ) à on peut donc doubler la profondeur de recherche [, 2] [, 14] C D [, 2] [2, 2] C D Références Stuart Russell and Peter Norvig. r1ficial Intelligence: Modern pproach (Third Edi1on). Pren1ce-Hall, Englewood Cliffs, NJ, Nombreux transparents repris dans des cours d Intelligence r1ficielle (par ex. M. Scherger, Kent State University, 2006, ou J. Hoffmann, Saarland University, 2014)