1 Introduction. 2 Algorithmes sans élagage. 2.1 Minimax. Chapitre 3 : Jeux (Février 2007, Pierre Gançarski)

Transcription

1 Chapitre 3 : Jeux (Février 2007, Pierre Gançarski) 1 Introduction Quatre caractérisques pour les jeux étudiés : jeux à deux : deux adversaires eectuent alternativement des coups, chaque défaillance de l'aversaire est vue comme un succès. à gain/perte totales : on perd ou on gagne la partie (on ne gagne pas un peu ou beaucoup : on gagne c'est tout). à information complète (échecs, dames, othello,...) ou partielle (poker, bridge,...) spéciables : les régles sont simples (on dispose d'un système de production permettent de dénir les alternatives autorisées pour le coups N, en fonction de coups précédents) et les interactions avec l'extérieur nulle (personne ne vient perturber les joueurs) Arbre de jeu : Le noeud racine est la position initiale. Ses successeurs sont les positions que le premier joueur peut atteindre en un coup. Les successeurs au niveau 2 sont les répliques du deuxième joueur, etc. Comme savoir si un coup est gagnant, il faut remonter l'information depuis les feuilles. Or pour appliquer cette stratégie (et donc dénir si une partie est gagnée avant de la commencer) il faudrait développer complètement l'arbre. Or, pour les échecs le nombre de noeuds non terminaux aux échecs a été estimé à (35 alternatives possibles en moyenne à chaque coup, pour des parties de 30 coups en moyenne) c'est-à-dire alternatives soit environ siècles à raison de 3 milliard d'évaluations à la seconde. Pour les dames, c'est un peu mieux car l'estimation du nombre de coups n'est que de 10 40, soit environ siècles à raison de 3 milliard d'évaluations à la seconde. ==> D'où la nécessité de limiter : la profondeur maximale de résolution ; la largeur de l'étude (le nombre d'alternatives étudiées). Dénition : Une fonction d'évaluation associe à une position une valeur estimant la qualité de la position pour l'un des joueurs. Ainsi, lorsqu'on développe un noeud (c-à-d qu'on étudie les coups possibles) pour chaque alternative développée, lorsqu'on atteint une certaine profondeur dans l'arbre, on associe la valeur estimée aux feuilles, puis on remonte l'information ; On choisira le coup donnant l'estimation maximale pour le joueur. La décision est irrévocable. 2 Algorithmes sans élagage 2.1 Minimax Principe On se place de côté d'un des joueurs. La fonction d'évaluation V (N i ) donnera donc la qualité d'une position (correspondant au noeud N i de l'arbre) par rapport à celui-ci : plus elle est élevée, meilleure elle est pour ce joueur (réciproquement, plus elle est faible, meilleure elle est pour son adversaire). Ce joueur sera nommé MAX car le coup qu'il jouera sera celui d'estimation maximal alors que son advesaire jouera le coup d'estimation minimal (il sera donc nommé MIN). Un noeud où le joueur MAX (resp. MIN) a le trait (c'est donc à lui de jouer) est appelé noeud MAX (resp. MIN). L'algorithme Minimax consiste donc en une exploration en profondeur dans laquelle la valeur V (N i ) d'un noeud N i terminal ou à la profondeur maximale, est V (N i ) = Eval statique (N i ) où Eval statique (N i ) est dite fonction d'évaluation statique et ne dépend que d'information sur la position (place et nombre de pièces, relation entre les pièces, etc.) pour un noeud N i non terminal MAX : V (N i ) = max(v (N j )) où N j Successeur(N i ) pour un noeud N i non terminal MIN : V (N i ) = min(v (N j )) où N j Successeur(N i ) 1

2 2.2 NEG-MAX Le problème de Minimax est qu'il faut se placer d'un côté d'un joueur. De ce fait, le calcul des estimations est diérent suivant le type (Max ou Min) du noeud. Il peut être intéressant de pouvoir, sur un noeud donné, savoir si le joueur qui a le trait sur ce noeud, gagne, perd ou obtient match nul. Prenons le cas d'un développement complet. L'état MST AT UT d'un noeud non terminal est imposé par ceux de ses successeurs : MST AT UT (N i ) = GAGNE si au moins un des sucesseurs (directs) N j de N i est tel que MST AT UT (N j ) =PERDU (puisqu'il sut au joueur qui a le trait de jouer ce coup) ; PERDU si tous les sucesseurs (directs) N j de N i sont tel que MST AT UT (N j ) =GAGNE (puisque quoiqu'il joue, l'adversaire gagne) ; NUL sinon Donc, si on pose GAGNE = 1, PERDU = -1 et NUL = 0, alors il est évident que : MST AT UT (N i ) = max{ MST AT UT (N j ), N j SUCCESSEUR(N i )} d'où le nom NEGation du MAXIMUM. Par analogie, on étend cela à des arbres basés sur une fonction d'évaluation par : V (N i ) = max{ V (N j ), N j SUCCESSEUR(N i )} Attention : le meilleur déplacement pour un joueur est maintenant de prendre le successeur de V (N i ) minimal. 3 Algorithmes avec élagage 3.1 Alpha-Béta Principe Lorsque l'on descendra pour développer un noeud MIN, on lui transmettra la valeur maximale des noeuds MAX pères que l'on nommera α. D'où α pour un noeud MIN N min est égal à la plus grande valeur courante de tous les noeuds MAX ancêtres de N min. Donc, si un noeud MAX ls du noeud N min a une valeur plus petite alors l'exploration de la descendance de N min devient inutile : la solution sera moins bonne que la solution courante. Initialement α =. Lorsque l'on descendra pour développer un noeud MAX, on lui transmettra cette valeur que l'on nommera β. D'où β pour un noeud MAX N max est égal à la plus petite valeur courante de tous les noeuds MIN ancêtres den max. Donc, si un noeud MIN ls du noeud N max en cours de développement a une valeur plus grande alors l'exploration de la descendance de N max devient inutile. Initialement β = + L'algorithme α β (appelé algorithme AlphaBéta) maintient ces deux valeurs pendant le parcours de l'arbre pour limiter les développements de celui-ci. A noter que ces deux seuils ne dénissent pas une heuristique, mais un calcul exact : les feuilles élaguées par cet algorithme n'auraient jamais apporté de solutions plus intéressantes que celles qui sont déjà connues. 2

3 3.1.2 Algorithme AlphaBeta(N, α, β) 1. Si N est terminal ou de profondeur maximale alors retourner V(N) 2. Sinon (a) si N est du type MAX i. soit (N 1,..., N k ) les ls de N ii. V N = AlphaBeta(N 1, α, β) iii. Pour j = 2... k et tant que V N < β faire { α = max(α, V N ) V N = max(v N, AlphaBeta(N j, α, β)) } iv. retourner V N (b) Si N est du type MIN i. soit (N 1,..., N k ) les ls de N ii. V N = AlphaBeta(N 1, α, β) iii. Pour j = 2... k et tant que α < V N faire { β = min(β, V N ) V N = min(β, AlphaBeta(N j, α, β)) } iv. retourner V N L'appel à cet algorithme se fait par : AlphaBeta(Racine,, + ) Une autre écriture, en prenant les conventions NegMax : Algorithme AlphaBetaNeg(N,a,b) 1. Si N est terminal ou de profondeur maximale alors return EVAL(N) 2. Sinon soit (N 1,..., N k ) les ls de N (a) Pour j = 1... k et tant que α < β faire i. α = max(α, AlphaBetaNeg(N j, β, α)) ii. return α Ecacité Alpha-Béta Au pire des cas : on parcours tout l'arbre ==> MinMAX!!! soit b d calculs avec b facteur de branchements moyen, d profondeur d'anticipation. Cas moyen : L'expérience montre qu'en moyenne le coût est en b 3d 4. Donc pour une même puissance de calcul, Alpha-Béta peut aller 4 3 plus loin que MinMax ce qui n'est pas négligeable. Ainis par exemple si en MinMax on peut calculer jusqu'à une profondeur 12 avec Alpha-Béta on allait jusqu'à une profondeur de 16. Or sur une partie qui dure par exemple 40 coups cela fait une augmentation de 10%. Idéalement : si les noeuds sont bien ordonnés c'est à dire les noeuds ls des noeuds MAX sont évalués dans l'ordre décroissant et les noeuds ls des noeuds MIN sont évalués dans l'ordre croissant alors intuitivement, on voit que le nombre de noeud réellement évalué diminue (cf l'exemple précédent) On va donc essayer d'ordonner les noeuds par exemple par une recherche intérative : 1. on fait un alpha-béta de profondeur 1 ==> les noeuds sont ordonnés 2. on fait un alpha-béta de profondeur 2 sur l'arbre ordonné ==> on réordonne les noeuds 3. on fait... jusqu'à la profondeur maximale autorisée ou utilisation de toutes les ressources de calculs. 3

4 3.1.4 Limites de Alpha-Béta Eets d'horizon : repousser un désastre inévitable en le repoussant au delà de la ligne d'horizon parfois au prix de pertes supplémentaires remède : après sélection du coup, on l'examine avec une profondeur beaucoup plus grande (Dans l'exemple précédent on refait un Alph-Béta sur le coup 10 avec éventuellement un profondeur moindre) ==> recherche secondaire on module la profondeur en fonction de l'interêt du coup : un coup d'estimation basse n'est développé que sur un ou deux niveaux alors qu'un coup d'estimation forte est développé sur de nombreux niveaux. Coût : Alpha-Béta reste malgrès tout un algo couteux remèdes : utiliser le temps de l'adversaire pour faire l'analyse secondaire élagage de futilité coup meurtrier : supposons que suite à un coup d 1, l'algorithme trouve une riposte r a telle que l'evaluation de d 1 chute de façon importante. Alors, il y a des chances pour que lorsqu'il regarde un coup d 2 au même niveau que d 1, il existe la même riposte r a, il va donc l'étudier en premier. diminution de la fenêtre de recherche : si on fait l'hypothèse que les pertes et les gains réalistes lors d'une partie sont bornées (par exemple aux échecs, il est rare de perdre plus que la valeur de deux pions) alors on peut démarrer avec α = gain max et β = gain min : gagner trop sur un coup est louche. Par exemple, si on arrete par eet d'horizon de regarder les coups juste après la prise de la dame adverse le gain a l'air important mais si le coup juste après l'adversaire reprend notre dame le gain n'est pas si terrible. 3.2 L'algorithme SSS* On va utiliser la similarité entre les arbres de jeux et les graphes ET/OU. SSS* est un algorithme de recherche dans des arbres de jeux qui développe des sous-arbres en meilleur-d'abord d'une façon similaire à A* et AO*. En fait, on peut considérer que deuxx sous-arbres représentent chacun une stratégie de jeu diérente. Il faut donc estimer celle qui a la plus grande valeur car le but de la recherche est de trouver le coup qui maximise la fonction d'évaluation (celle qui permet d'arriver sur une feuille maximale : non la feuille de valeur maximale, mais la feuille maximale QUELQUES soient les coups de l'adversaire) Problème : comment estimer un sous-arbre de façon maximisante (an d'utiliser les principes de A*)? En fait, il faut connaître : pour un noeud MIN : la valeur d'un ls. En eet, cela donne l'estimation maximale pour ce noeud ; pour un noeud MAX : il faut par contre connaître les estimations de tous ses ls. En eet, connaître l'estimation de tous les ls nous assure que l'on dispose d'une estimation maximale du noeud MAX. En eet, chaque évaluation des ls étant une estimation maximale de celui-ci, aner l'évaluation d'un ou plusieurs ls ne peut que diminuer la valeur des estimations de ceux-ci donc de l'estimation globale du noeud MAX. Par contre, si l'on ne prend pas en compte un des ls, rien ne nous garantit que l'estimation de celui n'est pas supérieure à celle de tous les autres ls. L'idée de l'algorithme est donc la suivante : 1. On calcule pour chaque stratégie une estimation maximisante. 2. On rane la stratégie de meilleure estimation. 3. Si on obtient la valeur dénitive de la stratégie et que cette valeur est supérieure aux estimations ou valeurs réelles de toutes les autres stratégies : FIN ==> on a trouvé le bon coup (en eet, toutes les autres estimations ne peuvent que baisser donc en aucun cas elles ne deviendront meilleure que celle trouvée) 4. Sinon s'il reste des stratégies à évaluer, retour en sinon, choisir le coup correspondant à la stratégie de valeur maximale. 4

5 Qu'est-ce que l'opération de ranement? Deux possibilités : 1. raner un noeud MIN : (a) ajout d'un ls MAX (b) raner un des ls MAX 2. raner d'un noeud MAX : ceci revient simplement à raner un ou plusieurs de ses ls MIN Donc, le ranement consiste simplement à raner un des noeuds MIN de la meilleure stratégie. Nous choisirons, arbitrairement de raner un noeud MIN d'abord par ajout d'un ls puis seulement par ranement d'un de ses ls. 4 Conclusion Les algorithmes de jeux brutaux présentent de nombreux inconvénients dont l'un des plus important est celui de la fonction d'évaluation. En eet, quelles que soient la puissance de calcul mis en oeuvre et les améliorations apportées sur les algorithmes, si la fonction d'évaluation ne reète pas correctement la réalité, la victoire est sans espoir. Les recherches sur les jeux se portent donc principalement sur l'augmentation de la puissance de calcul Le projet Deep Blue (début en 1989) ==> machine parallèle : 32 noeuds contenant 8 processeurs type RS/6000 SP spécialisés pour les échecs, avec un système AIX. Programme en C et MPI (MPI). 200,000,000 positions par seconde (ou positions 3 minutes (le temps alloué). Deep blue a gagné 2 parties à 1 contre Kasparov2. sur les fonctions d'évaluation : dénition de fonctions d'évaluation performantes (voir le GO) apprentissage utilisation de bibliothèques de coups (ouverture, n de partie...) : exemple sur la gure suivante, il faut 243 coups (contre la meilleure défense) à Blanc (qui joue) pour capturer une pièce sans danger, avant de gagner (Stiller, 1998) utilisation de plusieurs fonctions d'évaluation en fonction de l'avancement dans le partie : début, milieu n... sur une approche diérente basée sur la modélisation des comportements humains 5