! Quels problèmes? Quelles résolutions? ! Notion de graphe de recherche. ! Techniques de recherche non informée. ! Techniques de recherche informée

Transcription

1 1- Introduction à l IA 2- Résolution de problèmes par exploration de graphes 3- Résolution de problème en environnement non déterministe 4- Apprentissage par renforcement 5- Planification Antoine Cornuéjols AgroParisTech antoine.cornuejols@agroparistech.fr Cours IA 2/59! Quels problèmes? Quelles résolutions?! Notion de graphe de recherche Résolution de problème par Exploration de graphes! Techniques de recherche non informée! En largeur d abord! En profondeur d abord! En profondeur iterative! Techniques de recherche informée! En meilleur d abord! A*! Graphes ET/OU! Techniques par satisfaction de contraintes 3/59 4/59

2 ! Quels problèmes?! Problèmes de classes primaires! Démonstration de théorèmes! Sortir avec son petit ami et réviser pour le contrôle du lendemain! Convaincre un interlocuteur! Choix d un circuit optimal pour le prochain voyage en Indonésie! Reconnaître à l aéroport quelqu un que l on n a jamais vu!...! Démarche générale 1. Passage d un énoncé informel à une spécification précise 2. Recherche d une solution à l intérieur du cadre défini par ces spécifications! Enoncés de type combinatoire Trouver dans un ensemble (espace) X donné, les éléments (points) x satisfaisants un ensemble de contraintes K(x) Ex : Pb des 8 reines, cryptarithmétique (SEND + MORE = MONEY)! Enoncés avec opérateurs de changement d états À partir d un état initial donné, d un critère objectif et d un ensemble d opérateurs de changement d états, trouver une suite d opérateurs permettant de passer de l état initial à un état objectif Ex : Pb des missionnaires et des cannibales, les tours de Hanoï, le jeu du taquin! Enoncés avec opérateurs de décomposition de pbs en ss-pbs Étant donné un problème (ou but), des opérateurs de décomposition du pb en ss-pbs, des problèmes dits primitifs (dont on connaît immédiatement la solution), trouver des opérateurs à appliquer pour décomposer le problème initial en un ensemble de ss-pbs primitifs Ex : Problèmes de planification, Tours de Hanoï, intégration symbolique 5/59 6/59 Démarche générale : Opérateur État ((A)(B)(C)) 1. Trouver une bonne représentation du problème 2. Trouver des opérateurs pour manipuler cette représentation bouger(b,a) bouger(b,c) 3. Effectuer un contrôle de stratégie ((AB) (C)) ((A) (CB)) ((B) (AC)) ((BA) (C)) ((A) (BC)) ((CA) (B)) 7/59 8/59

3 On suppose que :! Les actions sont déterministes! Les actions ont des effets «discrets» sur le monde 9/59 10/59! Graphe de résolution ou graphe d états Noeud 1 Ancêtre de 5! Graphe de recherche! Nœud Arc! Arc (et coût)! Parents / ancêtres / successeurs! Critère objectif! Développement d un nœud 2 Parent de 5 3! Stratégie de contrôle! Fonction déterminant le choix du nœud à développer Successeur de 3 4 5! Recherche aveugle ou non informée! Recherche heuristique ou informée Descendant de /59 12/59

4 Stratégie systématique : niveau par niveau Stratégie systématique : avec retour arrière Profondeur seuil = 4 13/59 14/59! Complétude La stratégie parvient-elle nécessairement à une solution si il en existe une?! Complexité en temps Nombre de nœuds développés (ou évalués) durant la recherche! Complexité en espace Nombre maximal de nœuds en mémoire lors de la recherche! Optimalité La solution retournée est-elle optimale en coût? Facteurs :! b : facteur de branchement! d : profondeur! m : profondeur maximale de l espace d états! Complétude?! Oui (si b est fini)! Complexité en temps?! Exponentiel en d : 1 + b + b 2 + b b d = O(b d )! Complexité en espace? O(b d )! Optimalité?! Oui (si coût de chaque arc = 1) " La complexité en espace est le gros problème 15/59 16/59

5 ! Complétude?! Non : échoue si profondeur infinie ou si boucles! Complexité en temps?! Exponentiel en m : Dramatique si m >> d! Mais si les solutions sont denses dans le graphe, peut-être plus rapide que largeur d abord! Complexité en espace? O(bm)! cad espace mémoire linéaire!!! Optimalité?! Non O(b m ) Profondeur seuil = 1 Profondeur seuil = 2 Profondeur seuil = 3 Profondeur seuil = 4 17/59 18/59! Complétude?! Oui! Complexité en temps? (d +1) b 0 + d b 1 + (d!1) b b d = O(b d )! A peine plus que largeur d abord! Complexité en espace?! O(bd ) cad espace mémoire linéaire!!! Optimalité?! Oui (si le coût des arcs = 1) " Méthode préférée quand grand espace de recherche et profondeur de la solution inconnue État initial État but 19/59 20/59

6 OUVERT! {état initial} ; FERME! " ; Succès! Faux! Tant que OUVERT " " et Succès = Faux! Etape 1 : Choix d un noeud n dans OUVERT! Si n est un état terminal alors Succès! Vrai! et retourner le chemin solution trouvé! 21/59 22/59 Sinon! Etape 2 : développement de n! #Supprimer n de OUVERT! #L ajouter à FERME! #Pour chaque successeur s de n! # Si s n appartient ni à OUVERT ni à FERME! # ajouter s à OUVERT! # père(s)! n! # Sinon mise à jour éventuelle du père de s! Echec si OUVERT = "! Nœuds développés : FERMÉ Frontière de recherche : OUVERT Nœuds buts n h(n) Estimation de la distance de n au but le plus proche 23/59 24/59

7 Fonction d évaluation : f(n) = g(n) + h(n)! Coût estimé d un chemin! de la racine à un objectif! passant par n! Coût du chemin le plus court! connu actuellement pour aller! de la racine au nœud n :! fonction dynamique! Estimation du coût optimal! pour atteindre un objectif! à partir du nœud n :! fonction statique! 25/59 26/ A FERMÉ / OUVERT Développement de l'arborescence B C D FERMÉ : A(2.25) OUVERT : C(2), D(2.5), B(3) A B C D E F FERMÉ : C(2), A(2.25) OUVERT : D(2.5), B(3), E(4) B 2 1 A C D G E 1 27/59 28/59

8 29/59 30/59 Propriété (optimalité ou admissibilité de A*) : Propriété (inégalité triangulaire) : Si la fonction d estimation de la distance au but h est systématiquement optimiste, l algorithme A s appelle A* et retourne nécessairement une solution optimale. Preuve : n 2! c(n 1,n 2 )! g! n 1! 31/59 32/59

9 Définition : Si deux versions A 1 * et A 2 * d un algorithme A* ne diffèrent que par leur fonction d estimation h avec n (non terminal) h 1 (n) < h 2 (n), alors on dit que A 2 * est mieux informé que A 1 *. Théorème : Admissible Non admissible Si A 2 * est mieux informé que A 1 *, alors lorsque leurs recherches sont terminées, tous les nœuds développés par A 2 * l ont également été par A 1 * (et peut-être d autres). " A 2 * est plus efficace que A 1 * 0 coût uniforme h 1 h 2 h* h De mieux en mieux informé 33/59 34/59! Taquin Nombre moyen de nœuds développés Facteur de branchement effectif Profondeur IDS A*(h 1 ) A*(h 2 ) IDS A*(h 1 ) A*(h2) ,45 1,79 1, ,87 1,48 1, ,73 1,34 1, ,80 1,33 1, ,79 1,38 1, ,78 1,42 1, ,83 1,44 1, ,45 1, ,46 1, ,47 1, ,48 1, ,48 1,26 Moyenne 2,8 1,43 1,27 35/59 36/59

10 ! Taquin 4x4 :! [Nilsson, p.153]! ~ 6 jours pour trouver une solution en moyenne sans heuristique! ~ 50s avec heuristique h 1! ~ 0.1s avec heuristique h 2 Korf, R. (2000) «"Recent progress in the design and analysis of admissible" heuristic functions"», Proc. of SARA-2000, Springer-Verlag.! 37/59 38/59! Approches possibles Univers abstrait Distance!! Par abstraction! Par essais et erreurs! Par apprentissage Distance? Univers d'origine 39/59 40/59

11 ! Illustration : le jeu du taquin [Pearl, 1984]! Soient les prédicats de description :! sur(x,y) : la tuile X est sur la case Y! vide(y) : il n y a pas de tuile sur la case Y! adj(y,z) : les cases Y et Z sont adjacentes Opérateur de déplacement bouger(x,y,z) défini par :! Préconditions : #sur(x,y) & vide(z) & adj(y,z)! Ajouts : sur(x,z) & vide(y)!! Retraits : sur(x,y) & vide(z)!! Soit l opérateur de déplacement bouger(x,y,z) défini par :! Préconditions : #sur(x,y) & vide(z) & adj(y,z)! Ajouts : sur(x,z) & vide(y)!! Retraits : sur(x,y) & vide(z)!! Problème 1 : Trouver une séquence d opérateurs bouger(x,y,z) instanciés pour aller de l état initial à l état final.! Problème 2 : Estimer la distance au but, cad le nombre d opérations nécessaires 41/59 42/59! Principes : 1. Sur un petit problème dont une solution optimale est connue : chercher une fonction h telle que f(n) = g(n) + h(n) 2. Si plusieurs heuristiques admissibles h i sont connues, prendre h(n) = arg max i h i (n) 3. Sélectionner des attributs de description de l état qui semblent jouer un rôle dans l estimation de la distance au but et les combiner dans une fonction d évaluation (... éventuellement par apprentissage) 43/59 44/59

12 ! EURISKO? [Lenat, 1982] : recherche par transformation syntaxique dans l espace des heuristiques! Par abstraction! ABSOLVER [Priedetis, 1993]! Par la méthode relaxed problem : relâche les restrictions sur les opérateurs! Découverte de l heuristique la plus efficace pour le taquin! Découverte d heuristiques pour le Rubik s cube,... (13 pbs)! Par apprentissage! Apprentissage par renforcement (cf cours n 4)! Apprentissage par recherche d abstraction (Thèse J-D Zucker (1996)) 45/59 46/59 Comment réutiliser au mieux les connaissances issues des explorations antérieures du monde? Extensions [Koenig, Likhachev & Furcy,! AIj (2003)]! [Fedon & Cornuéjols, 2008]! 47/59 48/59

13 Problème : risque d interférences «!destructrices!» Problème : risque d interférences «!destructrices!» 1. Algorithmes avec replanification " Recherche indépendante des chemins de chaque agent " Replanification si obstacle rencontré Pb : si inter-blocages Heuristique : ajout de «!bruit!» Position des agents Heuristique de distance utilisée 2. Recherche coopérative " Recherche indépendante des chemins de chaque agent " Dans un ordre prédéterminé " Avec table de réservation remplie incrémentalement " Ne permet pas de résoudre certains blocages " Coûteux en temps " Heuristique : " Changer l ordre " Introduire de la replanification 49/59 50/59! Algorithmes! Algorithmes! RTA*! Moving target search! LRTA* (Learning RTA*)! Modification de l heuristique par apprentissage! Une heuristique pour chaque position possible de la cible # Table d heuristiques 51/59 52/59

14 Les graphes ET/OU 53/59 54/59! Motivation! Structure chimique! Illustrations! Différences avec les algorithmes A! On ne maintient plus des chemins mais des sous-graphes! On a donc une nouvelle fonction d évaluation! tenant compte du mérite des noeuds frontières (sous-problèmes)! mais aussi des coûts de combinaison des sous-problèmes 55/59 56/59

15 ! Calcul d intégrale 57/59 58/59! Ouvrages / articles!!"#$%&&%'#()**+,#-#!"#$%&'()*+,-((&.-+%-"#.%&/0%12#3%435&&%'"#! 6"#$%72'%12#()*88,#-#*+,-((&.-+%-)!"#$%&-((-/)0+-)'11"2%3-)(45&64-"#9&&5:;2;"#! <"#35&&5'/=>'#()**?,#-#!"#$%&'()*+,-((&.-+%-)72")8'9-:"#3>0/%'#@%ABC%''"#! D5&;;>'#D"#(8EEF,#-#!"#$%&'()*+,-((&.-+%-);)!)+-<):=+,3-:&:"#3>0/%'#@%ABC%''"#! G"#.2%0&#(8EFH,#-#>-4"&:#%:;)*+,-((&.-+,)?-'"%3)?,"',-.&-:)72")@2914,-")A"2B(-9)?2(C&+./! IJJ5;>'#K2;&2L"#!!A;;2&#M"#N#D>015/#."#()**E,#-#!"#$%&'()*+,-((&.-+%-);)!)925-"+)'11"2'%3"#.02'O42#P%&&Q#)**E# (+0J#9J","#! Sites web! 59/59