MOIA. Méthodes et Outils pour. 1 ère année F. BOUQUET. Master S&T - Mention Informatique. bouquet/enseignement FRE 2661

Transcription

1 MOIA Méthodes et Outils pour UNIVERSITE DE FRANCHE COMTE l Intelligence Artificielle F. BOUQUET FRE 66 Master S&T - Mention Informatique ère année bouquet/enseignement MOIA Partie /3 p./43

2 L intelligence Artificielle Philosophie : Logique, méthode de raisonnement, esprit comme système physique, apprentissage, langage Mathématiques : Psychologie : Linguistique : Neurosciences : Théorie du contrôle : Représentations formelles et preuves, algorithmes (in)décidabilité, probabilité Adaptation, phénomène de perception et de contrôle moteur, techniques expérimentales Représentation des connaissances, grammaire Substrat physique de l activité mentale Systèmes asservis, stabilité, concept d agent MOIA Partie /3 p./43

3 Plan. Historique. Structuration de la connaissance Langue naturelle, Semi-formelle, Formelle, Logique 3. Méthodes de résolution générales Méthodes de base Évolutions et Heuristiques Satisfaction de contraintes 4. Domaine d application Système expert / Apprentissage Jeux Planification / Ordonnancement Traitement du langage naturelle MOIA Partie /3 p.3/43

4 Historique / : Papyrus premières règles de production (médecine) -350 : Aristote invente le syllogisme 679 : Leibnitz invente l arithmétique binaire 854 : Boole et son algèbre 938 : Shannon BInary digit 94 : I. Asimov écrit Robbie et les trois lois de la robotique 943 : McCulloch & Pitts modélisation neurones et cerveau 944 : ENIAC 945 : J. Von Neumann et O. Morgenstein : Solution théorique : jeux de stratégie / démo. automatique Intelligence Artificielle Bêtise naturelle MOIA Partie /3 p.4/43

5 Historique /3 950 : "Computing Machinery and Intelligence" de Turing 957 : Thème de l IA : General Problem Solver N. Chomsky (MIT, linguiste) sémantique syntaxe J. Mac Carthy : Créé le premier laboratoire IA (MIT, 958) Lisp (958), Algorithme Alpha Béta (96) 965 : Feigenbaum, Buchaman et Lederberg DENDRAL : Mécanismes de raisonnement inductifs / empiriques Problème consistant J.A Robinson invente la procédure de résolution ELIZA (MIT) simule le dialogue avec un psychologue 969 : Shakey er robot déplacer, percevoir, résoudre problèmes MOIA Partie /3 p.5/43

6 Historique 3/ : A. Colmerauer et P. Roussel écrive Prolog 980 : Création de American Association Artificial Intelligence 985 : Linguistique : Vocabulaire, reconnaissance du discourt, multi-utilisateur. 990 : Recherche linguistique / Jeux de stratégie 997 : Deep Blue bat G. Kasparov Premier match de football avec des robots : Animaux de compagnie robot Carneggie Mellon : les robots nomades (Antarctique) MOIA Partie /3 p.6/43

7 En résumé Qu est-ce les systèmes à base d IA savent faire? Jouer décemment au ping-pong Conduire un véhicule sur une route de montagne / dans la circulation Jouer aux cartes Découvrir et prouver un nouveau théorème mathématiques Inventer une histoire drôle (de façon intentionnelle) Donner des conseils avisés dans des domaines pointus Traduire des langues, parler une langue, parler en temps réel. MOIA Partie /3 p.7/43

8 Principe Donner les moyens à l ordinateur de : Acquérir de l information (connaissances) Raisonner sur les informations Donner les résultats But : Transcrire le français pour l ordinateur Codage mémoire de l information Traitement Retranscrire MOIA Partie /3 p.8/43

9 Français Machine Logique Classique : Logique propositionnelle Calcul des prédicats Logique non classique : Défaut de Reiter Logique Multi-valuée (logique floue) Règle de production Objets structurés : Réseaux bayéseins Chaînes de Markov Réseaux de neurones MOIA Partie /3 p.9/43

10 Logique propositionnelle [Aristote à Boole] Ensemble de formules : Propositions : lettres majuscules Connecteurs :, (,,...) Parenthèses : ( ) Axiomes :. F (G F). (F (G H)) ((F G) (F H)) 3. (( G) ( F)) (F G) Règle(s) d inférence (Modus ponens/ Modus Tollens) : Si (F et F G) alors G Si ( G et F G) alors F MOIA Partie /3 p.0/43

11 Logique des prédicats Extension de la Logique propositionnelle [Kleene 7] Extension des Formules : Constantes, Variables Fonctions, Prédicats Extension des Axiomes : 4. Occurrence de x dans F liée, x(f G) (F xg) 5. Occurrence de x liée, xf(x) F(t) Quantificateur(s) : Universel : Existentiel : MOIA Partie /3 p./43

12 Formalisation du discours Représentation Variables Formules Atomes Termes Constantes Fonctions Prédicats Quantificateurs Connecteurs Objets Correspondance entre objets Propriétés des objets Réel Enoncé Liaison entre énoncés Discours MOIA Partie /3 p./43

13 Défaut [Reiter 79] Extension de la Logique des prédicats Théorie des défauts, = (D,W) : W : ensemble de faits, formules closes du er ordre D : ensemble de défauts, règles d inférence à contenu spécifique Un défaut : Soient les formules du er ordre avec x comme variable libre : u(x), prérequis v(x), la justification w(x), la conséquence u(x) : v(x) w(x) MOIA Partie /3 p.3/43

14 Multi-valuée [Kleene 38] p q p p q p q p q p q ne sont pas des tautologies I( p) = I(p) I(p q) = Max(I(p), I(q)) I(p q) = Min(I(p), I(q)) I(p q) = Max( I(p), I(q)) I(p q) = (I(q) = I(p)) Tiers exclu : p p Principe de noncontradiction (p p) MOIA Partie /3 p.4/43

15 Règles de production Si A alors B (0,8) Une règle se décompose en 3 parties : Condition d application : A Déduction obtenue : B Facteur de certitude : 0,8 Calcul d une transition A FC B : { FC(source) = FC(B) = Max(0, FC(A)) FC MOIA Partie /3 p.5/43

16 Objets structurés Basé sur les réseaux sémantiques (graphe) : Nœud représente des concepts Arc traduit les relations entre concepts Recherche de solutions dans graphe Ajouter pour l inférence : Règles de production Opérateurs logiques MOIA Partie /3 p.6/43

17 Réseau Bayésein Constitution : Graphe orienté acyclique: Noeud représente une variable aléatoire Arc les relations entre les variables Série de distributions conditionnelles Théorème de Bayes : Prob(A B) = Prob(B A) Prob(A) Prob(B) Rapport de vraisemblance : λ(b A) = Prob(B A) Prob(B Ā) Vraisemblance a priori : V (A) = Prob(A) Prob(Ā B) Vraisemblance a posteriori : V (A B) = Prob(A B) = λ(b A) V (A) Prob(Ā B) MOIA Partie /3 p.7/43

18 Chaîne de Markov (Monte carlo) Codage d évolution/transition : Probabilité déplacement de x y : p(x, y) Distribution uniforme π(x) = P π(y) p(y,x)δy Définir p(x,y) : Echantillonneur de Gibbs Algorithme de Metropolis-Hastings Satisfait : Réversibilité Irréductible Apériodique Récurrence MOIA Partie /3 p.8/43

19 Réseau de neurones X X P P... P n Σ Y X n Signal reçu : S r = Σ n i=(p i x i ) Signal émis: { si S r θ 0 si S r < θ MOIA Partie /3 p.9/43

20 Problème Définitions : Tout problème est relatif à un certain ensemble d objets que l on peut décrire sous forme de variables d état du problème Un état du problème est l ensemble des valeurs que prennent ses variables d états à un instant donné. L espace d états d un problème est l ensemble des états possibles pour le problème considéré. MOIA Partie /3 p.0/43

21 Problème Décrit par C A État initial (Initialisation) Transition (Règles) A B B C Espace de recherche/états (atteignables) C A B B A C État final (condition d arrêt) A CB A BC Résolution Parcours de l espace de recherche C B A B AC ABC C AB B C A Stratégies (Largeur, Profondeur...) B AC C AB Heuristiques (Best-First, Taboo, A A Recuit-simulé, Sac à dos...) B C C B MOIA Partie /3 p./43

22 Parcours en profondeur Principe : Explorer chemin par chemin A Instance d entrée : un nœud de sortie : renvoie Vraie s il y a un chemin solution Sol et faux sinon. D B E F C G Sol Sol {N} Si N est solution alors Retourne Vraie H I J K Sinon fin Faux Tant que non(fin) et existe successeur N de N faire fin Profondeur(N, Sol) Retourne f in Problème : Les cycles dans les graphes = Détection A B C D E F G H I J K MOIA Partie /3 p./43

23 Parcours en profondeur bornée Principe : Limiter la recherche Instance d entrée : un nœud, une profondeur l de sortie : un chemin Sol (solution) A Sol Sol {N} Si N est solution alors Retourne Vraie Sinon B C fin Faux l l Tant que non(fin) et l > 0 et existe successeur N de N faire fin Profondeur(N, l, Sol) Retourne f in D E F G H I J K MOIA Partie /3 p.3/43

24 Parcours en largeur Principe : Examiner tous les chemins Instance d entrée : une liste de chemin Instance de sortie : un chemin Sol (solution) Ch Premier(Liste); Liste Liste \ {Ch} A N derniernoeud(ch); fin Faux Tant que non(fin) et (l > 0) et existe successeur B C N de N faire Si N est solution alors D E F G Sol Ch f {N }; fin Vraie Sinon Liste Liste f {(Ch f {N })} H I J K Si not(fin) alors fin Largeur(Liste, Sol) Retourne fin MOIA Partie /3 p.4/43

25 Critères de comparaison Complétude : est-ce que la méthode garantit de trouver une solution si elle existe? Complexité en temps : combien de temps faut-il pour trouver la solution? Complexité en espace : quel espace mémoire faut-il pour effectuer la recherche? Optimalité : est-ce que la méthode trouve la meilleure solution s il en existe plusieurs? MOIA Partie /3 p.5/43

26 Comparaison Méthode Complexité Optimal Complet Temps Espace Largeur O(b m ) O(b m ) oui oui Largeur itératif O(b m ) O(b m) oui oui Profondeur O(b m ) O(m) non oui Profondeur bornée O(b l ) O(l) non oui si l p Bi-directionnal O(b m ) O(b m ) oui oui b : facteur de branchement m : profondeur maximal de l arbre p : profondeur de la solution l : limite de la profondeur MOIA Partie /3 p.6/43

27 Bilan sur les Parcours "aveugle" 3 méthodes explorent l espace de recherche Profondeur plus facile mais cycle (limiter recherche, marquage) Largeur plus difficile à implanter et gestion liste Problème d optimisation : associer coût aux arcs (transitions) Explosion combinatoire plus important pour la largeur = Utilisation Heuristique MOIA Partie /3 p.7/43

28 Heuristique h : U R + But: Améliorer la convergence vs Exploration aveugle Comment : prendre en compte des informations sur le graphe Type d heuristique : Parfaite : u,v h(u) = h(v) h (u) = h (v) Presque parfaite : u,v h(u) < h(v) h (u) < h (v) Monotone/consistante : u, v, h(u) h(v) k(u, v), v descendant de u Minorante/admissible : u,h(u) h (u) h(u) : heuristique, coût entre u est état final ; k(u,v) : poids des arcs MOIA Partie /3 p.8/43

29 Heuristique et propriété Une heurisitique est spécifique au problème posé Elle peut définir une relation ordre partiel Elle peut définir une relation ordre complet Si l heuristique est parfaite, alors l algorithme converge immédiatement vers le but Si l heuristique est minorante alors l algorithme A trouvera toujours le chemin optimal Si l heuristique est monotone et admissible garantie que l algorithme A pour tout nœud développé calcul le chemin optimal. MOIA Partie /3 p.9/43

30 Stratégies de recherche Deux types de développement d états : Complètement développé Partiellement développé Trois types d organisation des alternatives : LIFO FIFO Recherche ordonnée MOIA Partie /3 p.30/43

31 Les méthodes du gradient Gradient : variation - progression vers la solution. On essaie d atteindre un optimum global par une succession d optimums locaux. Exemple : pour traverser une ville du nord au sud, on essaiera de minimiser ou maximiser l écart par rapport à la direction. Algorithme du simplex en programmation linéaire Méthode par approximations successives en analyse numérique Min-Max en programmation des jeux Algorithme A*... MOIA Partie /3 p.3/43

32 But : heuristique pour converger le plus rapidement Best-Fisrt Idée : continuer la recherche avec le meilleur candidat Algorithme associé : Gourmand (Greedy) ou Escalade (hill-climbing) Algorithme A Variantes de A : IDA, SMA, AO... MOIA Partie /3 p.3/43

33 Exemple - Gourmand U U 5 U U 5 U 4 U U U U 9 4 U U 6 3 U U U U U U 6 0 Chemin solution : {U 0, U 5, U 7, U 0, U, U 3, U 6 }, Coût : f(u 6 ) = 6 MOIA Partie /3 p.33/43

34 Algorithme A G {u 0 }; D ; f(u 0 ) 0 Tant que G faire u premier(g);g G \ {u};d D {u} Si u T alors Tant que suivant(u) faire v suivant(u) Si (v D G) ou (g(v) > g(u) + k(u, v)) alors g(v) g(u) + k(u, v) f(v) g(v) + h(v) père(v) u insérer_selon_f(g, v) Fin faire Fin faire MOIA Partie /3 p.34/43

35 Exemple - A U U 5 U U 5 U 4 U U U U 9 4 U U 6 3 U U U U U U 6 0 Chemin solution : {U 0,U,U 4,U 9,U 0,U,U 3,U 6 }, Coût : f(u 6 ) = MOIA Partie /3 p.35/43

36 Terminaison de l algorithme A Pour toute h, application de U R +, et pour tout G (graphe fini à valuations positives ou nulles) A s arrête. Soit sur un état terminal, soit faute d état (G ) s il n existe pas de chemin de u 0 à T. Si G et h vérifient les hypothèses suivantes : G est un δ-graphe fini ou infini à valuations positives ou nulles dans lequel il existe au moins un chemin de longueur finie entre u 0 et un état terminal. h est une application de U R + telle qu il existe un majorant ν avec h(u i ) ν pour tout état u i sur un chemin optimal de u 0 à un état terminal. alors A s arrête après un nombre fini d étapes et fournit un chemin de u 0 à T. MOIA Partie /3 p.36/43

37 Complexité Soit n le nombre d états de l espace d états du problème. Pire des cas, la complexité est en n Si h est une heuristique minorante, complexité n. Si h est une heuristique monotone, complexité n. Remarque : Même une complexité linéaire sur le nombre d états est souvent inutilisable dans la plupart des cas pratiques Exemple : Voyageur de commerce n = v! (v = nombre de villes). MOIA Partie /3 p.37/43

38 Interative deepening A : IDA Recursif Best-First Search : RNFS Algorithme AO : Développement Mise à jour ascendante Définition de la nouvelle meilleure solution Variante A MOIA Partie /3 p.38/43

39 Graphe ET-OU Problèmes qui peuvent se décomposer en éléments mutuellement indépendants Heuristiques : (p (q (r s))) Lorsque u est un nœud ET h(u) = Σ v Successeur(u) (k(u,v) + h(v)) p (q (r s)) Lorsque u est un nœud OU h(u) = min v Successeur(u) (k(u,v) + h(v)) q r (r s) s MOIA Partie /3 p.39/43

40 Algorithme AO {Entrée : les informations du graphe, Sortie : Solution G(u 0 ) de coût f(u 0 )} P {u 0 }; Q ; f(u 0 ) h(u 0 ); u u 0 Tant que (u null) et (f(u 0 ) ) faire P P \ {u}; Q {u} Pour i I(u) faire v s i (u) Tant que (u )faire Si non(v P Q) alors P P {v}; f(v) h(v) v s i (u) Fin Tant que f i (u) k(u, i) + Σ v Si (u)f(v) Fin pour Si I(u) = alors f(u) Sinon f(u) min{f i (u) i I(u)} I min (u) indice du minimum A S (u) Choisir v A tel que A S(v) = A A \ {v} Pour i I 0 (v) faire f i (v) k(v, i) + Σ w si (v)f(w) Si f Imin (v) min{f i (v) i I(v)} alors I min (v) indice du minimum Si f(v) f Imin (v) alors f(v) f Imin (v); A A S (v) Pour w S (v) faire I 0 (w) I 0 (w) {i I(w) v S i (w)} Fin si I 0 (v) Fin tant que G(u 0 ) Définir_Solution(u 0 ) u Choisir_Etat(G(u 0 )) MOIA Partie /3 p.40/43

41 Exemple - AO U 5 (6) 4 U 6 (5) U (0) U (0) 7 (5) (0) 0 5 U 6 (0) (0) 4 3 U U 3 U 7 U 8 U 0 5 U (30) U 7 U 8 U 9 (30) (8) 5 9 U 9 (5) () U 3 U 4 (40) 6 5 (5) U 4 (4) 5 9 (0) U 0 (4) U 0 (0) 9 U 5 (0) U (0) 35 U (0) 5 U 3 (0) Chemin solution : {U 0,U,U,U 3,U 7,U 9,U,U 3 }, Coût : f(u 0 ) = 74 MOIA Partie /3 p.4/43

42 Branch & Bound Principe : Backtracking Élagage Problème : Évaluation de la limite Complexité Avantage : Complet Optimal v 0 v 5 v 4 v3 v 4 v 5 v v7 v8 v9 v0 v v v3 v v 4 5 v6 Limite initiale : 3 Limite finale : 6 5 MOIA Partie /3 p.4/43

43 Recuit simulé Pourquoi : Eviter minimum local, effet plateau Comment : concept de température Approche : Récuit de la thermodynamique Algorithme : basé sur méthode Métropolis et distribution de Bolzmann Algorithme : s s 0, t t 0, e E(s) tant que t > Tmin et e > Emax sn voisin(s) De E(s) - E(sn) si Accept(De,T) alors s sn T Decroissance(T) Algorithme Accept : Si De < 0 alors vraie A e De T Si Alea(0,) < A alors vraie sinon faux MOIA Partie /3 p.43/43