Processus Décisionnels Markoviens

Transcription

1 1 Patrice Perny RHAD Cours Processus décisionnels Markoviens Processus Décisionnels Markoviens Représentation d une interaction synchrone entre un agent et le monde États Monde Agent Actions Planification des actions d un agent dans l incertain 2 Patrice Perny RHAD Cours Processus décisionnels Markoviens 1

2 1. PDM classiques Incertain probabiliste Récompenses additives Critère de décision EU Cours Processus décisionnels Markoviens Représentation dans un graphe d état Etat État courant initial Patrice Perny RHAD Cours Processus décisionnels Markoviens 2

3 Formalisation d un PDM 5 Patrice Perny RHAD Cours Processus décisionnels Markoviens Hypothèse de Markov 0.4 s a Patrice Perny RHAD Cours Processus décisionnels Markoviens 3

4 Décisions et Stratégies Règles de décision : «si l état est s alors exécuter l action a» Représentation par une fonction de décision Hypothèse : observabilité totale (on connaît l état courant) 7 Patrice Perny RHAD Cours Processus décisionnels Markoviens Décision dynamique n étapes de décision (n = horizon, fini ou infini) s 1 2 n-1 n Stratégie = 8 Patrice Perny RHAD Cours Processus décisionnels Markoviens 4

5 Critères à optimiser Horizon fini Horizon infini 9 Patrice Perny RHAD Cours Processus décisionnels Markoviens Évaluation locale d une stratégie Le cas déterministe v u d(u) d(v) à horizon 1 à horizon 2 10 Patrice Perny RHAD Cours Processus décisionnels Markoviens 5

6 Évaluation Locale d une stratégie Le cas non-déterministe x d(x) v à horizon 1 u d(u) y d(v) à horizon 2 d(y) + γ 11 Patrice Perny RHAD Cours Processus décisionnels Markoviens Evaluation Locale d une stratégie Dernière décision Décision à t étapes de la fin 12 Patrice Perny RHAD Cours Processus décisionnels Markoviens 6

7 Décisions optimales (horizon fini) Dernière décision Décision à t étapes de la fin γ = 1 13 Patrice Perny RHAD Cours Processus décisionnels Markoviens Algorithme pour le cas d un horizon fini 14 Patrice Perny RHAD Cours Processus décisionnels Markoviens 7

8 Algorithme d itération de la valeur 15 Patrice Perny RHAD Cours Processus décisionnels Markoviens Une autre approche 16 Patrice Perny RHAD Cours Processus décisionnels Markoviens 8

9 Application : planification en IA Robot goals On souhaite atteindre l objectif dans une fenêtre de temps qui autorise au plus 3 mouvements Patrice Perny RHAD Cours Processus décisionnels Markoviens Graphe de décision associé goals Patrice Perny RHAD Cours Processus décisionnels Markoviens 9

10 Décisions optimales (horizon infini) 19 Patrice Perny RHAD Cours Processus décisionnels Markoviens Calcul de la stratégie optimale Algorithme de l itération de la valeur (Bellman, 57) 20 Patrice Perny RHAD Cours Processus décisionnels Markoviens 10

11 Garantie de performance Borne de l erreur (Williams and Baird, 1993) 21 Patrice Perny RHAD Cours Processus décisionnels Markoviens Exemple γ = 0.75 s1 s2 s3 s4 left s1 s2 s3 s4 s1 0,9 0,1 0 0 s2 0,9 0 0,1 0 s3 0 0,9 0 0,1 s ,9 0,1 s1 s2 s3 s4 ql qr V right s1 s2 s3 s4 s ,9 0 0 s2 0,1 0 0,9 0 s3 0 0,1 0 0,9 s , Patrice Perny RHAD Cours Processus décisionnels Markoviens 11

12 Itération de la valeur s1 s2 s3 s4 left s1 s2 s3 s4 ql s qr s s s ql qr right s1 s2 s3 s s s ql s qr s ql qr ql qr ql qr s1 s2 s3 s4 23 Patrice Perny RHAD Cours Processus décisionnels Markoviens Algorithme d itération de la valeur 24 Patrice Perny RHAD Cours Processus décisionnels Markoviens 12

13 Une autre approche 25 Patrice Perny RHAD Cours Processus décisionnels Markoviens Observabilité partielle (POMDPs) L agent n est pas capable de connaître avec certitude l état courant Déplacement à droite (qui réussit à 0.9) s1 s2 s3 s4 Observation on ne voit pas le but Révision des croyances Patrice Perny RHAD Cours Processus décisionnels Markoviens 13

14 Pour aller plus loin Tutorial sur le web Articles 27 Patrice Perny RHAD Cours Processus décisionnels Markoviens 14