Programmation dynamique. 6. Programmation dynamique. Principe d optimalité de Bellman. Programmation dynamique : notation

Transcription

1 Programmation dynamique IFT575 Modèles de recherche opérationnelle (RO) 6. Programmation dynamique Supposons un problème décomposé en étapes Chaque étape possède un certain nombre d états correspondant aux conditions possibles au début d une étape A chaque étape, on doit prendre une décision qui associe à l état courant l état au début de la prochaine étape Dans le cas d un problème d optimisation, la programmation dynamique identifie une politique optimale : une décision optimale à chaque étape pour chaque état possible 6. Programmation dynamique Principe d optimalité de Bellman Étant donné un état courant, la politique optimale pour les étapes à venir est indépendante des décisions prises aux étapes précédentes Lorsque ce principe est satisfait, on peut recourir à l approche suivante pour résoudre un problème ayant N étapes : Identifier une décision optimale pour la dernière étape (N) Pour chaque étape n, de N à : Étant donné une politique optimale pour l étape n+, identifier une politique optimale pour l étape n au moyen d une relation de récurrence Lorsque n =, on obtient une politique optimale pour le problème Programmation dynamique : notation N = nombre d étapes n = indice de l étape courante s n = état au début de l étape n x n = variable de décision associée à l étape n f n (s n,x n ) = contribution des étapes n, n+,, N à la valeur de l objectif lorsqu on se trouve à l état s n au début de l étape n, que la décision est x n, et que des décisions optimales sont prises par la suite x n * = solution optimale à l étape n f n *(s n ) = f n (s n,x n *) = min{f n (s n,x n )} ou max{f n (s n,x n )} 6. Programmation dynamique 6. Programmation dynamique 4

2 Programmation dynamique : tableau A chaque itération de la méthode, on construira un tableau représentant : La liste des états possibles à l étape n Les valeurs possibles de la variable x n La contribution à la valeur de l objectif, f n (s n,x n ) La valeur optimale f n *(s n ) et la solution optimale x n * s n x n =a x n =b x n =c f n *(s n ) x n * Exemple : productioninventaire Une compagnie doit fournir à son meilleur client trois unités du produit P durant chacune des trois prochaines semaines Voici les coûts de production : Semaine Production max, temps régulier Production max, temps supp. Coût unitaire, temps régulier $ f n (,a) f n (,b) f n (,c) f n *() 5 $ f n (,a) f n (,b) f n (,c) f n *() 4 $ 6. Programmation dynamique 5 6. Programmation dynamique 6 Exemple (suite) Le coût pour chaque unité produite en temps supplémentaire est $ de plus que le coût par unité produite en temps régulier Le coût unitaire d inventaire est de 5 $ par semaine Au début de la première semaine, il y a unités du produit dans l inventaire La compagnie ne veut plus rien avoir dans son inventaire au bout des trois semaines Combien doiton produire d unités à chaque semaine afin de rencontrer la demande du client, tout en minimisant les coûts? 6. Programmation dynamique 7 Exemple (suite) Étape = semaine N = n =,, s n = état au début de la semaine n = unités de produit dans l inventaire x n = nombre d unités produites lors de la semaine n s n+ = s n + x n (puisqu on doit livrer unités au client à chaque semaine) s = (puisqu il y a unités au début) 6. Programmation dynamique 8

3 Exemple (suite) Exemple (suite) c n = coût unitaire de production, semaine n r n = production max en temps régulier, semaine n m n = production max, semaine n p n (s n,x n ) = c n x n +max(,x n r n )+5max(,s n +x n ) f n (s n,x n ) = p n (s n,x n ) + f n+ *(s n+ ) f n *(s n ) = min{p n (s n,x n )+f n+ *(s n+ ) s n x n m n } Si n =, on doit poser f 4 *(s 4 ) = s f ( s,s ) f *(s ) x * De plus, s 4 = = s + x x = s Calculons d abord les valeurs f *(s ) et x * 6. Programmation dynamique 9 6. Programmation dynamique Exemple (suite) Exemple (suite) Voyons maintenant comment on peut calculer les valeurs f *(s ) et x *, lorsque s = D abord, il est clair qu on doit avoir x (car on doit livrer au moins unités du produit) f (,) = p (,) + f *() = = 9 f (,4) = p (,4) + f *() = = 5 f (,5) = p (,5) + f *() = = f *() = min{f (,), f (,4), f (,5)} = f (,) D où x * = s x = 4 x = 9 45 x = x = x = x = f *(s ) x * De la même façon, on calcule pour s =,, 6. Programmation dynamique 6. Programmation dynamique

4 Exemple (suite) Pour la première étape (n = ), on a s = (il y a unités au départ dans l inventaire) On doit donc avoir x f (,) = p (,) + f *() = + 9 = f (,) = p (,) + f *() = = 5 f (,) = p (,) + f *() = + 9 = f (,4) = p (,4) + f *() = = 95 f *() = f (,4) et x * = 4 Exemple (suite) Sous forme de tableau, cela donne : s x = x = 5 x = x =4 95 f *(s ) 95 La politique optimale est donc : x * = 4 (d où s = ), x * = (d où s = ), x * = Le coût total est : f *() = 95 $ x * 4 6. Programmation dynamique 6. Programmation dynamique 4 Exemple : affectation de ressources Trois équipes de recherche travaillent sur un même problème avec chacune une approche différente La probabilité que l équipe Ei échoue est : P(E) =,4; P(E) =,6; P(E) =,8 Ainsi, la probabilité que les trois équipes échouent simultanément est : (,4)(,6)(,8) =,9 On veut ajouter deux autres scientifiques afin de minimiser la probabilité d échec A quelles équipes fautil affecter ces deux scientifiques afin de minimiser la probabilité d échec? Exemple : données Voici le tableau représentant les probabilités d échec pour chaque équipe en fonction du nombre de scientifiques ajoutés Scientifiques ajoutés E,4,,5 E,6,4, E,8,5, 6. Programmation dynamique 5 6. Programmation dynamique 6 4

5 Exemple : modèle Exemple : résolution Étape n = équipe En, n =,, (N = ) État s n = nombre de scientifiques non encore affectés Décision x n = nombre de scientifiques affectés à l équipe En p n (x n ) = probabilité d échec de l équipe En si on lui affecte x n scientifiques f n (s n,x n ) = p n (x n ).f n+ *(s n x n ) (f 4 *() = ) f n *(s n ) = min{f n (s n,x n ) x n =,,,s n } Calculons d abord f *(s ) et x * On doit avoir s = x (on affecte tous les scientifiques non encore affectés) s f (s,s ),8,5, f *(s ),8,5, x * 6. Programmation dynamique 7 6. Programmation dynamique 8 Exemple : résolution (suite) Exemple : résolution (suite) Voyons maintenant comment on peut calculer les valeurs f *(s ) et x *, lorsque s = Il est clair qu on doit avoir x f (,) = p (,).f *() =,6.,5 =, f (,) = p (,).f *() =,4.,8 =, f *() = min{f (,), f (,)} = f (,) s x =,48, x =, x = f *(s ),48, x * D où x * = De la même façon, on calcule pour s = et,8,,6,6 6. Programmation dynamique 9 6. Programmation dynamique 5

6 Exemple : résolution (suite) Exemple : résolution (suite et fin) Pour la dernière étape (n = ), on a s = (il y a scientifiques à affecter) f (,) = p (,).f *() =,4.,6 =,64 f (,) = p (,).f *() =,., =,6 f (,) = p (,).f *() =,5.,48 =,7 f *() = f (,) et x * = s x =,64 x =,6 x =,7 f *(s ),6 La politique optimale est donc : x * = (d où s = ), x * = (d où s = ), x * = La probabilité d échec est : f *() =,6 x * 6. Programmation dynamique 6. Programmation dynamique Affectation de ressources Programmation dynamique : souvent utilisée pour résoudre des problèmes d affectation de ressources C était le cas dans notre dernier exemple, où il y avait une ressource à affecter (les scientifiques) Que faire lorsqu il y a plus d une ressource? Dans ce cas, chaque état est un vecteur dont chaque coordonnée i représente la quantité de la ressource i non encore affectée Voyons un exemple bien connu d affectation de ressources multiples : le problème Wyndor Glass Exemple : problème Wyndor Glass Deux types de produits (produit, produit ) Trois usines (usine, usine, usine ) Ressource i : Capacité de production pour l usine i (h/par semaine) Profit par lot ( unités) de chaque produit Chaque lot du produit () est le résultat combiné de la production aux usines et ( et ) Déterminer le taux de production pour chaque produit (nombre de lots/semaine) de façon à maximiser le profit total 6. Programmation dynamique 6. Programmation dynamique 4 6

7 Exemple : données Voici le tableau représentant les données du problème Usine Usine Usine Profit($)/lot Produit (tps de production, h/lot) Produit (tps de production, h/lot) 5 Capacité de production (h) 4 8 Exemple : modèle Étape n = produit n, n =, (N = ) État s n = (R,R,R ) n, où R i est la quantité de la ressource i (temps de production à l usine i) non encore affectée Décision x n = nombre de lots du produit n f n (s n,x n ) = c n x n + f n+ *(s n+ ) (f *(s ) = ) f *(s ) = max{5x x, x 8x, x } f *(s ) = max{x +f *(s ) x 4,x 8,x } s = (4,,8), s = (4x,,8x ) 6. Programmation dynamique 5 6. Programmation dynamique 6 Exemple : résolution On cherche d abord f *(s ) et x * f *(s ) = max{5x x, x 8x, x } x et x 8x x min{6,(8x )/} f *(s ) = max{5x x min{6,(8x )/}} x * = min{6,(8x )/} f *(s ) = 5 min{6,(8x )/) x 8} Calculons maintenant f *(s ) et x * Exemple : résolution (suite) f *(s ) = max{x +f *(s ) x 4,x 8,x } x 4 x 8 f *(s ) = max{x +5 min{6,(8x )/) x 4} min{6,(8x )/)} = 6, si x = (8x )/, si x 4 f *(s ) = max{f (s,x ) x 4} f (s,x ) = x +, si x = 45 (9/)x, si x 4 Le maximum est atteint en x * = et f *(s ) = 6 6. Programmation dynamique 7 6. Programmation dynamique 8 7

8 Exemple : résolution (suite et fin) x * = min{6,(8x )/} et x * = x * = 6 La politique optimale est donc : x * =, x * = 6 de valeur f *(s ) = 6 En utilisant la même approche, on peut résoudre par la programmation dynamique des modèles où : L objectif ou les contraintes sont non linéaires Certaines variables sont entières Cas probabiliste Dans la programmation dynamique probabiliste, la décision optimale à l étape n dépend de la loi de probabilité de l état à l étape n+ Ainsi, on passera de l étape n à l étape n+, se retrouvant ainsi dans l état i, avec une probabilité p i Étant donné S états à l étape n+, on aura p i et S i= p i = La relation de récurrence dépend de cette loi de probabilité et de l objectif à optimiser 6. Programmation dynamique 9 6. Programmation dynamique Exemple 4 : jeu de hasard Le jeu consiste à miser un nombre quelconque de jetons Si on gagne, on gagne le nombre de jetons misés Si on perd, on perd le nombre de jetons misés Un statisticien croit pouvoir gagner chaque jeu avec une probabilité égale à / Ses collègues parient avec lui qu en misant au départ jetons, il aura moins de 5 jetons après parties Combien de jetons miser à chacune des parties? Exemple 4 : modèle Étape n = partie n, n =,, (N = ) État s n = nombre de jetons au début de la partie n Décision x n = nombre de jetons à parier à la partie n On veut maximiser la probabilité d avoir au moins 5 jetons après parties f n (s n,x n ) : probabilité de terminer avec au moins 5 jetons, étant donné qu on est à l état s n à l étape n, qu on mise x n jetons et qu on effectue des décisions optimales aux étapes n+,,n f n *(s n ) = max{f n (s n,x n ) x n =,,,s n } 6. Programmation dynamique 6. Programmation dynamique 8

9 Exemple 4 : modèle (suite) Exemple 4 : résolution (n = ) Étant donné qu on est à l état s n à l étape n et qu on mise x n jetons, on peut : Perdre et se retrouver à l état s n x n avec une probabilité / Gagner et se retrouver à l état s n + x n avec une probabilité / f n (s n,x n ) = (/).f n+ *(s n x n ) + (/). f n+ *(s n +x n ) f 4 *(s 4 ) =, si s 4 < 5 =, si s 4 5 Calculons d abord f *(s ) et x * s 4 x = x = / x = / / x = / / x =4 / f *(s ) / / x * 5 6. Programmation dynamique 6. Programmation dynamique 4 Exemple 4 : résolution (n = ) Exemple 4 : résolution (n = ) Voyons maintenant comment on peut calculer les valeurs f *(s ) et x *, lorsque s = Il est clair qu on doit avoir x f (,) = /.f *() + /.f *() = / f (,) = /.f *() + /.f *(4) = 4/9 f (,) = /.f *() + /.f *(5) = / f (,) = /.f *() + /.f *(6) = / f *() = max{f (,),f (,),f (,),f (,)} = f (,) D où x * =, ou De la même façon, on calcule pour s =,,,4,5 s 4 5 x = / / x = 4/9 4/9 8/9 x = 4/9 / / x = / / x =4 / f *(s ) 4/9 / 8/9 x *,,, 6. Programmation dynamique 5 6. Programmation dynamique 6 9

10 Exemple 4 : résolution (n = ) Pour la première étape (n = ), on a s = ( jetons au départ affecter) f (,) = /.f *() + /.f *() = / f (,) = /.f *() + /.f *(4) = /7 f (,) = /.f *() + /.f *(5) = / f (,) = /.f *() + /.f *(6) = / f *() = max{f (,),f (,),f (,),f (,)} = f (,) D où x * = 6. Programmation dynamique 7 Exemple 4 : résolution (suite et fin) s x = / x = /7 x = / x = / La politique optimale est donc : x * = Si on gagne (s = 4), x * = Si on gagne (s = 5), x * = Si on perd (s = ), x * = ou Si on perd (s = ), x * = ou f *(s ) /7 x * Si on gagne (s = ou 4), x * = ou (si x * = ) ou x * 4 (si x * = ) Si on perd (s = ou ), x * (mais le pari est perdu!) 6. Programmation dynamique 8