Cours 4: Programmation linéaire

Transcription

1 Cours 4: Programmation linéaire Position du problème Algorithme du simplexe générique Dualité. Dégénérescence et terminaison de l algorithme 1-1

3 Un problème de programmation linéaire Donnée: Une matrice réelle A = (a i,j ) de taille m n, un vecteur b = (b 1,..., b m ) de taille m, un vecteur c = (c 1,..., c n ) de taille n. Problème: Trouver un point x = (x 1,..., x n ) qui satisfait les m contraintes a i,1 x a i,n x n b i, et maximise le produit c x = c 1 x c n x n. Reformulation matricielle: on cherche max(c x Ax b). Remarque: Les a i,j, b i et c i peuvent être négatifs, on peut donc modéliser des contraintes ou = et chercher min au lieu de max. 3-1

4 4-1 Un exemple bateau: le fleuriste Donnée. En stock: 50 lys, 80 roses, 80 jonquilles. Composition des bouquets au catalogue: 10 lys, 10 roses, 20 jonquilles: 4 euros x bouquets y bouquets 10 lys, 20 roses, 10 jonquilles: 5 euros Problème Quels bouquets préparer si on est assuré de tout vendre? y Contraintes: sur les lys: 10x + 10y sur les roses: 10x + 20y c 22 sur les jonquilles: 20x + 10y x 0 y 0 x Fonction économique à maximiser: max(4x + 5y). Lorsqu on a les contraintes x i 0 on peut toujours penser en termes économiques: produits finis, matières premières, bénéfice.

5 Interprétation géométrique Donnée: Une matrice réelle A = (a i,j ) de taille m n, un vecteur b = (b 1,..., b m ) de taille m, un vecteur c = (c 1,..., c n ) de taille n. Chaque équation a i,1 x a i,n x n b i coupe l espace en 2, le long d un l hyperplan normal au vecteur L i = (a i,1,..., a i,n ). L ensemble des x satisfaisant Ax b forme un polyhèdre convexe P 5-1

6 Interprétation géométrique Donnée: Une matrice réelle A = (a i,j ) de taille m n, un vecteur b = (b 1,..., b m ) de taille m, un vecteur c = (c 1,..., c n ) de taille n. Chaque équation a i,1 x a i,n x n b i coupe l espace en 2, le long d un l hyperplan normal au vecteur L i = (a i,1,..., a i,n ). L ensemble des x satisfaisant Ax b forme un polyhèdre convexe P éventuellement vide 5-2

7 Interprétation géométrique Donnée: Une matrice réelle A = (a i,j ) de taille m n, un vecteur b = (b 1,..., b m ) de taille m, un vecteur c = (c 1,..., c n ) de taille n. Chaque équation a i,1 x a i,n x n b i coupe l espace en 2, le long d un l hyperplan normal au vecteur L i = (a i,1,..., a i,n ). L ensemble des x satisfaisant Ax b forme un polyhèdre convexe P éventuellement vide ou non borné 5-3

8 Interprétation géométrique Donnée: Une matrice réelle A = (a i,j ) de taille m n, un vecteur b = (b 1,..., b m ) de taille m, un vecteur c = (c 1,..., c n ) de taille n. Chaque équation a i,1 x a i,n x n b i coupe l espace en 2, le long d un l hyperplan normal au vecteur L i = (a i,1,..., a i,n ). L ensemble des x satisfaisant Ax b forme un polyhèdre convexe P éventuellement vide ou non borné Le vecteur c indique la direction dans laquelle on optimise: max(c x x P ) L optimum peut être à l infini. 5-4

9 Interprétation géométrique Donnée: Une matrice réelle A = (a i,j ) de taille m n, un vecteur b = (b 1,..., b m ) de taille m, un vecteur c = (c 1,..., c n ) de taille n. Chaque équation a i,1 x a i,n x n b i coupe l espace en 2, le long d un l hyperplan normal au vecteur L i = (a i,1,..., a i,n ). L ensemble des x satisfaisant Ax b forme un polyhèdre convexe P éventuellement vide ou non borné Le vecteur c indique la direction dans laquelle on optimise: max(c x x P ) L optimum peut être à l infini. S il est fini, il est atteint en un sommet. C est toujours le cas si P est borné. 5-5

10 Interprétation géométrique Donnée: Une matrice réelle A = (a i,j ) de taille m n, un vecteur b = (b 1,..., b m ) de taille m, un vecteur c = (c 1,..., c n ) de taille n. Chaque équation a i,1 x a i,n x n b i coupe l espace en 2, le long d un l hyperplan normal au vecteur L i = (a i,1,..., a i,n ). L ensemble des x satisfaisant Ax b forme un polyhèdre convexe P éventuellement vide ou non borné Le vecteur c indique la direction dans laquelle on optimise: max(c x x P ) Par convexité, un sommet est optimum si et seulement si il est meilleur que ses voisins. 5-6

12 7-1 Algorithme du simplexe, premier essai Initialiser x avec un sommet quelconque de P Tant qu on a pas trouvé une direction infinie où c x croit, et qu il existe x voisin de x avec c x > c x, faire x := x. Remarques: Glouton... Qu est ce qu un sommet, un voisin? Sommet = intersection de n hyperplans, donné par I = {indices des n équations} Voisin = partage n 1 équations un sommet a n(m n) voisins? On veut un voisin qui soit un sommet de P. Le long d une arête (I \ {i}), seul le premier voisin rencontré est dans P : comparer les distances. n = 2 m = 5

13 Détecter les directions infinies où c x croît. Si le polyhèdre n est pas borné, c x peut croître indéfiniment: Lemme: les 2 cas suivants s excluent mutuellement: c s écrit c = P i y il i avec les y i 0 l optimum est borné il existe u tq c u > 0 et Au 0 8-1

14 Détecter les directions infinies où c x croît. Si le polyhèdre n est pas borné, c x peut croître indéfiniment: Lemme: les 2 cas suivants c s écrit c = P s excluent mutuellement: i y il i avec les y i 0 l optimum est borné il existe u tq c u > 0 et Au 0 8-2

15 Détecter les directions infinies où c x croît. Si le polyhèdre n est pas borné, c x peut croître indéfiniment: Lemme: les 2 cas suivants s excluent mutuellement: c s écrit c = P i y il i avec les y i 0 il existe u tq c u > 0 et Au 0 En effet: c = ya cu = yau donc si y 0 et Au 0, on a cu 0. Application: si au cours de l exécution on rencontre une arête de direction u tq Au 0 et cu > 0, on a trouvé une direction de croissance infinie et on peut s arrêter. Si au point x I, c = P i I y il i avec y i 0, on a trouvé l optimum. l optimum est borné 8-3

16 Algorithme du simplexe, version générique Soit x I le sommet courant, solutions des n équations (L k x = b k ) k I Exprimer c dans la base {L k } k I : c = P k I y kl k. Si y k 0 pour tout k I, on a trouvé l optimum. Sinon on choisit le plus petit i I tq y i < 0 et on considère l arête définie par les équations de I = I \ {i}. Soit u son vecteur directeur tq L i u = 1 (c est une colonne de (A I ) 1 ). Calculer la vitesse vers L j quand on suit u: v j = L j u. si v j 0 on s éloigne de l hyperplan L j : si j, max =. Parmi les voisins sur l arête, prendre celui qui est dans P. C est celui qui est le plus proche parmi ceux du bon côté: donné par un des j tels que v j > 0 qui minimisent b j L j x I v j. faire I = I \ {i} {j}, recalculer x I et reprendre. 9-1

17 Algorithme du simplexe, analyse Soit x I le sommet courant, solutions des n équations (L k x = b k ) k I Si on avance vers le sommet x J, J = I \ {i} {j}, alors: c = P k I y kl k, avec y i 0 pour k < i, y i < 0. Comparons l objectif c x I avec c x J : c x J = c x I + c bj L j x I v j u = c x I + b j L j x I v j c u or c u = P k I y kl k u = y i > 0 puisque u est dans les hyperplans L k, k i et L i u = 1. comme prévu x J améliore l objectif... sauf si b j L j x = 0! Si plus de n hyperplans L k passent par x I, certaines arêtes dégénèrent et on peut avoir x J = x I, l algorithme risque de boucler. Une solution: perturber les b i pour éliminer les dégénérescences. 10-1

18 Algorithme du simplexe, initialisation Pour démarrer l algorithme il faut avoir un sommet de P. On cherche: argmax(cx Ax b) On peut toujours poser x i = y i z i (le nombre de variables double) et maximiser (c, c) `y z pour (A, A)`y z b et `y z 0. On cherche donc: argmax(cx Ax b, x 0) Si les b i sont positifs, (0,..., 0) est notre sommet initial. Sinon on cherche un sommet de P = {x Ax b, x 0} On fait cela en cherchant parmi les (x 1,..., x n, t) tq a i,1 x a i,n x n t b i pour tout i, un point qui minimise t. On connait un sommet initial (0,..., 0, T ) pour ce problème linéaire. Il existe (et on obtient) un sommet de P ssi t = 0 dans sa solution. 11-1

20 13-1 Primal/dual et théorème de dualité Théorème (cas inégalités+positivité). Si l un des 2 problèmes suivant (P) max(cx Ax b, x 0) (D) min(yb ya c, y 0) admet une solution finie, alors l autre aussi et on a min(yb ya c, y 0) = max(cx Ax b, x 0) Interprétation. Retour au fleuriste. Primal max(4x + 5x ) y 1 10x + 10x 50 y 2 10x + 20x 80 y 20x + 10x 3 80 x 0, x 0 Le théorème dit qu on peut obtenir une borne optimale par multiplicateur. Si on augmente la denrée i de i, le gain augmente de i y i. Dual min(50y 1 +80y 2 +80y 3 ) 10y y y y y y 3 5 y 1 0, y 2 0, y x + 5x (10y y y 3 )x + (10y y y 3 )x 50y y y 3

21 Primal/dual et théorème de dualité Primal / Dual, cas général. Le théorème s applique aux paires: Primal max(c 1 x c n x n ) a i1 x a in x n b i pour i I a i1 x a in x n = b i pour i E x j 0 pour j P. Dual min(b 1 y b m y m ) a 1j y a mj y m c j pour j P a 1j y a mj y m = c j pour j N y i 0 pour i I. où m = I + E et n = P + N Les inégalité donnent dans le dual des variables contraintes à être positives, les égalités des variables quelconques (penser à l interprétation des variables duales comme multiplicateurs). En TD: le théorème de dualité maxflow = mincut 14-1

23 Dégénérescence et risque de bouclage Dégénérescence: un sommet appartient à plus de n hyperplans. Il n est pas forcément acceptable de perturber. Parmi les voisins de x {2,3} il y a x {1,3}, x {1,4}, x {1,2}, x {2,4}. Ce sont même ses plus proches voisins... En dimension supérieure il peut être nécessaire de changer plusieurs lignes pour trouver un vrai voisin dans P. Il peut y avoir un nombre exponentiel de faux voisins. Notre algorithme du simplexe prend un voisin le plus proche: il faut bien le choisir pour ne pas risquer de boucler indéfiniment en changeant I sans changer x I : x {2,3} x {1,3} x {1,2} x {2,3}

24 Algorithme du simplexe, version finale Soit x I le sommet courant, solutions des n équations (L k x = b k ) k I Exprimer c dans la base {L k } k I : c = P k I y kl k. Si y k 0 pour tout k I, on a trouvé l optimum. Sinon on choisit le plus petit i I tq y i < 0 et on considère l arête définie par les équations de I = I \ {i}. Soit u son vecteur directeur tq L i u = 1 (c est une colonne de (A I ) 1 ). Calculer la vitesse vers L j quand on suit u: v j = L j u. si v j 0 on s éloigne de l hyperplan L j : si j, max =. Parmi les voisins sur l arête, prendre celui qui est dans P, c est celui qui est le plus proche parmi ceux du bon côté: le plus petit parmi les j tels que v j > 0 qui minimisent b j L j x I v j. faire I = I \ {i} {j}, recalculer x I et reprendre. 17-1

25 Algorithme du simplexe, preuve de terminaison Si l algo boucle c est qu on est revenu au même I, sans changer c x I (c x I croît). On observe l évolution des indices présents dans I. r inchangé 18-1 I I I I Soit r le plus grand indice qui est entre ou sort durant la boucle, I et I les ensembles d indices à des temps d entrée et de sortie de r. Comme r sort de I : c = P i I y i L i, avec y i 0 pour i < r, et y r < 0. Soit u la direction de l arête sélectionnée lors du traitement de I : alors L i u = 0 pour i I \ {r} et, comme r entre dans I, on a pour j < r, L j u < 0 dès que b j L j u = 0, ce qui est le cas pour j I \ I. D où cu = P i I y i L i u = P i<r, i I y i L i u + y r L r u < 0. Ceci contredit le fait que suivant le u choisi on améliore l objectif: (cu > 0).

26 Algorithme du simplexe, complexité Puisque le nombre de voisins d un sommet est n(m 1) au plus, chaque étape a un coût polynomial. Le nombre de sommets peut être exponentiel (jusqu à `m n ) en m et n, et il existe des exemples pour lesquels le simplexe visite effectivement un nombre exponentiel de sommets... (Worst case analysis). On constate que cela ne se produit quasiment jamais en pratique... On peut montrer qu en moyenne sur des problèmes aléatoires l algorithme est polynomial (Average case analysis). Mieux on peut montrer que si on perturbe aléatoirement des données arbitraires, l algorithme reste polynomial (Smooth analysis). 19-1

27 Programmation linéaire, algorithmes polynomiaux. Le simplexe n est pas polynomial mais presque... De fait il existe des algorithmes polynomiaux pour la programmation linéaire: notamment les méthodes de l ellipsoide et du point intérieur. Attention toutefois: il y a des algorithmes polynomiaux si on cherche les optimaux à coordonnées dans R. On verra que, contrairement à ce qui se passe pour les problèmes de flots, le problème devient dur si on veut des solutions entières. 20-1

28 Cours 4: Programmation linéaire Position du problème Algorithme du simplexe générique Dualité. Dégénérescence et terminaison de l algorithme Retenir: - Il existe d excellente boites noires pour résoudre les LP. - Modélisation par LP (en PC). Thm Primal-Dual. 21-1