République Algérienne Démocratique et Populaire. Université Hadj Lakhdar-Batna- Faculté des Sciences. Département de Mathématiques.

Transcription

1 République Algérienne Démocratique et Populaire Ministère de l enseignement supérieur et de la recherche scienti que Université Hadj Lakhdar-atna- Faculté des Sciences Département de Mathématiques Thèse Présentée en vue de l obtention du Diplôme de DOTORAT EN SIENES Option : Mathématiques appliquées Par El Amir DJEFFAL Thème ETUDE DE QUELQUES ALGORITHMES DE POINTS INTERIEURS POUR LA PROGRAMMATION ONVEXE Soutenue le : septembre 23 Devant le jury d examen : Président : Rachid enacer Pr. Université Hadj Lakhdar. atna Rapporteur : Lakhdar Dje al M..A. Université Hadj Lakhdar. atna Examinateurs : Abdelhamid Ayadi Pr. Université Larbi ben M hidi. O.E. Khaled Melkemi Nacer Adjeroud Nacer Khelil Pr. Université Mohamed Kheidar. iskra M..A. Université Abbas Laghror. Khenchela M..A. Université Mohamed Kheidar. iskra

2 A Thesis Presented to The Academic Faculty by In Partial Ful llment of the Requirements for the Degree Georgia Institute of Technology October 23

3 Approved by: Date Approved

4 Table des matières LIST OF TALES vi LIST OF FIGURES vii Introduction I PRÉLIMINAIRES ET NOTIONS FONDAMENTALES Eléments d analyse convexe Notions de convexité onvexité et Dérivée Programmation mathématique lassi cation des problèmes d optimisation Quali cation des contraintes Résolution d un programme mathématique Existence & Unicité onditions d optimalité Méthode de Newton pour résoudre un système non linéaire Les méthodes de directions admissibles Méthodes de résolution d un programme mathématique... 4 II MÉTHODES DE POINTS INTÉRIEURS DE TYPE NEWTO- NIENNE POUR RÉSOUDRE UN PROGRAMME QUADRATIQUE ONVEXE (QP ) Méthode de la trajectoire centrale non réalisable pour la (QP ) Présentation et principe de la méthode Algorithme ( Méthode de la trajectoire centrale non réalisable) onvergence de l algorithme Tests Numériques Méthode de la trajectoire centrale réalisable pour (QP ) Déscription et principe de la méthode Algorithme ( Méthode de la trajectoire centrale réalisable ) iii

5 2.3 Méthode de la trajectoire centrale réalisable améliorée pour (QP ) Description de la méthode Algorithme ( Méthode de la trajectoire centrale réalisable améliorée ) Etude de la convergence Tests Numériques III ALGORITHMES DE RÉSOLUTION D UN PROLÈME DE OM- PLÉMENTARITÉ LINÉAIRE (LP ) Méthode de Karmarkar Principe de la méthode Etude de la convergence Extension de la méthode de karmarkar Introduction Présentation du problème Préparation de l algorithme Algorithme (Extension d une méthode projective pour résoudre (LP )) onvergence de l algorithme Tests Numériques Algorithme à petit pas pour (LP ) Introduction Présentation du problème Direction de descente Algorithme ( Méthode de la trajectoire centrale à petit pas pour résoudre LP ) Etude de la convergence Tests numériques IV ALGORITHME DE POINTS INTÉRIEURS POUR UN PROLÈME D OPTIMISATION SEMI DÉFINI (SDO) ASÉ SUR UNE NOU- VELLE FONTION NOYAU iv

6 4. Déscription de l algorithme Méthode de la trajectoire centrale Direction de descente Algorithme générique de points intérieurs pour (SDO) Fonction noyau et ses propriétés onvergence de l algorithme Le pas de déplacement Diminution de la fonction de proximité Les bornes d itération onclusion Annexe ibliographie v

7 Liste des tableaux vi

8 Table des gures vii

9 Introduction La programmation mathématique, branche de l optimisation, s occupe de la minimisation (maximisation) sous contraintes d une fonction à plusieurs variables, schéma très général s appliquant à de nombreuses situations pratiques dans beaucoup de domaines (minimisation de coûts, de durées,... etc.) Dans le cas d une fonction et de contraintes linéaires (programmation linéaire), on dispose d une méthode e cace de résolution : l algorithme du simplexe, découvert par Dantzig en 947 [7]. et algorithme a connu depuis lors de nombreuses améliorations, et est utilisé dans la majorité des logiciels commerciaux. ependant, un nouveau type de méthodes de résolution a fait son apparition en 984 [43] : les méthodes de points intérieurs. La plupart des idées sous-jacentes à ces méthodes proviennent du domaine de la programmation non linéaire. Parmi leurs avantages, citons. E cacité théorique : il est possible de prouver que ces méthodes s exécutent en temps polynomial (ce qui n est pas le cas de l algorithme du simplexe, de nature exponentielle). 2. E cacité pratique : les temps de calcul et de réponse de ces méthodes sont compétitifs (et battent l algorithme du simplexe dans le cas de problèmes de grande taille). 3. Traitement de très grands problèmes : ces méthodes permettent de résoudre des problèmes de très grande taille qu aucun autre algorithme connu ne pourrait traiter en un temps acceptable. 4. Adaptation au cas non linéaire : il est possible d adapter ces méthodes à la programmation non linéaire, plus particulièrement à la programmation convexe, ce qui permet de traiter de nouveaux types de problèmes pour lesquels on ne

10 connaissait jusqu à présent aucune méthode de résolution e cace. Nous allons à présent donner un bref aperçu historique du domaine de la programmation mathématique, a n de situer la découverte des méthodes de points intérieurs dans son contexte. Débuts de la programmation linéaire - Algorithme du simplexe : Premières formulations de problèmes de programmation linéaire : Seconde guerre mondiale. La recherche opérationnelle fait ses débuts, applications militaires. 947 : Georges. Dantzig publie un article relatif à l algorithme du simplexe de programmation linéaire [7]. 956 : A. J. Goldman et A. W. Tucker démontrent l existence d une solution strictement complémentaire au problème de programmation linéaire [39]. 972 : V. Klee et G. Minty démontrent le caractère exponentiel de la complexité algorithmique de la méthode du simplexe [48]. Débuts des méthodes de points intérieurs et complexité polynomiale 955 : K. R. Frisch invente une méthode de points intérieurs pour résoudre un problème non linéaire (méthode de potentiel logarithmique, utilisation d une fonction barrière) [38]. 968 : A. V. Fiacco et G. P. Mcormick développent l utilisation des méthodes de points intérieurs en programmation convexe non linéaire [36]. 978 : L. G. Kachian applique la méthode de l ellipsoïde (développée par N. Shor en 97, [74]) à la programmation linéaire et prouve qu elle est de complexité polynomiale [47]. ette méthode, bien que faisant converger une suite d itérés, n est cependant pas une méthode de points intérieurs au sens accepté actuellement. Il faut remarquer qu à cette époque, on utilise les méthodes de points intérieurs dans le cadre non linéaire uniquement. ien que Fiacco et Mcormick notent que leurs méthodes sont également applicables au cas linéaire, ils ne les considèrent pas 2

11 sérieusement comme une alternative viable à l algorithme du simplexe. De plus, la méthode de Kachian, bien que théoriquement supérieure à l algorithme du simplexe (du point de vue de la complexité de pire cas), est en pratique bien plus lente, parce qu elle atteint principalement son pire cas pour la majorité des problèmes, alors que le simplexe n exhibe qu exceptionnellement son comportement de pire cas exponentiel [3]. Explosion des méthodes de points intérieurs 984 : N. K. Karmarkar découvre une méthode de points intérieurs polynomiale plus e cace que celle de Kachian, qu il a rme également comme supérieure à l algorithme du simplexe [43]. 994 : Y. Nesterov et A. Nemirovsky publient leurs études sur les méthodes de points intérieurs polynomiales appliquées à la programmation convexe [62]. 997 : Depuis l annonce de Karmarkar, plus de 2 articles de recherche portant sur les méthodes de point intérieur ont été publiés par la communauté scienti que [37]. Les premiers ouvrages récapitulatifs paraissent. Les recherches se dirigent vers la programmation non linéaire. es méthodes ont fait leurs preuves dans le domaine de la programmation linéaire (P L) notamment par leur bonnes propriétés théoriques (complexité polynomiale et convergence superlinéaire) et leur bon comportement numérique. Aussitôt, des variantes sont introduites pour la programmation quadratique et la complémentarité linéaire. eci étant, il faut signaler tout de même que ( sur le plan technique), ces méthodes présentent des inconvénients d ordre théorique et numérique entre autre : le problème d initialisation et le coût excessif de l itération lié aux choix de la direction et du pas de déplacement. Notre étude est répartie en trois volets : Le premier est un étude comparative entre trois algorithmes de points intérieurs, celle de la trajectoire centrale. L e ort est concentré sur le problème d initialisation 3

12 pour lequel nous proposons trois alternatives : trajectoire centrale non réalisable, trajectoire centrale réalisable et trajectoire centrale réalisable amélioré. Le deuxième volet concerne la comparaison entre l extension d une méthodes projective et une méthode de la trajectoire centrale basée sur une nouvelle classe de la direction de descente pour un problème de complémentarité linéaire. Le troisième volet concerne la programmation semi dé nie La thèse est présentée en quatres chapitres. Le premier chapitre, est une introduction générale. elle ci contient un survol rapide : historique, éléments d analyse convexe, programmation mathématique, conditions d optimalité de la programmation mathématique. Le deuxième chapitre est réservé pour une étude comparative théorique et numérique d une méthode Newtonienne basée sur trois algorithmes pour la programmation quadratique convexe. Dans le troisième chapitre, on s intéresse à l extension d une méthode projective et étude d une méthode de la trajectoire centrale pour résoudre un problème de complémentarité linéaire basée sur une nouvelle classe pour déterminer la direction de descente. Dans le dernier chapitre, nous proposons une nouvelle fonction de proximité pour un problème d optimisation semi dé ni (SDO) par une nouvelle fonction noyau. En outre, nous formulons un algorithme de points intérieurs primal-dual pour (SDO) en utilisant la fonction de proximité et de donner son analyse de la complexité. En n, nous clôturerons ce travail par une conclusion et perspectives suivi par Annexe et ibliographie. 4

13 hapitre I PRÉLIMINAIRES ET NOTIONS FONDAMENTALES Dans ce chapitre, nous rappelons brièvement certaines propriétés de l analyse convexe, et quelques notions fondamentales de la programmation mathématique. 5

14 . Eléments d analyse convexe.. Notions de convexité La notion de convexité prend deux formes : un ensemble convexe, et une fonction convexe. Dé nition - Un ensemble D est convexe si pour toute paire de points x et y appartenant à D alors : tx + ( t)y 2 D ; 8 t c est-a-dire : le segment de droite reliant deux points de D est entièrement contenu dans D. - Un ensemble est dit a ne si pour toute paire de points x et y appartenant à D, t 2 R alors : tx + ( t)y 2 D - Un ensemble D est un polyèdre s il s écrit comme suit : D = fx 2 R n : p t ix i ; i = ; :::; mg; où p i est un vecteur non nul de R n et i est un scalaire pour i = ; :::; m: - Une fonction f est convexe sur un ensemble convexe D si : f (tx + ( t)y) t f(x) + ( t)f(y) ; 8 t c est-a-dire : l épigraphe f(x; y) : x 2 D; y f(x)gde la fonction f est un ensemble convexe. - Une fonction f est strictement convexe sur un ensemble convexe D si : f (tx + ( t)y) < t f(x) + ( t)f(y); 8 < t < : 6

15 - Une fonction f est (strictement) concave sur un ensemble convexe D si ( f) est (strictement) convexe sur D: - Le gradient d une fonction f : R n! R continûment di érentiable évalué au point x 2 R n s écrit : 2 3 : n t et l élément de la i eme ligne et la j eme colonne de la matrice Hessienne s écrit :..2 onvexité et Dérivée r 2 f(x) i j j : Les deuxièmes dérivées peuvent servir à déterminer la convexité ou la concavité d une fonction. Dé nition 2 Soit f : R n! R une fonction continûment di érentiable sur un domaine convexe D. f est une fonction convexe sur D si et seulement si la matrice Hessienne est semi-dé nie positive, c est-a-dire : pour tout x 2 D; y t r 2 f(x)y, 8y 2 R n : De même, si la matrice Hessienne est dé nie positive, c est-a-dire : pour tout x 2 D; y t r 2 f(x)y >, 8y 6= 2 R n ; alors f est une fonction strictement convexe sur D: Une matrice A est semi-dé nie (dé nie) positive si et seulement si les déterminants des mineurs principaux de A sont (strictement) positifs. Il s ensuit qu on peut véri er si une fonction est convexe en examinant le signe des mineurs principaux de la matrice Hessienne. De même, on peut véri er la concavité d une fonction f en analysant la convexité de ( f). Il n est pas vrai qu une fonction est concave si les déterminants des mineurs principaux sont tous négatifs. 7

16 Exemple considérons la fonction f(x ; x 2 ) = (x 2x 2 ) 2 exp(x ). Le gradient et la matrice Hessienne s écrivent : 2 rf(x) = 6 4 2(x 2x 2 ) exp(x ) 4(x 2x 2 ) ; r 2 f(x) = Les déterminants des mineurs principaux sont respectivement : exp(x ) exp(x ) < et 8 exp(x ) > On ne peut pas conclure que la fonction est convexe. ependant, les déterminants des mineurs principaux de la matrice Hessienne r 2 ( f(x)) sont : 2 + exp(x ) > et 8 exp(x ) >. Donc on peut conclure que ( f) est convexe et par conséquent f est concave..2 Programmation mathématique La programmation mathématique, et plus particulièrement l optimisation vise à résoudre des problèmes où l on cherche à déterminer parmi un grand nombre de solutions candidates celle qui donne le meilleur rendement. Plus précisément, on cherche à trouver une solution satisfaisant un ensemble de contraintes qui minimise ou maximise une fonction donnée. L application de la programmation mathématique est en expansion croissante et se retrouve dans plusieurs domaines. Un programme mathématique (P M) est un problème d optimisation de la forme : 8 min f(x) >< (P M) s:c >: D = fx 2 R n = g i (x) ; i = ; :::n et h j (x) = ; j = ; :::; mg où f; g i ; hj sont des fonctions dé nies de R n dans R: 8

17 La formulation mathématique (P M) signi e que l on cherche à trouver la solution x 2 D dont la valeur de la fonction objectif est la plus petite. Dé nition 3 -Une solution x 2 D est un minimum global de (P M) si f(x ) f(x); 8x 2 R n : La valeure optimale est f(x ). - Une solution x 2 D est un minimum local de (P M) si f(x ) f(x) 8x 2 D \ (x ) où (x ) = fx 2 R n : kx x k < gest une boule ouverte de rayon " (" > ) centrée en x. Remarque 4 Notons que le minimum global n est pas nécessairement unique, mais la valeure optimale l est. Par exemple, min x2r globaux. sin x possède une in nité de minima.2. lassi cation des problèmes d optimisation Il existe beaucoup d algorithmes d optimisation dans di érentes applications scienti ques. ependant beaucoup de méthodes ne sont valables que pour certains types de problèmes. Ainsi, il est important de bien connaitre les caractéristiques du problème posé a n d identi er la technique approprieé pour sa résolution. les problèmes d optimisation sont classés en fonction des caractéristiques mathématiques de la fonction objectif, des contraintes et des variables d optimisation (Tableau). Il existe une classe particulière de problèmes qui concerne notamment le domaine de la recherche opérationnelle, où le but est de trouver la permutation optimale des variables d optimisation (Tableau). es problèmes sont connus sous le nom de problème d optimisation combinatoire. 9

18 aractéristiques Propriétés lassi cations Nombre de variables Type de variables Type de fonction objectif Formulation du problème Une seule variable plus d une variable Réelles Entières Réelles et entières Entières avec permutations Linéaire en fonction des variables Quadratique en fonction des variables Non linéaire en fonction des variables Soumis à des limitations Pas de limitations Monovariable Multivariable ontinue Discrète Mixte ombinatoire Linéaire Quadratique Non linéaire Avec contraintes Sans contraintes Tableau lassication des probl emes d optimisations.2.2 Quali cation des contraintes Si un ensemble D est un polyèdre convexe (c est-a-dire : toutes les fonctions contraintes sont a nes ), alors par dé nition les contraintes sont quali ées en tout point réalisable. Si un ensemble D est convexe et intd 6= ;, les contraintes sont quali ées partout. est la condition de Slater. Une contrainte d inégalité g i (x) est dite saturée en x 2 D si g i (x ) = Remarque 5 La résolution complète de (P M) traite dans l ordre les points suivants : L existence d une solution optimale. La caractérisation de la solution ( il s agit des conditions d optimalité). L élaboration d algorithmes pour calculer cette solution.

19 .3 Résolution d un programme mathématique Soit le programme mathématique suivant : 8 >< (P M) >: min f(x) s:c D = fx 2 R n = g i (x) ; i = ; :::n et h j (x) = ; j = ; :::; mg où f; g i ; h i sont des fonctions dé nies de R n dans R:.3. Existence & Unicité Théorème 6 [8](Weierstrass) Si D est compact non vide de R n et si f est continue sur D alors (P M) admet au moins une solution optimale globale x 2 D: Théorème 7 [8] Si D est non vide et fermé de R n ; f est continue et coercive sur D, (c est-a-dire : lim f(x) = +) alors (P M) admet au moins une solution optimale globale. kxk!+.3.2 onditions d optimalité Pourquoi avons-nous besoin de conditions d optimalité? A n d analyser ou de résoudre d une manière e cace un problème d optimisation, il est fondamental de pouvoir disposer des conditions d optimalité. En e et, celles-ci nous servent non seulement à véri er la validité des solutions obtenues, mais souvent l étude de ces conditions aboutit au développement des algorithmes de résolution eux-mêmes. L approche considérée ici pour l obtention de conditions est basée sur les notions de descente et de direction admissible. Le développement des conditions d optimalité en présence des contraintes est basé sur la même intuition que dans le cas sans contraintes : il est impossible de descendre

20 à partir d un minimum. On considère le programme mathématique suivant : 8 >< (P M) >: min f(x) s:c D = fx 2 R n = g i (x) ; i = ; :::n et h j (x) = ; j = ; :::; mg où f; g i ; h i sont des fonctions dé nies de R n dans R: Théorème 8 [64] (Karush-kuhn-tucker. contraintes linéaires ) Soit f : R n! R une fonction di érentiable sur D: Si x un minimum local du problème (P M), alors, il existe un vecteur y 2 R m et 2 R n + tel que : 8 nx mx rf(x ) + i rg i (x ) + y j rh j (x ) = >< i= i g i (x ) = ; i = ::::; n >: h j (x ) = ; j = ; :::; m j=.3.3 Méthode de Newton pour résoudre un système non linéaire La résolution du (P M) revient à résoudre le système d équation non linéaire suivant : 8 >< >: nx mx rf(x) + i rg i (x) + y j rh j (x) = i= j= i g i (x ) = ; i = ::::; n h j (x ) = ; j = ; :::; m Posons 2

21 F (x; ; y) nx rf(x) + i rg i (x) + i= j= i g i (x) = ; i = ::::; n h j (x) = ; j = ; :::; m mx y j rh j (x) = A où F : < 2n+m! < 2n+m! nx mx (x; ; y) 7! rf(x) + i rg i (x) + y j rh j (x); i g i (x ); h j (x) : i= j= Les méthodes les plus populaires appliquées pour la résolution d un système non linéaire est la méthode de Newton, dans ce qui suit décrivons son principe. Soit f : < n! < n une fonction continue, di érentiable et soit J(x) est la matrice jacobiènne de la fonction f:alors nous considéroons le système non linéaire suivant : f(x) = A partir d un vecteur x de < n et l utilisation de la formule suivante x k+ = x k J(x k ) f(x k ); on construit une suite de point dé nie par où d k est le vecteur de direction, avec x k+ = x k + d k ; J(x k )d k = f(x k ): 3

22 .3.4 Les méthodes de directions admissibles ette classe de méthodes résout un problème de minimisation non linéaire en se déplaçant d un point de D vers un autre de ses points au coût inférieur. Elles fonctionnent selon le principe suivant : étant donné un élément x k de D, une direction d k est générée telle que pour un k > et su samment petit, les propriétés suivantes sont assurées :. x k + k d k appartient toujours à D 2. f(x k + k d k ) est inférieur à f(x k ) Une fois d k déterminée, k s obtient par minimisation monodimentionnelle pour que le déplacement dans la direction d k soit optimal, mais cette fois-ci il est nécessaire d imposer une borne supérieure sur la valeur de k a n de ne pas sortir de D. ela dé nit le nouveau point x k+ et le processus est recommencé..3.5 Méthodes de résolution d un programme mathématique On peut classi er les méthodes de résolutions un programme mathématique en trois catégories.3.5. Méthodes de type gradient. Gradient conjugué ette méthode a été proposée par Hestenes (952) pour résoudre un système linéaire à matrice dé nie positive, puis généralisée par Fletcher et Reeves (964) pour résoudre des problèmes d optimisation non linéaires, elle est connue par son e cacité pour minimiser une fonction quadratique sans contraintes. Dans le cas contraint un changement de variable simple permet de se ramener au cas sans contraintes, en e et : x un point satisfaisant les contraintes (Ax = ) et posons x = x + P A y tel que P A = I A t (AA) A est l opérateur de la projection sur le noyau de la matrice A: Le principe de cette méthode est de construire progressivement des directions d ; d ; :::; d k mutuellement conjuguées par rapport à 4

23 la matrice Hessienne (r 2 f(x)) de la fonction objectif du problème d optimisation : d i r 2 f(x)d j = ; 8i 6= j; i; j = f; ; :::; kg Gradient projeté (Rosen 96). le principe de cette méthode est de projeter à chaque itération le gradient sur la frontière du domaine réalisable. Il faut signaler que cette méthode est conçue pour un programme plus général de la forme : min ff(x) : Ax = b; x g ; où f est di érentiable non nécessairement convexe Méthodes simpliciales. Parmi les méthodes simpliciales on cite, celle de gradient réduit dûe à Wolfe. est une extension directe de la méthode du simplexe, appliquée à la programmation quadratique. De ce fait elle présente les mêmes inconvénients à savoir cyclage et complexité exponentielle Méthodes de points intérieurs. onjointement aux méthodes décrites précédemment, il existe actuellement des méthodes de points intérieurs pour la résolution d un problème d optimisation convexe. e sont des extensions des méthodes développées pour la programmation linéaire (af- nes, projectives et de trajectoire centrale). Les problèmes d initialisation, le coût de l itération et le choix de la direction de descente deviennent plus pesants. On distingue trois classes fondamentales de méthodes de points intérieurs à savoir : Méthodes A nes Il s agit pratiquement de l algorithme de Karmarkar sans fonction potentiel et sans transformation projective, on utilise une transformation a ne et on remplace la contrainte de non négativité par un ellipsoide qui contient le nouveau itéré. L algorithme est d une structure simple, malheureusement, il n est pas facile de démontrer la polynômialité. 5

24 Méthodes de réduction du potentiel La fonction potentiel joue un grand rôle dans le développement des méthodes de points intérieurs. L algorithme de Karmarkar appliqué au programme linéaire sous forme standard utilise une fonction potentiel de la forme : (n + ) log(c t x z) P n i= log(x i) où z est une borne inférieure de la valeur optimale de l objectif. Karmarkar prouve la convergence et la polynômialité de son algorithme par monter que cette fonction est réduit à chaque itération par au moins une constante. Depuis 987, les chercheurs introduisent des fonctions du potentiel de type primales-duales, parmi lesquelles, celle de Tanabe, Todd et Ye [8] défnie par : (x; s) = log(x t s) P n i= log(x is i ) pour > n. ette fonction a joué un rôle trés important dans le développement des algorithmes de réduction du potentiel aprés 988. Les algorithmes correspondants à ces méthodes possèdent une complexité polynômiale, ils nécessitent O( p n jlog "j) itérations pour réduire le saut de dualité. Méthodes de la trajectoire centrale Elles ont été introduites à la même époque que les méthodes de réduction du potentiel et pleinement développées au début des années 9. Elles possèdent de bonnes propriétés théoriques : une complexité polynômiale et une convergence superlinéaire. Les algorithmes de la trajectoire centrale restreintent les itérés à un voisinage du chemin central, ce dernier est un arc de points strictement réalisables. Plusieurs chercheurs essaient de généraliser le principe de ces méthodes pour la programmation non linéaire. En 989, Megiddo [58] a proposé un algorithme primaldual de trajectoire centrale pour la programmation linéaire avec une généralisation pour le problème de complémentarité linéaire (LP ). Kojima et al. [52] ont développé un algorithme primal-dual pour la programmation linéaire, une extension pour le (LP ) est proposée par les mêmes chercheurs en 989 avec la complexité O( p n log ) " itérations. 6

25 hapitre II MÉTHODES DE POINTS INTÉRIEURS DE TYPE NEWTONIENNE POUR RÉSOUDRE UN PROGRAMME QUADRATIQUE ONVEXE (QP ) Dans ce chapitre, on s intéresse à la résolution d un problème d optimisation quadratique convexe sous contraintes linéaires suivant : min 2 xt Qx + c t x : Ax = b; x ; (QP ) et son dual max b t y 2 xt Qx + c t x : A t y + s = Qx + c; s ; (QD) où Q 2 < nn est une matrice symétrique semi dé nie positive, A 2 < mn est une matrice, c; x et s 2 < n ; y et b 2 < m : On note par : F (QP ) = fx 2 < n ; Ax = b; x g ; l ensemble des solutions réalisables de (QP ): o F (QP ) = fx 2 < n ; Ax = b; x > g ; l ensemble des solutions strictement réalisables de (QP ): F (QD) = fy 2 < m ; s 2 < n ; A t y + s = Qx + c; s g ; l ensemble des solutions réalisables de (QD): o F (QD) = fy 2 < m ; s 2 < n ; A t y + s = Qx + c; s > g ; l ensemble des solutions strictement réalisables de (QD): Au long de ce chapitre, on suppose que : 7

26 o Hypothèse : F = F o (QP ) F o (QD) 6= ;: Hypothèse 2 : rg(a) = m < n Dans ce chapitre, on présente une étude comparative entre trois algorithmes d une méthode de points intérieurs de type trajectoire centrale pour résoudre un problème quadratique convexe sous contraintes linéaires, citons :. Algorithme de la trajectoire centrale non réalisable. 2. Algorithme de la trajectoire centrale réalisable. 3. Algorithme de la trajectoire centrale réalisable amélioré. 2. Méthode de la trajectoire centrale non réalisable pour la (QP ) On considère le programme quadratique convexe (QP ) suivant : min 2 xt Qx + c t x : Ax = b; x ; (QP ) où Q 2 < nn est une matrice symétrique semi dé nie positive, A 2 < mn est une matrice de rang plein, c; x 2 < n et b 2 < m : 2.. Présentation et principe de la méthode On associe à (QP ) le problème paramétrisé (QP ) suivant : où min ff (x) : Ax = b; x > g ; (QP ) f (x) = 2 xt Qx + c t x Lemme 9 La fonction f (x) est strictement convexe. nx ln(x i ); > i= Preuve. La fonction f (x) est écrite sous la forme : f (x) = 2 xt Qx + c t x 8 nx ln(x i ); > i=

27 En e et, f (x) 2 et nous avons en particulier : rf (x) = Qx + c X e; avec e = (; :::; ) t 2 R n r 2 f (x) = Q + X 2 : Où Q 2 < nn est une matrice symétrique semi dé nie positive; X = diag(x ; :::; x n ) est une matrice dé nie positive, car x i > ; et > ; alors r 2 f (x) est une matrice dé nie positive, donc f (x) est convexe. La solution x() est dé nie d une façon unique par des conditions d optimalité de Karush-Kuhn-Tucker (KKT ) suivant : 8 >< Qx + c X e A t y = >: Ax = b (KKT ) Où y 2 R m est le multiplicateur de Lagrange associé à la contrainte Ax = b du problème (QP ). Posons s = X avec s 2 R n ++, le système (KKT ) devient : 8 Xs = e >< (S ) Ax = b; x > >: A t y + s = Qx + c; s > Notons que (S ) correspond aux conditions de complémentarité pour un problème de programmation quadratique primal-dual. Le système (S ) désigne aussi les conditions d optimalité du problème dual paramétrisé (QD ) suivant : max ( b t y 2 xt Qx + ) nx ln(s i ) : A t y + s = Qx + c; s > i= (QD ) En e et, les conditions d optimalité de (KKT ) pour ce dernier problème sont données par : 9

28 8 >< (S) >: b Ax = S e x = A t y + s = Qx + c Où x 2 R n ++ est le multiplicateur associé à la contrainte A t y + s = Qx + c et S = diag(s ; :::; s n ): D où (S) est équivalent à (S ). Le système (S ) est un système d équations non linéaire. Pour cela, la méthode de Newton est envisageable pour sa résolution. A chaque >, on trouve une solution approchée (x(); y(); s()) qui doit être faisable (onditions de faisabilité). Pour contrôler la faisabilité et l optimalité, on introduit la fonction de mérite suivante (x; y; s) = x t s + kax bk 2 + A t y + s Qx c 2 () Nous résolvons le système d équations non linéaire (S ) à partir d un point initial (x ; s ) >, y 2 < m et = (x ) t s, par la méthode de Newton, on obtient le système suivant : n 8 >< >: Q4x + A t 4y + 4s = A t y + s Qx c A4x = b Ax X4s + S4x = Xs + e (2) dont la solution est : (4x; 4y; 4s): Le nouvel itéré est : (x + ; y + ; s + ) = (x; y; s) + (4x; 4y; 4s): où > est le pas de déplacement choisi de telle manière que (x + ; s + ) > et (x + ; y + ; s + ) < (x; y; s): Maintenant, on donne l algorithme générique de cette méthode. 2

29 2..2 Algorithme ( Méthode de la trajectoire centrale non réalisable) Algorithme Début algorithme Soit " > (un paramètre de précision); on choisi (x ; y ; s ) tel que : (x ; s ) >. k = (indice des itérations) While ((x k ; y k ; s k )) > " do. k = (xk ) t s k n 2. calculer (4x; 4y; 4s); solution du système (2) 3. trouver un pas de déplacement k tel que (x k ; s k ) > et (x k+ ; y k+ ; s k+ ) < (x k ; y k ; s k ) 4. mettre à jour (x k+ ; y k+ ; s k+ ) = (x k ; y k ; s k ) + k (4x k ; 4y k ; 4s k ) 5. posé k = k + : End While. Fin algorithme onvergence de l algorithme Sous les Hypothèse et Hypothèse 2 citées dans l introduction de ce chapitre, la convergence de l algorithme est donnée par les résultats suivantes Proposition [4] Si le pas de déplacement < k, alors la suite ( k ) engendrée par l algorithme satisfait : k+ = ( k ) k où k = ( k ) = k( k )(x k ) t s k + k v k r 2 k (4xk ) t 4s k (x k ) t s k + v k r 2

30 Lemme [4] Soit (x k ; y k ; s k ) une suite générée par l algorithme, alors : ) A(x k + k 4x k ) b = ( k )(Ax k b) = v k+ (Ax b) 2) A t (y + k 4y k ) + (s k + k 4s k ) Q(x k + k 4x k ) = v k+ (A t y + s Qx c) 3) (x k + k 4x k )(s k + k 4s k ) = (x k ) t s k ( k + k k ) + 2 k (4xk ) t 4s k où v k+ = ( k )v k = Y k ( i)v ; avec v = : i= La fonction de mérite décroît d une itération à l autre d un montant égal à ( k ), de plus on a le corollaire suivant : orollaire 2 [4] La suite ( k ) converge au moins linéairement si < k auquel cas nous avons < k < et si k tend vers la convergence est superlinéaire. Théorème 3 [4] Soit " > ( un paramètre de précision), (x ; y ; s ) = (e; ; e) est le point initial où > ; alors : l algorithme converge au bout de O(n 2 jlog(")j) itérations Tests Numériques Les programmes sont réalisés en DEV ++ avec une précision " = 6, on note par x la solution optimale primale, (y ; s ) la solution optimale duale, f(x ) la valeur optimale primale, f(y ; s ) la valeur optimale duale et (iter) le nombre d itérations, pour di érents types de problème d optimisation quadratique convexe sous contraintes linéaires. 22

31 Exemple : 8 min :5x 2 + 6:5x x 2 2x 3 3x 4 2x 5 x 6 x + x 2 + 8x 3 + x 4 + 3x 5 + 5x 6 26 >< >: 8x 4x 2 2x 3 + 2x 4 + 4x 5 x 6 2x + :5x 2 + :2x 3 3x 4 x 5 4x 6 24 :2x + 2x 2 + :x 3 4x 4 + 2x 5 + 2x 6 2 :x :5x 2 + 2x 3 + 5x 4 5x 5 + 3x 6 3 x i ; i = 4; 5 x 6 2. Les résultats numériques de cet exemple sont con gurés dans le tableau suivant : x ( 7: : ) y ( : :25365 ) f(x ) 8: f(y ; s ) 8:48367 iter 2 Exemple 2 : 8 >< >: min X 9 i= x ix i+ + X 8 i= x ix i+2 + x x 9 + x x + x 2 x + x x 5 + x 4 x 7 X i= x i = ; x i Les résultats numériques de cet exemple sont con gurés dans le tableau suivant : 23

32 : : :25 : :665 :743 : :25 : : A y :25 f(x ) :25 f(y ; s ) :25 iter 5 : : : : : :5493 3:5493 : : : A Exemple 3 : min 2 xt Qx + c t x : Ax = b; x ; où 2 :2 :5 :5 :2 32 :2 :8 Q = :5 4 ; A = 3 :5 A ; : A 6 9:3 b = A ; c = :5 2 :5 3 : 6:6 Les résultats numériques de cet exemple sont con gurés dans le tableau suivant : 24

33 x (2: :7827 : : :84655) y (25:2733 : :25742) s (55: : :677 42: :287996) f(x ) 72:73326 f(y ; s ) 72:73325 iter 28 Exemple 4 : min 2 xt Qx + c t x : Ax = b; x ; où 3 2 :5 5 :5 2 :5 3 3 : :5 Q = ; 6 :5 :5 :5 :5 8 :5 24 :5 :5 A :9 :25 :2 :4 :7 :6 :5 :5 A = :3 :2 :5 2:5 :25 :5 :4 :52 A ; :5 : 3:5 :25 :8 2 :95 :2 :65 b = A ; c = :5 :5 :5 2:295 : 25

34 Les résultats numériques de cet exemple sont con gurés dans le tableau suivant : : :5967 : :9556 :2435 2:62682 :32298 :6787 :8243 : y (4: : :9283) f(x ) 264:4869 f(y ; s ) 264:48682 iter 27 A 4:33 6: : : :393 45: : :7993 4: : Méthode de la trajectoire centrale réalisable pour (QP ) La programmation non linéaire convexe a des applications importantes dans la programmation mathématique. Plus de vingt ans de nombreux auteurs ont présenté di érentes méthodes de points intérieurs pour la programmation non linéaire convexe [56][6][75][84]. Dans ce qui suit, nous proposons un algorithme primal-dual de points intérieurs à court pas (Short step) pour résoudre le problème convexe quadratique. L algorithme utilise à chaque itération une étape de Newton et une mesure de proximité adaptée pour tracer le chemin central (trajectoire centrale). Des notations sont utilisées tout au long de cette section et ils sont comme suit. < n, < n + et < n ++ et qui désignent respectivement l ensemble des vecteurs de n des composants, l ensemble des vecteurs non négatifs et l ensemble de vecteurs positifs. < n n désigne l ensemble des n n matrices réelles. k.k 2 désigne la norme euclidienne, e = (; ; :::; ) t est le vecteur identité de < n ; r 2 < n + est le paramètre poids: En n, pour x; s 2 < n, nous dé nissons xs = (x s ; x 2 s 2 ; :::; x n s n ) t, x s = ( x s ; x 2 s 2 ; :::; x n sn ) t ; s = ( s ; s 2 ; :::; s n ) t et p x = ( p x ; p x 2 ; :::; p x n ) t : A 26

35 2.2. Déscription et principe de la méthode Nous considérons le problème quadratique convexe (QP ) et son dual (QD) sous forme standard min 2 xt Qx + c t x : Ax = b; x ; (QP ) max b t y 2 xt Qx + c t x : A t y + s Qx = c; s ; y 2 < m ; (QD) où A 2 < mn est une matrice, Q 2 < nn est une matrice symétrique semi-dé nie positive, x; s; c 2 < n ; et b 2 < m : Nous supposons que les problèmes (QP ) et (QD) satisfait aux conditions de points strictement intérieurs (IP s) i.e., il existe une solution initiale (x ; y ; s ) de telle sorte que : Ax = b; x > ; A t y + s = Qx + c; s > ; y 2 < m : Les conditions d optimalité pour (QP ) et (QD) sont données par le système suivant Ax = b; x ; 8>< A t y + s Qx = c; s ; (3) >: x t s = : Si la condition (IP ) détiennent, le central de (QP ) et (QD) est dé nie par la solution (x(); y(); s()) du système suivant 8 Ax = b; x > ; >< A t y + s Qx = c; s > >: xs = e; (4) avec > : L ensemble de central donne un trajet homotopie, que l on appelle le chemin (trajectoire) centrale du (QP ) et (QD): 27

36 Si! ; la limite de la voie centrale existe depuis le point limite satisfont à la condition de complémentarité, la limite d un conduit " solution approchée pour (QP ) et (QD): En appliquant la méthode de Newton pour le système (4); nous determinons les équations suivantes pour les directions de descente (4x; 4y; 4s) 8 >< >: A(x + 4x) = b; A t (y + 4y) + (s + 4s) Q(x + 4x) = c; (x + 4x)(s + 4s) = e xs: (5) Le système (5) peut s écrire sous la forme : 8 A4x = ; >< A t 4y + 4s Q4x = ; >: s4x + x4s = e xs: (6) e dernièr peut s écrire sous forme matricielle : A 4x Q A t I A S X 4s e xs A ; (7) où X = diag(x); S = diag(s), I est la matrice identité d ordre n. Le format dans (7) est adapté à la mise en œuvre numérique pour determiner (4x; 4y; 4s) et par consequent le nouvel itéré est donné par : suit : x + = x + 4x; y + = y + 4y; s + = s + 4s: Maintenant, nous introduisons une norme de mesure de proximité dé nie comme (xs; ) = s xs 2 r xs ; 2 28

37 pour mesurer la proximité de points réalisables pour la trajectoire centrale. Nous utilisons également une valeur seuil < < et nous supposons que le point initial (x ; y ; s ) est strictement réalisable de telle sorte que (x s ; ) < pour = (x ) t s n. Dans ce qui suit, on présente l algorithme primal-dual de la méthode de la trajectoire centrale réalisable pour résoudre un programme quadratique convexe Algorithme ( Méthode de la trajectoire centrale réalisable ) Algorithm 2 Début Algorithme " > (un paramètre de précision); un paramètre de mise à jour, < < un paramètre de seuil ; < < un point initial strictement réalisable (x ; y ; s ) tel que (x s ; ) et = (x ) t s n : k = While (n k ) > " do. calculer (4x; 4y; 4s) solution du système (7) 2. mettre à jour (x k+ ; y k+ ; s k+ ) = (x k ; y k ; s k ) + (4x; 4y; 4s) 3. poser k+ = ( ) k = ( ) xk s k n et k = k + : End While. Fin Algorithme. Remarque 4 Si le point de départ ne véri é pas la mesure de proximité i.e., (x s ; ) > ; alors il n y a aucune garantie concernant la convergence de l algorithme. Pour surmonter cette di culté, nous introduisons le paramètre de poids pour 29

38 forcer le point de départ dans le voisinage de la trajectoire centrale i.e., (x s ; ) =. D où le recours à l amélioration de cette méthode est necessaire qu on décrit dans le paragraphe suivant 2.3 Méthode de la trajectoire centrale réalisable améliorée pour (QP ) 2.3. Description de la méthode On associé à (QP ) le problème perturbé dé ni comme suit : (! nx min f r (x) = f(x) r i ln x i : Ax = b; x > (QP r ) i= > ; r = (r ; r 2 ; :::; r n ) t 2 R n + est le vecteur poids associé à la fonction barrière. f r (x) est strictement convexe et les contraintes sont linéaires, alors les conditions de KKT correspondantes sont nécessaires et su santes et s écrivent comme suit : 8 rf(x) X >< r A t y = Ax = b >: x > ; y 2 R m 8 Ax = b ><, A t y + s Qx = c >: x t s = r; (8) où r 2 < n + est le paramètre poids, avec > : L ensemble de central donne un trajet homotopie, que l on appelle la trajectoire centrale du (QP ) et (QD): Si! ; la limite de la voie centrale existent depuis le point limite satisfont à la condition de complémentarité, la limite d un conduit " solution approchée pour (QP ) et (QD): En appliquant la méthode de Newton pour le système (8); nous determinons les équations suivantes pour les directions de descente (4x; 4y; 4s) 3

39 8 A(x + 4x) = b >< A t (y + 4y) + (s + 4s) Q(x + 4x) = >: (x + 4x)(s + 4s) = r xs: Le système (9) peut s écrire sous la forme : 8 A4x = ; >< A t 4y + 4s Q4x = ; >: s4x + x4s = r xs: (9) () e dernier système peut aussi s écrire comme suit : A 4x Q A t I A S X 4s r xs A ; () où X = diag(x); S = diag(s), I est la matrice d identité d ordre n. Le format dans () est adapté à la mise en œuvre numérique. D où le nouvel itéré est donné par : x + = x + 4x; y + = y + 4y; s + = s + 4s; et la condition de proximité est donnée comme suit : (xs; ) = s xs r xs 2 r r : 2 Maintenant, on présente l algorithme primal-dual de la méthode de la trajectoire centrale amélioré pour résoudre un programme quadratique convexe Algorithme ( Méthode de la trajectoire centrale réalisable améliorée ) Algorithm 3. Début Algorithme " > (un paramètre de précision); 3

40 un paramètre de mise à jour, < < un paramètre de seuil ; < < un point initial strictement réalisable (x ; y ; s ) et = (x ) t Rs n : = kx S ek p n k =, r = X S e While (n k ) > " do (le vecteur poids): R = diag(r i ). calculer (4x; 4y; 4s) solution de système () 2. mettre à jour (x k+ ; y k+ ; s k+ ) = (x k ; y k ; s k ) + (4x; 4y; 4s) 3. posons k+ = ( ) k = ( ) xk Rs k n et k = k + : End While. Fin algorithme. Dans la section suivante, on présente l analyse de la complexité de cet algorithme. Lorsque r = e, on obtient la méthode classique (algorithme 2) Etude de la convergence Nous allons dé nir d = r r x xs s ; v = r = d x p = r ds p r ; ainsi que pour la direction d origine 4x et 4s, nous dé nissons d x = d 4x p r et d s = d4s p r ; (*) nous obtenons s4x + x4s = rv(d x + d s ) et 4x4s = rd x d s 32

41 Nous dé nissons aussi A = p AD; Q = p DQD; où D = diag(d) Le système () s écrit comme suit 8 Ad x = >< A t 4y + d s Qd x = >: d x + d s = p v (2) où p v = v v: Pour l analyse de notre algorithme, nous dé nissons la mesure de proximité (xs; ) comme suit : (v) = (xs; ) = kp vk 2 = 2 v v 2 : En raison des deux premières équations du système (2), les direction d x et d s sont orthogonaux. Ainsi et on peut facilement véri er que d t xd s = d t sd x = ; (v) = () v = v () d x = d s = () xs = r: Ainsi, la valeur de (v) peut être considérée comme un mesure de la distance entre la paire donnée (x; y; s) et -centre (x(); y(); s()). Les nouvelles directions de descente d x et d s sont obtenues en résolvant le système (2) avec p v = 2 (v v). Puis les directions de descente 4x et 4s sont calculées par (). Lemme 5 [65] Soit (d x ; d s ) la solution du système (2) et si la mésure de proximité = (xs; ) < et >. Alors, on a < d t xd s 2 2 (3) 33

42 et kd x d s k < 2 et kd x d s k 2 p 2 2 (4) Lemme 6 Soit (x; s) une itération primal-dual strictement réalisable. Si e + d x d s >, alors x + = x + 4x; s + = s + 4s: Preuve. Soit < est le pas de déplacement. nous dé nissons x() = x + 4x; s() = s + 4s; on a x()s() = (x + 4x)(s + 4s) = xs + (x4s + s4x) + 2 4x4s = xs + (r xs) + 2 4x4s: Nous supposons que e+d x d s > ; on déduit que r+4x4s > ; ce qui correspond à 4x4s > r; par substitution, on obtient x()s() > xs + (r xs) 2 r = ( )xs + ( 2 )r = ( )xs + ( )r: Puisque, xs > et r >, il s ensuit que x()s() > pour tous 2]; ]: Ainsi, aucune des entrées de x() et s() disparaître pour 2]; ]:omme x et s sont positifs, ce qui implique que x() > et s() > pour 2]; ]: Ainsi, par la continuité des vecteurs x et s doit être positif qui prouve que x + et s + sont positifs. eci termine la preuve. Maintenant, pour plus de commodité, nous pouvons écrire (v + ) 2 = x+ s + r = e + d x d s : 34

43 Lemme 7 Si la mesure de proximité (v) = (xs; ) < ; alors x + > et s + > : Preuve. Dans le lemme (6), on a (x + ; s + ) sont strictement réalisable si (e + d x d s ) > : (e + d x d s ) > est vrai si ( + (d x d s ) i ) > pour i 2 < n : On a ( + (d x d s ) i ) ( j(d x d s ) i j ; pour i 2 < n ( 2 ): Ainsi (e + d x d s ) > si (xs; ) < : eci termine la preuve. Dans le lemme suivant, on va prouver la convergence quadratique pour notre algorithme Lemme 8 Soit la mesure de proximité = (xs; ): Si (xs; ) < alors (x + ; s + ; + ) Preuve. On suppose que = ; 2 q : 2( 2 ) on a = (v + ) v + 2 = (v + ) (e (v + ) 2 ) 2 ; où (v + ) 2 = (e + d x d s ) et (v + ) = p ; il s ensuit que (e+dxds) d x d s + = p (e + dx d s ) 2 2 d x d s = p (e + dx d s ) 2 kd x d s k 2 2 ( kd x d s k ) : 35

44 On déduire d où, D où le résultat ( 2 ) ; 2 q : 2( 2 ) Dans le lemme suivant, nous discutons de l in uence sur la mesure de proximité d un paramètre de barrière + = ( ) pendant le processus de Newton le long de la trajectoire centrale. Lemme 9 Soit (xs; ) < p 2 et + = ( ); < < : Alors 2 (x + s + ; + ) ( ) (n + ) 4( ) + 2 : En outre, si p 2 ; = 2 p n et n 2; alors, on a (x+ s + ; + ) p 2 : Preuve. Soit v + = 4 2 (x + s + ; + ) = puisque, = = q x + s + + r et + = ( ), alors r s + r x + s + 2 x + s + + r 2 p (v + ) p 2 v + 2 p (v + ) v + p 2 v + = ( ) (v + ) v v (v + ) v + t 2 v + = ( ) (v + ) v v + 2 2(v + ) t v + + v +t v + 2 = 4( ) v + 2 2n v (v + ) t v + = n et (v + ) t v + = kv + k 2 2 ; et on a ( 2 + ):Alors 4 2 (x + s + ; + 4 ) 4( ) 2( 2 +) + 2 v + 2 2n v + 2 ;

45 comme, d après le lemme (9); on a En conséquence, et x + s + = r(e + d x d s ); v + 2 = x+ s + r = e + d x d s + n: 4 2 (x + s + ; + 4 ) 4( ) 2( 2 +) + 2 v + 2 2n + 2(n + ); 2 2 (x + s + ; + ) ( ) (n + ) 4( ) + 2 : La dernière déclaration de la preuve est la suivante. Si < p 2, alors 2 + = 4 et cela donne la partie supérieure suivante à destination de (x + s + ; + ) : 2 (x + s + ; + ) ( ) 4 Maintenant, en tenant = 2 p n, alors 2 = 4n comme (n+) 4n (x + s + ; + ) pour n 2; alors, on a 2 (x + s + ; + ) Pour n 2; on a < 2 p 2 monotone croissante sur < 2 p 2, + 2 (n + ) 4( ) + 2 : il s ensuit que (n+) 4n ( ) + + 4( ) 4 2 ; 3 32( ) : par conséquent,f() f( 2 p 2 ) < 2 ; pour < 2 p 2 : On obtient d où le résultat. et la fonction f() = 3 32( ) est continue et (x + s + ; + ) < p 2 : Le théorème suivant donne une borne supérieure pour le nombre total d itérations pour notre algorithme 37

46 Théorème 2 Soit (x ; y ; s ) une solution initiale strictement réalisable, = (x ) t Rs et (x ; s ; ) p n 2 : Par ailleurs, soit x k et s k les vecteurs obtenus i après k itération, alors(x k ) t s k " est véri ée pour tout k hlog( (x ) t Rs + )) : " Preuve. On a avec, alors, ainsi, (x k+ ) t s k+ k (n + ); k = ( ) k = ( ) k ; (x k+ ) t s k+ ( ) k (n + ); ( ) k (n + ) ": Maintenant, en prenant logarithmes de ( ) k (n + ) "; nous pouvons écrire log(( ) k (n + )) log " équivalent k log( ) log " log (n + ); on sait que log( ), pour ; alors l inégalité ci-dessus est véri ée si k log( (x ) t Rs + " )) : eci termine la preuve Tests Numériques Dans cette section, nous traitons l algorithme 2 et l algorithme 3 appliqué à certains problèmes convexes quadratiques. Ici, nous avons utilisé (x ; y ; s ) pour désigner la stricte solution réalisable initiale de l algorithme (voir Annexe), tels que (x ; s ; ) p 2. Iter désigne le nombre d itérations produit par l algorithme pour 38

47 obtenir une solution optimale. f(x ) désigne la valeur optimale primale de la fonction objectif à x, f(y ; s ) ) désigne la valeur optimale duale de la fonction objectif à (y ; s ) et désigne la valeur de controle de l arrêt de l algorithme. le programme est manipulé en DEV ++. Notre tolérance (précision) est " = 6. Pour le paramètre de mise à jour, nous avons d abord utilisé la stratégie théorique de, < < : Exemple. où 2 Q = A ; A = c = 2 4 : min 2 xt Qx + c t x : Ax = b; x A ; b 2 A ; La solution initiale primale strictement réalisable est : x = (:9382 :938 :6238) ; nombre d itérations pour calculer la solution initiale primale : 8 itérations. La solution initiale duale strictement réalisable est : y = ( :3 :66425), s = (:5764 :5764 :66432) ; nombre d itérations pour calculer la solution initiale duale : 7 itérations. Les résultats numériques de cet exemple sont résumés dans le tableau ci-dessous : 39

48 Algorithme 2. Algorithme 3. (x s ; ) = 4: > p 2 (x s ; ) = : < p 2 Iter f(x ) f(y ; s ) :5 69 4: : e 6 :2 5 4: : e 6 : : : e 6 Diverge :3 32 4: : e 6 : : : e 6 :45 9 4: : e 6 :65 2 4: : e 6 :7 4: : e 6 :95 5 4: : e 6 Exemple 2. où Q c = min 2 xt Qx + c t x : Ax = b; x ; A ; A = 5 A ; b = La solution initiale primale strictement réalisable est : x = (:6552 : : :26) 2 5 A ; nombre d itérations pour calculer la solution initiale primale : 7 itérations. La solution initiale duale strictement réalisable est : y = ( 3:3675 :26399), 4

49 s = (:4768 : :3684 :2648) ; nombre d itérations pour calculer la solution initiale duale : 6 itérations. Les résultats numériques de cet exemple sont résumés dans le tableau ci-dessous : Algorithme 2. Algorithme 3. (x s ; ) = 4: > p 2 (x s ; ) = : < p 2 Iter f(x ) f(y ; s ) :5 72 7:6293 7: e 6 :2 53 7:6294 7: e 6 :25 4 7:6293 7: e 6 Diverge :3 34 7:6294 7: e 6 : :6293 7:627 9 e 6 :45 2 7:6294 7: e 6 :65 3 7:6294 7:626 5 e 6 :7 2 7:6293 7: e 6 :95 7 7:6294 7:6252 e 6 où Exemple 3. min 2 xt Qx + c t x : Ax = b; x ; 2 :2 :5 :5 :2 32 Q = :5 4 ; A :5 A 6 :2 :8 3 : A ; 4

50 9:3 b = A ; c = :5 2 :5 3 : 6:6 La solution initiale primale strictement réalisable est : x = (2:79735 :24228 : :536 :87836) ; nombre d itérations pour calculer la solution initiale primale : 7 itérations. La solution initiale duale strictement réalisable est : y = (2:442529: :227999), s = (4: : :272 :44683 :85264) ; nombre d itérations pour calculer la solution initiale duale : 7 itérations. Les résultats numériques avec ce problème sont résumés dans le tableau ci-dessous : Algorithme 2. Algorithme 3. (x s ; ) = 4: > p 2 (x s ; ) = : < p 2 Iter f(x ) f(y ; s ) :5 9 72: : e 6 : : : e 6 : : : e 6 Diverge : : : e 6 : : : e 6 : : : e 6 : : : e 6 :7 3 72: : e 6 : : : e 6 Exemple 4. min 2 xt Qx + c t x : Ax = b; x ; 42