Optimisation numérique Multiplicateurs de Lagrange Daniele Di Pietro A.A. 2013-2014 Outline 1 Contraintes d'égalité 2 Contraintes d'inégalité
Introduction Nous cherchons à écrire des conditions de minimalité lorsque K n'est pas convexe On distinguera entre contraintes d'égalité et d'inégalité Comme pour l'inéquation d'euler, nous allons formuler des conditions nécessaires Contraintes d'égalité I Théorème (Multiplicateurs de Lagrange, contraintes d'égalité) Soit K := {v V F (v) = 0} pour F : V R m, m 1. On suppose (i) J diérentiable en u ; (ii) F i, i 1, m, continûment dérivable en un voisinage de u ; (iii) ( F i (u) R n ) 1 i m famille libre. Alors si u est un minimiseur local de J sur K, λ 1,..., λ m R, J(u) + m λ i F i (u) = 0. Les λ i, i 1, m sont appelés multiplicateurs de Lagrange.
Contraintes d'égalité II On donne les grandes lignes de la preuve Par l'hypothèse (ii) et le Théorème des Fonctions Implicites, K(u) = {w V ( F i (u), w) V = 0, 1 i m} = m [ F i (u)] K(u) étant un sous-espace vectoriel de V (stable par rapport à la somme et à la multiplication par un scalaire), l'inégalité d'euler se reduit à m ( J(u), w) V = 0 w [ F i (u)] Par conséquent, J(u) span (( F i (u)) 1 i m ) Exemples I Exemple (Première valeur propre d'une matrice carrée) Soit A R n,n symétrique. On veut montrer que les solutions de inf Ay y, y R n, y 2 2 =1 sont les vecteurs propres de A associés à la plus petite valeur propre.
Exemples II On peut reformuler le problème en termes de la fonctionnelle J et de la fonction contrainte F dénies par y R n, J(y) := Ay y, F (y) := y y 1 On considère le problème équivalent Pour tout y R n on a inf J(y), K := {y y K Rn F (y) = 0} J(y) = 2Ay, F (u) = 2y Exemples III Si x est minimiseur local de J sur K λ R, J(x) λ F (x) = 0 = Ax = λx, et x est donc un vecteur propre associé à la valeur propre λ D'autre part, λ est la plus petite valeur propre car Ax = λx = J(x) = Ax x = λx x = λ x 2 2 = λ, à savoir, λ est la valeur du minimum de J sur K
Exemples IV Exemple (Première valeur propre du Laplacian) Soit R n un ouvert borné, V := H0 1 (). On considère le problème { } inf J(v) := v 2, K := {v V v 2 L v K 2 () = 1}. On admettra que ce problème admet un minimiseur. Montrer que la valeur du minimum est la première valeur propre du Laplacian et que les minimiseurs sont les vecteurs propres associées. Exemples V Soit F (v) := v 2 L 2 () 1. Pour tout v V, J (v), w V,V = 2 v w, F (v), w V,V = 2 vw w V Si u est un minimiseur de J sur K, λ R, J (u) λf (u), v V,V = 0 v V à savoir, u v = λ uv v V
Exemples VI Le minimiseur u est donc l'unique solution faible du problème { u = λu dans, u = 0 sur, et λ est donc une valeur propre du laplacien sur De plus, en prenant v = u, on trouve J(u) = u u = λ uu = λ u 2 L 2 () = λ ce qui montre que λ est la plus petite valeur propre Le Lagrangien On introduit la fonction L : V R m R dénie par L(v, µ) := J(v) + m µ i F i (v) = J(v) + µ F (v) Alors, sous les hypothèses du théorème énoncé en debut de séance, λ R m, L v (u, λ) = 0 Rn, L (u, λ) = 0 Rm µ Pour s'en convaincre il sut d'observer que L m v (u, λ) = J(u) + λ i F i (u) = 0, u minimiseur L (u, λ) = F (u) = 0 u K µ
Outline 1 Contraintes d'égalité 2 Contraintes d'inégalité Conditions de qualication I Nous nous plaçons maintenant dans le cas où K := {v V F (v) 0}, où l'inégalité est vériée composante par composante Une fois de plus il faut déterminer le cône des directions admissibles Soit v K. Alors si F i (v) < 0 on peut toujours trouver un ɛ > 0 susamment petit pour que v + ɛw K pour un w V si F i (v) = 0 il n'est pas clair qu'on puisse trouver w V et ɛ > 0 susamment petit pour que toutes les contraintes soient vériées
Conditions de qualication II Dénition (Contraintes actives) Soit v K. L'ensemble I(v) := {i 1, m F i (v) = 0}, est appelé l'ensemble des contraintes actives en v. Conditions de qualication III Dénition (Contraintes qualiées) On dit que les contraintes sont qualiées en v K si et seulement si il existe une direction w V telle que l'on ait pour tout i I(v), ou bien ( F i (v), w) V < 0, ou bien ( F i (v), w) V = 0 et F est ane. La direction w est rentrante car, avec ɛ susamment petit, ( F i (v), w) V < 0 = v + ɛw K Les contraintes anes sont traitées à part car elles sont qualiées sous des condition moins restrictives, et elles sont très importantes en pratique
Contraintes d'inégalité I Théorème (Multiplicateurs de Lagrange, contraintes d'inégalité) Soit V un EHR et K = {v V F (v) 0}. On suppose que les fonctions J et F i, 1 i m, sont dérivables en u K et que les contraintes sont qualiées en u. Alors, si u est un minimiseur local de J sur K, λ (R + ) m, J(u) + m λ i F i (u) = 0, λ F (u) = 0 Contraintes d'inégalité II Un diérence importante par rapport au cas des contraintes d'égalité est que les multiplicateurs de Lagrange sont non négatives La condition λ F (u) = 0 est dite des écarts complémentaires car pour tout i 1, m on a soit F i (u) = 0 soit λ i = 0 Ceci implique, en particulier, F i (u) < 0 = λ i = 0
Exemples I Exemple (Fonctionnelle quadratique avec contraintes anes) Soit A R n,n symétrique dénie positive, B R m,n de rang m n, et c R m. Appliquer le théorème des multiplicateurs de Lagrange au problème inf {J(y) := 12 } Ay y b y. y R n, Bx c Exemples II On introduit la fonction F : R n R m telle que F i (y) = b i y c i i 1, m où b i dénote l'i-ème de ligne B On a pour tout y R n, J(y) = Ay b R n, F i (y) = b i R n i 1, m
Exemples III La condition nécessaire pour que x R n soit minimiseur est p (R + ) m, Ax b + m p i b i = 0, (Bx c) p = 0 Il est simple à vérier que m p i b i = B T p, donc Ax b + B T p = 0 Exemples IV Exemple (Régularisation) Soit R n un ouvert borné, f L 2 (), ɛ > 0. On pose V := H 1 0 () et on considère le problème suivant : inf v V, v f L 2 () ɛ { } J(v) := v 2. Montrer que ce problème admet une unique solution u ɛ et identier le problème dont u ɛ est solution faible. Préciser dans quel cas u ɛ = 0.
Exemples V J fortement convexe, K convexe = existence et unicité Soit F (v) := v f 2 L 2 () ɛ On a pour tout v V et tout w V, J (v), w V,V = 2 v w, F (v), w V,V = 2 (v f)w Exemples VI La condition nécessaire pour que u ɛ soit minimiseur sur K est λ 0, J (u ɛ ) + λf (u ɛ ), v V,V = 0 v V, λf (u ɛ ) = 0 On déduit de la première équation que u ɛ est solution faible de u ɛ + λ(u ɛ f) = 0 dans, u ɛ = 0 sur Si λ = 0 (la contrainte n'est pas active) ceci implique u ɛ 0. Dans ce cas f L 2 () ɛ