Foctios covexes Prologue Ce chapître développe les propriétés des foctios covexes f C E R défiies sur ue partie covexe C d u espace de dimesio fiie E. Si, fodametalemet, la covexité est ue propriété uidimesioelle - ue foctio f C E R est covexe si et seulemet si, pour toute droite affie (D) de E, sa restrictio à (D) C est covexe - l exigece que cette propriété soit vérifiée das toutes les directios, c est-à-dire pour toute droite affie (D), cotrait la foctio f à ue certaie régularité globale. O prouve par exemple que toute foctio covexe f C E R est localemet Lipschitziee sur l itérieur de so domaie C (Corollaire 9.4.1), et qu elle est Fréchet-dérivable e tout poit a de l itérieur de C e lequel elle admet des directioelles das les directios des vecteurs d ue quelcoque base B = {e(1),...,e()} de E. E particulier, f C R R est Fréchet-dérivable e u poit a de l itérieur de C, dès qu elle admet des dérivées partielles e a (Corollaire 9.4.2). O caractérise les foctios covexes f C E R deux-fois Fréchet-dérivables sur u ouvert covexe C comme les foctios dot la dérivée secode, e tout poit de C, est ue forme biliéaire SDP, et o éoce alors ue coditio écessaire et suffisate pour qu ue telle foctio f soit strictemet covexe (Corollaire 9.5.1). La covexité joue u rôle cetral e optimisatio pour au mois deux raisos fodametales. La première est que l o sait écrire, pour tout problème d optimisatio covexe, c est-à-dire tout problème cosistat à miimiser ue foctio covexe sur u esemble covexe, des coditios écessaires et suffisates d optimalité (Théorème 9.3.2). La secode, plus pragmatique, est que, s il existe des algorithmes bie adaptés à la résolutio umérique des problèmes covexes, les problèmes o covexes s avèret extrèmemet difficiles à résoudre umériquemet, et écessitet le recours à des heuristiques (1) ou à des méthodes stochastiques (2). 1. Heuristique : du grec : ɛυρισκω : «je trouve» : méthode de calcul fourissat e temps polyômial ue solutio réalisable o écessairemet optimale d u problème d optimisatio. 2. Stochastique : Se dit des phéomèes relevat du hasard, et faisat l objet d ue aalyse statistique : http : // larousse.fr/dictioaires/fraçais/stochastique/74742.
224 CHAPITRE 9. FONCTIONS CONVEXES Avertissemet : Das toute cette partie, E désige toujours u espace de dimesio fiie, D ue partie quelcoque de E, et C ue partie covexe de E, coteue das D. O rappelle qu ue partie C de E est «covexe» si et seulemet si : a,c C,,0 t 1 t b +(1 t) a C 9.1 Foctios covexes et foctios affies Foctios covexes Défiitio 9.1.1 f C E R est dite «covexe» (resp. «cocave») si, pour tout couple de poits disticts a et b de C, et tout réel t strictemet compris etre zéro et u : f (t b +(1 t) a) t f (b)+(1 t) f (a) (resp. ) (9.1) et «strictemet covexe» (resp. «strictemet cocave») si : f (t b +(1 t) a) < t f (b)+(1 t) f (a) (resp. >) (9.2) f D E R est dite «covexe (resp. cocave, strictemet covexe, strictemet cocave) sur C», si C est ue partie covexe coteue das D, et si la restrictio de f à C est covexe (resp. cocave, strictemet covexe, strictemet cocave) f est doc cocave (resp. strictemet cocave) si et seulemet si (-f) est covexe (resp. strictemet covexe). Propositio 9.1.1 Si f C E R est covexe, stous es esembles de iveau : S c (f ) = {x C f (x) c} (c R) (9.3) sot covexes (évetuellemet vides). Preuve : C est ue coséquece directe de (9.1). Foctios affies Défiitio 9.1.2 Ue foctio f C E F est dite «affie» si, pour tout couple de poits disticts a et b de C, et tout réel t strictemet compris etre zéro et u : f (t b +(1 t) a) = t f (b)+(1 t) f (a) (9.4) Ue foctio f D E F est dite «affie sur C» si C est ue partie covexe coteue das D, et si la restrictio de f à C est affie. Ue foctio affie à valeurs réelles est ue foctio à la fois covexe et cocave.
9.1. FONCTIONS CONVEXES ET FONCTIONS AFFINES 225 Propositio 9.1.2 (Admise) Ue foctio f C E F est affie si et seulemet si o peut trouver ue applicatio liéaire L E F et u élémet y das F tels que, pour tout x das C : g(x) = L(x)+y. Lorsque C est d itérieur o vide das E, L et y sot défiis de maière uique. Toute foctio affie défiie sur ue partie covexe C de R, à valeurs das R m, est de la forme : f C R R m x A x + b où A est ue m matrice réelle, et b u vecteur de R m doés. Lorsque C est d itérieur o vide, A et b sot défiis de maière uique. Iégalité de Jese Théorème 9.1.1 (Iégalité de Jese (3) ) Si f C E R est covexe : f ( α(k) a(k)) ) α(k) f (a(k)) (9.5) pour toute suite fiie de poits a(k) (1 k ) de C, et toute combiaiso covexe : α(k) a(k) des a(k). Pour tout etier, et toute suite a(k) (1 k ) de poits de C, po- Preuve : sos : Σ() = {α = (α(1),...,α()) α(i) = 0 (i 1 ), α(k) = 1} et : C (a(1),..., a()) = {α Σ() f ( α(k) a(k)) α(k) f (a(k))} Il s agit de prouver que, pour tout etier, et toute suite a(k) (1 k ) de poits de C : C (a(1),..., a()) = Σ(). Mais C (a(1),..., a()) est covexe, 3. - Joha Ludwig Jese, 1859-1925, Mathématicie amateur Daois, essetiellemet autodidacte, employé par la succursale Daoise de l Iteratioal Bell Telephoe Compay. L iégalité de Jese apparait pour la première fois e 1906 das u article publié par Jese das la revue Acta Mathematica. Pour découvrir sa biographie : http://www-groups.dcs.stadrews.ac.uk/history/biographies/jese.html.
226 CHAPITRE 9. FONCTIONS CONVEXES puisque : α, β Σ(), α β, et : 0 < t < 1 impliquet : f ( (t α(k)+(1 t)β(k)) a(k)) = f (t... t f (... t... = α(k) a(k)+(1 t) β(k) a(k)) α(k) a(k))+(1 t) f ( β(k) a(k)) α(k) f (a(k))+(1 t) ) (t α(k)+(1 t)β(k)) f (a(k)) α(k) f (a(k)) et cotiet tous les sommets de Σ(), doc : C (a(1),..., a()) = Σ(). Opératios sur les foctios covexes Propositio 9.1.3 Si f C E R et g C E R sot covexes (resp. cocaves) : f + g C E R x f (x)+ g(x) l est aussi. Si e outre f ou g est strictemet covexe (resp. strictemet cocave), f + g l est égalemet. Propositio 9.1.4 (Compositio à gauche) Si : f C E R est covexe (resp. cocave), f (C) est coteu das u itervalle I de R, et ϕ I R R est covexe (resp. cocave) croissate : ϕ f C E R est covexe. Si e outre f est strictemet covexe (resp. strictemet cocave) et ϕ strictemet croissate, g f est strictemet covexe (resp. strictemet cocave). Exemple 9.1.1 Pour toute matrice réelle symétrique Q, et tout vecteur r de R, O = {x R x Q x r x < 0} est u ouvert covexe de R, et : f O R R x l(r x x Q x) est cocave (resp. strictemet cocave) dès que Q est SDP (resp. DP) (Exercice 9.5). Le produit de deux foctios covexes sur C est pas e gééral ue foctio covexe sur C.
9.2. EXISTENCE DE DEMI-DÉRIVÉES DIRECTIONNELLES 227 Exemple 9.1.2 f R 2 R (x 1 x 2 ) x 1 x 2 est le produit de deux foctios liéaires mais est covexe sur aucu ouvert covexe de R 2. Propositio 9.1.5 (Compositio à droite) Si g C E F est affie, et f g(c) F R est covexe, f g C E R est covexe (resp. cocave). Si e outre g est ijective et f strictemet covexe, (resp. strictemet cocave) f g est strictemet covexe (resp. strictemet cocave). Exemple 9.1.3 Pour toute suite fiie de N vecteurs : p(k) (1 k N ) de R, et toute suite de N réels q(k)i (1 k N ), la foctio : f C R R x N l(q(k) p(k) x) où : C = {x R p(k) x < q(k) (1 k N)}, est cocave. Elle est strictemet cocave sur C lorsque le rag du système des N vecteurs p(k) est : N. 9.2 Existece de demi-dérivées directioelles Théorème 9.2.1 Soit f C E R ue foctio covexe, et a u poit de l itérieur de C. 1. f admet ue «demi-dérivée directioelle» : D f (a,υ) = lim t 0+ t 1 ([f (a + t υ) f (a)] (9.6) au poit a das la directio de tout vecteur υ de E. 2. D f (a) E R υ D f (a,υ) est ue foctio covexe, homogèe de degré u. 3. Pour tout poit x das C : f (a)+d f (a, x a) f (x) (9.7) et l iégalité est stricte dès que f est strictemet covexe et x distict de a. Preuve : - 1. Soiet υ u vecteur quelcoque de E et t u réel strictemet positif assez petit pour que : 0 < s < t a + s υ C (u tel t existe toujours puisque a est supposé apparteir à l itérieur de C ). Pour tout couple de réels s et r de l itervalle ouvert ]0, t [, tels que : s < r, il existe u réel θ, strictemet compris etre zéro et u, tel que : s = θ r, d où : f (a+s υ) = f (a+θ r υ) = f ((1 θ) a+θ (a+r υ)) (1 θ) f (a)+θ f (a+r υ)
228 CHAPITRE 9. FONCTIONS CONVEXES impliquat : s 1 [ f (a + s υ) f (a)]... θ s 1 [ f (a + r υ) f (a)] = r 1 [ f (a + r υ) f (a)] (9.8) Aisi la foctio : ϕ ]0, t [ R R s s 1 [ f (a + s υ) f (a)] décroît, doc a ue limite - fiie ou o - lorsque : s 0 +. De plus, pour tout réel s strictemet compris etre zéro et t, la covexité de f etraîe : doc : f (a) 1 2 f (a + t υ)+ 1 f (a t υ), 2 0 < s r < t 0 s 1 [ f (a + s υ) f (a)]+ s 1 [ f (a s υ) f (a)]... s 1 [ f (a + s υ) f (a)]+r 1 [ f (a r υ) f (a)] (9.9) d où, e passat à la limite lorsque : s 0 + : lim s 1 [ f (a + s d) f (a)] r 1 [ f (a) f (a r υ)] > s 0 + qui prouve que la limite est fiie, doc l existece de la demi-dérivée directioelle D f (a,υ). - 2 Pour tous vecteurs υ 1 et υ 2 das E, o peut ecore choisir t strictemet positif tel que : 0 < s < t a + s υ i C (i = 1,2). Pour tout réel s strictemet compris etre zéro et t, et tout réel θ strictemet compris etre zéro et u : f [a + s (θ υ 2 +(1 θ)υ 1 )] f (a) = f [(a + θ s υ 2 )+(1 θ)(a + s υ 1 )] f (a) θ [ f (a + s υ 2 ) f (a)]+(1 θ) [ f (a + s υ 1 ) f (a)] (9.10) qui, e passat à la limite lorsque : s 0 +, doe : D f (a,θ υ 2 +(1 θ)υ 1 ) θ D f (a,υ 2 )+(1 θ)d f (a,υ 1 ). Le résultat valat pour tout couple de vecteurs υ 1 et υ 2 de E, et tout réel θ strictemet compris etre zéro et u, D f (a) E R υ D f (a,υ) est covexe. - 3 Fialemet, pour tout poit x das C, la décroissace de : implique : ϕ [0,1] R R t t 1 [ f (a + t(x a)) f (a)] 0 < s < 1 s 1 [ f (a + s (x a)) f (a)] = ϕ(s) ϕ(1) = f (x) f (a)
9.3. PROBLÈMES D OPTIMISATION CONVEXES 229 d où, e passat à la limite lorsque : s 0 + : D f (a, x a) f (x) f (a), et, si f est strictemet covexe, et x distict de a : D f (a)(b a) = 2D f (a)( a + b 2 a) 2 [ f ( a + b ) f (a)] 2... < 2 [ 1 2 f (b)+ 1 f (a) f (a)] = f (b) f (a) (9.11) 2 Corollaire 9.2.1 Si f D E R est covexe sur ue partie covexe C coteue das D, et Gateaux-dérivable e u poit a de l itérieur de C, le graphe : G = {(x,ξ) C R f (x) = ξ} de f «au dessus» de C est tout etier coteu das le demi-espace : (H) + = {(x,ξ) E R ξ f (a)+ f (a)(x a)} (9.12) délimité par l hyperpla affie : (H) = {(x,ξ) E R ξ = f (a)+ f (a)(x a)} (9.13) Lorsque : E = R, (H) est l hyperpla affie passat par (a, f (a)), orthogoal au gradiet de f au poit a. 9.3 Problèmes d optimisatio covexes Défiitio 9.3.1 Le problème d optimisatio : (P) Mi f (x) (9.14) s.c. x C est dit «covexe» lorsque : 1. «L esemble admissible» C de (P) est ue partie covexe de E. 2. Le «critère» f C E est covexe. Exemple 9.3.1 Le problème cosistat à détermier la projectio Euclidiee d u poit a d u espace Euclidie (E,<,>) sur ue partie covexe fermée de E est u problème covexe.
230 CHAPITRE 9. FONCTIONS CONVEXES Solutios d u problème covexe Théorème 9.3.1 L esemble des solutios de tout problème covexe : (P) Mi s.c. x C f (x) est ue partie covexe (évetuellemet vide!) de l esemble admissible C. Si e outre le critère f C E R du problème (P) est strictemet covexe, l esemble des solutios de (P) est vide ou réduit à u poit. Preuve : Pour tout couple de solutios distictes a et b, et tout t strictemet compris etre zéro et u, t b +(1 t) a est admissible, et : f (t b +(1 t) a) t f (b)+(1 t) f (a) =...... = t ifp +(1 t)ifp = if(p) (9.15) doc t b +(1 t) a est ecore solutio, et si f est strictemet covexe, il e peut y avoir deux solutios a et b distictes car l iégalité das (9.15) devrait alors être stricte. Exemple 9.3.2 (Maximum d etropie (4) ) Le problème : (P) Mi s.c. p i = 1 p i 0(1 i ) p i l p i est u problème covexe, qui admet au mois ue solutio (5). Le critère état strictemet covexe, la solutio est uique, et puisque le problème est ivariat par toute permutatio des p i, l uique solutio est : p i = 1/ (1 i ). Suffisace des coditios écessaires d optimalité Rappelos que, si C est ue partie covexe quelcoque d u espace de dimesio fiie E, tout miimiseur a d ue quelcoque foctio f C E R doit vérifier la coditio écessaire d optimalité : x C D + f (a, x a) 0 (9.16) (Théorème 6.5.1). Lorsque f est covexe, la dérivée de Dii D + f (a, x a) est e fait ue demi-dérivée directioelle D f (a, x a) (Théorème 9.2.1). Réciproquemet : 4. L etropie d ue distributio de probabilité discrète p 1,..., p est : E = p i l p i. Voir : http ://fr.wikipedia.org/wiki/etropie_de_shao 5. O miimise ue foctio cotiue sur u compact.
9.4. RÉGULARITÉ DES FONCTIONS CONVEXES 231 Théorème 9.3.2 Lorsque f C E R est covexe, tout poit a de C vérifiat la coditio écessaire d optimalité : x C D f (a, x a) 0 (9.17) est u miimiseur de f sur C. Si e outre f est strictemet covexe, c est l uique miimiseur de f sur C. Preuve : C est ue coséquece directe du théorème 9.2.1 puisque : x C D f (a, x a) f (x) f (a) l iégalité état stricte si f est strictemet covexe et x distict de a. Corollaire 9.3.1 Si f D R R est covexe sur ue partie covexe C de E, coteue das D : 1. Tout poit critique de f apparteat à l itérieur de C miimise f sur C. 2. Si f est strictemet covexe sur C, elle a au plus u poit critique das l itérieur de C. 9.4 Régularité des foctios covexes U lemme prélimiaire Soiet f C E R ue foctio covexe, et a u poit de l itérieur de C. La clé des propriétés de régularité de f est le : Lemme 9.4.1 Soit B = {e(1),...,e()} ue base quelcoque de E. Pour tout réel : ɛ > 0 doé, il existe u voisiage de a das E, coteu das C, e tout poit x duquel : (x i a i )θ i D f (a, θ i e(i)) f (x) f (a)...... où : θ i (x i a i ) = x i a i (1 i ) (x i a i )θ i D f (a, θ i e(i))+ ɛ x i a i (9.18) Preuve : Par défiitio des demi-dérivées directioelles, o peut choisir : r > 0 assez petit pour que : 0 < s < r implique : a + s θ i e(i) C, et : s 1 [ f (a + s θ i e(i)) f (a)] D f (a, θ i e(i))+ ɛ (1 i ) (9.19)
232 CHAPITRE 9. FONCTIONS CONVEXES Pour tout x das le voisiage V = {x E x i a i < r } de a, o pose alors : s = x i a i < r, et : α(i) = s 1 x i a i (1 i ) de sorte que : α(i) 0 (1 i ), et : α(i) = 1. d où : - O commece par majorer, e ivoquat l iégalité de Jese : f (x) = f (a + α(i)θ i s e(i)) f (x) f (a) s qui, compte teu de : se récrit : s α i = x i a i = θ i (x i a i ) α(i) f (a + s θ i e(i)), α(i)s 1 [ f (a + s θ i e(i)) f (a)]... s α(i)d f (a, θ i e(i))+ ɛ s f (x) f (a) (x i a i )θ i D f (a, θ i e(i)) ɛ x i a i - Das u secod temps, o miore e ivoquat deux fois le théorème 9.2.1. Ue première fois pour déduire : doc : 0 = D f (a,0) 1 2 D f (a, x a)+ 1 D f (a, a x) 2 D f (a, a x) D f (a, x a) (9.20) Ue secode fois, combiée à l homogééité de la foctio : D f (a) E R υ D f (a,υ) pour écrire : D f (a, a x) = D f (a, s α(i)θ i e(i))... s α i D f (a, θ i e(i)) (9.21)
9.4. RÉGULARITÉ DES FONCTIONS CONVEXES 233 De (9.20), (9.21), et de la relatio : s α i = x i a i = θ i (x i a i ) (1 i ), o déduit : (x i a i )θ i D f (a)( θ i e(i)) D f (a)(a x)... D f (a)(x a) f (x) f (a) Cotiuité Théorème 9.4.1 Pour toute foctio covexe f C E R, et tout poit a das l itérieur de C, il existe u voisiage V de a das E, coteu das C, tel que : sup f (x) < + (9.22) x V Preuve : Soiet B = {e(1),...,e()} ue base quelcoque de E, V u voisiage de a das E, coteu das C, e tout poit x duquel (9.18) est vérifiée avec : ɛ = 1, et : θ i x i a i = x i a i (1 i ) (Lemme 9.4.1), et r u réel strictemet positif assez petit pour que la boule de cetre a et de rayo r associée à la orme : N 1 E [0,+ [ x = x i e(i) x i soit coteue das V. De (9.18), o déduit : où : sup f (x) f (a) +(K + 1)r < + x B N1 (a,r ) K = max max(d f (a,e(i)),d f (a, e(i))) Corollaire 9.4.1 Toute foctio covexe f C E R est localemet Lipschitziee sur l itérieur de C. Preuve : Soiet N ue orme quelcoque sur E, et V u voisiage de a das E, coteu das C tel que : sup f (x) = K < + x V
234 CHAPITRE 9. FONCTIONS CONVEXES (Théorème 9.4.1). De la cotiuité de la foctio liéaire : L E E E (x, y) x + y il résulte l existece d u voisiage W de a, coteu das V, et d u réel strictemet positif r tels que : x W, y E, N(y) < r x + y V De (9.7), o déduit, pour tout poit x das W, tout vecteur υ de E de orme N(υ) = r, et tout ombre réel θ strictemet compris etre zéro et u : D f (x, θ υ) f (x + θ υ) f (x) 2K d où, pour tout x das W : sup D f (x,υ) 2K N(υ)=r et, puisque D f (x) E R est homogèe degré u : f (x) f (y) D f (x, x y) 2K r N(x y) pour tout couple (x, y) de poits de W. Aisi la restrictio de f à W est 2K r - Lipschitziee. Ue foctio covexe f C E R est pas écessairemet cotiue aux poits du bord de C. Exemple 9.4.1 La foctio f [0,1] R R défiie par : f (t) = { est covexe. 1 si : t = 1 ou : t = 0 0 sio Dérivabilité Théorème 9.4.2 Pour toute foctio covexe f C E R, tout poit a de l itérieur de C, et toute base : B = {e(1),e(2),...,e()} de E, les assertios suivates sot équivaletes : 1. D f (e(i)) = D f (a)( e(i)) (1 i ). 2. f est Gateaux-dérivable e a. 3. f est Fréchet-dérivable a. Preuve : Il suffit de vérifier : 1 3. Mais si 1 est vérifiée, (9.18) se récrit : 0 f (x) f (a) (x i a i )D f (a)(e(i)) ɛ x i a i.
9.5. CARACTÉRISATIONS DES FONCTIONS CONVEXES DÉRIVABLES 235 et (9.4.1) garatit, pour tout réel ɛ strictemet positif fixé, l existece d u réel : r strictemet positif tel que : x i a i < r f (x) f (a) (x i a i )D f (a)(e(i)) ɛ x i a i et doc : f (x) = f (a)+ (x i a i )D f (a)(e(i))+o (x a). Aisi f est dérivable e a, et sa dérivée est l applicatio liéaire : f (a) E R υ = υ i e(i) υ i D f (a)(e(i)) Corollaire 9.4.2 Toute foctio covexe f C R R admettat des dérivées partielles e poit doé a de l itérieur de C est Fréchet-dérivable e a. 9.5 Caractérisatios des foctios covexes dérivables Soiet C u ouvert covexe de E, et f C E R ue foctio dérivable e tout poit de C. Théorème 9.5.1 Les assertios suivates sot équivaletes : 1. f est covexe (resp. strictemet covexe) sur C. 2. x, y C, x y f (x)+ f (x)(y x) f (y) (resp. <) (9.23) 3. x, y C, x y ( f (x) f (y))(x y) 0 (resp. >) (9.24) Preuve : - 1 2 est coséquece directe du Théorème 9.2.1. - 2 3 : Pour tout couple de (x, y) de poits disticts de C, (9.24) se déduit de la combiaiso de (9.23) avec l iégalité aalogue obteue e permutat les rôles de x et de y. - 3 2 : Pour tout couple de (x, y) de poits disticts de C, o déduit du théorème des accroissemets fiis : f (y) f (x) f (x)(y x) = [ f (θ y+(1 θ) x) f (x)](y x) 0 (resp. >) où θ est u réel de l itervalle ]0, 1[. - 2 1 : Pour tout couple de (x, y) de poits disticts de C, et tout réel t strictemet compris etre zéro et u, o obtiet, e ivoquat deux fois (9.23) : f (t y +(1 t) x)+(1 t) f (t y +(1 t) x)(y x) f (y) (resp. <) (9.25)
236 CHAPITRE 9. FONCTIONS CONVEXES et : f (t y +(1 t) x)+ t f (t y +(1 t) x)(x y) f (x) (resp. <) (9.26) E combiat les iégalités obteues e multipliat (9.25) et (9.26) par t et (1 t) respectivemet, o déduit : f (t y +(1 t) x) t f (y)+(1 t) f (y) (resp. <) qui prouve que f est covexe (resp. strictemet covexe sur C. Corollaire 9.5.1 Si f est deux fois dérivable e tout poit de C, elle est covexe sur C si et seulemet si : x, y C f (x)(y x, y x) 0 (9.27) et strictemet covexe sur C si et seulemet si elle y est covexe, et : x, y C, x y sup f (t y +(1 t) x)(y x, y x) > 0 (9.28) 0 < t < 1 Preuve : Soiet x et y deux poits disticts de C. Par hypothèse, la foctio : ϕ [0,1] R R t [ f (t y +(1 t) x) f (x)](y x) est ulle e zéro, dérivable sur ]0, 1[, et, pour tout t das ]0, 1[ : ϕ (t) = f (t y +(1 t) x)(y x, y x) Si f est covexe sur C, le théorème 9.5.1 ( 1 3) motre que ϕ est toujours positive, et, puisque : ϕ(0) = 0 : ϕ (0) = f (x)(y x, y x) 0 Le résultat valat pour tout couple (x, y) de poits disticsts de C, (9.27) est vérifiée. - Réciproquemmet, (9.27) implique que ϕ est toujours positive, et, puisque : ϕ(0) = 0 : ϕ(1) = [ f (y) f (x)](y x) 0 Le résultat valat pour tout couple (x, y) de poits disticts de C, le théorème 9.5.1 ( 3 1) motre que f est covexe sur C. - Lorsque f est covexe sur C, elle y est strictemet covexe si et seulemet si, pour tout couple (x, y) de poits disticts de C, la foctio : ψ [0,1] R R t f (t y +(1 t) x) t f (y) (1 t) f (x) (9.29)
9.5. CARACTÉRISATIONS DES FONCTIONS CONVEXES DÉRIVABLES 237 ulle aux deux extrémités de l itervalle [0, 1], est strictemet égative sur l itérieur ]0,1[ de cet itervalle. A cotrario, f sera covexe mais e sera pas strictemet covexe sur C, si et seulemet si, la foctio ψ défie par (9.29) est égative ou ulle pour tout couple (x, y) de poits disticts de C, et si pour au mois u couple de poits x et y disticts de C, elle s aule e u poit de l itervalle ]0,1[. Si ψ est toujours égative et s aule e u poit de l itervalle ]0,1[, alors ce poit doit être u maximum local, doc u poit critique, de ψ. Mais, si f est covexe sur C, ψ l est aussi, comme somme : ψ = f ξ+ζ de la composée f ξ de la foctio affie : ξ [0,1 R E t t y +(1 t) x avec f, et de la foctio affie : ζ [0,1] E R t t [ f (x) f (y)] f (x) (Propositios 9.1.3 et 9.1.5), et tout poit critique de ψ das l itervalle ]0,1[ miimise écessairemet ψ sur [0, 1] (Corollaire 9.3.1). La foctio ψ e peut doc s auler e u poit de l itervalle ]0,1[ que si elle est idetiquemet ulle sur l itervalle [0, 1]. Fialemet, la foctio f sera covexe mais e sera pas strictemet covexe sur C si et seulemet si o peut trouver deux poits disticts x et y, de C tels que la foctio ψ défiie par (9.29), ulle, par costructio, aux deux extrémités de l itervalle [0,1], soit e fait ulle e tout poit de l itervalle [0,1], c està-dire tels que sa dérivée secode : ψ (t) = f (t y +(1 t) x)(y x, y x) soit ulle e tout poit de l itervalle ] 0,1[ (6). Elle sera doc strictemet covexe sur C si et seulemet si (9.28) est vérifiée. Exemple 9.5.1 Si Q est ue matrice symétrique SDP, et r u vecteur de R quelcoques, la foctio quadratique : f R R x x Q x r x est covexe. Elle est strictemet covexe lorsque Q est DP. 6. Si ψ est idetiquemet ulle sur [0,1], sa dérivée secode est ulle e tout poit de ]0,1[. Réciproquemmet, si ψ est idetiquemet ulle sur ]0,1[, ψ est costate sur ]0,1[, et doc ψ est ue foctio affie, ulle au deux extrémités de l itervalle [ 0, 1], c est-à-dire idetiquemet ulle sur [0,1].
238 CHAPITRE 9. EXERCICES Corollaire 9.5.2 Ue foctio f D R R, deux fois dérivable e tout poit d u ouvert covexe C coteu das l itérieur de D, est : 1. Covexe sur C si et seulemet si sa matrice Hessiee 2 f (x) est SDP e tout poit x de C 2. Strictemet covexe sur C si et seulemet si elle est covexe sur C et si, pour tout couple de poits disticts x et y de C, il existe au mois u poit z = t y +(1 t) x (0 < t < 1) tel que : (y x) 2 f (z) (y x) > 0 Exemple 9.5.2 La foctio f R 2 R (x 1, x 2 ) x 4 1 + x4 2 est strictemet covexe. Preuve : - Sa Hessiee : 2 f (x 1, x 2 )( 12 x2 1 0 0 12 x 2 2 ) est partout SDP, et, pour tout couple de poits disticts x = (x 1, x 2 ) et (y 1, y 2 ) de R 2, la foctio : ϕ [0,1] R R t (y x) 2 f (t y +(1 t) x) (y x) =... = 12 (t y 1 +(1 t) x 1 ) 2 (y 1 x 1 ) 2 + 12 (t y 2 +(1 t) x 2 ) 2 (y 2 x 2 ) 2 est positive, et o idetiquemet ulle puisque sa dérivée secode ϕ (t) = 24(y 1 x 1 ) 4 + 24(y 2 x 2 ) 4 e s aule jamais. O otera que, das l exemple 9.5.2, f est strictemet covexe, bie que sa Hessiee e soit DP e aucu poit des droites d équatio : x 1 = 0, et : x 2 = 0. Exercices Exercice 9.1 Das chacu des cas suivats, dire si f C R 2 R est covexe, strictemet covexe, cocave, strictemet cocave, et si elle atteit so maximum ou so miimum sur C. 1. C = {(x 1, x 2 ) R 2 x 1 x 2 > 1, x i > 0 (i = 1,2)}, et : f C R 2 R (x 1, x 2 ) x 1 + x 2 + x 1 + x 2 1 x 1 x 2
CHAPITRE 9. EXERCICES 239 2. C = {(x 1, x 2 ) R 2 x 2 1 + x2 2 + x 1 x 2 < 1}, et : f C R 2 R (x 1, x 2 ) x 1 + x 2 + l(1 x 2 1 x 2 2 x 1 x 2 ) 3. C = {(x 1, x 2 ) R 2 x 2 2 x 1}, et : f C R 2 R (x 1, x 2 ) x 1 (x 1 + x 2 2) 4. C = R 2, et : f R 2 R (x 1, x 2 ) 2 x 2 1 + x2 2 2 x 1 x 2 + x 1 4. 5. C = R 2, et : f R 2 R (x 1, x 2 ) x 1 1 + x 2 + 1 + x 4 1 + x4 2 Exercice 9.2 O cosidère lle demi-espace fermé : H + = {(x 1, x 2 ) R 2 x 1 + x 2 foctio : > 0}, et la f H + R 2 R (x 1, x 2 ) x 1 + x 2 + 1 x 1 x 2 x 1 + x 2 1. Vérifier que f est strictemet covexe. 2. Motrer qu elle atteit so miimum. Quelle est la valeur de ce miimum? 3. Déduire que, pour tout poit à coordoées positives (x 1, x 2, x 3 ) de la surface d équatio : x 1 x 2 + x 2 x 3 + x 3 x 1 = 1 das R 3 : x 1 + x 2 + x 3 3. Exercice 9.3 Vérifier que la foctio de Cobb-Douglas : f C = [0,+ [ [0,+ [ R 2 (x 1, x 2 ) C x α 1 xβ 2 (C > 0, α > 0, β > 0), bie coue des écoomistes, est strictemet cocave si : α+β < 1, et ecore cocave si : α+β = 1, mais qu elle est i covexe i cocave sur aucu ouvert covexe de C lorsque : α + β > 1. Exercice 9.4 O cosidère le problème d optimisatio : (P) Max s.c. x 2 1 + x2 2 + x 1 x 2 1 (x 1 + x 2 ) 1. Prouver qu il admet des solutios. 2. Prouver que la cotraite est écessairemet active à l optimum. 3. Déduire que la solutio est uique, et trouver sas calculs la valeur du maximum.
240 CHAPITRE 9. EXERCICES Exercice 9.5 Prouver que, pour toute matrice réelle symétrique Q, et tout vecteur r de R, O = {x R x Q x r x < 0} est u ouvert covexe de R, et : f O R R x l(r x x Q x) est cocave (resp. strictemet cocave) dès que Q est SDP (resp. DP) Exercice 9.6 (Modèle Logit) O cosidère la foctio : f R R R (p, q) exp[θ (p x + q)] où : θ = ±1, et x est u vecteur de R doé. 1. Vérifier que f est deux fois dérivable sur R R, et que sa matrice Hessiee e tout poit (p, q) de R R s écrit : 2 f (p, q) = exp[θ (p x + q)] ( x x x x 1 ) Déduire que f est covexe. Est-elle strictemet covexe? O cherche à costruire u classificateur automatique permettat de classer des poits d u espace R (des «cliets» idetifiés par u jeu de doées umériques : âge, situatio familiale, départemet de résidece, reveu imposable,..., etc.) das l ue ou l autre de deux catégories disjoites C 1 et C 2 recouvrat l espace R (les «bos» et les «mauvais» cliets). Le modèle «Logit» suppose la probabilité d apparteace à la classe C 1 d u élémet x, doé das R de la forme : P(x C 1 ) = 1 1+exp(p x + q) où p et q sot des paramètres icous, de sorte que : P(a C 2 ) = 1 1+exp( p x q) (le vérifier). O cherche alors à estimer les paramètres p et q du modèle à partir d u échatillo de poits a(i) (1 i N ) das R dot la classe est coue - u échatillo «d appretissage» - e maximisat la vraisemblace de l échatillo : N 1 1+exp[θ(i) (p a(i)+ q)]
CHAPITRE 9. EXERCICES 241 où : θ(i) est u «marqueur» de la classe du i ème poit : θ(i) = 1 si : a(i) C 1, et : θ(i) = 1 si : a(i) C 2, problème qui équivaut à miimiser la foctio : N F R R R (p, q)) l(1+exp[θ(i) ((p a(i)+ q)]) 2. Prouver que F est covexe. 3. Prouver qu elle est strictemet covexe si et seulemet si les N poits a(i) appartieet pas tous à u même hyperpla de R. idicatio: Observer que sa Hessiee est ue somme de matrices SDP. A quelle coditio est-elle DP? 4. Prouver qu elle est coercive si et seulemet si il existe aucu hyperpla de R «séparat» les deux classes, c est-à-dire aucu couple (p, q) das R R, distict de (0 R,0), tel que : θ(i) (p a(i)+ q) 0 (1 i N) idicatio: Raisoer par l absurde e supposat l existece d ue suite (p(k), q(k)) das R R telle que : N (p(k), q(k)) +, mais : F (p(k), q(k)) / + Ivoquer le théorème de Bolzao-Weierstrass pour garatir l existece d u poit d accumulatio de la suite ormalisée obteue e divisat chaque (p(k), q(k)) par sa orme, et motrer qu u tel poit «sépare» écessairemet les classes.. 5. Coclure que, le plus souvet, l estimateur du maximum de vraisemblace retourera l uique miimiseur de F. 6. O suppose que les poits a(i) appartieet pas à u même hyperpla de R. Motre que s il existe u hyperpla de R séparat les poits des deux classes C 1 et C 2, F a aucu poit critique. idicatio: Observer qu u hyperpla séparat les deux classes C 1 et C 2 fourit ue directio de descete pour F e tout poit de R R. Exercice 9.7 (Stricte covexité du carré de la orme N p ) Soiett E u espace de dimesio fiie, et B = {e(1),e(2),...,e()} ue base quelcoque de E. O cosidère la orme : N p E [0,+ [ x = x i e(i) ( x i p ) 1/p et o se propose de prouver, par l absurde, que Np 2 (1 < p < + ) est strictemet covexe. Pour cela, o suppose qu il existe deux poits disticts x et y das R, et u réel t strictemet compris etre 0 et 1, tels que : N 2 p (t y +(1 t) x) = t N 2 p(y)+(1 t) N 2 p(x)
242 CHAPITRE 9. EXERCICES 1. Prouver que : N p (x) = N p (y) = N p (t y +(1 t) x). idicatio: Utiliser la covexité de la orme N p et la stricte covexité de la foctio ϕ 2 R R r r 2. 2. Coclure e ivoquat la stricte covexité de la foctio : ϕ p R R r r p (p > 1) Exercice 9.8 ( ) O suppose X et Y variables de Beroulli idépedates, de paramètres respectifs p et q, de sorte que : Z = X + Y pred les valeurs : 0, 1, et : 2 avec les probabilités respectives : P 0 = (1 p)(1 q), P 1 = p (1 q)+ q (1 p) = p + q 2 p q, P 2 = p q Sur u échatillo de 20 réalisatios de Z, o a obteu : ciq fois la valeur 0, huit fois la valeur 1, sept fois la valeur 2, et o cherche à estimer p et q e maximisat la log-vraisemblace de l échatillo : l(p0 5 P 1 8 P 2 7 ) = 5 l(1 p)+5 l(1 q)+8 l(p +q 2 p q)+7 l p +7 l q 1. Vérifier que la foctio : f ]0,1[ ]0,1[ R 2 R (p, q)......5 l(1 p)+5 l(1 q)+8 l(p + q 2 p q)+7 l p + 7 l q est de classe C 2, et calculer sa matrice Hessiee. 2. Etablir l iégalité : 1 (p + q 2 p q) q 2 (1 p) + 1 q, et déduire : 2 p 2 q (1 q) 32 (p + q 2 p q) 32 q2 (1 q) q (1 q)2 + 32 < 2 (1 p) 2 p 2 5 (1 p) 2 + 5 p 2 idicatio: Utiliser : p + q 2 p q = p (1 q) + q (1 p) et la covexité de x 1/x 2, puis calculer la valeur de : max q 2 (1 q) = max q (1 q) 2. 3. Coclure que f est strictemet cocave, et déduire qu elle atteit so maximum e u poit uique ( ˆp, ˆq) que l o détermiera. idicatio: Ecrire la matrice Hessiee de f comme la somme d ue matrice diagoale et d ue matrice SDN pour vérifier que f est strictemet cocave, puis observer que le critère est ivariat par permutatio de p et de q, et déduire : ˆp = ˆq.
CHAPITRE 9. EXERCICES 243 Exercice 9.9 ( ) O cosidère la variable aléatoire : X = S x = S i x i, où : S = (S 1,...,S ) est u vecteur aléatoire cou de dimesio, et de moyee : E(S) = 0 R, de sorte que : E(X ) = E(S) x = 0, et o ote : D = E(S S ) la matrice de dispersio de S, de terme gééral : D j i = E(S i S j ) (1 i, j ). 1. Vérifier que : f R R x E(X 4 ) = E [(S x) 4 ] est deux fois dérivable sur R et que, pour tout x das R : 2 f (x) = 12 E ((S x) 2 S S ) idicatio: ϕ R R t f (x + t d) est ue foctio polyômiale de degré quatre. 2. Vérifier que, pour tout couple (a,b) de poits de R : (b a) 2 f (t b +(1 t) a) (b a) est idetiquemet ulle que si : S (b a) = 0 presque sûremet. idicatio: ψ R R t (b a) 2 f (t b +(1 t) a) (b a) est ue foctio polyômiale de degré deux. 3. Déduire que f est toujours covexe sur R, et strictemet covexe si et seulemet si la matrice de dispersio D de S est DP.