Optimisation Différentiable Théorie et Algorithmes. Exemple de résumé du cours. J. Ch. GILBERT

Dimension: px
Commencer à balayer dès la page:

Download "Optimisation Différentiable Théorie et Algorithmes. Exemple de résumé du cours. J. Ch. GILBERT"

Transcription

1 Optimisation Différentiable Théorie et Algorithmes Exemple de résumé du cours J. Ch. GILBERT 5 janvier 2015

2 Informations pratiques Objectif du cours : l optimisation aspects théoriques : convexité, CO, dualité,..., aspects pratiques : algorithmes. Organisation : 14 séances, dont 1 pour l examen. CM : 12 séances d 1h15++, TD + TP : 9+5 séances d 1h45--, TP : projet d optimisation (Matlab/Scilab), travail personnel. Supports de cours syllabus [pdf] : ne pas voir les sections avec, planches [pdf] : points importants du cours [ ], wikipédia : pour certaines parties signalées par [WP], exercices : en TD, dans le syllabus. Contrôle des connaissances TP : contrôle continu + petit rapport Séance 14 : résolution de problèmes (3h). 2

3 Plan du cours 1. Introduction : optimisation et analyse convexe 2. Conditions d optimalité I : méthode et outils 3. Conditions d optimalité II : égalités 4. Conditions d optimalité III : inégalités 5. Méthodes de descente : RL et RC 6. Méthodes newtoniennes : N et qn 7. Pénalisation 8. Optimisation quadratique successive (OQS) 9. Dualité 10. Séance de TD Consolidation 11. Optimisation linéaire : simplexe et PI 12. Conjugaison 13. Sous-différentiabilité 3

4 I Introduction Vocabulaire de l optimisation ( 1.1) Le problème à résoudre : (P X ) inf x X f(x). Quelques définitions et conventions : f : X R est appelée critère ou fonction-coût ou fonction-objectif, X est appelé ensemble admissible, un point de X est dit admissible, val(px ) := inf x X f(x) est la valeur optimale, (PX ) est dit réalisable si X, convention : infx f(x) = +, (PX ) est dit non borné si val(p X ) =, i.e., {x k } X telle que f(x k ). Si X, il existe une suite minimisante {x k } : {xk } X, f(xk ) val(p X ). 4

5 On dit que x est solution de (P X ) si x X, x X:f(x ) f(x). On dit aussi minimum ou minimiseur. On note l ensemble des solutions Sol(P X ) ou argmin x X On dit que x est solution stricte de (P X ) si x X, x X \{x }:f(x ) < f(x). f(x). Si X topologique, on dit que x est solution locale de (P X ) s il existe un voisinage V de x tel que x X, x X V: f(x ) f(x). Si X topologique, on dit que x est solution locale stricte de (P X ) s il existe un voisinage V de x tel que x X, x (X V)\{x }:f(x ) < f(x). 5

6 Existence de solution ( 1.2) Le problème à résoudre (f : X R {+ }) : inff(x) (P X ) x X. On dit que f est fermée si (epif) est fermé. Si f est fermée sur X, X est compact et non vide, alors(p X ) a (au moins) une solution. En dimension finie (c est notre cas) : X compact X fermé borné. On peut remplacer l hypothèse par X compact X fermé et f coercive sur X. 6

7 Unicité de solution ( 3.1) Soient X un convexe deeet f : X R. Définitions : f est convexe sur X si pour tout x,y X,x y, et t ]0,1[ : f((1 t)x+ty) (1 t)f(x)+tf(y). f est strictement convexe si on a inégalité stricte ci-dessus. Le problème à résoudre : minf(x) (P X ) x X. Si X est convexe, f est strictement convexe surx, alors(p X ) a au plus une solution. 7

8 Différentiabilité première ( C.1, C.2, C.2.1) Soient E et F deux espaces normés, Ω un ouvert de E et f : Ω F. 1. Différentiabilité directionnelle suivant h E : f 1 ( ) (x;h) := lim f(x+th) f(x) existe. t 0+ t 2. Différentiabilité au sens de Gâteaux : f (x;h) existe pour tout h E et h f (x;h) est linéaire (continue). On notef (x) l application linéaire (continue). 3. Différentiabilité au sens de Fréchet : il existe L : E F, linéaire (continue) : f(x+h) = f(x)+lh+o( h ). On note f (x) := L (même opérateur qu en 2). Soit, un produit scalaire sur E et F = R. On définit le gradient def en x comme l unique vecteur f(x) E: f(x),h = f (x) h, h E. 8

9 Différentiabilité seconde ( C.2.2, C.2.2) Supposons que f : Ω F soit 2 fois différentiable (pour une définition rigoureuse, voir le syllabus). Propriétés : f (x) (h,k) est la dérivée directionnelle de x f (x) h dans la direction k: f (x) (h,k) = lim t 0+ l application 1 t (f (x+tk) h f (x) h). (h,k) f (x) (h,k) est bilinéaire symétrique. Soit, un produit scalaire sur E et F = R. On définit le hessien def en x comme l unique opérateur linéaire symétrique 2 f(x) suretel que 2 f(x)h,k = f (x) (h,k), (h,k) E 2. 9

10 II Analyse convexe Dfn. Soient x,y E. Un segment dee : [x,y] := {(1 t)x+ty : t [0,1]}. Dfn. Un ensemble C E est convexe si x,y C = [x,y] C. x x y y convexe non convexe x y convexe non convexe 10

11 Cône asymptotique ( 2.2.4, [WP]) Soit C un convexe fermé non vide de E. Dfn : Le cône asymptotique C de C est C := t>0 C x, t oùx C. Prop : C est un cône, convexe, fermé, non vide, C ne dépend pas de x C, d C {x k } C, {t k } : C est borné C = {0}. x k t k d. 11

12 Polyèdre convexe ( 2.4) Soit E un espace vectoriel (E = R n parfois). Dfn. Description primale d un polyèdre conv. : P := co{x 1,...,x p }+cone{y 1,...,y q }. Description duale d un polyèdre convexe : P := {x E : Ax b}. Dfn : ˆx est un sommet de P si x 1,x 2 P, ˆx = x 1 +x 2 2 = ˆx = x 1 = x 2. L ensemble des sommets est noté extp. Prop. SoitP := {x : Ax = b,x 0}, ˆx P. 1) ˆx extp A B est injective, où B = {i : x i > 0} et A B formée des colonnes i B dea. 2) P a au moins un sommet et au plus2 n. 12

13 Projection sur un convexe fermé ( 2.5.2) E muni d un produit scalaire, = 2. SiC E convexe fermé non vide et x E, alors le problème min{ y x : y C} (1) a une unique solution. Dfn : l unique solution de (1) est appelée la projection de x sur C et est notée P C x. Prop : Soit x C. Alors a x = P C x y C, y x, x x 0 y C, y x,y x 0 = y C, y x, x x 0. a La réciproque de la dernière implication est fausse. 13

14 Séparation des convexes ( 2.5.3) E muni d un produit scalaire,. Dfn : On peut séparer C 1, C 2 E s il existe ξ E non nul tel que sup x 1 C 1 ξ,x 1 inf x 2 C 2 ξ,x 2. La séparation est stricte si l inégalité ci-dessus est stricte (alors ξ est nécessairement non nul). Théor (Hahn-Banach) : Si C 1 et C 2 convexes, non vides, disjoints, dime <, alors on peut séparer C 1 et C 2. Si C 1 et C 2 convexes, non vides, disjoints, C 1 ouc 2 est d intérieur non vide, alors on peut séparer C 1 et C 2. Si C 1 et C 2 convexes, non vides, disjoints, l un est fermé, l autre est compact, alors on peut séparer C 1 et C 2 strictement. 14

15 Enveloppe convexe fermée ( 2.5.4) Soient E un e.v. avec, et P E. Dfn. L enveloppe convexe dep,cop, est le plus petit convexe contenant P. P fermé co P fermé. Dfn. L enveloppe convexe fermée dep,cop, est le plus petit convexe fermé contenant P. Dfn. Un demi-espace fermé de E : H (ξ,α) := {x E : ξ,x α}, oùξ E est non nul et α R. Prop. cop est l intersection de tous les demi-espaces fermés contenant P. 15

16 Cône dual ( 2.5.6, [WP]) E muni d un produit scalaire,. Dfn : Le cône dual de P E est défini par P + := {y E : y,x 0, x P}. C est un cône, convexe, fermé, non vide. Lemme de Farkas (généralisé) Si E et F deux espaces euclidiens, K un cône convexe dee, A : E F linéaire, alors {y F : A y K + } + = A(K). Cas particulier : Soit A une matrice. Alors {Ax : x 0} = cône, convexe, fermé, {y : A y 0} + = {Ax : x 0}. ( ) + = dual pour le produit scalaire euclidien. [c est une généralisation de N(A ) = R(A)] 16

17 Fonction convexe ( 3.1) Soient E un espace vectoriel et f : E R. Dfn. Le domaine de f est l ensemble domf := {x E : f(x) < + }. On peut avoirf(x) = pour x domf. Dfn. L épigraphe de f est l ensemble epif := {(x,α) E R : f(x) α}. Dfn.f est convexe epif est convexe. f est convexe x,y domf, t ]0,1[ : ( ) f (1 t)x+ty (1 t)f(x)+tf(y). 17

18 Enveloppe supérieure ( 3.4.2) Enveloppe supérieure d une famille de f i : E R,i I (quelconque) : ( ( ) supf i )(x) := sup f i (x). i I i I epi(sup i I f i ) = i I (epif i). f i convexes = sup i I f i convexe. f i fermées = sup i I f i fermée. 18

19 Reconnaître une fonction convexe par ses dérivées ( 3.3.3) Soient X un convexe deeet f : X R. Si f est 1 fois dérivable et X ouvert Les propriétés suivantes sont équivalentes : f est convexe sur X [resp. strictement convexe], x,y X,x y : f(y) f(x)+f (x) (y x) [resp. >], x,y X,x y : (f (y) f (x)) (y x) 0 [resp. >]. 19

20 Si f est 2 fois dérivable et X ouvert : f est convexe surx x X, h E,f (x) h 2 0, f est strictement convexe sur X = x X, h E non nul,f (x) h 2 > 0. Contre-exemple: f(x) = x 4. 20

21 Fonction asymptotique ( 3.3.4, [WP]) Soit f Conv(E), l ensemble des fonctions E R {+ } convexes fermées propres. Dfn : La fonction asymptotique def est la fonction f : E R {+ } telle que epi(f ) = (epif). Prop : 1) x domf, d E : f (d) = lim t + 2) f Conv(E). 3) ν R tel que N ν (f) : f(x+td) f(x) t (N ν (f)) = {d E : f (d) 0}. 4) Si f Conv(E), g Conv(R) croissante et vérifiant g (1) > 0, alors d E : (g f) = g (f (d)).. 21

22 Fonction conjuguée ( 3.4.8, [WP]) Soient E un espace vectoriel, muni de, et f : E R {+ } propre avec minorante affine. Dfn. Conjuguée f : E R {+ } def : ( ) f (x ) := sup x,x f(x). x E Biconjuguée f : E R {+ } de f : ( ) f (x) := sup x,x f (x ). x E Prop. Quelle que soit f : E R, on a 1) f f. Si f est propre et a une minorante affine, on a 2) f Conv(E) et f Conv(E). 3) f est l enveloppe supérieure des minorantes affines de f. 4) f = f f Conv(E). 22

23 Interprétation de f (x ) et f R f f (x ) pente x 0 x R f f 0 x 23

24 Sous-différentiel des fonctions convexes E un e.v. muni de,. Différentiabilité directionnelle [WP] f Conv(E),x domf et d E. 1) t ]0,+ [ f(x+td) f(x) t 2) f (x;d) existe dans R, 3) f (x; ) est convexe, 4) x (domf) = est croissante, f (x; ) Lipschitz, f (x; ) Conv(E). 24

25 Sous-différentiel [WP] Dfn Le sous-différentiel f(x) de f Conv(E) enx domf est l ensemble des x E vérifiant les propriétés équivalentes : (S 1 ) d E : f (x;d) x,d, (S 2 ) y E : f(y) f(x)+ x,y x, (S 3 ) x argmax( x, f( )), (S 4 ) f(x)+f (x ) x,x, (S 5 ) f(x)+f (x ) = x,x. Si x / domf, alors f(x). Dfn et Prop f est sous-différentiable enx f(x) y (domf) : f (x;y x) >. 25

26 Prop 1) ˆx argminf 0 f(ˆx), 2) si f Conv(E) : x f(x) x f (x ), 3) f(x) est un convexe fermé, 4) x (domf) = f(x) compact non vide, f (x;d) = max x f(x) x,d, 5) f différen. enx f(x) = { f(x)}. Calcul Si f 1,...,f m : E R convexes et α i 0 ( m α i f i )(x) = i=1 m α i f i (x). i=1 26

27 Exemple 1D Figure 1: f(x) = max(x,x 2 ) et f(x) (en bas) 27

28 Exemple 2D x 1 + f(x 1 ) x 1 x 2 x 3 x 3 + f(x 3 ) x 2 + f(x 2 ) Figure 2: f = sup(q 1,q 2,q 3 ) et f 28

29 Deux applications emblématiques Sous-différentiel de la fonction valeur Pour un problème convexe, la fonction valeur v(p) = inf c E (x)+p E =0 c I (x)+p I 0 f(x) est telle que l ensemble des multiplicateurs optimaux enp = 0 est donné par Λ = v(0). Sous-différentiel de la fonction duale Pour le problème (non néc. convexe) inf f(x) c(x) 0 x X et une fonction duale δ(λ) = inf x X ( l(x,λ) := f(x)+λ c(x) propre, on af Conv(R m ) et ( ) c arg minl(x, λ) δ(λ). x X ) 29

30 III Conditions d optimalité (CO) [WP] Le problème à résoudre : (P X ) minf(x) x X, où X E (espace euclidien, produit scalaire, ). Ce sont des=et décrivant les solutions de (P X ). Utilité des CO : donner des renseignements sur (P X ), vérifier qu un point est solution, calculer la solution analytiquement (parfois), définir des algorithmes de résolution. Il y a des CO nécessaires (notées CN) et des CO suffisantes (notées CS). Il y a des CO du 1 er ordre (CN1, CS1) et des CO du 2 ième ordre (CN2, CS2). 30

31 CO sans contrainte (rappel, 4.2, [WP]) Le problème à résoudre : minf(x) x E. On note f(x) et 2 f(x) les gradient et hessien de f en x pour,. CN1 : f(x ) = 0. (Si f est convexe, c est une CS1 globale.) CN2 : f(x ) = 0 2 f(x ) 0. CS2 pour un minimum local strict : f(x ) = 0 2 f(x ) 0. 31

32 CN1 générale ( 4.1, [WP]) Le problème à résoudre : (P X ) minf(x) x X. Dfn : Cône tangent [WP]. X 1 x 2 X 2 x 1 T x1 X 1 N x2 X T x2 X 2 N x1 X 1 32

33 CN1. On exprime plus ou moins le fait quef croît si on se déplace vers l intérieur de X : f (x ) d 0, d T x X, (2) oùt x X est le cône tangent àx en x. CN1. Lorsque X est convexe, la relation (2) se simplifie en : f (x ) (x x ) 0, x X. (3) (Si X est convexe et f est convexe, (3) est une CS1 pour que x soit un minimum global.) 33

34 CO avec contraintes d = ( 4.3, [WP]) Le problème en x E (e.v. euclidien) à résoudre : minf(x) (P E ) c(x) = 0 F (e.v. euclidien). Le lagrangien du problème : l(x,λ) = f(x)+ λ,c(x). CN1 : si c (x ) est surjective, il existe λ F, unique, tel que x l(x,λ ) = 0 c(x ) = 0. (4) (Si c affine,λ existe, pas néc. unique.) (Si f est convexe et c est affine, ce sont des CS1 globales.) Si F = R m, la première condition de(4) s écrit f(x )+ m (λ ) i c i (x ) = 0. i=1 34

35 CN2 : si c (x ) est surjective, on a x l(x,λ ) = 0 c(x ) = 0 2 xxl(x,λ ) 0 surn(c (x )). CS2 pour un minimum local strict : x l(x,λ ) = 0 c(x ) = 0 2 xxl(x,λ ) 0 surn(c (x )). 35

36 CO avec contraintes d = et d ( 4.4, [WP]) Le problème à résoudre enx E : (P EI ) minf(x) c E (x) = 0 R m E c I (x) 0 R m I. Le lagrangien du problème (c := (c E,c I )) : l(x,λ) = f(x)+λ c(x). On notei 0 (x) := {i I : c i (x) = 0}. CN1 : si les contraintes sont qualifiées en x, il existe λ R m tel que (KKT) x l(x,λ ) = 0 c E (x ) = 0 0 (λ ) I c I (x ) 0. (Si f et c I sont convexes et c E est affine, ce sont des CS1 globales.) 36

37 Qualification des contraintes ( 4.4.2, [WP]) Dfn : on dit que les contraintes de (PEI ) sont qualifiées enxsi T x X = T xx, (5) où T xx := {d : c E(x) d = 0, c I 0 (x)(x) d 0}. On a toujours : T x X T xx. Conditions suffisantes de qualification des contraintes. Régularité + l une des conditions suivantes : (QC-A) c E I 0 (x) est affine dans un voisinage dex. (QC-S) c E est affine avec c E surjective, les composantes de c I 0 (x) sont convexes, ˆx X tel quec I 0 (x)(ˆx) < 0. (QC-IL) les gradients { c i (x)} i E I 0 (x) sont linéairement indépendants. (QC-MF) i E I 0 (x) α i c i (x) = 0 et α I 0 (x) 0 = α E I 0 (x) = 0. (QC-MF ) c E (x) surjective et d E tel que c E (x) d = 0 et c Ix(x) d 0 < 0. 37

38 Démarche suivie pour obtenir (KKT) On part de (2) [i.e., f croît de x vers l intérieur dex]. On suppose que les contraintes sont qualifiées en x (on a(5) avec x = x ). Dès lors f(x ) ( T x X ) +. (6) Lemme de Farkas : Données : A : E F linéaire et K cône de E. {y F : A y K + } + = A(K). C est une généralisation de N(A) = R(A ). Le lemme de Farkas permet d exprimer (6) autrement : λ R m tel que l on ait (KKT). 38

39 Conditions du deuxième ordre Dfn : le cône critique enx X est l ensemble (il dépend aussi def!) C(x):= {d : c E(x) d = 0, c I 0 (x)(x) d 0, On note C := C(x ). f (x) d 0} T xx. Soit x une solution de(p EI ). On note Λ := {λ : (x,λ ) vérifie (KKT)} l ensemble des multiplicateurs optimaux. CN2 : si (QC-MF) en x, on a (KKT) et d C, λ Λ : d 2 xxl(x,λ )d 0. CS2 pour un minimum local strict : Λ et d C \{0}, λ Λ : d 2 xxl(x,λ )d > 0. 39

40 Signification des multiplicateurs optimaux ( 4.7.1) Problème perturbé : pour p R m, on définit min f(x) (P p EI ) c E (x)+p E = 0 c I (x)+p I 0. Dfn. La fonction valeur associée à(p p EI ) est v : p R m R définie par v(p) = inf x X p f(x), oùx p est l ensemble admissible de(p p EI ). (P EI ) convexe = v convexe. Cas différentiable régulier. Si (x,λ ) solution PD de(p EI ), ( x(p), λ(p)) solution PD de (P p EI ), p x(p) différentiable en 0, x(0) = x, p λ(p) continue en 0, λ(0) = λ, alors λ = v(0) = (f x)(0). 40

41 On note Λ := {λ R m : λ I 0}. Dfn. On dit que(x,λ ) R n Λ est un point-selle de l sur R n Λ, si (x,λ) R n Λ : l(x,λ) l(x,λ ) l(x,λ ). Cas convexe non différentiable. Si x est solution de(p EI ), v Conv(R m ), alors v(0) = {λ : (x,λ ) est point-selle delsur R m Λ}. Remarque : Ci-dessus, v(0) peut être vide! Avec qualification de Slater : v(0). 41

42 CN et CS d existence de solution PD globale. CN d optimalité (cas convexe non diff.). Si (P EI ) convexe (avec f et c finies), (Slater) : c E surjective, ˆx X t.q.c I(ˆx) < 0, x solution de(p EI ), alors 1) v est loc. lipschitzienne dans un vois. de 0, 2) v(0). CS d optimalité globale. Peu de chance d être applicable si (P EI ) non convexe. Si (x,λ ) R n Λ est un point-selle de l sur R n Λ, alors x solution (globale) de(p EI ). 42

43 IV Méthodes à directions de descente [WP] Schéma des algorithmes ( 6.1) Dfn [WP] : d est direction de descente def en x si f (x) d < 0. = f décroît enxle long de d. Algorithme à directions de descente : il génère une suite{x k } E comme suit Calcul d une direction de descente d k ; Recherche linéaire : on détermine un pas α k > 0 le long de d k ; Nouvel itéré : x k+1 := x k +α k d k. d k x k+1 x k+2 d k+1 x k d k+2 43

44 Exemples d algorithmes à DD ( 6.2, [WP]) On note g k := f(x k ). Algorithme du gradient. d k = g k. Algorithme du gradient conjugué. g 1 si k = 1 d k = g k +β k d k 1 si k 2. Algorithme de Newton. d k = 2 f(x k ) 1 g k. Algorithme de quasi-newton. d k = M 1 k g k. Algorithme de Gauss-Newton pour f(x) = 1 2 r(x) 2 2 et J(x) := r (x) injective : d k = (J(x k ) J(x k )) 1 J(x k ) r(x k ). 44

45 La recherche linéaire ( 6.3) Deux techniques souvent utilisées : RL d Armijo et RL de Wolfe. Soient d k une direction de descente et h k (α) := f(x k +αd k ). RL d Armijo (0 < ω 1 < 1 2, 0 < τ < 1) h k (α k ) h(0)+ω 1 α k h k(0), α k = τ i k, oùi k est le plus petit dans {0,1,2,...}. 0 pas d Armijo τ 4 τ 3 τ 2 τ h k (α) 1 α pente h k (0) penteω 1 h k (0) Valeurs typiques : ω 1 = 10 4 et τ =

46 RL de Wolfe (0 < ω 1 < 1 2, ω 1 < ω 2 < 1) h k (α k ) h(0)+ω 1 α k h k (0), h k (α k) ω 2 h k (0). pas de Wolfe h k (α) 0 α pente h k (0) penteω 1 h k (0) penteω 2 h k (0) Valeurs typiques : ω 1 = 10 4 et ω 2 =

47 Convergence avec la RL de Wolfe Dfn : Théor : cosθ k := g k,d k g k d k. Si f C 1,1, RL de Wolfe C, k 0, f(x k ) C, alors g k 2 cos 2 θ k < +. k 0 Convergence : Algo du gradient : θ k = 0, donc g k 0. Plus généralement : cosθ k c > 0, donc g k 0. 47

48 V Méthodes à régions de confiance [WP] Principe de l algorithme ( 8.1.1) Le problème : min x E f(x). Modèle quadratique de f autour d un itéré x k : f(x k +s) f(x k )+ψ(s), où ψ k (s) := g k,s M ks,s. Région de confiance : région dans laquelle ce modèle est considéré comme bon. Le plus souvent B(0, k ) := {s E : s k }. k > 0 est le rayon de confiance du modèle. 48

49 Schéma d un algorithme à RC : il génère une suite {x k } par 1. Déplacement : s k argmin s k ψ k (s); 2. Appréciation du déplacement : si la concordance ρ k := f(x k +s k ) f(x k ) ψ(s k ) n est pas bonne (ρ k ω 1 ), diminuer k et retour en Nouvel itéré : x k+1 = x k +s k. 4. Nouveau modèle : nouveau rayon de confiance [τ 2 k, k ] si ρ k ω 2 k+1 [ k,τ 3 k ] sinon. calculer g k+1 := f(x k+1 ),M k+1. 49

50 Itérés générés par RC dans le contre-exemple de Powell 2 Parameter space x x * d N d C Figure 3: RC dans le contre-exemple de Powell 50

51 Résolution du problème quadratique ( 8.3.1, 8.4) Le problème : min g,s Ms,s s. CNS d optimalité : ˆλ R tel que (M + ˆλI)ŝ = g ŝ, ˆλ 0 ˆλ( ŝ ) = 0 (M + ˆλI) 0. Résolution approchée : algorithme dogleg de Powell algorithme du GC tronqué. Résolution fine : algorithme de Moré-Sorensen. 51

52 Comparaison avec la RL RL On se donne une direction de descente d k de f enx k On adapte le pas α k > 0 le long de d k pour faire décroîtref Le déplacement s k = α k d k est aligné sur d k (recherche linéaire) Facile à mettre en œuvre Résultats de convergence faibles RC On se donne un modèle ψ k de f enx k On adapte le rayon de confiance k > 0 pour faire décroître f Le déplacement s k change d orientation avec k (recherche curviligne) Difficile à mettre en œuvre Résultats de convergence renforcés 52

53 VI Méthodes newtoniennes pour équations Vitesse de convergence des suites ( 5.1.1, [WP]) Soit {x k } une suite convergeant vers x E. On suppose que x k x, pour tout k 1. Convergence linéaire : il existe une norme, un indice k 0 et r [0,1[ tels que k k 0 : x k+1 x x k x r. Convergence superlinéaire : x k+1 x x k x 0. Convergence quadratique : il existe une constante C > 0 telle que k 1 : x k+1 x x k x 2 C. 53

54 σ k = nombre de chiffres significatifs corrects. superlinéaire quadratique k x k σ k x k σ k Linéaire = σ > 0, k grand : σ k+1 σ k σ. Superlinéaire = σ k+1 σ k. Quadratique σ k+1 = lim inf 2. k σ k 54

55 Algorithme de Newton pour systèmes non linéaires ( 9.1.1, [WP]) Soit F : E F, avec dime = dimf <. On cherche à résoudre enx : F(x) = 0. Algorithme de Newton. De x k à x k+1 : Résoudre end k l équation de Newton : Nouvel itéré : F (x k )d k = F(x k ). (7) Exemple 1D. x k+1 = x k +d k x+x 3 / x 4 x 3 x 2 x

56 Propriétés de l algorithme de Newton. Convergence quadratique locale : Si x vérifie F(x ) = 0, F est C 1,1 dans un voisinage de x, F (x ) est inversible, alors il existe un voisinage V de x tel que si x 1 V, l algorithme de Newton (7) est bien défini et génère une suite {x k } V qui converge quadratiquement versx. En général ne converge pas si x 1 n est pas proche d une solution. Il faut calculer les dérivées premières de F. 56

57 Globalisation de l algorithme de Newton par recherche linéaire ( 9.3.1) Dfn : «globaliser»=forcer la convergence lorsque x 1 n est pas voisin d une solution. Une solution miracle? Si F(x) 0, la direction de Newton enx, d N = F (x) 1 F(x), est une direction de descente de f(x) = 1 2 F(x) 2 2. On a f (x) d N = F(x) 2 2 < 0. RL sur f le long de d N : x + := x+αd N, avec α > 0 tel que (ici ω 1 ]0, 1 2 [) f(x + ) f(x)+αω 1 f (x) d N. 57

58 Un résultat de convergence : Si {F (x k )} et {F (x k ) 1 } sont bornées, alors l algorithme de Newton avec une RL «convenable» converge vers un point stationnaire de f : f(x k ) 0. Cette approche ne converge pas toujours...! 58

59 Un cas favorable On considère la fonction F : R 2 R 2 définie par x 1 F(x) = (x 1 2) 2 +x 2 +4 F 1 0 (x) =. 2(x 1 2) 1 x x 1 d 1 La fonction F a un unique zéro en x = 0. 59

60 Cas défavorable I F(x) = F (x) = x 1, (x 1 2) 2 +(x 2 1) (x 1 2) 2(x 2 1) d 1 x x 1 60

61 Cas défavorable II F(x) = F (x) = x 1, (x 1 2) 2 +e x (x 1 2) e x 2 x x 1 d 1 61

62 Globalisation de l algorithme de Newton par régions de confiance ( 9.3.2) Principes : 1. On ne s intéresse plus qu aux points stationnaires de f(x) = 1 2 F(x) 2 2. Remarque : la RL n est pas toujours capable d en trouver. 2. On prend comme modèle quadratique de f enx k : ϕ k (s) := 1 2 F(x k)+f (x k )s 2 2. (8) Avantage : minimiseur s k est défini même si F (x k ) n est pas inversible (c est l origine de l affaiblissement des hypothèses). 3. On minimise ϕ k sur une région de confiance : min s ϕ k (s) (9) s 2 k. 62

63 Résultat de convergence : Si {F (x k )} est bornée, alors l algorithme de Newton avec RC converge vers un point stationnaire de f : f(x k ) 0. Remarque : on n a plus besoin d hypothèse sur F (x) 1! 63

64 VII Méthodes newtoniennes en optimisation ( 9.1.2) Soit le problème min x E f(x). On se déclare satisfait avec x vérifiant f(x ) = 0. La relation F = f permet d adapter l algorithme de Newton (F (x) = 2 f(x) est symétrique). Algorithme de Newton. De x k à x k+1 : Résoudre end k l équation de Newton : Nouvel itéré : 2 f(x k )d k = f(x k ). (10) x k+1 = x k +d k. 64

65 Le problème quadratique osculateur. Le pas de Newton d k est aussi un point stationnaire du problème quadratique ( f(x k )+ f(x k ) d+ 1 2 d 2 f(x k )d min d E ). f=1+x+x 2 /2+x 4 /12 x 4 x 3 x 2 x 1 65

66 Propriétés de l algorithme de Newton. Convergence quadratique locale : Si x vérifie f(x ) = 0, f est C 2,1 dans un voisinage de x, 2 f(x ) est inversible, alors il existe un voisinage V de x tel que si x 1 V, l algorithme de Newton est bien défini et génère une suite {x k } V qui converge quadratiquement versx. En général ne converge pas si x 1 n est pas proche d un point stationnaire. Pas de distinction entre min, max, point stationnaire. Les directions ne sont pas nécessairement de descente. Il faut calculer les dérivées secondes def. 66

67 Algorithmes de quasi-newton ( 10) Soit le problème min x R nf(x). Les algorithmes de qn génèrent 2 suites : {x k } R n et {M k } R n n sym. dfn. pos. 1) d k := M 1 k g k; 2) α k > 0 par recherche linéaire; 3) x k+1 := x k +α k d k ; 4) M k+1 := U(M k,y k,s k ), oùy k := g k+1 g k et s k := x k+1 x k. Mise à jour dem k. On cherche à ce quem k+1 soit proche de M k (stabilité), tout en vérifiant : l équation de qn : y k = M k+1 s k ; la symétrie : M k+1 = M k+1; la définie positivité :M k+1 dfn. pos. Cela conduit à la formule de BFGS. M k+1 = M k + y ky k y k s k M ks k s k M k s k M ks k. 67

68 VIII Problèmes de moindres-carrés Ce sont des problèmes de la forme min x R n F(x), oùf : R n R m. En général m n. Exemple : la régression linéaire

69 Moindres-carrés linéaires ( 16.1) Problème : on cherche une solution de où A est m netb R m. min Ax b 2, (11) x R n Équation normale : x est solution ssi A Ax = A b. (12) Existence de solution : Le problème (11) a toujours une solution. Solution unique A est injective. Ensemble des solutions = x p +N(A). Méthodes numériques : Factorisation de Cholesky de A A. GC sur (12). Factorisation QR de A. Factorisation SVD de A. 69

70 Moindres-carrés non linéaires ( 16.2) Problème : on cherche une solution de ( min f(x) := 1 ) x R n 2 r(x) 2 2, (13) oùr : R n R m est non linéaire (les résidus). Jacobienne J J(x) r (x), qui est m n. Algorithme de Gauss-Newton : RL le long de 1 dk GN argmin d R n 2 r(x k)+j(x k )d 2 2. On a f (x k ) d GN k 0 (< 0 si f(x k) 0). Résultat de convergence : Si {J(x k )} est bornée et unif. injective, i.e., C > 0, k 1, v R n : C v 2 J(x k )v 2 C 1 v 2, alors l algorithme de Gauss-Newton avec RL converge vers un point stationnaire de f (c est-à-direj(x k ) r(x k ) 0). 70

71 Algorithme de Levenberg-Marquardt (révisé) : RC avec le modèle quadratique ϕ k (s) := 1 2 r(x k)+j(x k )s 2 2. Résultat de convergence : Si {J(x k )} est bornée, alors l algorithme de Levenberg-Marquardt avec RC converge vers un point stationnaire de f (c est-à-direj(x k ) r(x k ) 0). 71

72 IX Pénalisation ( 15, [WP]) À quoi ça sert? En optimisation avec contraintes : pour la théorie: obtenir des propriétés à partir de problèmes approchés sans contrainte, pour l algorithmique: résoudre un problème avec contraintes «sans trop en faire». Transformation typique. SoitX E (un espace vectoriel). On passe du problème avec contrainte (P X ) inf x X f(x) au problème pénalisé sans contrainte ( ) (P r ) inf Θ r (x) := f(x)+rp(x), x E oùr R est un paramètre de pénalisation et p : E R est une fonction de pénalisation (on va voir ce que c est). 72

73 Deux résultats généraux ( 15.1) Monotonie en pénalisation Si r considéré, (P r ) a une solution, notée x r. Alors lorsquer croît : 1) p( x r ) décroît, 2) f( x r ) croît, sir 0, 3) Θ r ( x r ) croît, sip( ) 0. Point d adhérence lorsque r 0 Si f et p sont continues, S := argmin f(x), r > 0 petit, (Pr ) a une solution, notée x r. Alors tout point d adhérence de{ x r } r 0 est solution de inf p(x). x S 73

74 Pénalisation extérieure ( 15.2) Exemple. On veut résoudre min f(x) (P) c(x) 0. On approche ce problème par (r > 0) (P r ) min f(x)+ r 2 c(x)+ 2 2, que l on résout par un algorithme de descente, pour une suite der. 74

75 Pénalisation l 2 en 1D 6 5 r = 5 4 r = 3 3 r = r = 1.5 r = 1.2 f(x) = 1 + x x3 0 r = 1 x r x Figure 4: Pénalisation quadratique 75

76 Plus généralement, on suppose que r 0 et que la fonction de pénalisation vérifie p est continue sure (H p ) p(x) 0, x E p(x) = 0 x X. Résultat d approximation Si X est fermé et non vide, p : E R vérifie(hp ), f est s.c.i., r0 0 tel queθ r0 (x) + quand x, alors 1) r r 0, (P r ) a au moins 1 solution x r, 2) { x r } r est bornée, 3) tout point d adhérence de la suite{ x r } r est solution de (P X ). 76

77 r et de la pénalisation extérieure Facile à mettre en œuvre (avec algo. sans contrainte). Suite de problèmes non linéaires (bon r inconnu, premier r très grand ne convient pas). Le mauvais conditionnement augmente avec r (i.e., les courbes de niveau s allongent). r=0 r= r= r= Figure 5: Chemin des minimiseurs 77

78 X Optimisation quadratique successive (OQS, 14) Le problème à résoudre enx E : (P EI ) minf(x) c E (x) = 0 R m E c I (x) 0 R m I. Le lagrangien du problème (c := (c E,c I )) : l(x,λ) = f(x)+λ c(x). 78

79 L algorithme OQS local ( 14.1) De (x,λ) E R m à (x +,λ + ) E R m : 1. Test d arrêt : si (x,λ) vérifie les conditions d optimalité, arrêt de l algorithme. 2. Déplacement : calculer une solution primale-duale (d,λ PQ ) du problème quadratique osculateur min d f(x) d+ 1 2 d 2 xxl(x,λ)d c E (x)+c E(x)d = 0 c I (x)+c I(x)d 0. (14) 3. Mise à jour des variables : le nouvel itéré(x +,λ + ) est donné par x + := x+d et λ + := λ PQ. C est évidemment l étape 2 qui est la plus coûteuse. 79

80 Newton pour résoudre F(x) = 0 (rappel) Si x vérifief(x ) = 0, F est C 1,1 dans un voisinage de x, F (x ) est inversible, alors il existe un voisinage V de x tel que si x 1 V, l algorithme de Newton est bien défini et génère une suite {x k } V qui converge quadratiquement versx. Résultat de convergence locale de OQS Si (x,λ ) solution primale-duale de (P EI ), f et c sontc 2,1 près de x, complémentarité stricte, régularité : 2 xxl(x,λ ) c E I 0 (x ) est inversible, c E I (x 0 ) 0 alors il existe un voisinage V de (x,λ ) tel que, si (x 1,λ 1 ) V, l algorithme OQS démarrant en (x 1,λ 1 ) et calculant d k comme point stationnaire de norme minimale du PQO (14) 1) est bien défini, 2) génère une suite {(x k,λ k )} V qui converge quadratiquement vers(x,λ ), 3) identifie les contraintes actives de(p EI ) (ce sont celles du PQO). 80

81 XI Dualité ( 13) Un premier problème : inf x 2 x 2 X (P) x X x 1 = 0. x x 1 Un second problème : x 2 X (D) sup λ R δ(λ) pente λ δ(λ) pente λ x 1 (P) et (D) sont duaux l un de l autre. Intérêts de la dualité : obtenir des propriétés sur un problème à partir des propriétés d un pbl dual (e.g., une borne sur la valeur optimale); construire des pbls duaux équivalents au pbl primal, mais plus faciles à résoudre; algorithmique : recherche de point-selle, du multiplicateur optimal. 81

3 Approximation de solutions d équations

3 Approximation de solutions d équations 3 Approximation de solutions d équations Une équation scalaire a la forme générale f(x) =0où f est une fonction de IR dans IR. Un système de n équations à n inconnues peut aussi se mettre sous une telle

Plus en détail

Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications

Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications A. Optimisation sans contrainte.... Généralités.... Condition nécessaire et condition suffisante

Plus en détail

LES MÉTHODES DE POINT INTÉRIEUR 1

LES MÉTHODES DE POINT INTÉRIEUR 1 Chapitre XIII LES MÉTHODES DE POINT INTÉRIEUR 1 XIII.1 Introduction Nous débutons par un rappel de la formulation standard d un problème d optimisation 2 linéaire et donnons un bref aperçu des différences

Plus en détail

Souad EL Bernoussi. Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/

Souad EL Bernoussi. Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/ Recherche opérationnelle Les démonstrations et les exemples seront traités en cours Souad EL Bernoussi Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/ Table des matières 1 Programmation

Plus en détail

Fonctions de plusieurs variables

Fonctions de plusieurs variables Module : Analyse 03 Chapitre 00 : Fonctions de plusieurs variables Généralités et Rappels des notions topologiques dans : Qu est- ce que?: Mathématiquement, n étant un entier non nul, on définit comme

Plus en détail

RO04/TI07 - Optimisation non-linéaire

RO04/TI07 - Optimisation non-linéaire RO04/TI07 - Optimisation non-linéaire Stéphane Mottelet Université de Technologie de Compiègne Printemps 2003 I Motivations et notions fondamentales 4 I1 Motivations 5 I2 Formes quadratiques 13 I3 Rappels

Plus en détail

Résolution d équations non linéaires

Résolution d équations non linéaires Analyse Numérique Résolution d équations non linéaires Said EL HAJJI et Touria GHEMIRES Université Mohammed V - Agdal. Faculté des Sciences Département de Mathématiques. Laboratoire de Mathématiques, Informatique

Plus en détail

Programmation linéaire

Programmation linéaire 1 Programmation linéaire 1. Le problème, un exemple. 2. Le cas b = 0 3. Théorème de dualité 4. L algorithme du simplexe 5. Problèmes équivalents 6. Complexité de l Algorithme 2 Position du problème Soit

Plus en détail

Programmation linéaire et Optimisation. Didier Smets

Programmation linéaire et Optimisation. Didier Smets Programmation linéaire et Optimisation Didier Smets Chapitre 1 Un problème d optimisation linéaire en dimension 2 On considère le cas d un fabricant d automobiles qui propose deux modèles à la vente, des

Plus en détail

La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1

La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1 La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1 La licence Mathématiques et Economie-MASS de l Université des Sciences Sociales de Toulouse propose sur les trois

Plus en détail

Équations non linéaires

Équations non linéaires Équations non linéaires Objectif : trouver les zéros de fonctions (ou systèmes) non linéaires, c-à-d les valeurs α R telles que f(α) = 0. y f(x) α 1 α 2 α 3 x Equations non lineaires p. 1/49 Exemples et

Plus en détail

Cours d Analyse. Fonctions de plusieurs variables

Cours d Analyse. Fonctions de plusieurs variables Cours d Analyse Fonctions de plusieurs variables Licence 1ère année 2007/2008 Nicolas Prioux Université de Marne-la-Vallée Table des matières 1 Notions de géométrie dans l espace et fonctions à deux variables........

Plus en détail

La programmation linéaire : une introduction. Qu est-ce qu un programme linéaire? Terminologie. Écriture mathématique

La programmation linéaire : une introduction. Qu est-ce qu un programme linéaire? Terminologie. Écriture mathématique La programmation linéaire : une introduction Qu est-ce qu un programme linéaire? Qu est-ce qu un programme linéaire? Exemples : allocation de ressources problème de recouvrement Hypothèses de la programmation

Plus en détail

Optimisation et programmation mathématique. Professeur Michel de Mathelin. Cours intégré : 20 h

Optimisation et programmation mathématique. Professeur Michel de Mathelin. Cours intégré : 20 h Télécom Physique Strasbourg Master IRIV Optimisation et programmation mathématique Professeur Michel de Mathelin Cours intégré : 20 h Programme du cours d optimisation Introduction Chapitre I: Rappels

Plus en détail

Image d un intervalle par une fonction continue

Image d un intervalle par une fonction continue DOCUMENT 27 Image d un intervalle par une fonction continue La continuité d une fonction en un point est une propriété locale : une fonction est continue en un point x 0 si et seulement si sa restriction

Plus en détail

Différentiabilité ; Fonctions de plusieurs variables réelles

Différentiabilité ; Fonctions de plusieurs variables réelles Différentiabilité ; Fonctions de plusieurs variables réelles Denis Vekemans R n est muni de l une des trois normes usuelles. 1,. 2 ou.. x 1 = i i n Toutes les normes de R n sont équivalentes. x i ; x 2

Plus en détail

I. Polynômes de Tchebychev

I. Polynômes de Tchebychev Première épreuve CCP filière MP I. Polynômes de Tchebychev ( ) 1.a) Tout réel θ vérifie cos(nθ) = Re ((cos θ + i sin θ) n ) = Re Cn k (cos θ) n k i k (sin θ) k Or i k est réel quand k est pair et imaginaire

Plus en détail

Fonctions de plusieurs variables : dérivés partielles, diérentielle. Fonctions composées. Fonctions de classe C 1. Exemples

Fonctions de plusieurs variables : dérivés partielles, diérentielle. Fonctions composées. Fonctions de classe C 1. Exemples 45 Fonctions de plusieurs variables : dérivés partielles, diérentielle. Fonctions composées. Fonctions de classe C 1. Exemples Les espaces vectoriels considérés sont réels, non réduits au vecteur nul et

Plus en détail

Chp. 4. Minimisation d une fonction d une variable

Chp. 4. Minimisation d une fonction d une variable Chp. 4. Minimisation d une fonction d une variable Avertissement! Dans tout ce chapître, I désigne un intervalle de IR. 4.1 Fonctions convexes d une variable Définition 9 Une fonction ϕ, partout définie

Plus en détail

Calcul différentiel sur R n Première partie

Calcul différentiel sur R n Première partie Calcul différentiel sur R n Première partie Université De Metz 2006-2007 1 Définitions générales On note L(R n, R m ) l espace vectoriel des applications linéaires de R n dans R m. Définition 1.1 (différentiabilité

Plus en détail

Calcul différentiel. Chapitre 1. 1.1 Différentiabilité

Calcul différentiel. Chapitre 1. 1.1 Différentiabilité Chapitre 1 Calcul différentiel L idée du calcul différentiel est d approcher au voisinage d un point une fonction f par une fonction plus simple (ou d approcher localement le graphe de f par un espace

Plus en détail

Approximations variationelles des EDP Notes du Cours de M2

Approximations variationelles des EDP Notes du Cours de M2 Approximations variationelles des EDP Notes du Cours de M2 Albert Cohen Dans ce cours, on s intéresse à l approximation numérique d équations aux dérivées partielles linéaires qui admettent une formulation

Plus en détail

Exercices - Fonctions de plusieurs variables : corrigé. Pour commencer

Exercices - Fonctions de plusieurs variables : corrigé. Pour commencer Pour commencer Exercice 1 - Ensembles de définition - Première année - 1. Le logarithme est défini si x + y > 0. On trouve donc le demi-plan supérieur délimité par la droite d équation x + y = 0.. 1 xy

Plus en détail

Fonctions de plusieurs variables

Fonctions de plusieurs variables Maths MP Exercices Fonctions de plusieurs variables Les indications ne sont ici que pour être consultées après le T (pour les exercices non traités). Avant et pendant le T, tenez bon et n allez pas les

Plus en détail

Théorème du point fixe - Théorème de l inversion locale

Théorème du point fixe - Théorème de l inversion locale Chapitre 7 Théorème du point fixe - Théorème de l inversion locale Dans ce chapitre et le suivant, on montre deux applications importantes de la notion de différentiabilité : le théorème de l inversion

Plus en détail

Le théorème de Perron-Frobenius, les chaines de Markov et un célèbre moteur de recherche

Le théorème de Perron-Frobenius, les chaines de Markov et un célèbre moteur de recherche Le théorème de Perron-Frobenius, les chaines de Markov et un célèbre moteur de recherche Bachir Bekka Février 2007 Le théorème de Perron-Frobenius a d importantes applications en probabilités (chaines

Plus en détail

FONCTIONS DE PLUSIEURS VARIABLES (Outils Mathématiques 4)

FONCTIONS DE PLUSIEURS VARIABLES (Outils Mathématiques 4) FONCTIONS DE PLUSIEURS VARIABLES (Outils Mathématiques 4) Bernard Le Stum Université de Rennes 1 Version du 13 mars 2009 Table des matières 1 Fonctions partielles, courbes de niveau 1 2 Limites et continuité

Plus en détail

Continuité en un point

Continuité en un point DOCUMENT 4 Continuité en un point En général, D f désigne l ensemble de définition de la fonction f et on supposera toujours que cet ensemble est inclus dans R. Toutes les fonctions considérées sont à

Plus en détail

Programmation linéaire

Programmation linéaire Programmation linéaire DIDIER MAQUIN Ecole Nationale Supérieure d Electricité et de Mécanique Institut National Polytechnique de Lorraine Mathématiques discrètes cours de 2ème année Programmation linéaire

Plus en détail

Exercices - Polynômes : corrigé. Opérations sur les polynômes

Exercices - Polynômes : corrigé. Opérations sur les polynômes Opérations sur les polynômes Exercice 1 - Carré - L1/Math Sup - Si P = Q est le carré d un polynôme, alors Q est nécessairement de degré, et son coefficient dominant est égal à 1. On peut donc écrire Q(X)

Plus en détail

Intégration et probabilités TD1 Espaces mesurés Corrigé

Intégration et probabilités TD1 Espaces mesurés Corrigé Intégration et probabilités TD1 Espaces mesurés Corrigé 2012-2013 1 Petites questions 1 Est-ce que l ensemble des ouverts de R est une tribu? Réponse : Non, car le complémentaire de ], 0[ n est pas ouvert.

Plus en détail

Cours d analyse numérique SMI-S4

Cours d analyse numérique SMI-S4 ours d analyse numérique SMI-S4 Introduction L objet de l analyse numérique est de concevoir et d étudier des méthodes de résolution de certains problèmes mathématiques, en général issus de problèmes réels,

Plus en détail

Capes 2002 - Première épreuve

Capes 2002 - Première épreuve Cette correction a été rédigée par Frédéric Bayart. Si vous avez des remarques à faire, ou pour signaler des erreurs, n hésitez pas à écrire à : mathweb@free.fr Mots-clés : équation fonctionnelle, série

Plus en détail

Dualité dans les espaces de Lebesgue et mesures de Radon finies

Dualité dans les espaces de Lebesgue et mesures de Radon finies Chapitre 6 Dualité dans les espaces de Lebesgue et mesures de Radon finies Nous allons maintenant revenir sur les espaces L p du Chapitre 4, à la lumière de certains résultats du Chapitre 5. Sauf mention

Plus en détail

Chapitre 2 Le problème de l unicité des solutions

Chapitre 2 Le problème de l unicité des solutions Université Joseph Fourier UE MAT 127 Mathématiques année 2011-2012 Chapitre 2 Le problème de l unicité des solutions Ce que nous verrons dans ce chapitre : un exemple d équation différentielle y = f(y)

Plus en détail

Optimisation Discrète

Optimisation Discrète Prof F Eisenbrand EPFL - DISOPT Optimisation Discrète Adrian Bock Semestre de printemps 2011 Série 7 7 avril 2011 Exercice 1 i Considérer le programme linéaire max{c T x : Ax b} avec c R n, A R m n et

Plus en détail

Optimisation des fonctions de plusieurs variables

Optimisation des fonctions de plusieurs variables Optimisation des fonctions de plusieurs variables Hervé Hocquard Université de Bordeaux, France 8 avril 2013 Extrema locaux et globaux Définition On étudie le comportement d une fonction de plusieurs variables

Plus en détail

www.h-k.fr/publications/objectif-agregation

www.h-k.fr/publications/objectif-agregation «Sur C, tout est connexe!» www.h-k.fr/publications/objectif-agregation L idée de cette note est de montrer que, contrairement à ce qui se passe sur R, «sur C, tout est connexe». Cet abus de langage se

Plus en détail

De même, le périmètre P d un cercle de rayon 1 vaut P = 2π (par définition de π). Mais, on peut démontrer (difficilement!) que

De même, le périmètre P d un cercle de rayon 1 vaut P = 2π (par définition de π). Mais, on peut démontrer (difficilement!) que Introduction. On suppose connus les ensembles N (des entiers naturels), Z des entiers relatifs et Q (des nombres rationnels). On s est rendu compte, depuis l antiquité, que l on ne peut pas tout mesurer

Plus en détail

Limites finies en un point

Limites finies en un point 8 Limites finies en un point Pour ce chapitre, sauf précision contraire, I désigne une partie non vide de R et f une fonction définie sur I et à valeurs réelles ou complees. Là encore, les fonctions usuelles,

Plus en détail

Cours 02 : Problème général de la programmation linéaire

Cours 02 : Problème général de la programmation linéaire Cours 02 : Problème général de la programmation linéaire Cours 02 : Problème général de la Programmation Linéaire. 5 . Introduction Un programme linéaire s'écrit sous la forme suivante. MinZ(ou maxw) =

Plus en détail

Dérivées d ordres supérieurs. Application à l étude d extrema.

Dérivées d ordres supérieurs. Application à l étude d extrema. Chapitre 5 Dérivées d ordres supérieurs. Application à l étude d extrema. On s intéresse dans ce chapitre aux dérivées d ordre ou plus d une fonction de plusieurs variables. Comme pour une fonction d une

Plus en détail

Exercices du Cours de la programmation linéaire donné par le Dr. Ali DERBALA

Exercices du Cours de la programmation linéaire donné par le Dr. Ali DERBALA 75. Un plombier connaît la disposition de trois tuyaux sous des dalles ( voir figure ci dessous ) et il lui suffit de découvrir une partie de chacun d eux pour pouvoir y poser les robinets. Il cherche

Plus en détail

Cours d Analyse 3 Fonctions de plusieurs variables

Cours d Analyse 3 Fonctions de plusieurs variables Université Claude Bernard, Lyon I Licence Sciences, Technologies & Santé 43, boulevard 11 novembre 1918 Spécialité Mathématiques 69622 Villeurbanne cedex, France L. Pujo-Menjouet pujo@math.univ-lyon1.fr

Plus en détail

Continuité d une fonction de plusieurs variables

Continuité d une fonction de plusieurs variables Chapitre 2 Continuité d une fonction de plusieurs variables Maintenant qu on a défini la notion de limite pour des suites dans R n, la notion de continuité s étend sans problème à des fonctions de plusieurs

Plus en détail

I - PUISSANCE D UN POINT PAR RAPPORT A UN CERCLE CERCLES ORTHOGONAUX POLES ET POLAIRES

I - PUISSANCE D UN POINT PAR RAPPORT A UN CERCLE CERCLES ORTHOGONAUX POLES ET POLAIRES I - PUISSANCE D UN POINT PAR RAPPORT A UN CERCLE CERCLES ORTHOGONAUX POLES ET POLAIRES Théorème - Définition Soit un cercle (O,R) et un point. Une droite passant par coupe le cercle en deux points A et

Plus en détail

Calcul fonctionnel holomorphe dans les algèbres de Banach

Calcul fonctionnel holomorphe dans les algèbres de Banach Chapitre 7 Calcul fonctionnel holomorphe dans les algèbres de Banach L objet de ce chapitre est de définir un calcul fonctionnel holomorphe qui prolonge le calcul fonctionnel polynômial et qui respecte

Plus en détail

Formes quadratiques. 1 Formes quadratiques et formes polaires associées. Imen BHOURI. 1.1 Définitions

Formes quadratiques. 1 Formes quadratiques et formes polaires associées. Imen BHOURI. 1.1 Définitions Formes quadratiques Imen BHOURI 1 Ce cours s adresse aux étudiants de niveau deuxième année de Licence et à ceux qui préparent le capes. Il combine d une façon indissociable l étude des concepts bilinéaires

Plus en détail

Fonctions de deux variables. Mai 2011

Fonctions de deux variables. Mai 2011 Fonctions de deux variables Dédou Mai 2011 D une à deux variables Les fonctions modèlisent de l information dépendant d un paramètre. On a aussi besoin de modéliser de l information dépendant de plusieurs

Plus en détail

Résolution de systèmes linéaires par des méthodes directes

Résolution de systèmes linéaires par des méthodes directes Résolution de systèmes linéaires par des méthodes directes J. Erhel Janvier 2014 1 Inverse d une matrice carrée et systèmes linéaires Ce paragraphe a pour objet les matrices carrées et les systèmes linéaires.

Plus en détail

Développement décimal d un réel

Développement décimal d un réel 4 Développement décimal d un réel On rappelle que le corps R des nombres réels est archimédien, ce qui permet d y définir la fonction partie entière. En utilisant cette partie entière on verra dans ce

Plus en détail

Rappels sur les suites - Algorithme

Rappels sur les suites - Algorithme DERNIÈRE IMPRESSION LE 14 septembre 2015 à 12:36 Rappels sur les suites - Algorithme Table des matières 1 Suite : généralités 2 1.1 Déition................................. 2 1.2 Exemples de suites............................

Plus en détail

Fonctions de plusieurs variables. Sébastien Tordeux

Fonctions de plusieurs variables. Sébastien Tordeux Fonctions de plusieurs variables Sébastien Tordeux 22 février 2009 Table des matières 1 Fonctions de plusieurs variables 3 1.1 Définition............................. 3 1.2 Limite et continuité.......................

Plus en détail

Chapitre VI Fonctions de plusieurs variables

Chapitre VI Fonctions de plusieurs variables Chapitre VI Fonctions de plusieurs variables 6. 1 Fonctions différentiables de R 2 dans R. 6. 1. 1 Définition de la différentiabilité Nous introduisons la différentiabilité sous l angle des développements

Plus en détail

Fonctions de plusieurs variables, intégrales multiples, et intégrales dépendant d un paramètre

Fonctions de plusieurs variables, intégrales multiples, et intégrales dépendant d un paramètre IUFM du Limousin 2009-10 PLC1 Mathématiques S. Vinatier Rappels de cours Fonctions de plusieurs variables, intégrales multiples, et intégrales dépendant d un paramètre 1 Fonctions de plusieurs variables

Plus en détail

La mesure de Lebesgue sur la droite réelle

La mesure de Lebesgue sur la droite réelle Chapitre 1 La mesure de Lebesgue sur la droite réelle 1.1 Ensemble mesurable au sens de Lebesgue 1.1.1 Mesure extérieure Définition 1.1.1. Un intervalle est une partie convexe de R. L ensemble vide et

Plus en détail

Cours Fonctions de deux variables

Cours Fonctions de deux variables Cours Fonctions de deux variables par Pierre Veuillez 1 Support théorique 1.1 Représentation Plan et espace : Grâce à un repère cartésien ( ) O, i, j du plan, les couples (x, y) de R 2 peuvent être représenté

Plus en détail

Simulation de variables aléatoires

Simulation de variables aléatoires Chapter 1 Simulation de variables aléatoires Références: [F] Fishman, A first course in Monte Carlo, chap 3. [B] Bouleau, Probabilités de l ingénieur, chap 4. [R] Rubinstein, Simulation and Monte Carlo

Plus en détail

Master de Recherche première année. Programme de cours 2008-2011

Master de Recherche première année. Programme de cours 2008-2011 Master de Recherche première année Mention : Mathématiques et Applications Spécialité : Mathématiques fondamentales et appliquées Responsable : Xue Ping WANG Programme de cours 2008-2011 Module M1 : Analyse

Plus en détail

Programmation Linéaire - Cours 1

Programmation Linéaire - Cours 1 Programmation Linéaire - Cours 1 P. Pesneau pierre.pesneau@math.u-bordeaux1.fr Université Bordeaux 1 Bât A33 - Bur 265 Ouvrages de référence V. Chvátal - Linear Programming, W.H.Freeman, New York, 1983.

Plus en détail

Intégration et probabilités TD1 Espaces mesurés

Intégration et probabilités TD1 Espaces mesurés Intégration et probabilités TD1 Espaces mesurés 2012-2013 1 Petites questions 1) Est-ce que l ensemble des ouverts de R est une tribu? 2) Si F et G sont deux tribus, est-ce que F G est toujours une tribu?

Plus en détail

8.1 Généralités sur les fonctions de plusieurs variables réelles. f : R 2 R (x, y) 1 x 2 y 2

8.1 Généralités sur les fonctions de plusieurs variables réelles. f : R 2 R (x, y) 1 x 2 y 2 Chapitre 8 Fonctions de plusieurs variables 8.1 Généralités sur les fonctions de plusieurs variables réelles Définition. Une fonction réelle de n variables réelles est une application d une partie de R

Plus en détail

ENSAE - DAKAR BROCHURE D'INFORMATION SUR LE CONCOURS DE RECRUTEMENT D ÉLÈVES INGÉNIEURS STATISTICIENS ÉCONOMISTES (I S E) Option Mathématiques CAPESA

ENSAE - DAKAR BROCHURE D'INFORMATION SUR LE CONCOURS DE RECRUTEMENT D ÉLÈVES INGÉNIEURS STATISTICIENS ÉCONOMISTES (I S E) Option Mathématiques CAPESA ENSEA - ABIDJAN ENSAE - DAKAR ISSEA - YAOUNDÉ BROCHURE D'INFORMATION SUR LE CONCOURS DE RECRUTEMENT D ÉLÈVES INGÉNIEURS STATISTICIENS ÉCONOMISTES (I S E) Option Mathématiques CAPESA CENTRE D APPUI AUX

Plus en détail

Vision industrielle et télédétection - Détection d ellipses. Guillaume Martinez 17 décembre 2007

Vision industrielle et télédétection - Détection d ellipses. Guillaume Martinez 17 décembre 2007 Vision industrielle et télédétection - Détection d ellipses Guillaume Martinez 17 décembre 2007 1 Table des matières 1 Le projet 3 1.1 Objectif................................ 3 1.2 Les choix techniques.........................

Plus en détail

Correction de l examen de la première session

Correction de l examen de la première session de l examen de la première session Julian Tugaut, Franck Licini, Didier Vincent Si vous trouvez des erreurs de Français ou de mathématiques ou bien si vous avez des questions et/ou des suggestions, envoyez-moi

Plus en détail

Programmes des classes préparatoires aux Grandes Ecoles

Programmes des classes préparatoires aux Grandes Ecoles Programmes des classes préparatoires aux Grandes Ecoles Filière : scientifique Voie : Biologie, chimie, physique et sciences de la Terre (BCPST) Discipline : Mathématiques Seconde année Préambule Programme

Plus en détail

Quantification Scalaire et Prédictive

Quantification Scalaire et Prédictive Quantification Scalaire et Prédictive Marco Cagnazzo Département Traitement du Signal et des Images TELECOM ParisTech 7 Décembre 2012 M. Cagnazzo Quantification Scalaire et Prédictive 1/64 Plan Introduction

Plus en détail

Contexte. Pour cela, elles doivent être très compliquées, c est-à-dire elles doivent être très différentes des fonctions simples,

Contexte. Pour cela, elles doivent être très compliquées, c est-à-dire elles doivent être très différentes des fonctions simples, Non-linéarité Contexte Pour permettre aux algorithmes de cryptographie d être sûrs, les fonctions booléennes qu ils utilisent ne doivent pas être inversées facilement. Pour cela, elles doivent être très

Plus en détail

Baccalauréat S Antilles-Guyane 11 septembre 2014 Corrigé

Baccalauréat S Antilles-Guyane 11 septembre 2014 Corrigé Baccalauréat S ntilles-guyane 11 septembre 14 Corrigé EXERCICE 1 6 points Commun à tous les candidats Une entreprise de jouets en peluche souhaite commercialiser un nouveau produit et à cette fin, effectue

Plus en détail

ALGORITHMIQUE II NOTION DE COMPLEXITE. SMI AlgoII

ALGORITHMIQUE II NOTION DE COMPLEXITE. SMI AlgoII ALGORITHMIQUE II NOTION DE COMPLEXITE 1 2 Comment choisir entre différents algorithmes pour résoudre un même problème? Plusieurs critères de choix : Exactitude Simplicité Efficacité (but de ce chapitre)

Plus en détail

Calcul intégral élémentaire en plusieurs variables

Calcul intégral élémentaire en plusieurs variables Calcul intégral élémentaire en plusieurs variables PC*2 2 septembre 2009 Avant-propos À part le théorème de Fubini qui sera démontré dans le cours sur les intégrales à paramètres et qui ne semble pas explicitement

Plus en détail

CCP PSI - 2010 Mathématiques 1 : un corrigé

CCP PSI - 2010 Mathématiques 1 : un corrigé CCP PSI - 00 Mathématiques : un corrigé Première partie. Définition d une structure euclidienne sur R n [X]... B est clairement symétrique et linéaire par rapport à sa seconde variable. De plus B(P, P

Plus en détail

Baccalauréat ES Pondichéry 7 avril 2014 Corrigé

Baccalauréat ES Pondichéry 7 avril 2014 Corrigé Baccalauréat ES Pondichéry 7 avril 204 Corrigé EXERCICE 4 points Commun à tous les candidats. Proposition fausse. La tangente T, passant par les points A et B d abscisses distinctes, a pour coefficient

Plus en détail

UNIVERSITE DES ANTILLES et DE LA GUYANE Campus de Fouillole BP250-97157 Pointe-à-Pitre Cedex CONTRAT 2010-2013 LE MASTER NOM DU DOMAINE STS

UNIVERSITE DES ANTILLES et DE LA GUYANE Campus de Fouillole BP250-97157 Pointe-à-Pitre Cedex CONTRAT 2010-2013 LE MASTER NOM DU DOMAINE STS UNIVERSITE DES ANTILLES et DE LA GUYANE Campus de Fouillole BP20-9717 Pointe-à-Pitre Cedex CONTRAT 2010-201 LE MASTER NOM DU DOMAINE STS Mention : Mathématiques Implantation : Guadeloupe FICHES DESCRIPTIVES

Plus en détail

Sujet proposé par Yves M. LEROY. Cet examen se compose d un exercice et de deux problèmes. Ces trois parties sont indépendantes.

Sujet proposé par Yves M. LEROY. Cet examen se compose d un exercice et de deux problèmes. Ces trois parties sont indépendantes. Promotion X 004 COURS D ANALYSE DES STRUCTURES MÉCANIQUES PAR LA MÉTHODE DES ELEMENTS FINIS (MEC 568) contrôle non classant (7 mars 007, heures) Documents autorisés : polycopié ; documents et notes de

Plus en détail

MATHÉMATIQUES EN PREMIER CYCLE PRÉSENTATION DU PROGRAMME

MATHÉMATIQUES EN PREMIER CYCLE PRÉSENTATION DU PROGRAMME Notre cadre de réflexion MATHÉMATIQUES EN PREMIER CYCLE PRÉSENTATION DU PROGRAMME La proposition de programme qui suit est bien sûr issue d une demande du Premier Cycle : demande de rénovation des contenus

Plus en détail

F411 - Courbes Paramétrées, Polaires

F411 - Courbes Paramétrées, Polaires 1/43 Courbes Paramétrées Courbes polaires Longueur d un arc, Courbure F411 - Courbes Paramétrées, Polaires Michel Fournié michel.fournie@iut-tlse3.fr http://www.math.univ-toulouse.fr/ fournie/ Année 2012/2013

Plus en détail

Filtrage stochastique non linéaire par la théorie de représentation des martingales

Filtrage stochastique non linéaire par la théorie de représentation des martingales Filtrage stochastique non linéaire par la théorie de représentation des martingales Adriana Climescu-Haulica Laboratoire de Modélisation et Calcul Institut d Informatique et Mathématiques Appliquées de

Plus en détail

* très facile ** facile *** difficulté moyenne **** difficile ***** très difficile I : Incontournable

* très facile ** facile *** difficulté moyenne **** difficile ***** très difficile I : Incontournable Eo7 Fonctions de plusieurs variables Eercices de Jean-Louis Rouget Retrouver aussi cette fiche sur wwwmaths-francefr * très facile ** facile *** difficulté moenne **** difficile ***** très difficile I

Plus en détail

Exo7. Matrice d une application linéaire. Corrections d Arnaud Bodin.

Exo7. Matrice d une application linéaire. Corrections d Arnaud Bodin. Exo7 Matrice d une application linéaire Corrections d Arnaud odin. Exercice Soit R muni de la base canonique = ( i, j). Soit f : R R la projection sur l axe des abscisses R i parallèlement à R( i + j).

Plus en détail

Programme de la classe de première année MPSI

Programme de la classe de première année MPSI Objectifs Programme de la classe de première année MPSI I - Introduction à l analyse L objectif de cette partie est d amener les étudiants vers des problèmes effectifs d analyse élémentaire, d introduire

Plus en détail

Etude de fonctions: procédure et exemple

Etude de fonctions: procédure et exemple Etude de fonctions: procédure et exemple Yves Delhaye 8 juillet 2007 Résumé Dans ce court travail, nous présentons les différentes étapes d une étude de fonction à travers un exemple. Nous nous limitons

Plus en détail

Fonctions de plusieurs variables et applications pour l ingénieur

Fonctions de plusieurs variables et applications pour l ingénieur Service Commun de Formation Continue Année Universitaire 2006-2007 Fonctions de plusieurs variables et applications pour l ingénieur Polycopié de cours Rédigé par Yannick Privat Bureau 321 - Institut Élie

Plus en détail

Cours de mathématiques

Cours de mathématiques DEUG MIAS premier niveau Cours de mathématiques année 2003/2004 Guillaume Legendre (version révisée du 3 avril 2015) Table des matières 1 Éléments de logique 1 1.1 Assertions...............................................

Plus en détail

aux différences est appelé équation aux différences d ordre n en forme normale.

aux différences est appelé équation aux différences d ordre n en forme normale. MODÉLISATION ET SIMULATION EQUATIONS AUX DIFFÉRENCES (I/II) 1. Rappels théoriques : résolution d équations aux différences 1.1. Équations aux différences. Définition. Soit x k = x(k) X l état scalaire

Plus en détail

* très facile ** facile *** difficulté moyenne **** difficile ***** très difficile I : Incontournable T : pour travailler et mémoriser le cours

* très facile ** facile *** difficulté moyenne **** difficile ***** très difficile I : Incontournable T : pour travailler et mémoriser le cours Exo7 Continuité (étude globale). Diverses fonctions Exercices de Jean-Louis Rouget. Retrouver aussi cette fiche sur www.maths-france.fr * très facile ** facile *** difficulté moyenne **** difficile *****

Plus en détail

Équations non linéaires

Équations non linéaires CHAPTER 1 Équations non linéaires On considère une partie U R d et une fonction f : U R d. On cherche à résoudre { x U 1..1) f x) = R d On distinguera les cas d = 1 et d > 1. 1.1. Dichotomie d = 1) 1.1.1.

Plus en détail

Master IMA - UMPC Paris 6 RDMM - Année 2009-2010 Fiche de TP

Master IMA - UMPC Paris 6 RDMM - Année 2009-2010 Fiche de TP Master IMA - UMPC Paris 6 RDMM - Année 2009-200 Fiche de TP Préliminaires. Récupérez l archive du logiciel de TP à partir du lien suivant : http://www.ensta.fr/~manzaner/cours/ima/tp2009.tar 2. Développez

Plus en détail

Probabilités sur un univers fini

Probabilités sur un univers fini [http://mp.cpgedupuydelome.fr] édité le 7 août 204 Enoncés Probabilités sur un univers fini Evènements et langage ensembliste A quelle condition sur (a, b, c, d) ]0, [ 4 existe-t-il une probabilité P sur

Plus en détail

NOTATIONS PRÉLIMINAIRES

NOTATIONS PRÉLIMINAIRES Pour le Jeudi 14 Octobre 2010 NOTATIONS Soit V un espace vectoriel réel ; l'espace vectoriel des endomorphismes de l'espace vectoriel V est désigné par L(V ). Soit f un endomorphisme de l'espace vectoriel

Plus en détail

Université Paris-Dauphine DUMI2E 1ère année, 2009-2010. Applications

Université Paris-Dauphine DUMI2E 1ère année, 2009-2010. Applications Université Paris-Dauphine DUMI2E 1ère année, 2009-2010 Applications 1 Introduction Une fonction f (plus précisément, une fonction réelle d une variable réelle) est une règle qui associe à tout réel x au

Plus en détail

Algorithmes pour la planification de mouvements en robotique non-holonome

Algorithmes pour la planification de mouvements en robotique non-holonome Algorithmes pour la planification de mouvements en robotique non-holonome Frédéric Jean Unité de Mathématiques Appliquées ENSTA Le 02 février 2006 Outline 1 2 3 Modélisation Géométrique d un Robot Robot

Plus en détail

Chapitre 7. Statistique des échantillons gaussiens. 7.1 Projection de vecteurs gaussiens

Chapitre 7. Statistique des échantillons gaussiens. 7.1 Projection de vecteurs gaussiens Chapitre 7 Statistique des échantillons gaussiens Le théorème central limite met en évidence le rôle majeur tenu par la loi gaussienne en modélisation stochastique. De ce fait, les modèles statistiques

Plus en détail

TOUT CE QU IL FAUT SAVOIR POUR LE BREVET

TOUT CE QU IL FAUT SAVOIR POUR LE BREVET TOUT E QU IL FUT SVOIR POUR LE REVET NUMERIQUE / FONTIONS eci n est qu un rappel de tout ce qu il faut savoir en maths pour le brevet. I- Opérations sur les nombres et les fractions : Les priorités par

Plus en détail

Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles

Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles Valentin Patilea 1 Cesar Sanchez-sellero 2 Matthieu Saumard 3 1 CREST-ENSAI et IRMAR 2 USC Espagne 3 IRMAR-INSA

Plus en détail

Groupoïdes quantiques mesurés : axiomatique, étude, dualité, exemples

Groupoïdes quantiques mesurés : axiomatique, étude, dualité, exemples Groupoïdes quantiques mesurés : axiomatique, étude, dualité, exemples Franck LESIEUR Mathématiques et Applications, Physique Mathématique d Orléans UMR 6628 - BP 6759 45067 ORLEANS CEDEX 2 - FRANCE e-mail

Plus en détail

Planche n o 22. Fonctions de plusieurs variables. Corrigé

Planche n o 22. Fonctions de plusieurs variables. Corrigé Planche n o Fonctions de plusieurs variables Corrigé n o : f est définie sur R \ {, } Pour, f, = Quand tend vers, le couple, tend vers le couple, et f, tend vers Donc, si f a une limite réelle en, cette

Plus en détail

Continuité et dérivabilité d une fonction

Continuité et dérivabilité d une fonction DERNIÈRE IMPRESSIN LE 7 novembre 014 à 10:3 Continuité et dérivabilité d une fonction Table des matières 1 Continuité d une fonction 1.1 Limite finie en un point.......................... 1. Continuité

Plus en détail

Séminaire TEST. 1 Présentation du sujet. October 18th, 2013

Séminaire TEST. 1 Présentation du sujet. October 18th, 2013 Séminaire ES Andrés SÁNCHEZ PÉREZ October 8th, 03 Présentation du sujet Le problème de régression non-paramétrique se pose de la façon suivante : Supposons que l on dispose de n couples indépendantes de

Plus en détail

Rupture et plasticité

Rupture et plasticité Rupture et plasticité Département de Mécanique, Ecole Polytechnique, 2009 2010 Département de Mécanique, Ecole Polytechnique, 2009 2010 25 novembre 2009 1 / 44 Rupture et plasticité : plan du cours Comportements

Plus en détail