RO04/TI07 - Optimisation non-linéaire
|
|
- Roland Eloi Albert
- il y a 8 ans
- Total affichages :
Transcription
1 RO04/TI07 - Optimisation non-linéaire Stéphane Mottelet Université de Technologie de Compiègne Printemps 2003
2
3 Sommaire I Motivations et notions fondamentales 7 I1 Motivations 8 I11 Formulation générale des problèmes d optimisation non linéaire 8 I12 Un exemple en régression non-linéaire 9 I13 Un exemple en mécanique 10 I2 Formes quadratiques 12 I21 Définition d une forme quadratique 12 I22 Propriétés des formes quadratiques définies positives 13 I3 Rappels de calcul différentiel 15 I31 Définition de la différentiabilité 15 I32 Calcul de la dérivée première 16 I33 Dérivée seconde 17 I4 Notions sur la convexité 18 I41 Définition de la convexité 18 I42 Fonctions convexes 19 I43 Caractérisation de la convexité en termes du hessien 20 I44 Caractérisation de la convexité en termes du gradient 21 I5 Résultats d existence et d unicité 22 I51 Théoremes généraux d existence 22 I52 Unicité 23 I6 Conditions nécessaires d optimalité en l absence de contraintes 24 I61 Conditions nécessaires 24 I62 Conditions nécessaires et suffisantes 25 Exemples du chapitre I 26 Exercices du chapitre I 28 II Les méthodes de gradient 29 II1 Les méthodes de descente 30 II11 Principe des méthodes de descente 30 II2 Les méthodes de gradient 31 II21 Principe des méthodes de gradient 31
4 4 Sommaire II22 La méthode du gradient à pas optimal 32 II23 Calcul du pas optimal dans le cas quadratique 33 Exemples du chapitre II 34 III La méthode du gradient conjugué 35 III1 Introduction 36 III11 Directions conjuguées 36 III12 Lemme fondamental 37 III2 La méthode du gradient conjugué 39 III21 Algorithme de la méthode du gradient conjugué 39 III22 La méthode du gradient conjugué dans le cas général 41 III3 Interprétation de la méthode du gradient conjugué 42 III31 Interprétation de la méthode du gradient conjugué 42 III32 Convergence de la méthode du gradient conjugué 44 IV Méthodes de recherche linéaire 47 IV1 introduction 48 IV11 But de la recherche linéaire 48 IV12 Intervalle de sécurité 49 IV2 Caractérisation de l intervalle de sécurité 50 IV21 La règle d Armijo 50 IV22 La règle de Goldstein 51 IV23 La règle de Wolfe 52 IV24 Réduction de l intervalle 53 IV25 Réduction de l intervalle par interpolation cubique 54 V Méthodes de Quasi-Newton 55 V1 Introduction 56 V11 La méthode de Newton 56 V12 Méthodes à métrique variable 57 V2 Les méthodes de quasi-newton 58 V21 Relation de quasi-newton 58 V22 Formules de mise à jour de l approximation du hessien 59 V23 Formule de Broyden 60 V24 Formule de Davidon, Fletcher et Powell 62 V25 Algorithme de Davidon-Fletcher-Powel 63 V26 Algorithme de Broyden, Fletcher, Goldfarb et Shanno 65 V3 Méthodes spécifiques pour les problèmes de moindres carrés 66 V31 La méthode de Gauss-Newton 66 V32 la méthode de Levenberg-Marquardt 67 VI Conditions d optimalité en optimisation avec contraintes 69 VI1 Les conditions de Lagrange 70 VI11 Introduction 70 VI12 Problème avec contraintes d égalité 71 VI13 Contraintes d égalité linéaires 72 VI14 Contraintes d égalité non-linéaires 73 VI15 Le théorème de Lagrange 75 VI2 Les conditions de Kuhn et Tucker 76 VI21 Problème avec contraintes d inégalité 76 VI22 Interprétation géométrique des conditions de Kuhn et Tucker 78
5 Sommaire 5 VI3 Exemples de problèmes 79 VI31 Distance d un point à un plan 79 VI32 Pseudo-inverse de Moore et Penrose 80 VI33 Exemple de programme quadratique 81 VI4 Conditions suffisantes d optimalité 83 VI41 Définition du lagrangien 83 VI42 Condition nécéssaire du second ordre 84 VI43 Condition nécéssaire du second ordre 85 VII Méthodes primales 87 VII1 Contraintes d égalité linéaires 88 VII11 La méthode du gradient projeté 88 VII12 La méthode de Newton projetée 90 VII2 Contraintes d inégalité linéaires 92 VII21 Méthode de directions réalisables 92 VII3 Méthodes de pénalisation 94 VII31 Méthode de pénalisation externe 94 VII32 Méthode de pénalisation interne 96 VII33 Estimation des multiplicateurs 97 VII4 Méthodes par résolution des équations de Kuhn et Tucker 98 VII41 Cas des contraintes d égalité 98 VII42 Méthode de Wilson 99 VII43 Cas des contraintes d inégalité 100 Exemples du chapitre VII 101 VIII Méthodes utilisant la notion de dualité 103 VIII1 Elements sur la dualité 104 VIII11 Le problème dual 104 VIII12 Point-col du lagrangien 106 VIII2 Methodes duales 107 VIII21 Méthode d Uzawa 107 VIII22 Méthode d Arrow et Hurwicz 108
6
7 Chapitre I Motivations et notions fondamentales I1 Motivations 8 I11 Formulation générale des problèmes d optimisation non linéaire 8 I12 Un exemple en régression non-linéaire 9 I13 Un exemple en mécanique 10 I2 Formes quadratiques 12 I21 Définition d une forme quadratique 12 I22 Propriétés des formes quadratiques définies positives 13 I3 Rappels de calcul différentiel 15 I31 Définition de la différentiabilité 15 I32 Calcul de la dérivée première 16 I33 Dérivée seconde 17 I4 Notions sur la convexité 18 I41 Définition de la convexité 18 I42 Fonctions convexes 19 I43 Caractérisation de la convexité en termes du hessien 20 I44 Caractérisation de la convexité en termes du gradient 21 I5 Résultats d existence et d unicité 22 I51 Théoremes généraux d existence 22 I52 Unicité 23 I6 Conditions nécessaires d optimalité en l absence de contraintes 24 I61 Conditions nécessaires 24 I62 Conditions nécessaires et suffisantes 25 Exemples du chapitre I 26 Exercices du chapitre I 28
8 8 Motivations et notions fondamentales I1 Motivations I11 Formulation générale des problèmes d optimisation non linéaire La forme générale d un problème d optimisation est la suivante : (P C) min x R f(x), n sous les contraintes g(x) 0, h(x) = 0, (I11) (I12) (I13) où les fonctions f, g et h sont typiquement non-linéaires (c est l objet de cette deuxième partie du cours) L équation (VI12) désigne ce que nous apelleront des contraintes d inégalité et l équation (VI13) des contraintes d égalité L objet de ce cours est la présentation de techniques permettant de résoudre le problème (PC), ainsi que des problèmes où soit un seul des deux types de contraintes est présent, soit des problèmes n y a pas de contraintes du tout Nous noterons ces types de problèmes ainsi : (PC) (PCE) (PCI) (P) problème général, avec contraintes d inégalité et d égalité, problème avec contraintes d égalité, problème avec contraintes d inégalité, problème sans contraintes Il va de soi que la plupart des problèmes réels ou industriels ne sont pas initialement sous une des formes proposées C est pourquoi un des premiers travaux consiste en général à mettre le problème initial sous une forme standard Par exemple, un problème donné sous la forme max x R g(x), n se mettra sous la forme standard (P) en posant f(x) = g(x)! Cependant, la mise sous forme standard nécéssite en général un peu plus de travail, comme nous allons le voir dans les exemples qui suivent
9 Ο Ο Ο Ο ΟΟ Ο ΟΟ Ο Ο Ο Ο Ο Ο Ο ΟΟ ΟΟ Ο Ο Ο Ο ΟΟΟΟ Ο Ο ΟΟΟ ΟΟ ΟΟ Ο Ο ΟΟ Ο Ο Ο Ο ΟΟΟ Ο Ο Ο ΟΟ I1 Motivations 9 I12 Un exemple en régression non-linéaire Ο Ο Ο 02 Ο Ο ΟΟ Ο Ο Ο Ο Ο ΟΟ Ο ΟΟ ΟΟ Ο Ο ΟΟ Ο Ο Ο -02 Ο Ο Ο ΟΟΟ Ο ΟΟ Ο ΟΟ Ο ΟΟΟ Ο Ο Ο -06 Ο Ο On considère un problème d identification des paramètres a, b, c et c d un signal du type f(t) = a exp ( bt) cos (ct + d), à partir d échantillons [t i, y i ] i=1m du signal f(t) (ces échantillons sont représentés par les ronds sur la figure ci-dessus) On propose de faire cette identification en minimisant la fonction J(a, b, c, d) = 1 2 = 1 2 m (y i f(t i )) 2, i=1 m (y i a exp ( bt i ) cos (ct i + d)) 2 i=1 Le choix d élever au carré la distance entre y i et f(t i ) est bien sûr arbitraire : on aurait pu prendre la valeur absolue, mais le carré permet d obtenir une fonction J différentiable (ceci sera bien sûr clarifié dans la suite) Si nous n ajoutons pas de conditions sur les paramètres a, b, c, d le problème posé est donc du type (P ), avec x = [a, b, c, d] R 4 Ce problème est communément appelé un problème de moindres carrés (non linéaire)
10 10 Motivations et notions fondamentales I13 Un exemple en mécanique u(x) v(x) On considère une corde horizontale de longueur 1 tendue à ses deux extrémités, avec une tension τ La déviation éventuelle de la corde par rapport à sa position d équilibre est désignée par u(x), pour x [0, 1] Les extrémités étant fixées, on aura toujours u(0) = u(1) = 0 On négligera le poids propre de la corde par rapport à la tension τ, cela permet d affirmer qu en l absence d action extérieure, la corde est au repos et on a donc u(x) = 0, x [0, 1] Supposons maintenant que la corde est écartée de sa position d origine Alors on peut montrer que l énergie potentielle associée à cette déformation (supposée petite) est E(u) = τ ( ) du 2 dx (I14) dx En l absence d obstacle, la position de repos u(x) = 0 minimise cette énergie Il peut alors être intéressant d étudier un problème où un obstacle empèche la corde de prendre la position triviale u(x) = 0 Intuitivement, on voit bien que la corde va toucher l obsctale en certains points, mais pas forcément en tous les points de l intervalle [0, 1] (cela va dépendre de la forme de l obstacle) Supposons par exemple que cet obstacle peut être représenté par une fonction v(x) 0 Alors la présence de l obstacle se traduit par la condition u(x) v(x), x ]0, 1[ (I15) Si on veut connaître la déformation u(x) de la corde lorsque l obstacle est présent, on peut donc penser qu il est raisonnable de considérer le problème 1 1 ( ) du 2 min τ dx, u 2 0 dx u(0) = u(1) = 0, u(x) v(x), x ]0, 1[ (I16) Il s agit, techniquement parlant, d un problème de calcul des variations, et donc l inconnue est une fonction (la fonction u(x)) Il parait donc pour l instant impossible de le mettre sous forme standard Cependant, on peut essayer de résoudre un problème approché, en utilisant la méthode des éléments finis : Approximation avec la méthode des éléments finis Puisque l on est en dimension 1 d espace, la méthode est très simple à mettre en oeuvre D une part, on discrétise l intervalle [0, 1] : on considère les abscisses x k = k N, k = 0 N On considère le vecteur U = [U 1,, U N 1 ], ainsi que la fonction u N (x) définie par : u N (x k ) = U k, u N (0) = u N (1) = 0, de plus u N est continue et affine par morceaux
11 I1 Motivations 11 On peut alors montrer que E(u N ) = 1 2 U AU, où A est la matrice (définie positive) A = τn On peut donc proposer la version approchée du problème (I16) : { 1 min U 2 U AU, v(x k ) U k 0, k = 1 N 1 (I17) Il s agit donc d un problème se mettant assurément sous la forme (P CI) De plus la fonction f(u) = 1 2 U AU est assez particulière : il s agit d une forme quadratique (nous y reviendrons plus tard) La fonction g permettant d exprimer les contraintes d inégalité, définie par g(u) = v(x 1 ) U 1 v(x N 1 ) U N 1 ) est de plus linéaire Nous aborderons des méthodes tenant compte de ces particularités,
12 12 Motivations et notions fondamentales I2 Formes quadratiques I21 Définition d une forme quadratique Cours : exemple en mécanique L exemple précédent nous donne une idée, à partir d un problème particulier, de la forme que peut prendre la fonction f Une telle fonction s appelle une forme quadratique Nous allons maintenant étudier leurs propriétés Définition I21 Soit A une matrice symétrique n n et b R n On appelle forme quadratique la fonction f : R n R définie par f(x) = 1 2 x Ax b x Lorsque la matrice A possède certaines propriétés, la fonction f peut prendre un nom particulier La propriété à laquelle nous allons nous intéresser est la positivité : Définition I22 Soit A une matrice symétrique n n et b R n On dit que A est semi-définie positive et on note A 0, quand x Ax 0, x R n On dit que A est définie positive et on note A > 0, quand x Ax > 0, x R n, x 0 Cette définition peut être reliée aux valeurs propres de la matrice A : Propriété I23 Soit A une matrice symétrique n n On note {λ i } i=1n ses valeurs propres (réelles) On a les équivalences suivantes : A 0 λ i 0, i = 1 n, A > 0 λ i > 0, i = 1 n Lorsque la matrice A est définie positive (resp semi-définie positive), on dira que f(x) est une forme quadratique définie positive (resp semi-définie positive) Dans le cas où A est définie positive la fonction f possède un certain nombre de propriétés Nous nous intéressons dans un premier temps aux surfaces f(x) = c où c R
13 I2 Formes quadratiques 13 I22 Propriétés des formes quadratiques définies positives Exemples : Exemple I1 Propriété I24 Soit A une matrice symétrique n n, définie positive et b R n Considérons la forme quadratique On considère la famille de surfaces définie par pour c R, et on définit le vecteur ˆx solution de f(x) = 1 2 x Ax b x γ c = {x R n, f(c) = c}, Aˆx = b Alors γ c est définie de la façon suivante : Si c < f(ˆx) alors γ c = Si c = f(ˆx) alors γ c = {ˆx} Si c > f(ˆx) alors γ c est un ellipsoïde centré en ˆx Démonstration : La matrice A étant diagonalisable, il existe une matrice P (la matrice des vecteurs propres) orthogonale telle que P AP = D, où D = diag (λ 1,, λ n ) avec λ i > 0 On fait le changement de variable y = x ˆx : cela donne et puisque Aˆx = b, on a f(ˆx + y) = f(ˆx) + (Aˆx b) y y Ay, f(x) = f(ˆx) (x ˆx) A(x ˆx) On fait maintenant le changement de variable (x ˆx) = P z, ce qui donne La surface γ c est donc définie par γ c = f(x) = f(ˆx) z P AP z, { = f(ˆx) z Dz, = f(ˆx) z R n, 1 2 n λ i zi 2 i=1 } n λ i zi 2 = c f(ˆx) Si c f(ˆx) < 0 il est clair qu il n y a pas de solution à l équation 1 n λ i zi 2 = c f(ˆx), 2 i=1 i=1 puisque le second membre est toujours positif! Si c = f(ˆx) la seule solution est z = 0, c est à dire x = ˆx Si c > f(ˆx) l équation définit bien un ellipsoïde, puisque les λ i sont positifs Nous avons en fait démontré un résultat très intéressant qui caractérise la valeur minimale prise par f(x) quand x parcourt R n :
14 14 Motivations et notions fondamentales Théorème I25 Soit A une matrice symétrique n n définie positive et b R n, et soit f la forme quadratique associée, définie par f(x) = 1 2 x Ax b x Soit ˆx le vecteur (unique) vérifiant Aˆx = b, alors ˆx réalise le minimum de f, c est à dire f(ˆx) f(x), x R n Ce résultat est une conséquence directe de la propriété I24
15 I3 Rappels de calcul différentiel 15 I3 Rappels de calcul différentiel I31 Définition de la différentiabilité Dans R n on note x le vecteur colonne x = x 1 x n, et la notation désignera, sauf indication du contraire, la norme euclidienne x = ( n k=1 Avant de donner la définition de la différentiabilité, il est important de rappeller celle de la continuité : Définition I31 Soit f : R n R m, on dit que f est continue au point a R n si pour tout réel ɛ > 0 il existe η > 0 tel que x a < η f(x) f(a) < ɛ Voici maintenant la définition de la différentiabilité : x 2 k ) 1 2 Définition I32 Soit f : R n R m représentée dans la base canonique de R m par le vecteur f 1 (x) f(x) =, f m (x) (I31) continue en a R n On dit que f est différentiable en a s il existe une application linéaire, notée f (a), telle que pour tout h R n on ait f(a + h) = f(a) + f (a)h + h ɛ(h), (I32) où ɛ() est une fonction continue en 0 vérifiant lim h 0 ɛ(h) = 0 On appelle f (a) dérivée de f au point a La notation f (a)h doit être prise au sens f (a) appliquée à h Cette notation devient assez naturelle lorsque l on représente f (a) par sa matrice dans les bases canoniques de R n et R m, comme le montre plus bas la proposition I32
16 16 Motivations et notions fondamentales I32 Calcul de la dérivée première Exemples : Exemple I3 Exemple I2 Exercices : Exercice I2 Exercice I1 On peut d ores et déja donner un résultat pratique permettant de calculer directement la dérivée à partir du développement (I32) : Proposition I31 Soit f : R n R m différentiable en a, alors lim t 0 f(a + th) f(a) t = f (a)h Démonstration : On a f(a + th) = f(a) + tf (a)h + t h ɛ(th), d où f (a)h = f(a + th) f(a) t Il suffit de noter que lim t 0 ɛ(th) = 0 pour conclure ± h ɛ(th) La quantité f (a)h est appellée communément dérivée directionnelle de f au point a dans la direction h La proposition suivante fait le lien entre la matrice de f (a) et les dérivées partielles de f au point a : Proposition I32 Soit f : R n R m différentiable en a, alors on peut représenter f (a) par sa matrice dans les bases canoniques de R n et de R m et on a [f (a)] ij = f i x j (a) Démonstration : On note {e 1,, e n } la base canonique de R n Par définition de la matrice, la j ème colonne de f (a) est obtenue en appliquant f (a) au j ème vecteur de la base canonique de R n On obtient donc le vecteur f (a)e j f(a + te j ) f(a) = lim, t 0 t grâce à la proposition I31 La définition de f donnée par (I31) permet d écrire que [f (a)e j f i (a + te j ) f i (a) ] i = lim, t 0 t f i (a 1,, a j + t,, a n ) f i (a 1,, a n ) = lim, t 0 t = f i x j (a) On appelle souvent f (a) la matrice jacobienne de f au point a Lorsque m = 1 on adopte une notation et un nom particuliers : le gradient est le vecteur noté f(a) et défini par f (a) = f(a), et on a f(a + h) = f(a) + f(a) h + h ɛ(h)
17 I3 Rappels de calcul différentiel 17 I33 Dérivée seconde Exemples : Exemple I4 Exercices : Exercice I4 Exercice I3 On se place maintenant dans le cas m = 1, soit f : R n R Définition I33 L application f : R n R est dite deux fois différentiable s il existe une matrice symétrique 2 f(a) telle que f(a + h) = f(a) + f(a) h + h 2 f(a)h + h 2 ɛ(h) On appelle 2 f(a) matrice hessienne de f au point a Comme l énonce le théorème suivant (non démontré), cette matrice s obtient à partir des dérivées secondes de f : Théorème I34 Soit f : R n R une fonction deux fois différentiable en un point a Si on note g(x) = f(x) alors la matrice hessienne est définie par 2 f(a) = g (a), soit [ 2 f(a)] ij = 2 f x i x j
18 18 Motivations et notions fondamentales I4 Notions sur la convexité I41 Définition de la convexité Exemples : Exemple I5 La convexité est à la base une propriété géométrique, assez intuitive d ailleurs, qui permet de caractériser certains objets On voit assez bien ce qu est un objet convexe dans un espace à deux ou trois dimensions Nous allons maintenant montrer comment cette propriété peut aussi s appliquer aux fonctions de R n dans R objet convexe objet non convexe x x y y Définition I41 Un ensemble K R n est dit convexe si pour tout couple (x, y) K 2 et λ [0, 1] on a λx + (1 λ)y K Cette définition peut s interpréter en disant que le segment reliant x et y doit être dans K Elle se généralise de la façon suivante : on dira qu un vecteur y est une combinaison convexe des points {x 1,, x p } si on a p y = λ i x i, i=1 avec λ i 0 et p i=1 λ i = 1 On peut citer quelques cas particuliers : R n tout entier est un ensemble convexe, de même qu un singleton {a} Propriété I42 Soit une famille {K i } i=1p d ensembles convexes et S = p i=1 K i Alors S est convexe
19 I4 Notions sur la convexité 19 I42 Fonctions convexes fonction convexe fonction non-convexe x y x y Définition I43 On dit qu une fonction f : K R, définie sur un ensemble convexe K, est convexe si elle vérifie (x, y) K 2, λ [0, 1], f(λx + (1 λ)y) λf(x) + (1 λ)f(y) On dira que f est strictement convexe si (x, y) K 2, x y, λ ]0, 1[, f(λx + (1 λ)y) < λf(x) + (1 λ)f(y) Lorsque n = 1 cette définition s interprète bien géométriquement : le graphe de la fonction est toujours en dessous du segment reliant les points (x, f(x)) et (y, f(y)) Corollaire I44 On définit pour (x, y) K 2, où K est un ensemble convexe, la fonction ϕ : [0, 1] R par ϕ(t) = f(tx + (1 t)y) Alors on a l équivalence ϕ(t) convexe sur [0, 1], (x, y) K 2 f convexe sur K Démonstration : Si ϕ(t) est convexe sur [0, 1] on a en particulier ϕ(λ) λϕ(1) + (1 λ)ϕ(0), λ [0, 1], ce qui donne exactement f(λx + (1 λ)y) λf(x) + (1 λ)f(y) La réciproque est admise
20 20 Motivations et notions fondamentales I43 Caractérisation de la convexité en termes du hessien Exemples : Exemple I6 Dans le cas où f : K R R on a le résultat suivant : Propriété I45 Si f : R R est 2 fois continûment dérivable sur K convexe alors f est convexe si et seulement si f (x) 0, x K et strictement convexe si et seulement si f (x) > 0, x K (sauf éventuellement en des points isolés) Ce résultat se généralise pour n > 1 : le résultat suivant fait le lien entre le hessien et la propriété de convexité : Théorème I46 Soit f : K R n R une fonction deux fois différentiable, alors f est convexe si et seulement si 2 f(x) 0, x K, et strictement convexe si et seulement si 2 f(x) > 0, x K Démonstration : La démonstration fait appel à un résultat obtenu dans l exercice I1 : si on définit ϕ(t) = f(x + ty) alors on a ϕ (t) = y 2 f(x + ty)y, et on sait grâce a la propriété I45 que f convexe si ϕ (t) 0, t On aura donc f convexe si et seulement si y 2 f(x + ty)y 0, (x, y) K 2, d où le résultat Le corrolaire suivant est immédiat : Propriété I47 Soit f une forme quadratique définie par f(x) = 1 2 x Ax b x, alors f est convexe si et seulement si A 0, et strictement convexe si et seulement si A > 0 Cela provient du fait que 2 f(x) = A (voir l exemple I4)
21 I4 Notions sur la convexité 21 I44 Caractérisation de la convexité en termes du gradient Dans le cas où la fonction f n est supposée qu une fois différentiable, on a le résultat suivant : Théorème I48 Soit f : K R n R une fonction une fois différentiable, alors f est convexe si et seulement si f(y) f(x) + f(x) (y x), (x, y) K 2 La fonction f est strictement convexe si et seulement si f(y) > f(x) + f(x) (y x), (x, y) K 2, x y On voit bien l interprétation géométrique de ce dernier resultat quand n = 1 : le graphe d une fonction convexe f se trouve toujours au-dessus de la tangente en un point donné
22 22 Motivations et notions fondamentales I5 Résultats d existence et d unicité I51 Théoremes généraux d existence Considérons notre problème d optimisation I11 introduit au début du cours, que l on écrira pour l occasion un peu différemment, en mettant les contraintes sous la forme x K R n : min f(x) x K (I51) Nous allons donner deux résultats très généraux d existence d une solution au problème (I51) Auparavant nous avons besoin de la définition d un ensemble compact : Définition I51 Un ensemble K R n est dit compact si, de toute suite {x k }, où x k K, k, on peut extraire une sous-suite convergente Nous donnons le théorème suivant sans démonstration : Théorème I52 Un ensemble K R n est compact si et seulement si il est fermé et borné Dans R, les intervalles fermés du type [a, b] (ou des reunions de tels intervalles) sont compacts La notion de fermeture signifie qu une suite {x k }, où x k K, k, doit converger vers une limite x K Pour illustrer sur un exemple qu un intervalle ouvert dans R ne peut pas être compact, on peut considérer l exemple suivant Soit K =]0, 1] et la suite x k = 1/k, on a bien x k K mais lim k = 0 K Voici maintenant deux résultats d existence, dont les démonstrations peuvent ètre consultées dans les documents Théorème I53 Si f : K R n R est continue et si de plus K est un ensemble compact, alors le problème (I51) admet une solution optimale ˆx K, qui vérifie donc f(ˆx) f(x), x K Le second résultat est moins général car il considère le cas particulier K = R n : Théorème I54 Soit f : R n R une fonction continue sur R n Si alors (I51) admet une solution optimale ˆx lim f(x) =, x Démonstration : Soit x 0 R n Puisque lim x f(x) = il existe M > 0 tel que x > M f(x) > f(x 0 ), donc M > 0, f(x) f(x 0 ) x M Puisque ˆx est caractérisé par f(ˆx) f(x), x R n, on a donc forcément ˆx M Donc ˆx est solution du problème min x M f(x), et le théorème précédent s applique, la boule {x R n, x M} étant compacte
23 I5 Résultats d existence et d unicité 23 I52 Unicité L unicité résulte en général de propriétés de convexité (de f et de K) Théorème I55 Soit f : K R n R strictement convexe sur K convexe Le minimum de f sur K, s il existe, est unique Démonstration : Soit donc ˆx K tel que f(ˆx) f(x), x K Supposons qu il existe ŷ ˆx tel que f(ŷ) f(x), x K Formons pour λ ]0, 1[ le vecteur u = λŷ + (1 λ)ˆx D après la stricte convexité de f et puisque nécessairement f(ŷ) = f(ˆx) on a f(u) < λf(ŷ) + (1 λ)f(ˆx) = f(ˆx), ce qui contredit le fait que ˆx soit un minimum On a donc ˆx = ŷ
24 24 Motivations et notions fondamentales I6 Conditions nécessaires d optimalité en l absence de contraintes I61 Conditions nécessaires On va maintenant regarder de plus près le cas où K = R n, c est à dire le problème sans contraintes (P ) Dans le cas où f est différentiable, on a le résultat suivant : Théorème I61 Soit f : R n R différentiable et ˆx vérifiant f(ˆx) f(x), x R n, alors on a nécessairement f(ˆx) = 0 Démonstration : Pour tout t R et pour tout h R n on a f(ˆx) f(ˆx + th) On a donc et f(ˆx) f(ˆx + th) lim t 0 + = f(ˆx) h 0, t f(ˆx) f(ˆx + th) lim t 0 = f(ˆx) h 0, t donc f(ˆx) h = 0, h R n, donc f(ˆx) = 0 (prendre par exemple h = f(ˆx))
25 I6 Conditions nécessaires d optimalité en l absence de contraintes 25 I62 Conditions nécessaires et suffisantes La condition de gradient nul devient suffisante dans le cas où f est convexe : Théorème I62 Soit f : R n R convexe et différentiable Si ˆx vérifie f(ˆx) = 0, alors on a f(ˆx) f(x), x R n Démonstration : Soient x R n et λ [0, 1] Puisque f est convexe on a f(λˆx + (1 λ)x) λf(x) + (1 λ)f(ˆx) On retranche f(ˆx) de chaque côté de l inégalité, on note que λx + (1 λ)ˆx = ˆx + λ(x ˆx), puis in divise par λ, ce qui donne l inégalité Et si on fait tendre λ vers 0 on obtient f(ˆx + λ(x ˆx)) f(ˆx) λ f(x) f(ˆx) f(ˆx) (x ˆx) f(x) f(ˆx), donc 0 f(x) f(ˆx) Lorsque la fonction n est pas convexe, on ne peut donner qu une condition nécessaire et suffisante d optimalité locale On désignera par minimum local (que l on oppose au minimum global) un vecteur vérifiant les conditions suivantes : Définition I63 On appellera x minimum local de f, s il existe δ > 0 tel que f(x ) f(x), x, x x δ Dans le cas où f est deux fois différentiable on peut alors donner le résultat suivant : Théorème I64 Soit f : R n R deux fois différentiable Si { f(x ) = 0, 2 f(x ) > 0, alors x est un minimum local de f Démonstration : On a On a donc pour t > 0 f(x + th) = f(x ) + t f(x ) h + t2 2 h 2 f(x )h + t 2 h 2 ε(th), = f(x ) + t2 2 h 2 f(x )h + t 2 h 2 ε(h) f(x + th) f(x ) t 2 = 1 2 h 2 f(x )h + h 2 ε(th) Donc si t est suffisamment petit on aura bien f(x + th) f(x ) > 0 puisque 2 f(x ) > 0
26 26 Motivations et notions fondamentales Exemples du chapitre I Exemple I1 Courbes de niveau d une forme quadratique dans R 2 On considère la fonction f(x) = 1 2 x Ax b x où A est une matrice symétrique 2 2 définie positive On note P la matrice des vecteurs propres et λ 1 > λ 2 > 0 les deux valeurs propres Notons ˆx la solution du système linéaire Aˆx = b On a montré que les courbes iso-valeurs sont définies par l équation 1 2 (λ 1z λ 2 z 2 2) = c f(ˆx), où on a effectué le changement de variable z = P (x ˆx) Si on a c f(ˆx), l équation ci-dessus définit une ellipse dans le repère (z 1, z 2 ), dont l équation canonique est donnée par avec a = z 1 a 2 z = 1, b 2(c f(ˆx)) 2(c f(ˆx)), b = λ 1 λ 2 On sait que l on peut décrire cette ellipse par la courbe paramétrique z(t), t [0, 2π] avec ( ) a cos t z(t) =, b sin t donc l équation paramétrique de la courbe x(t) dans le repère original est ( ) a cos t x(t) = ˆx + P b sin t Lancer la simulation Exemple I2 Gradient d une fonction quadratique On considère la fonction f(x) = 1 2 x Ax b x où A est une matrice carrée symétrique n n On a f(x + th) = 1 2 x Ax t2 h Ah + tx Ah + b (x + th), = f(x) + t(x A b )h t2 h Ah, on a donc f(x + th) f(x) = (Ax b) h + 1 t 2 th Ah 1 Puisque lim t 0 2 th Ah = 0, on a donc f(x) = Ax b
27 Exemples du chapitre I 27 Exemple I3 Dérivée d une fonction affine On considère la fonction f(x) = Cx+d où C est une matrice m n On a f(x+h) = Cx+Ch + d = f(x) + Ch Donc f (x) = C, x R n On notera qu ici f est différentiable pour tout x R n, ce qui n est pas forcément le cas quand f est quelconque Exemple I4 Matrice hessienne d une fonction quadratique n n L exemple précédent nous a donné f(x) = Ax b Puisque la matrice hessienne est la dérivée du gradient on a donc 2 f(x) = A Exemple I5 Combinaison convexe de points dans le plan Lancer la simulation Ο Ο Ο Ο Ο Ο Ο Ο Ο Ο Ο Ο Considérons un ensemble de points du plan {x 1,, x p } La simulation qui est proposée ici permet de générer aléatoirement un très grand nombre de points de la forme y k = p i=1 λ i x i, en tirant aléatoirement les coefficients {λ i } i=1p suivant une loi uniforme sur [0, 1], renormalisés en les divisant par leur somme, de façon à ce que l on ait toujours p i=1 λ i = 1 Le polygone limite contenant tous les points générés s appelle l enveloppe convexe des points {x 1,, x p } Exemple I6 Convexité d une fonction quadratique On considère la fonction f(x) = 1 2 x Ax b x où A est une matrice carrée symétrique Puisque 2 f(x) = A (voir l exemple précédent), f est convexe si et seulement si A 0, strictement convexe lorsque A > 0
28 28 Motivations et notions fondamentales Exercices du chapitre I Exercice I1 Calcul d une dérivée composée Soit f : R n R définie par et x : R R n On définit la fonction réelle g(t) = f(x(t)) Calculer g (t) Exercice I2 Calcul du gradient d une fonction quadratique On considère la fonction f(x) = 1 2 x Ax b x où A est une matrice n n Montrer que l on a f(x) = 1 2 (A + A )x b Exercice I3 Calcul d une dérivée seconde composée Soit f : R n R définie par et x : R R n On définit la fonction réelle g(t) = f(x(t)) Calculer g (t) dans le cas où x(t) = (u + tv) où u et v sont deux vecteurs de R n, puis pour x(t) quelconque Exercice I4 Calcul du hessien d une fonction quadratique On considère la fonction f(x) = 1 2 x Ax b x où A est une matrice n n Montrer que l on a 2 f(x) = 1 2 (A + A )
29 Chapitre II Les méthodes de gradient II1 Les méthodes de descente 30 II11 Principe des méthodes de descente 30 II2 Les méthodes de gradient 31 II21 Principe des méthodes de gradient 31 II22 La méthode du gradient à pas optimal 32 II23 Calcul du pas optimal dans le cas quadratique 33 Exemples du chapitre II 34
30 30 Les méthodes de gradient II1 Les méthodes de descente II11 Principe des méthodes de descente Définition II11 Soit f : R n R On dira qu un vecteur d est une direction de descente en x s il existe t > 0 tel que f(x + td) < f(x), t ]0, t] Le principe d une méthode de descente consiste à faire les itérations suivantes x k+1 = x k + t k d k, t k > 0, (II11) tout en assurant la propriété f(x k+1 ) < f(x k ) Le vecteur d k est la direction de descente en x k Le scalaire t k est appelé le pas de la méthode à l itération k On peut caractériser les directions de descente en x k à l aide du gradient : Proposition II11 Soit d R n vérifiant alors d est une direction de descente en x f(x) d < 0, Démonstration : on a pour t > 0 f(x + td) = f(x) + t f(x) d + tε(t), donc si on écrit f(x + td) f(x) = f(x) d + ε(t), t on voit bien que pour t suffisamment petit on aura f(x + td) f(x) < 0 Dans la méthode (II11) le choix de t k est lié à la fonction ϕ(t) = f(x k + td k ), en particulier, une façon de choisir t k peut être de résoudre le problème d optimisation (à une seule variable) min t>0 ϕ(t) Le pas ˆt k obtenu ainsi s appelle le pas optimal La fonction ϕ(t) = f(x k + td k ) étant différentiable, on a alors nécessairement ϕ (ˆt k ) = f(x k + ˆt k d k ) d k = 0
31 II2 Les méthodes de gradient 31 II2 Les méthodes de gradient II21 Principe des méthodes de gradient Exemples : Exemple II1 On cherche à déterminer la direction de descente qui fait décroitre ϕ(t) = f(x + td) le plus vite possible (au moins localement) Pour cela on va essayer de minimiser la dérivée de ϕ(t) en 0 On a et on cherche d solution du problème La solution est bien sûr ϕ (0) = f(x) d, min ϕ (0) d R n, d =1 d = f(x) f(x), en vertu de l inégalité de Schwartz Il y a ensuite de nombreuses façon d utiliser cette direction de descente On peut par exemple utiliser un pas fixé a priori t k = ρ > 0, k On obtient alors la méthode du gradient simple : { dk = f(x k ), x k+1 = x k + ρd k Sous certaines hypothèses de régularité (f deux fois différentiable) cette méthode converge si ρ est choisi assez petit
32 32 Les méthodes de gradient II22 La méthode du gradient à pas optimal La méthode du gradient à pas optimal consiste à faire les itérations suivantes { dk = f(x k ), x k+1 = x k + t k d k, (II21) où t k est choisi de manière à ce que f(x k + t k d k ) f(x k + td k ), t > 0 (II22) Cette méthode possède une propriété interessante : Proposition II21 Soit f : R n R une fonction différentiable Les directions de descente d k générées par la méthode (II21)-(II22) vérifient d k+1 d k = 0 Démonstration : Si on introduit la fonction ϕ(t) = f(x k + td k ), on a ϕ (t) = f(x k + td k ) d k, et puisque ϕ est dérivable on a nécessairement ϕ (t k ) = 0 donc f(x k + t k d k ) d k = f(x k+1 ) d k = d k+1 d k = 0
33 II2 Les méthodes de gradient 33 II23 Calcul du pas optimal dans le cas quadratique Exemples : Exemple II2 On a f(x) = 1 2 x Ax b x avec A > 0 et on note ϕ(t) = f(x k + td k ) Le pas optimal t k est caractérisé par ϕ (t k ) = 0, on a donc soit on obtient donc f(x k + t k d k ) d k = (A(x k + t k d k ) b) d k = 0, ( f(x k ) + t k Ad k ) d k = 0, t k = f(x k) d k d k Ad, k qui est bien positif car d k est une direction de descente et d k Ad k > 0 (car A > 0) La méthode du gradient à pas optimal peut donc s écrire (dans le cas quadratique) d k = b Ax k, t k = d k d k d k Ad, k x k+1 = x k + t k d k (II23)
34 ΟΟ Ο ΟΟ Ο 34 Les méthodes de gradient Exemples du chapitre II Exemple II1 Méthode du gradient simple dans le cas quadratique Dans le cas où f(x) = 1 2 x Ax b x la méthode du gradient simple peut s écrire { dk = b Ax k, x k+1 = x k + ρd k, (II24) où ρ > 0 est fixé a priori Il existe bien sûr des conditions sur ρ pour que la méthode converge Nous illustrons ici le fonctionnement de la méthode dans le cas n = 2 sur une petite simulation 11 7 Lancer la simulation ΟΟ Ο Ο Ο Ο Ο Ο Ο Exemple II2 Méthode du gradient à pas optimal dans le cas quadratique Dans le cas où f(x) = 1 2 x Ax b x la méthode du gradient à pas optimal peut s écrire d k = b Ax k, t k = d k d k d k Ad, k x k+1 = x k + t k d k, Nous illustrons ici le fonctionnement de la méthode dans le cas n = 2 sur une petite simulation Ο (II25) Ο Ο Ο Ο Ο Lancer la simulation Ο Ο Ο
35 Chapitre III La méthode du gradient conjugué III1 Introduction 36 III11 Directions conjuguées 36 III12 Lemme fondamental 37 III2 La méthode du gradient conjugué 39 III21 Algorithme de la méthode du gradient conjugué 39 III22 La méthode du gradient conjugué dans le cas général 41 III3 Interprétation de la méthode du gradient conjugué 42 III31 Interprétation de la méthode du gradient conjugué 42 III32 Convergence de la méthode du gradient conjugué 44
36 36 La méthode du gradient conjugué III1 Introduction III11 Directions conjuguées Définition III11 Soit A une matrice symétrique n n, définie positive On dit que deux vecteurs x et y de R n sont A conjugués (ou conjugués par rapport à A) s il vérifient x Ay = 0 (III11) La matrice A étant définie positive, la forme bilinéaire a(x, y) = x Ay définit un produit scalaire et la relation (III11) traduit l orthogonalité des vecteurs x et y pour ce produit scalaire La démonstration du théorème suivant est laissée en exercice Théorème III12 Si {d 0, d 1,, d k } sont des directions A conjuguées deux à deux, soit alors elles sont linéairement indépendantes d i Ad k = 0, i, j, i < j k, Considérons maintenant dans R 2 une méthode de descente appliquée à la minimisation d une forme quadratique définie positive f(x) = 1 2 x Ax b x : x 1 = x 0 + ρ 0 d 0, x 2 = x 1 + ρ 1 d 1, avec d 0 et d 1 deux directions A conjuguées et ρ 0 et ρ 1 déterminés de façon optimale On a donc les relations suivantes : f(x 1 ) d 0 = (Ax 1 b) d 0 = 0, f(x 2 ) d 1 = (Ax 2 b) d 1 = 0, car ρ 0 et ρ 1 sont optimaux Montrons que l on a de plus On a f(x 2 ) d 0 = 0 f(x 2 ) d 0 = (Ax 2 b) d 0 = (A(x 1 + ρ 1 d 1 ) b) d 0, = (Ax 1 b) d 0 + ρ 1 d 1 Ad 0, = 0 Puisque f(x 2 ) d 0 = f(x 2 ) d 1 = 0 et d 0, d 1 linéairement indépendants, on a f(x 2 ) = 0, x 2 réalise donc le minimum de f sur R 2 La relation de conjugaison permet donc à la méthode de descente de converger en deux itérations (dans le cas où n = 2) Définition III13 Soit {d 0, d 1,, d n } une famille de vecteur A conjugués On appelle alors méthode de directions conjuguées la méthode { x0 donné x k+1 = x k + ρ k d k, ρ k optimal On va maintenant montrer la propriété vérifiée pour n = 2, à savoir x n = ˆx où ˆx réalise le minimum de f(x) = 1 2 x Ax b x, est valable pour tout n
37 III1 Introduction 37 III12 Lemme fondamental On se donne a priori une famille {d 0, d 1,, d n } de directions conjuguées et on note E k = Vect(d 0, d 1,, d k 1 ), le sous-espace vectoriel engendré par les vecteurs d 0, d 1,, d k 1 Par construction, l algorithme de directions conjugué { x0 donné, (III12) x k+1 = x k + ρ k d k, ρ k optimal, construit itérativement un vecteur x k vérifiant Voici l énoncé du lemme fondamental : x k x 0 + E k Lemme III14 Le vecteur x k défini par l algorithme (III12) réalise le minimum de f(x) = 1 2 x Ax b x sur le sous espace x 0 + E k, c est à dire x k x 0 + E k et f(x k ) f(x), x x 0 + E k Pour la démonstration de ce lemme nous aurons besoin du théorème suivant : Théorème III15 Une condition nécessaire et suffisante pour que x k E k + x 0 réalise le minimum de f(x) = 1 2 x Ax b x sur le sous espace x 0 + E k est Démonstration : donc pour tout t R, On a donc soit soit Si l on fait tendre t vers zéro, on en conclut que f(x k ) d i = 0, i = 0,, k 1 Condition nécéssaire : supposons que f(x k ) f(x), x x 0 + E k On a f(x k ) f(x k + td), d E k (f(x k + td) f(x k ))/t 0, si t > 0, (f(x k + td) f(x k ))/t 0, si t < 0 f(x k ) d = 0, d E k, donc en particulier f(x k ) d i = 0, i = 0,, k 1 On admettra que la condition est suffisante Démonstration du lemme fondamental : Pour k = 1 on a x 1 = x 0 + ρ 0 d 0, avec ρ 0 optimal, c est à dire f(x 1 ) d 0 = 0 Puisque d 0 E 1 la propriété est donc vérifiée pour k = 1 Supposons maintenant que la propriété est vérifiée à l ordre k : f(x k ) d i = 0, i = 0,, k 1
38 38 La méthode du gradient conjugué D une part ρ k est optimal donc f(x k+1 ) d k = 0 D autre part on a pour 0 i < k f(x k+1 ) d i = (A(x k + ρ k d k ) b) d i, = (Ax k b) d i + ρ k d k Ad i = 0, car ρ k est optimal et d k Ad i = 0 (conjugaison) On a donc ce qui démontre le lemme fondamental f(x k+1 ) d i, i = 0,, k, Un corollaire direct est donc que la méthode de directions conjuguées converge en n itérations au plus, puisque E n 1 = R n
39 III2 La méthode du gradient conjugué 39 III2 La méthode du gradient conjugué III21 Algorithme de la méthode du gradient conjugué L idée de la méthode est de construire itérativement des directions d 0,, d k muutellement conjuguées A chaque étape k la direction d k est obtenue comme combinaison linéaire du gradient en x k et de la direction précédente d k 1, les coefficients étant choisis de telle manière que d k soit conjuguée avec toutes les directions précédentes Si l on note g k = f(x k ), l algorithme prend la forme suivante On se donne x 0 et on pose d 0 = g 0 x k+1 = x k + ρ k d k, avec (III21) ρ k = g k d k, d k Ad k (III22) d k+1 = g k+1 + β k d k, avec (III23) β k = g k+1 Ad k d k Ad k (III24) Notons d une part que la formule (III22) définit bien le pas optimal : en effet on a bien f(x k+1 ) d k = g k d k + ρ k d k Ad k = 0 On va maintenant montrer que l algorithme ci-dessus définit bien une méthode de directions conjuguées Théorème III21 A une itération k quelconque de l algorithme où l optimum n est pas encore atteint, c est à dire g k 0, on a : ρ k = g k g k d k Ad k, β k = g k+1 (g k+1 g k ) g k g k (III25) (III26) et les directions d 0,, d k+1 sont mutuellement conjuguées, = g k+1 g k+1 gk g, (III27) k On raisonne par récurrence sur k en supposant que d 0,, d k sont mutuel- Démonstration : lement conjuguées - Montrons d abord l équivalence de III22 et III25 Comme d 0,, d k sont mutuellement conjuguées x k réalise le minimum de f sur x 0 + E k, on a g k d k 1 = 0 d où g k d k = g k ( g k + β k d k 1 ) = g k g k - Pour montrer (III26) on note que g k+1 g k = A(x k+1 x k ) = ρ k Ad k, (III28) on a alors g k+1 Ad k = 1 ρ k g k+1 (g k+1 g k ),
40 40 La méthode du gradient conjugué et en utilisant (III25) il vient bien β k = g k+1 (g k+1 g k ) gk g, k ce qui démontre (III26) On a de plus g k+1 g k = 0 car g k = d k β k 1 d k 1 appartient à E k+1 et que g k+1 est orthogonal à ce sous-espace (les directions d 0,, d k sont conjuguées, par hypothèse de récurrence), ceci démontre (III27) - Montrons maintenant que d k+1 Ad i = 0, pour i = 0,, k On a d une part par définition de β k D autre part, on a pour i < k d k+1 Ad k = ( g k+1 + β k d k ) Ad k = 0, d k+1 Ad i = g k+1 Ad i + β k d k Ad i, avec d k Ad i = 0 en vertu de l hypothèse de récurrence On a ensuite, en utilisant la formule (III28] et si l on note que on a bien g k+1 Ad i = 1 ρ i g k+1 (g i+1 g i ), g i+1 g i = d i+1 + (β i + 1)d i β i 1 d i 1, g k+1 (g i+1 g i ) = 0, car gk+1 d i+1 = gk+1 d i = gk+1 d i 1 = 0, en vertu du fait que g k+1 est orthogonal à E k+1 et que i < k On a donc bien d k+1 Ad i = 0, ce qui achève la démonstration
41 III2 La méthode du gradient conjugué 41 III22 La méthode du gradient conjugué dans le cas général La méthode de Fletcher et Reeves est une extension directe de la méthode du Gradient conjugué pour les fonction quelconques Appliquée à une fonction quadratique, elle se comporte comme cette dernière : On se donne x 0 et on pose d 0 = f(x 0 ) x k+1 = x k + ρ k d k, avec ρ k optimal (III29) d k+1 = f(x k+1 ) + β k d k, avec (III210) β k = f(x k+1) 2 f(x k ) 2 (III211) Cette méthode est intéressante car elle ne nécéssite pas de stocker une matrice (contrairement aux méthodes qui seront vues dans les chapitres suivants) Sa vitesse de convergence est très supérieure à celle de la méthode du gradient (ce point sera clarifié pour le cas quadratique dans le grain suivant) La variante dite de Polak-Ribière consiste à définir β k par la formule (III26) On peut démontrer la convergence de la méthode de Fletcher-Reeves pour une classe assez large de fonctions f, ce qu on ne peut pas faire pour la variante de Polak-Ribière Par contre on peut montrer que cette dernière converge plus rapidement (quand elle converge effectivement!), c est donc la méthode qui est utilisée en général L efficacité de la méthode du gradient conjugué repose essentiellement sur deux points : La recherche linéaire (détermination du pas optimal) doit être exacte, Les relations de conjugaison doivent être précises La recherche du pas optimal doit être réalisée à l aide d un algorithme spécifique (c est l objet du prochain chapitre) puisque f est quelconque Par contre la notion de conjugaison n a pas de sens dans le cas non-quadratique (sauf près de l optimum, mais on ne le connaît pas Il faut donc tester au cours des itérations si l hypothèse d approximation quadratique est vérifiée On peut surveiller les indicateurs suivants f(x k+1 ) f(x k ) doit être petit On doit avoir f(x k+1 ) d k+1 f(x k+1 ) d k+1 α, avec 0 < α 0 pas trop petit, c est à dire que d k+1 doit être une direction de descente «raisonnable» Dans le cas où ces conditions ne sont pas vérifiées, on rompt la conjugaison et on redémarre l algorithme avec d k+1 = f(x k+1 ) On peut aussi décider de faire ce redémarrage arbitrairement toutes les p itérations (p fixé de l ordre de n par exemple)
42 42 La méthode du gradient conjugué III3 Interprétation de la méthode du gradient conjugué III31 Interprétation de la méthode du gradient conjugué Définition III31 On appelle kième sous-espace de Krylov associé à la matrice A et au vecteur g 0 le sous espace K k = Vect(g 0, Ag 0,, A k 1 g 0 ) Par construction, dans la méthode du gradient conjugué appliqué au cas quadratique, on a E k = K k, comme le montre le résultat suivant : Proposition III31 Dans la méthode du gradient conjugué on a E k = Vect(d 0, d 1,, d k 1 ) = Vect(g 0, Ag 0,, A k 1 g 0 ) Démonstration : Cette propriété est vérifiée à l ordre k = 1 puisque d 0 = g 0 Supposons qu elle soit vérifiée à l ordre k On a alors la formule (III26) qui nous permet d écrire d k+1 = A(x k + ρ k d k ) b + β k d k, = g k + ρ k Ad k + β k d k, = d k β k 1 d k 1 + ρ k Ad k + β k d k, ce qui permet de conclure que d k+1 K k+1 La propriété est donc vérifiée pour tout k > 0 Comme dans le cas de l algorithme du gradient à pas optimal, nous choisissons maintenant de mesurer la distance séparant x k du vecteur ˆx = A 1 b à l aide de la fonction définie par E(x) = x ˆx 2 A = (x ˆx) A(x ˆx) Minimiser E(x) est équivalent à minimiser f(x) = 1 2 x Ax b x comme le montre la proposition suivante (à démontrer en exercice) Proposition III32 Soit f(x) = 1 2 x Ax b x une forme quadratique définie positive et ˆx = A 1 b On a E(x) = (x ˆx) A(x ˆx) = f(x) + c, où c est une constante On va maintenant illustrer d un autre point de vue la convergence particulière de l algorithme du gradient conjugué Tout vecteur x x 0 + E k s écrit et comme g 0 = Ax 0 b = A(x 0 ˆx) on a donc k 1 x = x 0 + γ j A j g 0, j=0 k 1 x ˆx = x 0 ˆx + γ j A j+1 (x 0 ˆx) = p(a)(x 0 ˆx), j=0 où le polynôme k 1 p(z) = 1 + γ j z j+1 j=0
43 III3 Interprétation de la méthode du gradient conjugué 43 est de degré k et satisfait p(0) = 1 Puisque le vecteur x k obtenu à l étape k de l algorithme du gradient conjugué vérifie f(x k ) f(x), x E k + x 0, on a, en vertu du résultat démontré dans la proposition précédente, pour tout polynome p P k vérifiant p(0) = 1 E(x k ) = x k ˆx 2 A p(a)(x 0 ˆx) 2 A,
44 44 La méthode du gradient conjugué III32 Convergence de la méthode du gradient conjugué Le résultat suivant va nous permettre de retrouver d une autre manière la propriété de convergence finie de l algorithme du GC : Proposition III33 Soit A une matrice définie positive et x k le vecteur obtenu à l étape k de l algorithme du GC Alors on a E(x k ) E(x 0 ) min max p P k,p(0)=1 z σ(a) p(z)2 Démonstration : Puisque la matrice A est définie positive il existe une matrice orthogonale U telle que A = UDU avec D =diag(λ 1,, λ n ), où σ(a) = {λ i } i=1n sont les valeurs propres de A Si on définit A 1/2 = UD 1/2 U on a x 2 A A = 1/2 x 2, donc p(a)(x 0 ˆx) 2 A A = 1/2 p(a)(x 0 ˆx) 2 p(a) 2 x 0 ˆx 2 A, où on a utilisé la propriété que p(a) et A 1/2 commutent (ces deux matrices ont les mêmes vecteurs propres) Puisque l on a aussi A j = UD j U les valeurs propres de p(a) sont données par les nombres p(λ i ) pour i = 1 n, et donc p(a) 2 = max i=1n p(λ i) 2 On a donc bien E(x k ) E(x 0 ) min max p P k,p(0)=1 z σ(a) p(z)2 On a le corollaire suivant, qui permet d exhiber le polynôme optimal p(z) pour k = n : Théorème III32 Soit A une matrice définie positive L algorithme du GC converge en n itérations au plus Plus précisément, si la matrice A possède k n valeurs propres distinctes, alors L algorithme du GC converge en k itérations au plus Démonstration : Dans les deux cas possibles, notons p(z) = Π k λ i z i=1 λ i On a bien p(z) de degré k, p(0) = 1 et par construction p(λ i ) = 0 pour i = 1 k En vertu du résultat montré dans la proposition III33, on a donc E(x k ) = 0, soit x k = ˆx La méthode du gradient conjugué étant en général utilisée comme une méthode itérative, il est intéressant de la comparer à la méthode du gradient à pas optimal Le résultat suivant sera admis (la démonstration repose sur la détermination d un polynôme particulier p(z) solution d un problème de moindre carrés)
45 III3 Interprétation de la méthode du gradient conjugué 45 Théorème III33 Soit A une matrice définie positive et x k le vecteur obtenu à l étape k de l algorithme du GC Alors on a ( ) 2k χ(a) 1 E(x k ) 4E(x 0 ), χ(a) + 1 où on a noté χ(a) = λ n /λ 1 le conditionnement de A pour la norme euclidienne Pour l algorithme du gradient à pas optimal on avait E(x k ) E(x 0 ) ( ) χ(a) 1 2k, χ(a) + 1 on voit donc que pour une même matrice A, la méthode du gradient conjugué convergera plus rapidement Cependant cette estimation peut être très pessimiste car dans le cas où les valeurs propres sont groupées autour de valeurs distinctes, on peut être très proche du cas ou certaines valeurs propres sont multiples (et ou le nombre théorique d itérations est inférieur à n) tout en ayant un mauvais conditionnement
46
47 Chapitre IV Méthodes de recherche linéaire IV1 introduction 48 IV11 But de la recherche linéaire 48 IV12 Intervalle de sécurité 49 IV2 Caractérisation de l intervalle de sécurité 50 IV21 La règle d Armijo 50 IV22 La règle de Goldstein 51 IV23 La règle de Wolfe 52 IV24 Réduction de l intervalle 53 IV25 Réduction de l intervalle par interpolation cubique 54
48 48 Méthodes de recherche linéaire IV1 introduction IV11 But de la recherche linéaire On a vu que dans le cas non-quadratique les méthodes de descente : x k+1 = x k + t k d k, t k > 0, nécéssitent la recherche d une valeur de t k > 0, optimale ou non, vérfiant f(x k + t k d k ) f(x k ) On définit comme précedemment la fonction ϕ(t) = f(x k +td k ) Rappellons que si f est différentiable, le pas optimal ˆt peut être caractérisé par { ϕ (ˆt) = 0, ϕ(ˆt) ϕ(t), pour 0 t ˆt, autrement dit, ˆt est un minimum local de ϕ qui assure de plus la décroissance de f En fait, dans la plupart des algorithmes d optimisation modernes, on ne fait jamais de recherche linéaire exacte, car trouver ˆt signifie qu il va falloir calculer un grand nombre de fois la fonction ϕ, et cela peut être dissuasif du point de vue du temps de calcul En pratique, on recherche plutot une valeur de t qui assure une décroissance suffisante de f Cela conduit à la notion d intervalle de sécurité
49 IV1 introduction 49 IV12 Intervalle de sécurité Définition IV11 On dit que [a, b] est un intervalle de sécurité s il permet de classer les valeurs de t de la façon suivante : Si t < a alors t est considéré trop petit, Si b t a alors t est satisfaisant, Si t > b alors t est considéré trop grand Le problème est de traduire de façon numérique sur ϕ les trois conditions précédentes, ainsi que de trouver un algorithme permettant de déterminer a et b L idée est de partir d un intervalle suffisament grand pour contenir [a, b], et d appliquer un bonne stratégie pour itérativement réduire cet intervalle Algorithme de base Initialement, on part de [α, β] contenant I = [a, b], par exemple en prenant α = 0 et β tel que ϕ(β) > ϕ(0) (une telle valeur de β existe avec un minimum d hypothèses, par exemple f coercive) On fait ensuite les itérations suivantes : 1 On choisit t dans l intervalle [α, β] 2 Si t est trop petit on prend α = t et on retourne en 1 3 Si t est trop grand on prend β = t et on retourne en 1 4 Si t convient on s arrète Il faut maintenant préciser quelles sont les relations sur ϕ qui vont nous permettre de caractériser les valeurs de t convenables, ainsi que les techniques utilisées pour réduire l intervalle (point nř1 cidessus)
RO04/TI07 - Optimisation non-linéaire
RO04/TI07 - Optimisation non-linéaire Stéphane Mottelet Université de Technologie de Compiègne Printemps 2003 I Motivations et notions fondamentales 4 I1 Motivations 5 I2 Formes quadratiques 13 I3 Rappels
Plus en détailOptimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications
Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications A. Optimisation sans contrainte.... Généralités.... Condition nécessaire et condition suffisante
Plus en détail3 Approximation de solutions d équations
3 Approximation de solutions d équations Une équation scalaire a la forme générale f(x) =0où f est une fonction de IR dans IR. Un système de n équations à n inconnues peut aussi se mettre sous une telle
Plus en détailImage d un intervalle par une fonction continue
DOCUMENT 27 Image d un intervalle par une fonction continue La continuité d une fonction en un point est une propriété locale : une fonction est continue en un point x 0 si et seulement si sa restriction
Plus en détailExercices - Fonctions de plusieurs variables : corrigé. Pour commencer
Pour commencer Exercice 1 - Ensembles de définition - Première année - 1. Le logarithme est défini si x + y > 0. On trouve donc le demi-plan supérieur délimité par la droite d équation x + y = 0.. 1 xy
Plus en détailCours d Analyse. Fonctions de plusieurs variables
Cours d Analyse Fonctions de plusieurs variables Licence 1ère année 2007/2008 Nicolas Prioux Université de Marne-la-Vallée Table des matières 1 Notions de géométrie dans l espace et fonctions à deux variables........
Plus en détailFonctions de plusieurs variables
Module : Analyse 03 Chapitre 00 : Fonctions de plusieurs variables Généralités et Rappels des notions topologiques dans : Qu est- ce que?: Mathématiquement, n étant un entier non nul, on définit comme
Plus en détailChp. 4. Minimisation d une fonction d une variable
Chp. 4. Minimisation d une fonction d une variable Avertissement! Dans tout ce chapître, I désigne un intervalle de IR. 4.1 Fonctions convexes d une variable Définition 9 Une fonction ϕ, partout définie
Plus en détailContinuité en un point
DOCUMENT 4 Continuité en un point En général, D f désigne l ensemble de définition de la fonction f et on supposera toujours que cet ensemble est inclus dans R. Toutes les fonctions considérées sont à
Plus en détailFonctions de plusieurs variables, intégrales multiples, et intégrales dépendant d un paramètre
IUFM du Limousin 2009-10 PLC1 Mathématiques S. Vinatier Rappels de cours Fonctions de plusieurs variables, intégrales multiples, et intégrales dépendant d un paramètre 1 Fonctions de plusieurs variables
Plus en détailFONCTIONS DE PLUSIEURS VARIABLES (Outils Mathématiques 4)
FONCTIONS DE PLUSIEURS VARIABLES (Outils Mathématiques 4) Bernard Le Stum Université de Rennes 1 Version du 13 mars 2009 Table des matières 1 Fonctions partielles, courbes de niveau 1 2 Limites et continuité
Plus en détailChapitre 2 Le problème de l unicité des solutions
Université Joseph Fourier UE MAT 127 Mathématiques année 2011-2012 Chapitre 2 Le problème de l unicité des solutions Ce que nous verrons dans ce chapitre : un exemple d équation différentielle y = f(y)
Plus en détailContinuité et dérivabilité d une fonction
DERNIÈRE IMPRESSIN LE 7 novembre 014 à 10:3 Continuité et dérivabilité d une fonction Table des matières 1 Continuité d une fonction 1.1 Limite finie en un point.......................... 1. Continuité
Plus en détailFonctions de plusieurs variables : dérivés partielles, diérentielle. Fonctions composées. Fonctions de classe C 1. Exemples
45 Fonctions de plusieurs variables : dérivés partielles, diérentielle. Fonctions composées. Fonctions de classe C 1. Exemples Les espaces vectoriels considérés sont réels, non réduits au vecteur nul et
Plus en détailI. Polynômes de Tchebychev
Première épreuve CCP filière MP I. Polynômes de Tchebychev ( ) 1.a) Tout réel θ vérifie cos(nθ) = Re ((cos θ + i sin θ) n ) = Re Cn k (cos θ) n k i k (sin θ) k Or i k est réel quand k est pair et imaginaire
Plus en détailRésolution d équations non linéaires
Analyse Numérique Résolution d équations non linéaires Said EL HAJJI et Touria GHEMIRES Université Mohammed V - Agdal. Faculté des Sciences Département de Mathématiques. Laboratoire de Mathématiques, Informatique
Plus en détailCalcul différentiel sur R n Première partie
Calcul différentiel sur R n Première partie Université De Metz 2006-2007 1 Définitions générales On note L(R n, R m ) l espace vectoriel des applications linéaires de R n dans R m. Définition 1.1 (différentiabilité
Plus en détailCalcul différentiel. Chapitre 1. 1.1 Différentiabilité
Chapitre 1 Calcul différentiel L idée du calcul différentiel est d approcher au voisinage d un point une fonction f par une fonction plus simple (ou d approcher localement le graphe de f par un espace
Plus en détailLimites finies en un point
8 Limites finies en un point Pour ce chapitre, sauf précision contraire, I désigne une partie non vide de R et f une fonction définie sur I et à valeurs réelles ou complees. Là encore, les fonctions usuelles,
Plus en détailProgrammation linéaire et Optimisation. Didier Smets
Programmation linéaire et Optimisation Didier Smets Chapitre 1 Un problème d optimisation linéaire en dimension 2 On considère le cas d un fabricant d automobiles qui propose deux modèles à la vente, des
Plus en détailFonctions de plusieurs variables. Sébastien Tordeux
Fonctions de plusieurs variables Sébastien Tordeux 22 février 2009 Table des matières 1 Fonctions de plusieurs variables 3 1.1 Définition............................. 3 1.2 Limite et continuité.......................
Plus en détailEXERCICE 4 (7 points ) (Commun à tous les candidats)
EXERCICE 4 (7 points ) (Commun à tous les candidats) On cherche à modéliser de deux façons différentes l évolution du nombre, exprimé en millions, de foyers français possédant un téléviseur à écran plat
Plus en détailI - PUISSANCE D UN POINT PAR RAPPORT A UN CERCLE CERCLES ORTHOGONAUX POLES ET POLAIRES
I - PUISSANCE D UN POINT PAR RAPPORT A UN CERCLE CERCLES ORTHOGONAUX POLES ET POLAIRES Théorème - Définition Soit un cercle (O,R) et un point. Une droite passant par coupe le cercle en deux points A et
Plus en détailChapitre VI Fonctions de plusieurs variables
Chapitre VI Fonctions de plusieurs variables 6. 1 Fonctions différentiables de R 2 dans R. 6. 1. 1 Définition de la différentiabilité Nous introduisons la différentiabilité sous l angle des développements
Plus en détailLa fonction exponentielle
DERNIÈRE IMPRESSION LE 2 novembre 204 à :07 La fonction exponentielle Table des matières La fonction exponentielle 2. Définition et théorèmes.......................... 2.2 Approche graphique de la fonction
Plus en détailDualité dans les espaces de Lebesgue et mesures de Radon finies
Chapitre 6 Dualité dans les espaces de Lebesgue et mesures de Radon finies Nous allons maintenant revenir sur les espaces L p du Chapitre 4, à la lumière de certains résultats du Chapitre 5. Sauf mention
Plus en détailFonctions de plusieurs variables
Maths MP Exercices Fonctions de plusieurs variables Les indications ne sont ici que pour être consultées après le T (pour les exercices non traités). Avant et pendant le T, tenez bon et n allez pas les
Plus en détailMéthodes de quadrature. Polytech Paris-UPMC. - p. 1/48
Méthodes de Polytech Paris-UPMC - p. 1/48 Polynôme d interpolation de Preuve et polynôme de Calcul de l erreur d interpolation Étude de la formule d erreur Autres méthodes - p. 2/48 Polynôme d interpolation
Plus en détailPremière partie. Préliminaires : noyaux itérés. MPSI B 6 juin 2015
Énoncé Soit V un espace vectoriel réel. L espace vectoriel des endomorphismes de V est désigné par L(V ). Lorsque f L(V ) et k N, on désigne par f 0 = Id V, f k = f k f la composée de f avec lui même k
Plus en détailDéveloppements limités, équivalents et calculs de limites
Développements ités, équivalents et calculs de ites Eercice. Déterminer le développement ité en 0 à l ordre n des fonctions suivantes :. f() e (+) 3 n. g() sin() +ln(+) n 3 3. h() e sh() n 4. i() sin(
Plus en détailCHAPITRE V SYSTEMES DIFFERENTIELS LINEAIRES A COEFFICIENTS CONSTANTS DU PREMIER ORDRE. EQUATIONS DIFFERENTIELLES.
CHAPITRE V SYSTEMES DIFFERENTIELS LINEAIRES A COEFFICIENTS CONSTANTS DU PREMIER ORDRE EQUATIONS DIFFERENTIELLES Le but de ce chapitre est la résolution des deux types de systèmes différentiels linéaires
Plus en détailProgrammation linéaire
1 Programmation linéaire 1. Le problème, un exemple. 2. Le cas b = 0 3. Théorème de dualité 4. L algorithme du simplexe 5. Problèmes équivalents 6. Complexité de l Algorithme 2 Position du problème Soit
Plus en détailChapitre 3. Mesures stationnaires. et théorèmes de convergence
Chapitre 3 Mesures stationnaires et théorèmes de convergence Christiane Cocozza-Thivent, Université de Marne-la-Vallée p.1 I. Mesures stationnaires Christiane Cocozza-Thivent, Université de Marne-la-Vallée
Plus en détailExercice autour de densité, fonction de répatition, espérance et variance de variables quelconques.
14-3- 214 J.F.C. p. 1 I Exercice autour de densité, fonction de répatition, espérance et variance de variables quelconques. Exercice 1 Densité de probabilité. F { ln x si x ], 1] UN OVNI... On pose x R,
Plus en détailCorrection de l examen de la première session
de l examen de la première session Julian Tugaut, Franck Licini, Didier Vincent Si vous trouvez des erreurs de Français ou de mathématiques ou bien si vous avez des questions et/ou des suggestions, envoyez-moi
Plus en détailDérivation : cours. Dérivation dans R
TS Dérivation dans R Dans tout le capitre, f désigne une fonction définie sur un intervalle I de R (non vide et non réduit à un élément) et à valeurs dans R. Petits rappels de première Téorème-définition
Plus en détailDifférentiabilité ; Fonctions de plusieurs variables réelles
Différentiabilité ; Fonctions de plusieurs variables réelles Denis Vekemans R n est muni de l une des trois normes usuelles. 1,. 2 ou.. x 1 = i i n Toutes les normes de R n sont équivalentes. x i ; x 2
Plus en détailUniversité Paris-Dauphine DUMI2E 1ère année, 2009-2010. Applications
Université Paris-Dauphine DUMI2E 1ère année, 2009-2010 Applications 1 Introduction Une fonction f (plus précisément, une fonction réelle d une variable réelle) est une règle qui associe à tout réel x au
Plus en détailFormes quadratiques. 1 Formes quadratiques et formes polaires associées. Imen BHOURI. 1.1 Définitions
Formes quadratiques Imen BHOURI 1 Ce cours s adresse aux étudiants de niveau deuxième année de Licence et à ceux qui préparent le capes. Il combine d une façon indissociable l étude des concepts bilinéaires
Plus en détailNotes du cours MTH1101 Calcul I Partie II: fonctions de plusieurs variables
Notes du cours MTH1101 Calcul I Partie II: fonctions de plusieurs variables Guy Desaulniers Département de mathématiques et de génie industriel École Polytechnique de Montréal Automne 2014 Table des matières
Plus en détailContinuité d une fonction de plusieurs variables
Chapitre 2 Continuité d une fonction de plusieurs variables Maintenant qu on a défini la notion de limite pour des suites dans R n, la notion de continuité s étend sans problème à des fonctions de plusieurs
Plus en détailNombre dérivé et tangente
Nombre dérivé et tangente I) Interprétation graphique 1) Taux de variation d une fonction en un point. Soit une fonction définie sur un intervalle I contenant le nombre réel a, soit (C) sa courbe représentative
Plus en détail* très facile ** facile *** difficulté moyenne **** difficile ***** très difficile I : Incontournable T : pour travailler et mémoriser le cours
Exo7 Continuité (étude globale). Diverses fonctions Exercices de Jean-Louis Rouget. Retrouver aussi cette fiche sur www.maths-france.fr * très facile ** facile *** difficulté moyenne **** difficile *****
Plus en détailThéorème du point fixe - Théorème de l inversion locale
Chapitre 7 Théorème du point fixe - Théorème de l inversion locale Dans ce chapitre et le suivant, on montre deux applications importantes de la notion de différentiabilité : le théorème de l inversion
Plus en détailDérivées d ordres supérieurs. Application à l étude d extrema.
Chapitre 5 Dérivées d ordres supérieurs. Application à l étude d extrema. On s intéresse dans ce chapitre aux dérivées d ordre ou plus d une fonction de plusieurs variables. Comme pour une fonction d une
Plus en détailIntégration et probabilités TD1 Espaces mesurés Corrigé
Intégration et probabilités TD1 Espaces mesurés Corrigé 2012-2013 1 Petites questions 1 Est-ce que l ensemble des ouverts de R est une tribu? Réponse : Non, car le complémentaire de ], 0[ n est pas ouvert.
Plus en détailDéveloppements limités. Notion de développement limité
MT12 - ch2 Page 1/8 Développements limités Dans tout ce chapitre, I désigne un intervalle de R non vide et non réduit à un point. I Notion de développement limité Dans tout ce paragraphe, a désigne un
Plus en détailF411 - Courbes Paramétrées, Polaires
1/43 Courbes Paramétrées Courbes polaires Longueur d un arc, Courbure F411 - Courbes Paramétrées, Polaires Michel Fournié michel.fournie@iut-tlse3.fr http://www.math.univ-toulouse.fr/ fournie/ Année 2012/2013
Plus en détailSouad EL Bernoussi. Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/
Recherche opérationnelle Les démonstrations et les exemples seront traités en cours Souad EL Bernoussi Groupe d Analyse Numérique et Optimisation Rabat http ://www.fsr.ac.ma/ano/ Table des matières 1 Programmation
Plus en détailCours d Analyse 3 Fonctions de plusieurs variables
Université Claude Bernard, Lyon I Licence Sciences, Technologies & Santé 43, boulevard 11 novembre 1918 Spécialité Mathématiques 69622 Villeurbanne cedex, France L. Pujo-Menjouet pujo@math.univ-lyon1.fr
Plus en détailLa Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1
La Licence Mathématiques et Economie-MASS Université de Sciences Sociales de Toulouse 1 La licence Mathématiques et Economie-MASS de l Université des Sciences Sociales de Toulouse propose sur les trois
Plus en détailIV- Equations, inéquations dans R, Systèmes d équations
IV- Equations, inéquations dans R, Systèmes d équations 1- Equation à une inconnue Une équation est une égalité contenant un nombre inconnu noté en général x et qui est appelé l inconnue. Résoudre l équation
Plus en détailLES MÉTHODES DE POINT INTÉRIEUR 1
Chapitre XIII LES MÉTHODES DE POINT INTÉRIEUR 1 XIII.1 Introduction Nous débutons par un rappel de la formulation standard d un problème d optimisation 2 linéaire et donnons un bref aperçu des différences
Plus en détailSuites numériques 3. 1 Convergence et limite d une suite
Suites numériques 3 1 Convergence et limite d une suite Nous savons que les termes de certaines suites s approchent de plus en plus d une certaine valeur quand n augmente : par exemple, les nombres u n
Plus en détailPlanche n o 22. Fonctions de plusieurs variables. Corrigé
Planche n o Fonctions de plusieurs variables Corrigé n o : f est définie sur R \ {, } Pour, f, = Quand tend vers, le couple, tend vers le couple, et f, tend vers Donc, si f a une limite réelle en, cette
Plus en détail3. Conditionnement P (B)
Conditionnement 16 3. Conditionnement Dans cette section, nous allons rappeler un certain nombre de définitions et de propriétés liées au problème du conditionnement, c est à dire à la prise en compte
Plus en détailApproximations variationelles des EDP Notes du Cours de M2
Approximations variationelles des EDP Notes du Cours de M2 Albert Cohen Dans ce cours, on s intéresse à l approximation numérique d équations aux dérivées partielles linéaires qui admettent une formulation
Plus en détailChapitre 7 : Intégration sur un intervalle quelconque
Universités Paris 6 et Paris 7 M1 MEEF Analyse (UE 3) 2013-2014 Chapitre 7 : Intégration sur un intervalle quelconque 1 Fonctions intégrables Définition 1 Soit I R un intervalle et soit f : I R + une fonction
Plus en détailCalcul fonctionnel holomorphe dans les algèbres de Banach
Chapitre 7 Calcul fonctionnel holomorphe dans les algèbres de Banach L objet de ce chapitre est de définir un calcul fonctionnel holomorphe qui prolonge le calcul fonctionnel polynômial et qui respecte
Plus en détailCalcul Différentiel. I Fonctions différentiables 3
Université de la Méditerranée Faculté des Sciences de Luminy Licence de Mathématiques, Semestre 5, année 2008-2009 Calcul Différentiel Support du cours de Glenn Merlet 1, version du 6 octobre 2008. Remarques
Plus en détailSujet proposé par Yves M. LEROY. Cet examen se compose d un exercice et de deux problèmes. Ces trois parties sont indépendantes.
Promotion X 004 COURS D ANALYSE DES STRUCTURES MÉCANIQUES PAR LA MÉTHODE DES ELEMENTS FINIS (MEC 568) contrôle non classant (7 mars 007, heures) Documents autorisés : polycopié ; documents et notes de
Plus en détailCours3. Applications continues et homéomorphismes. 1 Rappel sur les images réciproques
Université de Provence Topologie 2 Cours3. Applications continues et homéomorphismes 1 Rappel sur les images réciproques Soit une application f d un ensemble X vers un ensemble Y et soit une partie P de
Plus en détailC1 : Fonctions de plusieurs variables
1er semestre 2012/13 CPUMP 3 U 11 : Abrégé de cours Compléments Analyse 3 : fonctions analytiques Les notes suivantes, disponibles à l adresse http://www.iecn.u-nancy.fr/~bertram/, contiennent les définitions
Plus en détailProgrammes des classes préparatoires aux Grandes Ecoles
Programmes des classes préparatoires aux Grandes Ecoles Filière : scientifique Voie : Biologie, chimie, physique et sciences de la Terre (BCPST) Discipline : Mathématiques Seconde année Préambule Programme
Plus en détailExercices du Cours de la programmation linéaire donné par le Dr. Ali DERBALA
75. Un plombier connaît la disposition de trois tuyaux sous des dalles ( voir figure ci dessous ) et il lui suffit de découvrir une partie de chacun d eux pour pouvoir y poser les robinets. Il cherche
Plus en détailCapes 2002 - Première épreuve
Cette correction a été rédigée par Frédéric Bayart. Si vous avez des remarques à faire, ou pour signaler des erreurs, n hésitez pas à écrire à : mathweb@free.fr Mots-clés : équation fonctionnelle, série
Plus en détailBaccalauréat ES Pondichéry 7 avril 2014 Corrigé
Baccalauréat ES Pondichéry 7 avril 204 Corrigé EXERCICE 4 points Commun à tous les candidats. Proposition fausse. La tangente T, passant par les points A et B d abscisses distinctes, a pour coefficient
Plus en détailLe théorème de Perron-Frobenius, les chaines de Markov et un célèbre moteur de recherche
Le théorème de Perron-Frobenius, les chaines de Markov et un célèbre moteur de recherche Bachir Bekka Février 2007 Le théorème de Perron-Frobenius a d importantes applications en probabilités (chaines
Plus en détailINTRODUCTION À L ANALYSE FACTORIELLE DES CORRESPONDANCES
INTRODUCTION À L ANALYSE FACTORIELLE DES CORRESPONDANCES Dominique LAFFLY Maître de Conférences, Université de Pau Laboratoire Société Environnement Territoire UMR 5603 du CNRS et Université de Pau Domaine
Plus en détailFonctions de plusieurs variables et changements de variables
Notes du cours d'équations aux Dérivées Partielles de l'isima, première année http://wwwisimafr/leborgne Fonctions de plusieurs variables et changements de variables Gilles Leborgne juin 006 Table des
Plus en détailCours 02 : Problème général de la programmation linéaire
Cours 02 : Problème général de la programmation linéaire Cours 02 : Problème général de la Programmation Linéaire. 5 . Introduction Un programme linéaire s'écrit sous la forme suivante. MinZ(ou maxw) =
Plus en détailÉquations non linéaires
Équations non linéaires Objectif : trouver les zéros de fonctions (ou systèmes) non linéaires, c-à-d les valeurs α R telles que f(α) = 0. y f(x) α 1 α 2 α 3 x Equations non lineaires p. 1/49 Exemples et
Plus en détailn N = u N u N+1 1 u pour u 1. f ( uv 1) v N+1 v N v 1 1 2 t
3.La méthode de Dirichlet 99 11 Le théorème de Dirichlet 3.La méthode de Dirichlet Lorsque Dirichlet, au début des années 180, découvre les travaux de Fourier, il cherche à les justifier par des méthodes
Plus en détailOptimisation des fonctions de plusieurs variables
Optimisation des fonctions de plusieurs variables Hervé Hocquard Université de Bordeaux, France 8 avril 2013 Extrema locaux et globaux Définition On étudie le comportement d une fonction de plusieurs variables
Plus en détail8.1 Généralités sur les fonctions de plusieurs variables réelles. f : R 2 R (x, y) 1 x 2 y 2
Chapitre 8 Fonctions de plusieurs variables 8.1 Généralités sur les fonctions de plusieurs variables réelles Définition. Une fonction réelle de n variables réelles est une application d une partie de R
Plus en détailCHAPITRE 5. Stratégies Mixtes
CHAPITRE 5 Stratégies Mixtes Un des problèmes inhérents au concept d équilibre de Nash en stratégies pures est que pour certains jeux, de tels équilibres n existent pas. P.ex.le jeu de Pierre, Papier,
Plus en détailProgrammation linéaire
Programmation linéaire DIDIER MAQUIN Ecole Nationale Supérieure d Electricité et de Mécanique Institut National Polytechnique de Lorraine Mathématiques discrètes cours de 2ème année Programmation linéaire
Plus en détailExercices - Polynômes : corrigé. Opérations sur les polynômes
Opérations sur les polynômes Exercice 1 - Carré - L1/Math Sup - Si P = Q est le carré d un polynôme, alors Q est nécessairement de degré, et son coefficient dominant est égal à 1. On peut donc écrire Q(X)
Plus en détailExercices Corrigés Premières notions sur les espaces vectoriels
Exercices Corrigés Premières notions sur les espaces vectoriels Exercice 1 On considére le sous-espace vectoriel F de R formé des solutions du système suivant : x1 x 2 x 3 + 2x = 0 E 1 x 1 + 2x 2 + x 3
Plus en détailMoments des variables aléatoires réelles
Chapter 6 Moments des variables aléatoires réelles Sommaire 6.1 Espérance des variables aléatoires réelles................................ 46 6.1.1 Définition et calcul........................................
Plus en détailLicence à distance Chapitre V : Equations différentielles. Méthodes numériques à un pas.
Licence à distance Chapitre V : Equations différentielles. Méthodes numériques à un pas. M. Granger Table des matières 1 Rappels sur le cours d équations différentielles 2 1.1 Généralités..........................................
Plus en détailChapitre VI - Méthodes de factorisation
Université Pierre et Marie Curie Cours de cryptographie MM067-2012/13 Alain Kraus Chapitre VI - Méthodes de factorisation Le problème de la factorisation des grands entiers est a priori très difficile.
Plus en détailExercices Alternatifs. Une fonction continue mais dérivable nulle part
Eercices Alternatifs Une fonction continue mais dérivable nulle part c 22 Frédéric Le Rou (copyleft LDL : Licence pour Documents Libres). Sources et figures: applications-continues-non-derivables/. Version
Plus en détailTexte Agrégation limitée par diffusion interne
Page n 1. Texte Agrégation limitée par diffusion interne 1 Le phénomène observé Un fût de déchets radioactifs est enterré secrètement dans le Cantal. Au bout de quelques années, il devient poreux et laisse
Plus en détail6 Equations du première ordre
6 Equations u première orre 6.1 Equations linéaires Consiérons l équation a k (x) k u = b(x), (6.1) où a 1,...,a n,b sont es fonctions continûment ifférentiables sur R. Soit D un ouvert e R et u : D R
Plus en détailwww.h-k.fr/publications/objectif-agregation
«Sur C, tout est connexe!» www.h-k.fr/publications/objectif-agregation L idée de cette note est de montrer que, contrairement à ce qui se passe sur R, «sur C, tout est connexe». Cet abus de langage se
Plus en détailIntroduction à l étude des Corps Finis
Introduction à l étude des Corps Finis Robert Rolland (Résumé) 1 Introduction La structure de corps fini intervient dans divers domaines des mathématiques, en particulier dans la théorie de Galois sur
Plus en détailTests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles
Tests non-paramétriques de non-effet et d adéquation pour des covariables fonctionnelles Valentin Patilea 1 Cesar Sanchez-sellero 2 Matthieu Saumard 3 1 CREST-ENSAI et IRMAR 2 USC Espagne 3 IRMAR-INSA
Plus en détailPolynômes à plusieurs variables. Résultant
Polynômes à plusieurs variables. Résultant Christophe Ritzenthaler 1 Relations coefficients-racines. Polynômes symétriques Issu de [MS] et de [Goz]. Soit A un anneau intègre. Définition 1.1. Soit a A \
Plus en détailNotes du cours MTH1101N Calcul I Partie II: fonctions de plusieurs variables
Notes du cours MTH1101N Calcul I Partie II: fonctions de plusieurs variables Fausto Errico Département de mathématiques et de génie industriel École Polytechnique de Montréal Automne 2012 Table des matières
Plus en détailExercices Alternatifs. Quelqu un aurait-il vu passer un polynôme?
Exercices Alternatifs Quelqu un aurait-il vu passer un polynôme? c 2004 Frédéric Le Roux, François Béguin (copyleft LDL : Licence pour Documents Libres). Sources et figures: polynome-lagrange/. Version
Plus en détailExercices Alternatifs. Quelqu un aurait-il vu passer un polynôme?
Exercices Alternatifs Quelqu un aurait-il vu passer un polynôme? c 2004 Frédéric Le Roux, François Béguin (copyleft LDL : Licence pour Documents Libres). Sources et figures: polynome-lagrange/. Version
Plus en détailProblème 1 : applications du plan affine
Problème 1 : applications du plan affine Notations On désigne par GL 2 (R) l ensemble des matrices 2 2 inversibles à coefficients réels. Soit un plan affine P muni d un repère (O, I, J). Les coordonnées
Plus en détailLicence de Mathématiques 3
Faculté des sciences et techniques Département de mathématiques 2004-2005 Licence de Mathématiques 3 M62 : Fonctions réelles de plusieurs variables Laurent Guillopé www.math.sciences.univ-nantes.fr/~guillope/m62/
Plus en détailBaccalauréat L spécialité, Métropole et Réunion, 19 juin 2009 Corrigé.
Baccalauréat L spécialité, Métropole et Réunion, 19 juin 2009 Corrigé. L usage d une calculatrice est autorisé Durée : 3heures Deux annexes sont à rendre avec la copie. Exercice 1 5 points 1_ Soit f la
Plus en détailCorrection du Baccalauréat S Amérique du Nord mai 2007
Correction du Baccalauréat S Amérique du Nord mai 7 EXERCICE points. Le plan (P) a une pour équation cartésienne : x+y z+ =. Les coordonnées de H vérifient cette équation donc H appartient à (P) et A n
Plus en détailDe même, le périmètre P d un cercle de rayon 1 vaut P = 2π (par définition de π). Mais, on peut démontrer (difficilement!) que
Introduction. On suppose connus les ensembles N (des entiers naturels), Z des entiers relatifs et Q (des nombres rationnels). On s est rendu compte, depuis l antiquité, que l on ne peut pas tout mesurer
Plus en détailCours de mathématiques
DEUG MIAS premier niveau Cours de mathématiques année 2003/2004 Guillaume Legendre (version révisée du 3 avril 2015) Table des matières 1 Éléments de logique 1 1.1 Assertions...............................................
Plus en détailSimulation de variables aléatoires
Chapter 1 Simulation de variables aléatoires Références: [F] Fishman, A first course in Monte Carlo, chap 3. [B] Bouleau, Probabilités de l ingénieur, chap 4. [R] Rubinstein, Simulation and Monte Carlo
Plus en détailOptimisation Discrète
Prof F Eisenbrand EPFL - DISOPT Optimisation Discrète Adrian Bock Semestre de printemps 2011 Série 7 7 avril 2011 Exercice 1 i Considérer le programme linéaire max{c T x : Ax b} avec c R n, A R m n et
Plus en détail