II. OPTIMISATION SANS CONTRAINTE. min f(x) avec x ε R n

Transcription

1 min f(x) avec x ε R n Méthodes de recherche unidimensionnelle Méthodes du gradient Méthodes des directions conjuguées Méthode de Newton et méthode de Levenberg-Marquardt Méthodes quasi-newton Méthodes sans calcul du gradient Résolution d équations non linéaires

2 II.1 Méthodes de recherches unidimensionnelles (1) II.1.1 Méthode du nombre d or Hypothèse: f unimodulable sur <=> un seul minimisant f f(x) f(x)

3 II.1 Méthodes de recherches unidimensionnelles (2) Principes de la méthode du nombre d or f(x)

4 II.1 Méthodes de recherches unidimensionnelles (3) Principes de la méthode du nombre d or (suite) Répéter Choisir un des points de l étape précédente :

5 II.1 Méthodes de recherches unidimensionnelles (4) Calcul de la valeur de ρ dans la méthode du nombre d or: => Facteur de réduction à chaque itération: = NOMBRE D OR

6 II.1 Méthodes de recherches unidimensionnelles (5) II.1.2 Méthode des suites de Fibonacci ρ est variable pour optimiser la convergence

7 II.1 Méthodes de recherches unidimensionnelles (6) Sélection optimale des facteurs de réduction: Si N itérations sont permises : où est la suite de Fibonacci :

8 II.1 Méthodes de recherches unidimensionnelles (7) II.1.3 Méthode de Newton Approximation de f(x) par une forme quadratique autour d un point : Minimiser q(x) => x =

9 II.1 Méthodes de recherches unidimensionnelles (8) II.1.3 Méthode de Newton (suite) Méthode efficace si convergence quadratique > 0 x q(x) q(x) f(x)

10 II.1 Méthodes de recherches unidimensionnelles (9) II.1.3 Méthode de Newton (suite) Par contre la méthode ne converge pas nécessairement si f (x) < 0 pour certaines valeurs de x g(x) f(x)

11 II.1 Méthodes de recherches unidimensionnelles (10) II.1.3 Méthode de Newton (suite) La méthode de Newton peut être vue comme une méthode de recherche de zéro d une fonction g(x) si on pose g(x)

12 II.1 Méthodes de recherches unidimensionnelles (11) II.1.4 Méthode de la sécante La dérivée n est pas toujours disponible => approximation Cette méthode amène la dérivée de f(x) à zéro

13 II.1 Méthodes de recherches unidimensionnelles (12) II.1.4 Méthode de la sécante (suite) Si f (x) = g(x) cette méthode trouve la racine de g(x) g(x)

14 II.1 Méthodes de recherches unidimensionnelles (13) II.1.5 Méthodes unidirectionnelles «Line search» = solution d un problème unidimensionnel Exemple: méthode de la sécante

15 II.1 Méthodes de recherches unidimensionnelles (14) II.1.5 Méthodes unidirectionnelles (suite)! Il n est pas nécessaire de calculer précisément α* si de manière significative If faut distinguer 2 cas : f dérivable et f non dérivable La recherche de α* se fait souvent en deux étapes: 1. Déterminer un intervalle contenant α* 2. Réduire cet intervalle

16 II.1 Méthodes de recherches unidimensionnelles (15) II La fonction f est dérivable Soit une direction de décroissance de f Déterminer un intervalle contenant α* 1 Trouver un intervalle [a,b] où la pente change de signe pente a b!

17 II.1 Méthodes de recherches unidimensionnelles (16) 2 Algorithme de Fletcher pente pente A B α max α Conditions de Wolfe-Powell

18 II.1 Méthodes de recherches unidimensionnelles (17) II La fonction f est non dérivable 1. Utiliser des différences finies au lieu des dérivées. 2. Méthode du nombre d or ou des suites de Fibonacci si un intervalle [0, α max ] a été identifié. 3. Interpolation quadratique en 3 points avec recherche de minimum: méthode souvent utilisée (e.g.. MATLAB).

19 II.2 Méthode du Gradient (1) Soit Indique la direction avec le plus grand taux de décroissance de f au point => Algorithme du Gradient:

20 II.2 Méthode du Gradient (2) II.2.1 Méthode de Cauchy ou méthode de la plus grande pente Propriétés : 1 2

21 II.2 Méthode du Gradient (3) II.2.2 Evaluation du Gradient Problèmes possibles: *, mais calcul du f trop complexe * f connu, mais nécessite trop de calculs Si * => différences finies: Si => autres méthodes sans calcul du gradient

22 II.2 Méthode du Gradient (4) II.2.3 Critères d arrêt En théorie si En pratique avant car convergence trop lente Critères :

23 II.2 Méthode du Gradient (5) II.2.4 Convergence Cas d une fonction quadratique

24 II.2 Méthode du Gradient (6) II.2.4 Convergence Cas d une fonction quadratique (suite) Convergence linéaire qui dépend du conditionnement de Q

25 II.2 Méthode du Gradient (7) Exemple 1 Exemple 2 => Convergence en une itération Critère d arrêt : => 15 itérations

26 II.2 Méthode du Gradient (8)

27 II.2 Méthode du Gradient (9)

28 II.2 Méthode du Gradient (10) Exemple 3 => 4 itérations Avec le même critère d arrêt

29 II.2 Méthode du Gradient (11)

30 II.2 Méthode du Gradient (12)

31 II.3 Méthode des directions conjuguées (1) Résout les problèmes quadratiques en n itérations Convergence plus rapide que le gradient Définition : Directions Q-conjuguées Soit Les directions sont Q-conjuguées si et linéairement indépendantes si Q > 0

32 II.3 Méthode des directions conjuguées (2) II.3.1 Algorithme des directions conjuguées Soit Soient n directions conjuguées En effet : Propriétés: converge vers en n itérations

33 II.3 Méthode des directions conjuguées (3) II.3.1 Algorithme des directions conjuguées (suite) Démonstration : n coefficients β i x x 0 = β i d i d k T Q(x x 0 ) = β k d k T Q d k x k = x 0 + α 0 d 0 + α 1 d α k 1 d k 1 x k x 0 = α 0 d α k 1 d k 1 x x 0 = x x k + x k x 0 n 1 i=0 β k = d T k Q(x x 0 ) d T k Q d k d k T Q(x x 0 ) = d k T Q(x x k ) = d k T (Q x k b) = d k T f (x k ) β k = d k T f (x k ) d k T Q d k = α k x n 1 = x

34 II.3 Méthode des directions conjuguées (4) II.3.2 Algorithme du gradient conjugué Soit Principe : Construire les directions conjuguées au fur et à mesure

35 II.3 Méthode des directions conjuguées (5) II.3.2 Algorithme du gradient conjugué (suite) Algorithme: choisir Si => arrêt Propriétés: converge vers en n itérations

36 II.3 Méthode des directions conjuguées (6) Exemple 1

37 II.3 Méthode des directions conjuguées (7) Exemple 1 (suite)

38 II.2 Méthode des directions conjuguées (8) Exemple 2

39 II.3 Méthode des directions conjuguées (9) II.3.3 Gradients conjugués pour les fonctions non quadratiques Le Hessien de f(x) Q => éliminer Q dans l algorithme Par recherche unidirectionnelle A. Formule de Hestenes-Stiefel NB:

40 II.3 Méthode des directions conjuguées (10) II.3.3 Gradients conjugués pour les fonctions non quadratiques B. Formule de Polak-Ribière C. Formule de Fletcher-Reeves

41 II.3 Méthode des directions conjuguées (11) II.3.3 Gradients conjugués pour les fonctions non quadratiques Algorithme de Fletcher-Reeves: choisir Convergence après n itérations => re-initialiser de temps en temps

42 II.4 Méthode de Newton (1) Soit Exemple: => une seule itération!

43 II.4 Méthode de Newton (2)! fonction pas vraiment quadratique => Mauvaise direction : => Introduire optimisation unidirectionnelle Calcul du Hessien très lourd! Propriété locale

44 II.5 Algorithme de Levenberg-Marquardt Combiner Gradient et Newton terme de régularisation tel que Algorithme: soit x 0 ν 0 f (x 0 ) H 0 (x 0 ) 1 H k = H(x k ) +ν k I 2 si H k > / 0 ν k = c 0 ν k 1 3 x k +1 = x k α k H k 1 f (x k ) 4 calculer f (x k +1 ) 5 si f (x k +1 ) f (x k ) ν k = c 1 ν k x k +1 = x k 1 si non ν k +1 = ν k c 2 et k = k +1 1

45 II.6 Méthodes Quasi-Newton (1) est remplacé par une approximation Propriété Condition quasi-newton

46 II.6 Méthodes Quasi-Newton (2) II.6.1 Formule de correction de rang 1 => Formule de correction de rang 2 :

47 II.6 Méthodes Quasi-Newton (3) II.6.2 Formule de correction de rang 2 A. Davidson-Fletcher-Powell (DFP) B. Broyden-Fletcher-Goldfarb-Shanno (BFGS) Propriétés : * si f(x) est quadratique => convergence en n itérations * si f(x) quelconque => Propriété de descente garantie!

48 II.7 Méthodes sans calcul du gradient (1) II.7.1 Méthode univariable alternée 1 Minimisation par rapport à 2 Minimisation par rapport à Méthode simple mais ne converge pas toujours P Convergence ralentie en P

49 II.7 Méthode sans calcul du gradient (2) II.7.2 Méthode du simplexe (Nelder-Mead) Définition : n=2 Forme géométrique avec n+1 sommets dans un espace à n dimensions = simplexe n=3 Simplexe régulier si les Principe de l algorithme : sont équidistants Déplacement constitué de réflexions, expansions et contractions

50 II.7 Méthode sans calcul du gradient (3) A. Réflexion n=2 n=3

51 II.7 Méthode sans calcul du gradient (4) A. Réflexion! Cycles limites possibles *Sélectionner autre *Contraction

52 II.7 Méthode sans calcul du gradient (5) B. Contraction

53 II.7 Méthode sans calcul du gradient (6) C. Expansion

54 II.8 Sommes de carrés Equations non linéaires (1) II.8.1 Moindres carrés non linéaires

55 II.8 Sommes de carrés Equations non linéaires (2) II Méthode de Gauss-Newton Méthode de Newton : Gauss- Newton : Convergence quadratique si et non singulier Problèmes si J(x) singulier ou mal conditionné

56 II.8 Sommes de carrés Equations non linéaires (3) II Algorithme de Levenberg-Marquardt Problèmes II Méthodes quasi-newton

57 II.8 Sommes de carrés Equations non linéaires (4) II.8.2 Résolution d équations non-linéaires Objectif: Méthode de Newton-Raphson : Approximation du premier ordre x k +1 = x k J(x k ) 1 F(x k ) J(x) = ó Gauss-Newton pour minimiser f 1 (x) T 0 f n (x) T Utilisation possible des méthodes de moindres carrés non linéaires! Méthode locale avec J(x) non singulier Autres méthodes par intervalles

58 II.9 Exemple comparatif (1) Fonction de Rosenbrock: Méthode # itérations # évaluations Gradient Simplexe Gauss-Newton Levenberg-Marquardt Quasi-Newton (DFP) Quasi-Newton (BFGS) 68 + arrêt arrêt

59 II.9 Exemple comparatif (2) Méthode du Gradient

60 II.9 Exemple comparatif (3) Méthode du Simplexe

61 II.9 Exemple comparatif (4) Méthode de Gauss-Newton

62 II.9 Exemple comparatif (5) Méthode de Levenberg-Marquardt

63 II.9 Exemple comparatif (6) Méthode Quasi-Newton (DFP)

64 II.9 Exemple comparatif (7) Méthode Quasi-Newton (BFGS)