Methodes d Optimisation Assimilation de données Méthode du gradient conjugué

Transcription

1 Methodes d Optimisation Assimilation de données Méthode du gradient conjugué BIZZARI Romain MUSCAT Laurent VAUBOURG Audrey 3HY MSN 24 Octobre 2014

2 Sommaire Introduction 3 1 Explication de la méthode 4 2 Résultats 7 3 Alternative : Méhode de Quasi-Newton 10 4 Résolution du problème physique 15 5 Comparaison des méthodes 17 Conclusion 19 2

3 Introduction Dans le cadre du cours "Méthodes d optimisation", on a étudié dans un premier temps plusieurs techniques d assimilation de données. Dans les problèmes d optimisation, l objectif principal est de minimiser la fonction coût. Le minimum d une fonction se détermine de plusieurs manières, selon si cette fonction est linéaire ou non. Dans certains cas, le minimum est compliqué à trouvé, il existe alors plusieurs approximations.on a décidé d étudier la méthode du gradient conjugué et de la programmer afin de résoudre un problème physique : la résolution de l équation de Poisson : Φ = f. Cela revient à minimiser la fonction quadratique F (x) = 1 2 xt Ax fx où A est la matrice du Laplacien. 3

4 Chapitre 1. Explication de la méthode Chapitre 1 Explication de la méthode Explication de la méthode La méthode du gradient conjugué permet de trouver le minimum d une fonction quadratique à plusieurs variables. Cette fonction à image réelle admet un unique minimum puisqu il existe un seul point pour lequel les derivées de la fonction selon toutes les directions sont nulles. La fonction quadratique s écrit de la forme suivante : f(x) = 1 2 xt Ax b T x + c (1.0.1) Avec : A matrice symétrique définie positive de taille n*n, b : vecteur de taille n, c : constante Comme on souhaite minimiser cette fonction, on obtient alors un système linéaire à résoudre : f = A.x b = 0. (1.0.2) 4 Bizzari-Muscat-Vaubourg

5 Chapitre 1. Explication de la méthode Cette méthode est une méthode itérative. En effet, après avoir initialisé le premier "minimum", pour chaque itération, une direction sera choisie, et l algorithme cherche le minimum de la fonction dans cette direction. Une fois ce minimum trouvé, il recommence pour l itération suivante en définissant une nouvelle direction. Les itérations se font jusqu à converger vers le minimum de la fonction. La figure suivante illustre cette méthode. Figure 1.1 Illustration de la méthode En pratique : 1. Initialisation avec un x 0 arbitraire 2. Première direction de recherche d 1 = f1 3. Recherche du point suivant x k+1 = x k + α k d k, avec α k = dt k r k d T k Ad k 4. Direction suivante d k+1 = f k+1 + f k+1 2 f k 2 5. Répétition de l étape 3 jusqu à convergence Le nombre d itération est inférieur ou égal à la taille n de la matrice A pour les fonctions quadratiques. Le x pour lequel la fonction est minimum est facilement trouvé, souvent avant n itérations. d k 5 Bizzari-Muscat-Vaubourg

6 Chapitre 1. Explication de la méthode Variantes du gradient conjugué Par ailleurs, pour les problèmes non quadratiques, il existe trois variantes qui sont équivalentes dans le cas quadratique. Nous allons tenter de les modéliser dans notre script et de vérifier qu elles sont équivalentes pour le cas quadratique. Hestenes-Stiefel : γ k = ( f k+1) T ( f k+1 f k ) d k T ( f k+1 f k ) Polak-Rebiere : γ k = ( f k+1) T ( f k+1 f k ) ( f k ) T f k Fletcher-Reeves : γ k = ( f k+1) T ( f k+1 ( f k ) T f k Algorithme Matlab Figure 1.2 Algorithme Matlab 6 Bizzari-Muscat-Vaubourg

7 Chapitre 2. Résultats Chapitre 2 Résultats Après avoir codé nos gradient conjugué, on a décidé de le tester dans un premier temps sur des fonctions simples dont le minimum était connu, afin de vérifier que le code était valide et nous donnait des résultats cohérents. Première fonction de vérification On a trouvé cette première fonction dans le cours de Serge Gratton 1 f(x) = 2x x x 1 x 2 + x 1 x 2 (2.0.1) On a alors tracé la fonction pour se faire une idée de son allure puis on a tracé ses contours ainsi que les points corrrespondant aux différentes itérations avant l obtention du minimum. Son minimum est atteint en (-1, 3 2 ). Visualisation de la fonction 2 Contour de la fonction Fonction Z 10 5 X X X X1 Figure 2.1 Fonction de vérification simple 1. Engineering Optimization, Concepts and Applications Serge Gratton 7 Bizzari-Muscat-Vaubourg

8 Chapitre 2. Résultats Deuxième fonction : fonction banana On a ensuite travaillé sur la fonction banana (fonction de Rosenbrock), qui est souvent utilisée comme test pour des problèmes d optimisation. f(x) = (1 x 2 ) (y x 2 ) 2 (2.0.2) Pour cette fonction, le minimum local est obtenu au point (1,1) pour lequel la fonction vaut 0. Figure 2.2 Fonction banana A-travers ces deux exemples simples, on a pu vérifier la cohérence des résultats fournis par nos codes, on a alors décidé de les améliorer en utilisant d autres alternatives que l on va présenter dans les parties suivantes, et de le tester pour notre problème physique (résolution de l équation de Poisson φ = f). 8 Bizzari-Muscat-Vaubourg

9 Chapitre 2. Résultats Equation de Poisson Pour notre problème physique, qui est l équation de Poisson, on a résolu cette équation grâce au gradient conjugué, en minimisant la fonction quadratique associée au système linéaire φ = f. On a encore une fois tracé la surface de la fonction pour se faire une idée de son allure, et les contours ainsi que les différents points correspondants aux itérations nécessaires pour atteindre le minimum de la fonction quadratique, qui est alors la solution de notre système. Ainsi, on constate que le minimum est atteint en (2,2), donc la solution de notre équation de Poisson est (2,2). Figure 2.3 Equation de Poisson 9 Bizzari-Muscat-Vaubourg

10 Chapitre 3. Alternative : Méhode de Quasi-Newton Chapitre 3 Alternative : Méhode de Quasi-Newton Après les solutions obtenues avec la méthode du gradient conjugué qui nous a fait remarquer le nombre trop important d itérations pour atteindre la valeur du minimun de la fonction de rosenbourg(fonction banana), nous nous sommes interessés à d autre méthode pour l obtention de son minimun. On s est alors interéssés à la méthode de Newton, qui consiste à prendre pour direction de descente le gradient de la fonction ainsi qu un paramètre β en utilisant la hessienne de la fonction, mais étant donné que souvent dans la pratique la hessienne est très difficile à évaluer dans le cas où la fonction n est pas analytique, on s est tourné vers une méthode de Quasi newton. On souhaite donc ne plus calculer exctement la hessienne mais simplement en évaluer une approximation. Il existe bon nombre de méthodes, nous avons utilisé la méthode BFGS pour Broyden-Fletcher- Godfarb-Shanno. Dans ce qui suit on note s k = x k+1 x k et y k = f k+1 f k et on choisit une matrice B 0 que l on prend égal à l identité. Dans l approche BFGS la hessienne est donné par : B k+1 = B k + y T ky k B ks k s T k B k (3.0.1) y kt s k s kt B k s k Une chose à remarquer est l importance du premier pas alpha, en effet pour un pas très faible, la méthode de quasi-newton a besoin de plus d itération pour atteindre le minimun de la fonction de rosenbourg. En effet pour un α = 10 3 on a 4223 itérations pour la méthode de quasi-newton et 3561 dans le cas la méthode de la plus grande descente. 10 Bizzari-Muscat-Vaubourg

11 Chapitre 3. Alternative : Méhode de Quasi-Newton Figure 3.1 Méthode de la Descente Figure 3.2 Méthode de Quasi-Newton 11 Bizzari-Muscat-Vaubourg

12 Chapitre 3. Alternative : Méhode de Quasi-Newton Par contre pour un α plus grand (par exemple 0.05) la méthode de qasi-newton est plus intéressante, en effet on a juste besoin de 261 itérations. Figure 3.3 Méthode de Quasi-Newton avec α = 0.05 pas. On notera que pour cette valeur de α que la méthode de la descente ne converge Figure 3.4 Méthode de Descente avec α = Bizzari-Muscat-Vaubourg

13 Chapitre 3. Alternative : Méhode de Quasi-Newton On notera donc que le choix de α est crucial, en effet dans la méthode de la plus grande descente, plus le α est important plus le nombre d itération diminue jusqu à un point où l algo ne converge plus. Dans le cas de la méthode de quasi-newton, on a le même problème pour α > 1. Néanmoins on s est intéressé à une méthode linéaire permettant d avoir à chaque itération le α k optimal et les résultats montrent bien que le nombre d itérations diminue grâce à l implantation de ce nouvel algorithme. Là encore la méthode de quasi-newon est plus interessante. En effet comme on cherche à minimiser la fonction f, il semble naturel de chercher à minimiser le critère le long de d k et donc de déterminer un pas α k qui verifie les deux objectifs : faire décroire f suffisament et empécher le pas d être trop petit. Ce qui se traduit par les règles de Wolf. L algo est nommé Fletcher-Lemaréchal et est basé sur les conditions de Wolf : f(x k + α k d k ) f(x k ) + ω 1 α k gk T d k ( Condition 1 ) ( f(x k + α k d k )) T d k ω 2 gk T d k ( Condition 2 ) Avec 0 < ω 1 < ω 2 < 1. On obtient que l algorithme, avec quasi-newton, converge pour 195 itérations avec α = Figure 3.5 Méthode de Quasi-Newton + Fletcher-Lemaréchal 13 Bizzari-Muscat-Vaubourg

14 Chapitre 3. Alternative : Méhode de Quasi-Newton Ce qu on peut néanmoins remarquer c est l importance de la première itération du pas α. En effet, si l on ne prend pas la valeur adéquate, la méthode de quasinewton est moins performante que la méthode de la plus grande descente. L algorithme de Fletcher-Lemaréchal permet d obtenir, en suivant les régles de Wolf, un α k optimal pour chaque itération, mais là encore l importance de la première itération est primordiale. Il est donc nécessaire de faire plusieurs tests pour voir quelle valeur du premier pas fait converger la solution avec un nombre minimum d itération. Algorithme de Fletcher-Lemaréchal Figure 3.6 Algorithme de Fletcher-Lemaréchal 14 Bizzari-Muscat-Vaubourg

15 Chapitre 4. Résolution du problème physique Chapitre 4 Résolution du problème physique Dans cette partie, on va s intéresser au problème physique, on se propose d étudier la diffusion de température en 2D. Pour cela nous allons faire un maillage Nx*Nx et le résoudre grace aux volumes finis. Pour cela il faut résoudre : d 2 T dx + d2 T 2 dy = 0 2 Ce qui nous donne : T (i, j + 1) 2T (i, j) + T (i, j 1) dx 2 + T (i + 1, j) 2T (i, j) + T (i 1, j)) dy 2 = 0 Puis grace aux conditions limites de type Dirichlet, on parvient a mettre cette équation sous la forme : Avec : A matrice de poisson Ax = B (4.0.1) X vecteur des inconnues en chaque point de discrétisation (ici : température) B contenant les conditions limites Ainsi, la résolution de cette équation revient à minimiser la fonction quadratique F (x) = 1 2 xt Ax Bx. En effet, comme on l a expliqué précedemment, la minimisation de cette équation revient à calculer le point où le gradient de F s annule, c est-à-dire F = 0, ce qui revient à trouver x tel que Ax B = 0. Pour résoudre cette équation plusieurs méthodes existent : Jacobi, Gauss-seidel, gradient conjugué, gradient conjugé precondtionné Bizzari-Muscat-Vaubourg

16 Chapitre 4. Résolution du problème physique On a dans un premier temps étudié comment résoudre cette equation avec la méthode de Gauss-seidel, puis avec la methode du gradient conjugé sur un maillage regulier (dx=dy). Il en revient l equation : 4T (i, j) = T (i, j + 1) + T (i, j 1) + T (i + 1, j) + T (i 1, j)) Il suffit d imposer les conditions limites souhaitées et de faire une boucle sur le calcul de la température. Résultats : Figure 4.1 Diffusion maillage 64*64 16 Bizzari-Muscat-Vaubourg

17 Chapitre 5. Comparaison des méthodes Chapitre 5 Comparaison des méthodes Comme on l a expliqué précedemment, on a chacun codé un gradient conjugué, et on a également codé les alternatives : Hestenes-Stiefel (HS), Polak-Rebiere (PR) et Fletcher-Reeves (FR). Afin de les comparer,on a résolu l équation de Poisson ( φ = f, qui est la minimisation d une fonction quadratique simple, et on a décidé de s intéresser au nombre d itérations nécessaires pour trouver la solution, pour différents nombres d inconnues, ainsi que le temps de résolution pour chacune des méthodes. Les résultats sont présentés sur les figures suivantes. Nombre d itérations 10 4 Itérations en fonction du nombre d"inconnues 10 3 itérations Gradient Laurent FR HS PR Gradient Audrey Gradient Romain nombre d "inconnues Figure 5.1 Comparaison du nombre d itérations Comme on peut le constater sur la figure 5.1, le nombre d itérations est le même pour nos trois gradients codés ainsi que pour l algorithme de Polak-Riebere. Le plus rapide à converger (en terme d itérations) et l alternative de Hestenes-Stiefel, qui utilise une interpolation de la Hessienne sans réellement la calculer. 17 Bizzari-Muscat-Vaubourg

18 Chapitre 5. Comparaison des méthodes Temps de résolution 30 Temps en fonction du nombre d"inconnues 25 Gradient Laurent FR HS PR Gradient Audrey Gradient Romain 20 temps nombre d "inconnues Figure 5.2 Comparaison du temps On constate que l algorithme de Polak-Riebere est encore une fois le plus rapide (environ 2s pour inconnues) tandis que le gradient conjugué codé par Romain est le plus long. Ce qui montre que le fait de coder différement peut changer énormément le temps de résolution, ainsi que le choix des coefficients. 18 Bizzari-Muscat-Vaubourg

19 Conclusion Au travers de ce deuxième bureau d étude sur les méthodes d optimisation, on a codé un gradient conjugué ainsi que différentes alternatives. Cela nous a permis de mieux comprendre le gradient conjugué, et de mieux voir les différences entre les méthodes. Celui-ci permet de minimiser une solution, mais aussi de trouver les zéros d une équation linéaire, ce que l on a utilisé dans ce projet. On a ainsi constaté que le choix des coefficients est important grâce aux comparaisons entre les différentes possibilités pour γ k pour la méthode du gradient conjugué. Mais aussi grâce à la méthode de quasi-newton, qui prouve que le choix de α est crucial, et à la méthode de la plus grande descente, pour laquelle si le α choisi est trop grand, l algorithme ne converge plus. Par ailleurs, on a également pu constater que la manière de coder peut changer beaucoup sur le temps de résolution. Le nombre d itérations est à peu près le même, mais le temps de calcul peut augmenter énormément si le code est écrit différement. La méthode du gradient conjugé est plus compliquée à coder mais converge beaucoup plus vite, elle est donc une meilleur méthode pour la CFD, cependant d autres methodes encore plus rapides existent. 19