Équations non linéaires

CHAPTER 1 Équations non linéaires On considère une partie U R d et une fonction f : U R d. On cherche à résoudre { x U 1..1) f x) = R d On distinguera les cas d = 1 et d > 1. 1.1. Dichotomie d = 1) 1.1.1. Description. Dans ce cas la partie U est un intervalle [a, b]. Soit f : [a, b] R une fonction continue telle que f a) f b) < Alors en vertu du théorème des valeurs intermédiaire, il existe x [a, b] tel que f x ) =. Soit c = a+b, alors si f c) =, c est solution, sinon f a) f c) < ou bien f c) f b) < dans le premier cas, on pose b = c dans le deuxième cas, on pose a = c. Dans les deux cas on obtient à nouveau f a) f b) <. On peut alors réitérer le processus, jusqu'à ce que l'une des conditions suivantes soit réalisée : 1) b a < ɛ ) f c) < δ La deuxième est plus pertinente pourquoi?). En numérotant les valeurs successives de a, b et c, on dénit trois suites a n ), b n ) et c n ) Si l'un des deux tests d'arret 1) ou )est satisfait, on estime que l'on a convergé vers une solution approchée de l'équation f x) =. a b a b a b 1.1.. Algorithme. L'algorithme s'écrit il s'agit ici un code scilab): Algorithm 1. [k,x,e]=dichotomief,a,b,ɛ,k) //Résolution de f z) = par dichotomie. //on doit avoir f a) f b) < //entrée a < b intervalle initial // ɛ pour le test d'arret f c) < ɛ // K pour limiter le nombre d'itérations. //Sortie : k, nombre d'itérations // X=c i, i k), les itérés // E= f c i ), i k) if fa)*fb)> then return end c=a+b)*.5;fc=fc); 1

1.. POINT FIXE d = 1) X=c;E=absfc); k=1; while absfc)>eps & k<k do k=k+1; if fa)*fc< then b=c; else a=c; end c=a+b)*.5;fc=fc); E=[E,absfc)];X=[X,c]; end return k,x,e; endfunction ATTENTION : on ne teste jamais l'égalité d'un réel en virgule ottante x à zéro car à cause des erreurs d'arrondi, x = n'advient quasiment jamais. 1.1.3. Convergence. Theorem. Soient [a, b ], [a 1, b 1 ],..., [a n, b n ],... les intervalles engendrés par l'algorithme de dichotomie, alors les suites a n et b n sont adjacente et leur limite commune est un zéro de f. De plus, en posant x = lim n c n avec c n = an+bn, alors x n+1) b a Proof. Par construction la suite a n ) n est croissante et b n ) n est décroissante. De plus pour tout n entier, a n < b n et b n a n = 1 b n 1 a n 1 ) = n 1 b a ) donc a n ) n et b n ) n sont adjacentes donc convergent vers la meme limite x = lim n a n = lim n b n Comme f a n ) f b n ) < et f continue, en passant à la limite, on obtient : f x )) donc f x ) =, x est bien un zéro de f. Enn, l'inégalité a n < x < b n à laquelle on retranche c n donne an bn < x c n < bn an d'où x c n < b n a n = n+1) b a Example. Si [a, b] = [, 1], pour obtenir une précision x c n < 1 6, il sut de 19 itérations, quelle que soit la fonction f. 1.. Point xe d = 1) L'équation f x) = est supposée mise sous la forme F x) = x, ce qui peut se faire en posant F x) = f x) + x mais aussi de plusieurs manières. f x) = F x) = x Par exemple, x + x = peut s'écrire x + x = x, mais aussi + x = x ou encore x = x. Toutes ces équations sont de la forme F x) = x

1.. POINT FIXE d = 1) 3 Definition 3. On dit que x est un point xe de F si et seulement si F x) = x 1..1. Description. la méthode de point xe pour résoudre f x) = consiste à considérer la suite { x R x n+1 = F x n ) qui, sous certaines conditions que l'on examine plus loin, converge vers la solution de x de l'équation??). 1... Algorithme. L'algorithme s'écrit code scilab): function [k,x,e]=pointfixef,x,eps,k) //resolution de fx)= avec l'algo x <-- fx)+x x=x;k=1;x=x;fx=fx);e=absfx); while absfx)>eps & k<k do x=fx)+x X=[X,x] fx=fx); E=[E,absfx)] k=k+1 end return k,x,e endfunction 1..3. Existence d'un point xe, convergence de la suite x n+1 = F x n ). Un théorème très simple donnant l'existence d'un point xe, pour une fonction qui n'est pas forcément dérivable. Theorem 4. Soit I un intervalle fermé, borné de R et F : I R vériant 1) F I) I ) F continue sur I alors F admet un point xe x I Proof. Pour la fonction g x) = F x) x, la condition F I) I implique g b) g a) et, g étant continue, on peut appliquer le théorème des valeurs intermédiaires qui permet de conclure. Theorem 5. Soit I un intervalle fermé, borné, non vide de R et F : I R vériant 1) F I) I ) F croissante sur I alors F admet un point xe x I Proof. Posons I = [a, b] et E = {x I, f x) x}. L'ensemble est non vide contient a) borné par b il admet donc une borne supérieure α = sup E qui vérie f α) α exercice : pourquoi? 1 ). Deux cas se présentent : 1) α = b alors on a f b) b et f b) [a, b] donc f b) = b ) α < b et dans ce cas, considérons une suite x n ]α, b], qui converge en décroissant vers α. Alors en utilisant successivement α = sup E, puis f croissante, puis x n / E on obtient α f α) < f x n ) < x n et en passant à la limite sur n la suite f x n ) est décroissante bornée inférieurement, donc elle converge) on obtient le résultat. En prime, le théorème des gendarmes montre que f est semicontinue supérieurement en α. 1 Supposons que f α) < α alors pour ɛ = 1 α f α)) >, donc par dénition de α = sup E, on peut trouver x dans E tel que α x < ɛ donc α x) < α f α) comme f est croissante et x E, on en déduit : α x) < α f x) α x ce qui est impossible.

1.. POINT FIXE d = 1) 4 Example 6. F x) = 1 x, I = [ a, 1 a ], < a < 1, ou bien F x) = x si x 1 3 1 3 si 1 3 x 3 x 1 si 3 x 1 sur [, 1] Lorsque la fonction n'est pas monotone, an d'étudier la convergence de la méthode du point xe, donnons cette dénition : Definition 7. Soit U R une partie non vide et F : U R une application. L'application F est dite contractante sur U si et seulement si il existe un réel λ [, 1[ tel que pour tout x, y U : F x) F y) λ x y Theorem 8. Une application λ-contractante sur une partie non vide U R est uniformément continue sur U η Proof. Pour ɛ > donné, on pose η = ɛ, et on a : λ x y < η = F y) F x) < λ y x < λ η λ = Example 9. F x) = 3 x est contractante sur R car F R) R et x, y R F y) F x) = 1 y x 1 y x Cette inégalité signie que F contracte les longueurs : la distance de F x) à F y) est plus petite que la distance de x à y. Pratiquement, une fonction contractante sur I vérie : son graphe est inclus dans le carré I I et elle contracte les longueurs. Exercise 1. Donner des exemples de fonctions contractantes sur [, 1]. Trouver une fonction contractante qui admet un point xe. Proposition 11. Soit I = [a, b] et soit F une application de classe C 1 sur I Alors F est contractante sur I. sup F < 1 I Proof. Il sut d'appliquer l'inégalité des accroissements nis à F sur l'intervalle [x, y]. Donnons maintenant une condition susante pour que F I) I, qui est une inclusion pas toujours simple à démontrer. Proposition 1. Soit I = [a, b], soit F une application de classe C 1 sur I admettant un point xe x I, et vériant F x ) < 1. Alors on peut trouver un intervalle I δ = [x δ, x + δ] tel que F I δ ) I δ et F est contractante sur I δ. Proof. Comme F est de classe C 1, et F x ) < 1, on peut trouver δ > tel que sup Iδ F < 1 avec I δ = [x δ, x + δ]. Maintenant, on observe que pour x I δ on a : F x) x = F x) F x ) F ξ) x x sup F x x I δ < x x δ ce qui prouve que F I δ ) I δ et que F est contractante sur I δ. Si ça n'était pas le cas, pour n > entier, δ = 1 n on pourrait trouver xn tel que xn x < δ et F x n) 1, en passant à la limite sur n, par continuité de F on aurait alors F x ) 1 ce qui est impossible.

1.. POINT FIXE d = 1) 5 Figure 1..1. Méthode de point xe, diérents cas de gure Le théorème suivant donne des conditions susantes pour que F admette un point xe x et pour que la suite x n converge vers x. Theorem 13. Soit I un intervalle fermé de R et F une application contractante sur I vériant F I) I alors 1) F admet un unique point xe x I et ) pour tout x I, la suite x n+1 = F x n ) converge vers x. Proof. On décompose la démonstration en plusieurs étapes : 1) Majoration de x n+1 x n x n+1 x n = F x n ) F x n 1 ) λ x n x n 1... λ n x 1 x ) La suite x n ) est convergente si et seulement si la suite s n = k n x k+1 x k ) est convergente car s n = x n+1 x. Or une condition susante pour que la suite s n soit convergente est qu'elle soit absolument convergente, ce qui advient si la série σ n = k n x k+1 x k est bornée. Montrons qu'il en est ainsi : σ n = x k+1 x k k n k n λ k x 1 x = 1 λn+1 1 λ x 1 x x 1 x 1 λ donc la suite x n converge 3) Sa limite x = lim n x n vérie, puisque F est continue : x = lim n+1 = lim n) n n ) = F lim n n donc F x ) = x qui est bien un point xe de F

1.. POINT FIXE d = 1) 6 Figure 1... F x) = 1 6 x 3 + x + ) sur I = [, 1] 4) Le point xe est unique, car s'il y en a deux x et y, alors x y = F x) F y) λ x y avec λ < 1. Corollary 14. Si F admet un point xe x, si F est de classe C 1 au voisinage de x, si F x ) < 1, alors il existe un voisinage V de x tel que pour tout x V, la suite x n+1 = F x n ) converge vers x. Proof. En appliquant la proposition 1), on peut trouver un intervalle I δ = ]x δ, x + δ[ tel que F I δ ) I δ et F est contractante sur I δ. On peut alors appliquer le téorème précédent 13) Example. Soit F x) = 1 6 x 3 + x + ) et I = [, 1] 1) Etude de F et F sur I : F x) = 1 6 3x + 1 ) x 1 et F x) = x F 1 x) 6 + 3 1 F x) 3 3 ) comme conséquence du tableau de variation on a F I) I, et F est contractante dans I car sup I F = 3 < 1. 3) F admet donc un point xe x = lim n x n avec x I et x n+1 = F x n ). On ne sait pas résoudre analytiquement l'équation F x) = x mais on peut calculer de manière approchée x comme limite de la suite x n ) n. On trouve x.414136 4) 1..4. Ordre de convergence, vitesse de convergence. Definition 15. soit u n ) une suite réelle convergent vers u telle que n N, u n u. Si l'erreur e n = u u n vérie e n+1 = O e α n) au voisinage de n =, on dit que la méthode est d'ordre de convergence au moins) α. Si α = 1 la convergence est dite linéaire, e Si lim n+1 n e n = la convergence est dite super-linéaire, Si α = la convergence est dite quadratique, e Si lim n+1 n e = la convergence est dite super-quadratique, n puis cubique,...

1.. POINT FIXE d = 1) 7 Figure 1..3. F x) = x x + sur [ 1, ] 3 e Si de plus α = 1 et lim n+1 n e n = 1 v, v est parfois appelé la vitesse de convergence. Dans ce cas, comme la suite converge, la valeur absolue de l'erreur diminue. On a donc nécessairement v > 1. Example 16. u n = 1 + 1 n converge vers 1 linéairement car un+1 u n = Voici une suite qui converge quadratiquement cf méthode de Newton) : n n+1) est borné. Example 17. x = 3, x n+1 = x n x n + 1) si elle converge, a pour limite x = 1 ou x = ) La fonction F x) = x x + est presque contractante sur [ 1, ] 3. Elle est contractante sur tout intervalle fermé, non vide [1 α, 1 + α] ] 1, [ 3. Comme x1 = 5 4 I = [ 3 4, ] 4] 5 1, [ 3, on peut considérér la suite x n ) n 1 et appliquer le théorème du point xe sur I sur lequel F est contractante. 3) Le seul point xe de l'intervalle I est x = 1 donc la suite x n converge vers 1 et l'erreur vérie : la convergence est donc quadratique. e n+1 = x n+1 1 = x n 1) = e n Proposition 18. Si F est susament régulière, et si la suite x n+1 = F x n ) converge vers x, alors son ordre de convergence est q, le plus petit entier tel que F q) x ) Proof. On note e n = x n x l'erreur et on fait un développement limité de F x n ) au voisinage de x : il existe ξ n entre x n et x tel que ce qui démontre le résultat. e n+1 = x n+1 x = F x n ) F x ) = F x + e n ) F x ) = e n F x ) + e F x ) n + + e q F q) x ) n q! + e q+1 F q+1) ξ n ) n q + 1)!

1.3. NEWTON ET SÉCANTE d = 1) 8 1.3. Newton et sécante d = 1) 1.3.1. Description. La méthode de Newton pour résoudre les équations non linéaires est très ecace. Elle est un cas particulier de la méthode de point xe, lorsque la fonction est de classe C. On considère l'équation f x) = et on suppose donc f de classe C au voisinage de la solution x. Si l'on dispose d'une approximation x n pas trop éloignée de x, alors on peut écrire en posant x = x n + h h est l'erreur) et en utilisant la formule de Taylor : 1.3.1) = f x ) = f x n ) + hf x n ) + O h ) f x n ) + hf x n ) Ce faisant, on a linéarisé le problème au voisinage de x n, c'est à dire que l'on a remplacé la fonction h f x n + h) par sa partie linéaire : h f x n ) + hf x n ). On a donc approximativement h fxn), à condition que f x f n) x n ). On peut donc corriger l'approximation courante en écrivant x x n+1 = x n f x n) f x n ) On réitère le processus, et on obtient la méthode de Newton. Exercise 19. Super-Newton : une méthode d'ordre 3. Soit f x) = x 3 9. On s'intéresse à la solution x = 3 de l'équation f x) = 1) Ecrire la méthode de Newton pour la fonction f et calculer x 3 à partir de x =. ) Un itéré x R étant donné, on pose x = x + h. Écrire la formule de Taylor 1.3.1 à l'ordre pour = f x ) = f x + h). Calculer une approximation de h en résolvant l'équation du second degré obtenue. Proposer une méthode que l'on dira de super-newton pour calculer x, à partir d'un x donné. 3) Quel est l'ordre de cette méthode? a) La formule de Taylor à l'ordre 3 au voisinage de x n s'écrit f x ) = f x n + h) d'où l'approximation de h : = f x n ) + f x n ) h + f x n ) h + O h 3) f x n ) + f x n ) h + f x n ) h h f x n ) ± f x n )) f x n ) f x n ) f x n ) et la méthode de super-newton s'écrit : x n+1 = x n + f x n ) ± f x n )) f x n ) f x n ) f x n ) Appliqué à f, cela donne : x n+1 = x n ± 36xn 3x 4 n 6x n 4) Appliquer la méthode précédente à f et calculer x 3, à partir de x =. Comparer avec la méthode de Newton.

1.3. NEWTON ET SÉCANTE d = 1) 9 Figure 1.3.1. Algorithmes de super-newton, Newton et de la sécante ou Quasi-Newton) a) Super-Newton b) Newton c) quasi-newton sécante) a) Résultat d'execution sous scilab avec f x) = x 3 R, R = 3, et x = 4. Les erreurs e n = 3 x n A noter, super Newton donne des résultats complexes). Newton.6 1.3.51.1.93 Super-Newton.6 1..17.8 8.1E-11 Si l'on ne dispose pas de la dérivée ou si celle-ci coûte trop cher à calculer 3, on peut l'approcher par f x n ) f x n) f x n 1 ) x n x n 1 3 Par exemple, le calcul de la fonction f peut être le résultat d'un programme de simulation numérique complexe, auquel cas la dérivée risque fort de ne pas être disponible. Il existe des logiciels de diérentiation automatique, qui parcourent un tel code de calcul et sont capables de générer les lignes de code nécessaires au calcul de la dérivée, mais ces logiciels sont diciles à mettre au point, et ne sont pas toujours très ecaces.

1.3. NEWTON ET SÉCANTE d = 1) 1 on obtient alors la méthode de la sécante, qui est une méthode de quasi-newton. x n x n 1 ) x n+1 = x n f x n ) f x n ) f x n 1 ) On notera que pour démarrer les itérations dans cette méthode, il est nécessaire de disposer de deux itérés initiaux, x et x 1 et chaque itération nécessite la connaissance des deux itérés précédents. 1.3.. Algorithmes codes scilab). Algorithm. [k,x,e]=newtonf,df,x,ɛ,k) #Méthode de Newton pour la résolution de fx)= #Entree : f, df la fonction et sa dérivée. # x R approximation initiale # ɛ > le test d'arret est f x) < ɛ # K nombre max d'iterations #Sortie : k nombre d'iterations, # X R k, la suite des itérés x n # E R k, la suite des f x n ) x=x ;k=1;fx=fx);dfx=dfx); X=x ;E=absfx); while absfx)>eps & k<k do x=x-fx/dfx; fx=fx); dfx=dfx); X=[X,x]; E=[E,absfx)] k=k+1; end return k,x,e; endfunction Algorithm 1. [k,x,e]=secantef,x,x 1,ɛ,K) k=1; x=x ;x1=x 1 ; fx=fx);fx1=fx1); X=x, x 1 ;E=absfx),absfx1); c=fx1*x-x1)/fx-fx1); while absfx1)>eps & k<k do x=x1;x1=x1-c; fx=fx1;fx1=fx1); c=fx1*x-x1)/fx-fx1); X=[X,x1]; E=[E,absfx1)] k=k+1; end return k,x,e; endfunction 1.3.3. Convergence. Theorem. Supposons f de classe C au voisinage de x et x zéro simple de f i.e. f x ) ). Alors il existe un voisinage V de x et une constante réelle C tels que si x V, la méthode de Newton converge avec un ordre de convergence quadratique pour n : x n+1 x C x n x

1.3. NEWTON ET SÉCANTE d = 1) 11 Proof. posons e n = x x n, c'est l'erreur. Alors e n+1 = x x n+1 = x x n + f x n) f x n ) = e n + f x n) f x n ) On utilise la formule de Taylor-Young : il existe θ ], 1[ tel que = f x ) = f x n + e n ) = f x n ) + e n f x n ) + e n f x n + θe n ) d'où fxn) f x = e n) n e f x n+θe n) n f x n) puis e n+1 = e n f x n + θe n ) f x n ) et si x est assez proche de x au sens x x + D r, r bien choisi, on peut montrer que x 1 x + D r, et f x n+θe n) C où C est une constante qui ne dépend pas de n. Le théorème est alors démontré. f x n) Proof. Voici une autre démonstration de ce résultat, s'appuyant sur le théorème de point xe 13. En posant F x) = x fx) f x), la méthode de Newton apparaît comme une méthode de point xe x n+1 = F x n ). La limite, si elle existe, vérie x = x fx) f x), c'est à dire f x) = puisque f x) est non nul. Il s'agit donc bien de x. On calcule alors F x ) = < 1 ce qui permet d'appliquer la proposition 14 armant l'existence d'un δ > tel que la suite x n ) converge vers x. Comme F x ) =, la proposition 18 nous permet de conclure que l'ordre de convergence est au moins quadratique. Theorem 3. Supposons f de classe C au voisinage de x et x zéro simple de f. Alors il existe un voisinage V de x tel que, pour tout couple x, x 1 x appartenant à V, la suite de la sécante converge vers x, avec un ordre de convergence α = 1+ 5 1.618 au moins Proof. posons e n = x n x Example. L'algorithme de la division sur un ordinateur : on calcule d'abord l'inverse du dénominateur, a >, en appliquant l'algorithme de Newton à la fonction à f x) = a 1 x ce qui donne x n+1 = x n ax n ) qui converge vers 1 a. Le calcul des termes de la suite ne fait intervenir que des soustractions et multiplications. L'erreur relative à l'itération n + 1 est 1 a xn+1 1 = 1 ax n+1 = 1 ax n ). On voit donc qu'il y a a convergence à condition que 1 ax < 1 c'est à dire x ], a[. Example. Pour calculer la racine rème d'un réel a >, on peut appliquer l'algorithme de Newton à la fonction f x) = x r a. les itérés sont x n+1 = F r x n ) avec F r x) = 1 r 1) x + a ) r x r 1 Pour r = la suite x n ) converge vers la racine carrée de a. L'algorithme se simplie en x n+1 = 1 x n + a ) 1.3.) x n

1.4. POINT FIXE d ) 1 Soir r n = xn a a l'erreur relative à l'étape n. On a donc On en déduit, avec 1.3.), que Donc x n+1 = a 1 + r n+1 ) = a x n = a 1 + r n ) ) a a 1 + rn ) x n+1 = 1 a 1 + rn ) + ) a a = 1 + r n + 1 + r n 1 + r n + ) a 1+r n d'où nalement r n+1 = 1. r n 1 + r n On voit donc que si r n est petit devant 1, alors r n+1 r n Par contre, lorsque x n est grand, x n+1 xn, la convergence est clairement linéaire. Exercise 4. En TP, 1) tester un algorithme analogue pour calculer l'inverse d'une matricea R n,n donnée. ) Tester un algorithme pour calculer la racine carrée d'une matrice. 1.4. Point xe d ) On se donne une fonction g C R d, R d)4 et on cherche x R d solution de { x R 1.4.1) d g x) = d Soit f C R d, R d), dénie par f x) = x + g x). On remarque que x est solution de 1.4.1) si et seulement si x est un point xe de f, c'est à dire f x) = x. Theorem 5. Soit E un espace métrique complet, d la distance sur E et f : E E une fonction strictement contractante, c'est à dire : k ], 1[ tel que pour tout x, y E Alors f admet un unique point xe, x E. De plus la suite dénie par converge vers x d f x), f y)) kd x, y) { x ) E x n+1) = f x n ) Proof. La démonstration est analogue à celle du théorème 13) : Étape 1 : existence de x et convergence de x n)). On va montrer que x n)) est de Cauchy, n N puis x n)) converge vers un point xe de f. Pour tout n N, on a d x n+1), x n)) = d f x n)), f x n 1))) k.d x n), x n 1)) 4 La fonction est appelée g plutôt que f car elle est appelée à être le gradient d'une fonction f : R d R au chapitre suivant

1.4. POINT FIXE d ) 13 Par récurrence, on obtient : d x n+1), x n)) k n d x 1), x )), n. Soient maintenant n et p 1. On a donc d x n+p), x n)) d x n+p), x n+p 1)) + d x n+p 1), x n+p )) + + d x n+1), x n)) k n d x 1), x )) k n+p 1 + k n+p + 1 ) = k n d x 1), x )) 1 k n+p 1 k d x 1), x )) k n 1 k cette dernière quantité tend vers lorsque n tend vers l'inni ce qui prouve que la suite x n)) est n de Cauchy : ε >, n ε N, n n ε, p 1, d x n+p), x n)) < ε Comme E est complet, elle converge donc vers un point x R n. Le point x est point xe de f car : f étant contractante, elle est continue sur E. Dans la relation x n+1) = f x n)) on passe à la limite sur n et on obtient x = f x). Étape : unicité de x. Soient x y deux points xes distincts. Comme f est strictement contractante, on peut écrire : ce qui est impossible. d x, y) = d f x), f y)) kd x, y) < d x, y) Remark 6. 1) Sous les hypothèses du théorème 13), on peut écrire d x n+1), x ) kd x n+1), x ) donc si x n) x, la relation dxn+1),x) dx n+1),x) k < 1 exprime la convergence au moins) linéaire de x n)) vers x. On verra plus loin une méthode de point xe méthode de Newton) qui converge quadratiquement. ) On peut remplacer l'hypothèse f strictement contractante par : il existe n > tel que f n = f f f soit strictement contractante. 3) Que faire si f n'est pas contractante? On peut dénir f ω x) = x + ωg x), on remarque que x est solution de 1.4.1) si et seulement si x est un point xe de f ω. On cherche alors des conditions sur ω pour que f ω soit strictement contractante. Theorem 7. point xe avec relaxation) On désigne par. la norme euclidienne de R N. C R N, R ) N une fonction vériant : α > tel que x, y R N, g y) g x)). y x) α y x M > tel que x, y R N, g y) g x) M y x Alors la fonction f ω est strictement contractante sur R N pourvu que < ω < α M. Elle admet donc un unique point xe, x, limite de la suite x ) R N, x n+1) = f x n)) Soit g Proof. Montrons que l'hypothèse < ω < α M entraîne que f ω est strictement contractante. Pour tout x, y R n, en tenant compte des hypothèses 7) et 7) on a : f ω y) f ω x) = y x + ω g y) g x))). y x + ω g y) g x))) = y x + ω y x). g y) g x)) + ω g y) g x) y x 1 ωα + ω M ) Donc f ω est strictement contractante à condition que p ω) = 1 ωα + ω M ], 1[. L'étude de la fonction p montre que pour < ω < α M on a < p ω) < 1 Remark 8.

1.4. POINT FIXE d ) 14 1) Le théorème précédent montre que sous les hypothèses 7) et 7) et pour < ω < α M, on peut obtenir la solution de 1.4.1) comme limite de la suite { x ) R N x n+1) = x n) + ωg x n ) qui peut également s'écrire : x ) R N x n+ ) ) 1 = f x n) x n+1) = ωx n+ ) 1 + 1 ω) x n ce procédé est appelé algorithme de relaxation. Quelques rappels de calcul diérentiel. Soit h C R N, R ). La fonction h est diérentiable sur R N : x R N, il existe une application linéaire Dh x) h x) L R N, R ) R 1,N telle que : h x + y) = h x) + h x) y) + y ε y) avec lim y ε y) =. Dans ce cas, par dénition du gradient de f en y, on a h x) y) = h x).y où h x) = 1 h x), h x),..., N h x)) t R N et i h x) = h x i x) est la dérivée partielle de h par rapport à la i-ème coordonnée. Comme h C R N, R ), on a h C 1 R N, L R N)) C 1 R N, R N ) et h x) est une application linéaire de R N dans R N qui vérie : h x + y) = h x) + h x) y) + y ε y) où lim y ε y) = Comme h x) est une application linéaire de L R N, R N ), on la confond avec la matrice qui la représente dans la base canonique, appelée matrice hesienne. On écrit alors par abus de notation h x) R N,N. Comme h est de classe C, cette matrice est symétrique Théorème de Schwartz) et s'écrit à l'aide des dérivées partielles secondes : h x) = ijh x) ) 1 i,j N Proposition 9. Soient h C R N, R ) et λ i x)) 1 i N les valeurs propres de la hessienne, h x), en un point x R N. On suppose qu'il existe des réels β > et γ > vériant x R N, i {1,,..., N}, β λ i x) γ Alors la fonction g=h' vérie les hypothèses du théorème 13 avec α = γ et M = β Proof. Montrons tout d'abord que 7 est vériée : soient x et y R n et soit ϕ t) = g y + t y x)) R N Alors ϕ t) = g y + t y x)) y x) et ϕ vérie : g y) g x) = ϕ 1) ϕ ) = ϕ t) dt donc puis g y) g x) = g y) g x)). y x) = g y + t y x)) y x) dt g y + t y x)) y x). y x) dt

1.4. POINT FIXE d ) 15 On utilise la propriété des quotients de Rayleigh de la matrice g x) 5, et l'hypothèse du théorème. On obtient pour tout w, z R N : β w g z) w.w γ w qui donne, pour w = y x et z = y + t y x) et après intégration : g y + t y x)) y x). y x) dt soit g y) g x)). y x) γ y x ce qui démontre que 7 est vériée avec α = γ. Pour démontrer 7, on repart de la relation et donc g y) g x) = g y) g x) g y + t y x)) y x) dt γ y x dt g y + t y x)) y x) dt g y + t y x)) y x dt où on a noté. la norme matricielle subordonnée à la norme euclidienne sur R n. g y + t y x)) est symétrique réelle, et nalement : ce qui achève la démonstration. g y + t y x)) = ρ g y + t y x))) g y) g x) β β y x β y x dt Comme la matrice Remark 3. les théorèmes 5) et 7) sont constructifs car ils donnent un algorithme pour approcher le point xe. Il existe un théorème de point xe beaucoup plus général et extrêmement puissant, mais non constructif, c'est le théorème de Brouwer : Theorem 31. Brouwer) Toute fonction continue d'un convexe compact K dans lui-même admet un point xe. Brouwer disait : quand on mélange son sucre dans la café, il semble qu'il y ait toujours un point immobile. A tout moment il y a un point de la surface qui n'aura pas changé de place. Si l'on prend deux feuilles de papier A et B identique, on froisse B, et on la repose sur A, puis on l'aplatit avec un fer à repasser, alors il y a un point de la feuille B qui est à la même place que celui de la feuille A. L'application est ici x, y) A x, y) B. 5 On rappelle la propriété du quotient de Rayleigh pour une matrice réelle symétrique A R N,N de valeurs propres λ i ) 1 i N : x R N, λ min Ax.x x.x λmax

1.5. ORDRE ET VITESSE DE CONVERGENCE 16 1.5. Ordre et vitesse de convergence Definition 3. Soit x n)) une suite de n RN convergente et x sa limite, telle que n N, x n) x. On dit que x 1) La convergence est au moins linéaire s'il existe β ], 1[ et n N tel que n n, xn+1) x n) x β x ) La convergence est linéaire s'il existe β ], 1[ tel que lim n+1) x n = β x n) x 3) La convergence est super-linéaire si elle est linéaire avec β = x 4) La convergence est d'orde au moins q s'il existe β > et n N tel que n n, xn+1) x n) x β q x 5) La convergence est d'ordre q s'il existe β > tel que lim n+1) x n x n) x = β q de plus, si q = on parle de convergence quadratique, si q = 3, on parle de convergence cubique... Remark 33. Plus q est grand, plus la convergence est rapide. Pour avoir une convergence au moins) linéaire, il faut que la limite le majorant) β > soit plus petit que 1 sinon la convergence n'est pas assurée, cette condition n'est pas nécessaire pour q. On peut abréger la dénition, pour q par : la convergence est d'ordre q si x n+1) x = O x n) x q) Dans le cas où N = 1, on obtient assez simplement un résultat sur la vitesse de convergence de la suite du point xe. Proposition 34. Soient q N et f C q R, R) admettant un point xe x. Soit x n)) la suite du n point xe dénie par x ) R, x n+1) = f x n ). Si f x) < 1, alors on peut trouver un voisinage I α = [x α, x + α], α > de x tel que pour x ) I α, la suite x n)) n converge vers x. L'ordre de convergence est le plus petit entier p [1, q] tel que f p) x) où f p) désigne la dérivée d'ordre p de f. Proof. Comme f x) < 1, par continuité de f en x, on peut trouver α > tel que γ = max Iα f < 1 avec I α = [x α, x + α]. f Iα est à valeur dans I α : x I α, f x) x = f x) f x) γ x x < x x α f est strictement contractante sur I α grâce au théorème des accroissements nis qui s'écrit x, y I α, f x) f y) γ x y avec γ < 1 Le théorème 5) avec E = I α permet de conclure lim n x n) = x. Ordre de convergence : Si f x) on eectue un développement limité de f au voisinage de x : f x n)) ) = f x) + x n) x f ξ n)) ), avec ξ n) = x + θ x n) x et θ ], 1[ donc x n+1) x = x n) x ) f ξ n)) puis en utilisant la continuité de f en x, xn+1) x x n) x = f ξ n)) n f x) < 1. La suite x n) convergence donc linéairement. Si f x) = f x) = = f p 1) x) = et f p) x) ici l'exposant p) désigne l'ordre de dérivation) alors le développement limité de f au voisinage de x à l'ordre p s'écrit : f x n)) p = f x) + x n) x) f p) ξ n)) ), avec ξ n) = x + θ x n) x et θ ], 1[ x donc xn+1) x n) x = f p) ξ n)) p n f p) x) ce qui montre que la convergence est d'ordre p

1.6. LA MÉTHODE DE NEWTON d ) 17 1.6. La méthode de Newton d ) On rappelle le problème : une fonction g : R N R N est donnée, et on cherche à résoudre le problème { x R N g x) = R N 1.6.1. Construction de la méthode de Newton, diérents points de vue. Premier point de vue. Nous allons appliquer la proposition 34) pour construire dans le cas N = 1) une méthode qui soit d'ordre. Soient g C R, R), et x R un zéro de g. On cherche une suite x n)) n N qui converge quadratiquement vers x. On pose f x) = x + h x) g x) avec h C R, R) et h x), x R. Donc f x) = x g x) =. Le point x est donc point xe de f.pour que la méthode du point xe soit quadratique, il sut de prendre h telle que f x) =, c'est à dire h x) = 1, ce qui est possible si g x) g x). Une possibilité il y en a d'autres) est de prendre h x) = 1 gx) g x) ce qui donne f x) = x g x). Le théorème précédent assure alors qu'il existe α > tel que si x ) I α = ]x α, x + α[ alors la suite x n+1) = x n) g x n)) g x n)) converge quadratiquement vers x. Deuxième point de vue. Le principe est analogue en dimension 1 ou supérieure : soit g C R N, R N), on suppose connue une approximation x n) de la solution x de g x) =. Alors à l'itération n on peut écrire en posant x = x n) + h h R d est l'erreur) et en utilisant la formule de Taylor-Young on a : = g x ) = g x n)) + g x n)) h + O h ) g x n)) + g x n)) h Ce faisant, on a linéarisé le problème, c'est à dire que l'on a remplacé la fonction e R N g x + e) R N par sa partie linéaire : e g x) + g x) e Linéariser un problème g x) = autour de x consiste à remplacer la fonction e g x + e) par sa partie linéaire : e g x) + g x) e) On a donc approximativement e [ g x n))] 1 g x n) ), à condition que g x n)) soit une matrice inversible. On peut donc corriger l'approximation courante en écrivant x n+1) = x n) [g x n))] 1 g x n)) x C'est la méthode de Newton. On verra au chapitre prochain comment on peut éviter le calcul cher) de g x n)) et de son inverse en utilisant les informations des itérations précédentes pour approcher g x n)) ou directement [ g x n))] 1 ou même [ g x n))] 1 g x n) )

1.6. LA MÉTHODE DE NEWTON d ) 18 1.6.1) 1.6.. Algorithme. De manière résumée, l'algorithme de Newton s'écrit : { x ) R N x n+1) = x n) + g x n))) 1.g x n) ), n > Algorithm 35. [k,x,y,e]=newtonf,df,x ),ɛ,k) #Méthode de Newton en dimension d ), pour la résolution de fx)= #Entree : f, df la fonction et sa dérivée. # x ) R d approximation initiale # ɛ > le test d'arret est f x) < ɛ # K nombre max d'iterations #Sortie : k nombre d'iterations, # x R d, la solution approchée # y R d, f x) # E la suite des f x n)) x=x ) ;k=1;y=fx);h=dfx); e=normy); E=[e]; while e>eps & k<k, résoudre H.w=y x=x-w; y=fx); H=dfx); e=normy);e=[e,e] k=k+1; end return k,x,y,e; endfunction Constructibilité : l'algorithme est constructible si la matrice f x) est inversible pour tout x 1.6.3. Convergence. Le premier théorème démontre la convergence quadratique sous l'hypothèse assez forte g de classe C, tandis que que le second assure la convergence au moins linéaire de la méthode de Newton et ses dérivées quasi Newton), sous une hypothèse plus faible g de classe C 1 ). Theorem 36. Convergence quadratique de la méthode de Newton, I) Soient g C R N, R N) et x R N un zéro de g. On munit R N d'une norme.. On suppose que g x) R N,N est une matrice inversible. Alors il existe b > tel que si x ) B x, b) alors : 1) la suite x n ) n est bien dénie par 1.6.1) ) lim n x n) = x 3) La convergence est quadratique : β >, x n+1) x x n) x, n N Pour démontrer ce théorème, on démontre d'abord le lemme suivant : Lemma 37. Convergence quadratique de la méthode de Newton, II) Soient g C R N, R N) et x R N un zéro de g. On munit R N d'une norme. et R N,N de la norme matricielle subordonnée. On suppose que g x) R N,N est une matrice inversible, et on suppose de plus qu'il existe trois réels strictement positifs a, a 1 et a tels que x, y B x, a) : 1) g x) est inversible et g x) 1 < a1 ) g y) g x) g x) y x) a y x ) 1 En posant b = min a, et β = a 1 a, si x ) B x, b), alors les points 1, et 3 du théorème 36) sont a 1 a vériés.

1.6. LA MÉTHODE DE NEWTON d ) 19 1.6.) 1.6.3) Proof. du lemme) Soit x ) B x, b) B x, a) où b a. 1) On montre tout d'abord par récurrence que l'hypothèse H n ) : x n) B x, b), n N est réalisée : H ) est vraie. Supposons H n ) vraie. En écrivant l'hypothèse ) pour y = x et x = x n) B x, b) on obtient : g x) g x n)) g x n)) x x n)) x a x n) on remplace g x n)) par g x n)) x n) x n+1)) tirée de 1.6.1), et après majoration, on obtient l'inégalité g x n)) x n+1) x n)) x a x n) En écrivant x n+1) x n) = g x n)) 1.g x n)) x n+1) x n)) en utilisant 1.6.) et x n) B x, b), on majore facilement x n+1) x : x n+1) x g x n)) 1 g x n)) x n+1) x n)) x n+1) x x a 1 a n) x a 1 a b comme a 1 a b 1 on a nalement x n+1) x b ce qui prouve que Hn+1 ) est vraie. ) La suite x n)) converge quartiquement vers x grâce à 1.6.3) puisque, par récurrence : x a 1 a n) x x a 1 a n 1) ) x x a 1 a n ) ) 4 x L'inégalité a 1 a < 1 permet de conclure.... x a 1 a ) x ) n Proof. du théorème36)) Il sut de démontrer que si g C R N, R N) et g x) est inversible, alors les hypothèses 1) et ) du lemme 37) sont réalisées. 1) Inversibilité de g x) et majoration de g x) 1 : g x) = g x) g x) + g x) = g x) I N + S) où I N désigne la matrice identité de R n et S = g x) 1. g x) + g x)). Or on sait que I N +S est inversible si S < 1, et dans ce cas I N + S) 1 1. La continuité de 1 S g en x nous permet 1 d'écrire : pour ε = g x) 1, il existe un a > tel que x B x, a) = g x) g x) < 1 g x) 1. On obtient donc : x B x, a) = S = g x) 1. g x) g x)) g x) 1 g x) g x)

1.6. LA MÉTHODE DE NEWTON d ) 1 ce qui prouve que I N + S est inversible et que sa norme vérie I N + S) 1. Donc g x) 1 IN = + S) 1.g x) 1 IN + S) 1 g x) 1 g x) 1 ) On exploite le caractère C de g et le théorème des accroissements nis. On pose x, y R N, ϕ t) = g x + t y x)) g x) tg x) y x) R N Donc ϕ ) = et ϕ 1) = g y) g x) g x) y x) est le terme à majorer. donc ϕ 1) ϕ ) = = ϕ 1) y x ϕ t) dt [g x + t y x)) g x)] y x) dt g x + t y x)) g x) dt Le théorème des accroissements nis 6 appliqué à g s'écrit pout < t < 1 : g x + t y x)) g x) t y x) sup z ]x,y[ g z) L R N,R N ). Le segment ]x, y[ est inclus dans le compact K = adh B x, a)) donc sup z ]x,y[ g z) L R N,R N ) max z K g z) L R N,R N ) = γ <. On peut maintenant majorer l'intégrale : ce qui démontre le théorème. ϕ 1) y x y x γ tγ y x dt Remark 38. En pratique, on ne sait pas évaluer facilement le rayon b du théorème 36. Il faut pourtant choisir x ) susament proche de x pour assurer la convergence. Le théorème suivant permet d'établir la convergence des itérations de Newton, avec une évaluation de l'ordre de convergence grossièrement sous-estimée. Mais il donne également la convergence des itérations de quasi-newton, sous réserve que l'on dispose d'une bonne approximation de [ f x n))] 1. Theorem 39. Ordre 1)On suppose que f x) = admet une solution x, que f est de classe C 1 au voisinage de x et que f x ) R d,d est non singulière. On suppose de plus que l'on dispose d'approximations B x) de [f x)] 1 au voisinage de x vériant 7 : δ > I B x) f x ) = ρ x) δ 6 Theorem. Accroissements nis) Soient E et F deux espaces vectoriels normés et L E, F ) est l'ensemble des applications linéaires continues de E dans F, si h C 1 E, F ) alors x, y E h y) h x) F y x E sup h z) LE,F ) où ]x, y[ = {x + s y x), < s < 1} z ]x,y[ 7 B x) est une approximation de f x) 1 mais on lui demande de ne pas être trop éloignée de f x ) 1 ce qui impose à x d'être proche de x...

1.6. LA MÉTHODE DE NEWTON d ) 1 Alors, on peut trouver un voisinage V de x tel que les itérations : x ) V x n+1) = x n) B x n)) f x n)) convergent vers x avec un ordre de convergence au moins) linéaire : e n+1) ρ x n)) ) e n) + ɛ n lim ɛ n = n Proof. On montre tout d'abord que B x) B x) f x ) f x ) 1 1 + δ) f x ) 1 = M ensuite, on pose x n) = x + e n) et en utilisant l'expression du n + 1-ème itéré : e n+1) = e n) B x n)) f x + e n)) = e n) B x n)) f x ) + f x ) e n) + ɛ e n)) e n)) [ = I B x n)) f x ) B x n)) ɛ e n))] e n) où on a tenu compte de f x ) =, et où ɛ e n)) est une matrice d d vériant lim ɛ =. Posons η x) = I B x) f x ) B x) ɛ x x ) R d,d et majorons habilement la norme de cette matrice : η x) = I B x) f x ) B x) ɛ x x ) I B x) f x ) + B x) ɛ x x ) δ + M ɛ x x ) Soit maintenant α ]δ, 1[. Comme lim ɛ =, on peut trouver un voisinage V de x tel que si x V alors ɛ x x ) < α δ. Si on suppose que M x) V alors ) η x ) < α < 1 et on en déduit la majoration e 1) e α ) et, puisque e 1) < e ), on a x 1) V, donc e ) α e 1) puis par récurrence e n+1) α e n) α n e ) ce qui montre la convergence au moins linéaire de x n) vers x.