ours d analyse numérique SMI-S4 Introduction L objet de l analyse numérique est de concevoir et d étudier des méthodes de résolution de certains problèmes mathématiques, en général issus de problèmes réels, et dont on cherche à calculer la solution à l aide d un ordinateur Exemples de problèmes à résoudre: - Systèmes linéaires ou non linéaires - Optimisation - Equations di érentielles ou aux dérivées partielles etc Références pour le cours: () P G iarlet Introduction à l analyse numérique matricielle et à l optimisation () A Quarteroni Méthodes numériques pour le calcul scienti que () M Sibony & J l Mardon Analyse numérique : Systèmes linéaires et non linéaires Analyse numérique : Approximations et équations di érentielles
Résolution de systèmes linéaires Objectifs: On note par M N (R) l ensemble des matrices carrées d ordre N Soit A M N (R) une matrice inversible et b R N On cherche à résoudre le système linéaire: trouver x R N, tel que Ax = b Nous allons voir deux types de méthodes: - Méthodes directes, - Méthodes itératives Selon le type et la taille d une matrice, on utilise une méthode directe ou une méthode itérative Quelques rappels d algèbre linéaire Matrices - La transposee, d une matrice A = (a i;j ) i;jn ;est une matrice A T = (a i;j ) i;jn, avec a i;j = a j;i pour i; j N: On a evidemment les propriétés suivantes: (A T ) T = A; (A + ) T = A T + T ; (A) T = T A T ; (A) T = A T ; 8 R; det(a T ) = det(a): Si A est inversible (A T ) = (A ) T : - La matrice adjointe de A est A = A T :on a alors les propriétés: (A ) = A; (A + ) = A + ; (A) = A ; (A) = A ; 8 ; det(a ) = det(a); Si A est inversible (A ) = (A ) : - Une matrice A M N (R) est symetrique si A T = A: - Une matrice A M N () est hermitienne si A = A: - Une matrice A M N (R) est orthogonale si A T A = AA T = I N : (c est à dire A T = A ) - Une matrice A M N () est unitaire si A A = AA = I N : (c est à dire A = A ) On dit que A est normale si A A = AA : P - Si A = (a i;j ) i;jn la trace de A est dé nie par tr(a) = N a i;i : i=
Normes matricielles Soit E un espace vectoriel sur R On dé nit jjjj une norme vectorielle sur E, c est-à-dire une application: E! R + qui véri e les propriétés suivantes: (i) 8x E; jjxjj = () x = : (ii) 8 R; 8x E; jjxjj = jj:jjxjj (iii) 8x; y E; jjx + yjj jjxjj + jjyjj: Exemples de normes vectorielles sur R N : Soit x = (x ; x ; : : : ; x N ) R N ) x! jjxjj = jx j + jx j + : : : + jx N j ) x! jjxjj = p jx j + jx j + : : : + jx N j ) x! jjxjj = max(jx j; jx j; : : : ; jx N j) sont trois normes vectorielles sur R N Dé nition : Soit jj:jj une norme vectorielle sur E = R N On appelle une norme matricielle induite, par cette norme vectorielle, sur M N (R); qu on note encore par jj:jj: A! jjajj = supfjjaxjj; x R N ; jjxjj = g: Remarque: on dit aussi que c est une norme matricielle subordonnee ou associée à la norme vectorielle Proposition Si jj:jj est une norme matricielle induite (par une norme vectorielle jj:jj sur E = R N ) sur M N (R), alors on a les propriétés suivantes: () 8x R N et 8A M N (R), jjaxjj jjajj:jjxjj: () jjajj = maxfjjaxjj; x R N ; jjxjj = g: () jjajj = maxf jjaxjj jjxjj ; x RN ; x = g: Démonstration ()Soit x R N non nul, y = jjxjjx =) jjyjj = =) jjayjj jjajj (par dé nition) () jja jjxjjxjj jjajj () jjaxjj jjxjj jjajj () jjaxjj jjajj:jjxjj: Si x = alors Ax = et l inégalité jjaxjj jjajj:jjxjj est encore véri ée () jjajj = supfjjaxjj; x R N ; jjxjj = g omme l application x! jjxjj est continue sur fx R N ; jjxjj = g qui est un compact de R N, 9x fx R N ; jjxjj = g tel que: jjajj = jjax jj = maxfjjaxjj; x R N ; jjxjj = g: () Si x est non nul, jjaxjj jjxjj = jja( x jjxjj )jj
x et jjxjj fx RN ; jjxjj = g: Proposition Pour toute matrice A = (a i;j ) i;jn ; on a jjaxjj ) jjajj = sup NP jjxjj = max ja i;j j: jjxjj = jn i= jjaxjj ) jjajj = sup NP jjxjj = max ja i;j j: jjxjj = in j= Exemple Si A = ; jjajj = max(4; ) = 4 et jjajj = : Rayon spectral Dé nition: Soit A M N (R) et On dit que est une valeur propre de A; s il existe un vecteur u R N ; u = et tel que: Au = u: On dit alors que u est un vecteur propre de A associé à : Proposition On a l équivalence suivante: est une valeur propre de A () det(a I) = : Les valeurs propres de A sont donc les racines du polynôme P A (x) = det(a xi); appelé le polyn^ome caracteristique de A: est un polynôme de degré N; il a donc N racines dans (non nécessairement distinctes) La matrice A a donc N valeurs propres dans (non nécessairement distinctes): ; ;,, N : On montre qu on a : det(a) = Q N P i et tr(a) = N i i= i= Propriété: Si A M N (R) est une matrice symetrique alors toutes ses valeurs propres sont reelles et il existe une matrice orthogonale P (P = P T ) telle que: :: P AP = A = D N où les i sont les valeurs propres de A A est donc semblable à la matrice diagonale D Dé nition: On dit que deux matrices A et sont semblables s il existe une matrice inversible P telle que A = P P Exemple: 4
A = A x x = (x )(x + ), Les valeurs propres de A sont: ; ; : Les vecteurs propres sont: Pour = : A + avec ; R; (; ) = (; ): A ; Pour = : A ;avec R : Si P = A ;on a P = P AP = A = A Remarque: Si on prend P = son inverse: P = P T et on a: P T AP = = p p p p p p p p A : A A p p p p p p p p A A A, p p p A p p p p p Dé nition Le rayon spectral de A est (A) = maxfjj; ; valeur propre de Ag: Proposition Soit A M N (R), alors pour toute norme matricielle, (induite ou non) on a: (A) jjajj Démonstration Soit une valeur propre de A telle que : (A) = jj 9p R N non nul, tel que Ap = p: A
p vecteur non nul =) 9q R N tel que pq T = : =) (A)jjpq T jj = jj:jjpq T jj = jj(p)q T jj = jj(ap)q T jj = jja(pq T )jj jjajj:jjpq T jj =) (A) jjajj: On montre aussi le résultat suivant: Proposition 4 8 > et A M N (R), il existe au moins une norme matricielle subordonnée telle que: jjajj (A) + : On montre aussi la proposition suivante: Proposition Soit A = (a i;j ) i;jn M N (R); alors on a jjaxjj jjajj = jjxjj = p (A T A) = p (AA T ): sup jjxjj = Théorème On désigne par I N la matrice identité de M N (R) ) Soit jj:jj une norme matricielle induite sur M N (R) Si A M N (R) est telle que jjajj <, alors la matrice I N + A est inversible et jj(i N + A) jj jjajj : ) Si I N + A est singulière, alors jjajj, pour toute norme matricielle sur M N (R) Démonstration: )(I N + A)x = =) jjxjj = jjaxjj jjajj:jjxjj omme jjajj < ; on a x = =) I N + A est inversible et on a omme (I N + A) = I N A(I N + A) on a jj(i N + A) jj + jjajj:jj(i N + A) jj =) ( jjajj):jj(i N + A) jj =) jj(i N + A) jj jjajj : ) I N + A singulière() det(i N + A) = () = est une valeur propre de A =) (A) jjajj: 4 Produit scalaire et matrices dé nies positives Dé nition Si E est un espace vectoriel sur K = R ou, un produit scalaire sur E est une application de E E! K (x; y)!< x; y > qui véri e les propriétés suivantes: (i) < x; x > ; ; 8x E et < x; x >= =) x = : (ii)< (x + y); z >= < x; z > + < y; z >; 8 K; 8x; y; z E
(iii)< y; x >= < x; y >; 8x; y E: Exemple: K = R; E = R N ;pour x; y E; x T = (x ; :::; x N ) et y T = (y ; :::; y N ); L application (x; y)!< x; y >= y T P x = N x i y i dé nit un produit scalaire sur R N Dé nition Une matrice A M N (R) est dé nie positive si (Ax; x) > ; 8x R N : Si l inégalité stricte est remplacée par une inégalité au sens large ( ), on dit que la matrice est semi-dé nie positive Dé nition: les mineurs principaux dominants de A = (a ij ) i;jn sont les N déterminants des sous-matrices de A: (a ij ) i;jk ; ( k N): i= Proposition Soit A M N (R) une matrice symétrique A est definie positive si et seulement si l une des propriétés suivantes est satifaite: () (Ax; x) > ; 8x R N ; x = : () Les valeurs propres de A sont > : () Les mineurs principaux dominants de A sont tous > : Méthodes directes Une méthode directe de résolution d un système linéaire est une méthode qui calcule x, la solution exacte du système, après un nombre ni d opérations élémentaires (+; ; x; =) Méthode de Gauss et factorisation LU Méthode de Gauss Soit A M N (R) une matrice inversible et b R N : pb: trouver x R N ; Ax = b: Méthode de Gauss: On pose A () = A et b () = b: On construit une suite de matrices et de vecteurs: A ()! A ()! ::! A (k)! :::! A (N) : b ()! b ()! ::::! b (k)! ::! b (N) : Les systèmes linéaires obtenus sont équivalents: Ax = b () A (k) x = b (k) () A (N) x = b (N) ; La matrice A (N) est triangulaire supérieure Si aucun pivot n est nul: Passage de A (k) à A (k+) ; si a (k) k;k = : - Pour i k et pour j = ; ; :::; N a (k+) i;j = a (k) i;j et b(k+) i = b (k) i : 7
- Pour i > k: a (k+) i;j = a (k) i;j b (k+) i pour i = j; :::; N: A (k) = = b (k) i a (k) i;k a (k) k;k a (k) i;k a (k) k;k a (k) k;j ; b (k) k ; a () a () a () ; ; ;N a () a () a () ; ; ;N a (k) a (k) k;k k;n a (k) k+;k a (k) a (k) N;k N;N La matrice A (N) est alors sous la forme: A (N) = a () ; a () ; a () ;N a () a () a () ; ; ;N : a (k) a (k) k;k k;n a (N) N;N ; k N: A La résolution du système linéaire A (N) x = b (N) se fait en remontant et on calcule successivement: x N ; x N ; : : : : : : :et x : 8 >< >: x i = (b (N) a (N) i i;i x N = b(n) N NP j=i+ a (N) N;N ; a (N) i;j x j); i = N ; :::; : Remarques: det(a) = det(a (k) ) = det(a (N) ): as d un pivot nul: Si à l étape k, le pivot a k;k = ; on peut permuter la ligne k avec une ligne i ; telle que i > k et a i;k = et on continue la méthode de Gauss oût de la méthode de Gauss pour résoudre le système linéaire Ax = b ) Pour l élimination: A! A (N) Nombre d additions: (N ) + (N ) + :::: + N(N )(N ) = Nombre de multiplications: N(N )(N ) ; ; Nombre de divisions: (N ) + (N ) + :::: + = ) Pour passer de b! b (N) : A N(N ) : 8
N(N ) (N ) + (N ) + :::: + = N(N ) multiplications: et ) Pour la remontée: N(N ) additions et additions N(N ) multiplications et N divisions Au total, l ordre du nombre d opérations élémentaires nécessaires à la méthode de Gauss est: N additions, N multiplications et N divisions omme le calcul direct d un déterminant nécessite: N! additions et (N )N! multplications, la méthode de cramer va nécessiter (N + )! additions, (N + )! multiplications et N divisions Par exemple pour N = : La méthode de Gauss nécessite : 7 opérations, et la méthode de ramer: opérations! (! +! = 9 9 8 + 479 = :89 8 ): Stratégies de pivot Plusieurs stratégies de choix de i sont possibles: - Stratégie du pivot partiel: On peut choisir i tel que: ja i;kj = maxfja i;k j; i = k; : : : Ng: - Stratégie du pivot total: On choisit i ; j tels que: ja i ; j j = maxfja i;j j; i; j = k; : : : Ng; et on8 permute < la ligne k avec la ligne i et : la colonne k avec la colonne j Factorisation LU Supposons que dans l élimination de Gauss on n utilise aucune stratégie de pivotage et que tous les pivots a (k) k;k = : Dans ce cas le passage de A (k)! A (k+) ( k N ) revient à multiplier à gauche la matrice A (k) par la matrice N N : E (k) = l k+;k A l N;k avec l i;k = a(k) i;k a (k) k;k ; pour k + i N: La matrice A (N), qui est triangulaire supérieure, est alors égale à 9
A (N) = MA avec M = E (N ) E (N ) :::E () M est le produit de matrices triangulaires inférieures, donc M est aussi triangulaire inférieure, on a det(m) = N Q det(e (i) ) = et l inverse de M est aussi triangulaire inférieure En posant U = A (N) et L = M ; on a A = LU: (E (k) ) = l k+;k A l N;k :: L = M = (E () ) (E () ) :::::(E (N ) ) l ; L = l k+;k A l N; l N;k l N;N Exemple: A = A = A () 4 E () = A ; A () = 8 A 4 8 9 E () = A ; A () = 8 A = U 9 9 4 L = A et A = LU 4 9 Théorème Soit A = (a i;j ) i;jn une matrice carrée d ordre N telle que les N sousmatrices de A: i=
a a k A ; k N a k a kk soient inversibles, alors il existe une matrice triangulaire inférieure L = (l ii ) in ; avec l ii = ( i N), et une matrice triangulaire supérieure U telles que A = LU: De plus cette factorisation est unique Démonstration Il su t de montrer qu aucun pivot n est nul Matrice symétrique dé nie positive: Méthode de holesky Dans le cas où la matrice A est symétrique dé nie positive, la condition du théorème précédent est satisfaite et elle admet une factorisation A = LU, avec u ; u ;N l ; L = A et U = A l N; l N;N u N;N omme la matrice A est dé nie positive, on a kq u i;i = k > ; k = ; ; :::; N; i= (les k sont les mineurs principaux dominants de A) et u i;i > ; pour i = ; ; :::; N: p u; Si on pose D = A p un;n ette matrice est inversible et son inverseest p u; D = A p un;n A = LU = (LD)(D U) = R T La matrice R = LD est triangulaire inférieure et T = D U est triangulaire supérieure et elles sont toutes les deux inversibles omme A est symétrique, on a A T = A =) R T = R T =) R = R T ( T ) De plus R est une matrice triangulaire inférieure et R T ( T ) est une matrice triangulaire supérieure, ce qui implique que
R = R T ( T ) = matrice diagonale Or les éléments diagonaux: ( R) i;i = =) R = R T ( T ) = I N =) = R et A = RR T omme R = LD = (r i;j ) =) r i;i = p u i;i > ; pour i N: Unicité de R: Supposons que A = RR T = T ; avec R = (r i;j ) et = (b i;j ) des matrices triangulaires inférieures avec des éléments diagonaux r ii > et b i;i >, pour i N: RR T = T =) R T ( T ) = R =) R T ( T ) = R = D matrice diagonale, et ri;i b i;i = bi;i r i;i =) r i;i = b i;i ; i N =) r i;i = b i;i, i N: et alors d ii = bi;i r i;i = ; i N et R = : On a donc montré le théorème suivant: Théorème Une matrice A est symétrique dé nie positive si et seulement si il existe une matrice triangulaire inférieure inversible R telle que: A = RR T : Si on impose que les éléments diagonaux de R, r ii > ; i N; cette décomposition est unique alcul e ectif de la matrice R: A = RR T ; R = (r i;j ) =) a i;j = i P k= i= on détermine la ere colonne de R:! j = : a ; = r ; =) r ; = p a ; ;! j = : a ; = r ; r ; =) r ; = a; r ; ; r i;k r j;k pour i; j N! j = N : a ;N = r ; r N; =) r N; = a ;N r ; ; De proche en proche, on détermine la i eme colonne de R (i=,,n): i! j = i : a i;i = ri; q + ::: + r i;i =) r i;i = a i;i (ri; + ::: + r i;i );! j = i + : a i;i+ = r i; r i+; + :: + r i;i r i+;i =) r i+;i =! j = N : a i;n = r i; r i;n + :: + r i;i r N;i =) r N;i = a i;n (r i;r N; +::+r i;i r i;i r N;i ) : ai;i+ (ri;ri+;+::+ri;i ri+;i ) r i;i ; Applications de la factorisation de holesky: ) Résoudre le système linéaire Ax = b se ramène à résoudre successivement les systèmes linéaires à matrices triangulaires: Ry = b Ax = b () R T x = y
Q ) alcul du déterminant de A: det(a) = ( N r i;i ) : L ordre du nombre d opérations pour résoudre un système linéaire, par la méthode de holesky: N additions; N multiplications; N divisions; N extractions de racines carrées Exemple: A = A = 4 4 p p p ) det(a) = ( p i= A ; la factorisation de holesky de A: p A p ) = : p p A = RR T : ) Pour résoudre Ax = b; avec b = Ry = b =) y = ; y = p et y = p A ; R T x = y =) x = 4 A : onditionnement d un système linéaire Soit kkune norme matricielle subordonnée à une norme vectorielle Dé nition Soit A M n (K) une matrice inversible On dé nit le nombre cond(a) = kak A appelé le conditionnement de la matrice A, relativement à la norme matricielle considérée Théorème: Soit A M n (K) une matrice inversible et x un vecteur tel que: Ax = b; ) Soit x + x la solution de A(x + x) = b + b On suppose b = ;alors on a : kxk kbk kxk cond(a) kbk () et c est la meilleure possible (c est à dire: 9b = et 9b = tels que () devienne égalité) ) Soit x + x solution de
( A + A)(x + x) = b On suppose b = ;alors on a : kxk kak kx+xk cond(a) kak () et c est la meilleure possible (c est à dire: 9b = et 9b = tels que () devienne égalité) Démonstration: )! Ax = b =) kbk = kaxk kak : kxk =) kxk kbk kak et A(x + x) = b + b =) A(x) = b Donc kxk kxk = ka bk kxk ka k:kbk kxk A : kbk : kak kbk kbk cond(a) =) kxk kxk kbk :! Si on choisit un vecteur y tel que: kayk = kak : kyk et b tel que: A b = A : kbk ; on a l égalité dans () )! (A + A)(x + x) = b =) x = A A(x + x) =) kxk A : kak : kx + xk =) kxk kx+xk = ka A(x+x)k kx+xk A : kak = cond(a) kak kak :! Si on choisit; un vecteur y = ; tel que: A y = A : kyk et un scalaire = ; et on prend alors: b = (A + I)y; A = I et x = A y; =) x + x = y; Ax = b et (A + A)(x + x) = (A + I)y = b: =) kxk jj: A y = jj: A : kyk = kak : A : kx + xk : De plus si n est pas une valeur propre de A, alors b = : Propriétés Soit A M N (R) ) Si A M N (R); alors kak < ka k kak cond(a): =) kxk kxk kak : ka k:kak : ) (i) cond(a) ; (ii) cond(a) = cond(a ); (iii) cond(a) = cond(a); 8 scalaire = : ) On désigne par cond (A) le conditionnement de la matrice A,relatif à la norme euclidienne (i) cond (A) = q N (A) (A) ; ou (A) et N (A) sont respectivement la plus petite et la plus grande des valeurs propres de la matrice A T A: (on rappelle que A inversible=) A T A symétrique dé nie positive) (ii) Si A est une matrice normale (AA T = A T A), 4
cond (A) = max j i i(a)j min j ; i i(a)j où les i (A) sont les valeurs propres de la matrice A: (iii) Si A est unitaire ou orthogonale, cond (A) = : (iv) U orthogonale (U T U = UU T = I N ) =) cond (A) = cond (AU) = cond (UA) = cond (U T AU): 4 Méthodes itératives On va voir un type de méthodes itératives de résolution du système linéaire Ax = b sous la forme: x () () vecteur arbitraire, x (k+) = x (k) + c; k lorsque Ax = b () x = x + c; la matrice et le vecteur c sont en fonction de A et b: Dé nition La méthode itérative () est convergente si lim k!+ x(k) = x; 8x () : Remarque: Si on Pose e (k) = x (k) x, pour k = ; ; ::: omme x = x + c et x (k+) = x (k) + c,on a e (k) = x (k ) x = e (k ) = ::: = k e () lim k!+ x(k) = x () lim k!+ e(k) = () Donc La méthode itérative () est convergente si lim k!+ k v = ; 8v ce qui équivaut à lim k!+ jjk vjj = ; 8v pour toute norme vectorielle jj:jj: 4 onvergence des méthodes itératives lim k!+ k e () = Théorème Les propositions suivantes sont équivalentes: ()la méthode itérative () est convergente; ()() < ; ()jjjj < pour au moins une norme matricielle subordonnée jj:jj: Démonstration () =) () Supposons () ; () = jj; donc 9 un vecteur p : p = ; p = p et jj =) 8k ; jj k pjj = jj k pjj = j k j:jjpjj = jj k :jjpjj jjpjj
ce qui contredit lim k!+ k p = : () =) () On utilise la proposition 4:8 >, il existe au moins une norme matricielle subordonnée telle que: jjjj () + : () =) () Soit jj:jj une norme matricielle subordonnée On utilise alors la propriété: 8k ; 8v; jjjj < =) jj k vjj jj k jj:jjvjj jjjj k :jjvjj lim k!+ jjk vjj = : lim k!+ jjjjk = =) 4 Méthode de Jacobi, de Gauss-Seidel et de relaxation es méthodes sont des cas particuliers de la méthode suivante: A = M N avec M inversible et assez simple: On aurait alors: Ax = b () Mx = Nx + b () x = M Nx + M b () x = x + c; avec = M N et c = M b: Méthode de Jacobi: En posant A = D (E + F ); M = D est la diagonale de A et N = E + F Ax = b () Dx = (E + F )x + b: On suppose que D est inversible, c est à dire a ii = ; i N: La matrice J = D (E + F ) = I N D A est appelée la matrice de Jacobi x () donné, Dx (k+) = (E + F )x (k) + b; k A chaque étape, on calcule les N composantes x (k+) ; ::; x (k+) N du vecteur 8 x (k+) : >< >: a ; x (k+) = a ; x (k) ::: a ;N x (k) N + b a ; x (k+) = a x (k) a ; x (k) ::: a ;N x (k) N + b a N;N x (k+) N = a (k) N; x(k) ::: a (k) N;N x(k) N + b N Méthode de Gauss-Seidel M est la partie triangulaire inférieure de A: M = D E et N = F: On pourrait améliorer la méthode précédente en utilisant les quantités déjà calculées, on calcule successivent les N composantes x (k+) ; ::; x (k+) N du vecteur x (k+) :
8 >< a ; x (k+) = a ; x (k) ::: a ;N x (k) N + b a ; x (k+) = a x (k+) a ; x (k) ::: a ;N x (k) N + b >: a N;N x (k+) N = a N; x (k+) : :: a N;N x (k+) N + b N ce qui revient à écrire: Dx (k+) = Ex (k+) + F x (k) + b ou encore (D E)x (k+) = F x (k) + b m x (k+) = (D E) F x (k) + (D E) b L = (D E) F est la matrice de Gauss-Seidel Elle est inversible si a ii = ; i N: Méthode de relaxation Pour! = ; en posant M =! D E; N = (!! )D + F; on a A = M N = f! 8! D Eg f(! )D + F g a ; :x (k+) = a ; x (k)!fa ; x (k) + a ; x (k) + ::: + a ;N x (k) N >< + b g a ; :x (k+) = a x (k)!fa ; x (k+) + a ; x (k) ::: + a ;N x (k) N + b g >: a N;N :x (k+) N = a N;N x (k) N ce qui revient à écrire: f! D Egx(k+) = f(!! )D + F gx(k) + b La matrice de relaxation est!fa N; x (k+) + :: + a N;N x (k+) N + a N;Nx (k) N + b Ng L! = f! D Eg f(!! )D + F g = (D!E) f(!)d +!F g Exemples: Etude de la convergence des méthodes de Jacobi et de Gauss- Seidel dans le cas où la matrice du système linéaire est: ) A = 4 4 4 A ; Les deuxméthodes convergent ) A = A ; la méthode de Jacobi diverge et La méthode de Gauss-Seidel converge ) A = A : la méthode de Jacobi converge et la méthode de Gauss-Seidel diverge 4 onvergence des méthodes de Jacobi, de Gauss-Seidel et relaxation Théorème Soit A une matrice symétrique dé nie positve 7
On suppose que A = M N; avec M inversible Si la matrice symétrique M T + N est dé nie positive, alors (M N) < : Démonstration ) M T + N est symétrique: A = M N =) M T + N = A T + N T + N = A + N T + N = M + N T : ) omme A est symétrique dé nie positive, l application v R N! jjvjj = (v T Av) dé nit une norme sur R N On considère alors la norme matricielle jj:jj induite par cette norme vectorielle jjm Njj = jji N M Ajj = sup jjv jjvjj= M Avjj Soit v un vecteur tel que jjvjj = :On pose w = M Av; jjv wjj = (v w) T A(v w) = v T Aw w T Av + w T Aw = w T M T w w T Mw + w T Aw = w T (M T + N)w: v = =) w = M Av = =) w T (M T + N)w > Donc si la matrice symétrique M T + N est dé nie positive, on a jjv wjj = w T (M T + N)w < Exemple: A = A ) Pour tout u R N ; u T Au = u + u N + P N (u i u i ) i= =) la matrice symétrique A est definie positive : ) Pour la méthode de Jacobi: M = D et N = E + F : A = M N est symétrique dé nie positive, car u T (M T + N)u = u + u N + P N (u i + u i ) i= > ; si u = : M T + N est dé nie positive=) (M N) < : Proposition 7 (S) Soit A une matrice symétrique dé nie positive 8
<! < =)la méthode de relaxation converge Démonstration On applique le résultat précédent On a A = M N avec M =! D E et N = (!! )D + F M T + N =! D ET + (!! )D + F =! D + (!! )D = (!! )D <! < =)!! > =) (!! )D est dé nie positive Proposition 8 Soit A une matrice, alors pour tout! = ; (L! ) j! j: Démonstration NQ i (L! ) = det(l! ) = det(!! D+F ) = (!) N det(! D E) i= Q =) (L! ) j N i (L! )j N = j!j: i= orollaire Si A est une matrice symétrique dé nie positive, alors <! < ()la méthode de relaxation converge 44 Autres méthodes itératives: x Méthode du gradient arbitraire x (k+) = x (k) (Ax (k) b); k où est une constante xée Si on pose r (k) = Ax (k) b; k on a x (k+) = x (k) (Ax (k) b) = x (k) Ar (k) =) r (k+) = r (k) Ar (k) = (I A)r (k) : Une condition nécessaire et su sante de convergence est: (I A) < : Proposition 9 Si la matrice A est symétrique dé nie positive alors la méthode du gradient à pas xe converge si et seulement si < < n Avec n la plus grande valeur propre de A De plus = + n est une valeur optimale (I A a le plus petit rayon spectral) 9
x Méthode du gradient à pas optimal () arbitraire x (k+) = x (k) k (Ax (k) b); k où k est choisi tel que: r (k+)? r (k) avec r (k) = Ax (k) b; k : Donc r (k+) = r (k) k :r (k) : r (k+)? r (k) ()< r (k) ; r (k) k :Ar (k) >= () k = jjr(k) jj <r (k) ;Ar (k) > : L algorithme est: () k = x () arbitraire () calcul de r (k) = Ax (k) b () Si r (k) = ; c est terminé () Si r (k) = ;on calcule: k = jjr(k) jj <r (k) ;Ar (k) > et x (k+) = x (k) k :r (k) : () k := k + et aller à () On montre le résultat suivant: Proposition Si A est une matrice symétrique dé nie positive, alors la méthode du gradient à pas optimal converge Exemples: A = et b = La solution de Ax = b est x = Les valeurs propres de A = sont = p = : 8 et = p + = :8 Donc A est symétrique dé nie positive On choisit x () = et on calcule le premier itéré pour: ) la méthode de Jacobi: x () = 4 ) la méthode de Gauss-Seidel: x () = 4 ) la méthode du gradient à pas xe
r () = = Si on choisit tel que < < = :8 = : 79; = + = la méthode converge Si on prend = : x () = = 4 4 Si on prend = x () = = 4) la méthode du gradient à pas optimal: r () = jjr () jj = = 7 4 4 = 7 x () 7 = 7 = 4 4 = 7 = 4