Master de mathématiques Analyse numérique matricielle

Transcription

1 Master de mathématiques Analyse numérique matricielle

2

3 CHAPITRE 1 Méthodes itératives de résolution de systèmes linéaires On veut résoudre un système linéaire Ax = b, où A est une matrice inversible d ordre n avec cond 2 (A) > 1 1 On notera x la solution de ce système On construit une suite de vecteurs (x (p) ) qui converge vers x Soit une décomposition A = M N, où M est une matrice régulière d ordre n, plus facile à inverser que A Le système initial équivaut à Mx = Nx + b, ou ou On définit la suite (x (p) ) par récurrence : ou ou x = M 1 Nx + M 1 b, x = x + M 1 (b Ax) Mx (p+1) = Nx (p) + b, x (p+1) := M 1 Nx (p) + M 1 b, x (p+1) := x (p) + M 1 (b Ax (p) ) Dans la suite, si n est un entier, on note I n la matrice identité d ordre n Si est une norme sur C n, on note de la même manière la norme matricielle subordonnée : Ax A := max x C n x x 0 Si on note ρ(a) le rayon spectral d une matrice A, on a ρ(a) A Exemple 11 On définit sur l espace C n les normes 1, 2 et : pour x = (x i ), ( x 1 := x i, x := max x n i, x 1 i n 2 := x i 2) 1/2 i=1 1 La définition du conditionnement est donnée au deuxième chapitre i=1 1

4 2 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES On note M n l espace vectoriel des matrices carrées d ordre n à coefficients dans C Les normes matricielles subordonnées vérifient, pour A = (a i,j ) M n : A 1 = max 1 j n A = max 1 i n ( n i=1 ( n A 2 = ρ(a A) ) a i,j, ) a i,j, Proposition 11 (Schur) Pour toute matrice carrée A d ordre n, il existe une matrice carrée unitaire U d ordre n et une matrice carrée triangulaire supérieure R d ordre n telles que A = URU Les éléments diagonaux de R sont toutes les valeurs propres de A (chacune étant répétée selon sa multiplicité) Démonstration On démontre le résultat par récurrence sur n C est vrai pour n = 1 ; supposons-le démontré pour n 1 ; soit A une matrice carrée d ordre n Elle a une valeur propre λ et un vecteur propre associé u tel que u 2 = 1 On peut compléter ce vecteur en une base orthonormée {u, u 2,, u n } de C n On note P la matrice de passage de la base canonique {e 1,, e n } de C n à la base {u, u 2,, u n } : c est une matrice unitaire Soit B := P AP : on a donc Be 1 = P AP e 1 = P Au = λp u = λe 1, ( ) λ b B =, 0 B n 1 où B n 1 est une matrice carrée d ordre n 1 D après l hypothèse de récurrence, il existe une matrice carrée unitaire U n 1 d ordre n 1 et une matrice carrée triangulaire supérieure R n 1 d ordre n 1 telles que Donc ( U n 1 U n 1B n 1 U n 1 = R n 1 ) ( ) ( ) ( ) ( ) λ b 1 0 λ b = U n 1 λ b 0 B n 1 0 U n 1 0 Un 1B = U n 1, n 1 U n 1 0 R n 1 que l on note R : c est une matrice carrée triangulaire supérieure d ordre n La matrice ( ) 1 0 U n := 0 U n 1 est une matrice carrée unitaire d ordre n et B = U n RU n, donc A = P U n RU np La matrice P U n est une matrice carrée unitaire d ordre n On a donc démontré le résultat pour n Comme dét (A λi n ) = dét (R λi n ), les éléments diagonaux de R sont les valeurs propres de A

5 1 MÉTHODES DE DÉCOMPOSITION 3 Corollaire Soit A une matrice carrée d ordre n (1) Si A est hermitienne, il existe une matrice carrée unitaire U d ordre n et une matrice carrée diagonale D d ordre n telles que A = UDU (2) Si A est normale 2, il existe une matrice carrée unitaire U d ordre n et une matrice carrée diagonale D d ordre n telles que A = UDU Dans chaque cas, les éléments diagonaux de D sont toutes les valeurs propres de A (chacune étant répétée selon sa multiplicité) Démonstration On utilise la proposition 11 : on a A = URU donc A = UR U Dans le premier cas, comme A = A, on a R = R, donc R est une matrice diagonale Dans le second cas, comme AA = A A, on a RR = R R : on en déduit également que R est une matrice diagonale 1 Méthodes de décomposition Définition 11 Soit A une matrice inversible d ordre n et une décomposition A = M N, où M est une matrice régulière d ordre n Si b C n, on note x la solution du système Ax = b La méthode itérative associée à cette décomposition permet de construire à partir de x (0) C n, les suites r (p) := b Ax (p), d p) := M 1 r (p), x (p+1) := x (p) + d (p), pour p 0 Le vecteur x (0) est l approximation initiale, r (p) est le résidu, d (p) est la correction, e (p) := x x (p) est l erreur à l étape p La matrice B := M 1 N est la matrice d itération On dit que la méthode itérative est convergente si, pour tout b C n et tout choix de x (0), la suite (x (p) ) converge vers x := A 1 b 2 On dit qu une matrice A est normale si AA = A A

6 4 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES Exemple 12 Soit A := (a i,j ) une matrice carrée d ordre n et la décomposition A = D E F, où a 1,1 0 0 D := 0 0, 0 0 a n,n a 1,2 a 1,n a 2,1 0 0 E :=, F := 0 0 a n 1,n a n,1 a n,n On suppose que la matrice D est inversible, c est-à-dire On veut résoudre On a i 1 i n a i,i 0 a i,j x j = b i, 1 i n i 1 a i,j x j + a i,i x i + j=i+1 a i,j x j = b i, 1 i n On choisit d abord x (0) := (x (0) i ) 1 i n Méthode de Jacobi par points On définit une suite (x (p) ) par la récurrence soit x (p+1) i = 1 a i,i Ici on utilise la décomposition on définit la matrice d itération est ( j i a i,j x (p) j + b i ), 1 i n, x (p+1) = D 1 ((E + F )x (p) + b) A = D (E + F ), M := D et N := E + F ; J := D 1 (E + F ) Méthode de Gauss-Seidel par points On définit une suite (x (p) ) par la récurrence i a i,j x (p+1) j = a i,j x (p) j + b i, 1 i n, ou soit x (p+1) i = 1 ( a i,i i 1 j=i+1 a i,j x (p+1) j j=i+1 (D E)x (p+1) = F x (p) + b a i,j x (p) j + b i ), 1 i n,

7 1 MÉTHODES DE DÉCOMPOSITION 5 Ici on utilise la décomposition on définit la matrice d itération est A = (D E) F, M := D E et N := F ; L 1 := (D E) 1 F Méthode de relaxation par points Soit ω > 0 : on définit une suite (x (p) ) par la récurrence x (p+1) i = (1 ω)x (p) i + ω ( i 1 a i,j x (p+1) j a i,j x (p) j + b i ), 1 i n, a i,i soit ou ( 1 ω D E Ici on utilise la décomposition on définit la matrice d itération est j=i+1 (D ωe)x (p+1) = ((1 ω)d + ωf )x (p) + ωb, A = ) ( 1 ω x (p+1) = ω ( 1 ω D E ) D + F x (p) + b ) ( ) 1 ω ω D + F, M := 1 1 ω D E et N := ω ω D + F ; L ω := ( ) 1 ( ) 1 1 ω ω D E ω D + F Exemple 13 Soit A une matrice carrée d ordre n et n 1,, n m des entiers tels que n n m = n On note A 1,1 A 1,m A =, A m,1 A m,m où A k,l est une matrice (n k, n l ) Soit A 1,1 0 0 D := 0 0, 0 0 A m,m A 1,2 A 1,m A 2,1 0 0 Ẽ :=, F := 0 0 A m 1,m A m,1 A m,m

8 6 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES On suppose que la matrice D est inversible, c est-à-dire k 1 k m dét A k,k 0 Soit b := (b 1,, b m ) C n1 C nm On veut résoudre m A k,l x l = b k, 1 k m, l=1 avec x := (x 1,, x m ) C n1 C nm On choisit d abord x (0) := (x (0) k ) 1 k m Méthode de Jacobi par blocs On définit une suite (x (p) ) par la récurrence soit x (p+1) k = A 1 k,k Ici on utilise la décomposition on définit la matrice d itération est ( m l=1 l k A k,l x (p) l + b k ), 1 k m, x (p+1) = D 1 ((Ẽ + F )x (p) + b) A = D (Ẽ + F ), M := D et N := Ẽ + F ; J := D 1 (Ẽ + F ) Méthode de Gauss-Seidel par blocs On définit une suite (x (p) ) par la récurrence k m A k,l x (p+1) l = A k,l x (p) l + b k, 1 k m, ou soit x (p+1) k l=1 ( = A 1 k,k k 1 l=1 Ici on utilise la décomposition on définit la matrice d itération est l=k+1 A k,l x (p+1) k m l=k+1 ( D Ẽ)x(p+1) = F x (p) + b A = ( D Ẽ) F, M := D Ẽ et N := F ; L 1 := ( D Ẽ) 1 F A k,l x (p) l + b k ), 1 k m, Méthode de relaxation par blocs Soit ω > 0 : on définit une suite (x (p) ) par la récurrence ( k 1 m x (p+1) k = (1 ω)x (p) k +ωa 1 k,k A k,l x (p+1) l A k,l x (p) l +b k ), 1 k m, soit l=1 l=k+1 ( D ωẽ)x(p+1) = ((1 ω) D + ω F )x (p) + ωb,

9 1 MÉTHODES DE DÉCOMPOSITION 7 ou ( 1 ω D Ẽ Ici on utilise la décomposition on définit la matrice d itération est A = ) ( 1 ω x (p+1) = ω ( 1 ω D Ẽ ) D + F x (p) + b ) ( ) 1 ω ω D + F, M := 1 ω D 1 ω Ẽ et N := ω D + F ; L ω := ( ) 1 ( ) 1 ω D 1 ω Ẽ ω D + F Lemme 11 Soit A une matrice carrée d ordre n Les propriétés suivantes sont équivalentes : On a où (1) lim p Ap = 0, (2) ρ(a) < 1 Démonstration On suppose d abord que A est une matrice de Jordan : λ λ 1 A = J n (λ) := 0 λ λ On note Comme { i,j = 1 si j i = 1 0 sinon e (1) J n (λ) = λi n + E n, E n := et on démontre par récurrence sur p E p n = (e (p) i,j ) e (p+1) i,j = k=1 { i,j = 1 si j i = p 0 sinon e (p) e (1) i,k e(p) k,j = { e (p) i+1,j si i < n 0 si i = n,

10 8 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES Donc Par conséquent donc J n (λ) p = p n E p n = 0 p q=0 q=0 ( ) p λ p q En q q n 1 ( ) p = λ p q E q q n, si p n, lim J n(λ) p = 0 q 0 q < n p Pour q < n, ( ) p pq q q!, donc ( ) p si λ 1 alors lim λ p q = + p ( q ) p si λ < 1 alors lim λ p q = 0, p q lim p ( ) p λ p q = 0 q et par conséquent lim J n(λ) p = 0 λ < 1 p Dans le cas général, A est semblable à une matrice réduite de Jordan : il existe une matrice P inversible telle que A = P JP 1, avec J n1 (λ 1 ) 0 0 J := 0 0, 0 0 J nm (λ m ) où λ 1,, λ m sont les valeurs propres de A (avec répétitions) et J nk (λ k ) est une matrice de Jordan d ordre n k Comme A p = P J p P 1, on a lim p Ap = 0 lim J p = 0 p Et comme lim J p = 0 k 1 k m p on a d après l étude précédente lim J n p k (λ k ) p = 0, lim p Ap = 0 k 1 k m λ k < 1 Lemme 12 Soit A une matrice d ordre n Les propriétés suivantes sont équivalentes : (1) ρ(a) < 1 (2) Pour tout choix de x (0) la suite définie par (11) x (p+1) = Ax (p), p 0 converge vers 0

11 1 MÉTHODES DE DÉCOMPOSITION 9 Démonstration On choisit une norme sur C n et on note de la même manière la norme matricielle subordonnée On suppose ρ(a) < 1 D après le lemme 11, donc lim p Ap = 0, lim p Ap = 0 Soit x (0) C n et (x (p) ) la suite définie par (11) On a x (p) = A p x (0), donc et par conséquent x (p) A p x (0) lim p x(p) = 0 On suppose ρ(a) 1 Soit v un vecteur propre de A, associé à une valeur propre λ telle que λ 1 Soit x (0) := v et (x (p) ) la suite définie par (11) On a x (p) = λ p v, puis x (p) = λ p v, donc lim p x(p) 0 Proposition 12 Soit A une matrice inversible d ordre n et une décomposition A = M N, où M est une matrice inversible Les propriétés suivantes sont équivalentes (1) La méthode itérative associée à cette décomposition est convergente (2) ρ(m 1 N) < 1 Démonstration Soit e (p) := x x (p) l erreur à l étape p Comme Mx = Nx + b et Mx (p+1) = Nx (p) + b, on a donc le résultat se déduit du lemme 12 Me (p+1) = Ne (p), On caractérise la vitesse de convergence de méthodes itératives Ici est une norme sur C n et B est une matrice d itération Définition 12 Soit B une matrice On appelle : (1) B p le facteur de réduction de l erreur à l étape p, (2) B p 1/p le facteur moyen de réduction de l erreur à l étape p, ( (3) R p (B) := Ln B p 1/p) le taux moyen de convergence à l étape p

12 10 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES Si l on a e (p+1) = Be (p), alors Si de plus B p < 1, alors e (p) B p e (0) = ( B p 1/p) p e (0) p Ln α R p (B) e(p) α e (0) Proposition 13 Si la méthode de relaxation par points ou par blocs converge, alors 0 < ω < 2 Démonstration Si B est une matrice carrée d ordre n, de polynôme caractéristique P B, on a n P B (λ) = dét (B λi n ) = (λ i λ), où λ 1,, λ n sont les valeurs propres (non nécessairement distinctes) de B Donc n dét B = λ i En reprenant les notations des exemples 12 et 13, on a dét L ω = dét ( 1 ω ω D + F ) ( 1 ω ) n dét ( 1 ω D E) = ω dét D ( 1 ) n = (1 ω) n, ω dét D ( 1 ω dét L dét D ω + F ) ( 1 ω ) n ω = ( 1 dét D ) ω dét D = ω Ẽ ( 1 ) n = (1 ω) n ω dét D Le produit des valeurs propres de L ω et de L ω est donc égal à (1 ω) n Si la méthode de relaxation par points ou par blocs converge, alors i=1 1 ω n < 1, d après la proposition 12 : donc 0 < ω < 2 i=1 2 Matrices à diagonale dominante Définition 13 Une matrice carrée A d ordre n est réductible s il existe une matrice de permutation P σ telle que ( ) Pσ T B1,1 B AP σ = 1,2, 0 B 2,2 où B 1,1 et B 2,2 sont des matrices carrées d ordre < n Une matrice est irréductible si elle n est pas réductible Proposition 14 Une matrice carrée A d ordre n est réductible si et seulement s il existe une partition non triviale I J de l ensemble {1,, n} telle que (21) i I j J a i,j = 0

13 2 MATRICES À DIAGONALE DOMINANTE 11 Démonstration On suppose que A est une matrice réductible : il existe une matrice de permutation P σ associée à une permutation σ de {1,, n} telle que ( ) Pσ T B1,1 B AP σ = 1,2, 0 B 2,2 où B 1,1 est une matrice carrée d ordre j < n et B 2,2 est une matrice carrée d ordre n j Si on note P T σ AP σ = (b i,j ), on a Si b i,j = a σ(i),σ(j) = 0, si j + 1 i n et 1 j j I := σ({j + 1,, n}) et J := σ({1,, j }), I J est une partition non triviale de {1,, n} et a i,j = 0, si i I et j J Réciproquement, soit I J une partition non triviale de l ensemble {1,, n} vérifiant (21) : on note j le nombre d éléments de J Soit σ une permutation de {1,, n} telle que σ({j + 1,, n}) = I et σ({1,, j }) = J et soit P σ la matrice de permutation associée On note B := P T σ AP σ et B = (b i,j ) : on a b i,j = a σ(i),σ(j) = 0, si j + 1 i n et 1 j j, donc B = ( ) B1,1 B 1,2, 0 B 2,2 où B 1,1 est une matrice carrée d ordre j et B 2,2 est une matrice carrée d ordre n j Exemple 14 Soit et σ la permutation On a et Si I := {2} et J := {1, 3}, a 1,1 a 1,2 a 1,3 A = 0 a 2,2 0, a 3,1 a 3,2 a 3,3 i σ(i) P σ = , Pσ T AP σ = a 3,3 a 3,1 a 3,2 a 1,3 a 1,1 a 1,2 0 0 a 2,2 i I j J a i,j = 0

14 12 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES Définition 14 Soit A = (a i,j ) une matrice carrée d ordre n On dit qu elle a un graphe orienté fortement connexe si, pour tout couple (i, j) d indices, il existe une suite i 1,, i l d indices tels que (22) i 1 = i, i l = j et a i1,i 2 0, a i2,i 3 0,, a il 1,i l 0 (on peut se limiter à i j) Remarque 11 À une matrice carrée A d ordre n et un ensemble de points P 1,, P n de l espace, on associe un graphe orienté en reliant chaque point P i à tout point P j tel que a i,j 0 par un arc orienté P i P j Une suite P i1 P i2, P i2 P i3,, P il 1 P il est un chemin orienté de P i1 à P il Si A a un graphe orienté fortement connexe, alors pour tout ensemble de points P 1,, P n, et tout couple (P i, P j ), on peut relier P i à P j par un chemin orienté Réciproquement, si pour un ensemble de points P 1,, P n, on peut relier deux points quelconques P i et P j, par un chemin orienté, alors A a un graphe orienté fortement connexe (on peut se limiter à i j) Proposition 15 Une matrice carrée est irréductible si et seulement si elle a un graphe orienté fortement connexe Démonstration Soit A = (a i,j ) une matrice carrée irréductible d ordre n À tout indice i on associe I i l ensemble des indices j tels qu il existe une suite i 1,, i l d indices vérifiant (22) Soit i {1, 2,, n} ; comme A est irréductible, il existe un indice j tel que a i,j 0, donc I i On note J i := {1,, n} \ I i Si J i n est pas vide, on a une partition non triviale I i J i de l ensemble {1,, n} Soit i I i et j un indice : si a i,j 0 alors j I i Donc i I i j J i a i,j = 0, ce qui est impossible, d après la proposition 14 : donc J i est vide et I i = {1,, n} Comme cela est établi pour tout indice i, la matrice A a un graphe orienté fortement connexe Soit A = (a i,j ) une matrice carrée réductible d ordre n D après la proposition 14, il existe une partition non triviale I J de l ensemble {1,, n} vérifiant i I j J a i,j = 0 Soit (i, j) I J S il existe une suite i 1,, i l d indices vérifiant (22), alors de proche en proche i 1 I, i 2 I, i l I, ce qui est impossible Donc la matrice A n a pas un graphe orienté fortement connexe Définition 15 Soit A = (a i,j ) une matrice carrée d ordre n et Λ i := a i,j, 1 i n j i Les disques D i := {z C : z a i,i Λ i }, 1 i n sont appelés les disques de Gershgorin de la matrice A

15 2 MATRICES À DIAGONALE DOMINANTE 13 Proposition 16 Soit A une matrice carrée d ordre n et D 1, D 2,, D n ses disques de Gershgorin Alors toutes les valeurs propres de A appartiennent à D 1 D 2 D n Démonstration On note A = (a i,j ) ; soit λ une valeur propre de A et u un vecteur propre associé, tel que u = 1 Soit i un indice tel que u i = 1 Comme Au = λu, on a a i,j u j = λu i, donc par conséquent (λ a i,i )u i = a i,j u j, j i λ a i,i Λ i Exemple 15 Soit A = 0 1 1/2, Les disques de Gershgorin sont D 1 := {z C : z 2 1}, D 2 := {z C : z 1 1/2}, D 3 := {z C : z 3 1} et les valeurs propres de A sont λ 1 := 1, λ 2 := ı 2, λ 3 := ı 2 Voir Fig 1 Proposition 17 Soit A = (a i,j ) une matrice carrée irréductible d ordre n Si une valeur propre de A appartient à la frontière de la réunion des disques de Gershgorin, alors elle appartient à la frontière de tous les disques Démonstration Soit λ une valeur propre de A qui appartient à la frontière de la réunion des disques de Gershgorin ; on a i 1 i n λ a i,i Λ i Soit u un vecteur propre associé à λ, tel que u = 1 On note I := {i : 1 i n, u i = 1}, J := {i : 1 i n, u i < 1} L ensemble I n est pas vide et I J = Pour i I, Λ i λ a i,i = (λ a i,i )u i = a i,j u j a i,j u j j i j i a i,j = Λ i, j i

16 14 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES 1 0, ,5-1 donc Fig 1 Disques de Gershgorin et valeurs propres de la matrice A de l exemple 15 a i,j (1 u j ) = 0 j i Par conséquent j i a i,j (1 u j ) = 0, donc j J a i,j = 0 Si J n était pas vide, on aurait une partition non triviale I J de {1, n} telle que i I j J a i,j = 0, ce qui est impossible, d après la proposition 14 Donc I = {1,, n} et par conséquent i 1 i n λ a i,i = Λ i, ce que l on voulait démontrer Exemple 16 Soit A =

17 2 MATRICES À DIAGONALE DOMINANTE Fig 2 Disques de Gershgorin et valeurs propres de la matrice A de l exemple 16 C est une matrice irréductible Les disques de Gershgorin sont et les valeurs propres de A sont Voir Fig 2 D 1 := {z C : z 1}, D 2 := {z C : z 1 2}, D 3 := {z C : z 2 3} λ 1 := 1, λ 2 := 2 ı 2, λ 3 := 2 + ı 2 Définition 16 Soit A = (a i,j ) une matrice carrée d ordre n Elle est à diagonale dominante si i 1 i n a i,j a i,i j i Elle est à diagonale strictement dominante si i 1 i n a i,j < a i,i j i

18 16 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES Elle est à diagonale fortement dominante si elle est à diagonale dominante et i 1 i n a i,j < a i,i j i Exemple 17 Soit A := , B := , C := La matrice A est à diagonale dominante, la matrice B est à diagonale strictement dominante et la matrice C est à diagonale fortement dominante Proposition 18 Si une matrice carrée est à diagonale strictement dominante, ou si elle est irréductible et à diagonale fortement dominante, alors elle est inversible Démonstration Soit A = (a i,j ) une matrice carrée d ordre n Pour 1 i n, on note Λ i := a i,j j i et D i := {z C : z a i,i Λ i }, le disque de Gershgorin correspondant (1) On suppose que A est à diagonale strictement dominante Comme i 1 i n a i,i > Λ i, le nombre 0 n appartient à aucun disque D i : ce n est donc pas une valeur propre de A, d après la proposition 16 Donc A est inversible (2) On suppose que A est irréductible et à diagonale fortement dominante Comme i 1 i n a i,i Λ i, le nombre 0 n appartient à aucun disque ouvert D i Si 0 était une valeur propre de A, il appartiendrait à la réunion des disques D i, d après la proposition 16 ; donc il appartiendrait à la frontière de la réunion des D i Il appartiendrait alors à la frontière de chaque D i, d après la proposition 17 Mais comme i 1 i n a i,i > Λ i, le nombre 0 n appartient pas au disque fermé D i, donc il n appartient pas à sa frontière Donc 0 n est pas valeur propre de A et par conséquent A est inversible Exemple 18 On reprend les matrices de l exemple 17 La matrice A est irréductible et à diagonale dominante, mais n est pas inversible La matrice B est à diagonale strictement dominante, la matrice C est irréductible et à diagonale fortement dominante : les matrices B et C sont inversibles Remarque 12 Les éléments diagonaux d une matrice inversible à diagonale dominante ne sont pas nuls On peut donc utiliser les méthodes de Jacobi, Gauss- Seidel ou de relaxation par points

19 2 MATRICES À DIAGONALE DOMINANTE 17 Proposition 19 Soit A une matrice carrée à diagonale strictement dominante, ou bien irréductible et à diagonale fortement dominante Alors la méthode de Jacobi par points converge Démonstration Soit A = (a i,j ) : avec l une ou l autre hypothèse, la matrice A est inversible, d après la proposition 18 Pour 1 i n on note Λ i := a i,j j i On reprend les notations de l exemple 12 avec J = (b i,j ) Comme J := D 1 (E+F ), on a 0 si i = j, b i,j = a i,j sinon, donc a i,i b i,j = Λ i a i,i On suppose que A est à diagonale strictement dominante Alors donc i 1 i n Λ i < a i,i, i 1 i n b i,j < 1 Par conséquent ρ(j) J < 1, et la méthode converge On suppose que A est irréductible et à diagonale fortement dominante Alors i 1 i n Λ i a i,i et i 1 i n Λ i < a i,i La matrice J est également irréductible, d après la proposition 14 Comme i 1 i n b i,j 1, on a ρ(j) J 1 S il existe une valeur propre λ de J, de module égal à 1, on a i 1 i n λ = 1 b i,j = b i,j, donc λ n appartient à l intérieur d aucun disque de Gershgorin (de la matrice J) D après la proposition 16, λ appartient à la réunion de ces disques : il appartient donc à la frontière de la réunion des disques D après la proposition 17, il appartient alors à la frontière de chaque disque, qui sont alors confondus, de centre 0 : i 1 i n 1 = λ = b i,j j i j i

20 18 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES Donc i 1 i n a i,i = a i,j, j i ce qui est impossible Donc ρ(j) < 1 et la méthode converge Proposition 110 Soit A une matrice carrée à diagonale strictement dominante, ou bien irréductible et à diagonale fortement dominante Alors la méthode de Gauss-Seidel par points et la méthode de relaxation par points, avec 0 < ω 1 convergent Démonstration Soit A = (a i,j ) une matrice carrée d ordre n : avec l une ou l autre hypothèse, la matrice A est inversible, d après la proposition 18 On reprend les notations de l exemple 12 : soit 0 < ω 1 et ) 1 ( 1 ω On note alors L ω := ( 1 ω D E ω ) D + F L := D 1 E et U := D 1 F, L ω := (I n ωl) 1 ((1 ω)i n + ωu) On suppose qu il existe une valeur propre λ = re ıθ de L ω telle que r 1 : nécessairement λ 1 ω Soit P Lω le polynôme caractéristique de L ω : Si on a P Lω (x) = dét ((1 ω x)i n + ωxl + ωu) dét (I n ωl) ωλ α := 1 ω λ, β := ω 1 ω λ, (23) dét (I n αl βu) = 0 Et 0 < β 2 α 2 = ω 2 r 2 (1 ω) 2 + r 2 2(1 ω)r cos θ ω 2 r 2 (1 ω r) 2 1 Par ailleurs, I n L U = D 1 A On suppose que A est à diagonale strictement dominante La matrice I n L U = D 1 A est alors à diagonale strictement dominante, donc I n αl βu est aussi à diagonale strictement dominante D après la proposition 18, elle est donc inversible, ce qui contredit (23) On suppose que A est irréductible, à diagonale fortement dominante En utilisant la proposition 14, on en déduit que la matrice I n L U = D 1 A est irréductible, à diagonale fortement dominante, donc que I n αl βu est aussi irréductible, à diagonale fortement dominante D après la proposition 18, elle est donc inversible, ce qui contredit encore (23) Avec l une ou l autre hypothèse, on aboutit à une contradiction : donc ρ(l ω ) < 1 et la méthode converge

21 3 MATRICES HERMITIENNES DÉFINIES POSITIVES 19 Si x C n, on note 3 Matrices hermitiennes définies positives x 2 := x x Lemme 13 Soit A = (a i,j ) une matrice d ordre n hermitienne définie positive Alors (1) la matrice A est inversible et la matrice A 1 est hermitienne définie positive, (2) si 1 m n et 1 i 1 < i 2 < < i m n, la sous matrice (a i,j ) (i,j) {i1,i 2,,i m} 2 de A est hermitienne définie positive, (3) toutes les valeurs propres de A sont strictement positives, (4) tous les éléments diagonaux de A sont strictement positifs, (5) le déterminant de A est strictement positif, (6) on a (7) on a Démonstration (1) On a donc A est inversible Comme i, j a i,j max(a i,i, a j,j ), max a i,j = max a i,i 1 i,j n 1 i n Ax = 0 x Ax = 0 x = 0, (A 1 ) = (A ) 1 = A 1, la matrice A 1 est hermitienne Enfin, si x C n avec x 0, soit y := A 1 x On a y 0 et donc x A 1 x = y Ay > 0 (2) Soit A i1,i 2,,i m := (a i,j ) (i,j) {i1,i 2,,i m} 2 C est une matrice hermitienne : A i 1,i 2,,i m = (a j,i ) (i,j) {i1,i 2,,i m} 2 = (a i,j) (i,j) {i1,i 2,,i m} 2 = A i 1,i 2,,i m Si x C m avec x 0, soit y C n défini par { x k si i = i k {i 1, i 2,, i m }, y i = 0 sinon On a y 0, donc x A i1,i 2,,i m x = y Ay > 0 (3) Si x est un vecteur propre de A, associé à la valeur propre λ, Ax = λx x Ax = λ x 2 2 > 0 (4) Si {e (1), e (2),, e (n) } est la base canonique de C n, a i,i = e (i) Ae (i) > 0 (5) On le démontre par récurrence sur n : c est vérifié si n = 1 ; supposons le résultat établi pour n 1 Soit A une matrice d ordre n hermitienne définie positive La matrice A 1 = (α i,j ) est hermitienne définie positive, donc α 1,1 > 0 Si on écrit ( ) a1,1 A A = 1,2, A 2,1 A 2,2

22 20 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES alors A 2,2 est une matrice d ordre n 1 hermitienne définie positive, donc dét A 2,2 > 0 Comme α 1,1 = dét A 2,2 dét A, on a dét A > 0 (6) D après l inégalité de Cauchy-Schwarz, x, y C n donc en prenant x := e (i) et y := e (j), x Ay x Ax y Ay, a i,j a i,i aj,j max(a i,i, a j,j ) (7) résulte du (6) Proposition 111 Soit A une matrice carrée inversible, à diagonale dominante Si tous les éléments de la diagonale de A sont des réels strictement positifs, alors toute valeur propre de A a une partie réelle strictement positive Démonstration Soit A = (a i,j ) Pour 1 i n, on note Λ i := a i,j, D i := {z C : z a i,i Λ i } Comme j i le disque D i est inclus dans le demi-plan a i,i Λ i, {z C : Ré z 0}, et ne peut couper l axe Ré z = 0 qu au point 0 Donc, si λ est une valeur propre de A, comme λ 0, on a Ré λ > 0 Corollaire Soit A une matrice hermitienne inversible, à diagonale dominante Alors A est définie positive si et seulement si tous ses éléments diagonaux sont strictement positifs Démonstration La condition est nécessaire d après le lemme 13 Réciproquement, si on suppose que tous les éléments diagonaux de la matrice A sont strictement positifs, alors toute valeur propre de A a une partie réelle strictement positive Soit λ une valeur propre de A et u un vecteur propre associé : Mais donc λ est réelle Au = λu u Au = λu u u Au = (u Au) = u Au, Exemple 19 Soit A := , B := 1 3 0, C := La matrice A est hermitienne à diagonale strictement dominante ; ses éléments diagonaux sont strictement positifs, donc elle est définie positive

23 3 MATRICES HERMITIENNES DÉFINIES POSITIVES 21 La matrice B est hermitienne irréductible et à diagonale fortement dominante ; ses éléments diagonaux sont strictement positifs, donc elle est définie positive La matrice C est hermitienne irréductible et à diagonale dominante ; ses éléments diagonaux sont strictement positifs, mais elle n est pas définie positive : elle n est pas inversible Proposition 112 Soit A une matrice hermitienne inversible et A = M N une décomposition de A, avec M une matrice inversible ; soit B := M 1 N On suppose que la matrice M + M A est hermitienne définie positive Alors les propriétés suivantes sont équivalentes : donc (1) la matrice A est hermitienne définie positive, (2) ρ(b) < 1 Démonstration Soit x C n et y := Bx On a On en déduit x y = x M 1 Nx = M 1 (M N)x = M 1 Ax, (M A)(x y) = A(x M 1 Ax) = Ay x Ax y Ay = (x y )Ax + y A(x y) = (x y )M(x y) + (x y )(M A)(x y) = (x y )(M + M A)(x y) On suppose que A est hermitienne définie positive Soit λ une valeur propre de B, et x un vecteur propre associé Si y := Bx = λx, on a (1 λ 2 )x Ax = 1 λ 2 x (M + M A)x Comme M 1 Ax 0, on a λ 1, donc 1 λ 2 > 0 Par conséquent ρ(b) < 1 On suppose que ρ(b) < 1 Si A n était pas hermitienne définie positive, il existerait x (0) C n \ {0} tel que x (0) Ax (0) 0 Soit (x (p) ) la suite définie par x (p+1) = Bx (p), p 0 et ξ (p) := x (p) Ax (p), p 0 Comme 1 n est pas valeur propre de B, x (0) x (1) On a ξ (0) 0 et, d après le lemme 12, la suite (ξ (p) ) converge vers 0 Mais, on a ξ (0) ξ (1) = (x (0) x (1) )(M + M A)(x (0) x (1) ) > 0, ξ (p) ξ (p+1) = (x (p) x (p+1) )(M + M A)(x (p) x (p+1) ) 0, p > 0 On aboutit à une contradiction : donc A est hermitienne définie positive

24 22 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES Remarque 13 On utilise le lemme 13 Les éléments diagonaux d une matrice hermitienne définie positive sont strictement positifs : on peut donc utiliser les méthodes de Jacobi, Gauss-Seidel ou de relaxation par points Toutes les sous-matrices diagonales d une matrice hermitienne définie positive sont des matrices hermitiennes définies positives, donc inversibles : on peut donc utiliser les méthodes de Jacobi, Gauss-Seidel ou de relaxation par blocs On reprend les notations de l exemple 12 Corollaire 1 Soit A une matrice hermitienne inversible (1) Si la matrice D est inversible et si la matrice 2D A est hermitienne définie positive, alors la méthode de Jacobi par points converge si et seulement si A est hermitienne définie positive (2) Si la matrice D est inversible et si la matrice 2 D A est hermitienne définie positive, alors la méthode de Jacobi par blocs converge si et seulement si A est hermitienne définie positive Démonstration Pour la méthode de Jacobi par points, M := D, donc M + M A = 2D A Pour la méthode de Jacobi par blocs, M := D, donc M+M A = 2 D A donc Corollaire 2 Soit A une matrice hermitienne inversible et 0 < ω < 2 (1) Si la matrice D est hermitienne définie positive, alors la méthode de Gauss-Seidel ou de relaxation par points converge si et seulement si A est hermitienne définie positive (2) Si la matrice D est hermitienne définie positive, alors la méthode de Gauss-Seidel ou de relaxation par blocs converge si et seulement si A est hermitienne définie positive Démonstration (1) Pour la méthode de relaxation par points, M := 1 ω D E, M + M A = 1 ω D E + 1 ω D E (D E E ) = 2 ω ω D (2) Pour la méthode de relaxation par blocs, donc M := 1 ω D Ẽ, M + M A = 1 ω D Ẽ + 1 ω D Ẽ ( D Ẽ Ẽ ) = 2 ω ω Corollaire 3 Soit A une matrice hermitienne définie positive et 0 < ω < 2 La méthode de Gauss-Seidel ou de relaxation par points et la méthode de Gauss-Seidel ou de relaxation par blocs convergent Démonstration Cela résulte du lemme 13 et du corollaire précédent D

25 3 MATRICES HERMITIENNES DÉFINIES POSITIVES 23 Exemple 110 On veut résoudre numériquement l équation de Poisson : 2 u x 2 (x, y) 2 u y 2 (x, y) = f(x, y), 0 < x < l x, 0 < y < l y, u(x, 0) = u(x, l y ) = 0, 0 < x < l x, u(0, y) = u(l x, y) = 0, 0 < y < l y On approche u(x, y) par une méthode de différences finies Soit n x, n y des entiers, On note x := l x n x + 1 et y := l y n y + 1 x i := i x, 0 i n x + 1, y j := i y, 0 j n y + 1, n := n x n y On cherche u i,j, 0 i n x + 1, 0 j n y + 1 tels que u i,j soit proche de u(x i, y j ) quand x et y sont suffisamment petits Ils sont déterminés par le système linéaire de n équations à n inconnues : u i 1,j + 2u i,j u i+1,j x 2 + u i,j 1 + 2u i,j u i,j+1 y 2 (31) = f(x i, y j ), 1 i n x, 1 j n y, u i,0 = u i,ny+1 = 0, 0 i n x + 1, u 0,j = u nx+1,j = 0, 0 j n y + 1 L erreur du schéma est d ordre O( x 2 ) + O( y 2 ) On choisira f(x, y) := π 2( 1 l ) ( πx ) ( πy ) x l 2 sin sin y l x l y alors ( πx ) ( πy ) u(x, y) = sin sin l x l y On prendra l x = 1, l y = 1 La solution u est représentée sur la Figure 3 On compare l efficacité des méthodes de Jacobi, Gauss-Seidel et sur-relaxation pour la résolution du système (31) Pour cela on calcule, en fonction de l itération, le facteur de réduction de la norme euclidienne du résidu par rapport à la norme euclidienne du résidu initial On partira du vecteur initial nul On choisira le paramètre de sur-relaxation ω = 1, 5 (1) On choisit n x = n y = 5 On a tracé sur la Figure 4 le facteur de réduction des méthodes de Jacobi, Gauss-Seidel et sur-relaxation en fonction de l itération, jusqu a 25 itérations Pour la dernière itération, le facteur de réduction vaut 0, 140 pour la méthode de Jacobi, 0, pour la méthode de Gauss-Seidel, pour la méthode de sur-relaxation (2) On choisit n x = n y = 10 On a tracé sur la Figure 5 le facteur de réduction des méthodes de Jacobi, Gauss-Seidel et sur-relaxation en fonction de l itération, jusqu a 100 itérations Pour la dernière itération, le facteur de réduction vaut

26 24 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES 0 0,2 0,4 y 0,6 0, ,2 0,6 x 0,4 0,8 1 Fig 3 Solution exacte de l équation de Poisson 0, 113 pour la méthode de Jacobi, 0, pour la méthode de Gauss-Seidel, 0, pour la méthode de sur-relaxation (3) On choisit n x = n y = 20 On a tracé sur la Figure 6 le facteur de réduction des méthodes de Jacobi, Gauss-Seidel et sur-relaxation en fonction de l itération, jusqu a 100 itérations Pour la dernière itération, le facteur de réduction vaut 0, pour la méthode de Jacobi, 0, pour la méthode de Gauss-Seidel, 0, pour la méthode de sur-relaxation 4 M-matrices Définition 17 Soit A = (a i,j ) et B = (b i,j ) deux matrices (m, n) On note A B si i 1 i m j 1 j n a i,j b i,j Si A 0, on dit que A est positive ou nulle On note A > B si i 1 i m j 1 j n a i,j > b i,j Si A > 0, on dit que A est strictement positive

27 4 M-MATRICES ,8 0,6 0,4 0, Fig 4 Facteur de réduction de la norme euclidienne du résidu sur un maillage 5 5 : méthode de Jacobi (trait pointillé), méthode de Gauss-Seidel (trait interrompu), méthode de sur-relaxation (trait plein) On note A la matrice (m, n) d éléments a i,j Lemme 14 Si A est une matrice carrée d ordre n, irréductible et positive ou nulle, alors (I n + A) n 1 > 0 Démonstration Il suffit de prouver x R n, x 0, x 0 (I n + A) n 1 x > 0 Soit x R n, x 0, x 0 On définit x (0) := x et On a x (p+1) = (I n + A)x (p), p 0 x (p+1) i = x (p) i + a i,j x (p) j x (p) i, donc le nombre de coordonnées non nulles de x (p) croît avec p On suppose que x (p) et x (p+1) ont le même nombre m < n de coordonnées non nulles Il existe alors une

28 26 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES 1 0,8 0,6 0,4 0, Fig 5 Facteur de réduction de la norme euclidienne du résidu sur un maillage : méthode de Jacobi (trait pointillé), méthode de Gauss-Seidel (trait interrompu), méthode de sur-relaxation (trait plein) matrice de permutation P σ telle que ( ) Pσ T x (p) ξ (p) = 0 ( et Pσ T x (p+1) ξ (p+1) = 0 ), où ξ (p) R m, ξ (p) > 0 et ξ (p+1) R m, ξ (p+1) > 0 On a En écrivant P T σ x (p+1) = P T σ (I n + A)P σ P T σ x (p) = (I n + P T σ AP σ )P T σ x (p) P T σ AP σ = ( ) B1,1 B 1,2, B 2,1 B 2,2 où B 1,1 est une matrice carrée d ordre m, on obtient ( ) ( ) ( ) ξ (p+1) ξ (p) B1,1 ξ = + (p) 0 0 B 2,1 ξ (p), donc B 2,1 ξ (p) = 0 puis B 2,1 = 0 : c est impossible car la matrice A est irréductible Le nombre de coordonnées non nulles de x (p) est donc une fonction strictement croissante de p, d où le résultat

29 4 M-MATRICES ,8 0,6 0,4 0, Fig 6 Facteur de réduction de la norme euclidienne du résidu sur un maillage : méthode de Jacobi (trait pointillé), méthode de Gauss-Seidel (trait interrompu), méthode de sur-relaxation (trait plein) Proposition 113 (Perron-Frobenius) Soit A une matrice carrée irréductible et positive ou nulle (1) La matrice A a une valeur propre strictement positive, égale à son rayon spectral (2) Il existe un vecteur propre strictement positif associé à cette valeur propre (3) Si B est une matrice carrée de même taille que A, telle que B A, alors ρ(b) ρ(a) Démonstration On note A = (a i,j ) Soit x R n tel que x 0 et x 0 On définit { 1 } r A,x := min a i,j x j : 1 i n, x i 0, On a x i ρ A,x := sup{ρ 0 : ρx Ax} i 1 i n r A,x x i a i,j x j,

30 28 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES donc r A,x x Ax et par conséquent r A,x ρ Ax Inversement, si ρx Ax, on a i 1 i n ρx i a i,j x j, donc i 1 i n x i 0 ρ 1 n a i,j x j, x i par conséquent ρ r A,x, donc ρ A,x r A,x Finalement r A,x = ρ A,x On définit r A := sup{r A,x : x R n, x 0, x 0} Soit une norme sur R n Si on a e T = ( 1 1 ), { n } r A,e = min a i,j : 1 i n > 0, car A est irréductible, donc r A > 0 On remarque ensuite α > 0 r A,x = r A,αx, donc r A = sup{r A,x : x R n, x 0, x = 1} Soit r A := sup{r A,y : y = (I n + A) n 1 x, x R n, x 0, x = 1} On a évidemment r A r A Soit x R n, x 0, x = 1 : de r A,x x Ax on déduit r A,x (I n + A) n 1 x A(I n + A) n 1 x Si y := (I n + A) n 1 x on a r A,x y Ay, donc r A,x r A,y r A, et par conséquent r A r A Finalement r A = r A L ensemble K := {y = (I n + A) n 1 x : x R n, x 0, x = 1} est un compact de R n, inclus dans {y R n : y > 0}, d après le lemme 14 L application y {y R n : y > 0} r A,y (0, + ) est continue : elle atteint donc son maximum sur K Donc z > 0 r A,z = r A et par conséquent r A z Az Supposons x R n, x 0, x 0 Alors donc il existe ε > 0 tel que i 1 i n r A x i < r A x < Ax a i,j x j, (r A + ε)x < Ax,

31 4 M-MATRICES 29 et alors r A + ε r A,x r A, qui est impossible Soit z R n, z > 0 tel que r A,z = r A Si on a Az r A z, comme Az r A z 0, on a, d après le lemme 14 donc, en posant x := (I n + A) n 1 z, (I n + A) n 1 (Az r A z) > 0, x > 0 et Ax > r A x, ce qui est impossible, donc Az = r A z Cela prouve que z est un vecteur propre de A, associé à la valeur propre r A Soit B = (b i,j ) une matrice carrée d ordre n telle que B A Soit λ une valeur propre de B et x un vecteur propre associé Comme λx = Bx, on a donc Donc λ x B x A x, λ r A, x r A ρ(b) r A, x r A ρ(a) En choisissant B = A, on a donc ρ(a) = r A : cela finit la démonstration Corollaire Soit A une matrice carrée positive ou nulle (1) La matrice A a une valeur propre positive ou nulle, égale à son rayon spectral (2) Il existe un vecteur propre positif ou nul associé à cette valeur propre Démonstration Soit (A p ) une suite de matrices carrées irréductibles, positives ou nulles telle que p q A A q A p et lim p A p = A Soit une norme sur R n Pour tout entier p, la matrice A p a une valeur propre λ p > 0 égale à son rayon spectral et un vecteur propre associé v p > 0, tel que v p = 1 On a p q ρ(a) λ q λ p, donc la suite (λ p ) converge vers un nombre λ ρ(a) La suite (v p ) est une suite bornée de vecteurs strictement positifs : on peut en extraire une sous-suite qui converge vers un vecteur v 0 Comme p N A p v p = λ p v p, on a Av = λv Donc λ est une valeur propre de A, par conséquent λ = ρ(a) Et v est un vecteur propre associé à λ Définition 18 Une matrice carrée A d ordre n est monotone si x R n Ax 0 x 0 Proposition 114 Une matrice carrée A est monotone si et seulement si elle est inversible et la matrice A 1 est positive ou nulle

32 30 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES Démonstration Soit A une matrice carrée d ordre n monotone Pour x R n tel que Ax = 0, on a A( x) = 0, donc Ax 0 et A( x) 0, ce qui entraîne x 0 et x 0, donc x = 0 : la matrice A est inversible Pour 1 j n, on note e j le j-ième vecteur de la base canonique de R n et α j la j-ième colonne de la matrice A 1 On a et comme α j = A 1 e j Aα j = e j 0, on a α j 0 Donc la matrice A 1 est positive ou nulle Soit A une matrice carrée d ordre n inversible telle que A 1 0 Pour x R n tel que Ax 0 on a x = A 1 Ax 0 Donc A est monotone Définition 19 Une matrice carrée A = (a i,j ) d ordre n est une L-matrice si (1) i 1 i n a i,i > 0, (2) i, j 1 i, j n, i j a i,j 0 Proposition 115 Toute L-matrice inversible à diagonale dominante est monotone Démonstration Soit A = (a i,j ) une L-matrice inversible, à diagonale dominante Soit ε > 0 Soit x R n tel que (A + εi n )x 0 et i un indice tel que On a Comme ( n j i ) a i,j + a i,i + ε x i x i = min 1 j n x j a i,j x j + a i,i x i + εx i 0 j i a i,j + a i,i 0, j i on en déduit x i 0 Donc x 0 Cela prouve que la matrice A+εI n est monotone : elle est donc inversible et (A + εi n ) 1 0 On a (A + εi n ) 1 1 = dét (A + εi n ) BT ε, où B ε est la comatrice de A + εi n Donc l application est continue Par conséquent, et A est monotone ε [0, + ) (A + εi n ) 1 R n2 A 1 = lim ε 0 (A + εi n ) 1 0

33 4 M-MATRICES 31 si Définition 110 Une matrice carrée A = (a i,j ) d ordre n est une M-matrice (1) elle est monotone, (2) i, j 1 i, j n, i j a i,j 0 Remarque 14 Toute L-matrice inversible, à diagonale dominante est une M-matrice Toute M-matrice est une L-matrice En effet, soit A une M-matrice d ordre n, e T := ( 1 1 ) et x := A 1 e On a x 0 et Ax > 0 Pour tout i, 1 i n, a i,j x j > 0, donc a i,i x i > 0, puis a i,i > 0 Proposition 116 Soit A = (a i,j ) une matrice carrée d ordre n, telle que i, j 1 i, j n, i j a i,j 0 Alors A est une M-matrice si et seulement s il existe x R n tel que x > 0 et Ax > 0 Démonstration On note e T := ( 1 1 ) On suppose d abord que A est une M-matrice Soit x := A 1 e : on a x 0 et Ax > 0 On note A 1 = (α i,j ) 0 Si l on avait x i = 0, alors α i,j = 0, donc j 1 j n α i,j = 0, ce qui est impossible : donc x > 0 On suppose maintenant qu il existe x R n tel que x > 0 et Ax > 0 Soit x D := x n On a D 0 et, si B := AD = (b i,j ), On a Be = ADe = Ax > 0 : i, j 1 i, j n, i j b i,j 0 i 1 i n b i,j > 0, i=1

34 32 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES donc i 1 i n b i,i > 0 et b i,i > b i,j Par conséquent B est une L-matrice à diagonale strictement dominante (donc inversible) : B est monotone On en déduit B 1 0, donc A est inversible et A 1 = DB 1 0 : par conséquent A est monotone, donc A est une M-matrice Corollaire Soit A une M-matrice d ordre n et n 1,, n m des entiers tels que n n m = n On note A 1,1 A 1,m A =, A m,1 A m,m où A k,l est une matrice (n k, n l ) et A 1,1 0 0 D := 0 0, 0 0 A m,m A 1,1 0 0 A 1,1 A 1,m Q := 0, R := 0 A m,1 A m,m 0 0 A m,m Alors les matrices D, Q et R sont des M-matrices Démonstration Comme les éléments non diagonaux de A sont négatifs ou nuls, les éléments non diagonaux de D, Q et R sont également négatifs ou nuls Soit x R n tel que x > 0 et Ax > 0 On écrit On a x = Dx = x 1 x m j i, où x 1 R n1,, x m R nm A 1,1 x 1 A m,m x m De même Qx Ax > 0 et Rx Ax > 0 m A 1,l x l l=1 = Ax > 0 m A m,l x l Définition 111 On appelle matrice de Stieltjes d ordre n une matrice carrée A = (a i,j ) d ordre n, symétrique définie positive telle que l=1 i, j 1 i, j n, i j a i,j 0

35 4 M-MATRICES 33 Proposition 117 Soit A = (a i,j ) une matrice symétrique d ordre n, telle que i, j 1 i, j n, i j a i,j 0 Alors A est une matrice de Stieltjes si et seulement si c est une M-matrice Démonstration On suppose d abord que A est une M-matrice D après la proposition 116, il existe x R n tel que x > 0 et Ax > 0 Soit x D := x n et B := AD On a vu dans la démonstration de la proposition 116 que B est une L-matrice à diagonale strictement dominante, donc DAD est aussi une L- matrice à diagonale strictement dominante C est donc une matrice symétrique définie positive d après le corollaire de la proposition 111 Donc A est une matrice symétrique définie positive On suppose maintenant que A est une matrice symétrique définie positive Soit x R n, x 0 tel que Ax 0 On décompose x = x x, où x i = { x i si x i > 0 0 sinon, On a x T Ax 0 et aussi x T Ax = a i,j x i x j = = = i, x i = { x i si x i < 0 0 sinon a i,j x i (x j x j ) + i, ( n ) x i a i,j x j + i=1 x i (Ax) i + i=1 a i,j x i x j i, i j a i,j x i x j i, ( n ) x i a i,j x j 0, i=1 donc x T Ax = 0, par conséquent x = 0, donc x 0 Cela prouve que la matrice A est une matrice monotone, donc c est une M-matrice Définition 112 Soit A une matrice carrée La décomposition A = M N est dite régulière si M est monotone et N 0, faiblement régulière si M est monotone et M 1 N 0, positive ou nulle si M est inversible et M 1 N 0, Remarque 15 Toute décomposition régulière est faiblement régulière et toute décomposition faiblement régulière est positive ou nulle Lemme 15 Soit A une matrice carrée d ordre n Les propriétés suivantes sont équivalentes : (1) ρ(a) < 1, (2) la série ( A p ) converge j i

36 34 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES Quand A les vérifie, on a A p = (I n A) 1 p=0 Démonstration On suppose que ρ(a) < 1 : alors 1 n est pas valeur propre de A, donc I n A est inversible D après le lemme 11, la suite (A p ) converge vers 0 Soit p S p := A p On a et q=0 (I n A)S p = I n A p+1, donc S p = (I n A) 1 (I n A p+1 ) Soit une norme sur R n : donc (I n A) 1 S p = (I n A) 1 A p+1 (I n A) 1 S p (I n A) 1 A p+1, lim p q=0 p A q = (I n A) 1 Réciproquement, si la série ( A p ) converge, la suite (A p ) converge vers 0, donc ρ(a) < 1 d après le lemme 11 Proposition 118 Soit A une matrice carrée d ordre n et A = M N une décomposition positive ou nulle : on note B := M 1 N Les propriétés suivantes sont équivalentes : (1) ρ(b) < 1, (2) la matrice I n B est monotone, (3) la matrice A est inversible et A 1 N 0, (4) la matrice A est inversible et ρ(b) = ρ(a 1 N) 1 + ρ(a 1 N) Quand elles sont vérifiées, la méthode itérative associée à la décomposition est convergente Démonstration On suppose que ρ(b) < 1 D après le lemme 15, la matrice I n B est inversible et (I n B) 1 = B p, p=0 donc (I n B) 1 0 : I n B est monotone On suppose que I n B est monotone Comme la matrice A est inversible et A = M(I n B), A 1 N = (I n B) 1 B 0

37 4 M-MATRICES 35 On suppose que A est inversible et A 1 N 0 Comme I n B = M 1 A, la matrice I n B est inversible, donc 1 n est pas valeur propre de B La matrice B est positive ou nulle : d après le corollaire de la proposition 113, ρ(b) est une valeur propre de B (donc ρ(b) 1) et il existe un vecteur x 0, tel que Bx = ρ(b)x Comme A 1 N = (I n B) 1 B on a A 1 Nx = ρ(b) 1 ρ(b) x 0, donc ρ(b) 1 ρ(b) 0, Par conséquent, ρ(b) < 1, donc, d après le lemme 15, ( A 1 N = B p) B = B p p=0 On en déduit en utilisant la proposition 11 et le corollaire de la proposition 113 : ρ(a 1 N) = ρ(b) p = ρ(b) 1 ρ(b), donc p=1 p=1 ρ(b) = ρ(a 1 N) 1 + ρ(a 1 N) On suppose que la matrice A est inversible et On a donc ρ(b) < 1 ρ(b) = ρ(a 1 N) 1 + ρ(a 1 N) Remarque 16 Si A est une L-matrice, ses éléments diagonaux sont strictement positifs : on peut donc utiliser les méthodes de Jacobi, Gauss-Seidel ou de relaxation par points Si A est une M-matrice, la matrice D est une M-matrice d après le corollaire de la proposition 116 : on peut donc utiliser les méthodes de Jacobi, Gauss-Seidel ou de relaxation par blocs On reprend les notations de l exemple 12 Corollaire 1 Si A est une M-matrice, alors la méthode de Jacobi par points et la méthode de Jacobi par blocs convergent Démonstration Pour la méthode de Jacobi par points, Pour la méthode de Jacobi par blocs, M := D et N := E + F M := D et N := Ẽ + F Dans les deux cas, M est une M-matrice et N 0, donc la décomposition est régulière La matrice A est inversible et A 1 N 0, donc la méthode converge

38 36 1 MÉTHODES ITÉRATIVES DE RÉSOLUTION DE SYSTÈMES LINÉAIRES Corollaire 2 Soit A une M-matrice et 0 < ω 1 Alors la méthode de Gauss- Seidel ou de relaxation par points et la méthode de Gauss-Seidel ou de relaxation par blocs convergent Démonstration Pour la méthode de relaxation par points, M := 1 1 ω D E et N := ω ω D + F Pour la méthode de relaxation par blocs, M := 1 ω D 1 ω Ẽ et N := ω D + F En utilisant la proposition 116, on montre que dans les deux cas M est une M- matrice De plus N 0, donc la décomposition est régulière La matrice A est inversible et A 1 N 0, donc la méthode converge

39 CHAPITRE 2 Méthodes du gradient et du gradient conjugué On veut résoudre un système linéaire Ax = b, où A est une matrice réelle symétrique définie positive d ordre n On construit une suite de vecteurs (x (p) ) p 0 qui converge vers la solution : x (p+1) := x (p) + α p d (p) Le vecteur d (p) est la direction de descente à l étape p Ce vecteur d (p) et α p sont calculés pour minimiser une fonctionnelle Le vecteur est le résidu à l étape p On a r (p) := b Ax (p) r (p+1) := b Ax (p+1) = b Ax (p) α p Ad (p) = r (p) α p Ad (p) On notera x la solution du système et e (p) := x x (p) l erreur à l étape p Le produit scalaire euclidien dans R n et la norme associée sont notés (x y) := y T x = x T y, x 2 := (x x) On note de même le produit scalaire hermitien dans C n et la norme associée : (x y) := y x = x y, x 2 := (x x) Si M est une matrice réelle symétrique définie positive d ordre n, on utilise également le produit scalaire et la norme (x y) M := y T Mx, x M := (x x) M Si M est une matrice hermitienne définie positive d ordre n, on note de même le produit scalaire et la norme (x y) M := y Mx, x M := (x x) M 1 Méthodes de descente Dans la suite, est une norme sur C n, et on note de la même manière la norme matricielle subordonnée Mx M := max x C n x x 0 En particulier on s intéresse à la norme euclidienne/hermitienne 2 37

40 38 2 MÉTHODES DU GRADIENT ET DU GRADIENT CONJUGUÉ Définition 21 Soit M une matrice inversible On appelle conditionnement de M pour la norme le nombre On note cond(m) := M M 1 cond 2 (M) := M 2 M 1 2 Remarque 21 (1) Comme x = MM 1 x, on a donc cond(m) 1 (2) Si α C \ {0}, x x M M 1 x, cond(αm) = α M 1 α M 1 = cond(m) Définition 22 Soit M une matrice (m, n) On appelle valeurs singulières de M les racines carrées des valeurs propres de la matrice carrée d ordre n hermitienne semi-définie positive M M Remarque 22 Si M est une matrice carrée hermitienne semi-définie positive, ses valeurs singulières sont ses valeurs propres Proposition 21 Soit M une matrice inversible d ordre n de valeurs singulières 0 < µ n µ n 1 µ 1 Alors cond 2 (M) = µ 1 µ n Démonstration Comme M est inversible, la matrice M M est hermitienne définie positive : x 0 Mx 0 x M Mx = Mx 2 2 > 0, donc toutes les valeurs propres de M M sont strictement positives On a x M Mx, x x Mx M 2 = max 2 x C n x x 0 2 = max x C n x 0 M 1 M 1 y 2 = max 2 y C n y 2 y 0 = max x C n x 0 x 2 Mx 2 = max x C n x 0 x x x M Mx Soit v 1, v 2,, v n une base orthonormée de vecteurs propres de M M : Si on a v i v j = δ i,j 1 i, j n et M Mv i = µ 2 i v i, 1 i n x = M Mx = x j v j, x j µ 2 jv j,

41 1 MÉTHODES DE DESCENTE 39 donc On en déduit d où le résultat x M Mx = µ 2 j x j 2 et x x = M 2 = max x C n x 0 M 1 2 = max x C n x 0 ( n ) 1/2 µ 2 j x j 2 x j 2 ( n ) 1/2 = µ 1, x j 2 ( n ) 1/2 x j 2 ( n ) 1/2 = µ 2 j x j 2 1 µ n, Corollaire Soit M une matrice hermitienne définie positive d ordre n de valeurs propres 0 < λ n λ n 1 λ 1 Alors cond 2 (M) = λ 1 λ n Si cond 2 (M) = 1, alors M n a qu une seule valeur propre λ et M = λi n On supposera dans la suite cond 2 (A) > 1 Lemme 21 Soit M une matrice hermitienne définie positive d ordre n de valeurs propres 0 < λ n λ n 1 λ 1 Alors pour tout x 0, λ n x 2 2 x 2 M λ 1 x 2 2 Démonstration Soit v 1, v 2,, v n une base orthonormée de vecteurs propres de M : Si x = x j v j, on a Mx = donc λ n x 2 2 = λ n n x j 2 x j λ j v j, λ j x j 2 = x Mx λ 1 n x j 2 = λ 1 x 2 2, d où le résultat