Rappels sur les matrices

Rang d une matrice et espace vectoriel Rappels sur les matrices Notation Soit une matrice réelle. Nous utiliserons la notation suivante: C() = L'espace vectoriel engendré par les colonnes de. N() = le noyau de = {x x = } n() = la dimension de N() ' = la transposée de. e = un vecteur colonne dont toutes les composantes sont égales à. e i = un vecteur colonne dont toutes les composantes sont nulles sauf la i e qui est égale à. Définition. Une matrice symétrique (nn) est dite définie positive si et seulement si pour tout vecteur x n, on a x'x > à moins que x =. Elle est semi définie positive si et seulement si pour tout vecteur x n, on a x'x. Remarque Toute matrice qui peut s écrire sous la forme = B B est semi-définie positive: x'x = x'b'bx pour tout x, puisque x'b'bx = (Bx)'(Bx) est la somme des carrés des composantes de Bx. Définition.2. La trace d'une matrice carrée = (a ij ) est la somme des éléments de la diagonale: Proposition. i) tr(b) = tr(b) ii) tr(') tr( ) = iii) tr(') = ' = =. Démonstration Exercice a i ii Définition.3 Le rang d'une matrice, noté r(), est la dimension de C() [qui est égale aussi à la dimension de C(')]. Proposition.2. r(b) r(), r(b) r(b). Démonstration. Les colonnes de B sont des combinaisons linéaires des colonnes de. Donc C(B) C() dim{c(b)} dim{c()} r(b) r(). Par le même argument, r(b'') r(b'), ce qui est équivalent à r(b) r(b), puisque r(b'') = r(b) et r(b') = r(b) Définition.4 Si est une matrice n n et x = x, x et un scalaire, on dit que est une valeur propre de et x un vecteur propre correspondant à la valeur propre.

2 Chapitre I Matrices Chaque valeur propre est solution de l'équation -I n =. Il y a donc au plus n valeurs propres distinctes de, puisque - I n est un polynôme de degré n en. Définition.5 Si est un sous-espace vectoriel de n, alors le complément orthogonal de dans n est défini comme l'ensemble des vecteurs x n qui sont orthogonaux à tous les vecteurs dans : = {x n x'y = y } Définition.6 Si et B sont deux espaces vectoriels, alors la somme + B est définie comme l'ensemble de tous les vecteurs de la forme a + b, a, b B: + B = {a + b a, b B} La notation remplace + lorsque et B satisfont B= {}. Remarques. i) Si est un sous-espace vectoriel de n, alors n =. ii) Le complément orthogonal de C() est N('): C() = N('). Donc si a n lignes, alors n = C()C() = C()N('). iii) Si est nq, alors n = dim{c()} + dim{n(')} = r() + n('). Proposition.3 Soit une matrice nq. lors r() = r(') = r(') = r('). Démonstration de r() = r(') Selon la proposition.2, r() r(') et il reste donc à montrer que r() r('), ce qui est équivalent à n(') n(') puisque, d'après la dernière remarque, n = r() + n(') = r(') + n('). Pour montrer que n(') n('), nous montrerons que N(') N('), c està-dire, que x = pour tout x N( ). Soit x N(') x = x''x = 'x = x N('). Donc N(') N('), et c'est ce qu'il fallait démontrer. Définition.7 Une matrice nr est dite de rang plein si et seulement si r() = r, c'est-à-dire, si et seulement si ses colonnes sont linéairement indépendantes. Proposition.4 Si une matrice nr est de rang plein, alors elle a une inverse à gauche, c'est-à-dire, il existe une matrice nr B telle que I r = B', l'identité d'ordre r. Démonstration. Les lignes de sont des vecteurs à r composantes qui engendrent un espace dans R r de dimension r(') = r() = r. Donc les lignes de engendrent r. Pour i =,..., r, soit e i = (,,...,,,..., ) un vecteur r dont les composantes sont toutes nulles sauf la i e, qui est. lors e i est com- lundi, mars 4, 2 2 REGMatricesH

Chapitre Matrices 3 binaison linéaire des lignes de, c'est-à-dire, il existe un vecteur ligne b i tel que e i = b i. En prenant pour B la matrice dont les colonnes sont les b i, le système d'équations e i = b i s'écrit, sous forme matricielle, comme B' = I r, ce qu'il fallait démontrer Proposition.5 Si est de rang plein, alors r(c) = r(c). Démonstration. Puisque est de rang plein, il existe par la proposition.4, une matrice B telle que B' = I r, où r = r(). Utilisant la proposition.2, nous avons r(c) r(b'c) = r(c) r(c) r(c) = r(c). En particulier, si est une matrice carrée non-singulière, r(c) = r(c). Proposition.6 Soit une matrice m n de rang r. lors il existe des matrices de rang plein B (mr) et C (nr) telles que = BC'. Démonstration. Soit B une matrice m r dont les colonnes forment une base pour C(). lors chaque colonne de peut être exprimée comme une combinaison linéaire des colonnes de B. Si a i est la i e colonne de, alors il existe un vecteur c i tel que a i = Bc i. Ces équations peuvent s'écrire sous la forme = BC', où C est la matrice dont les colonnes sont les c i. Puisque B et C ont chacune r colonnes, elles ne peuvent être de rang supérieur à r. Elles ne peuvent être de rang inférieur à r non plus, puisque d'après la proposition.2, r = r() = r(bc ) r(b) et r = r() r(c'). Donc B et C sont toutes deux de rang r. Proposition.7 Toute valeur propre non nulle de B est une valeur propre de B (en d autres termes, B et B ont les mêmes valeurs propres non nulles.) Démonstration Soit une valeur propre non nulle de B et x un vecteur propre correspondant. On a donc que Bx = x BBx = Bx, ce qui signifie que Bx est un vecteur propre de B correspondant à la valeur propre Définition.8 Les valeurs singulières d une matrice sont les racines carrées des valeurs propres non nulles de (et donc aussi les valeurs propres non nulles de, d après la proposition.7) 2 Matrices idempotentes et projecteurs Définition 2. Une matrice est dite idempotente si 2 =. Proposition 2. Soit est une matrice idempotente, 2 =, de rang r, et soit = BC', où B et C sont de rang plein. lors B'C = C'B = I r Démonstration. Puisque B et C sont de rang plein, par la proposition.4, il existe une matrice U et une matrice V telles que U'B = I r et V'C = I r. lors 2 = BC' BC' = BC' U'BC' BC'V = U'BC'V I r C'BI r = I r I r C'B = I r. En transposant les deux membres de la dernière égalité, on obtient le résultat B'C = I r. REGMatricesH 3 4/3/

4 Chapitre I Matrices Proposition 2.2 Si est une matrice idempotente de rang r, alors r = tr(). Démonstration. Selon la proposition.7 il existe des matrices de rang plein B et C telles que = BC' et B'C = C'B = I r. lors tr() = tr( 2 ) = tr( BC' BC') = tr(c'bc'b) = tr(i r I r ) = tr(i r ) = r = r() Proposition 2.3 Si est une matrice idempotente, alors ses valeurs propres sont ou. Démonstration. Soit une valeur propre non nulle de et x un vecteur propre correspondant. lors x = x 2 x = x x = (x) x = 2 x (- )x = = ou Proposition 2.4 (Théorème de Cochran). Soit = +... + k. lors les deux propositions suivantes sont équivalentes: (i) 2 = et r() = i r( i ) (ii) 2 i = i pour tout i et i j = pour i j. Démonstration Par la proposition.6, il existe des matrices B i et C i telles que i = B i C i', où B i et C i ont r i = r( i) colonnes et sont de rang r i. Soit B = [B,..., B k ], et C = [C,..., C k ]. lors = i = B i C i '= BC' où B et C ont r i colonnes. Nous démontrons d'abord que (i) (ii). Supposons que (i) est vrai. lors r(b) = r() car d'une part r(b) r i et i r i = r() par hypothèse, et d'autre part r() r(b) par la proposition.2. De même r(c) = r(). Donc B et C sont de rang plein. Par la proposition.7, C'B = I, c'est-à-dire, ' C ' C 2 B ' C k B2 Bk ' C B = ' C kb ' C B k = I ' CkBk d'où C i 'B i = I et C i 'B j = i 2 = B i C i 'B i C i '= B i C i ' = i et i j = B i C i 'B i C i ' =. Réciproquement, (ii) 2 =( i i ) 2 = i i 2 + ij i i = i i 2 = i i = et r() = tr() = tr( i i ) = i tr( i ) = i r( i ) 3 Triangularisation de diagonalisation Transformée de Householder Définition 3. Une matrice réelle carrée P est dite orthogonale si et seulement si P'P = I. Ceci entraîne que PP' = I. Remarque. Une matrice orthogonale est une transformation rigide, c'est-à-dire, elle préserve les longueurs et les angles: Px = x et le produit scalaire entre Px et Py est égal au produit scalaire lundi, mars 4, 2 4 REGMatricesH

Chapitre Matrices 5 entre x et y. Définition 3.2 Soit u un vecteur tel que u'u =. La matrice H = I - 2uu' est appelée transformée de Householder. Remarque La transformée de Householder est orthogonale et symétrique. H = I - 2uu' a l'effet d'une réflexion par rapport à l'espace des vecteurs orthogonaux à u: si x = x + x 2, où x 2 = u et x u, alors Hx = x - x 2. Proposition 3. Soit x n un vecteur tel que x'x =. lors il existe une transformée de Householder H = I - 2uu' dont la première colonne est x. Démonstration. Il faut que la première colonne de H = I -2uu' soit égale à x = (x,..., x n )' : Les solutions sont 2 u x -2uu 2 = x 2 2uu x k - k u u2 = u k u ( x) / x2 / 2u xk / 2u lors il est aisé de montrer que u u = et donc que H = I - 2uu' avec u' = (u,...,u n ) est une transformée de Householder avec première colonne x 2 Proposition 3.2 Soit une matrice réelle n n. lors il existe une matrice orthogonale P telle que P'P = T où T est une matrice triangulaire: t T = t 2 n t22 t2n t t nn Démonstration. Soit une valeur propre de et x un vecteur propre correspondant tel que x'x = : x = x. Par la proposition, il existe une transformation de Householder H telle que x = He, où e ' = (,,..., ). lors x = x He = He H'He = H'He = e. Ce dernier énoncé montre que H'H peut s'écrire sous la forme suivante: H H = a ' REGMatricesH 5 4/3/

6 Chapitre I Matrices Par le même argument, il existe une transformée de Householder H telle que Soit lors G'H'HG est de la forme H H = a ' 2 2 ' G = H ' G H HG = * * a 3' 2 où * dénote une composante quelconque (nulle ou non). On vérifie aisément que la matrice G'H' est orthogonale. Ce procédé peut être appliqué jusqu'à ce que la matrice soit triangularisée Proposition 3.3 Si est une matrice réelle symétrique, alors il existe une matrice orthogonale P telle que P P = 2 Démonstration. Par la proposition 3.2, il existe une matrice orthogonale P telle que P'P est triangulaire. Mais si est symétrique, alors P'P l'est aussi, ce qui entraîne que P'P est en fait diagonale Proposition 3.4 Si est une matrice symétrique et P est une matrice orthogonale telle que D = P'P est diagonale, alors les valeurs propres de sont les éléments de la diagonale de D et les vecteurs propres correspondants sont les colonnes de P. Démonstration. Exercice Proposition 3.5 Une matrice réelle symétrique est définie positive si et seulement si ses valeurs propres sont toutes positives; et elle est semi définie positive si et seulement si ses valeurs propres sont toutes non négatives. Démonstration. Soit une matrice réelle symétrique. lors il existe une matrice P orthogonale telle que P P = D, où D =. Nous allons démontrer la première affirmation. Supposons que n est définie positive. lors x x > pour tout x. Soit x = Pe i. lors x x = e i De i = i >. Puisque ceci est vrai pour tout i, nous avons montré que si est définie positive, alors i > pour i. Inversement, supposons que i > pour tout i. lors n x x = x PP PP x = y Dy (où y = P x) = n i i y i 2 >. lundi, mars 4, 2 6 REGMatricesH

Chapitre Matrices 7 Remarque Si est une matrice réelle symétrique de rang r n, alors = PDP, où P est une matrice n r telle que P P = I r et D est une matrice r r diagonale dont les éléments de la diagonale sont les valeurs propres non nulles de. Proposition 3.6 Si est une matrice réelle symétrique et définie positive, alors il existe une matrice non-singulière et symétrique E telle que = E 2 ; et il existe une matrice non-singulière et symétrique C telle que C'C = I. Démonstration. Dans la décomposition P'P = D = PDP, définissons la matrice diagonale D ½ dont les éléments de la diagonale sont les racines carrées des éléments de D. On a alors = PDP' = PD ½ D ½ P' = PD ½ P'PD ½ P' = E 2 où E = PD ½ P'. Ensuite, nous avons C'C = I avec C = C' = PD -½ P' 4 Matrices idempotentes et projecteurs Proposition 4. Soit = où et 22 sont carrées. Le déterminant de est alors donné par: = 22-2 2 = 22-2 2 Démonstration. Nous utiliserons le fait que B au produit des déterminants. 22 2 2 22 = C et que le déterminant d'un produit est égal C Puisque I 2 I I 2 =, on a = 2 I 2 22 I = 2 2 I 2 22 = 22 2 2 2 = 22-2 2 On démontre la deuxième inégalité en multipliant à droite par Proposition 4.2 Soit = 2 2 22 où et 22 sont carrées. lors I 2 I - = 2 22. 2 22. 2 2 22. 22. =. 2. 2 222 22 2. 2 22 22 2. 2 222 REGMatricesH 7 4/3/

8 Chapitre I Matrices où.2 = - 2 2 et 22. = 22-2 2 22 Démonstration. Il suffit de vérifier que le produit - donne bien la matrice identité. Proposition 4.3 Soit une matrice réelle nn nonsingulière et u un vecteur n telle que -uu soit non singulière. lors (-uu ) - - - uu' = u' u - - uu' Démonstration. Il suffit de vérifier que le produit (-uu ) donne bien la matrice u' u identité. lundi, mars 4, 2 8 REGMatricesH