ENSI 98 - Filière MP - MATHÉMATIQUES 2 Thème : Pseudo-inverse d une matrice - Méthode des moindres carrés discrets PARTIE I - CONSTRUCTION D UNE MATRICE INVERSE A GAUCHE On suppose dans cette partie que m > n et que rg A = n 1 Propriété d inversibilité et de transposition a) L existence de solution pour l équation A x = b résulte de l hypothèse b Im A et l unicité du fait que A est injective puisque dim (Ker A) = dim E rg A = n n = 0 b) La matrice B = t AA est identifiée à un endomorphisme de l espace vectoriel euclidien E = R n dans lequel la base canonique est orthonormale Ainsi, vérifier que l endomorphisme canoniquement associé à B est symétrique revient à vérifier que la matrice B est symétrique, ce qui est immédiat puisque t B = t( t AA ) = t AA = B Pour montrer que B est inversible, il suffit de montrer que B est injective, c est à dire que Ker B = {0 E } En effet, soit x Ker B : on a Bx = 0, d où t x ( t AA)x = 0, donc A x 2 = t (A x) (A x) = 0, d où A x = 0 F et finalement x = 0 E puisque A est injective c) Important : le résultat de cette question est valable aussi bien pour m > n que pour m n Soit y F y Ker t M t My = 0 E x E, t x( t My) = 0 x E, t (Mx)y = 0 z Im M, (z y) F = t zy = 0 y = (Im M) Ainsi Ker t M = (Im M) En remplaçant M par t M (et en échangeant m et n), on obtient Ker M = (Im t M), donc (Ker M) = Im t M 2 Détermination d une inverse à gauche de A a) Lorsque y F, le vecteur b = P y Im A : d après 1a, il existe un unique x E tel que A x = b = P y On définit donc ainsi une application A (g) : y x de F vers E Vérifions que (y, y ) F 2, λ R, A (g) (λ y + y ) = λ A (g) y + A (g) y En effet, en notant x = A (g) y et x = A (g) y, on a par définition : P y = A x et P y = A x, donc P (λ y + y ) = λ P y + P y = λ A x + A x = A(λx + x ) Comme λ y + y Im A, on a, par définition de A (g) : A (g) (λ y + y ) = λ x + x, donc A (g) (λ y + y ) = λ A (g) y + A (g) y b) Vérifions que par double implication que A x = P y t AA x = t A y Si A x = P y, sachant que y P y (Im A), alors y A x Ker t A, donc t A(y A x) = 0 E, d où t AA x = t A y Si t AA x = t A y, alors t A (y A x) = 0 E, donc z = y A x Ker t A = (Im A) Ainsi l égalité y = A x + z est une décomposition de y sur Im A (Im A) qui montre que P y = A x Donc y F, x E, x = A (g) y t AA x = t A y x = ( t AA ) 1 t A y, donc A (g) = ( t AA ) 1 t A M98PM2C : Page 1
c) y F, P y = A A (g) y, donc P = A A (g) = A ( t AA ) 1 t A Remarque : Ker A (g) = (Im A) En effet y Ker A (g) A (g) y = 0 A A (g) y = 0 P y = 0 y Ker P = (Im A) 3 Propriétés de A (g) Unicité a) On a A (g) A = ( t AA ) 1 t AA = I n En particulier A (g) A est surjective, donc A (g) : F E est nécessairement surjective, donc a aussi rg A (g) = dim F dim (Ker A (g) ) = dim F dim (Im A) = dim (Im A) = n rg A (g) = dim E = n On b) Si m = n, c est à dire dim E = dim F, puisque A est injective par hypothèse, alors elle est bijective dans ce cas En composant à droite l égalité A (g) A = I n par A 1, on obtient que A (g) = A 1 c) On suppose que B M n,m vérifie BA = I n et que AB est un projecteur orthogonal En particulier BA est surjective, donc B est surjective : ainsi Im (AB) = (AB)(E) = A ( B(E) ) = A(E) = Im A Donc AB est le projecteur orthogonal sur Im A Donc z (Im A), AB z = 0 et comme A est injective, on a bien : z (Im A), B z = 0 Soit y F Il se décompose en y = v + z avec v Im A et z (Im A) Alors B y = B v + B z = B v = BP y = BA x = x = A (g) y, donc B = A (g) Bilan : Lorsque A est injective, parmi toutes les inverses à gauche B M n,m de A (ie BA = I n ), il en existe une et une seule de sorte que AB soit un projecteur orthogonal : il s agit de A (g) 4 Exemples a) Comme rg A = n, les a i sont non nuls On les suppose orthogonaux Alors le coefficient d indice (i, ) de la matrice-produit t AA est égal à t AA est donc égale à la matrice diagonale Diag( a 1 2,, a n 2 ) t Ainsi A (g) = ( t AA ) 1 t A = Diag ( a 1 1 a 1,, 1 ) 2 a 1 2 = t a n t a 1 a 1 2 n a ji a j = (a i a ) = δ i a i 2 j=1 t a n a n 2 A (g) = t A i [[1; n]], a i 2 = 1 les vecteurs-colonnes de A sont orthonormés dans F b) Pour b vecteur non nul de F = R m, on note abusivement b l application linéaire s s b de R vers F qui est représentée par la matrice unicolonne (b) identifiée à b En appliquant ce qui précède avec ici n = 1, on obtient que b (g) = t b b 2 M98PM2C : Page 2
Ainsi la forme linéaire b (g) est caractérisée par : y F, b (g) y = t b y b 2 = (b y) F (b b) F 5 Description d une méthode de détermination de A (g) a) On a F 1 = F 0 + Rδ avec δ / F 0, donc d δ Ainsi d = δ d est un vecteur non nul de F 1 et est orthogonal à F 0, d où F 1 = F 0 Rd Donc F = F1 F 1 = F 0 Rd F 1, ce qui montre que F 0 = Rd F 1 Tout vecteur y de F se décompose de façon unique sous la forme y = y 0 + α y d + y 1 avec y 0 F 0, α y R, y 1 F 1 Puisque α y d représente la projection orthogonale de y sur la droite Rd, on sait que α y d = (d y) F d 2 d Puisque P 0 y = y 0 et P 1 y = y 0 + α y d, alors P 1 y = P 0 y + 1 d 2 (d y) F d On remarque que α y d = 1 d 2 ( t dy)d = 1 d 2 d t dy = d d (g) y Donc P 1 y = P 0 y + d d (g) y et P 1 = P 0 + d d (g) b) Pour = 1 n, notons F = Im A le sous-espace vectoriel de F engendré par la famille (libre) (a 1,, a ) et par P la projection orthogonale dans F sur F Comme a / F 1 pour 2 n, en considérant d = a P 1 a et en appliquant le résultat du 5a, on a : P = P 1 + d d (g) Or d après 2c, P = A A (g), d où l égalité (1) A A (g) = A 1 A (g) 1 + d d (g) Il y a donc une erreur dans l énoncé En outre, d = ( I m A 1 A (g) 1) a c) Le produit matriciel A (g) A = I effectué par blocs donne les égalités suivantes : C A 1 = I 1, C a = 0, t γ A 1 = 0, t γ a = 1 Vérifions d abord l affirmation de l énoncé selon laquelle γ Im A = F En effet A (g) = ( t A A ) 1 t A, donc ( t C, γ ) = t A (g) = A B avec B = ( t A A ) 1 symétrique d ordre n En écrivant B sous la forme (B 1, x ) avec x E, on obtient γ = A x Im A = F Puisque t γ A 1 = 0, en transposant, on trouve que t A 1 γ = 0, donc γ Ker t A 1 = (Im A 1 ) = F 1 D autre part d F et d F 1 Ainsi γ et d sont tous deux dans F F 1 qui est de dimension 1, donc γ et d sont colinéaires : µ R / γ = µ d Or 1 = t γ a = t γ (d + d ) = t γ d car (d d ) = 0, donc t γ d = (γ, d ) = 0 On trouve donc que 1 = µ t d d = µ d 2, d où γ = d d 2 d) L égalité (1) donne : A 1 C + a t γ = A 1 A (g) 1 + d d (g) et aussi t γ = d (g) En composant à gauche par A (g) 1 et sachant que A(g) 1 A 1 = I m et que A (g) 1 d = 0 puisque d (Im A 1 ) = Ker A (g) [ ] [ ] d après la remarque du 2c, on obtient : C = A (g) 1 I m + d d (g) a t γ = A (g) 1 I m a d (g) 1 M98PM2C : Page 3
En conclusion, les formules de récurrence ci-dessus permettent de déduire la matrice A (g) L initialisation de l algorithme de calcul de A (g) = A (g) n est immédiate puisque A 1 = a 1, donc A (g) 1 = PARTIE II - CONSTRUCTION D UNE MATRICE INVERSE A DROITE On suppose ici que m < n et que rg A = m = dim F, c est à dire que A est surjective 1 Détermination d une inverse à droite M m, à partir de A (g) t a 1 a 1 2 a) Soit y F et x un antécédent de y par A x se décompose en x = x 1 + x avec x 1 Ker A et x (Ker A) On a alors y = A x = A x, ce qui prouve l existence d un antécédent de y dans (Ker A) Supposons que y = A x avec x (Ker A) Alors A (x x ) = 0 F, donc x x Ker A (Ker A), d où x = x, ce qui prouve l unicité d antécédent de y dans (Ker A) De plus si y = A z, en décomposant z en z + z avec z Ker A et z (Ker A), alors y = A z = A z, d où par unicité z = x et z 2 = z 2 + x 2 x 2, donc x z, donc x est un antécédent de y de norme minimum Si l on suppose que y = A z et z = x, alors z 2 = 0, donc z = 0, c est à dire z = x, ce qui prouve l unicité d antécédent de y dans E de norme minimum b) Vérifions que l application A (d) de F ver E est linéaire En notant x = A (d) y et x = A (d) y, alors A (λ x + x ) = λ A x + A x = λ y + y Comme λ x+x (Ker A), on a par définition de A (d), λ x+x = A (d) (λ y+y ) Ainsi A (d) (λ y + y ) = λ A (d) y + A (d) y y F, A (d) y = x et A x = y, donc AA (d) y = y, c est à dire AA (d) = I m 2 Propriétés de A (d) a) Comme AA (d) est injective, nécessairement A (d) est injective et donc rg A (d) = m b Notons Q = A (d) A Alors Q 2 = A (d) AA (d) A = A (d) I m A = A (d) A = Q, ce qui prouve que Q est un projecteur de E x Ker Q A (d) A x = 0 E A x = 0 F x Ker A puisque A (d) est injective, donc Ker Q = Ker A Or Im Q = Im (A (d) A) Im A (d) (Ker A) = (Ker Q), ce qui suffit pour affirmer que : Q est le projecteur orthogonal sur (Ker A) c) Lorsque m = n, on conclut de même qu au I3b que A (d) = A 1 d) L égalité AA (d) = I m donne immédiatement en transposant : t (A (d) ) t A = I m D autre part, puisque Q = A (d) A est un projecteur orthogonal, on sait qu il est symétrique, donc t Q = Q Or t Q = t A t (A (d) ) En considérant A = t A dont le rang est aussi égal à m et B = t (A (d) ), on est dans les conditions d application du résultat d unicité obtenu au I3c (en inversant les rôles de E et F ) puisque A est injective, B A = I m et que A B est un projecteur orthogonal On en déduit que t (A (d) ) = B = A (g) = ( t A A ) 1 t A = (A t A) 1 A En transposant, sachant que t (M 1 ) = ( t M) 1, on obtient que A (d) = t A (A t A) 1 1 M98PM2C : Page 4
PARTIE III - GÉNÉRALISATION 1 Pseudo inverse d une matrice rectangulaire a) D après le théorème fondamental d isomorphisme, on sait que V induit un isomorphime R de tout supplémentaire de Ker V sur Im V, ce qui s applique en particulier à (Ker V ) Ainsi R 1 est un isomorphisme de Im V sur (Ker V ) On rappelle qu une application linéaire est entièrement déterminée par ses restrictions à deux sous-espaces supplémentaires { y Im V, W y = R Considérons l application W de F vers E déterminée par : 1 y z (Im V ), W z = 0 F Il est clair que W est linéaire Vérifions que W satisfait aux quatre conditions de l énoncé Ker W = (Im V ) On a déjà (Im V ) Ker W Réciproquement, soit x Ker W x se décompose en y + z avec y Im V et z (Im V ) Alors 0 = W x = W y + W z = W yr 1 y, d où y = 0 et donc x = z (Im V ) Im W = (Ker V ) On a déjà Im W Im R 1 = (Ker V ) De plus dim (Im W ) = dim F dim (Ker W ) = dim F dim (Im V ) = dim (Im V ) = n dim (Ker V ) = dim (Ker V ) W V = Q Soit x E : il se décompose en x = x 1 + x 2 avec x 1 Ker V et x 2 (Ker V ) Alors W V x = W V x 2 = R 1 V x 2 car V x 2 Im V Comme x 2 (Ker V ), V x 2 = R x 2 et ainsi W v x = R 1 R x 2 = x 2 = Qx V W = P Soit y F : il se décompose en y = y 1 + y 2 avec y 1 Im V et y 2 (Im V ) Alors W y = W y 1 + W y 2 = R 1 y 1 par définition de W Ainsi V W y 1 = V R 1 y 1 = RR 1 car R 1 y 1 (Ker V ) Donc V W y = RR 1 y 1 = y 1 = Qy c) En outre y F, W V W y = QW y = W y car W y Im W = (Ker V ) = Im Q, donc W y est invariant par le projecteur Q Ceci montre que W V W = W Soit W une application linéaire de F vers E vérifiant : W V = Q, V W = P, W V W = W Montrons que W = W en considérant leurs restrictions à Im V et (Im V ) Soit y Im V Considérons x = R 1 y : on a y = V x et x (Ker V ) = Im Q, donc Qx = x Ainsi W y = W V x = Qx = x = R 1 y = W y Soit z (Im V ) Alors z Ker P et W z = W V W z = W P z = W 0 = 0 = W z d) Cas particuliers Si r = n, alors V est injective, donc Ker V = {0 E } et Q = I n Ainsi W V = I n et V W = P est un projecteur orthogonal, donc d après l unicité obtenue au I3c, nécessairement W = V (g) Si r = m, alors V est surjective, donc P = I m En transposant les égalités V W = I m et W V = Q pour se ramener à l unicité de l inverse à gauche vérifiant la condition de I3c, on montrerait de même qu au II2d que W est nécessairement égal à V (d) 2 Propriétés M98PM2C : Page 5
D après II1b, V + vérifie les deux propriétés suivantes : Ker V + = (Im V ) et Im V + = (Ker V ) Pour montrer que (V + ) + = V, il suffit de vérifier les trois propriétés caractéristiques suivantes : i) V (V + ) est la projection orthogonale sur (Ker V + ) dans F ii) (V + )V est la projection orthogonale sur (Im V + ) dans E iii) V (V + )V = V i) résulte du fait que V (V + ) est la projection orthogonale sur Im V et que Im V = (Ker V + ) ii) résulte du fait que (V + )V est la projection orthogonale sur (Ker V ) et que (Ker V ) = Im V + iii) est vérifiée car x E, V (V + )V x = P V x = V x car V x Im V = Im P On rappelle que les projecteurs orthogonaux P et Q sont symétriques On a : i) t (V + ) t V = t (V V + ) = t P = P projection orthogonale sur Im V = (Ker t V ) ii) t V t (V + ) = t (V + V ) = t Q = Q projection orthogonale sur (Ker V ) = Im t V iii) t (V + ) t V t (V + ) = t (V + ) en transposant l égalité V + V V + = V + Ces trois conditions permettent de conclure, grâce à l unicité obtenue au c) que ( t V ) + = t (V + ) M98PM2C : Page 6
PARTIE IV - APPLICATION NUMÉRIQUE Posons y i = f(t i ) pour i = 1 m et considérons le polynôme (d interpolation de Lagrange) L de degré m 1 déterminé par les conditions : i [[1; m]], L(t i ) = y i 1 L ensemble { n N / (x 0, x 1,, x n ) R n+1 / ( y i Elle admet donc un plus petit élément p qui vérifie donc p m 1 Ainsi le problème posé a une solution 2 Il est facile de vérifier que l application (P, Q) P, Q = La quantité ( y i n ) 2 } x t i ε est une partie non vide de N contenant m 1 =0 p ) 2 x t i s interprête alors comme étant L P 2 avec P = =0 P (t i ) Q(t i ) est un produit scalaire sur R m 1 [X] p x X A p fixé, on sait que cette quantité admet un minimum lorsque P est la projection orthogonale de L sur le sous espace vectoriel R p [X] Pour obtenir ce polynôme P de degré p réalisant ce minimum, cherchons les points critiques de la fonction ( F : (x 0, x 1,, x p ) F (x 0,, x p ) = yi x 0 x 1 t 1 x t i x p t p ) 2 i Or F x (x 0,, x p ) = 2 t i [ yi x 0 x 1 t 1 x j t j i x p t p ] i Les points critiques sont solutions du système (S p ) des (p + 1) équations aux (p + 1) inconnues x 0,, x p suivant : m m Pour = 0, 1,, p, x 0 t i + + x j + + x p t +p i = t i y i noté β 1 t 1 t m 1 1 1 t 2 t m 1 2 Considérons la matrice carrée d ordre m (de Vandermonde) A = t +j i 1 t m t m 1 m Comme les t i sont deux à deux distincts, elle est de rang m Notons A p la matrice de type (m, p + 1) constituée des p + 1 premières colonnes de A Avec ces notations, on remarque (!!!) qu en notant b p le vecteur de R p+1 de composantes β 0,, β p et y le vecteur de R m de composantes (y 1,, y m ), alors b p = t A p y et que le coefficient d indice (, j) (0 p, 0 j p) du système (S p ) est égal au coefficient de même indice du produit matriciel t A p A p Ainsi le système (S p ) est de la forme t A p A p X p = t A p y Comme rg A p = p + 1, la matrice t A p A p est inversible d après le I1b, donc (S p ) a une solution unique : le seul point critique de F est donc le point en lequel F présente un minimum En notant P p la projection orthogonale sur Im A p, on a vu au I2b que (S p ) est équivalent à A p X p = P p y, donc à : X p = A (g) p y =0 M98PM2C : Page 7
L algorithme demandé utilise celui du calcul de proche en proche des A p (g) obtenu à la fin de la partie I Initialisation : p = 0, A (g) t A 0 0 = A 0 2 = 1 m (1,, 1) et X 0 = (x 0 ) avec x 0 = 1 y i m ( p ) 2 Boucle : Tant que y i x t i > ε faire : =0 Début : p p + 1 Déduire A (g) p de A (g) p 1 en utilisant les formules de récurrence du I5 Calculer x 0,, x p sachant que X p = A p (g) y Fin Retourner p et (x 0,, x p ) Fin du corrigé M98PM2C : Page 8