Meilleure pproximtion dns un EVMPS Moindres crrés Meilleure pproximtion Définition. Soit V un EVMPS, W un sous-espce quelconque de V, et u un vecteur quelconque de V. On ppelle meilleure pproximtion de u pr un vecteur de W, un vecteur de W à distnce minimum de u. Théorème. L meilleure pproximtion de u pr un vecteur de W est le vecteur p projection orthogonle de u sur W. Pr. Soit p := proj W ( u). On montre que u p < u w w W, w p. Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL On, pour tout w W, w p u w = ( u p) + ( p w) Or ( u p) est pr définition de p orthogonl à W, et ( p w) W. On obtient donc pr le théorème de Pythgore générlisé : u w = ( u p) + ( p w) > ( u p) Meilleure pproximtion d une fonction pr un polynôme Donné : Un intervlle [, b et une fonction f définie sur cet intervlle. f : [, b R On supposer ici que f est un polynôme de degré très grnd : f(t) = + t +... + r t r, r Cherché : L meilleure pproximtion ˆp(t) de f pr un polynôme de degré m petit, p(t) = b + b t +... + b m t m, m r Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 3
Principe des moindres crrés : On définir l meilleure pproximtion (comme l fit Guss), comme celle qui minimise b e (t)dt := b l somme des crrés des écrts. (f(t) ˆp(t)) dt Munissnt P r du produit sclire on constte que b f, g = b f(t)g(t)dt (f(t) ˆp(t)) dt = (f(t) ˆp(t)), (f(t) ˆp(t)) = f(t) ˆp(t) + f(t) - + e(t) ^ p(t) - + - b Ainsi le problème devient : Dns le sous-espce P m de P r, déterminer le polynôme ˆp(t) se trouvnt à distnce minimum de f(t), donc, pr le théorème de l meilleure pproximtion, Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Démrche : ˆp(t) = proj Pm f(t). Déterminer, à l ide du procédé de Grm-Schmid, une bse orthonormée de P m, soit. L meilleure pproximtion est BON = {v (t), v (t),..., v m (t)} ˆp(t) = proj Pm f(t) = f(t), v (t) v (t) +... + f(t), v m (t) v m (t) Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 6 Remrque. Soit ˆp k (t) l meilleure pproximtion de f(t) dns P k. Alors ˆp (t) = f(t), v (t) v (t) et pour tout k, < k r, ˆp k (t) = ˆp k (t) + f(t), v k (t) v k (t) On peut donc clculer de mnière itértive une meilleure pproximtion de plus en plus fine. Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 7
Exemple. Dns P muni du produit sclire p, q = p(t)q(t)dt déterminer une bse orthonormée à prtir de l bse cnonique BC = { u (t) = t, u (t) = t, u (t) = t }. u (t) = dt = d où v (t) = u (t) u (t) =. proj P u (t) = u (t), v (t) v (t) = w (t) = u (t) proj P u (t) = t w (t) = ( (t ) dt = = v (t) = 3 ( t dt ) = ) w (t) w (t) = 3(t ) Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 8 Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 9 3. proj P u (t) = u (t), v (t) v (t) + u (t), v (t) v (t) = 3 + 3 3(t ) = 6 + t w (t) = u (t) proj P u (t) = t (t 6 ) w (t) = (t t + 6 ) dt = v (t) = 8 = ( ) 6 w (t) w (t) = 6 ( 6 t + t ) En résumé, Bse de déprt : BC = { u (t) = t, u (t) = t, u (t) = t }.8.6.....6.8 Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL
Bse orthonormée : BON = {v (t), v (t), v (t)} { =, 3(t ), 6 ( } 6 t + t ) Déterminons successivement les meilleures pproximtions dns [, de f(t) = t + t 3 pr des polynômes de P, P, P et P 3. -...6.8 ˆp (t) = proj P f(t) = f(t), v (t) v (t) ( ) = ( t + t 3 )dt = Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 3 ˆp (t) = ˆp (t) + f(t), v (t) v (t) Enfin on ˆp 3 (t) = proj P3 f(t) = f(t) = + ( ( t + t 3 ) 3(t 3(t )dt) ) = + t = 3 t....6.8 f ˆp (t) = ˆp (t) + f(t), v (t) v (t) = 3 t + ( ( t + t 3 )6 ( 6 t + t )dt)v (t) = 3 t + ( 6 t + t ) = 3 t + t -. -. -. p p p Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL
Correspondnces Définition. Une mtrice crrée symétrique Q d ordre n est dite définie positive si x T Q x > x R n, x Théorème. Soit V un espce vectoriel muni d un { produit sclire quelconque, et d une bse quelconque B = b,..., } b n. Alors il existe une mtrice Q définie positive telle que, pour tout x et y V vec u := [ x B et v := [ y B on x, y = u T Q v Pr. Pr définition de u et v on x = u b +... + u n bn et y = v b +... + v n bn. Ainsi x, y = u b +... + u n bn, v b +... + v n bn = u v b, b +... + u v b n, b n + +... + +u n v bn, b +... + u n v n bn, b n Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 6 Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 7 x, y = [ u... u n = u T Q v b, b... b, b n..... bn, b... bn, b n v. v n Ainsi V x y x, y B (=) R n u = [ x B v = [ y B u T Q v L mtrice Q hérite l symétrie insi que les utre propriétés qui font que u T Q v est un produit sclire légl, de l linérité de [ B et du fit que, est un produit sclire légl. Remrque. Si l bse B est orthonormée, lors Q = I n et le produit sclire dns R n est le produit sclire euclidien. Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 8 Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 9
Théorème. Dns R n, soit B une bse quelconque, donnée pr les colonnes de l mtrice B : n n. Alors on peut munir R n d un produit sclire prticulier, tel que B soit une bse orthonormée pr rpport à ce produit sclire. Pr. On cherche une mtrice Q : n n définie positive telle que les colonnes de B stisfssent c est-à-dire b T i Q b j = { : i j : i = j B T QB = I Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Mis B étnt une mtrice inversible, il vient Q = ( B T) B = ( BB T) On vérifie que Q est bien symétrique : ( BB T) T = BB T et définie positive : x R n, x, on x T Q x > En effet x T Q x = x T ( B T) B x = ( B x ) T B x = y T y vec y := B x. Or y T y > y et y = x = cr B rng n. Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Solutions pprochées de systèmes (incomptibles) d équtions linéires pr l méthode des moindres crrés On considère le système d équtions linéires A x = b défini pr A : m n et b : m. Questions. Qund ce système est-il comptible? Que fire qund il est incomptible? Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Lemme. Les ffirmtions suivntes concernnt ce système sont équivlentes :. Le système est comptible. ( x R n vec A x = b).. b est dns l espce des colonnes de A. ( b C(A)). 3. Le rng de l mtrice ugmentée A b := [A b est égl u rng de A. (rng(a) = rng(a b )). Pr. : Pr définition de C(A), b C(A) x,..., x n vec b = x +... + x n n 3 : Pr définition du rng, le rng de A est l dimension de C(A), et le rng de A b est l dimension de l espce engendré pr les colonnes de A et b. Or ces deux espces sont les mêmes si et Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 3
seulement si b C(A). Pour le système A x = b posons r := b A x Si le système est comptible, il existe x tel que r =. Sinon, c est-à-dire si b / C(A), on ur r pour tout x. de l norme euclidienne de r : minimiser r = r T r = r +... + r m Lorsque x vrie dns R n, le vecteur z := A x prcourt C(A). On peut donc formuler le problème de l mnière suivnte : On cherche z C(A) minimisnt r vec r = b z. Pr le théorème de l meilleure pproximtion, on z opt = proj C(A) b Dns tous les cs on chercher un vecteur x rendnt le vecteur des écrts r ussi petit que possible. L mesure de petit proposée pr Guss consiste à minimiser le crré Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL R m C(A) b z opt n r z Première démrche. Déterminer une bse orthonormée de C(A) : BON = { v,..., v r }. Clculer l projection de b sur C(A) : Il en découle deux démrches pour déterminer l meilleure pproximtion : Première démrche : utiliser l méthode générle en construisnt une bse orthonormée de C(A). Deuxième démrche : utiliser une méthode spécifique en résolvnt les équtions normles. z opt := proj C(A) b = ( v T b) v +... + ( v r T b) v r 3. Résoudre le système (toujours comptible) A x = z opt (ce système peut voir plusieurs solutions) Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 6 Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 7
Remrque. Au ps on peut ussi clculer l projection à l ide de l mtrice de projection orthogonle V V T insi qu on l vu précédemment. Soit V = [ v v r l mtrice ynt comme colonnes les vecteurs d une bse orthonormée de C(A). Alors l mtrice P : m m définie pr P = V V T est l mtrice de projection orthogonle sur C(A). L mtrice de projection les propriétés suivntes : P est symétrique et idempotente : Deuxième démrche : équtions normles Principe. On cherche à déterminer directement x de sorte que r, défini pr r := b A x, soit orthogonl à C(A). (On ur bien lors que A x est l projection de b sur C(A).) On veut donc que T r =... = T n r = P = P T et P = P L espce des colonnes de P stisfit C(P ) = C(V ) = C(A) ce qui s écrit soit pour x A T r = A T ( b A x ) = Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 8 Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 9 On obtient insi le système (toujours comptible) d équtions ppelées équtions normles : A T A x = A T b L deuxième méthode consiste donc à résoudre les équtions normles : A T A x = A T b (ce système peut voir plusieurs solutions) et l projection de b z opt = proj C(A) b = Ax = A ( A T A ) A T b Si le système d équtions normles une solution unique (c est-àdire si l mtrice A T A est inversible, ou de mnière équivlente, si rng(a) = n ), lors cette solution unique s écrit x = ( A T A ) A T b Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 3 Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 3
Exemple. Soit le système Exemples. x = x = Le système est incomptible, cr { [ } C(A) = s : s R ou encore Première démrche et b / C(A) rng(a) = et rng(a b ) = On A = [ et b = [. Clculer une bse orthonormée de C(A) { BON = v = [ } Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 3 Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 33. Projeter b sur C(A) z opt = proj C(A) b = ( = 3. Résoudre A x = z opt [ ( [ [ v T b ) v [x = ) [ [ = [ Deuxième démrche. Former les équtions normles A T A x = A T b [ [ [x = [ [ x =. Résoudre ce système : soit x = =.8 x = Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 3 Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 3
Exemple. Soit le système x = x = ou encore C(A) = Première démrche { [ s } : s R et b / C(A) rng(a) = et rng(a b ) = Ce système est semblble u précédent - on l obtenu en multiplint l deuxième éqution pr une constnte non nulle - et est donc ussi incomptible. On A = [ et b = [ Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 36. Clculer une bse orthonormée de C(A) { BON = v = [ }. Projeter b sur C(A) Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 37 ( ) z opt = proj C(A) b = v T b v = ( [ [ ) [ 3. Résoudre A x = z opt[ [x = [ = [ Deuxième démrche. Former les équtions normles A T A x = A T b [ [ [x = [ [ x = soit x = =.. Résoudre ce système : x = Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 38 Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 39
Exemple 3. Soit le système 3x + x = x = 3x + x = On s intéresse à l interpréttion géométrique de ce système : x - 3 x* x Chque éqution est l éqution crtésienne d une droite dns le pln et l ensemble des solutions est l ensemble des points du pln à l intersection de ces trois droites. Les trois droites ne se coupent ps en un point et le système n ps de solution. On cherche lors un point du pln dont l somme des distnces ux trois droites soit minimle. Pour une droite du pln définie pr T x = b soit x + x = b on ppelle Forme Hessienne de l éqution crtésienne : T x = b soit x + x + = b + Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Alors, pour un point quelconque x = [ x x T du pln, l distnce entre le point et l droite est précisément l vleur bsolue de l écrt r b r = x + x + + Le point du pln minimisnt l somme des crrés des distnces ux trois droites est donc l solution pprochée u sens des moindres crrés du système dns lequel on utilise l forme hessienne de l éqution de chque droite. Le système s écrit lors : On lors A = Première démrche 3 x + x = x = 3 x + x = 3 3 et b = Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 3
. Clculer une bse orthonormée de C(A) BON = v =, v = 7. Projeter b sur C(A) z opt = proj C(A) b = ( v T ) b v + = v + 7 ( v T ) b v 3. Résoudre A x = z opt soit 3 3 [ x x = 7 x = x = 7 =. Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL Deuxième démrche. Former les équtions normles A T A x = A T b [ 3 A T A = 3 3 = A T b = [ 3 3 3 = [ 8 7 [. Résoudre le système [ 8 7 soit [ x x = [ x = x = 7 =. Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 6 Algèbre Linéire - Th. M. Liebling, A. Prodon, ROSO-EPFL 7