1 Notes de cours de l'isima, premère aée http://wwwsmafr/ leborge Méthode des modres carrés : melleure approxmato léare Glles Leborge 31 ma 2005 Table des matères 1 Rappel de dérvato 1 2 Cas 1-D 2 21 Les équatos 2 22 La résoluto 3 221 Premère étape 3 222 Secode étape 4 3 Cas 2-D 4 31 Les équatos 4 32 La résoluto 5 321 Premère étape 5 322 Secode étape 6 4 Résoluto par la méthode QR 6 1 Rappel de dérvato Das R o ote e le -ème vecteur de base caoque (toutes les composates sot ulles sauf la -ème qu vaut 1), et pour x = =1 x e et y = =1 y e o ote ( x, y) = =1 x y le produt scalare euclde de R de orme assocée x = ( x, x) 1 2 = ( =1 x2 ) 1 2 d 1 Proposto 11 Sot A = [a j ] 1 m ue matrce m Sot d = u vecteur doé 1 j d m das R m Sot la focto : R R, x 1 f : x = f( x) = A x d 2 m = (A x d, A x d) m x La focto f est dérvable, et ses dérvées partelles Et u mmum de f est doé e u pot x tel que : f x ( x) sot doées par : f x ( x) = 2(A x d, A e ) m (11) A t A x = A t d, (12) système de équatos à coues (les x ) appelées équatos ormales E partculer s le rag de A vaut (et doc m et A a plus de lges que de coloes) alors la matrce A t A est ue matrce versble et l exste u uque vecteur x e lequel f attet so mmum 1
2 Preuve f est dérvable car quadratque e les x (polyôme de degré 2 e x ) Comme : A( x + h e ) d 2 m = (A x d + ha e, A x d + ha e ) m = A x d 2 m + 2h(A e, A x d) m + h 2 A e 2 m, pour la dérvée das drecto o a : f( x + h e ) f( x) h = 2(A e, A x d) m + o(1), D'où (11) Ue codto écessare pour que f at u mmum au pot x est f x ( x) = 0 pour tout = 1,,, sot c A t (A x d) = 0 das R m, d'où (12) Pus KerA = Ker(A t A), vor exercce suvat 12 Et rag(a) = dm(kera) (théorème du rag) D'où s raga =, o a KerA = {0} D'où Ker(A t A) = {0} : A t A est jectve, d'où bjectve (matrce carrée ) Exercce 12 A état ue matrce m, motrer que KerA = Ker(A t A) E dédure rag(a) = rag(a t A) Répose S x KerA, e s A x = 0 alors A t A x = 0 d'où x Ker(A t A), d'où KerA Ker(A t A) Et s x Ker(A t A) alors (A x, A x) = (A t A x, x) = (0, x) = 0 et doc A x = 0, doc x KerA, doc Ker(A t A) KerA Pus, A représetat ue applcato léare de R das R m, o a rag(a) = dm(kera) (théorème du rag), et A t A état ue matrce o a rag(a t A) = dm(kera t A) 2 Cas 1-D 21 Les équatos O dspose de pots (x, y ) =1,, das le pla R 2 tels que x x j pour tout j Problème tal : exste-t-l ue drote y = f(x) = ax + b qu passe par les pots (x, y )? (21) No e gééral, dès que > 2 (strctemet plus de 2 pots) Problème modé : exste-t-l ue drote y = f(x) = ax + b qu approche au meux les valeurs (x, y )? (22) Suvat l'terprétato du au meux (= le plus fable possble e quel ses?), l y a pluseurs réposes possbles Ic o cosdère la répose cocerat la orme des carrés : O se doe a pror ue drote f(x) = ax + b O cosdère l'erreur e = f(x ) y etre la posto vertcal de la mesure y et la posto f(x ) = ax + b sur la drote doée O pose (somme des carrés) : S 2 (a, b) = e 2 = =1 f(x ) y 2 = =1 (ax + b y ) 2, (23) somme qu déped de la drote y = ax + b chose, e qu déped de a et de b Das cette somme, les (x, y ) sot doés, et o cherche la drote, e o cherche a et b, tels que S 2 (a, b) sot mmum (la somme des carrés des erreurs la plus fable possble) Comme S est dée sur l'espace vectorel R 2, la codto écessare de mmum est : a et b véret : =1 S 2 a (a, b) = 0, S 2 (a, b) = 0 (24) b 2
3 22 La résoluto Les deux équatos de (24) doet : 2x (ax + b y ) = 0, =1 2(ax + b y ) = 0, =1 e les coues a et b cherchées (qu doerot la drote cherchée) véret : ( =1 x2 =1 x ) ( ) ( a =1 x = =1 x ) y b =1 y (25) Cette méthode de calcul de a et b est appelé méthode des modres carrés ( Proposto 21 La matrce M = =1 x2 =1 x ) =1 x est versble, dès que 2 et au mos deux des x sot dstcts Das ce cas (25) a ue uque soluto, e la méthode des modres carrés a ue uque soluto Preuve O est das le cas 2 (o dspose de plus de deux pots (x, y ) de mesure) Le problème tal (21) état : trouver a et b tels que : ax 1 + b = y 1 x 1 1 ( ) y 1, e a = b, ax + b = y x 1 y e, trouver a = (a, b) tels que : x 1 1 A a = y, où A = et y = x 1 (A est ue matrce 2 et M = A T A est ue matrce 2 2) Ce problème est sur-cotrat quad 3 : trop d'équatos par rapport au ombre d'coues (c a et b) Mas o remarque que =1 e2 = =1 (ax +b y ) 2 = A a y 2, e que S 2 ( a) = A a y 2 Or o cherche le mmum de S 2, e o cherche les a tels que, vor (12) : A t (A a y) = 0 Et le rag de A est 2 car o a supposé au mos deux des x dstcts (doc deux des lges de A sot dépedates), et doc A t A = M matrce 2 2 est versble, vor proposto 11 Remarque 22 Plutôt que S 2 o aurat pu trodure S 1 (a, b) = =1 ỹ y = =1 ax +b y Mas cette focto 'est pas dérvable e tout a ou e tout b, la focto valeur absolue 'état pas dérvable e 0 D'où le chox smple de S 2 (somme des carrés) y 1 y 22 La résoluto 221 Premère étape Das( lecas 1-D, proposto 21, la matrce M peut être mal codtoée : cas où les coloes de M = x2 x ) x sot presques proportoelles par exemple S tel est le cas, ue techque smple est de chager l'orge des x, et de même e y (pour la sesblté au membre de drote), e de poser : x m = x (moyee e x), y m = y (moyee e y), pus de fare le chagemet d'orge : x = x x m, ȳ = y y m Les pots de mesure sot mateat les ( x = x x m, ȳ = y y m ) et le problème à résoudre 3
4 est : trouver (ā, b) tq : ( x2 0 0 O obtet mmédatemet b = 0 et ā = ) ( ) ( = ā b x ȳ 0 xȳ x2 e les coordoées tales y = y m + ā(x x m ) 222 Secode étape ) D'où la drote d'équato ȳ = ā x, d'où la drote L'étape c-dessus est souvet susate So, pour évter que x2 sot trop grad, o se sert des écarts types : ( (x x m ) 2 ) 1 ( 2 x 2 ) 1 ( 2 (y y m ) 2 ) 1 ( 2 ȳ 2 ) 1 2 = =, = =, et o fat le chagemet de varables avec les varables cetrées rédutes : ˆx = x = x x m, ŷ = ȳ = y y m, ce qu doe ˆx2 = = ŷ2 Itérêt supplémetare : les varables ˆx et ŷ sot sas dmeso et e dépedet doc pas de l'uté de mesure chose Doc les pots à cosdérer sot les pots (ˆx = x xm est : trouver (â, ˆb) tq : ( ) ( ) ( 0 = 0 âˆb ˆx ) ŷ, d'où 0, ŷ = y ym ), et le problème à résoudre â = ˆx ŷ ˆb = 0 D'où la drote ŷ = âˆx + ˆb de melleure approxmato D'où, reveat aux coordoées tales, la drote de melleure approxmato doée par : y y m = â x x m 3 Cas 2-D 31 Les équatos O cherche u pla qu approche au meux u uage de pots ((x, y ), z ) pour = 1,, O cherche doc ue focto ae f(x, y) = ax + by + c telle que l'erreur e = f(x, y ) z sot globalemet la plus fable possble Comme précédemmet, o va mmser e2 O se doe a pror u pla o vertcal z = f(x, y) = ax + by + c et o pose : S 2 (a, b, c) = e 2 = =1 (ax + by + c z ) 2, (31) =1 somme qu déped du pla f(x, y) = ax + by + c doé, e qu déped de a, b et c Et le melleur pla sera doé par u trplet (a, b, c) tel que S 2 (a, b, c) = mã, b, c S 2 (ã, b, c) (e qu mmse la somme des carrés des erreurs) Doc, s (a, b, c) exste, o a tq : S 2 a (a, b, c) = 0, S 2 b (a, b, c) = 0, S 2 (a, b, c) = 0 (32) c Les tros équatos de (32) doet : 2x (ax + by + c z ) = 0, =1 2y (ax + by + c z ) = 0, =1 2(ax + by + c z ) = 0 =1 4
5 32 La résoluto O dot doc résoudre : x2 x y y2 x Proposto 31 La matrce M = x y y x y x2 x y y2 x a b = x z y z (33) c z x y y x y est versble, dès que 3 et au mos tros des (x, y ) sot o algés Et (25) a ue uque soluto, e la méthode des modres carrés a ue uque soluto Preuve Smlare à la démostrato précédete avec c la matrce A = x 1 y 1 1 x y 1 avec ecore M = A T A Pus pour que A sot de rag 3 l faut 3 et tros lges soet dépedates Qutte à reuméroter les pots o regarde le détermat : x 1 y 1 1 x 2 y 2 1 x 3 y 3 1 = x 1 x 3 y 1 y 3 0 x 2 x 3 y 2 y 3 0 x 3 y 3 1 = x 1 x 3 y 1 y 3 x 2 x 3 y 2 y 3 = ( x 1 x 3 ) ( x 2 x 3 ), où x = (x, y ) Ce détermat est o ul dès que les vecteurs x 1 x 3 et x 2 x 3 sot dépedats, e dès que les pots sot o algés das le pla (x, y) 32 La résoluto 321 Premère étape Das le cas 2-D, proposto 31, même démarche que das le cas 1-D : o pose (valeurs moyees) : x m = x, y m = y, z m = z, Le chagemet de coordoées (c d'orge) chost est : x = x x m, ȳ = y y m, z = z z m O obtet doc les pots ( x = x x m, ȳ = y y m, z = z z m ) à approcher par u pla, et le problème à résoudre est : trouver (ā, b, c) tq : x2 x ȳ 0 x ȳ ȳ2 0 0 0 ā b c D'où mmédatemet c = 0, et l reste à résoudre : ( x2 x x ) ( ) ȳ = ȳ ā b ȳ2 ȳ2 = ȳ z 0 x z ( x ) z ȳ z ( La matrce C = x2 x x ) ȳ est versble d'après la proposto 31 (au mos tros ȳ pots o algés), e partculer so détermat vaut det C = ( x2 )( ȳ2 ) ( x ȳ ) 2 0 (c'est égalemet ue coséquece de l'égalté de CauchySchwarz ( x, y) x y avec égalté uquemet das le cas x// y e la matrce 2 dot les coloes sot x et y est de rag 1 et doc égalté ss toutes les lges sot proportoelles à l'ue d'etre elles) D'où : ( ) = ā b 1 ( det C x2 x ) ( ȳ x x ) z ȳ ȳ2 ȳ z 5
6 322 Secode étape S l'étape précédete 'est pas susate, o admesoalse à l'ades des écarts types : = ( (x x m ) 2 ) 1 2, σy = ( (y y m ) 2 ) 1 2, σz = ( (z z m ) 2 ) 1 2 Le chagemet de coordoées (d'orge et d'échelles) est alors : ˆx = x x m, ŷ = y y m, ẑ = z z m σ z, et les pots cosdérés sot les (ˆx, ŷ, ẑ ) Et le ouveau problème à résoudre est : trouver (â, ˆb) tq : ( ˆx ) ( ) ( ŷ ˆx = ŷ âˆb ˆx ) ẑ ŷẑ ( La matrce Ĉ = ˆx ) ŷ ˆx est versble, de détermat det ŷ Ĉ = 2 ( ˆx ŷ ) 2 0 (proposto 31 ou égalté de Cauchy-Schwarz), et o obtet : ( ) = âˆb 1 ( ˆx ) ( ŷ det Ĉ ˆx ˆx ) ẑ ŷ ŷẑ 4 Résoluto par la méthode QR Résoudre les équatos ormales (12) peut être dcle à cause du mauvas codtoemet évetuel de la matrce A t A : s ρ(a) est le codtoemet de la matrce A, alors ρ(a) 2 est le codtoemet de la matrce A t A Et s ce codtoemet est mauvas (par exemple de l'ordre de 10 7 ), l faut évter de calculer A t A La matrce A est de talle m (et la matrce A t A de talle ) O décompose la matrce A sous la forme A = QR, avec Q matrce m m orthoormale et R matrce m matrce tragulare supéreure : x x x 0 x x ( ) A = QR où Q t R1 Q = I m et R = 0 0 x =, R t R = R 0 1R t 1, 0 0 0 0 où les x représetet des emplacemets o (évetuellemet) uls, et R 1 R 2 est ue matrce tragulare supéreure, et le derer 0 de la formule tet leu de la matrce ulle de talle (m ) Das le cas m o pose alors Q = (Q 1 Q 2 ) avec Q 1 matrce m et Q 2 matrce m ( m) Et o a : ( ) R1 A = QR = (Q 1 Q 2 ) = Q 0 1 R 1 E partculer, das la décomposto QR o se cotete de calculer Q 1 et R 1 Et comme les coloes de Q et doc de Q 1 sot des vecteurs orthoormaux o a : Q t 1Q 1 = I (detté de R ) Proposto 41 Pour m, A de rag, et d R m, le problème : trouver v R tel que : A t A v = A t d, (41) a ue uque soluto qu vére : R 1 v = Q t 1 d (42) 6
7 RÉFÉRENCES Preuve Comme A est de rag o a R 1 de rag, et (42) a ue uque soluto Comme m et A est de rag, A t A est de rag, et (41) a ue uque soluto Et la soluto de (42) vére R t 1R 1 v = R t 1Q t 1 d, avec R t 1R 1 = R t 1Q t 1Q 1 R 1 = A t A et R t 1Q t 1 = A t, doc est égalemet la soluto de (41) La matrce Q état orthoormale, le codtoemet de la matrce R 1 est celu de la matrce A, alors que le codtoemet de la matrce A t A est le carré du codtoemet de A Résoudre le problème (42) est doc plus facle que résoudre le problème A t A v = A t d E, pour programmer la décomposto de A e QR, o pourra utlser sot la méthode de Gves (les rotatos), sot la méthode de Householder (les symétres) Référeces [1] Golub G, Va Loa C : Matrx computatos Johs Hopks, Thrd edto, 1996 [2] Spegel M : Statstque, cours et problèmes MC Graw Hll, sére Schaum, 2 e édto, 1993 [3] Strag G : Lear Algebra ad ts Applcatos Harcourt Brace & Ce, 3rd edto, 1986 7