Grenoble INP Pagora ère année Analyse numérique 7 Correction TD : Approximation de fonctions Méthode des moindres carrés Exercice (régression linéaire pondérée). Soit le modèle de régression linéaire f(x, a, b) ax + b Lorsque on veut estimer les paramètres adéquats pour ce modèle en fonction des données (n points (x i, y i ), i,..., n) et de leurs incertitudes, on cherche les paramètres a et b minimisant χ (a, b) ( ) yi ax i b σ i w i (y i ax i b) avec σ i l écart-type de l erreur commise sur la mesure de y i. On a σ i wi. Notons les moyennes pondérées x p et y p définies de la manière suivante : w i x i w i y i. Montrer qu au minimum de χ, b vaut x p y p w i b y p ax p w i On cherche le minimum de la fonction χ. Pour cela, il faut chercher où le gradient de χ vaut. On doit donc calculer les dérivées partielles de χ par rapport à a et b. Celles-ci valent χ w i x i (y i ax i b) a χ b w i (y i ax i b) Le minimum de χ est donc atteint pour (a, b) solution de w i x i (y i ax i b) La seconde ligne du système à résoudre donne w i (y i ax i b) w i (y i ax i b) w i y i a w i x i b D où b w i ( n ) w i y i a w i x i y p ax p
. Montrer qu au minimum de χ, a vaut a w i (x i x p ) (y i y p ) w i (x i x p ) Si on réécrit le système à résoudre, on a w i x i (y i ax i b) w i (y i ax i b) w i x i (y i y p a(x i x p )) w i (y i y p a(x i x p )) Si on multiplie la deuxième ligne par x p et qu on la soustrait à la première ligne, on obtient w i x i (y i y p a(x i x p )) x p n Or w i x i (y i y p a(x i x p )) x p n w i (y i y p a(x i x p ) w i (y i y p a(x i x p ) x p w i (x i x p )(y i y p a(x i x p )) w i (x i x p )(y i y p ) a w i (x i x p ) Et finalement, on obtient a w i (x i x p )(y i y p ) w i (x i x p ). Supposons que les écart-types des erreurs commises sur y i soient égaux. Que valent a et b? Supposons maintenant que les écart-types des erreurs commises sur y i soient égaux. Cela veut dire que les w i ont tous la même valeur, notons cette valeur w. Les moyennes pondérées valent x p w i x i w w i w x i x i x y p n w i y i w w i w y i n y i y On remarque que x p et y p sont égales aux moyennes usuelles x et y. Pour a et b, on a a w i (x i x p )(y i y p ) w (x i x p )(y i y p ) w i (x i x p ) w (x i x p ) (x i x)(y i y) (x i x) b y p ax p y ax On retrouve a et b, les deux coefficients de la régression linéaire.
Interpolation Exercice. La mesure de la tension aux bornes d un dipôle a donné les valeurs suivantes t [s] U [V ] 8 On suppose que cette tension varie suffisamment lentement pour qu on puisse l approximer par un polynôme de degré faible. Estimez à partir de ces données l instant ˆt où la tension devrait atteindre son maximum, ainsi que la tension Û en ce maximum. On suppose que la tension varie suffisamment lentement pour qu on puisse l approximer par un polynôme de degré faible. On va donc interpoler la tension aux points (, 8), (, ) et (, ). Pour cela, on va contruire la forme lagrangienne du polynôme d interpolation noté L. On rappelle que ce polynôme est une combinaison linéaire L(x) n j y j l j (x) de polynômes de Lagrange l j (x) n k,k j Dans notre cas n vaut, l indice j varie donc de à et et le polynôme d interpolation vaut L(x) x x k x j x k x x x j x... x x j x j x j x x j+ x j x j+... x x n x j x n l (x) x x x x x x x x x l (x) x x x x x x x x x l (x) x x x x x x x x x x (x )(x ) x x(x ) x x(x ) y j l j (x) 8l (x) + l (x) + l (x) 8 (x )(x ) x(x ) (x ) ( (x ) ) x (x ) ( x + ) x + x 8 j et sa dérivée d où le tableau des variations suivant. L (x) x + x L (x) L(x).5 8 + Û.5 8.5-8 La tension maximale est donc atteinte en ˆt.5 et elle vaut Û.5.
Exercice. Le polynôme P (x) x 7 x + 7 interpole la fonction f(x) x aux points d abscisses,,.. Vérifier que P interpole bien f aux points d abscisses,,. f() P () 7 + 7 7 f() P () 7 + 7 7 + 7 f() P () 7 + 7 8 + 7 Le polynôme P (x) interpole bien f aux points d abscisses, et.. Calculer l erreur ɛ(x) f(x) P (x). f(x) P (x) L erreur vaut ɛ(x) x x + 7 x 7 ( x 8 x + 7x x ) x ( x)( x)( x).. Quand cette erreur prend elle sa valeur maximale pour x dans [, ]? Pour savoir où l erreur prend sa valeur maximale sur [, ], on calcule sa dérivée. On a ɛ (x) x x + 7 Il nous faut déterminer le signe de ɛ pour connaitre les variations de ɛ. On va donc calculer la dérivée seconde ɛ (x) 8 x et on a le tableau des variation suivant pour ɛ x x x.5 ɛ (x) ɛ(x) ɛ (x) + ɛ (x) D après le théorème des valeurs intermédiaires (cf. cours résolution d équations non-linéaires), il existe x x ], [ tel que ɛ (x ) ɛ (x ) Numériquement, on trouve que x.7 et x.7. On a maintenant le tableau des variations pour ɛ ], [ et x ɛ (x) x x + ɛ(x ).5 ɛ(x) ɛ(x ).7 L erreur prend sa valeur maximale en x, elle vaut environ.5.. Que faire pour réduire cette erreur? Une idée pour diminuer l erreur serait d ajouter un point d interpolation (par exemple, (x, f(x )). Cependant, il est possible qu ajouter ce point d interpolation fasse empirer les choses (phénomène de Runge par exemple).
Extrait de l examen de. Interpolation polynômiale ( points) On veut calculer les valeurs d une fonction f(x) pour toutes les valeurs de x, mais on ne connaît pas f explicitement. Ceci se produit typiquement lorsque f n est connue qu en certains points expérimentaux. On considère la fonction f dont points du graphique sont connus (f(), f() et f() 7). On propose de chercher f dans la famille des polynômes.. Quel est le degré n du polynôme d interpolation P tel que le problème admette une solution unique? On cherche à interpoler une fonction f en trois points en utilisant l interpolation polynômiale. Notons P le polynôme interpolant f en ces trois points. On note que les points d interpolation ont des abscisses différentes. Ainsi, pour que le polynôme d interpolation P soit unique, il faut que son degré soit de n (nombre de points d interpolation - ).. Ècrire le système d équations qui détermine les coefficients (a,b,c) de ce polynôme (P (x) a + bx + cx ) et le résoudre. On veut que P (), P () et P () 7 (car P interpole f en ces points). On a donc à résoudre le système suivant a a + b + c a + b + c 7 On a immédiatement que a et on réinjecte la valeur de a dans les deuxième et troisième lignes. On a ainsi le système suivant pour trouver b et c { b + c b + c 6 Si on multiplie la première ligne par et qu on la soustraie à la seconde ligne, on a b + c (b + c) c 6 d où c et comme b + c, on en déduit que b. Le polynôme interpole donc f aux points f(), f() et f() 7.. Ècrire directement la solution grâce à la forme de Lagrange. P (x) + x + x On recherche maintenant P en utilisant la forme de Lagrange. On rappelle ici que P (x) n j y j l j (x) avec les polynômes de Lagrange n x x k l j (x) x x... x x j x x j+... x x n x j x k x j x x j x j x j x j+ x j x n k,k j Dans notre cas n vaut, l indice j varie donc de à et et le polynôme d interpolation vaut P (x) l (x) x x x x x x x x x l (x) x x x x x x l (x) x x x x x x x x x x x x x (x )(x ) x x(x ) x x(x ) y j l j (x) l (x) + l (x) + 7l (x) (x )(x ) x(x ) + 7 x(x ) x + x + j On retrouve bien le même polynôme d interpolation qu à la question précédente. 5
. Approximation au sens des moindres carrés ( points) On considère toujours la fonction f connue expérimentalement en trois points. Cependant, on considère que les mesures sont entachées d erreurs (f(), f() et f() 7) et on cherche une fonction f de la forme f(x) a x + bx.. A priori, peut-on trouver une fonction de la forme f(x) a x + bx qui passe exactement par les trois points expérimentaux? On cherche inconnues a et b. Pour que la forme f passe par les trois points expérimentaux, il faut que a et b suivent trois équations. Or il n y a en général pas de solution pour un système de équations à inconnues. Il est donc vraisemble qu il n existe pas une fonction de la forme f(x) a x + bx passant exactement par les trois points expérimentaux.. Ècrire le problème de minimisation qui détermine les coefficients a et b au sens des moindres carrés. La fonction modèle est de la forme f(x, β) m β k φ k (x) k Ici, β a, φ (x) x et β b, φ (x) x. On a donc affaire à un problème des moindres carrés linéaires. On cherche ainsi a et b tel que la quantité suivante S(a, b) soit minimale S(a, b) (y i a x i bx i ) ( a) + ( b) + (7 a b). Déterminer le système d équations linéaires à résoudre. Résoudre le système. Le minimum de S est atteint lorsque les dérivées partielles de S en a et b s annulent or S a ( a) (7 a b) a + 8b 6 S b ( b) (7 a b) 8a + b 6 On doit donc résoudre le système suivant { a + 8b 6 8a + b 6 Maintenant si on multiplie la première ligne par et qu on la soustraie à la seconde ligne, on a et on obtient que b a 8 5 (a + 8b) + (8a + b) 8b 6 + 6. Si on remplace la valeur de b nouvellement obtenue dans la première équation, on a. La fonction f donc vaut f(x) x + 5 x. On vérifie d ailleurs qu elle ne passe pas exactement par les points donnés. 6