Analyse numérique : Approximation de fonctions

Documents pareils
Méthodes de quadrature. Polytech Paris-UPMC. - p. 1/48

Souad EL Bernoussi. Groupe d Analyse Numérique et Optimisation Rabat http ://

Optimisation non linéaire Irène Charon, Olivier Hudry École nationale supérieure des télécommunications

Résolution d équations non linéaires

Exercices Alternatifs. Quelqu un aurait-il vu passer un polynôme?

Exercices Alternatifs. Quelqu un aurait-il vu passer un polynôme?

Programmation linéaire

Exo7. Matrice d une application linéaire. Corrections d Arnaud Bodin.

Etude de fonctions: procédure et exemple

Exercices - Polynômes : corrigé. Opérations sur les polynômes

Programmation linéaire

Fonctions de plusieurs variables

Notes du cours MTH1101 Calcul I Partie II: fonctions de plusieurs variables

Cours d analyse numérique SMI-S4

Baccalauréat ES Pondichéry 7 avril 2014 Corrigé

aux différences est appelé équation aux différences d ordre n en forme normale.

3 Approximation de solutions d équations

Résolution de systèmes linéaires par des méthodes directes

La programmation linéaire : une introduction. Qu est-ce qu un programme linéaire? Terminologie. Écriture mathématique

Continuité et dérivabilité d une fonction

IV- Equations, inéquations dans R, Systèmes d équations

Baccalauréat S Antilles-Guyane 11 septembre 2014 Corrigé

Précision d un résultat et calculs d incertitudes

Calcul différentiel sur R n Première partie

Oscillations libres des systèmes à deux degrés de liberté

Calcul matriciel. Définition 1 Une matrice de format (m,n) est un tableau rectangulaire de mn éléments, rangés en m lignes et n colonnes.

Exercices Alternatifs. Une fonction continue mais dérivable nulle part

Exercices Alternatifs. Une fonction continue mais dérivable nulle part

Sujet proposé par Yves M. LEROY. Cet examen se compose d un exercice et de deux problèmes. Ces trois parties sont indépendantes.

Chapitre 3. Quelques fonctions usuelles. 1 Fonctions logarithme et exponentielle. 1.1 La fonction logarithme

Chapitre 2 Le problème de l unicité des solutions

Vision industrielle et télédétection - Détection d ellipses. Guillaume Martinez 17 décembre 2007

Complément d information concernant la fiche de concordance

Optimisation, traitement d image et éclipse de Soleil

L ANALYSE EN COMPOSANTES PRINCIPALES (A.C.P.) Pierre-Louis GONZALEZ

Chapitre 3. Les distributions à deux variables

NOMBRES COMPLEXES. Exercice 1 :

Analyse en Composantes Principales

Fonctions de plusieurs variables : dérivés partielles, diérentielle. Fonctions composées. Fonctions de classe C 1. Exemples

Chapitre 1 Régime transitoire dans les systèmes physiques

Pour l épreuve d algèbre, les calculatrices sont interdites.

Amphi 3: Espaces complets - Applications linéaires continues

ÉVALUATION FORMATIVE. On considère le circuit électrique RC représenté ci-dessous où R et C sont des constantes strictement positives.

LES MÉTHODES DE POINT INTÉRIEUR 1

CHAPITRE IX : Les appareils de mesures électriques

Programmation linéaire et Optimisation. Didier Smets

* très facile ** facile *** difficulté moyenne **** difficile ***** très difficile I : Incontournable T : pour travailler et mémoriser le cours

Optimisation Discrète

Formes quadratiques. 1 Formes quadratiques et formes polaires associées. Imen BHOURI. 1.1 Définitions

Correction de l examen de la première session

Equations différentielles linéaires à coefficients constants

EXERCICE 4 (7 points ) (Commun à tous les candidats)

Moments des variables aléatoires réelles

Capes Première épreuve

Bac Blanc Terminale ES - Février 2011 Épreuve de Mathématiques (durée 3 heures)

Calcul fonctionnel holomorphe dans les algèbres de Banach

Echantillonnage Non uniforme

Extrait du poly de Stage de Grésillon 1, août 2010

Exercices du Cours de la programmation linéaire donné par le Dr. Ali DERBALA

Exercices - Fonctions de plusieurs variables : corrigé. Pour commencer

Baccalauréat L spécialité, Métropole et Réunion, 19 juin 2009 Corrigé.

Calcul différentiel. Chapitre Différentiabilité

Table des matières. I Mise à niveau 11. Préface

LA NOTATION STATISTIQUE DES EMPRUNTEURS OU «SCORING»

Quantification Scalaire et Prédictive

Nombre dérivé et tangente

CCP PSI Mathématiques 1 : un corrigé

Notes du cours MTH1101N Calcul I Partie II: fonctions de plusieurs variables

Exercice 3 (5 points) A(x) = 1-e -0039' e- 0,039x A '() -'-,..--,-,--,------:-- X = (l_e-0,039x)2

FONCTIONS DE PLUSIEURS VARIABLES (Outils Mathématiques 4)

Apprentissage non paramétrique en régression

Implémentation de Nouveaux Elements Finis dans Life et Applications

Filtrage stochastique non linéaire par la théorie de représentation des martingales

SINE QUA NON. Découverte et Prise en main du logiciel Utilisation de bases

Bien lire l énoncé 2 fois avant de continuer - Méthodes et/ou Explications Réponses. Antécédents d un nombre par une fonction

Image d un intervalle par une fonction continue

I- Définitions des signaux.

Fonctions de plusieurs variables et applications pour l ingénieur

Yves Debard. Université du Mans Master Modélisation Numérique et Réalité Virtuelle.

Capacité d un canal Second Théorème de Shannon. Théorie de l information 1/34

Quelques contrôle de Première S

Arithmétique binaire. Chapitre. 5.1 Notions Bit Mot

I - PUISSANCE D UN POINT PAR RAPPORT A UN CERCLE CERCLES ORTHOGONAUX POLES ET POLAIRES

Comparaison de fonctions Développements limités. Chapitre 10

Examen optimisation Centrale Marseille (2008) et SupGalilee (2008)

Cours 02 : Problème général de la programmation linéaire

Programmation Linéaire - Cours 1

Commun à tous les candidats

CHAPITRE V SYSTEMES DIFFERENTIELS LINEAIRES A COEFFICIENTS CONSTANTS DU PREMIER ORDRE. EQUATIONS DIFFERENTIELLES.

Projet de Traitement du Signal Segmentation d images SAR

AOT 13. et Application au Contrôle Géométrique

CAPTEURS - CHAINES DE MESURES

Introduction à l approche bootstrap

Fonctions de deux variables. Mai 2011

LA PHYSIQUE DES MATERIAUX. Chapitre 1 LES RESEAUX DIRECT ET RECIPROQUE

Chapitre VI Fonctions de plusieurs variables

BACCALAURÉAT PROFESSIONNEL EPREUVE DE TRAVAUX PRATIQUES DE SCIENCES PHYSIQUES SUJET A.1

Cours de méthodes de scoring

Polynômes à plusieurs variables. Résultant

Economie de l incertain et de l information Partie 1 : Décision en incertain probabilisé Chapitre 1 : Introduction à l incertitude et théorie de

Transcription:

Analyse numérique : Approximation de fonctions Pagora 1A Chapitre 3 29 janvier - 1er février 2013 Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 1 / 64

Plan 1 Introduction 2 Méthode des moindres carrés Méthode générale Régression linéaire Moindres carrés linéaires Prise en compte des statistiques d erreur 3 Interpolation polynômiale Théorie Forme lagrangienne Phénomène de Runge Splines Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 2 / 64

Introduction Plan 1 Introduction 2 Méthode des moindres carrés Méthode générale Régression linéaire Moindres carrés linéaires Prise en compte des statistiques d erreur 3 Interpolation polynômiale Théorie Forme lagrangienne Phénomène de Runge Splines Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 3 / 64

Introduction Description du problème On cherche à calculer les valeurs d une fonction f (x) pour toutes valeurs de x mais on ne connaît pas explicitement f. Par exemple, f n est connue qu en certains points x expérimentaux. f est calculée par un code numérique très coûteux. On remplace f par une fonction simple dont l évaluation est aisée (ex : utilisation de polynômes, fonctions rationnelles,...) 2 grandes familles d approches. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 4 / 64

Introduction Méthode des moindres carrés Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 5 / 64

Introduction Interpolation polynômiale Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 6 / 64

Méthode des moindres carrés Plan 1 Introduction 2 Méthode des moindres carrés Méthode générale Régression linéaire Moindres carrés linéaires Prise en compte des statistiques d erreur 3 Interpolation polynômiale Théorie Forme lagrangienne Phénomène de Runge Splines Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 7 / 64

Méthode des moindres carrés Description du problème De quoi dispose t-on? Ensemble de données : n points (x i, y i ), i = 1,..., n Fonction modèle : f (x, β) avec β vecteur contenant m paramètres Objectif : ajuster les paramètres β pour que f (x, β) approche au mieux les données (x i, y i ). Comment faire? En trouvant les paramètres β minimisant S(β) = n (y i f (x i, β)) 2 i=1 Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 8 / 64

Méthode des moindres carrés Rappel La dérivée permet de connaître les variations d une fonction (croissance, décroissance,...). En particulier, si la dérivée est nulle en un point, la tangente est horizontale en ce point et donc la fonction ne croit ni ne décroit (minimum ou maximum). Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 9 / 64

Méthode des moindres carrés Exercice introductif On dispose de n points (x i, y i ), i = 1,..., n et on suppose que la fonction modèle est de la forme f (x, β 0 ) = β 0 Trouver β 0 minimisant S(β 0 ) = n (y i f (x i, β 0 )) 2 i=1 Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 10 / 64

Méthode des moindres carrés Exercice introductif (correction) Trouver β 0 minimisant S(β 0 ) = n (y i β 0 ) 2 i=1 Pour cela, on calcule la dérivée de S S (β 0 ) = 2 et on résout S (β 0 ) = 0 d où n (y i β 0 ) i=1 β 0 = 1 n n i=1 y i c est à dire la moyenne des y i. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 11 / 64

Méthode des moindres carrés Méthode générale Plan 1 Introduction 2 Méthode des moindres carrés Méthode générale Régression linéaire Moindres carrés linéaires Prise en compte des statistiques d erreur 3 Interpolation polynômiale Théorie Forme lagrangienne Phénomène de Runge Splines Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 12 / 64

Méthode des moindres carrés Méthode générale Résoudre le problème général La fonction modèle f (x, β) se règle par m paramètres β 1,..., β m contenus dans le vecteur β. Le minimum d une somme de carrés S(β) = n (y i f (x i, β)) 2 i=1 se trouve en cherchant où le gradient de S vaut 0 soit S(β) β k = 2 n i=1 (y i f (x i, β)) f (x i, β) β k = 0 k = 1,..., m = un système à m équations non-linéaires à résoudre. = rarement de solutions analytiques. = méthodes numériques (ex : adaptation méthode du point fixe pour m variables cherchées). Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 13 / 64

Méthode des moindres carrés Régression linéaire Plan 1 Introduction 2 Méthode des moindres carrés Méthode générale Régression linéaire Moindres carrés linéaires Prise en compte des statistiques d erreur 3 Interpolation polynômiale Théorie Forme lagrangienne Phénomène de Runge Splines Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 14 / 64

Méthode des moindres carrés Régression linéaire Régression linéaire La fonction modèle est de la forme f (x, a, b) = ax + b On cherche le minimum de S(a, b) = n (y i ax i b) 2 i=1 Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 15 / 64

Méthode des moindres carrés Régression linéaire Recherche du minimum Le minimum de S est atteint pour (a, b) solution du système suivant : S n = 2 x i (y i ax i b) = 0 a S b = 2 i=1 n (y i ax i b) = 0 i=1 On note x et y les moyennes des valeurs x i et y i : n n x = 1 n i=1 x i y = 1 n i=1 y i Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 16 / 64

Méthode des moindres carrés Régression linéaire Exercice Exprimer b en fonction de a, x, y puis exprimer a. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 17 / 64

Méthode des moindres carrés Régression linéaire Exercice (correction) b = y a x Le système est maintenant n i=1 x i [(y i y) a(x i x)] = 0 n i=1 [(y i y) a(x i x)] = 0 Si on multiplie la ligne 2 par x puis on la soustraie à la première, on obtient n (x i x) [(y i y) a(x i x)] = 0 a = i=1 n n (x i x) (y i y) x i y i x y i=1 = n (x i x) 2 i=1 i=1 Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 18 / 64 i=1 n xi 2 x 2

Méthode des moindres carrés Moindres carrés linéaires Plan 1 Introduction 2 Méthode des moindres carrés Méthode générale Régression linéaire Moindres carrés linéaires Prise en compte des statistiques d erreur 3 Interpolation polynômiale Théorie Forme lagrangienne Phénomène de Runge Splines Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 19 / 64

Méthode des moindres carrés Moindres carrés linéaires Moindres carrés linéaires : généralisation régression linéaire On suppose maintenant que la fonction modèle est de la forme : m f (x, β) = β k φ k (x) k=1 On cherche β pour obtenir le minimum de S atteint lorsque S(β) n = 2 (y i f (x i, β)) f (x i, β) = 0 k = 1,..., m β k β k i=1 Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 20 / 64

Méthode des moindres carrés Moindres carrés linéaires Création d un système linéaire à résoudre On a pour i = 1,..., n et k = 1,..., m : X ik = f (x i, β) β k = φ k (x i ) Posons la matrice et les vecteurs X 11 X 12... X 1m X 21 X 22... X 2m X =...... X n1 X n2... X nm β = β 1 β 2. β m y = y 1 y 2. y n On a β minimum de S si solution du système ( ) X T X β = X T y Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 21 / 64

Méthode des moindres carrés Moindres carrés linéaires Exercice Établir le système ( X T X ) β = X T y. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 22 / 64

Méthode des moindres carrés Moindres carrés linéaires Exercice (correction) Établir le système ( X T X ) β = X T y. Le minimum de S est atteint pour n m y i β j X ij = 0 X ik i=1 j=1 k = 1,..., m D où n X ik y i = i=1 n m X ik i=1 j=1 β j X ij = m j=1 β j ( n i=1 X ik X ij ) k = 1,..., m Et sous forme matricielle, ( ) X T X β = X T y Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 23 / 64

Méthode des moindres carrés Prise en compte des statistiques d erreur Plan 1 Introduction 2 Méthode des moindres carrés Méthode générale Régression linéaire Moindres carrés linéaires Prise en compte des statistiques d erreur 3 Interpolation polynômiale Théorie Forme lagrangienne Phénomène de Runge Splines Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 24 / 64

Méthode des moindres carrés Prise en compte des statistiques d erreur Mesures expérimentales En général, les mesures faites sur y i sont entâchées d erreur. Notons σ i une estimation de l écart-type du bruit qui affecte chaque mesure. Exemple : On cherche à déterminer la valeur de la résistance R du composant électronique resistance. Pour cela, on prescrit différentes intensités i (nos x i ) à la résistance et on mesure la tension U par un voltmètre. La loi d Ohm nous dit que U = Ri. Les mesures de tension (nos y i ) sont entâchées d erreur du fait de la précision du voltmètre (on a par exemple σ i = 0.05V ). Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 25 / 64

Méthode des moindres carrés Prise en compte des statistiques d erreur Prise en compte des incertitudes Au lieu de chercher à minimiser la quantité S(β) = n (y i f (x i, β)) 2 i=1 on va chercher à minimiser n ( ) χ 2 yi f (x i, β) 2 (β) = = i=1 σ i n w i (y i f (x i, β)) 2 i=1 Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 26 / 64

Méthode des moindres carrés Prise en compte des statistiques d erreur Exercice On dispose de n points (x i, y i ), i = 1,..., n et on suppose que la fonction modèle est de la forme f (x, β 0 ) = β 0 Chaque mesure y i est entâchée d une erreur dont l écart-type est estimé à σ i = 1 wi. Trouver β 0 minimisant χ 2 (β 0 ) = n w i (y i f (x i, β 0 )) 2 i=1 Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 27 / 64

Méthode des moindres carrés Prise en compte des statistiques d erreur Exercice (correction) Trouver β 0 minimisant n χ 2 (β 0 ) = w i (y i f (x i, β 0 )) 2 i=1 La dérivée vaut n χ 2 (β 0 ) = 2 w i (y i β 0 ) i=1 et on résout χ 2 (β 0 ) = 0, d où n w i y i β 0 = moyenne pondérée des y i. i=1 n i=1 Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 28 / 64 w i

Plan 1 Introduction 2 Méthode des moindres carrés Méthode générale Régression linéaire Moindres carrés linéaires Prise en compte des statistiques d erreur 3 Interpolation polynômiale Théorie Forme lagrangienne Phénomène de Runge Splines Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 29 / 64

Introduction : interpolation linéaire par morceaux Exercice : on dispose de n + 1 points (x i, y i ), i = 0,..., n. On suppose x 0 < x 1 < x n. On construit f fonction d interpolation entre x 0 et x n tel que les points (x i, y i ) soient reliés entre eux par des droites. Exprimer f Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 30 / 64

Interpolation linéaire par morceaux (correction) Exercice : on dispose de n + 1 points (x i, y i ), i = 0,..., n. On suppose x 0 < x 1 < x n. On construit f fonction d interpolation entre x 0 et x n tel que les points (x i, y i ) soient reliés entre eux par des droites. Exprimer f f (x) = { yi+1 y i x i+1 x i (x x i ) + y i sur x [x i, x i+1 ] Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 31 / 64

Théorie Plan 1 Introduction 2 Méthode des moindres carrés Méthode générale Régression linéaire Moindres carrés linéaires Prise en compte des statistiques d erreur 3 Interpolation polynômiale Théorie Forme lagrangienne Phénomène de Runge Splines Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 32 / 64

Théorie Régularité d une fonction Dans la nature, la plupart des fonctions rencontrées sont très régulières. On peut mesurer la régularité d une fonction par le biais de ses dérivées. Plus une fonction est différentiable, plus la courbe qui lui est associée est lisse. Le problème de l interpolation linéaire par morceaux est que la fonction d interpolation est continue mais n est pas dérivable. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 33 / 64

Théorie Interpolation polynômiale Idée (simple) : Trouver un polynôme P(x) passant par tous les points donnés (x i, y i ) donc tel que P(x i ) = y i i = 0,..., n Degré d un polynôme : P est un polynôme de degré k si P(x) = a 0 + a 1 x +... + a k x k avec a k 0 Existence et unicité de P : si k < n, en général pas de solution (moindres carrés) si k > n, infinité de solutions si k = n, solution unique (sous certaines conditions) => preuve? Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 34 / 64

Théorie Résolution d un système linéaire On cherche un polynôme P de la forme tel que P(x i ) = y i pour i = 0,..., n. P(x) = a 0 + a 1 x +... + a n x n Pour trouver les a k, il faut résoudre le système linéaire suivant 1 x 0... x0 n a 0 y 0 1 x 1... x1 n a 1 y 1... 1 x n... xn n. a n =. y n Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 35 / 64

Théorie Matrice de Vandermonde et unicité de la solution 1 x 0... x0 n 1 x 1... x1 n M =... 1 x n... xn n Le système admet une unique solution si et seulement si la matrice M est inversible. Or M est une matrice de Vandermonde, elle est inversible si det(m) = (x i x j ) 0 0 i<j n Le système admet une unique solution si et seulement si les x i, i = 0,..., n, sont deux à deux disjoints. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 36 / 64

Forme lagrangienne Plan 1 Introduction 2 Méthode des moindres carrés Méthode générale Régression linéaire Moindres carrés linéaires Prise en compte des statistiques d erreur 3 Interpolation polynômiale Théorie Forme lagrangienne Phénomène de Runge Splines Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 37 / 64

Forme lagrangienne Comment calculer le polynôme d interpolation La méthode consistant à inverser la matrice de Vandermonde ou de résoudre le système linéaire est coûteuse et instable numériquement (risque d explosions numériques artificielles). Pour éviter ces problèmes, plusieurs méthodes explicites (sans résolution de systèmes linéaires) existent elles évitent de calculer les coefficients a k du polynôme P. elles utilisent une autre représentation du polynôme P. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 38 / 64

Forme lagrangienne Forme lagrangienne du polynôme d interpolation On dispose d un ensemble de n + 1 points (x i, y i ), i = 0,..., n tel que si i j, x i x j. L interpolation polynômiale sous forme lagrangienne noté L est une combinaison linéaire n L(x) = y j l j (x) de polynômes de Lagrange l j (x) = n k=0,k j j=0 x x k x j x k = x x 0 x j x 0... x x j 1 x j x j 1 x x j+1 x j x j+1... x x n x j x n Les polynômes de Lagrange sont de degré n donc L est au maximum de degré n. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 39 / 64

Forme lagrangienne Exemple On dispose des points (0, 3), (2, 1), (4, 2), (9, 5). Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 40 / 64

Forme lagrangienne Exercice Vérifier que L(x i ) = y i pour i = 0,..., n. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 41 / 64

Forme lagrangienne Exercice (correction) Vérifier que L(x i ) = y i pour i = 0,..., n. Pour i j l j (x i ) = n k=0,k j x i x k x j x k = x i x 0 x j x 0... x i x i x j x i... x i x n x j x n = 0 et donc l j (x j ) = L(x i ) = n k=0,k j x j x k x j x k = 1 n y j l j (x i ) = y i j=0 Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 42 / 64

Phénomène de Runge Plan 1 Introduction 2 Méthode des moindres carrés Méthode générale Régression linéaire Moindres carrés linéaires Prise en compte des statistiques d erreur 3 Interpolation polynômiale Théorie Forme lagrangienne Phénomène de Runge Splines Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 43 / 64

Phénomène de Runge Exercice introductif On considère l ensemble de points suivants ( 1, 1 ), (0, 1), 26 ( 1, 1 ) 26 Que vaut L? Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 44 / 64

Phénomène de Runge Exercice introductif (correction) On considère l ensemble de points suivants ( 1, 1 ), (0, 1), 26 Que vaut L? ( 1, 1 ) 26 D où l 0 (x) = x(x 1) 2 = 1 2 x 2 1 2 x l 1 (x) = (x + 1)(x 1) = x 2 + 1 l 2 (x) = x(x + 1) 2 = 1 2 x 2 + 1 2 x L(x) = y 0 l 0 (x) + y 1 l 1 (x) + y 2 l 2 (x) = 25 26 x 2 + 1 Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 45 / 64

Phénomène de Runge Phénomène de Runge Considérons la fonction f (x) = 1 1 + 25x 2 x [ 1, 1] Runge (1856 1927) a montré que si cette fonction est interpolée aux points équidistants x i entre 1 et 1 x i = 1 + (i 1) 2 n i = 0,..., n par un polynôme P n de degré n alors ( lim n + max f (x) P n(x) 1 x 1 ) = Lorsqu on augmente le nombre de points, on constate que le polynôme se met à osciller fortement entre les points x i avec une amplitude de plus en plus grande. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 46 / 64

Phénomène de Runge Phénomène de Runge : illustration Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 47 / 64

Splines Plan 1 Introduction 2 Méthode des moindres carrés Méthode générale Régression linéaire Moindres carrés linéaires Prise en compte des statistiques d erreur 3 Interpolation polynômiale Théorie Forme lagrangienne Phénomène de Runge Splines Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 48 / 64

Splines Contourner le phénomène de Runge? L interpolation polynômiale (sous la forme décrite juste avant) n est pas toujours bien adaptée à l approximation de fonctions. Solutions : Choisir les points x i d interpolation afin de minimiser les oscillations du polynôme d interpolation. Utiliser la méthode des moindres carrés avec k < n. Segmenter : approcher la fonction par des polynômes par morceaux (splines). Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 49 / 64

Splines Interpolation linéaire par morceaux Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 50 / 64

Splines Spline cubique Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 51 / 64

Splines Spline cubique On dispose d un ensemble de n + 1 points (x i, y i ), i = 0,..., n tel que x 0 < x 1 <... x n. La spline cubique S interpolant ces points coïncide sur chaque intervalle [x i, x i+1 ] avec un polynôme p i de degré 3 de la forme : S(x) = p i (x) = f i + f i (x x i ) + f i 2! (x x i) 2 + f i 3! (x x i) 3 Les coefficients à déterminer sont les f i, f i, f i et f i. On a n + 1 points d interpolations donc n intervalles [x i, x i+1 ] et 4n inconnues à déterminer. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 52 / 64

Splines Conditions naturelles imposées On veut naturellement que S(x i ) = p i (x i ) = y i i = 0,..., n 1 S(x i+1 ) = p i (x i+1 ) = y i i = 0,..., n 1 ce qui permet d assurer la continuité de la spline cubique S. On a donc 4n inconnues et 2n relations utilisées pour les conditions usuelles. On se sert des 2n degrés de libertés restant pour imposer que la spline S soit C 2. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 53 / 64

Splines Conditions C 2 Pour que S soit C 2 sur [x 0, x n ], il faut que S (x i+1 ) = p i(x i+1 ) = p i+1(x i+1 ) i = 0,..., n 2 S (x i+1 ) = p i (x i+1 ) = p i+1(x i+1 ) i = 0,..., n 2 On vient d imposer 2 (n 1) conditions, il reste encore 2 degrés de liberté. En général, pour terminer on prend S (x 0 ) = p 0 (x 0) = 0 et S (x n ) = p n 1 (x n) = 0 (splines naturelles) mais de nombreux autres choix sont possibles. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 54 / 64

Splines Illustration Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 55 / 64

Splines Exercice : comment évaluer les coefficients f i, f i, f i et f i 1 Exprimer p i (x), p i (x) et p i (x) en fonction des f i, f i, f i et f i. 2 Montrer à partir de la condition p i (x i ) = y i que f i = y i i = 0,..., n 1 3 Notons h i = x i+1 x i pour i = 0,..., n 1 et f [x i, x i+1 ] = y i+1 y i h i. Montrer à partir de la condition p i (x i+1 ) = y i+1 que i = f [x i, x i+1 ] f i 2 h i f i6 h2 i i = 0,..., n 1 f Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 56 / 64

Splines Exercice : comment évaluer les coefficients f i, f i, f i et f i 4 Montrer à partir de la condition p i (x i+1) = p i+1 (x i+1) que f i = f i+1 f i i = 0,..., n 2 h i 5 On pose f n = p n 1 (x n). On a donc f n 1 = f n f n 1 h n 1. Montrer que f i = f [x i, x i+1 ] 1 3 h if i 1 6 h if i+1 i = 0,..., n 1 6 Montrer à partir de la condition p i (x i+1) = p i+1 (x i+1) que h i f i + 2(h i + h i+1 )f i+1 + h i+1 f i+2 = 6(f [x i+1, x i+2 ] f [x i, x i+1 ]) pour i = 0,..., n 2. Il ne reste plus qu à imposer f 0 et f n pour obtenir tous les coefficients. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 57 / 64

Splines Résumé construction spline cubique (cas splines naturelles) But : déterminer les 4n coefficients : f i, f i, f i et f i, i = 0,..., n 1. Cas splines naturelles, f 0 = f n = 0. Pour obtenir les f i il faut résoudre le système suivant : 2(h 0 + h 1 ) h 1 0... h 1 2(h 1 + h 2 ) h 2 0 0 h n 3 2(h n 3 + h n 2 ) h n 2... 0 h n 2 2(h n 2 + h n 1 ) = 3(f [x 1, x 2 ] f [x 0, x 1 ]) 3(f [x 2, x 3 ] f [x 1, x 2 ]). 3(f [x n 1, x n ] f [x n 2, x n 1 ]) La matrice est creuse, le système est facile à résoudre numériquement. f 1 f 2. f n 1 Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 58 / 64

Splines Résumé construction spline cubique (cas splines naturelles) On a automatiquement f i = y i pour i = 0,..., n 1. On calcule les f i et f i à partir des formules f i = f [x i, x i+1 ] 1 3 h if i 1 6 h if i+1 i = 0,..., n 1 f i = f i+1 f i i = 0,..., n 1 h i et on obtient la fonction C 2 spline cubique S tel que S(x i ) = y i Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 59 / 64

Splines Exercice : correction 1 Exprimer p i (x), p i (x) et p i (x) en fonction des f i, f i, f i et f i. p i (x) = f i + f i (x x i ) + f i 2 (x x i) 2 + f i6 (x x i) 3 p i(x) = f i + f i (x x i ) + f i2 (x x i) 2 p i (x) = f i + f i (x x i ) 2 Montrer à partir de la condition p i (x i ) = y i que f i = y i i = 0,..., n 1 p i (x i ) = f i + f i (x i x i ) + f i 2 (x i x i ) 2 + f i 6 (x i x i ) 3 = f i p i (x i ) = y i = f i = y i Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 60 / 64

Splines Exercice : correction 3 Notons h i = x i+1 x i pour i = 0,..., n 1 et f [x i, x i+1 ] = y i+1 y i h i. Montrer à partir de la condition p i (x i+1 ) = y i+1 que i = f [x i, x i+1 ] f i 2 h i f i6 h2 i i = 0,..., n 1 f p i (x i+1 ) = f }{{} i +f i h i + f i 2 h2 i + f i 6 h3 i = y i+1 =y i f i h i = y i+1 y i f i 2 h2 i f i En divisant par h i, on trouve le résultat. 6 h3 i Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 61 / 64

Splines Exercice : correction 4 Montrer à partir de la condition p i (x i+1) = p i+1 (x i+1) que f i = f i+1 f i i = 0,..., n 2 h i p i (x i+1 ) = f i + f i h i = f i+1 = p i+1(x i+1 ) En divisant par h i, on trouve le résultat. Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 62 / 64

Splines Exercice : correction 5 On pose f n = p n 1 (x n). On a donc f n 1 = f n f n 1 h n 1. Montrer que f i = f [x i, x i+1 ] 1 3 h if i 1 6 h if i+1 i = 0,..., n 1 f i = f [x i, x i+1 ] f i 2 h i f i 6 h2 i = f [x i, x i+1 ] f i 2 h i f i+1 f i 6 D où le résultat. h i Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 63 / 64

Splines Exercice : correction 6 Montrer à partir de la condition p i (x i+1) = p i+1 (x i+1) que h i f i + 2(h i + h i+1 )f i+1 + h i+1 f i+2 = 6(f [x i+1, x i+2 ] f [x i, x i+1 ]) pour i = 0,..., n 2. p i(x i+1 ) = f i + f i h i + f i2 h2 i = f i+1 = p i+1 (x i+1 ) f [x i, x i+1 ] 1 3 h if i 1 6 h if i+1 + f i h i + f i+1 f i 2 En simplifiant, on vérifie le résultat. h i = f [x i+1, x i+2 ] 1 3 h i+1f i+1 1 6 h i+1f i+2 Analyse numérique (Pagora 1A) Approximation de fonctions 29/01/13-1/02/13 64 / 64