Les moindres carrés Moindres carrés Vincent Nozick Introduction : On dispose d un ensemble de point supposés alignés On cherche l équation de la droite qui représente le mieux cet ensemble de points Problème : Les points ne sont en général pas tout à fait alignés Vincent Nozick Moindres carrés 1 / 24 Vincent Nozick Moindres carrés 2 / 24 Vincent Nozick Moindres carrés 3 / 24 Vincent Nozick Moindres carrés 3 / 24
y th = ax + b Vincent Nozick Moindres carrés 3 / 24 Vincent Nozick Moindres carrés 4 / 24 Le résidu R 2 = (ax i + b y i ) 2 y th = ax + b R 2 = N ) 2 (y N th (x i ) y i = (ax i + b y i ) 2 i=1 i=1 Vincent Nozick Moindres carrés 4 / 24 Vincent Nozick Moindres carrés 5 / 24
Le résidu Le résidu R 2 = (ax i + b y i ) 2 R 2 = ( a 2 x 2 i + b2 + y 2 i + 2abx i 2ax i y i 2by i ) R 2 = (ax i + b y i ) 2 R 2 = ( a 2 x 2 i + b2 + y 2 i + 2abx i 2ax i y i 2by i ) R 2 = a 2 x 2 i + b2 1 + y 2 i + 2ab x i 2a x i y i 2b y i Vincent Nozick Moindres carrés 5 / 24 Vincent Nozick Moindres carrés 5 / 24 Dérivée partielle du résidu Dérivée partielle du résidu R 2 = a 2 x 2 i +b 2 1+ y 2 i +2ab x i 2a x i y i 2b y i R 2 = a 2 x 2 i +b 2 1+ y 2 i +2ab x i 2a x i y i 2b y i On veut minimiser R 2 on annule ses dérivées R 2 a = 0 2a x 2 i + 2b x i 2 x i y i = 0 On veut minimiser R 2 on annule ses dérivées R 2 b = 0 2bN + 2a x i 2 y i = 0 a x 2 i + b x i = x i y i a x i + bn = y i Vincent Nozick Moindres carrés 6 / 24 Vincent Nozick Moindres carrés 7 / 24
Système linéaire Système linéaire a x 2 i + b x i = x i y i Solution : a x i + bn = y i a = N i=1 x N i i=1 y i N N i=1 x iy i ( N ) 2 i=1 x i N N i=1 x2 i On obtient un système linéaire : { a x 2 i +b x i = x i y i a x i +bn = y i b = N i=1 x N iy i i=1 x i N N i=1 x2 i i=1 y i ( N ) 2 i=1 x i N N i=1 x2 i Vincent Nozick Moindres carrés 8 / 24 Vincent Nozick Moindres carrés 9 / 24 Moindres carrés et matrices Moindres carrés et matrices Le système linéaire de l approximation d une droite : { a x 2 i +b x i = x i y i peut s écrire matriciellement [ x 2 i xi xi N a x i +bn = y i ] ( a b ) = ( ) xi y i yi Une autre approche plus intuitive serait de résoudre : x 1 1 x 2 1 x 3 1 x n 1 ( a b ) = y 1 y 2 y 3 y n On cherche a et b tels que y i = ax i + b i 1n Vincent Nozick Moindres carrés 10 / 24 Vincent Nozick Moindres carrés 11 / 24
Système linéaire Système linéaire Pour un système linéaire Ax = b (A : m lignes, n colonnes) a 11 a 12 a 1n x 1 b 1 a 21 a 22 a 2n x 2 a m1 a m2 a mn x n = b 2 b m Pour un système linéaire Ax = b (A : m lignes, n colonnes) a 11 a 12 a 1n x 1 b 1 a 21 a 22 a 2n x 2 a m1 a m2 a mn x n = b 2 b m si m = n (et A de rang plein) : solution unique si m < n : infinité de solutions si m > n (et rang(a) = n ) : généralement pas de solution Vincent Nozick Moindres carrés 12 / 24 Vincent Nozick Moindres carrés 12 / 24 Système surdéterminé équation normale et pseudo-inverse si m > n (et rang(a) = n ) on peut trouver une solution au sens des moindres carrés Autrement dit : On a plus d équations que d inconnues, qui ne sont pas d accord entre elles On peut chercher une solution satisfaisant au mieux toutes les équations du système Dans le système surdéterminé A m n x = b, m > n aucune solution x ne peut satisfaire le système on cherche une solution x telle que : e(x) = Ax b 2 2 soit minimal Vincent Nozick Moindres carrés 13 / 24 Vincent Nozick Moindres carrés 14 / 24
équation normale et pseudo-inverse On veut minimiser : e(x) = Ax b 2 on cherche x tel que e(x) x = 0 x = (A A) 1 A b }{{} A + Ax b 2 x = 2A (Ax b) = 0 A Ax A b = 0 Matrice pseudo inverse : A + = def (A A) 1 A Équation normale A Ax = A b solution (au sens des moindres carrés) x = (A A) 1 A b Propriétés : si rang(a) = n, alors A A est une matrice carrée régulière (et A + est donc tout le temps défini) A + = A 1 si A est régulière (carrée de rang plein) Vincent Nozick Moindres carrés 15 / 24 Vincent Nozick Moindres carrés 16 / 24 Exemple : Trouver la droite y = ax + b passant au mieux par les points (x i, y i ) On cherche a et b tels que y i = ax i + b i 1n x 1 1 y 1 x 2 1 ( ) y 2 x 3 1 a = y 3 b } x n 1 {{ } } y n {{ } U v Il s agit bien d un système surdéterminé, dont la solution est : ( ) a = U + v b Vincent Nozick Moindres carrés 17 / 24 Vincent Nozick Moindres carrés 18 / 24
Exemple : Approximation d une parabole Trouver le polynôme y = ax 2 + bx + c passant au mieux par les points (x i, y i ) On cherche a, b et c tels que y i = ax 2 i + bx i + c x 2 1 x 1 1 y 1 x 2 2 x 2 1 y 2 x 2 3 x 3 1 = y 3 } x 2 n x n {{ 1 } U a b c y n i 1n } {{ } v Il s agit bien d un système surdéterminé, dont la solution est : a b c = U + v Vincent Nozick Moindres carrés 19 / 24 Vincent Nozick Moindres carrés 20 / 24 Les moindres carrés Les moindres carrés Applications : A retenir : Globalement, les moindres carrés permettent de résoudre des systèmes surdéterminés (où il y a plus d équations que d inconnues) Physique Traitement d image ou du signal Biologie Économie Vincent Nozick Moindres carrés 21 / 24 Vincent Nozick Moindres carrés 22 / 24
La régression linéaire La régression linéaire Variable à expliquer : le salaire y i d un panel de personnes interrogées (en pratique on prend le log(salaire)) Variable explicative on cherche à voir si les variable suivante expliquent ce salaire : x 1 : nombre d années d études x 2 : nombre d années d expérience professionnelle x 3 : la personne est une femme (1=oui, 0=non) Formulation : y i = 1 x i 1 x i 2 x i 3 } {{ } A β 0 β 1 β 2 β 3 + où u représente le résidu généré par les variables non observées Solution : β = A + y u = y Aβ u i Vincent Nozick Moindres carrés 23 / 24 Vincent Nozick Moindres carrés 24 / 24