Régression linéaire et non linéaire

Transcription

1 Régression linéaire et non linéaire Mark Asch Septembre 2010 TADE - EDSS, UPJV Régression linéaire 1.1 La droite de moindres carrés Le problème suivant est souvent rencontré dans tous les domaines où des mathématiques sont appliquées. Pour des points discrets t i (souvent des instants de temps), des observations b i d un phénomène quelconque sont faites, et les résultats sont enrégistrés comme un ensemble de couples D = {(t 1, b 1 ), (t 2, b 2 ),..., (t m, b m )}. Sur la base des ces observations, le problème est de faire des estimations ou des prévisions aux points (instants) ˆt différents des t i. L approche classique est alors de trouver l équation de la courbe y = f(t) qui est ajustée au mieux aux points dans D afin de pouvoir ensuite estimer le phénomène selon ŷ = f(ˆt). Commençons par ajuster une ligne droite aux points dans D. Une fois que nous avons compris ceci, il est relativement facile d ajuster les données avec des lignes courbes. La stratégie est de déterminer les coefficients, α et β, de la droite f(t) = α + βt qui s ajuste au mieux aux points (t i, b i ) dans le sens où la somme des erreurs verticales (nous supposons ici que les instants sont connus sans erreurs) ɛ 1, ɛ 2,...ɛ m est minimale. Si nous définissons les erruers comme ɛ i = f(t i ) b i = α + βt i b i 1

2 alors le but est : trouver les valeurs de α et β qui minimisent E = ɛ 2 i. Selon la théorie d optimisation, la valeur minimale se trouve par la résolution des équations pour les points stationnaires, E α = 0, E β = 0. Nous calculons aisement, 2 2 (α + βt i b i ) = 0 (α + βt i b i ) t i = 0, qui peut être réecrit en termes des deux inconnus, ( m ) ( m ) 1 α + t i β = ( m ) ( m t i α + t 2 i ) β = b i t i b i. Ce système est équivalent à l équation matricielle, avec 1 t 1 1 t 2 A =.., b = 1 t m A T Ax = A T b, (1) b 1 b 2. b m et x = [ α β Le système (1) est le système d équations normales associé au système Ax = b. Le produit, 1 t 1 [ ] A T t 2 A = t 1 t 2 t m.. 1 t m [ m m = t ] i m t. i m t2 i ]. 2

3 Vu que les t i sont supposés distincts, le système admet une solution unique donnée par x = ( A T A ) 1 A T b et l erreur totale par ɛ 2 i = (Ax b) T (Ax b). Nous résumons dans un théorème. Pour A R m n et b R m, soit ɛ = ɛ(x) = Ax b. Le problème général de moindres carrés est de trouver le vecteur x qui minimise la quantité ɛ 2 i = ɛ T ɛ = (Ax b) T (Ax b). Tout vecteur qui fournit une valeur minimale s appele une solution de moindres carrés. L ensemble de toutes les solutions de moindres carrés est précisément l ensemble de solutions du système des équations normales, A T Ax = A T b. Il existe une solution de moindres carrés unique, donnée par x = ( A T A ) 1 A T b, si et seulement si le rank(a) = n. Si Ax = b est consistente, alors la solution de Ax = b est la même que celle de moindres carrés. 1.2 La courbe de moindres carrés Le problème est ici de trouver un polynôme de degré donné, p(t) = α 0 + α 1 t + α 2 t α n 1 t n 1 qui se rapproche autant que possible, dans le sens des moindres carrés, à un ensemble de mesures D = {(t 1, b 1 ), (t 2, b 2 ),..., (t m, b m )}, où les t i sont distincts et n m. Le but, de nouveau, est de minimiser la somme de carrés, ɛ 2 i = (p(t i ) b i ) 2 = (Ax b) T (Ax b)., où A =. 1 t 1 t 2 1 t n t 2 t 2 2 t n t m t 2 m t n 1 m, b = b 1 b 2. b m et x = α 0 α 1. α n 1 Le polynome de moindres carrés est unique parce que A m n est une matrice de Vandermonde avec n m, et donc rank(a) = n.. 3

4 1.3 Résolution numérique des équations normales instabilités d une résolution directe par élimination de Gauss et même par factorisation de Cholesky QR (Householder) et SVD factorisations pour la résolution des équations normales Matlab anti-slash opérateur SVD plus robuste que Householder, mais beaucoup plus cher La solution de norme minimale à est donnée par Ax = b x = A + b, où la pseudoinverse de la matrice A de dimension m n, avec m > n, est définie par A + = ( A T A ) 1 A T. La factorisation SVD de A est A = UΣV T où U est une matrice orthogonale m m, V est une matrice orthogonale n n et Σ est une matrice diagonale de dimension m n avec { 0 pour i j, σ ij = σ i pour i = j et σ i sont les valeurs singulières de A. Finalement le pseudoinverse est aussi donnée par A + = V Σ + U T. La factorisation QR de A est [ R A = Q 0 où Q est une matrice orthogonale de dimension m m, et R est une matrice triangulaire supérieure de dimension n n. Finalement le pseudoinverse est aussi donnée par A + = R 1 Q T 1 où Q 1 est la partition m n de Q telle que [ ] [ ] R R A = Q = [Q 0 1 Q 2 ] = Q 0 1 R. ] 4

5 2 Régression non linéaire 2.1 La méthode de Gauss-Newton Dans les problèmes de moindres carrés non linéaires, la fonction à minimiser prend en général la forme g(x) = 1 2 g i (x) 2. Pour appliquer la méthode de Newton à la minimisation de g(x), on doit calculer le Hessien de g, qui dans ce cas précis prend une forme particulière. D une part, la gradient de g est g(x) = g i (x)g i (x) et le Hessien de g est donné par 2 g(x) = g i (x) g i (x) T + g i (x) 2 g i (x). Si l on se place près de l optimum, où on supposera que les g i (x) sont petits, le deuxième terme peut alors être négligé. La matrice obtenue H(x) = g i (x) g i (x) T est semi-définie positive et la plupart du temps, avec m n, elle est définie positive. La méthode obtenue de la méthode de Newton en ramplacant 2 g(x) par H(x) est la méthode de Gauss-Newton : x 0 donné, H k = m g i(x k ) g i (x k ) T, x k+1 = x k H 1 k g(x k). Pour l ajustement de données (t i, y i ), soit la fonction résiduelle r i (x) = y i f(t, x i ), i = 1,..., m où x est un vecteur de paramètres inconnus, f est une fonction non linéaire connue. Nous voulons minimiser φ(x) = 1 2 rt (x)r(x). Son gradient est φ(x) = J T (x)r(x) 5

6 i [S] rate Table 1 Données expérimentales. et sa matrice Hessienne est donnée par H(x) = J T (x)j(x) + r i (x)h i (x) où J(x) = (r1,..,rm) (x 1,...,x n) est le Jacobien de r(x) et H i(x) est le Hessien de r(x i ). Mais le deuxième terme de H(x) est supposé petit proche de la solution, et nous le négligeons. Ceci donne le système linéaire à résoudre à chaque itération : puis la mise à jour J T (x k )J(x k )s k = J T (x k )r(x k ) (2) x k+1 = x k + s k. Notons que l équation (2) est le système d équations normales et peut être résolue par une factorisation QR (ou une SVD). Finalement, nous répétons les itérations jusqu à la convergence. Vitesse de réaction. Dans cet exemple, l algorithme de Gauss Newton est utilisé pour ajuster un modèle en minimisant la somme des carrés entre les observations et les prévisions du modèle. Dans une expérience de biologie, on étudie la relation entre la concentration du substrat [S] et la vitesse de réaction dans une réaction enzymatique à partir de données reportées dans la Table 1. On souhaite ajuster les données à une courbe de la forme : rate = V max [S] K M + [S]. L estimation par moindres carrés porte sur les paramètres V max et K M. Pour i = 1,..., 7 on note par x i les valeurs de [S] et par y i la vitesse de réaction. On pose β 1 = V max et β 2 = K M. Nous allons chercher β 1 et β 2 pour minimiser la somme des carrés des résidus, r i = y i β 1x i β 2 + x i, i = 1,..., 7. La jacobienne J r du vecteur des résidus r i par rapport aux inconnus β j est une matrice 7 2 dont la ligne i est r i = x i, β 1 β 2 + x i r i β 1 x i = β 2 (β 2 + x i ) 2. Commençant avec l estimation initiale β 1 = 0.9 et β 2 = 0.2, il suffit de 5 itérations de l algorithme de Gauss Newton pour atteindre les estimations optimales 6

7 Itération Estimation Σ 7 r2 i 1 [0.9, 0.2] [0.3327, ] [ , ] [0.3578, ] [0.3614, ] [0.3618, ] Table 2 Résultats de la méthode Gauss-Newton 0.35 Regression non lineaire pour reaction enzymatique rate [S] Figure 1 Courbe de régression non linéaire pour données observées. ˆβ 1 = et ˆβ 2 = 0,.556. Le critère de la somme des carrés des résidus chute de 1.02 à en 5 itérations. La Table 2 détaille les cinq itérations et la courbe obtenue est tracée dans la Figure La méthode de Levenberg-Marquardt Afin d assurer la convergence globale de la méthode de Gauss-Newton, on peut la combiner avec une recherche linéaire. L itération obtenue est alors : { d k = H 1 k f(x k), x k+1 = x k + ρ k d k, cependant, il n y a pas de garantie que H k reste définie positive et en général on fait appel à la méthode de Levenberg-Marquardt qui remplace la matrice H k par H k + λi où λ est un réel positif. La méthode est décrite par : 7

8 x 0 donné, H k = m f i(x k ) f i (x k ) T, d k = (H k + λi) 1 f(x k ) x k+1 = x k + ρ k d k. Vitesse de réaction II. Le modèle Hougen-Watson pour la cinétique d une réaction est donnée par : où β 1 x 2 x 3 /β 5 r = 1 + β 2 x 1 + β 3 x 2 + β 4 x 3 x 1, x 2 et x 3 sont les concentrations d hydrogène, n-pentane, isopentane resp., β 1,..., β 5 sont des paramètres inconnus, ˆr 1,..., ˆr n sont des vitesses observées, pour des concentrations x ij, i = 1,...5, j = 1,..., n. Formulation : chercher les valeurs des paramètres qui minimisent le carré de l erreur, n min E = (ˆr j r(x, β)) 2. β j=1 Pour résoudre ce problème on utilisera la fonction nlinfit de Matlab qui implémente l algorithme de Levenberg-Marquardt. 3 Régression par modélisation statistique modélisation de l erreur (qui a été négligée ci-dessus) intervalles de confiance maximum de vraisemblance 8