Moindres carrés. Michel Bierlaire. Laboratoire Transport et Mobilité EPFL - ENAC - TRANSP-OR. Moindres carrés p.

Transcription

1 Moindres carrés p. 1/38 Moindres carrés Michel Bierlaire Laboratoire Transport et Mobilité EPFL - ENAC - TRANSP-OR

2 Moindres carrés p. 2/38 Problème des moindres carrés Problème d optimisation de la forme 1 min x R n 2 g(x) 2 = 1 2 m g i (x) 2 i=1 avec g : R n R m différentiable Contexte : calibration de paramètres d un modèle mathématique

3 Moindres carrés p. 3/38 Résistivité du cuivre Quelle est la résistivité du cuivre? Barre de cuivre 1 m de long, 1 cm 2 de section Expérience envoyer du courant mesurer la différence de potentiel Modèle mathématique : loi d Ohm v = ri

4 Moindres carrés p. 4/38 Résistivité du cuivre Expériences Intensité Voltage Intensité Voltage E E E E E E E E E E E E E E E E E E E E E-05

5 Moindres carrés p. 5/38 Résistivité du cuivre 21 r = argmin r (ri k v k ) 2 k=1 Différence de potentiel 3.2e-05 3e e e e e-05 2e e e Intensité

6 Moindres carrés p. 6/38 Modélisation Système comportant plusieurs configurations Chaque configuration i est définie par des valeurs d entrée α i des valeurs de sortie β i Modèle mathématique β i +ε i = m(α i ;x) x : paramètres du modèle ε i : variable aléatoire représentant les erreurs de mesure et de modélisation

7 Moindres carrés p. 7/38 Modélisation Minimiser l erreur sous contrainte de reproduire les observations sous contrainte En éliminant ε min x i min x,ε i ε 2 i β i +ε i = m(α i ;x), i = 1,... (m(α i ;x) β i ) 2, g i (x) = m(α i ;x) β i

8 Moindres carrés p. 8/38 Réseaux de neurones Modèle mathématique basé sur l analogie biologique But : appréhender la complexité d un systèmes en utilisant un réseau d unités simples Chaque unité (neurone) effectue une tache simple, en utilisant l information fournie par d autres unités. Organisation en N couches

9 Moindres carrés p. 9/38 Réseaux de neurones α ν jk x jk layer j β

10 Moindres carrés p. 10/38 Réseaux de neurones Un neurone j de la couche k utilise des infos de la couche k 1 ν j,k = φ ( (x jk ) 0 + n k i=1 Fonction sigmoïdale: φ(α) = 1 1+e α (x jk ) i ν i,k 1 ) Fonction hyperbolique tangente: φ(α) = eα e α e α +e α..

11 Moindres carrés p. 11/38 Réseaux de neurones Apprentissage de réseau de neurones = moindres carrés Exemple avec la fonction hyperbolique tangente 1 min x 0,x (β i φ(x 1 α i +x 2 )) 2, i=1 α i β i

12 Réseaux de neurones x x2 Moindres carre s p. 12/38

13 Moindres carrés p. 13/38 Gauss-Newton Algorithme pour résoudre Gradient min x R nf(x) = 1 2 g(x)t g(x) f(x) = g(x)g(x) = m g i (x)g i (x), i=1 avec g(x) R n m est la matrice gradient de g

14 Moindres carrés p. 14/38 Gauss-Newton Hessien 2 f(x) = m ( g i (x) g i (x) T + 2 g i (x)g i (x)) i=1 = g(x) g(x) T + m 2 g i (x)g i (x). i=1 Le second terme est très coûteux. Utilisons quasi-newton avec H k = g(x) g(x) T

15 Moindres carrés p. 15/38 Algorithme : Gauss-Newton Objectif Trouver une approximation de la solution du problème aux moindres carrés min x R nf(x) = 1 2 g(x)t g(x). (1) Input La fonction g : R n R m, La matrice gradient de g: g : R n R n m ; Une première approximation de la solution x 0 R n ; La précision demandée ε R, ε > 0.

16 Moindres carrés p. 16/38 Algorithme : Gauss-Newton Output Une approximation de la solution x R n Initialisation k = 0

17 Moindres carrés p. 17/38 Algorithme : Gauss-Newton Itérations 1. Calculer d k+1 solution de 2. x k+1 = x k +d k+1, 3. k = k +1. g(x k ) g(x k ) T d k+1 = g(x k )g(x k ), Critère d arrêt Si g(x k )g(x k ) ε, alors x = x k.

18 Moindres carrés p. 18/38 Gauss-Newton Mêmes problèmes que pour Newton et quasi-newton bien définie que si g(x k ) g(x k ) T est inversible méthode de descente uniquement si g(x k ) g(x k ) T est définie positive convergente si x 0 n est pas trop éloigné de x. Solutions identiques Recherche linéaire Région de confiance Levenberg-Marquardt

19 Moindres carrés p. 19/38 Cas linéaire g(x) = Ax b avec A R m n Gauss-Newton: g(x) = A T g(x k ) g(x k ) T d k+1 = g(x k )g(x k ) A T Ad k+1 = A T (Ax k b) Comme d k+1 = x k+1 x k, on obtient A T Ax k+1 = A T b, x k

20 Moindres carrés p. 20/38 Cas linéaire Equations normales Soit le problème de moindres carrés linéaire min 2, x R n Ax b 2 aveca R m n etb R m. Le système d équations A T Ax = A T b est appelé système d équations normales du problème de moindres carrés.

21 Moindres carrés p. 21/38 Cas linéaire Equations normales SoientA R m n etb R m. Alors,x est solution des équations normales A T Ax = A T b si et seulement six est solution optimale de min 2, x R n Ax b 2 (p. 339)

22 Moindres carrés p. 22/38 Interprétation géométrique Analogie avec Newton Newton : modéliser f par une quadratique Gauss-Newton : modéliser g par un modèle linéaire m et travailler sur 1 2 m(x) 2. p. 340

23 Moindres carrés p. 23/38 Filtre de Kalman Contexte : données organisées par blocs Motivation : sources dispersées dans l espace sources dispersées dans le temps applications en temps réel très large base de données

24 Moindres carrés p. 24/38 Filtre de Kalman Le problème min x R n Ax b 2 2 se décompose en J blocs, chacun contenant m j données. min x R n J A j x b j 2 2, j=1 où A j R m j n et b j R m j. Calcul incrémental de la solution (p. 341)

25 Moindres carrés p. 25/38 Algorithme : Filtre de Kalman Objectif Trouver la solution x d un problème aux moindres carrés linéaire min x R n de manière incrémentale. J A j x b j 2 2, j=1 Input Les matrices A j R m j n, j = 1,...,J. Les vecteur b j R m j, j = 1,...,J.

26 Moindres carrés p. 26/38 Algorithme : Filtre de Kalman Input (suite) Une solution initiale x 0 R n (défaut : x 0 = 0). Un filtre initial H 0 R n n (défaut : H 0 = 0). Output La solution x R n

27 Moindres carrés p. 27/38 Algorithme : Filtre de Kalman Initialisation j = 1 Itérations 1. H j = H j 1 +A T j A j. 2. x j = x j 1 +H 1 j A T j (b j A j x j 1 ) Critère d arrêt Lorsque j = J, x = x J.

28 Moindres carrés p. 28/38 Résistivité du cuivre xj e-05 6e-05 4e-05 2e blocs de données Bloc j

29 Moindres carrés p. 29/38 Validité de l algorithme Il faut que H 1 = A T 1 A 1 soit inversible S il y a suffisamment de données dans le bloc 1, A 1 est de rang plein, et H 1 est inversible. Sinon, poser H 0 = τi, avec τ petit, et H 1 = H 0 +A T 1 A 1. Attention: cela modifie la solution

30 Moindres carrés p. 30/38 Temps réel Paramètres doivent être mis à jour continuellement Concept d âge des données Vieilles données moins représentatives que les récentes Paramètre de dépréciation : 0 < λ 1 Pendant la période j, on reçoit les données (A j,b j ).

31 Moindres carrés p. 31/38 Algorithme : Filtre de Kalman en temps réel Objectif Mettre à jour les paramètres d un modèle linéaire au fur et à mesure que de nouvelles données sont disponibles. A chaque intervalle de temps J, on résoud le problème min x R n J λ J j A j x b j 2 2, j=1 en mettant à jour la solution de l intervalle de temps J 1.

32 Moindres carrés p. 32/38 Algorithme : Filtre de Kalman en temps réel Input La matrice A J R m J n. Le vecteur b J R m J. La solution précédente x J 1 R n. Le filtre précédent H J 1 R n n. Un facteur de dépréciation λ tel que 0 < λ 1 Output x J et H J.

33 Moindres carrés p. 33/38 Algorithme : Filtre de Kalman en temps réel Mise à jour 1. H J = λh J 1 +A T J A J. 2. x J = x J 1 +H 1 J AT J (b J A J x J 1 )

34 Moindres carrés p. 34/38 Régression orthogonale Hypothèses des moindres carrés : variables dépendantes β i sujettes à des erreur aléatoires (distribution normale) variables indépendantes α i connues avec exactitude Pour le problème du cuivre les différences de potentiel sont entâchées d erreur les intensités sont exactes Hypothèse souvent trop forte en pratique

35 Moindres carrés p. 35/38 Régression orthogonale Supposons que les deux soient entâchées d erreur β i +ε i = m(α i +ξ i ;x), avec ε i et ξ i variables aléatoires indépendantes de moyenne nulle de variances identiques

36 Moindres carrés p. 36/38 Régression orthogonale Problème d optimisation : min x,ε,ξ (ε 2 i +ξi) 2 i sous contrainte β i +ε i = m(α i +ξ i ;x), i = 1,... ou encore min x,ξ ((m(α i +ξ i ;x) β i ) 2 +ξi). 2 i

37 Moindres carrés p. 37/38 Régression orthogonale Problème plus compliqué Si m est linéaire, ce n est plus un problème de moindres carrés linéaire standard Nombres d inconnues = n+m S il y a beaucoup de données, problème de grande taille

38 Moindres carrés p. 38/38 Régression orthogonale Interprétation géométrique (α i +ξ i,m(α i +ξ i ;x)) (α i,β i )