Projection Orthogonale, J Paul K., Tsasa

Transcription

1 Projection Orthogonale, J Paul K., Tsasa One Pager Mars 2013 Vol. 5 Num. 018 Copyright Laréq Projection Orthogonale Décomposition Orthogonale et Meilleure Approximation Jean Paul Kimbambu, Tsasa Vangu «Ne commence rien dont tu puisses te repentir dans la suite. Garde toi d entreprendre ce que tu ne sais pas faire, et commence par t instruire de ce que tu dois savoir. C est ainsi que tu mèneras une vie délicieuse.» Pythagore de Samos Résumé Ce papier propose une présentation pédagogique du concept de projection orthogonale, et démontre les théorèmes dits de la décomposition orthogonale et de la meilleure approximation utilisés dans la recherche des solutions approximatives des systèmes d équations linéaires par la méthode des moindres carrés. Mots clé : Ensembles orthogonal et orthonormé, opérateur linéaire et projection orthogonale. Abstract This paper introduces the concept of orthogonal projection used in the research of approximate solutions of systems of linear equations by the method of least squares. Introduction Ce papier, s inscrivant dans la suite de Tsasa (2013b), s intéresse aux différentes propriétés liées au concept de projection orthogonale et aborde la question en cause dans une perspective de présenter dans une prochaine publication la formalisation et la résolution du problème général des moindres carrés. Contrairement à Tsasa (2012a, 2012b), le processus de dérivation du problème des moindres carrés, tel que proposé, sera analytiquement plus rigoureuse. Par ailleurs, il convient de noter que la bonne appréhension du concept de projection orthogonale nécessite une connaissance de quelques préalables et considérations théoriques, notamment, sur les concepts : (i) d ensemble orthogonal que je présente à la section première ; (ii) d ensemble orthonormé que je développe à la section deuxième et (iii) d application linéaire que j aborde à la section troisième. A la fin de la troisième section, tous les éléments du puzzle seront quasi réunis pour présenter l objet principal de ce papier. L objectif poursuivi dans ces trois différentes publications (Num. 017, 018 & 019) est celui de poser et présenter pédagogiquement les fondements de la méthode des moindres carrés 1. In fine, il sied de préciser qu un traitement plus explicite du problème des moindres carrés, ainsi que l analyse de ses extensions figurent parmi les thèmes d étude de la série «Sujets spéciaux en Économétrie» tels que prévus dans le calendrier de publication du Laboratoire pour l exercice Les deux premières publications (One pager, vol. 5, num. 017 & num. 018) portent respectivement sur l orthogonalité et sur la projection orthogonale. La troisième publication (One pager, vol. 5, num. 019), à paraître prochainement, s intéresse à la formalisation et à la résolution du problème général des moindres carrés. 118

2 Ensembles orthogonaux Le concept d ensemble orthogonal est un préalable indispensable à l analyse des ensembles orthonormés et de la projection orthogonale. Soient vecteurs de et un ensemble de vecteurs. L ensemble est orthogonal si chaque paire de vecteurs et tel que est orthogonale. Dans un papier précédent 1, il a été établi que deux vecteurs sont orthogonaux si et seulement si : Si les vecteurs et sont orthogonaux, on note : Et on obtient ainsi : Par exemple, si et Alors et donc : soit Dans formules suivantes : la détection de l orthogonalité entre deux vecteurs est plus facile. Il suffit d appliquer les Ainsi, pour un ensemble orthogonal comprenant trois vecteurs, on vérifie que : ; et Théorème 1. Soit un ensemble orthogonal de vecteurs non nuls de Si est linéairement indépendant, il s ensuit qu il est une base du sous espace qu il engendre. Soient une suite finie de scalaires telle que Il vient que : puisque Et comme donc De même, un raisonnement identique permet d établir que conséquent, l ensemble est linéairement indépendant. doivent également être nuls. Et par Une base d un sous espace de est un ensemble orthogonal, appelé base orthogonale. Le théorème reprend un des résultats importants concernant les bases orthogonales. 1 Tsasa (2013b, p. 115). 119

3 Théorème 2. Soient une base orthogonale d un sous espace de Quel que soit un élément du sous espace de les pondérations dans la combinaison linéaire : peuvent toujours être extraites à l aide de la formule : L ensemble étant une base orthogonale, il vient que : Puisque l équation peut, de ce fait, être résolue par rapport à Il en est de même pour tous les tels que Une question intéressante pouvant être soulevé à cette étape de l analyse est celle de la décomposition du vecteur de en une somme de deux vecteurs telle que : (i) le premier soit un multiple d un vecteur donné non nul de ; (ii) le second soit orthogonal à A cet effet, on écrit : où et est un vecteur orthogonal à Il faut donc trouver la valeur de tel que le vecteur est orthogonal à De (5), On sait que si et seulement Ainsi, on a : Le vecteur est appelé projection orthogonale de sur et la composante de orthogonale à En considérant une application illustrative dans telle que et : - la projection orthogonale de sur est : - la composante de orthogonale à est : On peut également montrer que l ensemble est orthogonal : 120

4 Il ressort de cette application que le vecteur orthogonaux : est donc écrit comme la somme de deux vecteurs Ensemble orthonormé Soient un ensemble de vecteurs de L ensemble est orthonormé s il est une base orthonormée du sous espace de qu il engendre, c est à dire un ensemble orthogonal de vecteurs de norme 1. Ainsi, on vérifie pour chaque paire de vecteurs distincts : (i) ; (ii) Les vecteurs sont donc des vecteurs unitaires et forment ainsi une base de puisqu ils sont d office linéairement indépendants. Théorème 3. Une matrice de format possède des colonnes orthonormées si et seulement : où est une matrice identité. Sans perte de généralité, on admet que comprend trois colonnes de vecteurs de : Et donc : Les éléments de la matrice sont de produits scalaires. Les colonnes de sont orthogonales si et seulement : Parallèlement, les colonnes de sont de norme 1 si et seulement si : D où, Soient et deux vecteurs de Si une matrice de format est à colonnes orthonormées, il vient que : (i) ; (ii) ; (iii) si et seulement si Les propriétés (i, ii, iii) révèlent que l application linéaire : conserve les normes et l orthogonalité. 121

5 Par ailleurs, pour une matrice carrée Si est orthogonale, on établit que : (i) où est l inverse de et la transposée de ; (ii) les colonnes de sont orthonormées. Il sied de noter qu une matrice à colonnes orthonormées est appelée matrice orthogonale ou abusivement matrice orthonormée. Proposition. Toute matrice carrée dont les colonnes sont orthonormées est une matrice orthogonale ses lignes, dans ce cas, sont également orthonormées. Application linéaire L analyse du concept d opérateur linéaire (opération ou transformation linéaire) présentée dans ce papier reprend essentiellement les définitions et résultats qui trouvent une application directe par rapport à l objet de la présente discussion. Soient un corps quelconque, un espace vectoriel, et des vecteurs non nuls et une application linéaire. La propriété fondamentale de est donnée par : où et sont des scalaires. La propriété fondamentale de l opérateur peut être éclatée en deux : (i) propriété d additivité, ; (ii) propriété d homogénéité, Il vient donc qu un scalaire quelconque est insensible à l opérateur Ainsi, la dérivation d une fonction, l intégration sur l intervalle d une fonction ou encore la projection orthogonale sont des applications linéaires. Si à tout vecteur de l espace l opérateur associe un autre vecteur de est dit endomorphisme. Soient une application linéaire de l espace vers et un sous espace de l espace d arrivé Alors, l ensemble des vecteurs tel que est appelé image réciproque ou inverse de par noté : L ensemble est un sous espace non vide de l espace et contenant notamment le vecteur nul de Soient et deux vecteurs du sous espace Par définition de l image réciproque : et puisque : donc : 122

6 Dès lors, le noyau de l opérateur noté correspond à l image réciproque du vecteur nul de l espace d arrivée. Soit : Dans la section qui suit, on se rendra compte que la projection, étant une transformation de l espace, est une application linéaire (opérateur linéaire ou transformation linéaire). Projections orthogonales Cette section généralise l analyse de projections orthogonales d un point de sur une droite passant par l origine dans et présente, par ailleurs, les principales propriétés qui s ensuivent. Soient un sous espace de et où est une combinaison linéaire de vecteurs et une combinaison linéaire de vecteur et la combinaison linéaire des vecteurs d une base telle que les termes sont rassemblés en deux groupes et Il existe un vecteur dans un sous espace de tel que : (i) est l unique vecteur de pour lequel ; (ii) est l unique vecteur de le plus proche de Techniquement, ces deux propriétés fondamentales constituent la clé de la recherche des solutions des systèmes linéaires par les moindres carrés et alimente la formulation des deux théorèmes (théorème de la décomposition orthogonale et théorème de la meilleure approximation) repris ci après. Théorème 4 (Décomposition orthogonale). Soient un sous espace de et l ensemble de tous les vecteurs orthogonaux à Tout vecteur de peut être écrit de façon unique sous la forme : où et Si est une base orthogonale quelconque de alors : et où est une projection orthogonale de sur notée La démonstration du théorème5 se fait en deux temps : (i) montrer que ; (ii) établir que le vecteur est unique. - Soit une base orthogonale de De (12) : (12a). En substituant (12a) dans (13), on obtient, après réaménagement : De (14), on conclut que Et par analogie, Puisque est orthogonal à chaque vecteur de en conséquence - Soit où et Alors D après cette dernière expression, puisque donc 123

7 Il vient que : L intérêt de ce théorème est qu une fois on a il n est pas nécessaire de dispose d une base orthogonale de car la connaissance d une base orthogonale de est suffisante. Théorème 5 (Meilleure approximation). Soient un sous espace de un vecteur quelconque de de : et la projection orthogonale de sur Il vient que est le point de le plus proche où est désigné meilleure approximation de par des éléments de Soit tel que Puisque donc Par le théorème 4 : Soit D après le théorème de Pythagore tel qu établi dans (Tsasa, 2013, p. 115), on a : avec car Ainsi dérive t on l inégalité recherchée : La distance est communément appelée «erreur» car on considère à la place de D après le théorème 5, on conclut donc que : Le critère des moindres carrés, établi indépendamment en 1805 par le mathématicien français Adrien Marie Legendre ( ) et en 1809 par le mathématicien allemand Johann Carl Friedrich Gauß ( ), est largement utilisé en sciences économiques pour appliquer les données expérimentales aux modèles économétriques. Un traitement rigoureux et pédagogiquement plus détaillé de ce critère, ainsi que l analyse de ses extensions feront l objet de la série «Sujets spéciaux en économétrie». Au total, ce papier en complétant le numéro précédent met en évidence tous les préalables nécessaires à la formulation et à la résolution du problème général des moindres carrés. C est ainsi que dans le prochain papier, il sera question d aborder les problèmes se rapportant aux systèmes d équations tels que la solution est exigée bien qu il n en existe pas naturellement. 124

8 Bibliographie AIGNER Martin et Günter M. ZIEGLER, 1998, Raisonnements Divins : Quelques Démonstrations Mathématiques Particulièrement Elégantes, 2 ième édition Springer, Berlin, 270p. BOURBAKI Nicolas, 1975, Topologie Générale, Chapitres 5 à 10, Springer Verlag Berlin and Heidelberg GmbH & Co. K, Berlin, 336p. BOURBAKI Nicolas, 1981, Espaces Vectoriels Topologiques, Chapitre 1 à 5, Dunod, Paris, 368p. BOURBAKI Nicolas, 2006, Topologie Générale, Chapitre 1 à 4, Springer Verlag Berlin and Heidelberg GmbH & Co. K, Berlin, 376p. BOURBAKI Nicolas, 2007, Eléments d histoire des mathématiques, Springer Verlag Berlin and Heidelberg GmbH & Co. K, Berlin, 374p. HAMILTON James D., 1994, Times Series Analysis, Princeton University Press, Princeton, New Jersey, 799p. OK Efe A., 2007, Real Analysis with Economic Applications, Princeton University Press, Princeton, 802p. TOMBOLA Cédrick et Jean Paul TSASA, 2013, «Analyse de la Structure d Espaces Vectoriels», One Pager Laréq (février), vol. 5, num. 15, TSASA Jean Paul, 2012a, «Faisceau des Moindres Carrés», One Pager Laréq (mai), vol. 2, num. 001, TSASA Jean Paul, 2012b, «Dérivation de la Règle d or d Estimation : un regard plus attentif sur les points focaux de la méthode des moindres carrés linéaires», One Pager Laréq (mai), vol. 2, num. 004, TSASA Jean Paul, 2013a, «Ensemble R et Extraction de Quelques Théorèmes Fondamentaux», One Pager Laréq (janvier), vol. 5, num. 006, TSASA Jean Paul, 2013b, «Produit Scalaire, Métrique et Orthogonalité : Préalables à la Résolution du Problème des Moindres Carrés», One Pager Laréq (mars), vol. 5, num. 017,