ÉCRITURE MATRICIELLE D UN MODÈLE LINÉAIRE Plan du chapitre 3 Ecriture matricielle d un modèle linéaire 2 Projection orthogonale : la méthode des moindres carrés 3 Comprendre la table d analyse de variance 4 L estimation de pose-t-elle problème? 5 Méthodes de construction d une base de 6 Calcul de l estimateur de 7 Calcul de l estimateur de la variance résiduelle 8 Fonctions linéaires estimables III-Écriture matricielle d un modèle linéaire-
Écriture Matricielle d un modèle linéaire Exemple : Analyse de Variance à deux facteurs sans interaction Étude de la teneur en huile de populations de tournesol Testeur Origine Teneur en Huile Afrique 4354 453 Hongrie 4425 4255 Maroc 4728 494 Afrique 472 4773 Hongrie 4434 4649 Maroc 4775 4947 A = Testeur B = Origine A α α 2 β B β 2 β 3 modèle additif : III-Écriture matricielle d un modèle linéaire-2
### " #$# ##$! " $%$ &' ( ) * +, - # + / - $ +, - # + / - $ + / - % * +, - # + / - $ + / - # +, - $ + / - %! * + / - # +, - $ + / - # + / - $ +, - % &' ( + ### ##$ #$#! $%$ 2 3 4 5 6 7 8 < < 8 8 < < < <= C D < <= ; <= < C D 8 E 7 <= < F < C D D C B F = <?@ 6 C D?@ 9: G = A C D?@ G >?@ 9: ; = >= A 9: C D C D D C A 9: 7 = > = A &' ( III-Écriture matricielle d un modèle linéaire-3
H I I J J I I J J K K est structuré en facteur A facteur B L M N M O P N P O P Q R R R R R R II S N S O T N T O T Q U V W I Z I I Z Z I Z XY I Z I Z Z I [\ ] III-Écriture matricielle d un modèle linéaire-4
Exemple : Régression linéaire simple Relation entre tension artérielle et âge Données (Z) Âge (Y) Tension 35 4 45 24 55 43 65 58 TENSION 8 6 4 2 25 35 45 55 65 75 85 AGE 75 66 modèle : ^ ^ ^ III-Écriture matricielle d un modèle linéaire-5
_ ` a b c _ ` a b c _ ` a b c _ ` a b c III-Écriture matricielle d un modèle linéaire-6
Exemple : une généralisation de l analyse de covariance Relation entre volume de bois et hauteur d arbre par forêt d origine Forêt Forêt 2 Forêt 3 Hauteur Volume Hauteur Volume Hauteur Volume 234 26 89 26 225 25 244 28 2 28 229 24 246 27 2 27 297 29 249 28 22 27 24 27 25 3 225 29 24 27 262 3 235 32 245 3 d e de f e f e g e g e modèle : he h he h he he III-Écriture matricielle d un modèle linéaire-7
i j k ll mno po mnq pq mnr pr ms t muo to muq tq mur tr m v wioq ioo wl wl w w w ƒ ƒ w ƒ ƒ w w wvoo voq ioz iqo ƒ iqq j k l mno l mnq l mnr l ƒ ƒ ms lƒl muo l ƒ voz muq lƒl mur vqo m vqq iq{ iro irq ƒˆ xy ir }~ l xy l }~ xy }~ l xy }~ l ƒˆ ƒˆ xy l }~ ƒ xy ƒ }~ xy }~ ƒˆ vq{ xy }~ ƒ vro xy ƒ }~ vrq xy vr }~ Š Œ Ž š Š ž ž œ œ Ÿ Ÿ œ œ œ Ÿ œ Ÿ œ œ œ Ÿ œ œ Ÿ œ Ÿ œ œ œ œ Ÿ š œ œ Ÿœ œ œ Ÿœ š Ž Ž Ž š Ž III-Écriture matricielle d un modèle linéaire-8
Forêt Forêt 2 Forêt 3 volume volume x x x x x δ β x x x x x x δ 3 β α hauteur volume α 3 hauteur µ x δ 2 x x α 2 x β x x x hauteur III-Écriture matricielle d un modèle linéaire-9
En résumé Tous les modèles linéaires s écrivent : III-Écriture matricielle d un modèle linéaire-
Projection orthogonale : la méthode des moindres carrés : combinaison linéaire des C vecteurs colonne de X R N Y ε Xθ P : sous-espace vectoriel de engendré par les C vecteurs colonne de X Ce sous-espace correspond au modèle linéaire choisi pour prédire le vecteur Y des observations III-Écriture matricielle d un modèle linéaire-
Il existe une infinité de qui vérifient la décomposition R N Y Xθ 2 ε 2 ε Xθ P III-Écriture matricielle d un modèle linéaire-2
Comment choisir un ª qui rend «ª «minimale? R N Y ε Xθ P Une valeur de notée qui rend minimale est telle que : ±² III-Écriture matricielle d un modèle linéaire-3
Projeter orthogonalement ³ µ R N Y ε Y Y Xθ Y P ¹ º» º¹ ¼ ½¾ ¹ º» º¹ ¼ ½¾ À Á »» ¹ º» º¹ ¼ ½¾ Projection orthogonale minimiser le critère des moindres carrés III-Écriture matricielle d un modèle linéaire-4
Comprendre la table d analyse de la variance du modèle Ã Ä contre le modèle à Šle plus simple modèle M espace P M droite engendrée par E (Y n ) = µ P On veut quantifier l utilité de Æ par rapport à Ç III-Écriture matricielle d un modèle linéaire-5
En choisissant un modèle linéaire È, on a décomposé É en deux sous-espaces orthogonaux : Ê R N Y ε P Xθ P P Ë Ì III-Écriture matricielle d un modèle linéaire-6
Degré de liberté associé à la somme des carrés R N Y ε Xθ P Í Î Ï Ï Ï Par définition le degré de liberté associé à la somme des carrés d un vecteur est la dimension de l espace auquel le vecteur appartient Í Ï Ï Ï Î Remarque : On a toujours P C III-Écriture matricielle d un modèle linéaire-7
Synthèse En choisissant un modèle linéaire Ð, on a décomposé Ñ en deux sous-espaces orthogonaux Ò Ó Ó Ó Ñ Ñ Ò Ò Ó Ó Ó III-Écriture matricielle d un modèle linéaire-8
R N Y ε M εm P Ô Õ ÖÖÔ Ø ÙÚ Û Ü Ô Õ å Ùæ Ø ÙÚ Û ç Ý Þ ß àá âá ã ä Ý Þ ß àá âá ã è donc ÖÖÔ Ø ÙÚ Û Ü Õ å Ùæ Ø ÙÚ Û ç éê ë ì í îï éð ñ òòó ôõ ö ø ù ú = éê ë û üý þ ÿ í üý ÿ üý þ ÿ ï éð ñ òò ó ô mesure l apport de la projection sur après la projection sur òò III-Écriture matricielle d un modèle linéaire-9
Table d analyse de la variance Source de variation ddl Modèle P- Résiduelle N-P Totale du N- Source de variation ddl=dim de Apport de par rapport à! "# $ % Erreur du modèle "# & % $ Erreur du modèle "# & % III-Écriture matricielle d un modèle linéaire-2
L estimation de pose-t-elle problème? '( n est pas forcément unique Par construction est unique et s écrit sous la forme Problème : Existe-t-il un unique vecteur tel que? oui si les vecteurs colonne de X forment une base de non dans le cas contraire III-Écriture matricielle d un modèle linéaire-2
Les P vecteurs colonne de X forment ils une base de )? N ΙR X X 2 P X P X 3 : engendré par les P vecteurs colonne de X : * +, III-Écriture matricielle d un modèle linéaire-22
Exemple : Analyse de variance à 2 facteurs sans interaction X = A A 2 B B 2 B 3 Les vecteurs colonne de X forment ils une base de? Non, en effet - - / Seuls C 2 = 5 2 vecteurs sont linéairement indépendants III-Écriture matricielle d un modèle linéaire-23
Exemple : Régression linéaire simple Les vecteurs colonne de X forment ils une base? Oui si les 2 pour ne sont pas tous égaux Dans ce cas, les C = 2 vecteurs colonne de X sont linéairement indépendants III-Écriture matricielle d un modèle linéaire-24
Exemple : Généralisation de l analyse de covariance 3 4 5 3 4 5 Les C vecteurs colonne de X forment-ils une base de? Non en effet il existe des vecteurs colonne qui s expriment comme combinaison linéaire des autres : 3 4 5 3 4 5 Seuls C 2 = 8 2 vecteurs colonne sont linéairement indépendants III-Écriture matricielle d un modèle linéaire-25
67 n est pas uniquement déterminé lorsque 8 9 : ;< =>? @ A Le modèle n est pas écrit sous une forme irréductible Que faire? Construire une base de Vocabulaire : on dit que le modèle est écrit sous forme irréductible si P = C III-Écriture matricielle d un modèle linéaire-26
Méthodes de construction d une base de Construire à partir des C vecteurs colonne de X, P vecteurs linéairement indépendants paramètres contraintes linéaires sur le vecteur des III-Écriture matricielle d un modèle linéaire-27
Exemple : Analyse de variance à 2 facteurs sans interaction B C B C D C = 6 P = 4 Les vecteurs C C D sont linéairement indépendants D autres quadruplets forment une base de, exemples : B C D B C C D III-Écriture matricielle d un modèle linéaire-28
Le modèle écrit sous la forme devient E F E F G F G La transformation ajouter les contraintes E III-Écriture matricielle d un modèle linéaire-29
Exemple : Analyse de variance à 2 facteurs sans interaction Une autre méthode C = 6, P = 4 choisir C-P=2 contraintes indépendantes sur le vecteur H I H I J I H I I I J H I I J J I I H I I H J J H I J I H I H J H III-Écriture matricielle d un modèle linéaire-3
Exercice : Reprendre les données de l exemple sur la généralisation de l analyse de covariance de ce chapitre (page III-7) Le modèle est il écrit sous une forme irréductible? calculer C et P Si le modèle n est pas écrit sous une forme irréductible proposer une solution III-Écriture matricielle d un modèle linéaire-3
Exercice correction : Le modèle n est pas écrit sous une forme irréductible en effet P = 6 et C = 8 Deux solutions équivalentes : Construire P = 6 vecteurs linéairement indépendants à partir des C = 8 vecteurs colonne de X Imposer C - P contraintes linéaires sur le vecteur III-Écriture matricielle d un modèle linéaire-32
Exercice correction : construire P vecteurs linéairement indépendants K L M K L M C = 8 P = 6 Les vecteurs L M L M sont linéairement indépendants III-Écriture matricielle d un modèle linéaire-33
Exercice correction : Le modèle écrit sous la forme devient N O P N O P O P O P La transformation ajouter les contraintes N N III-Écriture matricielle d un modèle linéaire-34
Exercice correction : une autre méthode On choisit C P = 2 contraintes linéaires sur le paramètre Par exemple Q R S Q R S On obtient alors T U V W QQ X YZ [ \ Z ]^_ ` \ Z [_ [ \ Z ]_ ] \ a b X Yc[ \ c] ^b ` \ c[ b [ \ c] b ] T U V dt du V W QQ \ Z [ Y_ [ X _ `^ \ Z ] Y_ ] X _ `^ \ a b \ c[ Yb [ X b `^ \ c] Yb ] X b `^ R S R S III-Écriture matricielle d un modèle linéaire-35
Calcul de l estimateur : R N Y ε Y P efg h Egalité successive ij k lm i ln lm oij k lm olm ip n lm o sij t iqu k lm olm ip n lm oj k lm olm ip n vw x y z{ }{ ~ { Utilisation de la multiplication par lm o à gauche et à droite de l égalité lm oiq k r j k ij t iq lm olm est carrée et inversible III-Écriture matricielle d un modèle linéaire-36
Calcul de l estimateur de la variance résiduelle R N Y ε P Y Xθ Il est aussi appelé carré moyen résiduel ou variance résiduelle III-Écriture matricielle d un modèle linéaire-37
Fonctions linéaires estimables Une fonction linéaire des paramètres est estimable si son estimation ne dépend pas des contraintes ou de la base choisie Un contraste est une fonction linéaire estimable dont la somme des coefficients est nulle Exemple : ƒ ƒ est un contraste : si son estimation ne dépend pas des contraintes choisies et si ƒ ou encore ƒ III-Écriture matricielle d un modèle linéaire-38
Un exemple numérique : On utilise les données des hauteurs d arbres en fonction de la forêt d origine avec le modèle modèle : ˆ Š n est pas estimable, car X n est pas de plein rang et qu il faut mettre des contraintes III-Écriture matricielle d un modèle linéaire-39
Fin de l exemple Œ 3 contraintes usuelles Ž Ž Ž Quelle fonction des paramètres est estimée identiquement dans les trois cas? Ž Ž Ž contraste III-Écriture matricielle d un modèle linéaire-4
Propriétés des estimateurs Propriétés de sous les 4 postulats du ML : est un estimateur sans biais de : Var est normalement distribué En résumé III-Écriture matricielle d un modèle linéaire-4
Propriétés des estimateurs Propriétés de sous les 4 postulats du ML : š œ ž Ÿ ž Ÿ est un estimateur sans biais de : sont des variables aléatoires indépendantes III-Écriture matricielle d un modèle linéaire-42
Exercice Reprendre l exemple des forḙts Donner un intervalle de confiance de Expliquer quel intérêt il y a d utiliser les données de la forêt 3 pour estimer la différence moyenne des volumes de bois produits dans les forḙts et 2 III-Écriture matricielle d un modèle linéaire-43
Correction de l exercice On choisit la contrainte le modèle devient avec On cherche un intervalle de confiance de Notons L = (,, ) On cherche donc un intervalle de confiance de C est à dire encadrer par des valeurs dépendants de et de la distribution de III-Écriture matricielle d un modèle linéaire-44
Estimation le par un estimateur ª Calcul de la variance de ª ««Alors ± Mais dans U on ne connait pas Estimation de ª ª ª III-Écriture matricielle d un modèle linéaire-45
Soit : ² ³ ³ µ ¹ T suit une loi de Student à N-P degrés de liberté D où : où º» est tel que º» ¼½ densité d une loi de Student à N-P ddl α/2 -α/2 t N-P III-Écriture matricielle d un modèle linéaire-46
Correction de l exercice : fin En simplifiant par ¾ on obtient comme un intervalle de confiance À ÁÂÃ Ä Å ÆÇ È ÉÊ Ë Ç Ì ÁÍ ÊÀ ÎÂÏ ÐÂÏ Ñ Ç ÆÀ Ð Ò À ÂÃ Ò À ÁÂÃ Ó Å ÆÇ È ÉÊ Ë Ç Ì ÁÍ Ê À ÎÂÏ ÐÂÏ Ñ Ç ÆÀ Ð ÔÕ Ö ÔÕ Ø Ù ÖÚÛÜØ Ý ÚÞ ß Ôà Øá âãä åãä æ ç èé å ê ë è ì ë í î ïë è ì ïë í ð ñ ò ì ë óô õ ì ö ï ø í é âãä åãä æ ç èé å ù úû ü L intérḙt d utiliser toutes les forḙts repose sur la qualité d estimation de la variance résiduelle (qui repose sur le postulat d homoscédasticité) Le degré de liberté de la loi de student est N-P et, par conséquent, le seuil de rejet ýþÿ ÿ est inférieur à celui qui aurait été obtenue si seuls les arbres des forḙts et 2 avaient été utilisés dans le calcul (Ce qui traduit que l on estime mieux un paramètre (variance, moyenne) lorsque l effectif observé est plus grand) III-Écriture matricielle d un modèle linéaire-47