Utilisation en modélisation. Régression linéaire

Transcription

1 Utilisatio e modélisatio Régressio liéaire La régressio est l ue des otios basiques de la statistique et de l aalyse des doées. Gééralemet, le problème cosiste à décrire la dépedace etre deux variables aléatoires X et Y. Les mécaismes probabilistes qui se cachet derrière cette dépedace pourrot être compliqués, et c est pourquoi o se cotete d ue approximatio de Y e foctio de X Y fx. La foctio f est appelée régressio et le problème cosiste à recostruire estimer f à partir de X et Y. Très souvet, cette estimatio a pour but ue prévisio. Si u ouveau X arrive, e sachat f o peut prédire la ouvelle valeur de Y icoue. La deuxième idée pricipale de l estimatio de régressio cosiste à chercher f das ue classe de foctios assez étroite, par exemple, das la classe de foctios opérateurs liéaires. Das cet exercice o tetera d aalyser le marché immobilier des appartemets T3 du poit de vue statistique: o cherchera à estimer la régressio etre le prix et la surface d u appartemet das les 8ème et 9ème arrodissemets de Marseille. Ce marché est d ue part assez homogèe, et d autre part il est grad et permet d avoir des échatillos assez représetatifs. Prix d u appartemet T3 das les 8ème et 9ème arr. de Marseille La valeur véale d u logemet résulte de plusieurs composates: l emplacemet l orietatio la qualité de la costructio. les prestatios l étage de l immeuble la surface. Mais parmi ces six composates, il y a ue qui joue le rôle domiat: la surface. Sas aucu doute, la surface d u appartemet et so prix sot très fortemet liés. Pour illustrer ce fait, o va costruire u modèle de la régressio liéaire e se basat sur les doées suivates issues du joural Le 3 paru le ovembre surface m prix mille euros surface m prix mille euros Tableau.

2 2 Régressio liéaire simple O otera par X i la surface de l appartemet i et par Y i so prix. Pour modéliser la dépedace etre la surface et le prix d u appartemet, ous choisissos le modèle de la régressio liéaire simple Y i = a + bx i + ε i, i =,...,, où a,b sot les paramètres icous et ε i sot les v. a. gaussiees idépedates avec Eε i = 0, Eε 2 i = σ2. Le ses statistique du bruit ε i est le suivat: c est la partie du prix qui résulte de l emplacemet, de l orietatio, des prestatios, etc. Évidemmet, la variace σ 2 est pas coue. Notre but cosiste à estimer, à partir des doées X,Y = X i,y i i =,...,, les paramètres icous a, b et σ 2 du modèle et costruire u esemble de cofiace de iveau α pour la valeur a + bx. Cette valeur ous permet de prédire les prix des appartemets de surface x. Plus précisémet, o cherchera u itervalle [Px, Px] t.q. P a + bx / [Px,Px] α. Souligos que Px et Px sot des foctio des doées X,Y. Pour costruire u itervalle de cofiace de taille raisoable, ous choisissos l estimateur du maximum de vraisemblace pour a + bx. Il est facile de voir que cet estimateur est doé par où avec X = X i, Ȳ = ˆPx,X,Y = âx,y + ˆbX,Yx, ˆb = X,Y XȲ varx Y i, X,Y = â = Ȳ ˆb X 2 X i Y i, varx = Pour estimer la variace icoue σ 2 ous utilisos l estimateur sas biais ˆσ 2 = Y i â 2 ˆbX i 2. Xi 2 X 2. Le résultat suivat costitue la base théorique pour la costructio de l esemble de cofiace [Px Px]. Théorème La variable aléatoire où Σx = â + ˆbx a + bx, Σx [ ˆσ2 + suit ue loi de Studet à 2 degrés de liberté. 2 ] x X 2 varx

3 C est pourquoi ous choisissos l itervalle de cofiace suivat Px = â + ˆbx t α Σx, Px = â + ˆbx + t α Σx, où t α est le quatile d ordre α/2 de la loi de Studet à 2 degrés de liberté, c est-à-dire la racie de P S 2 t α = α/2, 3 où S 2 est la v.a. de loi de Studet à 2 degrés de liberté. Avat de démotrer le Théorème, rappelos les défiitios des lois du chi-2 et de Studet. Défiitio. Si ξ,...,ξ est ue famille idépedate de v.a. gaussiees cetrées réduites, alors la somme C = suit, par défiitio, ue loi du chi-2 à degrés de liberté. Cette loi est otée χ 2. résultat suivat explique le ses géométrique de cette loi. Lemme Soit Z = Z,...,Z u vecteur das R de composates ξ 2 i Le Z i = µ i + σξ i, i =,...,, où ξ i sot i.i.d. de loi N0,. Soit H J u sous-espace das R de dimesio J et D J = mi y H J Y y. Si le vecteur µ appartiet à H J alors D 2 J suit ue loi de χ2 J à J degrés de liberté. Défiitio. Si ξ est C sot deux v.a. idépedates, respectivemet de loi gaussiee cetrée réduite et χ 2, alors le rapport S = ξ C / suit, par défiitio, ue loi de Studet à degrés de liberté. Démostratio du Théorème. Pour démotrer ce théorème il est suffit de vérifier les fait suivats:. la v.a. â + ˆbx a bx suit ue loi gaussiee avec E â + ˆbx a bx = 0 E â + ˆbx a bx 2 σ 2 = + X x 2 VarX 4 2. les v.a. â + ˆbx a bx et ˆσ 2 sot idépedates 3. la v.a. 2ˆσ 2 /σ 2 suit ue loi de χ

4 . Il est facile de voir voir 2 que â a + ˆb bx = D où o obtiet immédiatemet Notos que voir 5 ε k + X x X X k. 5 VarX Y i â ˆbX i =ε i + a â + b ˆbX i =ε i ε k + X X k X X i VarX. 6 Doc les v.a. â a+ˆb bx et Y i â ˆbX i sot gaussiees cetrées. De plus, elles sot idépedates car elles e sot pas corrélées : E[â a + ˆb bx][y i â ˆbX i ] = = Eε i ε k + X x X X k VarX E = σ2 + X x X X k VarX σ2 2 = σ2 ε k + X x X X k VarX + X x X X k VarX σ2 + X x X X k VarX s= ε s + X X s X X i VarX + X X k X X i VarX + X x X X k VarX = 0. Ça veut dire que les v.a. ˆσ 2 et â a + ˆb bx sot idépedates. 3. O déduit le fait que la v.a. 2ˆσ 2 /σ 2 suit ui loi de χ 2 2 du Lemme car ˆσ 2 = mi a,b 2 Y i a bx i 2 = mi y H 2 Y y 2 / 2, où H 2 est le sous-espace das R, egedré par deux vecteurs,..., et X,...X. 3 Modélisatio avec MATLAB. Programmer u fichier script qui estime les paramètres du modèle et red l esemble de cofiace pour la valeur a + bx. Predre les doées X i,y i, i =,..., du tableau. N oublier pas de les ordoer! Calculer â,ˆb, ˆσ 2. 4

5 Trouver la valeur t α pour α = 0.05 défiie par 3 O peut utiliser la méthode de Mote-Carlo. 2. Tracer sur le même graphique les doées X i,y i, la foctio â + ˆbx et l itervalle de cofiace [Px Px] de iveau 0.95 e foctio de x voir la figure. 3. Elever des doées les appartemets de grad luxe prix plus que euros. Faire le même exercice avec ces ouvelles doées. Représeter les résultats comme sur la figure Discuter la différece etre les deux graphiques. Par exemple, expliquer pourquoi la valeur positive de a sigifie que le prix du mètre carré des grads appartemets est, e pricipe, mois cher que celui des petites surfaces pourquoi, à votre avis, le modèle gaussie est pas adéquate aux doées comparer les valeurs de â et ˆb avat et après l elèvemet des trois appartemet. 450 Estimatio par regios de cofiace de iveau 0.95 doees regressio X esemble de cofiace 280 Estimatio par regios de cofiace de iveau 0.95 doees regressio X esemble de cofiace prix 300 prix surface surface Figure : Régressio liéaire pour tout les T3 das le tableau. Figure 2: Régressio liéaire sas les trois T3 de grad luxe. 5