Frédérc Bertrand Master 1 MCB 2009/2010
Références «Analyse de régresson applquée» de Y. Dodge et V. Rousson, aux édtons Dunod, 2004. «Régresson non lnéare et applcatons» de A. Antonads, J. Berruyer, R. Carmona, édtons Economca, 1992. Frédérc Bertrand - Master 1 MCB 2009/2010 2
Introducton But : rechercher une relaton stochastque qu le deux ou pluseurs varables Domanes : Physque, chme, astronome Bologe, médecne Géographe Econome Frédérc Bertrand - Master 1 MCB 2009/2010 3
1. Relaton entre deux varables Consdérons X et Y deux varables. Exemple : la talle (X) et le pods (Y) But : savor comment Y vare en foncton de X Dans la pratque : Échantllon de n ndvdus Relevé de la talle et du pods pour l ndvdu Tableau d observatons ou données parées. Frédérc Bertrand - Master 1 MCB 2009/2010 4
1. Relaton entre deux varables Observatons Talle Pods 1 160 57,9 80 70 60 2 3 165 170 68,5 72,7 Pods (kg) 50 40 30 20 4 175 67,4 10 0 155 160 165 170 175 180 185 190 195 5 6 180 185 67,4 74,1 Talle (cm) 6 6 7 190 72,6 7 1 Frédérc Bertrand - Master 1 MCB 2009/2010 5
2. Relaton détermnste Dans certans cas, la relaton est exacte. Exemples : X en euros, Y en dollars X dstance ferrovare, Y prx du bllet. Y = f(x) où f est une foncton détermnée. Exemples pour f : fonctons lnéares, fonctons affnes... Frédérc Bertrand - Master 1 MCB 2009/2010 6
2. Relaton détermnste Remarque mportante : Nous utlserons le terme de foncton «lnéare» pour désgner une foncton «affne» f 0 1 ( X ) = β + β X où β 0 et β 1 sont des réels fxés. Frédérc Bertrand - Master 1 MCB 2009/2010 7
2. Relaton détermnste Exemple : X en Celsus, Y en Farenhet Y=32 + 9/5 X. Ic nous avons en dentfant : β 0 = 32 et β 1 = 9/5. Souvent nous savons que la relaton entre X et Y est lnéare mas les coeffcents sont nconnus. Frédérc Bertrand - Master 1 MCB 2009/2010 8
2. Relaton détermnste En pratque comment fasons-nous? Échantllon de n données Vérfer que les données sont algnées. S ce cas est vérfé, alors nous avons : un modèle lnéare détermnste. Frédérc Bertrand - Master 1 MCB 2009/2010 9
2. Relaton détermnste S ce cas n est pas vérfé, alors nous allons chercher : la drote qu ajuste le meux l échantllon, c est-àdre nous allons chercher un modèle lnéare non détermnste. Les n observatons vont permettre de vérfer s la drote canddate est adéquate. Frédérc Bertrand - Master 1 MCB 2009/2010 10
3. Relaton stochastque La plupart des cas ne sont pas des modèles lnéares détermnstes! (la relaton entre X et Y n est pas exacte) Exemple : X la talle et Y le pods. A 180 cm peuvent correspondre pluseurs pods : 75 kg, 85 kg, Les données ne sont plus algnées. Pour deux pods dentques, nous avons deux talles dfférentes. Frédérc Bertrand - Master 1 MCB 2009/2010 11
3. Relaton stochastque Une hypothèserasonnable : X et Y sont lés Dans l exemple précédent : plus un ndvdu est grand, plus l est lourd ε Y 0 1 = β + β X + ε : est une varable qu représente le comportement ndvduel. Frédérc Bertrand - Master 1 MCB 2009/2010 12
3. Relaton stochastque Exemple : 70 ndvdus qu sont réparts de la façon suvante : 10 ndvdus/talle 7 talles (de 160 à 190 cm, pas de 5 cm). Frédérc Bertrand - Master 1 MCB 2009/2010 13
3. Relaton stochastque Observatons Talle Pods 1 160 57,9 2 160 58,9 3 160 63,3 90 4 160 56,8 80 70 5 160 66,8 60 6 7 160 160 64,5 67,1 pods 50 40 30 8 160 58,0 20 10 9 10 160 160 62,9 57,7 0 155 160 165 170 175 180 185 190 195 talle 11 165 68,5 12 165 69,8 13 165 58,5 14 165 66,3 15 165 65,8 Frédérc Bertrand - Master 1 MCB 2009/2010 14
3. Relaton stochastque Commentares : Pluseurs Y pour une même valeur de X. Modèle lnéare détermnste nadéquat. Cependant Y augmente quand X augmente. Modèle lnéare stochastque envsageable. Frédérc Bertrand - Master 1 MCB 2009/2010 15
3. Relaton stochastque Défnton du modèle lnéare stochastque : µ Y (x) : moyenne de Y mesurée sur tous les ndvdus pour lesquels X vaut x. µ ( x) = β + β x Y 0 1 Frédérc Bertrand - Master 1 MCB 2009/2010 16
3. Relaton stochastque Remarques : Comme ε, μ Y (x) n est n observable, n calculable. Pour calculer μ Y (x), l faudrat recenser tous les ndvdus de la populaton. Frédérc Bertrand - Master 1 MCB 2009/2010 17
3. Relaton stochastque Dans la pratque : Nous estmons la moyenne théorque μ Y (x) par la moyenne emprque de Y défne par : y( x) = 1 n n = 1 y ( x) Frédérc Bertrand - Master 1 MCB 2009/2010 18
3. Relaton stochastque Retour à l exemple : Talle Pods 160 61,39 90 165 66,16 80 70 170 175 68,34 69,29 Pods moyen 60 50 40 30 180 71,76 20 10 185 190 71,58 77,28 0 155 160 165 170 175 180 185 190 195 Talle Frédérc Bertrand - Master 1 MCB 2009/2010 19
3. Relaton stochastque La drote que nous venons de tracer s appelle : la drote de régresson. X et Y ne jouent pas un rôle dentque. X explque Y X est une varable ndépendante (ou explcatve) et Y est une varable dépendante (ou explquée). Frédérc Bertrand - Master 1 MCB 2009/2010 20
3. Relaton stochastque En analyse de régresson lnéare : x est fxé y est aléatore la composante aléatore d un y est le ε correspondant. Frédérc Bertrand - Master 1 MCB 2009/2010 21
3. Relaton stochastque Pour l nstant, la drote de régresson est nconnue. Tout le problème est d estmer β 0 et β 1 à partr d un échantllon de données. Frédérc Bertrand - Master 1 MCB 2009/2010 22
3. Relaton stochastque Chox des paramètres : drote qu approche le meux les données ntroducton de 0 ˆβ et ˆβ 1qu sont des estmateurs de β 0 et de β 1. L estmaton de la drote de régresson : ˆ( x) = ˆ β + ˆ β x y 0 1 Frédérc Bertrand - Master 1 MCB 2009/2010 23
3. Relaton stochastque Remarques : yˆ ( x) est un estmateur de μ Y (x) S le modèle est bon, yˆ ( x) est plus précs que y( x) = 1 n n = 1 y ( x) Frédérc Bertrand - Master 1 MCB 2009/2010 24
3. Relaton stochastque Lorsque x = x, alors ˆ, c est-à-dre : y ˆ yˆ ( x) = est appelée la valeur estmée par le modèle. y = β ˆ + βˆ y x 0 1 Frédérc Bertrand - Master 1 MCB 2009/2010 25
3. Relaton stochastque Ces valeurs estment les quanttés nobservables : ε = y 1 β 0 β x par les quanttés observables : e = y yˆ Frédérc Bertrand - Master 1 MCB 2009/2010 26
3. Relaton stochastque Ces quanttés e = les résdus du modèle. La plupart des méthodes d estmaton : estmer la drote de régresson par une drote qu mnmse une foncton de résdu. La plus connue : la méthode des mondres carrés. Frédérc Bertrand - Master 1 MCB 2009/2010 27
4. Méthode des mondres carrés = = = = = n n n x y y y e 1 2 1 0 1 2 1 2 ) ˆ ˆ ( ) ˆ ( β β Frédérc Bertrand - Master 1 MCB 2009/2010 28 Méthode : Défnr des estmateurs qu mnmsent la somme des carrés des résdus
4. Méthode des mondres carrés Les estmateurs sont donc les coordonnées du mnmum de la foncton à deux varables : z n 2 ( β0, β1) = ( y β 0 β1x ) = 1 = f Cette foncton est appelée la foncton objectf. Frédérc Bertrand - Master 1 MCB 2009/2010 29
4. Méthode des mondres carrés Les estmateurs correspondent aux valeurs annulant les dérvées partelles de cette foncton : z β z β 1 0 = ( y β0 β x ) 2 1 = 2 x ( y β0 β1x ) Frédérc Bertrand - Master 1 MCB 2009/2010 30
4. Méthode des mondres carrés Les estmateurs sont les solutons du système : Soent : 2( y β0 β1x ) = 2 x ( y β β1x ) ( 4.1) y n ˆ β0 + ˆ β1 x = y β0 x + 0 = 2 ( 4.2) β1 x ˆ = x ˆ 0 0 Frédérc Bertrand - Master 1 MCB 2009/2010 31
4. Méthode des mondres carrés Nous notons : x x = et y = n D après (4.1), nous avons : ˆ β = y ˆ β x 1 0 n y 32 Frédérc Bertrand - Master 1 MCB 2009/2010
4. Méthode des mondres carrés A partr de (4.2), nous avons : ˆ β 1 x 2 = = Ans nous obtenons : x x y y ˆ β nx 0 nxy + ˆ β nx 1 2 ˆ β 1 = x 2 x y nxy nx 2 33 Frédérc Bertrand - Master 1 MCB 2009/2010
4. Méthode des mondres carrés Comme nous avons : 2 2 2 ) ( ) )( ( nx x x x nxy y x y y x x = = = 2 1 ) ( ) )( ( ˆ x x y y x x β Frédérc Bertrand - Master 1 MCB 2009/2010 34 Ans nous obtenons :
4. Méthode des mondres carrés Dans la pratque, nous calculons ˆ β 1 pus ˆ β 0 Nous obtenons une estmaton de la drote de régresson, appelée la drote des mondres carrés : yˆ ( x) = β ˆ + βˆ x 0 1 35 Frédérc Bertrand - Master 1 MCB 2009/2010
4. Méthode des mondres carrés Coeffcents de la drote de régresson : pente=0,442 ; ordonnée à l orgne=-8,012 Pods moyen 90 80 70 60 50 40 30 20 10 0 155 160 165 170 175 180 185 190 195 Talle 36 Frédérc Bertrand - Master 1 MCB 2009/2010
5. Varaton explquée et nexplquée But d un modèle de régresson lnéare : explquer une parte de la varaton de la varable explquée Y. La varaton de Y vent du fat de sa dépendance à la varable explcatve X. Varaton explquée par le modèle. Frédérc Bertrand - Master 1 MCB 2009/2010 37
5. Varaton explquée et nexplquée Dans l exemple «talle-pods», nous avons remarqué que lorsque nous mesurons Y avec une même valeur de X, nous observons une certane varaton sur Y. Varaton nexplquée par le modèle. Frédérc Bertrand - Master 1 MCB 2009/2010 38
5. Varaton explquée et nexplquée Varaton totale de Y = Varaton explquée par le modèle + Varaton nexplquée par le modèle Frédérc Bertrand - Master 1 MCB 2009/2010 39
5. Varaton explquée et nexplquée Pour mesurer la varaton de Y : nous ntrodusons y ( y y) = ( yˆ y) + ( y yˆ ) Dfférence explquée par le modèle Dfférence nexplquée par le modèle ou résdu du modèle Frédérc Bertrand - Master 1 MCB 2009/2010 40
5. Varaton explquée et nexplquée Pourquo la méthode des mondres carrés? Un proprété remarquable : elle conserve une telle décomposton en consdérant la somme des carrés de ces dfférences : 2 2 ( y y) = ( yˆ y) + ( y yˆ) 2 Frédérc Bertrand - Master 1 MCB 2009/2010 41
5. Varaton explquée et nexplquée 2 ( y y) = ( yˆ y) + ( y yˆ) 2 2 Somme des carrés totales (SC tot ) Somme des carrés dues à la régresson (SC reg ) Somme des carrés des résdus (SC res ) Frédérc Bertrand - Master 1 MCB 2009/2010 42
5. Varaton explquée et nexplquée Mesure du pourcentage de la varaton totale explquée par le modèle : Introducton d un coeffcent de détermnaton R 2 = Varaton explquée Varaton totale = SC SC reg tot Frédérc Bertrand - Master 1 MCB 2009/2010 43
5. Varaton explquée et nexplquée Quelques remarques : R 2 est comprs entre 0 et 1. R 2 =1 : cas où les données sont parfatement algnées (comme c est le cas pour un modèle détermnste). R 2 =0 : cas où la varaton de Y n est pas due à la varaton de X. Les données ne sont pas du tout algnées. Plus R 2 est proche de 1, plus les données sont algnées sur la drote de régresson. Frédérc Bertrand - Master 1 MCB 2009/2010 44