Régression robuste Régression non-paramétrique

Transcription

1 Régresso robuste Régresso o-paramétrque Ndèye Nag- Glbert Saporta Coservatore Natoal des Arts et Méters Pla Itroducto: rappels de régresso léare Les Modres carrés ordares Valeurs aberrates - Observatos fluetes Régresso robuste Notos de robustesse-estmateurs robustes Régresso robuste Régresso o paramétrque MA / PPV / méthode feêtre moble Noyau kerel Régresso locale /polyomale 2

2 Itroducto Etude de la laso etre varables quattatves observées sur les mêmes dvdus Y = f(x) + e Y varable dépedate varable à explquer varable edogèe X varables dépedates varable explcatves varable exogèes Hypothèses: f coue, léare, estmato des paramètres Erreurs dd et gaussees, homoscédastcté Itroducto No paramétrque paramétrque robuste 4 2

3 Itroducto Régresso léare: Aspects descrptfs Ajustemet léare : drote de régresso Coeffcet R 2 Aspects féretels Estmato des paramètres (MCO- MV) Vérfcato des hypothèses Tests sur les coeffcets Etude de la stablté des résultats Prévso. Les modres carrés Hypothèse de régresso léare: smple E(Y/x)= f(x) = β 0 +β x multple: E(Y/X)= f(x) = X β Estmato de β à partr d u échatllo Méthode des modres carrés Focto de perte: L( y; f ( x)) = ( y f ( x) ) 2 6 3

4 Estmateur des modres carrés y ˆ = Xb = Ay y - Xb W (y - Xb)'Xu = 0 u X'y = X'Xb Equatos ormales - b = (X'X) X'y - projecteur A = X(X'X) X' b estmateur de varace mmale de β parm les estmateurs léares sas bas (BLUE best lear ubased estmators) estmateur du maxmum de vrasemblace s résdus gausses d V ( b) = σ ( X'X) 2 Estmatos mprécses s multcoléarté 7 Prévsos d ue valeur ultéreure Itervalle de prévso Problèmes d mprécso, grade varace et surtout sesble aux valeurs aberrates 4

5 Démo cours de Marc Bourdeau (Motréal) sur le modèle léare adresse: Aalyse des résultats O s téresse c à la stablté des résultats Dstcto etre questos relatves à l fluece d observatos partculères et questos relatves à l fluece des varables sur les estmatos (multcoléarté) Aalyse des résdus pour vérfer les hypothèses de base du modèle : varace costate et pas autocorrélato 0 5

6 2. Aalyse des résultats Etude des résdus est fodametale: permet la détecto des valeurs aberrates et des observatos fluetes Vérfcato emprque des hypothèses: graphque des résdus e focto des X e dovet pas lasser apparaître de tedace ou de dépedace das l étude de 2 résdus successfs (Test de Durb Watso) ( so estmateurs toujours sas bas mas o perd la varace mmale) 2. Aalyse des résultats Résdu : vecteur ˆ y - y Matrce de varace des résdus: La «hat matrx» ou projecteur - A = X(X'X) X' yˆ = Ay Les termes dagoaux h h h = p + = 2 6

7 Résdu: espérace ulle, Résdu studetsé V y yˆ σ h 2 ( ) = ( ) y yˆ ˆ σ h S grad les résdus studetsés dovet être comprs etre -2 et 2 Résdu fort peut dquer ue valeur aberrate mas ue valeur peut être aberrate sas que so résdu sot mportat. Ne pas cofodre observatos aberrates et observatos fluetes (au ses de l écart au modèle) 3 Méthodes classques Etude fluece de chaque observato sur les résultats: Sur sa propre prédcto: Résdu prédt (e elevat ) y ˆ y yˆ h y( ) = Prudece avec les observatos à h grad Press: somme des carrés des résdus prédts est ue mesure du pouvor prédctf du modèle Ifluece d ue observato sur les estmatos des coeffcets: la dstace de Cook ' ( b b( ) ) X'X( b b( ) ) 2 h D 2 ( ˆ ˆ = = y y ) ( p + ) ˆ σ p + h Devrat rester < 4 7

8 Les méthode de dagostcs classques sot suffsates pour détecter toutes les valeurs aberrates e partculer multdmesoelles: effet de masque Effet de débordemet (swampg) estmatos o robustes Soluto e deux étapes: Elmer les pots aberrats après les avor détectés Refare aalyse avec estmateurs classques Soluto drecte: autres crtères que MCO Soluto e deux étapes Détecto de valeurs aberrates Nécessté d utlser des dcateurs robustes de tedace cetrale et de dsperso pour calculer ue varate robuste de la dstace de Mahalaobs Au préalable : otos de robustesse Dfférets types de pots aberrats Pot de rupture Estmateurs robustes 6 8

9 Dfférets types de pots aberrats: Valeur atypque pour la varable Y à explquer Pot lever = ue ou Pluseurs valeurs atypques sur les explcatves Bo s proche pla Régresso Mauvas so Cela peut etraer u chagemet du sge pete D après E.Cato et C.Deho 7 Noto de «pot de rupture» d u estmateur Fracto des doées qu peuvet être arbtraremet chagées sas chager arbtraremet la valeur de l estmateur. Plus exactemet : Deux cas : f, f (pt de rupture asymptotque) Ne peut être > 0.5 Asymptotquemet: Nul pour la moyee (s ue valeur devet fe la moyee auss), 0.5 pour la médae f : / pour la moyee, (-)/2 (mpar) ou /2 (par) pour la médae 8 9

10 Estmateurs robustes Estmateurs classques (moyee et varace) sot sesbles aux valeurs aberrates. Le but des estmateurs robustes est de rédure leur fluece Moyee troqué d ordre α: Moyee arth des observatos dot o élmé les αx plus grades et pettes (α =5%) (ex la médae est u cas extrême α = 50% ) «Wsorsato» Au leu de les élmer o les pred toutes égales au derères valeurs prses Autre approche: M-estmateur, MVE, MCD, S-estmateur (vor au tableau détals) 9 M-Estmateurs robustes Robustfcato des estmateurs classques Gééralsato de l approche maxmsato de la vrasemblace (Huber (964), Campbell (980), Maroa (970)) Sot x, x 2,., x, u échatllo de talle, des M estmateurs de la moyee et la matrce de varace sot obteus e maxmsat : où ρ l(det Σ) ρ(( x µ )' Σ ( x focto décrossate borée etre 0 et l f E dérvat o obtet les 2 équatos suvates ψ ( d ψ ( d ψ = ρ ' 2 )( x 2 et )( x µ ) = 0 d 2 µ )( x = ( x µ )' = Σ µ )' Σ ( x µ ) µ )) Dfférets M-estmateurs e selo la focto de podérato Maroa (976) 20 0

11 M-Estmateurs robustes Lmte de ces M-estmateurs: pot de rupture versemet proportoel à la dmeso, ls sot doc mos robustes quad la dmeso augmete d où les estmateurs suvats qu reposet sur ue utlsato d ue fracto h des doées plutôt que sur l esemble (Rousseeuw 985) MVE (maxmum volume ellpsod) avec de fables proprétés théorques MCD(mmum covarace determat) x Hˆ = h S Hˆ = h Hˆ = Hˆ Hˆ arg H x ( x m {,2,... }, x H = h Hˆ )( x det( S x H ) Hˆ )' 2 M-Estmateurs robustes Croux et al 999 ot proposée ue verso podérée de ces estmateurs das laquelle les pods dépedet de la dstace calculée à partr des estmateurs MCD x S w w = = = = w = 0 = w x w ( x s w d so 2 x = ( x, x w w )( x Hˆ, S x Hˆ w )' 2 ) χ cela revet à calculer les estmateurs classques à partr des observatos stuées das l ellpsode de tolérace à 97,5% costrutes avec les estmateurs MCD p,0.975 Rque: calculs complexes, algorthmes tératfs, mas dspobles das logcels stadards 22

12 Soluto e deux étapes: Détecto des pots aberrats avec les estmateurs classques: Sot x, x 2,., x, u échatllo de talle Calculer x et S Pour chaque observato x calculer la dstace de Mahalaobs d 2 ' = ( x x) S ( x x) Détecter celles dot les dstaces sot «trop» grades c està-dre supéreures au quatle 97,5% de la lo du ch carré à p degrés de lberté 23 Solutos e deux étapes : D après Haesbroeck problème: x et S estmatos o robustes fluecées par les pots aberrats 24 2

13 Maskg effect D après Haesbroeck 25 Soluto e deux étapes: Détecto des pots aberrats avec les Estmateurs robustes: ) ) Calculer des estmatos robustes µ et Σ de la moyee et de la matrce de covarace µ et Σ par exemple les estmateurs MCD Calculer pour chaque observato x la dstace robuste d 2 = ( x ) ) ' µ ) Σ ( x ) µ ) Détecto des observatos aberrates, celles dot les dstaces sot «trop» grades c est-à-dre supéreures au quatle 97,5% de la lo du ch carré à p degrés de lberté 26 3

14 Solutos: D après Haesbroeck 27 Outl graphque DD plot D après Haesbroeck 28 4

15 Outl dagostc e régresso D après E.Cato et C.Deho 29 Soluto drecte : Utlser d autres crtères que les modres carrés : Régresso L avec les valeurs absolues M régresso avec des M-estmateurs de Huber Régresso LST (Least trmmed squares) de Rousseuw 30 5

16 4. Régresso e orme L (LAD) Utlser les valeurs absolues L( y; f ( x)) = y f ( x) Régresso léare smple sur échatllo m y a bx Proprété: = La drote de régresso L passe par deux des pots de l échatllo mas o e peut pas savor à l avace lesquels 50 as plus ace que les modres carrés (Boscovtch 757) Régresso e orme L (LAD) Résoluto plus dffcle (surtout e régresso multple) Pas de soluto aalytque Nécessté d u algorthme spécfque Algorthme LAD smple (Brkes & Dodge, 993) Possblté de o-ucté ou de dégéérescece Régresso LAD multple Programmato léare p+ résdus sot uls 32 6

17 s/sas/lablets/7.3/7.3c/dex.html 33 Erreurs stadard asymptotques ˆ V ( β) ; ' 4 (0) ( ) ( ) X X 2 f avec f desté de ε Maxmum de vrasemblace avec desté des erreurs lo de Laplace 34 7

18 5 - M-régresso Issue des M-estmateurs de Huber Exemple: focto de perte quadratque jusqu à c, léare au-delà Pour c grad, o retrouve les mco, pour c=0 la régresso L 35 m ρ ( y xβ) ρ focto covexe pare = M-estmateur: maxmum de vrasemblace avec erreurs de desté proportoelle à exp(- ρ(u)) E dérvat: ρ ' y ˆ xβ x ' = 0 Notato usuelle ψ = ρ = ( ) Modres carrés podérés ρ ' w y xβˆ x ' = 0 avec w = ( ) ( y ˆ xβ ) xβˆ = y 36 8

19 Proprétés S σ est cou o mmse avec a>0 La matrce de covarace des estmateurs est asymptotquemet proportoelle à celle des modres carrés = y xβ ρ + a σ σ

20 Focto de pods Proc ROBUSTREG de SAS Weght Fucto Opto Default a, b, c adrews bsquare cauchy far hampel huber logstc meda talworth welsch WF=ANDREWS<(C=c)> WF=BISQUARE<(C=c)> WF=CAUCHY<(C=c)> WF=FAIR<(C=c)> WF=HAMPEL<( <A=a> <B=b> <C=c>)> WF=HUBER<(C=c)> WF=LOGISTIC<(C=c)> WF=MEDIAN<(C=c)> WF=TALWORTH<(C=c)> WF=WELSCH<(C=c)>

21 6.Régresso LTS (Least Trmmed Squares) de Rousseuw Basée sur le sous esemble de h dvdus (parm ) où les mco doet la plus pette somme des carrés des résdus. h est chos etre /2 et. La valeur h=(3+p+)/4 est recommadée. Illustrato sur u exemple avec la proc robustreg de SAS Sous R package robustbase 4 Bblographe Brkes, D., Dodge, Y. (993) Alteratve methods of regresso, Wley Rousseeuw, P.J. ad Leroy, A.M. (987), Robust Regresso ad Outler Detecto, New York: Joh Wley & Sos, Ic. Maroa R.A., Mart R.D. ad Yoha V.J. (2006) Robust Statstcs, Joh Wley & Sos Ltd., 42 2

22 Régresso o-paramétrque (uvarée) Glbert Saporta Coservatore Natoal des Arts et Méters Décembre Itroducto Forme de la courbe de régresso totalemet coue Aucue hypothèse léarté, lo des erreurs, Prcpes aces, premers travaux moderes datet des aées 50 Premères applcatos estmato de foctos de desté par des méthodes d opérateurs à oyau Roseblatt (956) et de Parze (962) Ces premers travaux ot étedus à la oto de régresso kerel (lssage par opérateur à oyau e fraças) 44 22

23 Itroducto Résultats: représetato graphque de la relato etre X et Y Pas de forme aalytque de la focto de le f(x) Le problème: estmer f(x) coue et pas seulemet ses paramètres Deux famlles de méthodes Kerel (Nadaraya Watso 964) Régresso locale polyomale(clevelad 979, Clevelad et Delv Estmato de l espérace codtoelle E(Y/x 0 )= f(x 0 ), ou focto de régresso. Approche smlare à l estmato de desté par la méthode du oyau Premères tetatves sprées des moyees mobles: les k plus proches voss: moyee de y pour les k-ppv de x 0 moyee des y sur ue feêtre de largeur fxe cetrée sur x 0 Icovéet majeur: dscotuté 46 23

24 47 Méthode de la feêtre moble Moyee des y das u vosage autour de x 0 : [x 0 -h/2; x 0 +h/2] [ x h/2; x + h/2] 0 0 ˆ( 0 ) = f x = [ 0 /2; 0 /2]( x ) x h x + h = y ( x ) O costrut autour de chaque x ue classe (comme das u hstogramme) de logueur h cetrée sur x, o compte le ombre de pots apparteat à l tervalle et o calcule la moyee des y correspodats 48 24

25 o peut l écrre Eˆ( Y / X = x ) = K(u) = s u </2 oyau uforme 0 = = x0 x K y h x0 x K h E utlsato u oyau cotu o obtet l estmateur de Nadaraya-Watso doc ue estmato cotue de f(x) Noyaux classques: Epaechkov Trcube 3 K u u u 4 2 ( ) = (- ) s, 0 so 3 ( ) 3 K( u) = u s u, 0 so

26 moothers.html

27 Bas et varace pour des x fxés w x 0 = K ( ˆ( 0 ) ( 0 ) ) ( f x ) x h E f x f x = V = 2 w ˆ( ) = σ 2 = = w ( ( ) ( )) w f x f x = w 0 53 Chox de h Arbtrage bas varace: Plus h grad et plus la courbe sera lsse. La varace est lmté mas l estmateur peut être fortemet basé Plus h fable plus la courbe est rrégulère. Les bas d estmato sot fables mas la varace est très forte Crtère MISE et GVC 54 27

28 Problèmes d estmato aux bores valeurs extrêmes de x 55 Alteratve: régresso léare locale Idée géérale: utlser u modèle de régresso léare déf uquemet das u vosage du pot d térêt x 0 O résout e chaque pot x 0 le problème de modres carrés podérés: x x K y x x x 0 m ( 0) ( 0) α ( x0 ), β ( x0 ) = h [ α β ] Nota: formules globales (pour tout x), mas chacue utlsée seulemet e x

29 Régresso léare locale Résout le problème de l asymétre du oyau troqué aux bores. 57 Les creux et les bosses La régresso léare locale est basée das les zoes de courbure forte 58 29

30 Régresso polyomale locale x x d 0 j m K y α( x0) β j ( x0) x α ( x0 ), β ( x0 ) = h j= 2 59 Estmato léare et oyau équvalet modres carrés podérés X matrce à lges et d+ coloes des x j W( x ) matrce dagoale de terme x x 0 0, K h ( ) fˆ( x ) = x X'W ( x ) X X'W ( x ) y ' = = l ( x ) y

31 6 Chox de h valdato crosée Méthode proche: LOESS ou LOWESS Exteso possble à la régresso logstque 62 3

32 SAS INSIGHT

33

34 Avatages et covéets Utle s la forme de la régresso est totalemet coue Méthode adaptatve qu s ajuste automatquemet Pas de formule explcte, prévso délcate e dehors du domae (extrapolato) 67 Bblographe Clevelad, W.S.; Devl, S.J. (988). Locally-Weghted Regresso: A Approach to Regresso Aalyss by Local Fttg. Joural of the Amerca Statstcal Assocato 83 (403): Droesbeke, J.J., Saporta G. (édteurs) (20) Approches o paramétrques e régresso, Edtos Techp Haste, T., Tbshra,R., Fredma, J.( 2009): The Elemets of Statstcal Learg, 2d edto, chaptre 6, Sprger, Lejeue, M. (985), Estmato o paramétrque par oyaux : régresso polyomale moble, Revue de Statstque Applquée, 33,