Régression robuste Régression non-paramétrique. Ndèye Niang- Gilbert Saporta Conservatoire National des Arts et Métiers Mars 2014

Transcription

1 Régresson robuste Régresson non-paramétrque Ndèye Nang- Glbert Saporta Conservatore Natonal des Arts et Méters Mars

2 Plan Introducton: rappels de régresson lnéare Les Mondres carrés ordnares Valeurs aberrantes - Observatons nfluentes Régresson robuste Notons de robustesse-estmateurs robustes Régresson robuste Régresson non paramétrque MA / PPV / méthode fenêtre moble Noyau kernel Régresson locale /polynomale 2

3 Introducton Etude de la lason entre varables quanttatves observées sur les mêmes ndvdus Y = f(x) + e Y varable dépendante varable à explquer varable endogène X varables ndépendantes varable explcatves varable exogènes Hypothèses: f connue, lnéare, estmaton des paramètres Erreurs dd et gaussennes, homoscédastcté

4 Introducton Non paramétrque paramétrque robuste 4

5 Introducton Régresson lnéare: Aspects descrptfs Ajustement lnéare : drote de régresson Coeffcent R 2 Aspects nférentels Estmaton des paramètres (MCO- MV) Vérfcaton des hypothèses Tests sur les coeffcents Etude de la stablté des résultats Prévson

6 1. Les mondres carrés Hypothèse de régresson lnéare: smple E(Y/x)= f(x) = x multple: E(Y/X)= f(x) = X Estmaton de à partr d un échantllon Méthode des mondres carrés Foncton de perte: L( y; f ( x)) y f ( x) 2 6

7 Estmateur des mondres carrés y ˆ = Xb = Ay y - Xb W (y - Xb)'Xu 0 u X'y = X'Xb Equatons normales -1 b = (X'X) X'y projecteur -1 A = X(X'X) X' b estmateur de varance mnmale de parm les estmateurs lnéares sans bas (BLUE best lnear unbased estmators) estmateur du maxmum de vrasemblance s résdus gaussens d 2 1 V( b) ( X'X) Estmatons mprécses s multcolnéarté 7

8 Prévsons d une valeur ultéreure Intervalle de prévson Problèmes d mprécson, grande varance et surtout sensble aux valeurs aberrantes

9 Démo cours de Marc Bourdeau (Montréal) sur le modèle lnéare 9

10 2. Analyse des résultats On s ntéresse c à la stablté des résultats Dstncton entre questons relatves à l nfluence d observatons partculères et questons relatves à l nfluence des varables sur les estmatons (multcolnéarté) Analyse des résdus pour vérfer les hypothèses de base du modèle : varance constante et pas autocorrélaton 10

11 2. Analyse des résultats Etude des résdus est fondamentale: permet la détecton des valeurs aberrantes et des observatons nfluentes Vérfcaton emprque des hypothèses: graphque des résdus en foncton des X ne dovent pas lasser apparaître de tendance ou de dépendance dans l étude de 2 résdus successfs (Test de Durbn Watson) ( snon estmateurs toujours sans bas mas on perd la varance mnmale) 11

12 2. Analyse des résultats Résdu : vecteur ˆ y - y Matrce de varance des résdus: La «hat matrx» ou projecteur -1 A X(X'X) X' yˆ Ay Les termes dagonaux h 1 n n h 1 h p

13 Résdu: espérance nulle, Résdu studentsé V y yˆ h y 2 ( ) (1 ) yˆ ˆ 1 h S n grand les résdu studentsés dovent être comprs entre -2 et 2 Résdu fort peut ndquer une valeur aberrante mas une valeur peut être aberrante sans que son résdu sot mportant. Ne pas confondre observatons aberrantes et observatons nfluentes (au sens de l écart au modèle) 13

14 Etude nfluence de chaque observaton sur les résultats: Sur sa propre prédcton: Résdu prédt (en enlevant ) y ˆ y( ) 1 Prudence avec les observatons à h grand Press: somme des carrés des résdus prédts est une mesure du pouvor prédctf du modèle Influence d une observaton sur les estmatons des coeffcents: la dstance de Cook Devrat rester <1 ' y yˆ h b b X'Xb b ( ) ( ) 1 2 h D 2 ˆ ˆ y y ( p 1) ˆ p 1 1 h 14

15 Les méthode de dagnostcs classques sont nsuffsantes pour détecter toutes les valeurs aberrantes en partculer multdmensonnelles: effet de masque Effet de débordement (swampng) estmatons non robustes Soluton en deux étapes: Elmner les ponts aberrants après les avor détectés Refare analyse avec estmateurs classques Soluton drecte: autres crtères que MCO 15

16 3 - Soluton en deux étapes Détecton de valeurs aberrantes Nécessté d utlser des ndcateurs robustes de tendance centrale et de dsperson pour calculer une varante robuste de la dstance de Mahalanobs Notons de robustesse Dfférents types de ponts aberrants Pont de rupture Estmateurs robustes 16

17 Dfférents types de ponts aberrants: D après E.Canton et C.Dehon 17

18 Noton de «pont de rupture» d un estmateur Fracton des données qu peuvent être arbtrarement changées sans changer arbtrarement la valeur de l estmateur. Deux cas : n fn, n nfn (pt de rupture asymptotque) Ne peut être > 0.5 Asymptotquement: Nul pour la moyenne (s une valeur devent nfne, la moyenne auss) 0.5 pour la médane n fn 1/n pour la moyenne, (n-1)/2n pour la médane, (n-h)/ h pour la régresson LTS 18

19 Estmateurs robustes Moyenne tronqué d ordre α: Moyenne arth des observatons dont on élmné les αxn plus grandes et pettes (α =15%) (ex la médane est un cas extrême α = 50% ) «Wnsorsaton» Au leu de les élmner on les prend toutes égales au dernères valeurs prses Autre approche: M-estmateur 19

20 Soluton en deux étapes: Détecton des ponts aberrants avec les estmateurs classques: Sot x 1, x 2,., x 1, un échantllon de talle n Calculer x et S Pour chaque observaton x calculer la dstance de Mahalanobs d 2 ( x ' x) S 1 ( x x) Détecter celles dont les dstances sont «trop» grandes c està-dre supéreures au quantle 97,5% de la lo du ch carré à p degrés de lberté 20

21 Solutons en deux étapes : D après Haesbroeck problème: x et S estmatons non robustes nfluencées par les ponts aberrants 21

22 Maskng effect D après Haesbroeck 22

23 Soluton en deux étapes: Détecton des ponts aberrants avec les Estmateurs robustes: et Calculer des estmatons robustes de la moyenne et de la matrce de covarance et Calculer pour chaque observaton x la dstance robuste d 2 ( x ) ) Détecton des observatons aberrantes, celles dont les dstances sont «trop» grandes c est-à-dre supéreures au quantle 97,5% de la lo du ch carré à p degrés de lberté ' 1 ( x 23

24 Solutons: D après Haesbroeck 24

25 D après E.Canton et C.Dehon 25

26 Outl graphque DD plot D après Haesbroeck 26

27 Soluton drecte : Utlser d autres crtères que les mondres carrés : Régresson L1 avec les valeurs absolues M régresson avec des M-estmateurs de Huber Régresson LST (Least trmmed squares) de Rousseuw 27

28 4. Régresson en norme L 1 (LAD) Utlser les valeurs absolues Régresson lnéare smple sur échantllon Proprété: L( y; f ( x)) y f ( x) mn n 1 y a bx La drote de régresson L 1 passe par deux des ponts de l échantllon mas on ne peut pas savor à l avance lesquels 50 ans plus ancen que les mondres carrés (Boscovtch 1757) 28

29 4 - Régresson en norme L 1 (LAD) Résoluton plus dffcle (surtout en régresson multple) Pas de soluton analytque Nécessté d un algorthme spécfque Algorthme LAD smple (Brkes & Dodge, 1993) Possblté de non-uncté ou de dégénérescence Régresson LAD multple Programmaton lnéare p+1 résdus sont nuls 29

30 s/sas/lablets/7.3/7.3c/ndex.html vor s ca marche sur carr java 30

31 Erreurs standard asymptotques V ˆ 1 ( β) ; ' 4 (0) X X 1 2 f avec f densté de Maxmum de vrasemblance avec densté des erreurs lo de Laplace 31

32 5 - M-régresson Issue des M-estmateurs de Huber Exemple: foncton de perte quadratque jusqu à c, lnéare au-delà Pour c grand, on retrouve les mco, pour c=0 la régresson L 1 32

33 n mn y x β foncton convexe pare 1 M-estmateur: maxmum de vrasemblance avec erreurs de densté proportonnelle à exp(- (u)) En dérvant: Notaton usuelle = 1 Mondres carrés pondérés n n ' y x βx ˆ ' 0 w y x βx ˆ ' 0 avec w ' 1 y y x βˆ x βˆ 33

34 Proprétés S est nconnu on mnmse avec a>0 La matrce de covarance des estmateurs est asymptotquement proportonnelle à celle des mondres carrés n 1 y xβ a 34

35 35

36 Foncton de pods Proc ROBUSTREG de SAS Weght Functon Opton Default a, b, c andrews bsquare cauchy far hampel huber logstc medan talworth welsch WF=ANDREWS<(C=c)> WF=BISQUARE<(C=c)> WF=CAUCHY<(C=c)> WF=FAIR<(C=c)> WF=HAMPEL<( <A=a> <B=b> <C=c>)> WF=HUBER<(C=c)> WF=LOGISTIC<(C=c)> WF=MEDIAN<(C=c)> WF=TALWORTH<(C=c)> WF=WELSCH<(C=c)> 36

37 37

38 6.Régresson LTS (Least Trmmed Squares) de Rousseuw Basée sur le sous ensemble de h ndvdus (parm n) où les mco donnent la plus pette somme des carrés des résdus. h est chos entre n/2 et n. La valeur h=(3n+p+1)/4 est recommandée. Illustraton sur un exemple avec la proc robustreg de SAS Sous R package robustbase 38

39 Bblographe Brkes, D., Dodge, Y. (1993) Alternatve methods of regresson, Wley Rousseeuw, P.J. and Leroy, A.M. (1987), Robust Regresson and Outler Detecton, New York: John Wley & Sons, Inc. Marona R.A., Martn R.D. and Yoha V.J. (2006) Robust Statstcs, John Wley & Sons Ltd., 39

40 Régresson non-paramétrque (unvarée) Glbert Saporta Conservatore Natonal des Arts et Méters Décembre

41 Introducton Forme de la courbe de régresson totalement nconnue Aucune hypothèse lnéarté, lo des erreurs, Prncpes ancens, premers travaux modernes datent des années 50 Premères applcatons estmaton de fonctons de densté par des méthodes d opérateurs à noyau Rosenblatt (1956) et de Parzen (1962) Ces premers travaux ont étendus à la noton de régresson kernel (lssage par opérateur à noyau en franças) 41

42 Introducton Résultats: représentaton graphque de la relaton entre X et Y Pas de forme analytque de la foncton de len f(x) Le problème: estmer f(x) nconnue et pas seulement ses paramètres Deux famlles de méthodes Kernel (Nadaraya Watson 1964) Régresson locale polynomale(cleveland 1979, Cleveland et Delvn

43 Estmaton de l espérance condtonnelle E(Y/x 0 )= f(x 0 ), ou foncton de régresson. Approche smlare à l estmaton de densté par la méthode du noyau Premères tentatves nsprées des moyennes mobles: les k plus proches vosns: moyenne de y pour les k-ppv de x 0 moyenne des y sur une fenêtre de largeur fxe centrée sur x 0 Inconvénent majeur: dscontnuté 43

44 44

45 Méthode de la fenêtre moble Moyenne des y dans un vosnage autour de x 0 : [x 0 -h/2; x 0 +h/2] n ˆ( 0 ) f x n 1 0 /2; 0 /2( x ) x h x h 1 y1 ( x) 1 On construt autour de chaque x une classe (comme dans un hstogramme) de longueur h centrée sur x, on compte le nombre de ponts appartenant à l ntervalle et on calcule la moyenne des y correspondants x h/2; x h/2 1 45

46 on peut l écrre Eˆ( Y / X x ) K(u) = 1 s u <1/2 noyau unforme 0 n 1 n 1 x0 x K y h x0 x K h En utlsaton un noyau contnu on obtent l estmateur de Nadaraya-Watson donc une estmaton contnue de f(x) Noyaux classques: Epanechnkov Trcube 3 K u u u 4 2 ( ) (1- ) s 1, 0 snon 3 3 K( u) 1 u s u 1, 0 snon 46

47 47

48 moothers.html 48

49 49

50 50 Bas et varance pour des x fxés ( ) ( ) ˆ( ) ( ) ˆ( ) n n n n x x w K h w f x f x E f x f x w w V f x w

51 Chox de h Arbtrage bas varance: Plus h grand et plus la courbe sera lsse. La varance est lmté mas l estmateur peut être fortement basé Plus h fable plus la courbe est rrégulère. Les bas d estmaton sont fables mas la varance est très forte Crtère MISE et GVC 51

52 Problèmes d estmaton aux bornes valeurs extrêmes de x 52

53 Alternatve: régresson lnéare locale Idée générale: utlser un modèle de régresson lnéare défn unquement dans un vosnage du pont d ntérêt x 0 On résout en chaque pont x 0 le problème de mondres carrés pondérés: x x K y x x x n 0 mn ( x0), ( x0) 1 h ( 0) ( 0) Nota: formules globales (pour tout x), mas chacune utlsée seulement en x

54 Régresson lnéare locale Résout le problème de l asymétre du noyau tronqué aux bornes. 54

55 Les creux et les bosses La régresson lnéare locale est basée dans les zones de courbure forte 55

56 Régresson polynomale locale x x n d 0 mn j K y ( x0) j( x0) x ( x0), ( x0) 1 h j1 2 56

57 Estmaton lnéare et noyau équvalent mondres carrés pondérés X matrce à n lgnes et d+1 colonnes des x j W( x ) matrce dagonale de terme x x 0 0 n, n K h fˆ( x ) x X'W ( x ) X X'W ( x ) y 1 ' = n 1 l ( x ) y 0 57

58 58

59 Chox de h valdaton crosée Méthode proche: LOESS ou LOWESS Extenson possble à la régresson logstque 59

60 SAS INSIGHT 60

61 61

62 62

63 63

64 Avantages et nconvénents Utle s la forme de la régresson est totalement nconnue Méthode adaptatve qu s ajuste automatquement Pas de formule explcte, prévson délcate en dehors du domane (extrapolaton) 64

65 Bblographe Cleveland, W.S.; Devln, S.J. (1988). Locally-Weghted Regresson: An Approach to Regresson Analyss by Local Fttng. Journal of the Amercan Statstcal Assocaton 83 (403): Droesbeke, J.J., Saporta G. (édteurs) (2011) Approches non paramétrques en régresson, Edtons Technp Haste, T., Tbshran,R., Fredman, J.( 2009): The Elements of Statstcal Learnng, 2nd edton, chaptre 6, Sprnger, Lejeune, M. (1985), Estmaton non paramétrque par noyaux : régresson polynomale moble, Revue de Statstque Applquée, 33,