Etudes Statstques 2 (1/10) Tratement des valeurs manquantes et des valeurs aberrantes Avant de trater les données, vérfer la qualté des données : Les données peuvent être : manquantes aberrantes : la valeur de l âge est fausse en double : le même clent est enregstré avec tros dentfants dfférents Les doublons donnent plus d'mportance aux valeurs répétées. I. Valeurs manquantes Généraltés 1. Les dfférents types de valeurs manquantes : On dstngue deux catégores de non-réponse : la non-réponse totale, lorsque aucune nformaton n est recuelle sur une unté échantllonnée la non-réponse partelle, lorsque le manque d nformaton est lmté à certanes varables. Des valeurs manquent parce que elles n ont pas pu être observées, elles ont été perdues elles étaent ncohérentes. 3 mécansmes dstncts de non-réponse : a) réponse manquant entèrement au hasard (MCAR, Mssng Completely at random) : b) réponse manquant au hasard (MAR, Mssng at random) : c) réponse ne manquant pas au hasard (NMAR, Non mssng at random). 2. Les dfférents tratements des données manquantes : A. ne ren fare B. utlser unquement les enregstrements pour lesquels les données sont complètes C. utlser une méthode de repondératon D. mputer une valeur
Etudes Statstques 2 (2/10) 3. Tratement A : Ne ren fare Cela oblge à travaller avec un fcher de données ncomplet qu ressemble à un morceau de fromage gruyère. S les valeurs manquantes sont peu nombreuses, on peut les oubler sans aucun scrupule. 4. Tratement B : utlser unquement les enregstrements complets S les données sont présentées sous forme de tableau, cela revent à oubler une lgne dès qu'l manque une valeur dans cette lgne : on ouble donc auss les autres valeurs de cette lgne, qu sont effectvement présentes. Ben que cette opton sot smple et permette d utlser un fcher complet, elle présente certans rsques. En effet : l échantllon de ceux qu ont répondu à toutes les questons peut être - sot trop rédut pour être sgnfcatf, - sot non représentatf de la populaton globale. elle peut mener à des estmateurs fortement basés, à mons que la non-réponse ne dépende d aucune des varables d ntérêts (cas MCAR). Cette opton ne peut être envsagée que pour une brève analyse descrptve des réponses complètes. Remarque : On peut agr dfféremment selon s l s agt d une varable mportante ou secondare. 5. Tratement C : Repondératon Non-réponse totale : Les méthodes de repondératon augmentent le pods de sondage applqué aux répondants pour compenser pour les non-répondants. L objectf est de produre des estmatons approxmatvement sans bas. Non-réponse partelle : On peut applquer des méthodes de repondératon mas le prncpal nconvénent est qu l faut créer un nouveau pods ajusté pour chaque varable d ntérêt. Conséquences : Les résultats de dverses analyses peuvent ne pas concorder, c est pourquo on utlse peu les méthodes de repondératon pour tenr compte de la non-réponse partelle.
Etudes Statstques 2 (3/10) II. Valeurs manquantes dfférentes méthodes d mputaton : 1. Généraltés sur l mputaton : Défnton : L mputaton consste à produre une «valeur artfcelle» pour remplacer la valeur manquante, avec pour objectf de produre des estmatons approxmatvement sans bas. L'mputaton par règle : on applque à une valeur manquante une valeur détermnée suvant une réglementaton : Exemple : Calcul montant TTC à partr du montant HT Les méthodes courantes d mputaton : la moyenne le rato Méthodes détermnstes la régresson le hot-deck aléatore Méthodes stochastque ou aléatore le plus proche vosn autre. Descrpton des méthodes courantes : mputaton par la moyenne : On remplace chacune des valeurs manquantes par la valeur moyenne de l ensemble de réponses obtenues. mputaton par le rato : chaque valeur manquante y est remplacée par la valeur * prévue y obtenue par régresson de y sur x. mputaton par régresson : c est une extenson naturelle de l mputaton par la méthode du rato où l on se sert de q varables auxlares x 1 x q. mputaton par la méthode hot-deck aléatore : cela consste à attrbuer la valeur de y fourne par un répondant (donneur), sélectonné au hasard avec remse parm l ensemble des répondants, pour remplacer la valeur manquante pour l unté non-répondante (receveur). mputaton par la méthode par le plus proche vosn : on attrbue à l enregstrement pour lequel la réponse à une queston manque la valeur fgurant pour cette queston dans l enregstrement obtenu pour le répondant le plus proche, où l expresson «le plus proche» est habtuellement défne par une foncton de dstance basée sur une ou pluseurs varables auxlares. Méthode d mputaton Valeur mputée Varable(s) auxlare(s)? Moyenne Rato Régresson Hot-deck aléatore * 1 y * ˆ ˆ * y = y = y * r r y = x y = β 0 +β 1x1 + y = y j pour r sr xr... +βˆ qxq certans j sr tels que P y = y = 1/ NON OUI (une) OUI (une ou plus) ( ) r j NON Plus proche vosn * y = y j pour certans j sr tels que dst(x, x j ) sot mnmal OUI (une ou plus)
Etudes Statstques 2 (4/10) Remarques mportantes : En général, on procède à un ajustement de pods dans le cas de non-réponse totale et à l mputaton pour une non-réponse partelle. Il faut dstnguer les varables prncpales qu dovent être nécessarement connues de celles qu'l est possble d'mputer. Exemple de varables prncpales pour une entreprse : l'actvté prncpale exercée le nombre de salarés le chffre d'affares L mputaton permet d utlser un pods unque assocé à chaque ndvdu, ans les résultats de dverses analyses restent cohérents. Chaque technque d mputaton condut à une formule de varance ans qu à une estmaton de varance partculère. On dstngue les groupes de méthodes suvants : les méthodes déductves : la donnée manquante est dédute des réponses aux autres questons les méthodes de type cold-deck : elles utlsent l nformaton d une autre enquête les méthodes utlsant la prévson par un modèle de régresson les méthodes de type hot-deck Les procédures d mputaton pour données manquantes sont utlsées depus plus de 50 ans, surtout par les statstcens tratant de données d enquête Dangers de l mputaton : 1. Même s l mputaton produt un fcher complet de données, l nférence, en partculer l estmaton ponctuelle, n est valde que s les hypothèses sous-jacentes sont satsfates. 2. L mputaton modfe les relatons entre les varables. 3. S les valeurs mputées sont tratées comme des valeurs observées, la varance de l estmateur rsque d être consdérablement sous-estmée, surtout s la proporton de non-réponses est apprécable. Imputaton et hypothèses : En fat, pour fare une nférence en cas d mputaton, nous n avons pas d autre chox que d émettre des hypothèses quant au mécansme de réponse et à la varable d ntérêt y. Il est parfos justfé de supposer que ce mécansme est du type MCAR ) la probablté de répondre à la queston y est la même pour toute les ndvdus ) les untés répondent à la queston y ndépendamment l une de l autre. Dans ce cas, l estmateur mputé est un estmateur sans bas de Y.
Etudes Statstques 2 (5/10) 2. Imputaton par la moyenne S les valeurs manquantes sont absentes pour des rasons vrament aléatores, on peut sans gros problème les remplacer par la moyenne ou la médane des varables correspondantes. Mas souvent, le fat qu'une valeur manque dépend de sa valeur : Exemple : On demande le salare dans un sondage Les gros revenus hésteront à répondre : l faut en tenr compte. La moyenne est alors plus basse qu'elle ne le devrat. Conséquences : Déformaton de la dstrbuton margnale de X Avant Après Déformaton des varances et des corrélatons avec d autres varables Avant Après 3. Cas des varables qualtatves : mputaton par le mode 4. Imputaton par rato / régresson Conséquence : Les corrélatons sont augmentées
Etudes Statstques 2 (6/10) 5. Méthode hot-deck Rappels concernant cette méthode : - Son prncpe = attrbuer à une donnée manquante une valeur observée chez un répondant - Il s agt donc de trouver parm les répondants quels sont les donneurs potentels. Défnton : Une façon smple de procéder est de classer les observatons en groupes homogènes appelées cellules d ajustement ou d mputaton. On donne à un non-répondant la donnée d un répondant appartenant à la même cellule d ajustement. Constructon de ces cellules d ajustement : On peut utlser les varables de stratfcaton, effectuer des crosements de dfférentes varables (sexe, classes d âge, etc.) Plus on effectue de crosements, melleures sont les cellules d ajustement, mas mons nombreux sont les donneurs potentels. modélser la probablté de répondre en foncton d un certan nombre de caractérstques. Pour chaque observaton, on calcule alors la probablté de répondre. On regroupe ensute les probabltés obtenues en 5 à 6 classes. Ces classes forment les cellules d ajustement. Remarques : S le nombre de valeurs observées par cellules sur la varable à mputer est nsuffsant, on procède au regroupement de 2 ou pluseurs cellules au contenu ± smlare. Le remplacement de chaque donnée manquante par une valeur observée trée au hasard Préserve la dstrbuton margnale de la varable Peut fausser les corrélatons avec d autres varables C est une technque partculèrement approprée pour l'mputaton des varables qualtatves. Elle est également ntéressante pour des varables dscrètes. Pluseurs étapes : 6. Imputaton par le plus proche vosn : 1. Calcul des dstances eucldennes entre receveurs et donneurs, pour chaque classe d ajustement 2. Recherche de la plus pette dstance entre un receveur (ndvdu ayant des réponses manquantes) et un donneur 3. Attrbutons des valeurs des varables spécfques du donneur au receveur 4. Elmnaton du receveur utlsé et du donneur
Etudes Statstques 2 (7/10) 7. Imputaton multple : Utlté de la méthode : défauts de l mputaton smple La correcton de la non-réponse partelle par une valeur unque présente un défaut majeur. En effet : Une unque valeur mputée ne peut pas représenter toute l ncerttude à propos de la valeur à mputer Les analyses qu consdèrent les valeurs mputées de manère équvalente aux valeurs observées sous-estment l ncerttude, même s la non-réponse est correctement modélsée et des mputatons aléatores sont générées. Ce handcap peut condure entre autres à des varances nettement sous-estmées. Descrpton de la méthode «mputaton multple» : Tros étapes : 1 - Remplacement de chaque valeur manquante par m>1 valeurs smulées On obtent m bases de données. 2 - Analyse statstque dentque de chacune des m bases de données complétées 3 - Combnason des résultats Avantage : Cela permet de trouver des estmateurs ponctuels plus effcaces. Plus le nombre m d mputatons est grand, plus les estmateurs seront précs. En pratque, on constate qu on a de bons résultats à partr de 5 mputatons. On consttue pour une varable X à valeurs manquantes, 5 varables X 1,, X 5 à valeurs complètes. 8. Concluson L mputaton de données manquantes n est pas une affare banale. On constate que les méthodes sont nombreuses et qu l n exste pas de recettes défntves, le statstcen devant agr au cas par cas. Il est souvent nécessare d'opérer des va-et-vent entre les données brutes et les données corrgées ou mputées. En effet l n'est pas toujours possble de défnr a pror les contrôles susceptbles de détecter toutes les ncohérences, de prévor à l'avance les méthodes d'mputatons les plus pertnentes. Il faut alors repartr des données brutes pour tester un autre mode de tratement, en vellant à ce qu'l n'nterfère pas sur d'autres tratements déjà réalsés.
Etudes Statstques 2 (8/10) III. Valeurs aberrantes Avant d entreprendre l mputaton des données manquantes, on dot chercher s l n y a pas des valeurs aberrantes. 1. Défntons : Une valeur aberrante est une valeur qu dffère de façon sgnfcatve de la tendance globale des autres observatons quand on observe un ensemble de données ayant des caractérstques communes. Sot x(1), x(2),..., x(n) les données ordonnées dans l ordre crossant. Les valeurs x(1) et x(n) sont respectvement l observaton extrême nféreure et supéreure. Proprétés : Les valeurs extrêmes peuvent être ou ne pas être des valeurs aberrantes. Une valeur aberrante est toujours une valeur extrême de l échantllon. 2. Quelques remarques mportantes : Les valeurs aberrantes ne sont pas forcément erronées. Dans certans cas, la valeur aberrante dot être acceptée comme une ndcaton ntéressante. Exemple : Prospectons mnères. Il ne faut pas adopter une atttude radcale de rejet, ou d ncluson systématque des valeurs aberrantes. Le rejet systématque peut entraîner la perte d nformatons réelles Le rejet des valeurs aberrantes a des conséquences statstques non néglgeables car l analyse est ensute fate sur un échantllon censuré qu n est plus aléatore. En foncton des crconstances, l exste des méthodes, dtes robustes, qu prennent en compte toutes les données mas mnmsent l nfluence des valeurs aberrantes. L apparton de valeurs aberrantes est due à dverses sources de natures dfférentes, d où la complexté de l examen des valeurs aberrantes.
Etudes Statstques 2 (9/10) 3. Détecton des valeurs aberrantes : a) Contrôle sur le domane des valeurs : Exemple : Pour la varable «Total des heures effectuées», une borne maxmale (208 heures) est fxée à partr de la conventon collectve. Les valeurs supéreures à 208 heures sont aberrantes. b) Détecton graphque : Pour détecter la présence de valeurs aberrantes On peut utlser : - Boxplot - Hstogrammes - Nuages de ponts - dagramme de dsperson des observatons classées en foncton de leur rang c) Tests de cohérence logque Exemple : On crose des varables comme «Salare mensuel» et «Loyer mensuel» d) Détermnaton de plafonds au-delà desquels l est nécessare de contrôler les réponses. On cherche les valeurs aberrantes en dehors de x 1,5(Q3 Q 1) ; x+ 1,5(Q3 Q 1) (Box plot) ln(x ) > ln(x) + 3σ ln(x) Selon Coulombe et McKay, X j est une valeur aberrante s ( ) On crée des groupes pus on cherche les valeurs aberrantes en dehors de Mé(groupe) k σ (groupe) ; Mé + k σ (groupe) (avec k > 6) [ ] e) Une valeur est aberrante s elle engendre un effet de surprse en foncton de ce qu on attend à partr du modèle. On compare les résultats obtenus à partr du fcher sans la valeur aberrante à ceux obtenus à partr du fcher avec la valeur aberrante. f) La méthode des corrélatons permet d analyser les coeffcents de corrélatons en enlevant une valeur et en évaluant la varaton du coeffcent entre deux varables margnales. Cette varaton permet d dentfer des valeurs aberrantes. g) Les technques classques d analyses multvarées (analyse dscrmnante, analyse factorelle des correspondances, analyse en composantes prncpales) offrent des possbltés d dentfcaton de valeurs anormales. Remarques : Pour détecter des valeurs aberrantes on peut être amené à calculer de nouvelles varables : Exemples : Total des heures effectuées par employé Total des heures payées par employé Montant des salares bruts payés par employé Il est rarement nécessare de contrôler plus d'une cnquantane d ndvdus. Toute utlsaton de méthodes de détecton de valeurs aberrantes par ordnateur dot tenr compte des lmtes des méthodes fournes par les logcels. j
Etudes Statstques 2 (10/10) 4. Tratement des valeurs aberrantes : 3 méthodes pour trater les données aberrantes : Les valeurs aberrantes pouvant provenr d erreurs de sase, on vérfe s ce n est pas le cas en retournant au questonnare paper quand c est possble et on corrge. On les rejette et on applque ensute une des méthodes d mputaton (moyenne, médane ) vues pour les valeurs manquantes On adopte des méthodes qu dmnuent leur mpact au cours des analyses statstques : la médane l'écart nter-quartle 5. Concluson Le tratement des valeurs aberrantes est complexe. Sources : 1. Analyse multdmensonnelle de données ncomplètes : utlsaton des procédures - Jean-Perre NAKACHE - Alce GUEGUEN 2. Détecter et corrger la qualté des données avec SAS Data Qualty 3. Détecton de valeurs aberrantes lors du tratement des données de la taxe sur les produts et servces - Nelson Émond et Guylane Dubreul1 4. Deuxème enquête camerounase auprès des ménages Présentaton des bases de données de l enquête (Numéro de référence : 2003-9) 5. Enquête natonale auprès des dplômés (END) - http://www.statcan.ca 6. http://www.psos.fr/ 7. Méthodologe pour le tratement de l enquête mensuelle sur l actvté auprès des entreprses de travaux publcs en Métropôle www.fntp.fr 8. L mputaton des données manquantes, la technque de l mputaton multple, les conséquences sur l analyse des données : l enquête 1999 KOF/ETHZ sur l nnovaton - Laurent Donzé 9. Orentatons JAMP relatves à l évaluaton des tendances des apports et à la correcton des charges - http://www.grappa.unv-llle3.fr/polys/foulle/sorte004.html#toc5 10. Préparaton des données : transformatons, valeurs manquantes et aberrantes - Vncent Zoonekynd 11. Problèmes de tratement des données dans les enquêtes sur les mcro entreprses : l'expérence des enquêtes polonases SP3 par Bertrand Savoye1 12. Tratement des valeurs aberrantes : concepts actuels et tendances générales Vvane Planchon 13. www.ssc.ca/documents/case_studes/ 2002/mssng_dataF.doc