Les données manquantes en bio-statistique

Les données manquantes en bio-statistique Pr N. MEYER Laboratoire de Biostatistique - Faculté de Médecine Dép. Santé Publique CHU - STRASBOURG Master Statistiques et Applications 10 mars 2011

Importance du problème Les données Toute étude recueillir des données Les variables sont qualitatives ou quantitatives La plannification de l étude on espère recueillir toutes les données nécessaires = Toutes les données pour toutes les variables pour tous les sujets

Importance du problème Les données manquantes Données manquantes (DM) : données que l on voulait recueillir mais qui ne l ont pas été. Données qui devaient être recueillies mais dont la vraie valeur est inconnue Exemples : sujet qui ne répond qu à certaines questions d un sondage absence de réponse à l une des vagues d une enquête longitudinale DM sont très fréquentes : 95% des jeux de données sont incomplets (au moins une DM) Prévalence plus ou moins importante : de quelques unes à plus de 50% de DM Semblent pratiquement inévitables

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Donnée manquante Définition : Soit une variable aléatoire X quelconque. Une DM x m est une donnée pour laquelle la valeur X = x est inconnue. On ne dispose pas de la valeur de X pour le sujet i.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Classification méthodologique des DM Origine matérielle des DM : La valeur de x i n a pas été mesurée (oubli...) la valeur : mesurée mais perdue ou non notée la valeur : mesurée, notée, mais considérée comme non utilisable : donnée jugée aberrante / erreur manifeste la donnée : mesurée mais pas disponible : Ne Sait Pas idem : cas particuliers de données censurées.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Classification méthodologique des DM Des cas particuliers où la donnée est mesurée mais n est pas disponible donnée connue partiellement mais pas totalement manquante censure (1) : la valeur < ou > limites de détection de l outil HIV : nombre de copies du virus sous la limite de détection D-dimères : si > 20000 : 20000 et la vraie valeur est inconnue censure (2) : des études de survie durée de survie : supérieure à une durée d données non encore manquantes : indice CAO si dent non sortie, CAO sur ensemble incomplet distinguer la DM et le zéro d échantillonage

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Classification par rapport à l unité statistique La donnée est manquante en raison de : non réponse de l unité statistique : aucune mesure n est obtenue pour l unité statistique non réponse pour l item : seule manque la mesure sur la variable X considérée. en général, DM non intentionnellement (tous les cas précédent) manquant intentionnel : sondage par bloc de variable problème du data matching

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Les DM d un point de vue statistique En analysant des données incomplètes, on souhaite avoir des résultats valides malgré les DM Valides : i.e. p-valeurs, intervalles de confiances et estimations ponctuelles (moyenne, variance, proportions, paramètres de régression, etc) correctes ou encore des distributions a posteriori correctes Ceci n est possible que dans des conditions assez restrictives. La plupart du temps, il faut faire des hypothèses que l on ne peut pas vérifier.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Les DM d un point de vue statistique Ceci implique le mécanisme aboutissant à une DM : le mécanisme des manquants et si ce mécanisme dépend d autre variables (mesurées ou non). Ce mécanisme des manquants est généralement inconnu d un point de vue pratique mais il existe une classification théorique Classification statistique des données manquantes (Little & Rubin) Important : Diffèrentes situations diffèrentes méthodes statistiques

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Un exemple sur une variable variable X, n-échantillon dont m valeurs manquantes taille de l échantillon de n à n m = n p, de m/n % on peut estimer m et s 2 sur les n m présents valide que si n p valeurs : sous-échantillon aléatoire des n le fait d être manquant ne dépend pas de la valeur (manquante) Pr(x i : ) = p, i. sinon il y a un biais

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Effet des manquants : Un exemple (1) Biais et Perte de Puissance on tire 1000 valeurs d une v.a. gaussienne centrée réduite on vérifie sa moyenne et sa variance et on trace l histogramme des valeurs on supprime aléatoirement 250 valeurs sur l ensemble des valeurs du vecteur on vérifie que la moyenne et la variance du sous-échantillon sont proches des valeurs de l échantillon de départ

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Effet des manquants : Un exemple (2) On retire ensuite des valeurs surtout dans les valeurs basses de l échantillon : on retire 225 valeurs parmi les valeurs basses et 25 parmi les valeurs hautes. on calcule la moyenne et la variance de l échantillon et on trace son histogramme. On vérifie que les estimations des paramètres sont biaisés.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Autres exemple Voir simulations sur R. modifications des paramètres selon les manquants.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin la forme de la distribution obervée sur les données complètes n est pas forcément la forme de la distribution complète. en présence de données manquantes : biais? importance? la distribution observée sur le sous-échantillon complet est-elle représentative de la forme de la distribution dans la population? si on observe une distribution asymétrique, est-elle asymétrique ou bien le mécanisme des manquants est non-aléatoire?

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin si les DM sont manquantes aléatoirement : le mécanisme est ignorable si les DM sont manquantes non aléatoirement (i.e. si la proba que x i soit manquant dépend de la valeur de x i, le mécanisme n est pas ignorable, et les analyses sur le sous-échantillon sont sujettes à biais. si censure complète au dela d un seuil, par exemple 0 : Pr(R i = 1 y i ) = Pr(y i obs y i ) = 1 si y i < 0, 0 sinon.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Classification des manquants Classification introduite par Little et Rubin (1976, Biometrika) ; encore appelé distribution of missingness Pr(r i x i ; y i ; φ) : Probabilité que x i soit manquant introduit non pas pour le modèliser car en général l information est insuffisante pour le modèliser correctement mais pour savoir dans quelle conditions on peut l ignorer

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Classification des manquants Situation bivariée : les éléments Soit deux V.A. X et Y, n réalisations. X est complètement observée Y comporte des valeurs manquantes les deux V.A. X et Y soit qualitative(s) soit quantitative(s) sans perte de généralité.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Situation bivariée sujet X Y 1 x 1 y 1......... i i x i y i......... i + 1 x i+1 *......... n x n * Tab.: Classification de Little & Rubin

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Les trois cas possibles (1) La probabilité d avoir une valeur manquante est indépendante de X et de Y Pr(D : Mqt obs, mqt) = Pr(D : Mqt) (2) La probabilité d avoir une valeur manquante dépend de X mais pas de Y Pr(D : Mqt obs, mqt) = Pr(D : Mqt obs) (3) La probabilité d avoir une valeur manquante dépend de X et de Y Pr(D : Mqt obs, mqt) = Pr(D : Mqt obs, mqt)

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Les trois cas possibles soit Y = {Y ij } un jeu de données composé de deux parties : Y = (Y obs, Y mqt ) soit une indicatrice R ij telle que R ij = 1 si Y ij est manquant et R ij = 0 sinon le mécanisme des manquants est spécifié par un modèle pour la probabilité de réponse : Pr(R = r Y = y, θ) = f R/Y (r y obs, y mqt, θ) le mécanisme est donc la distribution de R sachant Y.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Les trois cas possibles (1) La situation MCAR : R et Y sont indépendant, la distribution de R ne dépend pas des données f R/Y (r y obs, y mqt, θ) = f R (r θ) (2) Situation MAR : la connaissance de Y miss ne donne pas d information supplémentaire sur R si Y obs est déjà connu. La distribution de R ne dépend pas des manquants f R/Y (r y obs, y mqt, θ) = f R (r y obs, θ) (3) La distribution de R dépend de la valeur (inconnue) des manquants f R/Y (r y obs, y mqt, θ) = f R (r y obs, y mqt, θ)

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Premier cas : MCAR La probabilité d avoir une valeur manquante est indépendante de X et de Y les valeurs manquantes sont Manquantes Aléatoirement Missing at random : MAR les données observées sont Observées Aléatoirement Observed at random : OAR les données sont manquantes complétement aléatoirement Missing Completely at Random : MCAR les valeurs Y observées : sous-échantillon aléatoire de Y

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin MCAR : Missing Completely At Random Y : categorical variable 0.5 0.0 0.5 1.0 1.5 x x x x x x 0.0 0.2 0.4 0.6 0.8 1.0 X : continuous variable

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Deuxième cas : MAR La probabilité d avoir une valeur manquante dépend de X mais pas de Y on dit que le données sont manquantes aléatoirement Missing at Random : MAR les valeurs observées de Y ne sont pas forcément un sous-échantillon aléatoire des valeurs échantillonnées de Y mais elles sont un sous-échantillon aléatoire de Y dans des sous-classes définies par les valeurs de X.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin MAR : Missing At Random Y : categorical variable 0.5 0.0 0.5 1.0 1.5 x x xx x x xx x 0.0 0.2 0.4 0.6 0.8 1.0 X : continuous variable Y obs est un sous-échantillon aléatoire / représentatif de Y dans des catégories de X.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin MAR : Missing At Random Y : categorical variable 0.5 0.0 0.5 1.0 1.5 x x xx x x xx x 0.0 0.2 0.4 0.6 0.8 1.0 X : continuous variable Y obs est un sous-échantillon aléatoire / représentatif de Y dans des catégories de X.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Troisième cas : MNAR La probabilité d avoir une valeur manquante dépend de X et de Y les valeurs ne sont ni manquantes aléatoirement (non MAR) ni obervées aléatoirement (non OAR) les données sont manquantes non aléatoires : M Not AR (MNAR)

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin MNAR : Missing Not At Random Y : categorical variable 0.5 0.0 0.5 1.0 1.5 x x x xxxxxx 0.0 0.2 0.4 0.6 0.8 1.0 X : continuous variable

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Conséquences Si MCAR et MAR le mécanisme des manquants peut être ignoré pour les méthodes d inférence basées sur la vraisemblance Dans le cas MCAR, le mécanisme peut-être ignoré à la fois pour les approches basées sur la vraisemblance et pour les approches basées sur l échantillonage Dans le cas MNAR le mécanisme ne peut pas être ignoré

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Quelques exemples le café sur la feuille de relevé la panne d appareil de mesure le dosage impossible pour raisons liées au sujet coagulation du tube de sang avant dosage si dosage lié à un trouble de la coagulation : MNAR si dosage autre : MCAR dossier médical incomplet

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Quelques exemples les aidants des personnes âgées dépendantes, pour savoir si la personne aidée représente une charge, la présence d une réponse dépend de la valeur de la réponse consommation d alcool est souvent d autant plus minimisée que cette consommation est forte dans les dossiers médicaux, la probabilité qu un symptome négatif soit noté est plus faible que la probabilité qu un symptôme positif soit noté.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Quelques exemples (2) Soit deux V.A. continues, une est sujette à non-réponse. La variable X complètement observée est l âge et la variable Y incomplètement observée est le revenu Si la probabilité que le revenu soit manquant est indépendante de l âge et du revenu du sujet, alors les données sont de type MCAR (OAR + MAR). Si la probabilité que le revenu soit manquant dépend de l âge de la personne interrogée mais pas de son revenu, alors les DM sont manquantes aléatoirement (ne dépendent pas du revenu) mais elles ne sont pas observées aléatoirement (dépendent de l âge) : elles sont donc de type MAR

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Quelques exemples (3) Si la probabilité que le revenu soit manquant dépend de l âge de la personne et de son revenu, les DM ne sont pas manquantes aléatoirement (dépendent du revenu) et ne sont pas observées aléatoirement (dépendent de l âge) : elles sont donc de type MNAR.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Quelques exemples (4) un animal meurt au décours d une expérience avant le recueil de y ex. application de goudron sur la peau d un rat : test cutané du pouvoir cancérigène cause du décès? mort naturelle? passage transcutané de constituant du goudron? et donc toxicité (cardiaque, autre) du goudron? lien avec les analyses de survie

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Quelques exemples (5) Études longitudinales cas de la survie et de la censure le sujet quitte l étude décès? lié à l étude? étude longitudinale le sujet ne se présente pas à la visite v i, i < i max le sujet ne se présente pas aux visites v i et suivante décès? lié à l étude?

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin L intérêt de cette classification Prendre en compte le mécanisme des manquants dans l analyse Si on s intéresse uniquement à la distribution marginale de X (l âge), les données de Y et le mécanisme des manquants n a aucune importance Si on souhaite avoir une estimation conditionnelle de la valeur de Y sachant X (par exemple la répartition des revenus en fonction de l âge), alors l analyse sur les n m valeurs complètes est satisfaisante si les données sont MAR ou si elles sont MCAR Si on s intéresse à la distribution marginale de Y (moyenne des revenus), alors une analyse basée sur les unités complètes est biaisée sauf si les données sont de type MCAR.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Si données MNAR, les estimations portant sur la distribution marginale de Y et sur la distribution conditionnelle de Y sachant X sont biaisées et nécessitent une modélisation des valeurs manquantes Dans les autres cas, la modélisation n est pas nécessaire même si des méthodes adaptées à l analyse statistique en présence de DM doivent être utilisées.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin reprendre les exemples sur l impact des manquants dans R.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Commentaires Le problème principal est que lorsque l on a des données incomplètes, il est très difficile de savoir quelle est la vraie distribution des données et donc de savoir quel est le mécanisme des manquants ou au moins lequel est le plus probable! Il y a une part d avis subjectif dans le choix mais ce peut-être un avis éclairé!

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Pertinence de cette classification Permet de prendre en compte le mécanisme des manquants lors de l analyse Si on l intéresse à la distribution marginale des revenus, les résultats sont biaisés sauf si les données sont MCAR Si l on s intéresse à la distribution conditionnelle du revenu en fonction de l âge, c.-à-d. pour des classes d âges données, une analyse basée sur les unités statistiques complètes est satisfaisante si les DM sont MAR Si les DM sont MNAR, les estimations basées sur la distribution marginale du revenu ou sur la distribution conditionnelle du revenu selon l âge sont biaisées et nécessite une modèlisation explicite des MD.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin DM et données longitudinales Dans le cas de données longitudinales (rappel), la classification est modifiée (voir Schafer). MCAR le mécanisme ne dépend ni des covariables x i ni de Y Pr(r i x i ; y i ; φ) = Pr(r i φ) CD Covariate-dependent (CD) missingness : le mécanisme peut dépendre de x i mais pas de Y : Pr(r i x i ; y i ; φ) = Pr(r i x i ; φ) MAR le mécanisme peut dépendre des cov. x i et des Y observés : Pr(r i x i ; y i ; φ) = Pr(r i x i ; y i(obs) ; φ) MNAR tous les autres cas : le mécanisme dépend encore de y mqt même après prise en compte des x i, et des y obs.

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin DM et données longitudinales En cas de sortie d étude (avant fin de suivi), signification : MCAR la Pr. de sortie ne dépend pas des caractéristiques du sujets CD la Pr. de sortie peut être liée à des covariables mais pas à la mesure d intérêt MAR la Pr. de sortie peut être liée à des covariables et la valeur de la mesure d intérêt avant la sortie d étude MNAR la Pr. de sortie peut être liée à la mesure d intérêt au moment de la sortie et parfois à la mesure après la sortie de l étude : cas souvent crédible

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin DM et données longitudinales Que peut-on dire des données? comme on observe x i, r i et y obs on peut souvent rejeter MCAR et CD on ne peut pas rejeter MAR en faveur de MNAR car on n observe pas y mqt tester MAR suppose des hypothèses invérifiables

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin DM et données longitudinales les données ne sont pas MCAR car sorties différentes dans TMT et contrôle pas seulement CD car complets et sortie ont des trajectoires différentes MAR ou MNAR, on ne peut pas savoir

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin L ignorabilité des données Les données sont ignorables si : 1 les données sont MAR 2 les paramètres grouvernant le mécanisme des manquants ne sont pas reliés aux paramètres que l on veut estimer Cela signifie que : pas nécessaire de modèliser le mécanisme des manquants comme une part de l estimation des paramètres mais nécessite quand même des méthodes particulières en pratique, toujours : ignorable (condition (2) ci-dessus toujours remplie)

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin L ignorabilité des données Les données sont non-ignorables si les données ne sont pas MAR. implique de modéliser le mécanisme des manquants pour avoir une bonne estimation des paramètres implique des hypothèses fortes et non vérifiables sur le mécanisme donc d applicabilité limitée car résultats très dépendants des hypothèses sur les manquants et implique un modèle pour chaque cas particulier donc, bien qu évident, très peu utilisé nous ne verrons que le cas ignorable

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Un cas particulier le missing plot dans un plan factoriel issu de l agronomie, quand un plot est un manquant méthodes à part dédiées à ce problème

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Les données monotones Une répartition de données manquantes est dit monotone si : les variables peuvent être arrangées d une manière telle que pour chaque observation de l échantillon, si X j est manquant, alors X j +j est aussi manquant, avec j entier positif et j + j p donc si pour un sujet i, les données sont manquantes à partir d une certaine variable qui peut changer d un sujet à l autre fréquent dans les données longitudinales (abandont du sujet à partir d une date donnée) si une seule variable, forcément monotone

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin --> 1 A 2 8 9 8 8 7 --> 2 A 3 4 9 1 2 * --> 3 B 4 7 6 3 * * --> 1 A 2 8 9 * * * --> 2 A 3 4 4 * * * --> 3 B 4 7 6 * * *

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Deux autres types de répartition Une répartition de données manquantes peut prendre d autres formes : une répartition quelconque une répartition très structurée parfois volontaire ou résultant de l histoire des données comme dans la fusion de données : deux demi-sondages ou sondages à deux époques différentes un cas très particulier : les variables latentes ou toutes les valeurs d une variables sont à retrouver, comme en analyse factorielle

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin --> 1 A 2 8 9 8 8 7 --> 2 A 3 * 9 1 2 7 --> 3 B * 7 6 3 9 * --> 1 A 2 8 9 * 3 * --> 2 A * * 4 8 2 * --> 3 B 4 7 6 * 1 6 Il s agit ici d une répartition arbitraire

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin --> 1 A 2 8 9 * --> 2 A 3 4 9 * --> 3 B 4 7 6 * --> 1 A 2 8 9 * --> 2 A 3 4 4 * --> 3 B 4 7 6 * Il s agit ici d une variable latente

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Le data fusion Le data fusion (et le data matching, impliqué par le DF) : l ensemble des données sur un sujets ne sont pas forcément dans une seule base de données Def : Combinaison de données, provenant de sources différentes, pour obtenir un seul jeu de données dans lequel toutes les variables sont renseignées (présence obligatoire de variables communes) fusionne des variables provenant d un dataset avec des variables d un second dataset, en appariant les observations par paires à partir de variables communes appelées variables d appariement ( match variables ).

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin Le data fusion Le data fusion (suite) : Il n est pas nécessaire que les observations soient identiques dans les deux datasets, c.-à-d. que toutes les observations dans un dataset ne doivent pas forcément figurer dans l autre. par appariement d individu (plus proche voisin) ou par prédiction de variables

Classification méthodologique des DM Impact des données manquantes Effet des manquants Classification de Little et Rubin --> 1 A 2 8 9 8 8 * * --> 2 A 3 4 9 1 2 * * --> 3 B 4 7 6 3 9 * * --> 1 A 2 8 9 * * 2 1 --> 2 A 3 4 4 * * 3 5 --> 3 B 4 7 6 * * 6 9 Il s agit ici de fusionner les données en remplacant les données manquantes.

Que faire en présence de DM? Avant tout, il faut décrire les données, c.-à-d. les données manquantes et les données non manquantes Combien de DM? Combien de DM par variable? Ou sont les DM? Certaines variables seulement? Toutes les variables? certains sujets seulement? Tous les sujets? Calculer le nombre et la proportion de données manquantes (la plupart des logiciels le font automatiquement) Decrire graphiquement les données et les données manquantes

typetrav Dénom. DénCum % % Cum 1 448 448 63.55 63.55 2 60 508 8.51 72.06 3 197 705 27.94 100.00 N= 705 *= 94 déclench Dénom. DénCum % % Cum 0 645 645 91.49 91.49 1 60 705 8.51 100.00 N= 705 *= 94

D9S171 TP53 D22S928 D8S264 D4S414 D3S1283 D10S192 D1S207 D1S197 D20S107 D4S394 D1S305 D15S127 D6S275 D13S173 D10S191 D5S346 D16S408 D2S159 D11S916 D8S283 D5S430 D9S179 D3S1282 D1S225 D17S790 D18S53 D14S65 D6S264 D17S794 D16S422 D18S61 D2S138 L138 L186 R198 L204 R221 R323 L333 L346 R349 L352 L358 R381 L410 L448 R450 L451 L477 R487 L543 L551 L584 R590 L592 L599 L636 R638 L651 L673 R681 L686 L758 L773 L786 L811 L797 R813 R827 L138 L186 R198 L204 R221 R323 L333 L346 R349 L352 L358 R381 L410 L448 R450 L451 L477 R487 L543 L551 L584 R590 L592 L599 L636 R638 L651 L673 R681 L686 L758 L773 L786 L811 L797 R813 R827 D9S171 TP53 D22S928 D8S264 D4S414 D3S1283 D10S192 D1S207 D1S197 D20S107 D4S394 D1S305 D15S127 D6S275 D13S173 D10S191 D5S346 D16S408 D2S159 D11S916 D8S283 D5S430 D9S179 D3S1282 D1S225 D17S790 D18S53 D14S65 D6S264 D17S794 D16S422 D18S61 D2S138 manquants Norm. AI

D9S171 TP53 D22S928 D8S264 D4S414 D3S1283 D10S192 D1S207 D1S197 D20S107 D4S394 D1S305 D15S127 D6S275 D13S173 D10S191 D5S346 D16S408 D2S159 D11S916 D8S283 D5S430 D9S179 D3S1282 D1S225 D17S790 D18S53 D14S65 D6S264 D17S794 D16S422 D18S61 D2S138 L138 L186 R198 L204 R221 R323 L333 L346 R349 L352 L358 R381 L410 L448 R450 L451 L477 R487 L543 L551 L584 R590 L592 L599 L636 R638 L651 L673 R681 L686 L758 L773 L786 L811 L797 R813 R827 L138 L186 R198 L204 R221 R323 L333 L346 R349 L352 L358 R381 L410 L448 R450 L451 L477 R487 L543 L551 L584 R590 L592 L599 L636 R638 L651 L673 R681 L686 L758 L773 L786 L811 L797 R813 R827 D9S171 TP53 D22S928 D8S264 D4S414 D3S1283 D10S192 D1S207 D1S197 D20S107 D4S394 D1S305 D15S127 D6S275 D13S173 D10S191 D5S346 D16S408 D2S159 D11S916 D8S283 D5S430 D9S179 D3S1282 D1S225 D17S790 D18S53 D14S65 D6S264 D17S794 D16S422 D18S61 D2S138 Manquants Présents

Data missing by block (intended or not) GPV Age Sexe Poids Taille BMI tab Jeun CT CHDL CLDL TG Gly PF4 Ddim TAT NumPlq GB GR 123456789 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 GPV Age Sexe Poids Taille BMI tab Jeun CT CHDL CLDL TG Gly PF4 Ddim TAT NumPlq GB GR 12345678910 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 Manquants Présents

Determination du mécanisme des manquants Le caractère manquant d une donnée peut-être étudié D devient Y faire un modèle pour étudier les causes des manquants facile à faire problème circulaire : en général, DM sur plusieurs variables (donc X incomplets) difficile à interpréter

Que faire après la description La plupart des logiciels décident tout seul ce qu il faut faire avec les données manquantes Les logiciels courants utilisent des méthodes de mauvaises qualités (SPSS notamment) ou rien (MINITAB) Rares sont les logiciels qui permettent une analyse correcte : S+/R, SAS et WinBUGS

méthode du cas complet X deux V.A. X 1 et X 2, n-échantillon. m 1 et m 2 valeurs mqt. sur X 1 et X 2. Le nombre m de sujets ayant au moins une donnée manquante max(m 1, m 2 ) m m 1 + m 2 Le nombre n c de sujets complets est égale à n m. Donc en général n c < nombre de sujets complets pour X 1 ou pour X 2 et : la plupart du temps on perd plus de valeurs que le nombre réel de valeurs manquantes

--> 1 A 3 4 * 56 H 1 --> 2 A 2 8 9 47 F 1 --> 3 B 4 7 6 55 F 0 --> 1 * * * * * * * --> 2 A 2 8 9 47 F 1 --> 3 B 4 7 6 55 F 0 --> 2 A 2 8 9 47 F 1 --> 3 B 4 7 6 55 F 0

Méthode du cas complet : avantages facilite les comparaisons entre analyses uni- et multivariées mais seulement si on retire les mêmes sujets d une analyse à l autre pas-à-pas ascendants : le logiciel retire d emblée les sujets incomplets sur toutes les variables candidates même si in fine toutes ne sont pas retenues dans le modèle

Méthode du cas complet : inconvénients biais évident sauf si MCAR perte de puissance perte de cas rapidement considérable si 10 variables avec 10% de manquants (sur des sujets différents) 0, 9 10 cas complets = 34,8%

Méthode du cas disponible on utilise pour chaque sous-analyse ou chaque sous-partie de l analyse l ensemble des cas complets avantage : nb max de sujets à chaque analyse / chaque partie inconvénients : nb variables d une analyse / partie à l autre Y = α 1 + βx 1 et Y = α 1 + βx 2 portent sur des sujets différents ACP : matrice de covariance mal conformée pas-à-pas : certains logiciels excluent les sujets incomplets à chaque étape et pas d emblée

Ajustement sur dummy variable Une méthode simple et intuitive proposée par Cohen en 1985. soit un modèle de régression Y = f (X ) soit une V.A. X explicative incomplète on crée une V. indicatrice D, D = 1 si X manquant, D = 0 sinon autre solution on crée une V. indicatrice D, D = c si X manquant, D = X sinon ou c est une constante quelconque le coefficient de X est invariant à c

Ajustement sur dummy variable ce qui change selon c, c est le coefficient de D pour faciliter l interprétation : c = m(x = X obs ) alors : β D = valeur prédite de Y pour les sujets incomplets moins la valeur prédite de Y pour les individus à la moyenne de X mais la méthode est biaisée et donc les estimations ne sont pas valides

Ajustement sur dummy variable Cependant : la méthode permet d utiliser tous les sujets disponibles y compris ceux qui sont incomplets donc on évite la perte de puissance : meilleure précision des estimateurs (et donc choisir entre biais et précision) on peut également tester des interactions entre D ou D et X j pour détecter un mécanisme particulier pour les manquants

Les méthodes d imputation méthodes très nombreuses consiste à substituer à la valeur manquante une valeur choisie de manière pertinente. méthodes séduisantes et dangereuses (Rubin) Deux grands types : 1 imputation simple 2 imputation multiple

Les méthodes d imputation simple (... et mauvaises) LOCF : Last Observation Caried Forward ajouter une catégorie pour les DM moyenne non conditionnelle moyenne conditionnelle (Buck) (par bloc ou pas) imputation + aléa simples mais inconvénients +++ / overfitting /ad hoc estimations d IC très difficiles

Ajout d une catégorie pour les DM Soit X une variable aléatoire catégorielle et incomplète On crée une catégorie suplémentaire désignant la DM On fait le modèle avec cette variable multinomiale interprétation? Délicate! Bais + + et augmente le nb de ddl Difficile à utiliser pour des variables ordinales ou continues

Last Observation Carried Forward : LOCF (1) très prisée dans l industrie pharmaceutique consiste à remplacer une valeur manquante par la valeur qui la précède dans le fichier (!) très facile à réaliser aucune justification théorique suppose que le fichier n est pas trié et donc les sujets ont un ordre aléatoire indépendant du mécanisme des manquants

Première variante : d un sujet à l autre --> 1 A 2 8 9 47 F 1 --> 2 A 3 4 * 56 H 1 --> 3 B 4 7 6 55 F 0 --> 1 A 2 8 9 47 F 1 --> 2 A 3 4 9 56 H 1 --> 3 B 4 7 6 55 F 0

Seconde variante : d un temps à l autre pour un même sujet dans une étude longitudinale --> 1 A 2 8 9 --> 2 A 3 4 * --> 3 B 4 7 6 --> 1 A 2 8 9 --> 2 A 3 4 4 --> 3 B 4 7 6

Last Observation Carried Forward : LOCF (1) connait des variantes intéressantes par exemple pour des données continues on prend la valeur précédente plus un aléa ɛ suivant une loi pertinente peut s envisager avec des raffinements dans de l imputation multiples à ne jamais utiliser sinon

Les méthodes dans les enquêtes Quelques méthodes classiques : cold deck : source exterieur, limites + + + substitution : tirage au sort d une nouvelle unité difficile si stratification a posteriori

Les méthodes dans les enquêtes Une méthodes à part : le hot deck on remplace la valeur manquante par une valeur prise chez un sujet similaire sur un certain nombre de variables difficile en partique car impose une mesure de distance qui est délicate à définir biais et impact sur la puissance des analyses car diminution des variances

Le worst case et ses variantes (1) Une méthode facile à utiliser pour des variables catégorielles : imputer les valeurs qui défavorisent (cliniquement) le résultat attendu soit à estimer une proportion p sur N sujets dont n sont manquants on peut attribuer l une des modalités (VIH+) à tous les n manquants et estimer p exemple : VIH au Kenya : N = 787, n = 36, r + = 52 on obtient par le worst case : p = 88/787 on peut faire un intervalle worst case - best case (ou le contraire selon contexte) qui sert de point de départ à la modélisation

Le worst case et ses variantes (2) Variantes dans les essais thérapeutiques on veut comparer l effet de deux traitements sur un résultat clinique souvent la mesure d intérêt est absente (décès, guérison car perdu de vue ou autre) l estimation de l effet du traitement est biaisé par les DM on se met dans une situation défavorable au nouveau TMT si la différence existe quand même, on peut valider le nouveau traitement

Etude de sensibilité : Shadish Angioplasty: % of missing allocated to good outcome (n=30) 0 20 40 60 80 100 Extreme favouring A All allocated to good All allocated to poor Extreme favouring S 0 20 40 60 80 100 Stent: % of missing allocated to good outcome (n=24) Significant difference (p<0.05) No significant difference (p>0.05)

Méthode de Delucchi Introduction Pour des données qualitatives : table 2 2 si on a m valeurs manquantes dans l une des deux variables on peut imputer les valeurs marginales de m + 1 manières puis dans chaque cellules à partir de la marge (m 1. + 1) (m 2. + 1) possibilités pour chacune des m + 1 combinaisons marginales à partir desquelles on conclut

Solutions à part Introduction littérature + + + ad hoc + + + algorithme NIPALS : voir modèles PLS qui suppose quand même des hypothèses fortes sur les DM! ne pas avoir de DM!!

Introduction Principe (très général) : Interdépendance entre paramétres θ et Y mqt Y mqt contient de l information utile pour estimer θ et θ permet d obtenir des valeurs pertinentes pour Y mqt On remplit les manquants à partir d une estimation de θ puis on ré-estime θ à partir de Y obs et Y mqt et on répéte jusqu à convergence

Introduction Les données complètes (i.e. obs + mqt) peuvent être mise sous la forme suivante : Pr(Y θ) = Pr(Y obs θ)pr(y mqt Y obs, θ) d où : L(θ Y ) = L(θ Y obs ) + log Pr(Y mqt Y obs, θ) + c avec : L(θ Y ) = log Pr(Y θ) vraisemblance des données complètes et : L(θ Y obs ) = log Pr(Y obs θ) vraisemblance des données observées Pr(Y mqt Y obs, θ) : distrib. prédictive des DM sachant θ fait le lien entre θ et les DM

Introduction Soit θ (t) l estimation courante de θ. Les estimations se font ensuite en deux étapes : E Expectation étape qui donne la log-vraisemblance Q(θ θ (t) ) = L(θ Y )Pr(Y mqt Y obs, θ = θ (t) )dy mqt M Maximization étape qui détermine θ (t+1) en maximisant cette log-vraisemblance Q(θ (t+1) θ (t) ) Q(θ θ (t) )

Introduction Un résultat de Dempster, Laird et Rubin (1977) montre que : si θ (t+1) est la valeur de θ qui maximise Q(θ θ (t) ) alors θ (t+1) est une meilleure estimation que θ (t) car la vraisemblance des données observées pour θ (t+1) est au moins aussi grande que celle pour θ (t) L(θ (t+1) Y obs ) L(θ (t) Y obs )

: exemple Illustré sur une table 2 2 on suppose deux variables Y 1 et Y 2, variables dichotomiques toutes les deux incomplètes le tableau croisé des deux variables : distribution multinomiale x = {x 11, x 12, x 21, x 22 } de paramètres : θ = {θ 11, θ 12, θ 21, θ 22 } avec θ ij proba qu un sujet ait Y 1 = i et Y 2 = j alors la vraisemblance s écrit : L(θ x) = x 11 logθ 11 + x 12 logθ 12 + x 21 logθ 21 + x 22 logθ 22 les MLE obtenus par : x ij = nθ ij

: exemple Soit la table suivante : sujet Y 2 = 1 Y 2 = 2 Y 2 = mqt Y 1 = 1 x11 A x12 A x1+ B Y 1 = 2 x21 A x22 A x2+ B Y 1 = mqt x C +1 x C +2

: exemple Les deux étapes de l algorithme : étape E remplace les valeurs inconnues x B ij et x C ij par leur espérance conditionnelles E(x ij Y obs, θ) = E(x A ij + x B ij + x C ij Y obs, θ) = x A ij + x B i+ θ ij /θ i+ + x C +j θ ij /θ +j étape M θ ij = E(x ij Y obs, θ)/n en combinant les deux étapes en une seule, on obtient : ) )] θ (t+1) ij = n [x 1 ij A + xi+ B + x+j C ( θ (t) ij θ (t) i+ ( θ (t) ij θ (t) +j

: exemple Soit la table suivante : sujet Non victimes t2 Victimes t2 Non-réponses Non victimes t1 392 55 33 Victimes t1 76 38 9 Non-réponses 31 7

: exemple Itérations de l EM : t θ (t) 11 θ (t) 12 θ (t) 21 θ (t) 22 0 0,2500 0,2500 0,2500 0,2500 1 0,6615 0,1170 0,1498 0,0718............... 4 0,6971 0,0987 0,1358 0,0684 5 0,6971 0,0987 0,1358 0,0685 0,6971 0,0987 0,1358 0,0685

L : la star! Repris de JL Schafer : Single-imputation strategies designed to precisely predict the missing values tend to distort estimates of population quantities The goal of the missing-data procedure is to draw accurate inferences about population quantities (e.g. mean change over time), not to accurately predict the missing values With imputation, the best way to achieve that goal is to preserve all aspects of the data distribution (means, trends, within- and between-subject variation, etc.) Ad hoc imputation methods inevitably preserve some aspects but distort others

L : la star! l imputation simple est... unique la donnée imputée est considéré comme une donnée observée ne tient pas compte de l incertitude sup. liée aux manquants d où l idée de faire plusieurs imputations différentes on substitue plusieurs valeurs à chaque DM on analyse en tenant compte de cette multiplicité

Les étapes d une imputation multiple on analyse la matrice des données pour en déduire un modèle pour les DM on réalise entre M = 3 et 10 imputations pour obtenir 3 à 10 jeux de données complétés on calcule le paramètre d intérêt pour chaque jeu on combine les M imputations pour avoir une inférence qui tienne compte de l incertitude supplémentaire liée aux DM

Formules pour l IM Introduction M estimations ponctuelles pour le vecteur de paramètre θ Si gaussien, moyenne et écart-type : ˆQ (t) = ˆQ(Y obs, Y (t) miss ), t = 1,..., m et Û (t) = Û (t) (Y obs, Y (t) miss ), t = 1,..., m On calcule ensuite : ˆQ = 1 m m t=1 ˆQ (t)

Formules pour l IM (suite) La Var. globale a deux composantes : (1) variance intra-imputation Ū = 1 m m t=1 U (t) (2) La variance inter-imputation vaut : La variance totale vaut : B = 1 m 1 m ( ˆQ (t) Q) 2 t=1 T = Ū + (1 + m 1 )B

Formules pour l IM (suite) À partir de ces équations, on peut réaliser des tests : Q Q T 2 t ν avec : [ ] 2 Ū ν = (m 1) 1 + (1 + m 1 )B intervalles de confiances. Ces statistiques tiennent compte de l incertitude suppl. liées aux DM.

Un exemple simple Introduction Exemple : voir feuille Excel

Obtention des imputations Pour faire de l IM, il faut générer les valeurs simulées : à partir de la distribution a posteriori des valeurs de Y mqt on définit donc un modèle pour les manquants en analysant la matrice R et en simulant en général sous un modèle multinormal on tire m valeur de Pr(Y mqt Y obs ) Pr(Y mqt Y obs ) = Pr(Y mqt Y obs, θ)pr(θ Y obs )dθ soit distribution prédictive de Y mqt sachant θ moyenné sur la distribution a posteriori de θ ce qui reflète l incertitude sur Y mqt sachant les paramètres du modèle des données complètes.

Obtention des imputations Autre méthode, sur des variables quantitatives approximate bayesian bootstrap : rég. logistique pour prédire si X est manquant ou pas calculer proba de manquer = propensity score on trie par prop. score puis quintiles dans chaque quintile, r cas complets et m mqt parmi les r complets, on tire avec remise un éch. aléatoire de taille r pour chaque mqt, on tire avec remise une valeur dans l éch. précédent dernière étape répétée M fois puis combinaison des M paramètres

L IM : avantages Introduction souple + + donne des résultats valides robuste aux écarts de spécification du modèle M peut être faible : 3, 5, pas plus de 10.

L IM : inconvénients (limités) le recours à des logiciels repose sur le modèle (mais les autres méthodes aussi) si les effectifs sont faibles variantes particulières Par ailleurs aspects bayésiens utiliser WinBUGS

l IM par MICE (1) Introduction MICE : Multiple Imputation Chained Equation également le nom d un package R. récent : 2000 obtention des imputations par le chainage d équation

Principe de la méthode : soit une matrice X de taile n p, avec m valeurs manquantes, et j variables incomplètes on impute chaque valeur manquante des j variables incomplètes une fois à partir des données observées on prend une première variable dont on retire les valeurs imputées (donc on reprend la variable dans son état initial, incomplètes) on impute les valeurs manquantes à partir des autres variables complétées on passe à la variable suivante : on prédit les valeurs incomplètes à partir des autres on fait un tour complet sur l ensemble des variables incomplètes on procède à M tours N. MEYER pour obtenir Données Mmanquantes jeux de données l IM par MICE (2) Introduction

l IM par MICE (3) Introduction Avantages et limites de la méthode facile à faire gère tous les types de données dans un même modèle plus facile à faire sur de très grand jeux de données que IM classique peu de fondements théoriques convergence non assurée mais empiriquement efficace

Retour sur les MNAR Introduction Si les données sont MNAR : implique de modéliser le mécanisme des manquants pour avoir une bonne estimation des paramètres implique des hypothèses fortes et non vérifiables sur le mécanisme or souvent on peut raisonnablement suspecter MNAR on peut les modèliser mais complexe, au cas par cas et ne peuvent que difficilement être testé (dépend du contexte) donc pas de méthode générale possible type IM

Une méthode à part : l algorithme NIPALS Crée dans les années 1960 pour l ACP a la particularité de pouvoir fournir les composantes de l ACP si l on travaille sur les données complète fournit un résultat si données incomplètes sans supprimer de sujets sans supprimer de variable sans estimer les données manquantes! sans imputation! peut être utilisé à l envers pour estimer ou imputer les DM

Une méthode à part : l algorithme NIPALS Algorithme itératif, utilisable en régression soit y et X, centrée réduite on ajuste de manière itérative y = ax j + ε faisable sur données incomplètes puis construction de composantes normer le vecteur a 1 : w 1 = a 1 / a 1. calculer la composante t 1 = 1/( t w 1 w 1 )Xw 1. itération h exprimer la composante t h en termes de prédicteurs X : t h = Xw h.

Une autre méthode à part : les modèles mixtes Créés pour analyser des données longitudinales ou multi-niveaux, répétées etc. permet de travailler sur des données incomplètes et avec des sujets n ayant qu une valeur sur j supprime quand même les sujets n ayant que des données manquantes

une autre question : Y ou X? Les problèmes de DM se posent surtout lorsque X est incomplet Lorsque Y est incomplet estimer Y i à partir du modèle Donc le problème est moins grave mais il existe quand même S écrit naturellement dans WinBUGS (en fait il est inutile de l écrire!) Problème sérieux dans le domaine médical ou le problème n est pas que statistique!

La solution bayésienne Les données manquantes sont issues d une distribution a priori souplesse + + + faire des hypothèses sur les DM mais toute les méthodes en font similitudes avec les données aberrantes voir exemple de prog. Bugs

Les logiciels Introduction MINITAB : rien pour les DM SPSS : module mais pas dans la base SAS : différentes fonctions + PROC MI S+ / R : CAT,MIX, NORM A part : SIMCA : cartographie des manquants / R WinBUGS

Les packages de R Introduction on trouve dans R plusieurs package qui gèrent plus ou moins les données manquantes : mitools fait de l IM mice imputation multivariée par équations en chaines mvnmle estimation du max. vrais. pour des données gaussiennes multivariées norm IM pour données continues par EM et data augmentation cat IM pour données catégorielles par EM, data augmentation et simulations de paramètre mix la même chose pour mélange de qualitatives et quantitative pan IM pour données longitudinales ameliaii pour les sondages, les séries chronologiques,

Package Hmisc Introduction dans le package Hmisc : na.delete Row-wise Deletion na.action na.detail.response Detailed Response Variable Information na.keep Do-nothing na.action na.pattern Variable Clustering na.retain Summarize Data for Making Tables and Plots naclus Variable Clustering naplot Variable Clustering

Le package Hmisc : suite aregimpute() Multiple Imputation using Additive Regression, Bootstrapping, and Predictive Mean Matching transcan() Transformations/Imputations using Canonical Variates arrayimpute Missing imputation for microarray data arraymisspattern Exploratory analysis of Missing patterns for microarray data EMV Estimation of Missing Values for a Data Matrix mlmmm ML estimation under multivariate linear mixed models with missing values monomvn Estimation for multivariate normal data with monotone missingness NestedCohort Survival Analysis for Cohorts with Missing Covariate Information

DM : un vrai problème sans vraie solution (pratique) il faut toujours faire des hypothèses ou faire une étude de sensibilité qui ne conclut pas le mieux : IM encore mieux : bayésien encore encore mieux : ne pas avoir de DM

Les ouvrages de références Little RJA, Rubin DB : Statistical analysis with missing data, 2nd edition. John Wiley & Sons, New York 2002. Edition récente : IM ++ Schafer JL. Analysis of Incomplete Multivariate Data Chapman & Hall CRC 1997. Allison PD. Missing Data Thousand Oaks, CA : Sage. 2002.