Contrôle de qualité des données : s assurer que les nombres reflètent les définitions opérationnelles et contiennent les mesures réelles

Transcription

1 INT J TUBERC LUNG DIS 15(3): The Union ÉTAT DE LA QUESTION SERIE ÉTAT DE LA QUESTION Recherche opérationnelle, Edité par Donald A. Enarson NUMÉRO 3 DE LA SÉRIE Contrôle de qualité des données : s assurer que les nombres reflètent les définitions opérationnelles et contiennent les mesures réelles H. L. Rieder,* J. M. Lauritsen * Département de la Tuberculose, Union Internationale Contre la Tuberculose et les Maladies Respiratoires, Paris, France ; Institute of Social and Preventive Medicine, University of Zurich, Zurich, Suisse ; Institute of Public Health, Biostatistic Unit, University of Southern Denmark, Odense, Epidata Association, Odense, Danemark RÉSUMÉ Toute analyse n est convaincante qu en fonction de la qualité des données qu elle étudie. Dans cet article, on donne un exemple du rôle de la qualité des données sous forme de leur impact sur l interprétation des données de surveillance, par les projets de recherche opérationnelle menés dans les cours de formation de l Union Internationale contre la Tuberculose et les Maladies Respiratoires. On signale également les leçons que l on peut en tirer. Ce travail fournit des informations sur la raison pour laquelle la double saisie des données et leur validation font partie d une bonne pratique clinique, et il suggère la manière de porter au maximum l efficience de la saisie des données afin de réduire la durée et les erreurs de saisie des données de telle manière qu on puisse réduire les barrières psychologiques et physiques à la double saisie de ces données. MOTS-CLÉS : recherche ; qualité des données ; bonne pratique clinique LORSQU UNE ÉTUDE SIGNALE, pour une indication donnée, la supériorité d un médicament A sur un médicament B, nous pouvons ergoter sur l interprétation des données. Si nous devions mettre en doute à juste titre la qualité des données sous-jacentes, l étude serait sans valeur. Des règles, des recommandations et même des réglementations pour mener des essais cliniques ont été élaborées pour garantir le caractère correct de l information et de la qualité des données, par exemple aux Etats-Unis par la Food and Drug Administration et dans l Union Européenne par un groupe de travail sur la prise en charge des données. 1 Les exigences pour la documentation des données et le contrôle de qualité des données sont rigides et à juste titre. Nous attendons des informations et des données impeccables dans les essais cliniques, mais Les articles précédents de cette série Éditorial: Enarson D A. Operational research, a State of the Art series in the Journal. Int J Tuberc Lung Dis 2011; 15(1): 3. No 1: Lienhardt C, Cobelens F G J. Operational research for improved tuberculosis control: the scope, the needs and the way forward. Int J Tuberc Lung Dis 2011; 15(1): No 2: Harries A D, Rusen I D, Reid T, et al. The Union and Médecins Sans Frontières approach to operational research. Int J Tuberc Lung Dis 2011; 15(2): fréquemment, nous paraissons moins soucieux lorsqu il s agit d autres recherches. En réalité, si on lit attentivement l IJTLD, la garantie d une qualité impeccable des données semble plutôt l exception que la règle. 2 Nous ne semblons voir que rarement la nécessité de documenter les efforts faits pour garantir la qualité des données. Nous suggérons que la qualité des données est toujours importante en matière de recherche, qu il s agisse d un essai clinique, d une surveillance ou d un projet de recherche opérationnelle. Dans ce travail, nous tentons de démontrer comment les données sont produites, comment elles devraient être produites et comment garantir que les événements enregistrés en matière de santé dans des sources primaires de données comme les dossiers-papier puissent être saisis avec efficience et précision par voie électronique pour refléter les données de la source-mère. Nous utilisons des exemples repris dans notre propre expérience et dans la littérature pour démontrer pourquoi la qualité des données est importante et comment on peut la garantir. Cet exposé devrait aider les chercheurs à réfléchir sur les justifications d un enregistrement de données Auteur pour correspondance : H L Rieder, Département de la Tuberculose, Union Internationale Contre la Tuberculose et les Maladies Respiratoires, Jetzikofenstrasse 12, 3038 Kirchlindach, Suisse. Tel : (+41) Fax : (+41) tbrieder@tbrieder.org [Traduction de l article : «Quality assurance of data: ensuring that numbers reflect operational definitions and contain real measurements» Int J Tuberc Lung Dis 2011; 15(3): ]

2 2 The International Journal of Tuberculosis and Lung Disease de qualité garantie et aider les épidémiologistes du terrain dans l identification des problèmes-clé qui augmentent la qualité de la saisie des données électroniques. Cet article leur donne des recommandations pratiques sur la manière de garantir l efficience de la tâche ennuyeuse et répétitive que constitue la saisie des données, qui est pourtant la colonne vertébrale de toute analyse crédible. SURVEILLANCE : TRANSMISSION EN TEMPS UTILE DES DONNÉES IMPORTANTES Il est essentiel pour la surveillance que les données significatives en premier lieu arrivent dans les dossiers ou arrivent en temps utile, ce qui n est pas toujours le cas. Il semble qu un bon système de surveillance basé sur l énumération simple, correcte et en temps utile des cas incidents qui viennent à la connaissance du système de soins de santé soit un impératif simple. L exemple suivant illustre comment ceci peut ne pas être le cas avec des conséquences embarrassantes et fatales. Le 9 mars 1963, un premier cas d infection par Salmonella typhi a été déclaré en Angleterre et confirmé trois jours plus tard par l Enteric Reference Laboratory de Colindale. 3 Dans les quelques jours qui ont suivi, des déclarations de cas provenant de diverses parties d Angleterre sont arrivées au Ministère de la santé. Le 14 mars, le directeur du laboratoire de Colindale a prévenu les autorités suisses de l existence probable d une épidémie de typhoïde, apparemment d origine aqueuse, et provenant de Zermatt, un des centres touristiques les plus célèbres de Suisse. Un médecin local avait prévenu le maire de Zermatt et les autorités cantonales le 10 mars. Le rapport scientifique évite discrètement de mentionner si cette information avait été transmise aux autorités nationales ou si elle provenait, surprise désagréable, de l alerte venant du Royaume Uni. 3 De toute manière, en Angleterre, les agents médicaux ont été prévenus de la mini-épidémie le 13 mars alors que les autorités nationales suisses ont informé officiellement le public 5 jours plus tard, le 18 mars. Au Royaume Uni, la surveillance a abouti à son objectif alors qu en Suisse, celui-ci lui a échappé. A la suite de cette épidémie (437 cas), la Suisse a reconnu que son système de surveillance des maladies transmissibles ne répondait pas aux standards et est passé à la déclaration fédérale obligatoire par les laboratoires de toute une série d organismes bien définis afin de compléter les déclarations obligatoires par les médecins. La plupart des pays ont probablement des déclarations obligatoires pour des pathogènes bien spécifiés. Cette déclaration s étend même souvent pour inclure certaines maladies non transmissibles. Toutefois, il est bien connu que les cliniciens ne signalent pas régulièrement les maladies à déclaration obligatoire, de sorte que sans un système complémentaire comme celui des laboratoires, dans le cas des maladies transmissibles, les déclarations basées sur les seuls médecins sont souvent hasardeuses. Dans une étude dans deux hôpitaux de Londres, on a fait l inventaire de tous les nouveaux diagnostics de tuberculose (TB) au cours d une période déterminée et l on a comparé avec les dossiers du système de déclaration. 4,5 Dans la première enquête, en fonction de la spécialité, entre 52% et 82% des cas nouvellement diagnostiqués avaient été signalés. Après répétition de l enquête, la sensibilisation apparemment induite par la première enquête a révélé une amélioration des déclarations jusqu à 80% à 95% dans les mêmes spécialités. Le nombre de variables exigées sur les formulaires de déclaration dépasse fréquemment l indispensable. Ceci concerne également la recherche, 6 et pourrait décourager des praticiens très occupés. Un décompte simple mais impeccable des cas infectés par S. typhi est de loin plus important que les nombreuses questions qui peuvent et doivent toujours être posées lors de l investigation d une épidémie. De la même manière, en matière de TB, un petit groupe de questions est suffisant pour la surveillance, 7 alors que dans les deux décomptes, un système complet de base de données électroniques fait souvent défaut pour la prise en charge et la surveillance des cas. Quand l incidence globale d une maladie transmissible est élevée, la multitude de petites mini-épidémies qui interviennent dans l incidence globale n est plus facile à discerner. Il en est ainsi particulièrement pour des maladies dont les périodes d incubation sont longues ou mal définies comme la TB où l on s attend à ce que les modifications au fil du temps soient graduelles plutôt que brutales. A la Figure 1, les modifications des pourcentages dans les déclarations des cas incidents de TB d année en année apparaissent pour deux pays : le pays A en Afrique de l Est et le pays B en Asie du Sud-Est. Dans le pays A, le système de déclaration était apparemment bien en place au moment du début du graphique et il y a relativement Figure 1 Pourcentage de modification au cours d une année par comparaison avec l année précédente pour les cas non déclarés de tuberculose dans deux pays.

3 Qualité des données dans la recherche 3 peu de fluctuations dans le nombre de cas d une année à la suivante. Les fluctuations d amplitude dans les déclarations de cas du pays B sont très importantes jusqu à environ 2002, moment où s observe l amplitude approximative que nous pourrions raisonnablement attendre. Clairement, un système de surveillance régulière a été établi plus tôt dans le pays A, alors que dans le pays B, on s approchait encore d un consolidation pendant plusieurs années avant qu il ne devienne efficace. Evidemment, un graphique simple comme celui-ci ne peut pas établir dans quelle mesure les cas signalés reflètent le nombre exact de cas connus dans le système, mais il est évident que jusqu au environ de 2002, les décomptes de cas dans le pays B n ont pas d autre valeur que de mettre en évidence un système apparemment déficient ou fonctionnant mal. Le système de surveillance des Etats-Unis contraste avec les deux pays mentionnés plus haut. Les maladies à déclaration sont signalées chaque semaine aux Centers for Disease Control and Prevention (CDC). Alors que ces décomptes ne sont pas définitifs et sont vérifiés (ce qui se produit après la clôture de l année de déclaration), le système est disposé de telle manière qu il soit sensible, fonctionne en temps utile et recueille uniquement le décompte des cas. Grâce à des comparaisons semaine par semaine des modifications cumulatives relatives des cas de TB signalés, on a noté nettement qu à la semaine 39 de 1985, les déclarations cumulatives de TB s étaient écartées du comportement attendu (Figure 2) ; le public américain a été rapidement alerté de l impact possible de l infection par le virus de l immunodéficience humaine sur la TB aux Etats-Unis ; 8 ce fut le premier rapport national qui l ait jamais fait. La non-normalisation de la courbe a été confirmée ultérieurement par les données provisoires pour l ensemble de l année et confirmée par les données finales de cette année. 10 Cet Figure 2 Modification des pourcentages des cas incidents de tuberculose signalés de manière cumulative en 1984 par comparaison avec 1983 (ligne continue) et pendant les 39 pre mières semaines de 1985 par comparaison avec les 39 premières semaines de 1984 (tirets). (Repris aux données brutes originales du Centers for Disease Control, par courtoisie de Alan B Bloch, 11 octobre 1994). exemple démontre le rôle dominant que joue pour la surveillance un décompte impeccable des cas en temps utile. Le décompte des cas à lui seul a suscité des investigations ultérieures visant spécifiquement à évaluer l hypothèse. 11,12 La première priorité dans la surveillance est un décompte simple et précis des cas et non des détails concernant des cas médiocrement comptés. Dans la surveillance, la connaissance en temps utile est un impératif et, plus grande est la priorité qu on lui donne, moins il faut demander d informations qui doivent se réduire à un simple décompte des cas lorsque l intervention sur l épidémie est au premier plan des préoccupations, comme c est la cas pour S. typhi, la méningite à méningocoques, ou même comme démontré plus haut pour la réémergence de la TB aux États-Unis. L exigence d un trop grand nombre de données de routine peut entraîner un ciblage insuffisant de l information. Un système de surveillance électronique ne devrait pas être confondu avec un système électronique de prise en charge des cas dont la complexité a une dimension totalement différente, qui est terriblement coûteux et doit se limiter aux pays techniquement très avancés et ayant des utilisateurs très accoutumés aux ordinateurs. 13 Dans la recherche, les données en temps réels sont rarement nécessaires, et on peut exiger un plus grand nombre de paramètres que dans la surveillance ; toutefois, l approche doit tenir toujours être économe car une plus petite quantité de données garantit souvent une meilleure qualité en termes de complétude (faible niveau de données manquantes) et certainement une plus grande efficience. COMMENT DES DONNÉES ERRONÉES PEUVENT ABOUTIR DANS LES ENREGISTREMENTS-PAPIER Certaines caractéristiques comme le genre du patient sont faciles à reconnaître et on peut donc espérer qu elles soient correctement enregistrées. Cela devient plus difficile pour l âge, car les patients peuvent ne connaître ni leur âge en années, ni leur date de naissance. Il n est pas rare que le niveau de précision sollicité par l agent de santé éduqué concernant cette information soit supérieur à que ce que le patient est effectivement capable de fournir. Une information «précise» mais inexacte peut être fournie par des sujets interviewés qui ne désirent pas décevoir l interviewer. Par exemple cela s est produit lorsque l on a demandé la date de naissance aux parents de 600 enfants atteints de TB dans un contexte où la question au sujet de la date de naissance avait apparemment une signification différente pour les parents et pour l interviewer. Non seulement, le mois d octobre a été indiqué comme mois de naissance à une fréquence de 8,3% supérieure à celle attendue, mais le jour a été le

4 4 The International Journal of Tuberculosis and Lung Disease de saisie électronique. Alors qu il y a une relation directe entre le nombre de variables et la proportion d enregistrements comportant au moins une saisie erronée, il pourrait exister des problèmes plus nombreux mais moins apparents en ce qui concerne la fréquence des erreurs au niveau des variables. Bien que l on admette souvent que seules les données devant être publiées doivent être recueillies, 6 ce principe de base est couramment méconnu dans les systèmes de routine. Figure 3 Répartition des pourcentages des mois de naissance (cercles avec intervalles de confiance à 95%) enregistrés à partir des informations des parents concernant leurs enfants atteints de tuberculose, et proportion dans chaque mois donnant le même jour que le nombre du mois pour la date de naissance (carrés). (Données non publiées, courtoisie de Kurt Schopfer, Institute of Infectious Diseases, University of Berne, Suisse). même que le nombre du mois dans 30% à 60% des cas plutôt que dans les 3% attendus (Figure 3). Un jour particulièrement favori a été le 10 octobre, choisi pour 13% de l ensemble des enfants (données non publiées dues à la courtoisie de Kurt Schopfer, Institut des Maladies Infectieuses, Université de Berne, Suisse, 9 août 2010). La question concernant la date de naissance comme nous la comprenons était clairement inappropriée au contexte culturel concerné. Des erreurs de classification sont un problème bien connu, par exemple dans le cas de la race ou de l ethnie de certaines populations minoritaires aux Etats-Unis. 14 Dans cet article, nous éviterons de discuter davantage les erreurs primaires de classification et nous nous focaliserons sur la façon de prévenir des erreurs supplémentaires d omission et de pourcentage lors du transfert des données-papier vers les dossiers électroniques. TRANSFERT DES DONNÉES-PAPIER SUR UN DOSSIER DE DONNÉES ELECTRONIQUES Si l on considère déjà que dans la surveillance il est difficile de compter les cas correctement, il sera encore bien plus complexe de transférer plus d une variable du papier vers l ordinateur. Les ordinateurs permettent des analyses rapides et reproductibles et le volume du travail d analyse est le même que la base de données comporte 100 ou cas. Les ordinateurs permettent également une analyse de données complexes qui ne serait tout simplement pas possible manuellement. L attrait de l analyse basée sur les ordinateurs est si fort que l on oublie souvent que le nombre d erreurs potentielles dans la saisie électronique de l enregistrement augmente avec l augmentation du nombre de variables. Il en est ainsi quelle que soit la méthode SAISIE DES DONNÉES : LA NÉCESSITÉ D UNE COLLECTE SIMPLE, RAPIDE ET PRÉCISE DES DONNÉES La saisie des données est ennuyeuse et répétitive et ne devrait pas constituer un défi intellectuel. Elle est donc habituellement confiée à des «employés de saisie de données» pour qui l appropriation ou la compréhension du contenu ne constituent qu un petit enjeu. Dans une étude collaborative de L Union (Union Internationale Contre la Tuberculose et les Maladies Respiratoires) sur les registres des cas de TB, 15 les chercheurs introduisant eux-mêmes les données étaient plus lents que les professionnels de la saisie des données mais faisaient aussi un plus petit nombre d erreurs (N B Hoa, Programme Nationale de lutte contre la Tuberculose, Viet Nam, communication personnelle, 12 juin 2010). Dans la section suivante, nous illustrons par un exemple provenant du travail collaboratif de L Union, comment l on a approché la réponse à une question opérationnelle pertinente en utilisant un instrument efficient de collecte de données et en les validant pour garantir une précision élevée. Le Tableau résume les étapes génériques depuis la formulation d une hypothèse de recherche jusqu à un ensemble de données finalisées et de qualité garantie, étapes qui sont applicables à toute situation mais aussi spécifiquement à l exemple présenté ci-dessous. La question de recherche : rendement additionnel des examens en série des frottis de crachats dans la pratique clinique de routine Le nombre d échantillons en série qui doivent être recueillis a constitué pendant longtemps une préoccupation des spécialistes de laboratoire et aussi des cliniciens. C est peut-être une des plus grandes séries qui a été signalée par Hunter en La routine appliquée dans un laboratoire de sanatorium consistait à examiner jusqu à 14 frottis en série à la suite de l admission d un nouveau patient TB ou encore poursuivre les examens jusqu au premier frottis positif. Sur 1103 cas de TB pulmonaire examinés, 825 (74,8%) ont été confirmés par l examen microscopique direct des frottis de crachats. Dans ce contexte où l on portait une attention soigneuse à l obtention d une efficacité aussi forte que possible, 71% des cas positifs sur n importe quel frottis ont été détectés lors du premier

5 Qualité des données dans la recherche 5 Tableau Processus de définition des variables pour la saisie des données, l élaboration du formulaire de saisie des données, les restrictions apportées à la saisie des données, la double saisie et la validation Étape Hypothèse de recherche Variables minimales requises Variables-clé explicatives Livre de codes Formulaire de saisie des données Contrôles de la saisie des données Test pilote Saisie des données Double saisie Validation des données Correction et finalisation des données Explication Formuler une hypothèse de recherche susceptible d être testée Définition du nombre minimum absolu de variables qui sont nécessaires pour tester l hypothèse de recherche Définition des variables explicatives essentielles qui seront analysées S abstenir d ajouter des variables «qu on aimerait connaître» et s en tenir aux variables «qu il faut connaitre» Un livre de «codes» appelé également «feuille de documentation des données» fait la liste de toutes les variables qui seront saisies. Les aspects suivants devraient être définis pour chaque variable : Nom de champ : un mot court et unique, nom intuitif ou nombre séquentiel pour la variable, par exemple «âge» ou «V1» Légende du champ : une légende explicative pour le terrain, de préférence exactement la même que celle qui apparait sur la source primaire des données, par exemple «âge en années lors du dernier anniversaire souvent ceci est le «texte de la question», lorsqu il se situe dans un questionnaire Type de champ : type de champ, par exemple «I» (nombre entier), «F» (nombre approximatif ou réel), «D» (date), «T» (texte), «U» (texte en majuscules), etc. Eviter les champs logiques ( oui-non) et donner la préférence aux champs entiers Valeurs du champ : valeurs licites pour les champs, par exemple, limites et valeurs licites pour les variables numériques continues, dates (et champs de texte ; entiers pour les variables catégorielles, par exemple, 1, 2, 9 pour un champ «sexe», etc.) Légendes des valeurs : pour les variables catégorielles, des légendes explicatives qui seront comparées aux valeurs du champ définies, par exemple, «genre féminin» pour la valeur 1, «genre masculin» pour la valeur 2, «genre non enregistré» pour la valeur 9 Valeur manquante : une valeur définie (ou des valeurs définies) utilisée pour signaler que cette valeur particulière représente «l absence d information disponible», soit qu elle manque (non obtenue), par exemple la valeur 9, soit qu elle ne soit pas pertinente dans ce cas (par exemple la valeur 8) Remarques explicatives : les spécifications pour les variables continues et les dates sont écrites dans le formulaire de données et informent l utilisateur sur ce qu il doit introduire si l information n est pas enregistrée afin d éviter de saisir d abord une valeur erronée et de n être averti qu à ce moment des contraintes imposées par les valeurs licites La preuve que le livre de codes explique complètement la situation est garanti si une personne indépendante peut sur cette base produire indépendamment le formulaire de saisie des données. Dans Epidata, il fournit la structure de l ensemble des données qui est ensuite hérité par le dossier réel des données utilisé pour la saisie des données Les contrôles de la saisie des données délimitent ce qui peut et ce qui ne peut pas être introduit. Dans Epi Info 6 et dans la version actuelle d EpiData Entry, un dossier séparé, appelé «contrôles» sert à cet effet. Pour les variables catégorielles codifiées par des nombres, il fournit également des fenêtres automatiques desquelles la valeur correcte correspondant à la légende explicative est prélevée. Les contrôles peuvent également garantir que l information critique est effectivement introduite (par exemple en évitant qu un enregistrement ne soit sauvegardé sans un identificateur valable), etc. Entrer une série de dossiers-test qui démontrent dans quelle mesure les performances du formulaire de saisie des données sont robustes, agréables à manipuler et efficientes dans la pratique réelle et déterminer dans quelle mesure des modifications du formulaire de saisie des données sont justifiées ou non Si le formulaire de saisie des données répond aux critères d utilisation agréable efficiente des données, la saisie des données quoiqu ennuyeuse est rapide Les mêmes données sont introduites une deuxième fois dans une copie vide du formulaire de saisie des données ayant exactement la même structure soutenue par un dossier identique de contrôle Les deux dossiers de données supposées identiques sont comparés pour produire une liste d enregistrement comportant n importe quelle discordance dans un ou plusieurs champs Afin de garder un enregistrement permanent permettant la reproductibilité, un des deux dossiers est exporté vers un dossier final dans lequel les corrections sont faites en examinant la valeur correcte dans le dossier original pour un domaine déterminé. Le dossier finalisé est maintenant prêt à l analyse sur des données de qualité garantie

6 6 The International Journal of Tuberculosis and Lung Disease examen ; toutefois, 88% seulement de l ensemble des cas positifs ont été détectés au cours des trois premiers examens. Le rendement de chaque examen séquentiel supplémentaire a été décroissant, mais au total on a détecté 12% supplémentaires de cas positifs en poursuivant jusqu au quatorzième examen. On peut donc se demander avec pertinence pourquoi la communauté internationale est arrivée à la recommandation de faire jusqu à trois examens de frottis avant de déclarer un suspect comme ayant une bacilloscopie négative des crachats. 17,18 Il est probable que cette décision a été basée sur une certaine notion d efficience mettant en balance ce qu on concevait comme un rendement acceptable et une charge de travail acceptable pour les techniciens. Les données sur le rendement supplémentaire sont habituellement issues de laboratoires moins surchargés que ceux des pays à prévalence élevée et pour cette raison, leurs observations peuvent ne pas être simplement extrapolables. On a reconnu depuis au moins 80 ans l importance d allouer un temps suffisant à l examen pour déceler de rares bacilles. 19 En dépit de recommandations visant à l inverse, le nombre de champs à examiner se traduit souvent en une durée insuffisante de l examen, ce qui laisse fréquemment échapper des échantillons paucibacillaires. 20 Approches initiales (insuffisantes) pour répondre à la question de recherche Une étude dans une région rurale de Tanzanie, utilisant des données regroupées manuellement, avait montré qu en pratique de routine, le rendement supplémentaire provenant d un troisième examen en série était très faible. 21 Ceci a poussé L Union au milieu des années 1990 à compléter sa formation en recherche opérationnelle par des cours sur la collecte des données. Les cours théoriques ont été suivis par un travail de terrain sur une question opérationnelle pertinente, avec un encadrement serré tout au long du projet. Le premier projet consistait à évaluer le rendement supplémentaire provenant de frottis en série au Bénin, au Malawi, au Nicaragua et au Sénégal. 22 Les données individuelles ont été saisies électroniquement mais non validées. Le seul contrôle de qualité des données consistait en une estimation de la fréquence d erreurs des données dans un échantillon de 10%, sans aucune tentative de correction des erreurs. Un pays où les erreurs atteignaient 15% dans les dossiers recontrôlés a été discrètement retiré de l étude et n a pas été mentionné dans la publication finale. L étude a comporté d autres déficiences d autant plus importantes que l échantillonnage aléatoire des registres n avait pas été appliqué rigoureusement. Néanmoins, cette étude a montré à nouveau que le gain additionnel provenant d un troisième examen de frottis en série n était que de 0,7% 3% sauf au Nicaragua, où il était de 7,2%. Sous l angle de la recherche, il était important de reconnaître qu un contrôle de qualité des données était essentiel. Toutefois, l approche dans l élaboration et en particulier dans le contrôle de qualité des données a été médiocre : la décision de prendre un échantillon de 10% a été arbitraire tout comme celle concernant le choix de la fréquence des erreurs rendant un ensemble déterminé de données inutilisable. Par voie de conséquence, la crédibilité des données a été médiocre et les conclusions, peutêtre correctes, étaient insuffisamment robustes pour entraîner une modification de politique. Professionnalisation de la recherche opérationnelle par l élaboration d un formulaire efficient pour la saisie des données Dès 2003, le concept de formation en recherche opérationnelle de L Union avait atteint une maturité suffisante pour permettre d insister sur un protocole technique détaillé de recherche devant être strictement appliqué. On a formulé une hypothèse de recherche selon laquelle si plus que x frottis (le nombre x a été défini par la direction du programme du pays et était différent selon les pays collaborant à l étude) sont nécessaires pour trouver un cas supplémentaire de TB à frottis positif des crachats lors du troisième examen en série, positivité qui avait échappé au premier et au second examen, alors il faudrait abolir dans le pays l exigence d un examen en routine de trois frottis de crachats pour exclure un cas de TB à bacilloscopie positive des crachats. Un échantillon aléatoire provenant d une liste exhaustive de tous les laboratoires de chaque pays a été établi et les données provenant d au moins une année-calendrier complète ont dû être saisies à partir de chaque registre sélectionné. Dans ces conditions, le schéma était représentatif du secteur public. Pour répondre à l hypothèse primaire de recherche, il aurait été suffisant d obtenir cinq variables, c est-à-dire un identifiant unique, le type d examen (diagnostic ou suivi), et les trois résultats possibles d examen. Afin de permettre une orientation en fonction du temps, du lieu et de la personne 23 pour les analyses ultérieures 24 27, la date d enregistrement, le code du laboratoire, l âge et le sexe du sujet examiné ont également été prélevés, pour un faible coût additionnel. Les deux premières de ces variables additionnelles ont également été utilisées pour élaborer un identificateur unique. La variable-clé de tout l ensemble des données est un identificateur unique, et EpiData Entry, le logiciel utilisé dans l étude (accessible gratuitement chez Epi- Data Association, Odense, Danemark, epidata.dk) fournit un interface agréable à l utilisateur qui construit l identificateur composite et contrôle discrètement le contexte pour s assurer que tous les identificateurs introduits étaient bien uniques et qu aucun dossier ne pouvait être sauvé sans identificateur. Le registre du laboratoire de microscopie de la TB utilise un nombre séquentiel de série commençant par 1 au début de chaque année-calendrier pour

7 Qualité des données dans la recherche 7 Figure 4 Formulaire de saisie des données dans EpiData pour la saisie des données du registre de laboratoire de microscopie pour la tuberculose. chaque sujet examiné. Le logiciel a combiné ce nombre avec le code du laboratoire et l année d enregistrement et dès lors, garantit que chaque sujet examiné dans un pays examiné n est identifiable qu une seule fois. Pour permettre une codification aussi rapide que possible et pour minimiser les erreurs de saisie des données, les valeurs du terrain ont été codifiées par chiffres et complétées par des métadonnées dans un menu automatique comportant des légendes totalement expliquées qui apparaissaient également sous forme d un contrôle visuel après la saisie de la valeur numérique (Figure 4). Une valeur doit être attribuée à tous les champs, pour éviter de confondre l information manquante avec celle qu on «oublie de coder». On peut arriver à la rigueur nécessaire au contrôle de qualité des données Le CDC des Etats-Unis conjure ses nouveaux stagiaires en épidémiologie de veiller dès le début à ce qu un épidémiologiste ne doive jamais se trouver dans la position d être obligé de défendre la qualité des données, 2 et leur soumet la réflexion suivante : Réfléchissez où vous voulez vous battre : «sur la qualité des données» ou «sur leur analyse et leur interprétation». 23 Comme nous pourrions l attendre de n importe quel essai clinique, la précision des données est d une importance tellement grande qu aucun compromis n est possible à son égard, que l étude soit petite ou importante. Même si elle n est pas une exigence absolue des recommandations européennes, la double saisie des données est définie comme le «gold standard» définitif d une bonne pratique clinique. 1 Lorsque l on n utilise pas la double saisie et la validation, des contrôles automatiques complexes concernant la plausibilité des données sont essentiels. La nécessité d une double saisie a été mise en doute quoique seulement sur un modèle comportant des données simulées. 28 La recherche sur des données réelles a révélé de manière régulière qu il existe une marge énorme dans la qualité de la saisie des données dans certains contextes, il peut y avoir de petites erreurs, mais dans d autres une proportion élevée de saisies erronées Alors qu on peut s attendre à ce que des saisies complexes entraînent un plus grand nombre d erreurs, la performance d une personne déterminée en charge de la saisie des données n est pas prédictible. La double-saisie des données ne préviendra pas toutes les erreurs. Elle ne peut pas résoudre le problème de la médiocre qualité de la source originale (par exemple les données enregistrées incorrectement ou une écriture illisible), elle ne révèle pas non plus un cas où la même saisie erronée est introduite à deux reprises. Pour cette raison, les contrôles de saisie des données devraient toujours contenir des contrôles automatiques de plausibilité, tels que l apparition d une alerte quand une valeur licite mais inhabituelle est saisie alors qu elle est en conflit avec les valeurs d autres champs. Dans l étude des registres de laboratoire TB, le choix a visé à satisfaire une bonne pratique clinique. Les fichiers électroniques devaient être une copie aussi exacte que possible des composantes pertinentes des registres-papier, afin d être un reflet précis de ce qui se passait effectivement dans les services de microscopie de routine du pays. Il était dès lors impératif que toutes les données soient saisies deux fois et validées par comparaison des fichiers et d autre part, suivies de la résolution des discordances découvertes, en se référant à l enregistrement original sur papier et en corrigeant toute erreur. L insistance sur une méthodologie aussi rigoureuse et sur une attention méticuleuse à la précision des données n a pas été acceptée par tous les étudiants du cours et le taux de perte au cours du travail de terrain a été élevé sans que cela soit surprenant. Néanmoins, les étudiants en recherche provenant de quatre pays, la Moldavie, la Mongolie,

8 8 The International Journal of Tuberculosis and Lung Disease l Ouganda et le Zimbabwe, ont eu la trempe exigée et ont conduit cette étude jusqu à son terme comportant une publication, 33,34 ce qui suggère que l on peut arriver à cette rigueur. Jumelage entre l efficience du codage et la précision des données L approche la plus efficiente pour garantir la validité des données sera souvent une combinaison des caractéristiques suivantes: limitation soigneuse du nombre de variables, simplicité de la saisie des données, contrôles automatiques, 35 et finalement, double saisie et validation suivie des corrections nécessaires. Pour alléger la corvée de la double saisie des données, chaque saisie doit être conçue pour accélérer et réduire la possibilité de saisies erronées afin de réduire le nombre d enregistrements qui doivent être recontrôlés après validation. Le nombre d enregistrements comportant au moins une erreur augmente proportionnellement au nombre de variables et le nombre de champs comportant une erreur augmente avec le nombre de possibilités-clé par variable. Certaines techniques peuvent être adaptées dans le logiciel pour minimiser les erreurs. Comme exemple, citons l auto-complétion des dates, l utilisation de champs entiers de longueur 1 n autorisant que des saisies définies (par ex, 1, 2 et 9) plutôt que des champs en chapelets, ainsi que le passage automatique vers le champ suivant après achèvement du codage précédent. RÉSULTATS DE L ETUDE ET IMPACT SUR LA POLITIQUE L objectif de l étude des registres de laboratoire de TB de L Union, comportant des informations sur individus, était de confirmer la réalité du rendement supplémentaire effectif des examens de frottis de crachats dans le contexte d un programme national de TB. La taille véritable de la base de données rendait d autant plus importante l absence de doutes concernant la qualité de ces données, vu qu on prête aux grandes études, presque de manière intrinsèque, une crédibilité accrue, une confiance qui doit être méritée par des données de qualité contrôlée. On a été dégrisé par les résultats (Figure 5). Il avait été suggéré qu un technicien temps-plein pratiquant l examen microscopique à champ lumineux ne devrait pas traiter plus de 25 frottis par jour. 36 Dans le cas où le pays concerné avait le luxe de tels travailleurs temps-plein dans les laboratoires périphériques, et leur permettait en plus de passer une semaine entière de travail (125 lames) pour trouver un cas supplémentaire lors du troisième examen en série de frottis de crachats, cas qui avait échappé aux deux examens antérieurs, un seul seulement des quatre pays aurait été capable de respecter ces limites. De fait, dans un pays, le rendement a été si faible qu on a remis en Figure 5 Rendement additionnel de l examen en série des frottis de crachats en Moldavie, Mongolie, Ouganda et au Zimbabwe, exprimé sous forme du nombre de frottis à examiner pour trouver un cas supplémentaire de tuberculose à bacilloscopie positive non découvert lors de(s) l examen(s) antérieur(s) avec la valeur médiane (ronds) et les estimations ponctuelles de la moyenne (carrés) avec les intervalles de confiance Bayesians à 95% (lignes). cause la notion qu un deuxième examen correspondrait à des exigences raisonnables. Jamais jusqu ici une base de données aussi importante n avait été réunie, représentant un échantillonnage représentatif de l ensemble des laboratoires au sein de chacun des quatre programmes nationaux TB. La conclusion ne pouvait pas échapper. S il fallait la preuve qu il n y avait pas lieu de continuer à insister sur l examen systématique de trois frottis en série, quel que soit le contexte avant de déclarer un suspect comme négatif, elle était bien là. Parallèlement et indépendamment, des informations similaires accumulées provenant d autres pays à faibles revenus 37 ainsi qu une revue systématique formelle ont-elles aussi abordé dans ce sens. 38 En conséquence, l Organisation Mondiale de la Santé (OMS) a adapté ses recommandations en déclarant qu en routine, deux frottis de crachats en série négatifs suffiraient à exclure une TB à frottis positif des crachats. 39 ORDINATEURS DE POCHE ET ASSISTANTS NUMÉRIQUES Les assistants numériques commencent à se trouver partout et connaissent une large variation d applications pour différentes professions, notamment les gestionnaires, les cliniciens et les épidémiologistes. Dans un essai au Pérou, le temps exigé pour colliger et traiter les données de laboratoire a été réduit considérablement par l utilisation d assistants numériques et le niveau d acceptation des utilisateurs a été très élevé. 40 Bien que le traitement des informations en temps utile ait été étudié de façon approfondie, la qualité des données n a pas fait l objet de cette étude. Dans un essai clinique, la qualité de l introduction des données sur des enregistrements-papier a été

9 Qualité des données dans la recherche 9 comparée à la saisie des données sur des ordinateurs de poche. 41 Alors que le personnel a trouvé que les ordinateurs de poche étaient d utilisation aisée, et qu il les aimait, il a signalé des difficultés à leur utilisation pour la collecte des données et la fréquence des erreurs de saisie des données a été jugée excessive. Dans une étude au Kenya, les enregistrements manquants ont constitué un problème énorme avec les assistants numériques et les champs non remplis ont été nombreux. 42 Dès lors, bien que les assistants numériques bénéficient généralement d une excellente acceptabilité par les utilisateurs, les enregistrements manquants ainsi que la fréquence des erreurs pourraient paraître s opposer à leur utilisation pour des recherches sérieuses avec en plus des préoccupations concernant la perte de possibilité de recontrôle des formulaires-papier. LOGICIELS APPROPRIÉS POUR LES ORDINATEURS CONCERNANT LA SAISIE DE DONNÉES AVEC CONTRÔLE DE QUALITÉ Le premier logiciel élaboré pour répondre aux besoins des épidémiologistes a été l Epi Info du CDC ; il a été disponible dans un format utilisable dès 1985 (Atlanta, GA, États-Unis ; background.htm). A partir de la version 4, le CDC a commencé à collaborer avec l OMS pour le développer davantage jusqu à ce qu il devienne complètement adulte dans sa version 6 de Epi Info 6 répond à tous les besoins de l épidémiologiste. La communauté mondiale de santé publique au travers du monde l a reconnu : le logiciel est gratuit et il est autorisé de le distribuer, il fonctionne sur les ordinateurs les plus lents, la taille de ses dossiers est très petite et son efficience est élevée pour la vérification et la validation de la saisie des données. A la suite de l élaboration de la plateforme Windows (Microsoft Redmonds, WA, États-Unis), l interface originale DOS est devenue de plus en plus ennuyeuse et la poursuite de sa fonctionnalité est devenue risquée. Il y a eu des débats et des désaccords sur la façon de réaliser les progrès nécessaires ; L Association EpiData ( s est mise en route pour garder tous les apports d Epi Info 6, en particulier sa rapidité, son architecture basée sur les textes et sa politique d utilisation du système opérationnel de Windows sans interférer avec lui. Le résultat en a été un interface simple et agréable, qui répondait à tous les besoins et à toutes les attentes des générations d épidémiologistes habitués au Windows ancien ou nouveau tout en conservant une petite taille de dossiers adaptée aux échanges par même par les connexions les plus lentes. Il est notoirement indépendant des spécifications des dossiers de logiciels commerciaux complexes et non-transparents. La comparaison de deux ensembles de données supposées identiques s appelle «validation». Une caractéristique puissante d Epi Info et d EpiData est que le processus de validation consiste simplement à pousser sur quelques boutons et que les deux dossiers sont comparés enregistrement par enregistrement, en identifiant toute discordance entre les deux dossiers dans n importe lequel des champs d un enregistrement donné. La validation des données par un logiciel commercial habituellement disponible exige souvent l écriture d algorithmes pour comparer les valeurs dans un champ déterminé entre deux dossiers supposés identiques et le résultat consiste en une comparaison variable-par-variable plutôt que enregistrementpar-enregistrement, ce qui rend le processus plus complexe et inefficient. L utilisation de tableurs pour la saisie des données est encore tout à fait courante. Les tableurs constituent un outil superbe pour les calculs mais ils ne conviennent pas comme base de saisie de données. Des logiciels commerciaux plus sophistiqués sont dispo nibles, mais à un coût qui dépasse les contraintes salariales des collègues des pays à faibles revenus. Pourtant, les problèmes de base de la saisie efficiente et de la validation des données n ont jamais été résolus aussi élégamment que dans le cas des logiciels Epi Info et EpiData. Des logiciels puissants d analyse comme Stata (StataCorp, College Station, TX, États- Unis) ou R (R Foundation for Statistical Computing, Vienne, Autriche) ne sont pas conçus pour la saisie des données ; Ce sont des outils répondant à des exigences d analyse sophistiquée qui dépassent celles offertes par le logiciel Epidata, le plus souvent sans être nécessaires pour la majorité des recherches pertinentes sur le plan opérationnel. Quelle que soit sa préférence pour le logiciel analytique, l épidémiologiste même le plus sophistiqué dépend encore d une manière critique d une saisie des données de qualité garantie antérieurement, sans quoi toute analyse reste discutable et les conclusions qu on en tire potentiellement fallacieuses. CONCLUSIONS L obstacle le plus important pour beaucoup de chercheurs est constitué par l auto-discipline nécessaire à limiter le nombre de variables qui doivent être recueillies. Plus petit est le nombre de variables et plus grande est la vraisemblance qu elles soient effectivement analysées. De plus, la durée de saisie des données est réduite et grâce à cela, le nombre d enregistrements nécessitant des corrections est réduit. Le temps épargné peut être mieux investi dans une double-saisie des données. Pour réduire le nombre d erreurs dans les valeurs de chacune des variables, le codage numérique avec metadonnées pour permettre une attribution explicite et sans ambiguïté est l approche préférée pour n importe quelle saisie de données, chaque fois que le caractère de la variable autorise une catégorisation. Des données médiocres peuvent ruiner

10 10 The International Journal of Tuberculosis and Lung Disease toute analyse, 43 et «l introduction d ordures entraîne la sortie d ordures», cela reste toujours aussi vrai. Alors qu une fréquence d erreur de 1 pour 1000 éléments-clé peut être obtenue dans certains contextes, 28 une fréquence aussi faible devrait d abord être démontrée plutôt que supposée dans n importe quel projet, ce qui exige quand même une forme ou l autre de validation de tous les cas. Une bonne pratique clinique n exige pas comme telle une double saisie des données mais bien une vérification appropriée. 1 Pour cette raison, les chercheurs devraient au minimum documenter dans leurs publications les mesures qu ils ont prises pour garantir au lecteur la qualité de leurs données. 2 Déclaration de conflit d intérêt JML a créé et développé le logiciel EpiData. HLR collabore avec l Association EpiData. Références 1 Transnational Working Group on Data Management. European Clinical Research Infrastructures Network: GCP-compliant data managment in multinational clinical trials. ecrin.org/fileadmin/user_upload/public_documents/about_ ecrin/downloads/ecrin_report_d10_vers1_final_ pdf Accessed September Rieder H L. What knowledge did we gain through The International Journal of Tuberculosis and Lung Disease in 2008 on the epidemiology of tuberculosis? Int J Tuberc Lung Dis 2009; 13: Bernard R P. The Zermatt typhoid outbreak in J Hyg Camb 1965; 63: Sheldon C D, Cock H, King K, Wilkinson P, Barnes N C. Notification of tuberculosis: how many cases are never reported? Thorax 1992; 47: Brown J S, Wells F, Duckworth G, Paul E A, Barnes N C. Improving notification rates for tuberculosis. BMJ 1995; 310: Mahoney M R, Sargent D J, O Connell M J, Goldberg R M, Schaefer P, Buckner J C. Dealing with a deluge of data: an assessment of adverse event data on North Central Cancer Treatment Group Trials. J Clin Oncol 2005; 23: Rieder H L, Watson J M, Raviglione M C, et al. Surveillance of tuberculosis in Europe. Recommendations of a working group of the World Health Organization (WHO) and the European Region of the International Union Against Tuberculosis and Lung Disease (IUATLD) for uniform reporting on tuberculosis cases. Eur Respir J 1996; 9: Centers for Disease Control. Tuberculosis United States, first 39 weeks, Morb Mortal Wkly Rep 1985; 34: Centers for Disease Control. Tuberculosis United States, 1985 and the possible impact of human T-lymphotropic virus type III/Lymphadenopathy-associated virus infection. Morb Mortal Wkly Rep 1986; 35: Centers for Disease Control. Tuberculosis United States, Morb Mortal Wkly Rep 1986; 35: Centers for Disease Control. Tuberculosis and acquired immuno deficiency syndrome Florida. Morb Mortal Wkly Rep 1986; 35: Centers for Disease Control. Tuberculosis and acquired i mmunodeficiency syndrome New York City. Morb Mortal Wkly Rep 1987; 36: Hillestand R, Bigelow J, Bower A, et al. Can electronic medical record systems transform health care? Potential health benefits, savings, and costs. Health Affairs 2005; 24: Stehr-Green P, Bettles J, Robertsen D. Effect of racial/ethnic misclassification of American Indians and Alaskan Natives on Washington State death certificates, Am J Public Health 2002; 92: Hoa N B, Chen W, Chay S, Lauritsen J M, Rieder H L. Completeness and consistency in recording information in the tuberculosis case register, Cambodia, China and Viet Nam. Int J Tuberc Lung Dis 2010; 14: Hunter R A. The routine examination for tubercle bacilli in sputum. Tubercle 1940; 21: World Health Organization. Laboratory services in tuberculosis control. Part II: microscopy. WHO/TB/ Geneva, Switzerland: WHO, International Union Against Tuberculosis and Lung Disease. Technical guide. Sputum examination for tuberculosis by direct microscopy in low-income countries. Paris, France: The Union, Pottenger J E. The importance of the time of search in examining stained preparations for rare tubercle bacilli. J Clin Lab Med 1931; 16: Cambanis A, Ramsay A, Wirkom V, Tata E, Cuevas L E. Investing time in microscopy: an opportunity to optimise smear-based case detection of tuberculosis. Int J Tuberc Lung Dis 2007; 11: Ipuge Y A I, Rieder H L, Enarson D A. The yield of acid-fast bacilli from serial smears in routine microscopy laboratories in rural Tanzania. Trans R Soc Trop Med Hyg 1996; 90: Rieder H L, Arnadottir T, Tardencilla Gutierrez A A, et al. Evaluation of a standardized recording tool for sputum smear microscopy for acid-fast bacilli under routine conditions in low income countries. Int J Tuberc Lung Dis 1997; 1: Gregg M B. Field epidemiology. 2nd ed. New York, NY, USA: Oxford University Press, Mabaera B, Lauritsen J M, Katamba A, Laticevschi D, Naranbat N, Rieder H L. Sputum smear-positive tuberculosis: empiric evidence challenges the need for confirmatory smears. Int J Tuberc Lung Dis 2007; 11: Mabaera B, Lauritsen J M, Katamba A, Laticevschi D, Naranbat N, Rieder H L. Making pragmatic sense of data in the tuberculosis laboratory register. Int J Tuberc Lung Dis 2008; 12: Mabaera B, Naranbat N, Katamba A, Laticevschi D, Lauritsen J M, Rieder H L. Seasonal variation among tuberculosis suspects in four countries. Int Health 2009; 1: Rieder H L, Lauritsen J M, Naranbat N, Katamba A, Laticevschi D, Mabaera B. Quantitative differences in sputum smear microscopy results for acid-fast bacilli by age and sex in four countries. Int J Tuberc Lung Dis 2009; 13: Day S, Fayers P, Harvey D. Double data entry: what value, what price? Contr Clin Trials 1998; 19: Caloto T, Huerta C, Moreno T, et al. Quality control and datahandling in multicentre studies: the case of the Multicentre Project for Tuberculosis Research. BMC Med Res Methodol 2001; 1: Goldberg S I, Niemierko A, Turchin A. Analysis of data errors in clinical research databases. AMIA Annu Symp Proc 2008 Nov 6: Vannan E. Quality data an improbable dream? A process for reviewing and improving data quality makes for reliable and usable results. Educause Quart 2001; 1: Weir C R, Hurdle J F, Felgar M A, Hoffman J M, Nebeker J R. Direct text entry in electronic progress notes. An evaluation of input errors. Methods Inf Med 2003; 42: Mabaera B, Naranbat N, Dhliwayo P, Rieder H L. Efficiency of serial smear examinations in excluding sputum smear-positive tuberculosis. Int J Tuberc Lung Dis 2006; 10: Katamba A, Laticevschi D, Rieder H L. Efficiency of a third serial sputum smear examination in the diagnosis of tuberculosis in Moldova and Uganda. Int J Tuberc Lung Dis 2007; 11:

11 Qualité des données dans la recherche Needham D M, Sinopoli D J, Inglas V D, et al. Improving data quality control in quality improvement projects. Int J Qual Health Care 2009; 21: Rieder H L, Van Deun A, Kam K M, et al. Priorities for tuberculosis bacteriology services in low-income countries. 2nd ed. Paris, France: International Union Against Tuberculosis and Lung Disease, Van Deun A. Optimization of smear microscopy for acid-fast bacilli in tuberculosis control programs. Thesis. Leuven, Belgium: Katholieke Universiteit te Leuven, Mase S R, Ramsay A, Ng V, et al. Yield of serial sputum specimen examinations in the diagnosis of pulmonary tuberculosis: a systematic review. Int J Tuberc Lung Dis 2007; 11: World Health Organization. Implementing the WHO Stop TB Strategy. A handbook for national tuberculosis control programmes. WHO/HTM/TB/ Geneva, Switzerland: WHO, 2008: pp Blaya J A, Gomez W, Rodribuez P, Fraser H. Cost and implementation analysis of a personal digital assistant system for laboratory data collection. Int J Tuberc Lung Dis 2008; 12: Shelby-James T M, Abernethy A P, McAlindon A, Currow D C. Handheld computers for data entry: high tech has its problems too [Correspondence]. Trials 2007; 8: Auld A F, Wambua N, Onyango J, et al. Piloting the use of personal digital assistants for tuberculosis and human immunodeficiency virus surveillance, Kenya, Int J Tuberc Lung Dis 2010; 14: De Veaux R D, Hand D J. How to lie with bad data. Statist Sci 2005; 20: