Méthode en trois étapes destinée à une évaluation globale des résultats obtenus pour différents échantillons.

Transcription

1 ISP Rue J. Wytsman, 14 B-1050 BRUXELLES SERVICE PUBLIC FEDERAL (SPF) SANTE PUBLIQUE, PROTECTION DE LA CHAINE ALIMENTAIRE ET ENVIRONNEMENT COMMISSION DE BIOLOGIE CLINIQUE SERVICE DES LABORATOIRES DE BIOLOGIE CLINIQUE COMITE DES EXPERTS Méthode en trois étapes destinée à une évaluation globale des résultats obtenus pour différents échantillons. Wim Coucke, 13 janvier 2010 Ce rapport ne peut être reproduit, publié ou distribué sans l accord de l ISP. DOC 33/F/97 V1 Annexe 1 1/9

2 TABLE DES MATIERES GLOSSAIRE...3 INTRODUCTION...4 PREMIÈRE ÉTAPE...6 DEUXIÈME ÉTAPE...6 TROISIÈME ÉTAPE...7 EVALUATION DE LA DIFFÉRENCE ENTRE LA MOYENNE DE CHAQUE MÉTHODE ET LA DROITE À DÉTERMINATION DU NIVEAU DE CONFIANCE...8 LITTÉRATURE...9 DOC 33/F/97 V1 Annexe 1 2/9

3 Glossaire Cook s distance: mesure de l'influence d'un point individuel sur une droite de régression. Distance de Mahalanobis: distance d'un point à la moyenne d'une distribution multivariée tenant compte de la variabilité ; similaire à un z-score dans une dimension. Least Trimmed Square: technique de régression robuste qui calcule une ligne de régression qui est représentative pour au moins la moitié des points. Cette droite n'est pas influencée par les résultats discordants. Niveau de confiance dans le cas de la recherche des valeurs discordantes: proportion ou pourcentage de points réellement non discordants et qui ne sont effectivement pas considérés comme discordants pour un test statistique déterminé. Outlier : résultat dont l impact sur la droite de régression rend celle-ci non représentative de la majorité des points. Région de confiance autour d une droite moyenne: région (ellipse) dans laquelle se situent la grande majorité des points qui représentent l'intersection et la pente des droites de régression individuelles, pour un niveau de confiance déterminé. Résultat discordant résultat dont la variabilité et / ou le biais sont trop importants par rapport au niveau de confiance choisi. DOC 33/F/97 V1 Annexe 1 3/9

4 Introduction A l occasion de certaines enquêtes d évaluation externe de la qualité nous envoyons des échantillons destinés à tester la linéarité des résultats. Ce type d étude ne peut être réalisé qu à condition que les échantillons utilisés n induisent pas d effet de matrice et que des valeurs cibles puissent être établies. Les résultats transmis par les laboratoires sont comparés à ces valeurs cibles et une analyse de régression est réalisée. A B C D Figure 1: illustration des différents écarts rencontrés avec les droites de régression La Figure 1 illustre différentes droites de régression. La situation idéale est représentée dans le graphique A. La droite en trait plein est très proche de la ligne à 45 (en pointillés). Les points qui représentent les résultats rapportés par les laboratoires sont très proches de la droite de régression pour chaque valeur cible. DOC 33/F/97 V1 Annexe 1 4/9

5 Le graphique (B) représente une droite semblable à celle du graphique A mais l écart des résultats rapportés par rapport aux valeurs cibles est plus grand. Cet écart illustre une plus grande incertitude des résultats. Les résultats s écartent de la valeur cible mais leur moyenne reste sur la ligne à 45. Le graphique (C) représente des résultats très proches de leur droite de régression. L incertitude des résultats est basse mais la droite de régression est toutefois fort différente de la droite à 45. Cette différence illustre un bi ais : la reproductibilité des résultats est bonne, mais ceux-ci diffèrent de la valeur cible. Le graphique (D) représente une droite identique à celle du graphique C mais l écart des résultats rapportés par rapport aux valeurs cibles est plus grand, la reproductibilité n est pas bonne. Les résultats s écartent de la valeur cible et la droite de régression est biaisée par rapport à la ligne à 45. Les droites de régression peuvent s écarter de la droite théorique idéale à 45 de différentes manières. L interprétation des droites de régression permet d évaluer la performance d une méthode ou d un laboratoire selon deux critères: 1- La distance des points représentant les résultats individuels autour de la droite pour la méthode et pour le laboratoire 2- La distance de la droite de régression du laboratoire ou de la droite de régression moyenne de la méthode par rapport à la ligne à 45 (pour le laboratoire la distance par rapport à la droite moyenne de son groupe peut également être évaluée). Avant d évaluer ces deux critères il convient de s assurer que la droite de régression est bien représentative de la relation entre les valeurs cibles et les valeurs rapportées. Voir figure cidessous. A B Figure 2: Effet des outliers sur la droite de régression Les deux graphiques de la figure 2 illustrent deux droites identiques avec une variabilité semblable. Toutefois la majorité des points du graphique A sont plus proches de la droite que ceux du graphique B. La grande variabilité en A est due principalement à deux points très écartés de la droite. L influence d outliers peut encore être plus importante jusqu à influencer la droite de régression à un point tel que celle-ci n est plus représentative de la majorité des points (voir figure 3). DOC 33/F/97 V1 Annexe 1 5/9

6 Pour cette raison avant de procéder au calcul de la variabilité et du biais de la droite de régression, nous avons avant tout identifié et éliminé les résultats outliers (ref. 8): Première étape: Identification des outliers (ref. 1,2,3) Description des différentes étapes de l identification des outliers: - Calcul d une droite de régression robuste entre les résultats rapportés par les laboratoires et les valeurs cibles (Least Trimmed Squares). - Calcul de la variabilité des points autour de la droite de régression et identification des points écartés - Calcul d une nouvelle droite de régression sans les points les plus écartés - Calcul par rapport à la droite de régression de la distance de Cook pour chaque point individuellement. La distance de Cook permet d analyser l influence sur la droite de chaque point individuellement. Ceci permet d identifier les points écartés qui influencent trop la position de la droite et qui sont alors classés comme outliers. Figure 3: détection des outliers de la droite de régression La Figure 3 illustre la première étape. La ligne continue est la droite de régression qui passe par tous les points (et qui est fortement influencée par le point 6 qui est un outlier). La ligne hâchurée est la droite de régression après élimination de l outlier. Deuxième étape: analyse de la variabilité et mise en évidence des résultats discordants (ref 4,5) Après élimination des outliers la droite de régression représente de façon fiable la majorité des résultats. On recherche ensuite les droites pour lesquelles les points sont trop écartés ou trop variables. Une approximation de la variabilité représentée par la variance, peut être réalisée avec une distribution log-normale. La distribution logarithmique des variances transformées peut être assimilée à une distribution normale. De cette manière les résultats discordants par rapport à la distribution peuvent être identifiés. Chaque droite de régression dont la variabilité est trop importante peut être identifiée comme discordante. DOC 33/F/97 V1 Annexe 1 6/9

7 Troisième étape: Mise en évidence d un biais (ref. 6,7) La troisième étape (Figure 4) est réalisée avec les droites de régression calculées sans les outliers et sans les résultats discordants de l étape 2. Si on suppose que l intersection et la pente constituent une distribution bivariée, on peut pour cette distribution bivariée, établir une matrice de covariance multivariée avec un centre. La distance de Mahalanobis par rapport au centre de la distribution multivariée peut servir de base pour détecter les points discordants. Ces distances suivent, s il n y a pas de résultat discordant, une distribution de chi carré à 2 degrés de liberté. Sur base de l intersection et de la pente on peut établir une région de confiance robuste. Comme pour les droites de régression, cette région de confiance robuste n est pas ou peu influencée par les résultats discordants. Chaque point qui sort de la région de confiance est considéré comme biaisé par rapport à sa méthode. Lorsque le point le plus bas est éloigné du point zéro, on retire de toutes les valeurs cibles l équivalent du premier point de la droite. Ceci permet une meilleure interprétation de l intersection. Dès que la région de confiance est déterminée, les droites de régression éliminées à l étape deux peuvent être évaluées pour le biais. Une droite de régression dont l intersection et la pente tombent dans la région de confiance n est pas biaisée mais reste toutefois discordante par rapport à la variabilité. Une droite de régression dont l intersection et la pente tombent hors de la région de confiance est discordante par rapport au biais et à la variabilité. Pente Intersection Figure 4: détection des droites discordantes par rapport à la variabilité et au biais DOC 33/F/97 V1 Annexe 1 7/9

8 La différence entre une région de confiance basée sur tous les résultats et une région de confiance robuste est illustrée dans la figure 4. La ligne continue est la région de confiance basée sur tous les résultats. La ligne hâchurée est la région de confiance robuste. Un résultat situé hors de la région de confiance robuste est considéré comme outlier. Evaluation de la différence entre la moyenne de chaque méthode et la droite à 45 La moyenne des intersections et des pentes de toutes des droites de régression qui ne sont pas outliers pour le biais et/ou la variabilité peut être utilisée pour comparer à la droite à 45. Si la moyenne des intersections et des pentes diffère significativement de la droite à 45 on considère qu il y a un biais entre la méthode et la droite à 45. Il est à noter que ce biais n est pas nécessairement hors des limites d acceptabilité. Détermination du niveau de confiance Le niveau de confiance est fixé en fonction du type d enquête et de manière à éviter de considérer comme discordants des résultats corrects. DOC 33/F/97 V1 Annexe 1 8/9

9 Littérature 1. Rousseeuw PJ, Leroy AM. Robust regression and outlier detection. New York: John Wiley&Sons; Rousseeuw PJ, van Zomeren B. Unmasking multivariate outliers and leverage points. J Am Stat Assoc 1990; 85: Atkinson AC. Masking unmasked. Biometrika 1986;73, Albert A, Harris EK. Multivariate interpretation of clinical laboratory data. New York: Marcel Dekker; Harris EK, Boyd JC. Statistical bases of reference values in laboratory medicine. New York: Marcel Dekker; Rousseeuw PJ, Van Driessen K. A Fast algorithm for the Minimum Covariance Determinant Estimator Technometrics 1999; 41: Willems G, Pison G, Rousseeuw PJ, Van Aelst S. A robust Hotelling test. Metrika 2002;55: Coucke W, Van Blerk M, Libeer JC, Van Campenhout C, Albert A. A new statistical method for evaluating long term analytical performance of laboratories, applied to an external quality assessment scheme for flow cytometry. Clinical Chemistry and Laboratory Medicine, 2010, accepted for publication DOC 33/F/97 V1 Annexe 1 9/9