SERVICE PUBLIC FEDERAL (SPF) SANTE PUBLIQUE, PROTECTION DE LA CHAINE ALIMENTAIRE ET ENVIRONNEMENT COMMISSION DE BIOLOGIE CLINIQUE

Transcription

1 ISSN ISP Rue J. Wytsman, 14 B-1050 BRUXELLES SERVICE PUBLIC FEDERAL (SPF) SANTE PUBLIQUE, PROTECTION DE LA CHAINE ALIMENTAIRE ET ENVIRONNEMENT COMMISSION DE BIOLOGIE CLINIQUE SERVICE DES LABORATOIRES DE BIOLOGIE CLINIQUE COMITE DES EXPERTS RAPPORT GLOBAL EVALUATION EXTERNE DE LA QUALITE DES ANALYSES EN BIOLOGIE CLINIQUE Alcoolémie ENQUÊTE 2009/2 ISP 09/02/ALC.01 Ce rapport ne peut être reproduit, publié ou distribué sans l accord de l ISP.

2 COMITE D EXPERTS EN ALCOOLEMIE ISP (secrétariat) tél: 02/ ; fax: 02/ ; clinical.biology@iph.fgov.be Coordinateurs d enquête: N. Hamers: tél:02/ ; n.hamers@iph.fgov.be Ph. Van de Walle ; tél :02/ ; philippe.vandewalle@iph.fgov.be Statisticien: W. Coucke: tél:02/ ; w.coucke@iph.fgov.be C. Charlier tél: 04/ ; fax: 04/ ; c.charlier@chu.ulg.ac.be W. Lambert tél: 09/ ; fax: 09/ ; willy.lambert@ugent.be F. Martens tél: 056/ ; fax: 056/ ; frank.martens@azgroeninge.be H. Neels tél: 03/ ; fax: 03/ ; hugo.neels@zna.be J. Tytgat tél: 016/ ; Jan.Tytgat@pharm.kuleuven.be V. Maes tél: 02/ ; fax: 02/ ; viviane.maes@uzbrussel.be A. Vanescote Tél : 081/ ; Fax : 081/ ; a.vanescote@gammamedic.be A. Verstraete tél: 09/ ; fax: 09/ ; alain.verstraete@ugent.be P. Wallemacq tél: 02/ ; fax: 02/ ; pierre.wallemacq@uclouvain.be Rapport Global Alcool 2009/2 2/40

3 TABLE DES MATIERES 1. INTRODUCTION MISE A DISPOSITION DES RAPPORTS ETUDE STATISTIQUE TRAITEMENT GENERAL... 7 Etude habituelle des paramètres de dispersion du rapport individuel... 7 Représentation graphique ajoutée au rapport global ETUDE DE LINEARITE APERÇU DES METHODES UTILISEES RESULTATS QUANTITATIFS TRAITEMENT GENERAL Standards internes utilisés pour les méthodes chromatographiques ANALYSE DE LINEARITE Introduction Première étape de l analyse: identification des outliers (réf 1, 2 et 3) Deuxième étape: variabilité des droites de régression (réf 4 et 5) Troisième étape: étude du biais des droites de régression par méthode (réf 6 et 7) Résultats AVIS D EXPERTISE Echantillon E/ Commentaires E/ Echantillon E/ Commentaires E/ Commentaires généraux...30 REALISATION D UN PRO JUSTITIA...31 ANNEXE...33 METHODE EN TROIS ETAPES DESTINEE A EVALUER LES RESULTATS OBTENUS POUR DES DOSAGES D ETHANOL DANS DIFFERENTS ECHANTILLONS Glossaire Rapport Global Alcool 2009/2 3/40

4 Introduction Première étape: identification des outliers (ref. 1,2,3) Deuxième étape: analyse de la variabilité et mise en évidence des résultats discordants (ref. 4,5) Troisième étape: Mise en évidence d un biais (ref. 6,7) Littérature Rapport Global Alcool 2009/2 4/40

5 1. Introduction A l occasion de cette enquête 6 échantillons préparés à partir d un pool de plasma ont été fournis aux laboratoires. Les concentrations suivantes d éthanol étaient présentes : Echantillon n Ethanol (g/l) E/9721 ± 1.0 E/9722 ± 0.4 E/9723 ± 0.6 E/9724 ± 0.8 E/9725 ± 0.5 E/9726 ± 1.2 Deux cas pratiques destinés aux experts judiciaires ont également été décrits pour les échantillons E/9724 et E/9726. La participation aux contrôles externes est obligatoire pour tous les experts judicaires depuis la parution du nouvel arrêté royal en juin Rapport Global Alcool 2009/2 5/40

6 2. Mise à disposition des rapports Les échantillons de l enquête 2009/2 ont été envoyés le 12 octobre 2009, la date de clôture des encodages était le 04 novembre 2009, la date à laquelle les rapports individuels (non validés) étaient accessibles dans le toolkit était le 9 novembre. La validation a été réalisée le 24 décembre. Les rapports définitifs sont donc accessibles dans le toolkit depuis cette date. Comme vous avez pu le constater, nous vous demandons d envoyer vos réponses plus rapidement afin de nous permettre de libérer le draft provisoire du rapport individuel (non validé) dans les jours qui suivent la date effective de clôture de l encodage des données. Pour les laboratoires ayant un problème ponctuel relatif à ces encodages il est possible de prolonger l accès du toolkit. Toutefois ceci retarde la production des rapports pour l ensemble du groupe. Nous vous demandons donc d être attentifs et de respecter les délais proposés dans l intérêt de tous. Il est à noter que dès à présent, au moment où les rapports individuels provisoires sont accessibles dans le toolkit, plus aucune correction n aura lieu que ce soit de méthode ou d encodage de résultats (erreur d unités, etc ). Cette décision a été prise afin de sensibiliser tous les laboratoires à la nécessité de contrôler à chaque enquête la paramétrisation et d y apporter les corrections nécessaires, ceci afin de garantir pour l ensemble des participants les statistiques les plus correctes possibles. Après validation de l enquête par le comité d experts, le rapport global validé est mis à disposition sur notre site Web à l adresse suivante : Choisir " Rapports " dans le menu proposé ou à l adresse suivante: ee.htm Pour l'alcool, les rapports globaux suivants sont disponibles sur le site du service: Alcool Rapport Global Alcool 2009/2 6/40

7 3. Etude statistique La comparaison des résultats est réalisée avec la méthode non paramétrique de Tukey (J.W. Exploratory data analysis. Reading, M.A. : Addison-Wesley, 1977). 3.1 TRAITEMENT GENERAL Etude habituelle des paramètres de dispersion du rapport individuel Les résultats quantitatifs, la localisation des valeurs fournies par votre laboratoire est donnée par rapport à l ensemble des laboratoires participants, et, par rapport aux laboratoires utilisant la même méthode. Les informations suivantes sont reprises : - Votre méthode - Votre résultat - La médiane globale: la valeur centrale des résultats fournis par l ensemble des laboratoires toutes méthodes confondues - La médiane de votre méthode : la valeur centrale des résultats fournis par les laboratoires utilisant la même méthode - SD ou écart type: mesure de la dispersion des résultats fournis par l ensemble des laboratoires et par votre groupe d utilisateurs - CV% ou coefficient de variation: CV%= SDx100/ M (%) - Z ou distance réduite de votre résultat à la médiane de votre groupe exprimée en écart type : Z= (R-M)/SD - U écart de votre résultat par rapport à la médiane de votre groupe exprimé en % : U= (R-M)/M x 100% - une interprétation graphique de la localisation de votre résultat par rapport à la médiane basée sur la méthode de Tukey, pour chaque paramètre et pour chaque échantillon analysé R: votre résultat M: médiane H: percentiles 25 et 75 I: limites intérieures (M ± 2.7 SD) O: limites extérieures (M ± 4.7 SD) Le graphique global et celui de votre méthode sont exprimés selon la même échelle, ce qui les rend comparables. Ces graphiques vous donnent une indication approximative de la position de votre résultat. Nous vous rappelons également que 3 brochures sont disponibles sur notre site Web à l adresse suivante: Choisir Brochures dans le menu proposé ou à l adresse suivante: Les 3 documents suivants apparaissent: 1) Brochure d'information pour les participants (Information générale sur l évaluation externe) 2) Brochure statistique (Procédure de calcul statistique générale rédigée par le Professeur Albert) 3) Traitement des valeurs censurées (Procédure de calcul statistique appliquée aux valeurs censurées rédigées par le Professeur Albert). Rapport Global Alcool 2009/2 7/40

8 Représentation graphique ajoutée au rapport global A côté des tableaux de résultats, une représentation graphique en " box et whisker " plot a été ajoutée, elle reprend les éléments suivants pour les méthodes avec au moins 2 participants: - un rectangle avec les percentiles 25 (P 25 ) et 75 (P 75 ) - une ligne centrale représente la médiane des résultats (P 50 ) - une ligne inférieure qui représente la plus petite valeur x > P * (P 75 - P 25 ) - une ligne supérieure qui représente la plus grande valeur x <P * (P 75 - P 25 ) - tous les points en dehors de cet intervalle sont représentés par un rond Comme indiqué dans la figure ci-dessous; les limites " I " reprises dans les graphiques des rapports individuels correspondent aux lignes inférieures et supérieures des box plots (à savoir P * (P 75 - P 25 ) et P * (P 75 - P 25 )), et, dans le cas d une distribution normale à M ± 3 SD. O = P * (P 75 -P 25 ) LIMIETEN VAN TUKEY (niet normale verdeling) I H M H I O = P * (P 75 -P 25 ) = P * (P 75 -P 25 ) = P 25-3 * (P 75 -P 25 ) P 50 P 75 P 25 x < P * (P 75 -P 25 ) x > P * (P 75 -P 25 ) O I H M H I O M - 4.7σ M - 2.7σ P 25 P 75 M + 2.7σ M + 4.7σ Mauvais Douteux Bon Douteux Mauvais LIMITES CORRESPONDANTES SI DISTRIBUTION NORMALE Rapport Global Alcool 2009/2 8/40

9 3.2 ETUDE DE LINEARITE Les échantillons de cette enquête ont permis d évaluer la linéarité de votre méthode entre 0.4. et 1.2g/L. Une analyse de régression a été réalisée. 4. Aperçu des méthodes utilisées Le graphique ci-dessous illustre les méthodes utilisées lors du cycle 2009/2 : 002 Dir Gas Chrom - (capillary-column) 003 Dir Gas chrom (packed-column) 004 Headspace chrom (capillary-column ) 039 ADH - Abbott (Aeroset/ Architect) 041 ADH- Abbott AxSym 042 ADH- Abbott TDx/ADx 044 ADH- Beckman 045 ADH- Dade (Emit) 046 ADH- Roche 048 ADH- Vitros 049 ADH - Dade Dimension DF18/DF22 Rapport Global Alcool 2009/2 9/40

10 5. Résultats quantitatifs 5.1. TRAITEMENT GENERAL Ethyl-alcohol - d (%) : 15.0 E/9721 METHOD Median g/l SD g/l CV % N labs 002 Direct Gas Chromatography - (capillary-column) Direct Gas chromatography (packed-column) Headspace chromatography (capillary-column ) ADH - Abbott (Aeroset/ Architect) ADH- Abbott AxSym ADH- Abbott TDx/ADx ADH- Siemens- Advia ADH- Beckman ADH- Dade (Emit) ADH- Roche ADH- Vitros ADH - Dade Dimension DF18/DF ADH- Microgenics Global results (all methods and all measuring systems) Rapport Global Alcool 2009/2 10/40

11 Ethyl-alcohol - d (%) : 15.0 E/9722 METHOD Median g/l SD g/l CV % N labs 002 Direct Gas Chromatography - (capillarycolumn) Direct Gas chromatography (packed-column) Headspace chromatography (capillarycolumn ) ADH - Abbott (Aeroset/ Architect) ADH- Abbott AxSym * * ADH- Abbott TDx/ADx ADH- Siemens- Advia ADH- Beckman ADH- Dade (Emit) ADH- Roche ADH- Vitros ADH - Dade Dimension DF18/DF ADH- Microgenics Global results (all methods and all measuring systems) *Seul groupe avec un CV > à 10% à l occasion de cette enquête Rapport Global Alcool 2009/2 11/40

12 Ethyl-alcohol - d (%) : 15.0 E/9723 METHOD Median g/l SD g/l CV % N labs 002 Direct Gas Chromatography - (capillarycolumn) Direct Gas chromatography (packed-column) Headspace chromatography (capillarycolumn ) ADH - Abbott (Aeroset/ Architect) ADH- Abbott AxSym ADH- Abbott TDx/ADx ADH- Siemens- Advia ADH- Beckman ADH- Dade (Emit) ADH- Roche ADH- Vitros ADH - Dade Dimension DF18/DF ADH- Microgenics Global results (all methods and all measuring systems) Rapport Global Alcool 2009/2 12/40

14 Ethyl-alcohol - d (%) : 15.0 E/9725 METHOD Median g/l SD g/l CV % N labs 002 Direct Gas Chromatography - (capillarycolumn) Direct Gas chromatography (packed-column) Headspace chromatography (capillarycolumn ) ADH - Abbott (Aeroset/ Architect) ADH- Abbott AxSym ADH- Abbott TDx/ADx ADH- Siemens- Advia ADH- Beckman ADH- Dade (Emit) ADH- Roche ADH- Vitros ADH - Dade Dimension DF18/DF ADH- Microgenics Global results (all methods and all measuring systems) Data not shown on the graph Method Value 46 < 0.01 g/l Rapport Global Alcool 2009/2 14/40

16 Standards internes utilisés pour les méthodes chromatographiques N n-propanol(1-propanol, 1-hydroxypropane, éthylcarbinol) 14 t-butanol (2-methyl-2-propanol, t-butylalcool) 7 acétonitrile 5 n-butanol(1-butanol, 1-hydroxybutane, propylcarbinol) 3 Isopropanol(2-propanol, 2-hydroxypropane, diméthylcarbinol) 2 2-butanone (éthyl méthyl cétone) 1 THF, tétrahydrofurane, 1,4-époxybutane, tétraméthylène oxyde 1 Rapport Global Alcool 2009/2 16/40

17 5.2. ANALYSE DE LINEARITE Introduction L étude de linéarité a été réalisée en 3 étapes comme décrit dans l article suivant : «Coucke W, Van Blerk M, Libeer JC, Van Campenhout C, Albert A. A new statistical method for evaluating long term analytical performance of laboratories, applied to an external quality assessment scheme for flow cytometry. Clinical Chemistry and Laboratory Medicine, 2010, accepted for publication. Toutes les méthodes avec au moins 4 laboratoires participant ont été reprises dans cette étude. Une droite de régression (entre les valeurs cibles et les valeurs rapportées) a été calculée pour chaque laboratoire. Si le laboratoire a fourni des données pour deux méthodes différentes, une droite de régression a été calculée pour les 2. Deux paramètres caractérisent ces droites: d une part la variabilité des points de la droite (reproductibilité), et d autre part la position même de la droite (justesse). Chaque laboratoire a transmis 6 résultats. Les médianes calculées avec tous les résultats des méthodes chromatographiques obtenus au cours de l enquête ont été prises comme valeur cible. Echantillon Valeur cible (g/l) E/ E/ E/ E/ E/ E/ Les résultats obtenus par les participants ont été comparés aux valeurs cibles. Quatre laboratoires ont transmis deux résultats (alco1 en alco2) pour une même méthode. Seul le résultat alco1 a été pris en compte dans les calculs. Il s agit des laboratoires 57, 62, 63 en 119. Un laboratoire a seulement transmis 5 résultats: labo 129. Ses résultats ont été traités comme ceux des autres laboratoires. Première étape de l analyse: identification des outliers (réf 1, 2 et 3) Deux résultats outliers n ont pas été pris en compte: laboratoire 6, échantillon E/9725 <0.01g/L, et laboratoire 34 échantillon E/9726: 0.52g/L. Rapport Global Alcool 2009/2 17/40

18 Deuxième étape: variabilité des droites de régression et mise en évidence des résultats discordants (réf. 4 et 5) L étape suivante consiste à identifier les droites dont les points sont trop dispersés. Il y a 4 laboratoires cités étant donné la grande variabilité de leurs résultats, 2 utilisateurs Roche (méthode 046 labos 69 et 133) et 2 utilisateurs Abbott TDx (méthode 042 labos 138 et 163). Les résultats obtenus par ces laboratoires n ont pas été pris en compte dans le calcul des ellipses lors de la troisième étape. Suite à cela une méthode ne disposait plus de 4 utilisateurs, elle ne sera donc pas évaluée, il s agit de la méthode Abbott TDx (042). Troisième étape: étude du biais des droites de régression par méthode (réf 6 et 7) La troisième étape est basée sur toutes les droites de régression sans les outliers et sans les résultats discordants pour la variabilité. L intersection et la pente de chaque droite de régression ont été calculées et sur base de ces 2 paramètres une région de confiance robuste est déterminée (99.9%). Cette région de confiance robuste n est pas ou peu influencée par les droites dont la position est discordante par rapport aux autres. Chaque point qui sort de cette région est considéré comme biaisé par rapport à sa méthode. Résultats Deux graphiques différents ont été réalisés pour chaque méthode, d une part la droite de régression habituelle (graphique de gauche), d autre part un scatterplot avec la région de confiance autour de l intersection et de la pente (graphique de droite). Un biais est considéré comme significatif si la différence avec la droite à 45 est P Le graphique de gauche représente les droites de régression des laboratoires La droite représentée en noir est la droite à 45. Les droites grises sont les droites obtenues pour chaque laboratoire pour une méthode déterminée. Les droites en bleu foncé sont les droites des laboratoires avec une varabilité trop importante Les droites en bleu clair sont celles des laboratoires avec un biais. Les droites rouges combinent une variabilité importante et un biais Rapport Global Alcool 2009/2 18/40

19 Le graphique de droite représente la région de confiance de la pente en fonction de l intersection pour chaque méthode La région de confiance est représentée par une ellipse. - plus la dispersion des données est grande, plus l ellipse est large. - plus il y a de résultats, plus l ellipse est étroite pour une dispersion donnée. - la croix noire est le point qui représente la moyenne des pentes et intersection de chaque méthode. - l ellipse grise: région de confiance à 99.9% (ellipse) représentant les résultats obtenus pour une méthode. Chaque point en dehors de l ellipse est un point discordant (P<0.001). - les ronds gris représentent les intersections et les pentes de chaque droite (pas de biais, variabilité acceptable). - les ronds bleu foncé : représentent les intersections et les pentes des droites avec une variabilité importante. - les ronds bleu clair : représentent les intersections et les pentes des droites avec une variabilité acceptable mais un biais important. - les ronds rouges :représentent les intersections et les pentes des droites avec une variabilité et un biais importants. Rapport Global Alcool 2009/2 19/40

20 Les résultats suivants ont été obtenus: Le nombre de laboratoires repris dans les graphiques (n) est indiqué pour chaque méthode. Pour chaque méthode et chaque point de la droite un seul résultat a été utilisé pour le traitement statistique. Une minorité de laboratoires a encodé deux résultats (alco1 et alco2) pour une même méthode, dans ce cas seul le résultat encodé en alco1 a été repris dans l analyse. Suite à l élimination de 2 labos avec une variabilité importante, à savoir les laboratoires n 138 et 163, la méthode Abbott TDx n était plus évaluable. Direct Gas Chromatography (capillary-column) Reported value Slope Target value Intercept Dans le groupe des utilisateurs de la chromatographie directe capillaire (n=7) il n y a pas de droite de régression biaisée (droites grises du graphique de gauche). Tous les résultats obtenus sont à l intérieur de la région de confiance (ronds gris dans le graphique de droite). Il n y a pas de biais mis en évidence pour la méthode. Direct Gas chromatography (packed-column) Reported value Slope Target value Intercept Pour la chromatographie directe compacte (n=10) une droite de régression est biaisée par rapport au groupe, il s agit du laboratoire n 28 (droite bleu clair dans le graphique de gauche). Les résultats se trouvent à l intérieur de la région de confiance du groupe sauf pour ce laboratoire (rond bleu clair dans le graphique de droite). Il n y a pas de biais mis en évidence pour la méthode proprement dite. Rapport Global Alcool 2009/2 20/40

21 Headspace chromatography (capillary-column ) Reported value Slope Target value Intercept Pour la chromatographie à espace de tête (n=17) une droite de régression est biaisée par rapport à son groupe pour le laboratoire n 1 (droite bleu clair dans le graphique de gauche). Les points sont à l intérieur de la région de confiance du groupe sauf pour le laboratoire n 1 (rond bleu clair dans le graphique de droite). Il n y a pas de biais mis en évidence pour la méthode proprement dite. ADH - Abbott (Aeroset/ Architect) Reported value Slope Target value Intercept Dans le groupe des utilisateurs Abbott Aeroset et Architect (n=9) un des laboratoires obtient une droite biaisée (droite bleu clair dans le graphique de gauche), le laboratoire n 84. Tous les points sont à l'intérieur de la région de confiance du groupe sauf celui qui représente le laboratoire n 84 (rond bleu clair dans le graphique de droite). La méthode présente un biais positif (P=0.013), la majorité des droites se situent au-dessus de la ligne à 45. Rapport Global Alcool 2009/2 21/40

22 ADH- Abbott AxSym Reported value Slope Target value Intercept Les utilisateurs de la trousse Abbott AxSym (n=6) obtiennent des résultats hétérogènes. Toutefois aucune droite ne présente de biais inacceptable par rapport à son groupe (ligne grises du graphique de gauche). Tous les résultats obtenus par le labo n 172 sont plus élevés que les résultats des autres participants mais la différence n est toutefois pas significative. L hétérogénéité est illustrée par un large intervalle de confiance qui comprend tous les points (large ellipse du graphique de droite). Il n y a pas de biais mis en évidence pour la méthode. Ceci est probablement lié à l hétérogénéité et au petit nombre de résultats ADH- Abbott TDx/ADx Deux droites de régression obtenues par les utilisateurs Abbott TDx (n=5) ont une variabilité inacceptable. Après élimination de celles ci, les 3 droites restantes ne permettent plus de réaliser la statistique. Rapport Global Alcool 2009/2 22/40

23 ADH- Beckman Reported value Slope Target value Intercept Les utilisateurs de la trousse Beckman (n=6) obtiennent des résultats hétérogènes. Toutefois aucune droite ne présente de biais inacceptable par rapport à son groupe (lignes grises du graphique de gauche). L hétérogénéité est illustrée par un large intervalle de confiance qui comprend tous les points (large ellipse du graphique de droite). Il n y a pas de biais mis en évidence pour la méthode. Ceci est probablement lié à l hétérogénéité et au petit nombre de résultats. En effet, dans le graphique de gauche, toutes les régressions se trouvent au-dessus de la ligne à 45 (ligne noire), la différence n est toutefois pas significative. ADH- Dade (Emit) Reported value Slope Target value Intercept Parmi les utilisateurs de Dade Emit (n=8) il y a deux laboratoires qui obtiennent une droite biaisée par rapport à leur méthode, il s agit des laboratoires n 177 et n 87 (droites bleu clair dans le graphique de gauche). Tous les points sont à l'intérieur de la région de confiance du groupe sauf ceux représentant ces 2 laboratoires (ronds bleu clair dans le graphique de droite). Il n y a pas de biais mis en évidence pour la méthode. Rapport Global Alcool 2009/2 23/40

24 ADH- Roche Reported value Slope Target value Intercept Parmi les utilisateurs de la trousse Roche (n=97) les laboratoires n 2, 144 et 161 obtiennent une droite biaisée par rapport à leur méthode (droites bleu clair dans le graphique de gauche). Les points qui représentent ces 2 laboratoires (ronds bleu clair dans le graphique de droite) sont à l'extérieur de la région de confiance du groupe. Les résultats de 2 autres laboratoires (labo n 69 et labo n 133) dont la variabilité des points autour de la droite est trop importante, n ont pas été pris en compte pour le calcul de la région de confiance. Après évaluation, ils sont situés en dehors de cette région de confiance (ronds rouges dans le graphique de droite). Un biais significatif a été mis en évidence pour la méthode (P<0.001), une majorité de résultats sont situés au-dessus de la ligne à 45 (ligne noire). ADH- Vitros Reported value Slope Target value Intercept Les utilisateurs de la trousse Vitros(n=26) obtiennent des résultats homogènes : aucune droite ne présente de biais significatif par rapport à sa méthode (droites grises dans le graphique de gauche) Tous les résultats obtenus sont à l intérieur de la région de confiance (ronds gris dans le graphique de droite). Le laboratoire n 50 livre une majorité de résultats plus bas que les autres participants ; la différence n est toutefois pas significative. Pour la méthode un biais significatif est mis en évidence (P<0.001). Rapport Global Alcool 2009/2 24/40

25 ADH - Dade Dimension DF18/DF22 Reported value Slope Target value Intercept Dans le groupe des utilisateurs Dade Dimension (DF18/DF22) (n=8) il n y a pas de droite de régression biaisée (droites grises du graphique de gauche). Tous les résultats obtenus sont à l intérieur d un large intervalle de confiance (ronds gris dans le graphique de droite). Il n y a pas de biais mis en évidence pour la méthode. Rapport Global Alcool 2009/2 25/40

26 5.3. AVIS D EXPERTISE Echantillon E/9724 Un accident de circulation a lieu à 21h. Une prise de sang est effectuée à 21h30. La conductrice (65kg) mentionne qu elle a bu un verre de porto 20 min avant l accident. A l aide du résultat analytique obtenu pour l échantillon E/9724, on demande à l expert de déterminer le taux d alcoolémie au moment des faits : 1) Si on tient compte de la déclaration de la conductrice 2) Si on ne tient pas compte de la déclaration de la conductrice Médiane g/l SD CV% N Réponse Réponse Les résultats analytiques vont de 0.74 à 0.85g/L, avec une médiane de 0.80g/L et un CV de 4.2%. Re-calcul destiné à étayer l avis d expertise: Les réponses pour les re-calculs sont reprises ci-dessous (27 experts reconnus). Si on tient compte de la déclaration de la conductrice, les réponses vont de 0.44 à 0.78 g/l avec une médiane de 0.62g/L. Sans tenir compte de la déclaration de la conductrice les réponses vont de 0.72 à 0.93g/L avec une médiane de 0.77g/L. Réponse 1 Si on tient compte de la déclaration (g/l) Réponse 2 Sans tenir compte de la déclaration (g/l) E/ 9724 Labo g/l Rapport Global Alcool 2009/2 26/40

27 Evaluation de la concentration au moment des faits 1. Correction de temps: 0.15x 30/60 = g/l. 2. Alcool contenu dans un verre de Porto (18%): 70ml à 18% ou 12.6x0.789=9.94g alcool. 3. Alcoolémie: 9.94/ (65x0.6)= 0.255g/L. 1/ Si on tient compte de la déclaration de la conductrice Quantité résorbée au moment de la prise de sang: g/l x 50/60 = g/l Quantité résorbée au moment de l accident: g/l x 20/60 = g/l. Alcoolémie au moment des faits: g/L-0.085g/L= g/L 0.80g/L- 0.10g/L(incertitude) g/L g/L= 0.65g/L 2/ Sans tenir compte de la déclaration de la conductrice 0.80 g/l g/l (incertitude) g/l = g/l Commentaires E/9724 Parmi les 27 experts, seuls 2 tenant compte de la déclaration de la conductrice, obtiennent une réponse <0.5g/L. Toutes les autres réponses vont de 0.5 à 0.8g/L. Sans tenir compte de cette déclaration dans 70% des cas la réponse >0.5g/L. Six réponses (22%) sont 0.8g/L et 2 réponses sont proches de 0.9g/L. Rapport Global Alcool 2009/2 27/40

28 Echantillon E/9726 Un accident de circulation se passe à 19h30. Une prise de sang est effectuée à 21h. Le conducteur (80kg) déclare avoir bu, sous le coup de l émotion, une Duvel (8.5%) vers 20h. A l aide du résultat analytique obtenu pour l échantillon E/9726, on demande à l expert de déterminer le taux d alcoolémie au moment des faits : 1) Si on tient compte de la déclaration du conducteur 2) Si on ne tient pas compte de la déclaration du conducteur Médiane g/l SD CV% N Réponse Réponse Les résultats analytiques vont de 1.07 à1.31g/l, avec une médiane de 1.20g/L. Re-calcul destiné à étayer l avis d expertise: Les réponses pour les re-calculs sont reprises ci-dessous (27 experts reconnus). Si on tient compte de la déclaration du conducteur, les réponses vont de 0.80 à 1.10 g/l avec une médiane de 0.93g/L. Sans tenir compte de la déclaration du conducteur les réponses vont de 1.19 à 1.51g /L avec une médiane de 1.33g/L. Réponse 1 Si on tient compte de la déclaration (g/l) Réponse 2 Sans tenir compte de la déclaration (g/l) E/ 9726 Labo g/l Rapport Global Alcool 2009/2 28/40

29 Evaluation de la concentration au moment des faits 1. Correction de temps: 0.15x 1.5 = g/l. 2. Alcool contenu dans un verre de Duvel (8.5%): 330 ml à 8.5% ou 28.05x0.789=22.13 g alcool. 3. Alcoolémie: 22.13/ (80x0.7)= g/l. 4. Quantité résorbée au moment des faits: g/l 1/ Si on tient compte de la déclaration du conducteur Quantité résorbée au moment de la prise de sang: g/l 1.20 g/l g/l (incertitude) g/l g/l = 0.93 g/l 2/ Sans tenir compte de la déclaration du conducteur 1.20 g/l g/l (incertitude) g/l = g/l Commentaires E/9726 Un seul expert, tenant compte de la déclaration du conducteur, obtient une réponse = 0.8g/L. Toutes les autres réponses sont > 0.8g/L et < 1.2g/L. Sans tenir compte de la déclaration, sa réponse devient =1.19g/L, toutes les autres sont > 1.2g/L. Les réponses inférieures transmises par cet expert (labo n 28) sont liées à son résultat analytique (1.07g/L) inférieur à ceux de tous les autres laboratoires. Rapport Global Alcool 2009/2 29/40

30 Commentaires généraux A l occasion de cette enquête deux cas pratiques ont été soumis aux experts, il semble qu il y ait une meilleure concordance entre les réponses par rapport aux enquêtes passées. Pour le cas pratique E/9724, suite à une erreur de calcul, en tenant compte de la déclaration de la conductrice, 2 interprétations sont différentes des autres (labo147 en 39). La plus grande partie des experts transmet une réponse >0.5g/L. Les deux réponses proches de 0.9g/L, obtenues sans tenir compte de la déclaration de la conductrice, sont liées au fait que deux experts ont oublié de retirer 0.1g/L du résultat analytique comme prescrit par l AR. Quelques facteurs restent à l origine d une hétérogénéité, il s agit du volume attribué à un verre et du contenu en alcool de la boisson. Le contenu moyen d un verre repris dans le site web ( des brasseurs belges est le suivant : «un verre donne ENVIRON un taux d alcool dans le sang de 0,2 chez un homme de 75 kg et de 0,3 chez une femme de 60 kg. Qu il s agisse de bière, de vin, d apéritif ou d alcool pur, un verre, normalement servi, contient environ 10 g d alcool pur» : BIERE (PILS) VIN APERITIF SPIRITUEUX 25 cl 10 cl 7 cl 3 cl (et non 5 ou 6 cl!) 5 12, Rapport Global Alcool 2009/2 30/40

31 Réalisation d un PRO JUSTITIA Ci-dessous vous trouverez une proposition concernant le contenu minimal d un rapport d expertise. Nous proposons d utiliser cet exemple pour la réalisation des rapports de routine. Un tiers des experts nous ont fourni une copie de leur rapport. Parmi ces rapports il y en a quelques uns où le calcul ne nous semble pas assez clair, le retrait des 0.1g/L DOIT être explicitement mentionné. Rapport d expertise contenu minimum : Logo Labo Adresse PRO JUSTITIA 1. Acceptation de la mission : Je soussigné, titre Prénom Nom, directeur (biologiste ) du laboratoire de Toxicologie de abc, déclare avoir été contacté par : Nom, Procureur du Roi à Ville en date du:. N de P.V. / Notice : N de système : afin de déterminer l alcoolémie de Nom, Prénom et me suis acquitté de la tâche. 2. Description de l échantillon : nombre + n d enregistrement des tubes de prélèvement : Date et heure des faits : Date et heure des prélèvements : Délai entre faits et prélèvements : 3. Renseignements supplémentaires (si d application) : (déclaration du conducteur, conditions de conservation, volume.) Rapport Global Alcool 2009/2 31/40

32 4. Dosage de l alcool dans le sang : L analyse a été effectuée suivant les prescriptions légales (A.R. du 27/04/2007 paru au Moniteur le ). Le résultat constitue la moyenne de 2 mesures dont la différence répond aux règles de l A.R. et de laquelle on a soustrait 0,10 g/l (pour corriger l incertitude de mesure) : xx g/l 5. Estimation de l alcoolémie au moment des faits : Le sang a été prélevé x heures yy minutes après les faits. L alcoolémie recalculée au moment des faits (correction opérée uniquement si le résultat est 0,2 g/l) suivant les prescriptions de l A.R. : un recalcul n est effectué que pour une période de maximum 6 heures (coefficient de métabolisation moyen de 0,15 g/l par heure pendant les 4 premières heures et de 0,10 g/l durant les 2 heures suivantes) : yy g/l 6. Si d application, estimation de l alcoolémie en tenant compte de la prise éventuelle d alcool après les faits : zz g/l 7. Formule finale : " Je jure avoir accompli ma mission en honneur et conscience, avec exactitude et probité ". Ce rapport comprend x page(s). Lieu, date, signature Rapport Global Alcool 2009/2 32/40

33 ANNEXE Méthode en trois étapes destinée à évaluer les résultats obtenus pour des dosages d éthanol dans différents échantillons. Wim Coucke, 13 janvier 2010 Rapport Global Alcool 2009/2 33/40

34 Glossaire Cook s distance: mesure de l'influence d'un point individuel sur une droite de régression. Distance de Mahalanobis: distance d'un point à la moyenne d'une distribution multivariée tenant compte de la variabilité ; similaire à un Z-score dans une dimension. Least Trimmed Square: technique de régression robuste qui calcule une ligne de régression qui est représentative pour au moins la moitié des points. Cette droite n'est pas influencée par les résultats discordants. Niveau de confiance dans le cas de la recherche des valeurs discordantes: proportion ou pourcentage de points réellement non discordants et qui ne sont effectivement pas considérés comme discordants pour un test statistique déterminé. Pour cette étude le niveau que nous avons choisi est très élevé (99.9%) pour tous les tests statistiques effectués. Outlier :résultat dont l impact sur la droite de régression rend celle-ci non représentative de la majorité des points. Région de confiance autour d une droite moyenne: région (ellipse) dans laquelle se situent la grande majorité des points qui représentent l'intersection et la pente des droites de régression individuelles, pour un niveau de confiance déterminé (99.9% dans notre étude). Résultat discordant : résultat dont la variabilité et / ou le biais sont trop importants. Rapport Global Alcool 2009/2 34/40

35 Introduction Les enquêtes EEQ destinées à l évaluation du dosage de l alcool sont organisées à partir de différentes types de matrices enrichies avec de l éthanol (pool de sérum, pool de plasma ou sang). La médiane des méthodes chromatographiques est prise comme valeur cible étant donné que ces méthodes sont les plus sensibles, les plus précises et les plus robustes (elles ne sont pas influencées par la présence d additifs) A l occasion de certaines enquêtes nous envoyons des échantillons destinés à tester la linéarité des résultats. Les résultats transmis par les laboratoires peuvent être comparés aux valeurs cibles, une analyse de régression est réalisée. Valeur rapportée A Valeur rapportée B Valeur rapportée C Valeur cible Valeur rapportée D Valeur cible Valeur cible Valeur cible Figure 1: illustration des différents écarts rencontrés avec les droites de régression Rapport Global Alcool 2009/2 35/40

36 La Figure 1 illustre différentes droites de régression. La situation idéale est représentée dans le graphique A. La droite en trait plein est très proche de la ligne à 45. Les points qui représentent les résultats rapportés par les laboratoires sont très proches de la droite de régression pour chaque valeur cible. Le graphique (B) représente une droite identique à celle du graphique A mais l écart des résultats rapportés par rapport aux valeurs cibles est plus grand. Cet écart illustre une plus grande incertitude des résultats. Les résultats s écartent de la valeur cible mais leur moyenne reste sur la ligne à 45. Le graphique (C) représente des résultats très proches de leur droite de régression. L incertitude des résultats est basse. La droite de régression est toutefois fort différente de la droite à 45. Cette différence illustre un biais, la reproductibilité des résultats est bonne, mais ceux-ci diffèrent de la valeur cible. Le graphique (D) représente une droite identique à celle du graphique C mais l écart des résultats rapportés par rapport aux valeurs cibles est plus grand. Les résultats s écartent de la valeur cible et la droite de régression est biaisée par rapport à la ligne à 45. Les droites de régression peuvent s écarter de la droite théorique idéale à 45 de différentes manières. L interprétation des droites de régression permet d évaluer la performance d une méthode ou d un laboratoire selon deux critères : - distance des points représentant les résultats individuels autour de la droite pour la méthode et pour le laboratoire - distance de la droite de régression du laboratoire ou de la droite de régression moyenne de la méthode par rapport à la ligne à 45 (pour le laboratoire la distance par rapport à la droite moyenne de son groupe peut également être évaluée). Avant d évaluer ces deux critères il convient de s assurer que la droite de régression est bien représentative de la relation entre les valeurs cibles et les valeurs rapportées. Voir figure cidessous. Valeur rapportée A Valeur rapportée B Valeur cible Valeur cible Figure 2: Effet des outliers sur la droite de régression Les deux graphiques de la figure 2 illustrent deux droites identiques avec une variabilité semblable. Toutefois la majorité des points du graphique A sont plus proches de la droite que ceux du graphique B. La grande variabilité en A est due principalement à deux points Rapport Global Alcool 2009/2 36/40

37 très écartés de la droite. L influence d outliers peut encore être plus importante jusqu à influencer la droite de régression à un point tel que celle-ci n est plus représentative de la majorité des points (voir figure 3). Pour cette raison avant de procéder au calcul de la variabilité et du biais de la droite de régression, nous avons avant tout identifié et éliminé les outliers (ref 8): Première étape: identification des outliers (ref. 1,2,3) Description des différentes étapes de l identification des outliers: - Calcul d une droite de régression robuste entre les résultats rapportés et les valeurs cibles (Least Trimmed squares). - Calcul de la variabilité des points autour de la droite de régression et identification des points écartés - Calcul d une nouvelle droite de régression sans les points les plus écartés - Calcul par rapport à la droite de régression de la distance de Cook pour chaque point individuellement. La distance de Cook permet d analyser l influence sur la droite de chaque point individuellement. Ceci permet d identifier les points écartés qui influencent trop la position de la droite et qui sont alors classés comme outliers. Valeur rapportée Valeur cible Figure 3: détection des outliers de la droite de régression La Figure 3 illustre la première étape. La ligne continue est la droite de régression qui passe par tous les points (et qui est fortement influencée par le point 6 qui est un outlier). La ligne hâchurée est la droite de régression après élimination de l outlier. Rapport Global Alcool 2009/2 37/40

38 Deuxième étape: analyse de la variabilité et mise en évidence des résultats discordants (ref. 4,5) Après élimination des outliers la droite de régression représente de façon fiable la majorité des résultats. On recherche ensuite les droites pour lesquelles les points sont trop écartés ou trop variables. Une approximation de la variabilité représentée par la variance, peut être réalisée avec une distribution log-normale. La distribution logarithmique des variances transformées peut être assimilée à une distribution normale. De cette manière les résultats discordants par rapport à la distribution peuvent être identifiés. Chaque droite de régression dont la variabilité est trop importante (P<0.001) peut être identifiée comme discordante. Troisième étape: Mise en évidence d un biais (ref. 6,7) La troisième étape (Figure 4) est réalisée avec les droites de régression calculées sans les outliers et sans les résultats discordants de l étape 2 Si on suppose que l intersection et la pente constituent une distribution bivariée, on peut pour cette distribution bivariée, établir une matrice de covariance multivariée avec un centre. La distance de Mahalanobis par rapport au centre de la distribution multivariée peut servir de base pour détecter les points discordants. Ces distances suivent, s il n y a pas de résultat discordant, une distribution de chi carré à 2 degrés de liberté. Tous les points plus loin que le percentile 99.9 de la distribution de chi carré sont considérés comme discordants. Sur base de l intersection et de la pente on peut établir une région de confiance robuste (99.9%). Comme pour les droites de régression, cette région de confiance robuste n est pas ou peu influencée par les résultats discordants. Chaque point qui sort de la région de confiance est considéré comme biaisé par rapport à sa méthode. Lorsque le point le plus bas est éloigné du point zéro on retire de toutes les valeurs cibles l équivalent du premier point de la droite. Ceci permet une meilleure interprétation de l intersection. Dès que la région de confiance est déterminée, les droites de régression éliminées à l étape deux peuvent être évaluées pour le biais. Une droite de régression dont l intersection et la pente tombent dans la région de confiance n est pas biaisée mais reste toutefois discordante par rapport à la variabilité. Une droite de régression dont l intersection et la pente tombent hors de la région de confiance est discordante par rapport au biais et à la variabilité. Rapport Global Alcool 2009/2 38/40

39 Pente Intersection Figure 4: détection des droites discordantes par rapport à la variabilité et au biais La différence entre une région de confiance basée sur tous les résultats et une région de confiance robuste est illustré dans la figure 4. La ligne continue est la région de confiance basée sur tous les résultats. La ligne hâchurée est la région de confiance robuste. Un résultat situé hors de la région de confiance robuste est considéré comme outlier. Evaluation de la différence entre la moyenne de chaque méthode et la droite à 45 La moyenne des intersections et des pentes de toutes les droites de régression qui ne sont pas outliers pour le biais et/ou la variabilité peut être utilisée pour comparer à la droite à 45. Si la moyenne des intersections et des pentes diffère significativement de la droite à 45 on considère qu il y a un biais entre la méthode et la droite à 45. Il est à noter que ce biais n est pas nécessairement hors des limites d acceptabilité. Détermination du niveau de confiance Toute l étude a été effectuée avec un niveau de confiance de 99.9% afin d éviter au maximum de citer erronément des résultats corrects. Rapport Global Alcool 2009/2 39/40

40 Littérature 1. Rousseeuw PJ, Leroy AM. Robust regression and outlier detection. New York: John Wiley&Sons; Rousseeuw PJ, van Zomeren B. Unmasking multivariate outliers and leverage points. J Am Stat Assoc 1990;85: Atkinson AC. Masking unmasked. Biometrika 1986;73, Albert A, Harris EK. Multivariate interpretation of clinical laboratory data. New York: Marcel Dekker; Harris EK, Boyd JC. Statistical bases of reference values in laboratory medicine. New York: Marcel Dekker; Rousseeuw PJ, Van Driessen K. A Fast algorithm for the Minimum Covariance Determinant Estimator Technometrics 1999; 41: Willems G, Pison G, Rousseeuw PJ, Van Aelst S. A robust Hotelling test. Metrika 2002;55: Coucke W, Van Blerk M, Libeer JC, Van Campenhout C, Albert A. A new statistical method for evaluating long term analytical performance of laboratories, applied to an external quality assessment scheme for flow cytometry. Clinical Chemistry and Laboratory Medicine, 2010, accepted for publication Rapport Global Alcool 2009/2 40/40