Accréditation NF EN ISO 15189 en Biochimie métabolique Validation initiale de méthode (Portée B) Intervenant : Irina Andriamanana (Consultante de la Société ACC) Date : 19 Novembre 2013 1
Présentation de la société ACC ACC SAS est un cabinet conseil dont l activité est exclusivement orientée vers les LBM. ACC intervient depuis près de 20 ans dans de nombreux établissements hospitaliers français. Leader français pour les missions d assistance à maîtrise d ouvrage pour l informatisation des laboratoires, ACC effectue depuis 15 ans des formations à la démarche qualité et assure un accompagnement personnalisé de chaque laboratoire pour la mise en œuvre de son système qualité, dans un objectif d accréditation COFRAC selon la norme ISO 15189 (plus de 70 références dans ce domaine). ACC bénéficie d une expertise prouvée dans l accréditation (15 laboratoires évalués avec succès depuis début 2013) grâce à une équipe multidisciplinaire de 9 consultants et une solidité et une pérennité financière assurées par le groupement SPH Conseil -ACC. Président de la société : Alain Cœur Contact : alain.coeur@alaincoeurconseil.fr Directeur Commercial: Patrice Foulon Contact : patrice.foulon@alaincoeurconseil.fr Intervenante : Irina Andriamanana ACC: 13 dossiers en Accompagnement - 24 audits Blancs - 23 formations 2
Exemple de références ACC 3
Points qui seront abordés 1. Rappels sur la méthodologie de validation initiale de méthode (Portée B) 2. Caractéristiques des méthodes utilisées en biochimie métabolique Particularités de la biochimie métabolique Particularités de la Chromatographie Particularités de la Spectrométrie de masse 3. Conseils de mise en œuvre Pour les méthodes quantitatives Pour les méthodes qualitatives 4. Discussion 4
Validation de méthode (Portée B) : Ce qui est attendu RAPPELS SUR LA MÉTHODOLOGIE DE VALIDATION INITIALE DE MÉTHODE (PORTÉE B) 5
Objectifs de la validation initiale de méthode Démontrer que la méthode «fonctionne» correctement dans les conditions opératoires du laboratoire et qu elle donne des résultats sûrs pour les patients = validation des performances avant mise en application. Lors de la mise en place d une méthode : 1. Etape «bibliographique» Sélection de la méthode 2. Analyse des risques identification des étapes critiques 3. Définition et réalisation du plan d expérimentations évaluation des performances de la méthode 4. Formalisation et clôture du dossier de validation initiale 6
Objectifs de la validation initiale de méthode Cas d une méthode déjà en place : 1. Etape «bibliographique» Rassembler la bibliographie 2. Analyse des risques Vérification de la formalisation des modalités de maîtrise de ces étapes et de la mise en place de ces moyens de maîtrise 3. Définition du plan d expérimentations Identification des expérimentations à mettre en place si les données ne sont pas disponibles 4. Formalisation et clôture du dossier de validation initiale 7
Référentiels de validation de méthode Normes ISO : 5725, 17025, 15189 Recommandations (Guidelines) : ICH : International Conference on Harmonisation «Validation of analytical procedures : text and methodology Q2(R1)». IUPAC : International Union of Pure and Applied Chemistry «Harmonized guidelines for single laboratory validation of methods of analysis». FDA : Food and Drug Administration «Guidance for Industry Bioanalytical Method Validation». EMA : European Medicines Agency «Guideline on Bioanalytical method validation». Pharmacopée Européenne «Guide pour l élaboration des monographies» Guides techniques d accréditations du Cofrac : SH GTA 04, 06 et 14 Revues bibliographiques, consensus de la SFEIM etc. 8
Identification et analyse des risques ANALYSE DES 5 «M» «Décryptage» du procédé analytique Réactifs Consommables Equipements Informatique DEMANDE D EXAMEN RESULTAT Qualité du prélèvement I (Sang, LCR, Urine) Conditions ambiantes (T ) Compétences (PNM et PM) 9
Evaluation des performances de la méthode ETABLIR LA FIABILITE DES RESULTATS RENDUS 10
Constitution du dossier «quantitatif» 11
Constitution du dossier «quantitatif» Remarque : SH GTA 04 REv00 p.9 12
Constitution du dossier «qualitatif» 13
Constitution du dossier «qualitatif» Remarque : SH GTA 04 REv00 p.9 14
Validation de méthode (Portée B) CARACTÉRISTIQUES DES MÉTHODES EN BIOCHIMIE MÉTABOLIQUE 15
Particularités de la Biochimie Métabolique Mesurandes : Analytes endogènes Méthodes d analyses employées : Principalement chromatographiques couplées à différents types de détecteur IEC / dérivation Ninhydrine / UV UPLC dérivation ACCQ Tag (Waters) / UV LC/MS² Validation d un procédé analytique «global»: Aspect traitement de l échantillon (précipitation, extraction etc.) Aspect chromatographique (qualité de la séparation) Aspect «détection» (qualité du signal, critères différents selon le type: UV, MS) Problématique : Pour déterminer la stratégie analytique de la méthode employée importance de la réflexion sur les aspects clinico-biologiques (orientation diagnostic/thérapeutique) 16
AA dans la matrice biologique (Sang, Urine, LCR) Méthode quantitative «SH FORM 43» Objectif diagnostic? Quantification ou Recherche? Méthode qualitative «SH FORM 44» Identification des seuils de décision clinique Identification du domaine de fiabilité de mesures (LLOQ et ULOQ) Maîtrise du rapport S/N (< ou > 3) (LLOD) Stratégie analytique choix des CIQ ou témoins (Démontrer la fiabilité de la méthode) 17
Particularités de la Chromatographie Choix des conditions chromatographiques: Choix du type de Chromatographie Choix de la colonne + conditions de fonctionnement (T ) Choix de PM (+ conditions de gradient etc.) Autres: débit, volume d injection, T du carrousel etc. Critères d évaluation possibles = séparation chromatographique/signal : Temps de rétention (Tr) / Largeur de pic à mi-hauteur ( h) Résolution R s Temps de rétention relatif (Trr) par rapport à un EI ou à un CER Rapport S/N Aires des molécules (ou ion Q 0 ) d intérêt 18
Particularités de la Spectrométrie de masse Nécessité de connaître les molécules d intérêt (infusions) : Structure chimique / Masse exacte / Ion parent d intérêt Etudes des transitions : Choix des modes d acquisition (en mode MS/MS) Optimisation des conditions de source / et de l analyseur Critères d évaluation possibles = Identification spectrale Appréciation du spectre de masse total à partir du TIC Abondance relative des ions diagnostics MS² 90,05 44,05 19
Critères de validation technique Moyens de validation : CIQ / témoins Test de performance + EI «Blanc» Critères d évaluation possibles : Qualité de la séparation chromatographique : Fixer les Tr, vérifier les Trr, et vérifier la Résolution. Qualité de la détection (qualité du signal) : Aires des ions s intérêt, rapport S/N. Qualité de l identification spectrale: Abondance relative des ions diagnostics (fonction du nombre de transition). Fiabilité de l estimation de la concentration : CIQ/EEQ. Remarque : Les limites acceptables sont à établir pour ces critères. 20
Critères de validation technique Remarque : Estimation de la concentration (méthode quantitative) Etalonnage interne Facteur de réponse FR = Aire é chantillon Aire EI Etalonnage externe 21
Validation de méthode (Portée B) : Apporter des éléments de preuves objectives des performances de la méthode CONSEILS DE MISE EN ŒUVRE POUR LES MÉTHODES QUANTITATIVES (SH FORM 43) 22
Objectif : Assurer la qualité des résultats Est-ce que la méthode quantitative décrite est, quel que soit la matrice (Sang, urine, LCR) : Spécifique? Fidèle? Robuste? La méthode induit-elle du Carry-Over? Existe-t-il des interférences pouvant impacter la qualité d interprétation du chromatogramme? Comparable avec une autre méthode utilisée au laboratoire? Pour quel domaine de mesure, cette méthode rend-elle des résultats fiables? Ce domaine est-il pertinent par rapport aux seuils de décisions cliniques? La stabilité des réactifs utilisés pour cette méthode est-elle démontrée? Finalité : Quelle est l incertitude de mesure pour la méthode décrite et la matrice biologique concernée (= IQ de la méthode)? 23
Spécificité analytique / Interférences Objectif: Démontrer la capacité de la méthode à identifier et quantifier l analyte (= molécule d intérêt) sans équivoque, en présence d autres composés présents dans la matrice. La spécificité se fonde également sur l absence d interférences. En d autres termes, il s agit de démontrer qu au Tr attendu corresponde la molécule d intérêt. Méthodologie : Comparaison et superposition des Chromatogrammes n «Blanc(s)» / n «Blanc(s) Surchargé(s)» / n «Echantillon(s)» / n «Echantillon(s) surchargé(s)». Présentation des chromatogrammes dans le dossier Réponse étudiée : Vérification de l adéquation des Tr et Trr (avec EI et/ou CER) et de R. Remarques : Vérifier l absence de co-élution avec d autres composés. Vérifier l absence de suppression ou d augmentation de signal dû à un effet matrice (évaluer le rendement d ionisation). 24
Contamination inter-échantillon Objectif : Evaluer le transfert d un échantillon «fort» sur les échantillons suivants (évaluation du système de de rinçage de la chaîne analytique complète). Etude du «Carry-Over». Méthodologie : Analyser n fois un échantillon «fort» suivi de n «blanc(s)». Présentation des chromatogrammes dans le dossier. Réponses étudiées: Vérifier l absence des analytes dans le «blanc» aux Tr attendus (Rapport S/N < 3). Si présence «quantifiable» (Rapport S/N > 5), déterminer le % de contamination Remarque : Si la contamination est avérée il pourrait être intéressant de savoir à partir de quelle concentration il y a un risque de contamination? et sur combien d échantillon(s) suivant(s) elle se répercute? 25
Intervalle de mesure (LLOQ ULOQ) Objectif: Déterminer le domaine de linéarité/l intervalle de mesure qui garantit une mesure fiable du résultat entre la limite inférieure de quantification (LLOQ) et la limite supérieure de quantification (ULOQ). Méthodologie : Détermination de la LLOQ : méthode des dilutions (Profil de linéarité avec Rapport S/N = 5) ou méthode des blancs (LLOQ = 5 x S D ). Détermination du domaine (jusque ULOQ): Vérifier l adéquation domaine de mesure Intervalle de référence (seuils de décision clinique) Vérification de la validité du modèle de régression linéaire par une analyse de variance Remarques : Gamme «aqueuse» vs matrice biologique? Utilisation d un seul étalon? 26
Stabilité des réactifs Objectif: Démontrer et/ou déterminer la durée de stabilité des réactifs de la méthode, notamment après fabrication(solution de déprotéinisation, solution EI etc.). Méthodologie : Lister de façon exhaustive les réactifs intervenants dans la méthode Tenir compte des modalités de conservation Définir les modalités d évaluation de la stabilité: Moyen d évaluation : patient? CIQ? Test de performance? Définir les limites acceptables de la réponse à étudier Possibilité : Disposer du J0 (fabrication) et du Jn (DLU) et comparer les résultats (si réalisés sur même échantillon) Autre possibilité : réaliser un profil de stabilité 27
Fidélité (répétabilité et reproductibilité) Objectif : Déterminer la variabilité du résultat d un même échantillon Soit analysé n fois dans les mêmes conditions = répétabilité Soit analysé n fois dans des conditions différentes = reproductibilité Méthodologie : Pour la reproductibilité, il s agira de compiler les données de CIQ accumulées pour les différents niveaux Pour la répétabilité, prévoir de la réaliser sur des patients, sur différents niveaux et sur les différentes matrices. Echantillons Nombre (N) Moyenne Ecart-type CV (%) CV (%) fournisseur CV (%) limite (hors fournisseurs) Conclusion 28
Justesse/Exactitude Objectif : L approche de la justesse est évaluée à partir des données des CIQ externalisés. S il s agit d EEQ, on parlera d exactitude. La justesse et l exactitude sont évaluées par le Biais. S il n existe pas d EEQ ou de CIQ externalisés, la mise en place d un EIL peut être envisageable. Méthodologie : Compiler les données d EEQ accumulées sur x années. Echantillons Nombre (N) Valeur Labo Cible (groupe de pairs) Moyenne générale (toutes techniques) Biais (%) /groupe de pairs Biais (%) /moyenne générale Biais (%) limite (préciser) Conclusion 29
Incertitudes de mesure Objectif: Déterminer le degré de précision du mesurage, notamment aux seuils de décisions cliniques, dans les conditions analytiques décrites. Méthodologie : Méthode CIQ/EEQ INCERTITUDES (niveaux, choix du mode de calcul, interprétation) : Mode de calcul (cf. SH GTA 14) : Quantification de l'incertitude (niveau 1 : Niveau XXX) Quantification de l'incertitude (niveau 2 : Niveau XXX) Interprétation : 30
Robustesse Objectif : Démontrer la capacité de la méthode à maintenir ses performances lorsqu elle est soumise à de petites variations fortuites liées aux conditions expérimentales. La robustesse donne un ordre de grandeur de la fiabilité de la méthode aux conditions normales d utilisation. Méthodologie : Méthodologie des plans d expériences ou étude facteur par facteur Identifier les facteurs pouvant avoir un impact Définition des niveaux à tester pour chacun de ces facteurs Définition et réalisation du protocole expérimental Analyse de l impact des effets des facteurs testés (et/ou de leurs interactions selon l approche sélectionnée) Réponses étudiées : Critères chromatographiques, Concentration. 31
Comparaison de méthodes Objectif: Déterminer s il y a une différence significative entre les résultats obtenus pour un même paramètre sur plusieurs équipements ou par des méthodes différentes. Méthodologie : Au préalable, chaque méthode/équipement dispose de la preuve de ses performances Analyser un même échantillon sur les méthodes/équipements et exploiter les résultats (concentration estimée). Approches possibles: Statistique (Test de Shapiro-Wilk, Test Fischer, Test de Student etc.) Biologique (Calcul des normes de suivi, normes d interprétations) 32
Validation de méthode (Portée B) : Apporter des éléments de preuves objectives des performances de la méthode CONSEILS DE MISE EN ŒUVRE POUR LES MÉTHODES QUALITATIVES (SH FORM 44) 33
Objectif : Assurer la qualité des résultats Est-ce que la méthode qualitative décrite est, quel que soit la matrice (Sang, urine, LCR) : Spécifique? Sensible? Robuste? Comparable avec une autre méthode utilisée au laboratoire? La méthode induit-elle du Carry-Over? Existe-t-il des interférences pouvant impacter la qualité d interprétation du chromatogramme? La stabilité des réactifs utilisée pour cette méthode est-elle démontrée? Finalité : Quels sont les moyens de maîtrise employés pour assurer la qualité des résultats rendus? Ces moyens permettent-ils de démontrer que la méthode est Fidèle? 34
Sensibilité / Spécificité clinique Objectifs: Sensibilité clinique c est la capacité d un test à détecter une maladie lorsque celle-ci est présente. Spécificité clinique c est la capacité d un test à être réellement négatif quand une maladie est absente. Méthodologie : Reprendre rétrospectivement les données patients et faire le bilan en fonction des données cliniques disponibles. Présence AA Absence AA Total Présence de maladie M+ a (VP) b (FN) TM+ = a + b Absence de maladie M- c (FP) d (VN) TM- = c + d Total TP = a + c TN = b + d a + b + c + d Se (fréquence de P chez M+) = VP TM+ x 100 VPP (% de vrais M+ quand P) = VP TP x 100 Sp (fréquence de N chez M-) = VN TM x 100 VPN (% de vrais M- quand N) = VN TN x 100 35
Sensibilité / Spécificité analytique Objectifs : Sensibilité analytique représente la quantité minimale que le test parvient à détecter (LLOD) Spécificité analytique indique sa capacité à ne détecter qu un produit à analyser bien précis à l exclusion de tout autre. Méthodologie : Sensibilité analytique revient à la détermination de la LLOD : Méthode des dilutions (Profil de linéarité avec Rapport S/N = 3) ou méthode des blancs (LLOQ = 3 x S D ). Spécificité analytique : Comparaison et superposition des Chromatogrammes «Blanc» / «Blanc Surchargé» / «Echantillon» / «Echantillon surchargé». Présentation des chromatogrammes dans le dossier. Réponses étudiées : Critères Chromatographiques (Tr, Trr et R) et qualité de signal (Aires). 36
Contamination inter-échantillon Objectif : Evaluer le transfert d un échantillon «fort» (évaluation du système de de rinçage de la chaîne analytique complète). Etude du «Carry-Over». Méthodologie : Analyser n fois un échantillon «fort» suivi de n «blancs». Présentation des chromatogrammes dans le dossier. Réponse étudiée: Vérifier l absence des analytes dans le «blanc» aux Tr attendus (Rapport S/N < 3). 37
Stabilité des réactifs Objectif: Démontrer et/ou déterminer la durée de stabilité des réactifs de la méthode, notamment après fabrication(solution de déprotéinisation, solution EI etc.). Méthodologie : Lister de façon exhaustive les réactifs intervenants dans la méthode Tenir compte des modalités de conservation Définir les modalités d évaluation de la stabilité: Possibilité : Disposer du J0 (fabrication) et du Jn (DLU) et comparer les résultats (si réalisés sur même échantillon) Moyen d évaluation : patient? CIQ? Test de performance? Réponse à comparer : Qualité du signal (Aire? FR?) 38
Robustesse Objectif : Démontrer la capacité de la méthode à maintenir ses performances lorsqu elle est soumise à de petites variations fortuites liées aux conditions expérimentales. La robustesse donne un ordre de grandeur de la fiabilité de la méthode aux conditions normales d utilisation. Méthodologie : Méthodologie des plans d expériences ou étude facteur par facteur Identifier les facteurs pouvant avoir un impact Définition des niveaux à tester pour chacun de ces facteurs Définition et réalisation du protocole expérimental Analyse de l impact des effets des facteurs testés (et/ou de leurs interactions selon l approche sélectionnée) Réponses étudiées : Critères chromatographiques, qualité du signal 39
Comparaison de méthodes Objectif: Déterminer s il y a une différence significative entre les résultats obtenus pour un même paramètre sur plusieurs équipements ou par des méthodes différentes. Méthodologie : Au préalable, chaque méthode/équipement dispose de la preuve de ses performances Analyser un même échantillon sur les méthodes/équipements Réponse étudiée : Comparaison de l absence / présence de l analyte d intérêt. Détermination du % de concordance. Méthode initiale Méthode à comparer Total Présence AA Absence AA Présence AA a b a + b Absence AA c d c + d Total a + c b + d a + b + c + d 40
Compléments de validation Objectif: Présenter les autres moyens de maîtrise de la qualité des résultats rendus par la méthode qualitative : CIQ (ou témoins), EEQ, CNQ par exemple Méthodologie: Présenter les résultats des différents moyens de contrôle Analyser un même échantillon sur les méthodes/équipements Réponses étudiées: Réponse attendue (présence/absence) : % de conformité Critères chromatographiques: Reproductibilité des Trr, de la résolution R Critères de détection: reproductibilité des Aires, abondances relatives des ions etc. 41
Validation de méthode (Portée B) CONCLUSIONS 42
Assurer la qualité des résultats Constitution des dossiers de validation initiale de méthode: Disposer de preuves objectives pour apporter la preuve des performances de la méthode quel que soit la matrice biologique étudiée. Veiller à toujours présenter, pour chaque étude : Moyens mis en œuvre (méthodologie) Date de réalisation/opérateur Résultats Conclusion et dispositions prévues Validation de l étape par le responsable de l étude (Biologiste) Le dossier final doit comporter la conclusion générale d aptitude de la méthode décrite dans le dossier. Validation en continu: il s agira de prouver formellement en continu les performances initialement démontrées dans les dossiers. Les moyens, critères et modalités de surveillance en continu seront propres à chaque méthode (quantitative, qualitative). 43
Validation de méthode (Portée B) MERCI DE VOTRE ATTENTION 44