De la fiabilité de la mesure à son utilisation

Transcription

1 44 ème Congrès International SFSTP 6 et 7 juin 2012 LA CONNAISSANCE SCIENTIFIQUE AU SERVICE DE LA QUALITE PRODUIT Apports du «Quality by Design» et retours d expd expériences De la fiabilité de la mesure à son utilisation Philippe Caillaud

2 De la fiabilité de la mesure à son utilisation Demande du client - spécifications - seuil réglementaire - seuil de conformité Contrôle d'un lot (Echantillonnage et Matière) Laboratoire Exactitude et fiabilité des essais - Matériel - Méthode - Main d'œuvre - Milieu Validation d'une méthode - Fidélité - Capabilité Process & Méthode - Évaluation des performances - Justesse - Bonne décision sur la conformité => Profil d'exactitude - LD ou ND? des lots produits - Estimation des incertitudes - LQ ou <? avec une gestion des risques Contrôle de la qualité des résultats - Fonction d'étalonnage Process & Méthode - Spécificité, Rendement

3 l évolution des pratiques et des mentalités Guide de validation analytique. Rapport d'une commission SFSTP. STP PHARMA PRATIQUES 2 (1992) Applications de la norme ISO 5725 Validation des procédures analytiques quantitatives. Harmonisation des démarches. STP PHARMA PRATIQUES - volume 13 - N 3 mai/juin volume 16 - N 1 - janvier/février volume 16 - N 2 - mars/avril 2006 Analyse des performances d une méthode analytique. Evaluation des risques lors de l utilisation en routine. STP PHARMA PRATIQUES - volume 16 - N 2 - mars/avril 2006 Guide de validation analytique. Max Feinberg (2009)

4 Validation d une méthode de mesure ou d essai Évaluation initiale des performances de la méthode pour décider le transfert en routine ou une amélioration ou un abandon de la méthode Contrôle des performances de la méthode dans le temps avec des cartes de contrôle des essais d aptitude Vérification de performances de la méthode lors de modifications significatives

5 Critères descriptifs CV répét < 1% CV FI < 2% Biais < 2% 95% < Rdt < 105% R² > 0,999 Facile à utiliser mais - méthode réellement validée? - gestion du risque? Évaluation initiale des performances de la méthode Critères probabilistes Tests de justesse et de fidélité avec une hypothèse préférentielle (Test de Student, Fisher) Conclusions ambigües - si un seul critère validé? -s FI faible => justesse non validée? Critères d acceptabilité Approche globale avec une étude d exactitude interprétée par rapport à un EMA (Ecart Maximal Acceptable) - Prise en compte du besoin client - En accord avec l incertitude

6 Étude de l exactitude de la méthode: fidélité et justesse Vérifier que les résultats obtenus dans un domaine de validation de la méthode sur un matériau associé à une valeur de référence (REF) dans des conditions de fidélité intermédiaire (FI) soient acceptables par rapport à un écart maximal acceptable (EMA) autour de REF issu d une exigence réglementaire ou fixée par le client: ex qualité produit Domaine d'étalonnage ou de calibration Standards d'étalonnage connus Domaine de validation sur des matrices Matériaux de valeur de référence acceptée Réf 1 Réf 2 Réf 3 Réf 4 Réf 5 Blanc Réf 1 ou LQ Réf 2 Réf ± 20% ± 10% ± 10% ± 10% ± 10% ± 60% ± 20% ± 20% Date Valeurs d'information (Aire, Do, signal, etc ) Mesure 1 Mesure 2 Mesure 1 Mesure 2 Mesure 1 Mesure 2 Mesure 1 Mesure 2 7-sept. 0,041 0,087 0,170 0,377 0,749 8,5 8,0 22,6 22,2 95,1 96,2 309,1 306,3 9-sept. 0,039 0,082 0,169 0,344 0,654 8,0 8,0 24,5 24,1 100,5 102,1 287,3 291,1 13-sept. 0,045 0,091 0,185 0,376 0,731 9,0 8,5 22,7 23,1 90,2 93,4 297,5 294,8 27-sept. 0,050 0,096 0,199 0,392 0,749 8,5 8,5 25,4 25,8 88,4 86,8 292,7 295,1 30-sept. 0,045 0,092 0,184 0,359 0,679 6,5 7,5 24,1 24,7 97,3 98,2 302,4 301,9

7 Profil d exactitude de la méthode: fidélité et justesse Comparaison d un intervalle de tolérance (m ± 2 s FI ) par rapport à des limites d acceptabilité (REF ± EMA) Gestion des risques en calculant Probabilité de prévoir les résultats qui seront dans l intervalle de tolérance. Probabilité de prévoir les résultats en dehors des limites d acceptabilité Représentation de l'intervalle de tolérance en % et des EMA en % 80% 60% 40% 20% EMA % Biais % estimé 0% -20% % -60% -80%

8 XˆGrandeur retrouvée Étude de la fonction d étalonnage Réprésentation des grandeurs retrouvées par rapport à la droite "Grandeur retrouvée = Grandeur connue" Grandeur connue X Répartition des écarts en % par rapport des EMA étalonnage 60% 7-sept. 9-sept. 13-sept. 27-sept. 30-sept. Ecart en % 40% 20% 0% -20% -40% -60% Grandeur connue X

9 Contrôle des performances de dans le temps Carte de contrôle en routine pour contrôler les performances de la méthode la qualité des produits: Out Of Specifications Essais d aptitude lorsque c est possible Z-score Zéta-score

10 Etude d un contrôle interne de qualité Analyser un matériau ou des matériaux similaires dans le temps titrés ou non titrés commerciaux ou de fabrication ou en supplément. Objectifs Validation des lots et de la méthode Détection d erreurs et correction Prévention des risques de défaillance Maîtrise du système de mesure et de fabrication Utilisation d une carte de contrôle

11 Utilisation d une carte de contrôle Représentation des résultats Représentation des résultats LCS 103 LCS 102 LSS 102 LSS Résultat 100 Cible Résultat 100 Cible LSI 98 LSI 97 LCI 97 LCI Série Série Représentation des résultats Représentation des résultats LCS 103 LCS 102 LSS 102 LSS Résultat Cible Résultat Cible 98 LSI 98 LSI 97 LCI 97 LCI 96 Série 96 Série

12 Vérification de la capabilité de la méthode Aptitude de la méthode à respecter des spécifications commerciales ou industrielles Spécif Spécif C p 6s Spécif sup sup C p, k 3 s inf moyenne ou moyenne Spécif s C p, k 3 inf Interprétation : capable si Cp (ou Cp,k) > 1 ou 1,33 Risque d un résultat «Hors Spécification» si Cp (ou Cp,k) < 1? Relation entre spécifications et performances d une méthode?

13 Interprétation des essais d aptitude Détermination de la performance d un laboratoire avec des comparaisons interlaboratoires (ISO 13528) CIL => valeur assignée et son incertitude-type (m et u m ) et écarttype d aptitude (s apt ) Le Z-score Indicateur de validation du résultat x du laboratoire x m 2 Z score 2 Le Zéta-score s apt Indicateur de validation de l incertitude (k=2) du résultat x 2 Zéta score x m 2 ( U x ) u 2 2 m 2

14 Estimation des incertitudes pour mieux décider Application du GUM dans les essais ISO (2012) : «Estimation de l incertitude de mesure basée sur des données de validation et de contrôle qualité» U: incertitude associée à un résultat du laboratoire est estimée sur un domaine : U U u fidélité ubiais 2 2 % 2 u% fidélité u% biais Exemple LQ = 5 Pour 5 X 20 U = 1mg/L Pour X 20 U = 5% de X mg/l

15 Un exemple Étape 1: évaluation initiale des performances de la méthode avec une décision Domaine d'étalonnage ou de calibration Domaine de validation sur des matrices Standards d'étalonnage connus Matériaux de valeur de référence acceptée Réf 1 Réf 2 Réf 3 Réf 4 Réf 5 Blanc Réf 1 ou LQ Réf 2 Réf ± 20% ± 10% ± 10% ± 10% ± 10% ± 60% ± 20% ± 20% Date Valeurs d'information (Aire, Do, signal, etc ) Mesure 1 Mesure 2 Mesure 1 Mesure 2 Mesure 1 Mesure 2 Mesure 1 Mesure 2 7-sept. 0,041 0,087 0,170 0,377 0,749 8,5 8,0 22,6 22,2 95,1 96,2 309,1 306,3 9-sept. 0,039 0,082 0,169 0,344 0,654 8,0 8,0 24,5 24,1 100,5 102,1 287,3 291,1 13-sept. 0,045 0,091 0,185 0,376 0,731 9,0 8,5 22,7 23,1 90,2 93,4 297,5 294,8 27-sept. 0,050 0,096 0,199 0,392 0,749 8,5 8,5 25,4 25,8 88,4 86,8 292,7 295,1 30-sept. 0,045 0,092 0,184 0,359 0,679 6,5 7,5 24,1 24,7 97,3 98,2 302,4 301,9

16 Un exemple Étape 1: évaluation initiale des performances de la méthode avec une décision Etude de la fonction d étalonnage Répartition des écarts en % par rapport des EMA étalonnage 60% 7-sept. 9-sept. 13-sept. 27-sept. 30-sept. 40% Ecart en % 20% 0% -20% -40% -60% Grandeur connue X

17 Un exemple Étape 1: évaluation initiale des performances de la méthode avec une décision Etude de l exactitude de la méthode Représentation de l'intervalle de tolérance en % et des EMA en % 80% 60% 40% 20% EMA % Biais % estimé 0% -20% % -60% -80%

18 Un exemple Étape 2: étude d un contrôle interne de qualité de valeur attendue 100 Représentation des résultats LCS 120 LSS Cible /1 10/1 15/1 17/1 22/1 25/1 13/2 15/2 21/2 29/2 7/3 18/3 20/3 3/4 11/4 15/4 21/4 29/4 6/5 14/5 16/5 21/5 28/5 6/6 13/6 20/6 2/7 16/7 23/7 1/8 11/8 13/8 20/8 26/8 28/8 5/9 10/9 17/9 23/9 29/9 8/10 21/10 24/10 30/10 4/11 13/11 18/11 27/11 9/12 16/12 Résultat LSI LCI Série Juin 2012

19 Étape 3: étude des essais d aptitudes Statistiques des laboratoires Résultats du laboratoire Date Matériau m u m s apt CV apt Résultat 1 Résultat 2 Date 1 M 1 32,0 0,5 11,3 35,4% 36,0 47,0 Date 2 M 2 83,3 0,7 18,0 21,6% 81,0 78,0 Date 3 M 3 221,3 1,0 32,0 14,5% 234,0 248,0 Date 4 M 4 154,7 0,7 19,3 12,5% 161,0 173,0 Date 5 M 5 124,0 0,7 16,0 12,9% 118,7 120,0 Date 6 M 6 52,7 0,5 12,7 24,1% 45,0 50,0 Date 7 M 7 140,0 1,0 12,7 9,0% 145,0 153,0 Date 8 M 8 98,7 0,8 17,3 17,6% 99,3 106,0 Date 9 M 9 66,7 0,5 12,7 19,0% 59,3 60,0 Date 10 M ,3 0,7 17,3 15,9% 114,3 120,0 Date 11 M ,7 1,3 24,7 13,2% 179,0 170,0 Date 12 M ,3 1,0 26,0 15,9% 173,7 180,0 Un exemple Statistiques du laboratoire Date Z-score Ecart Ecart % s fidélité CV fidélité ζ-score 1 ζ-score 2 Date 1 0,84 9,50 29,7% 7,78 18,7% 0,53 2,00 Date 2-0,21-3,83-4,6% 2,12 2,7% -0,31-0,71 Date 3 0,61 19,67 8,9% 9,90 4,1% 0,72 1,43 Date 4 0,64 12,33 8,0% 8,49 5,1% 0,52 1,41 Date 5-0,29-4,67-3,8% 0,94 0,8% -0,60-0,44 Date 6-0,41-5,17-9,8% 3,54 7,4% -1,02-0,35 Date 7 0,71 9,00 6,4% 5,66 3,8% 0,46 1,13 Date 8 0,23 4,00 4,1% 4,71 4,6% 0,09 0,92 Date 9-0,55-7,00-10,5% 0,47 0,8% -0,98-0,89 Date 10 0,45 7,83 7,2% 4,01 3,4% 0,58 1,18 Date 11-0,49-12,17-6,5% 6,36 3,6% -0,57-1,30 Date 12 0,52 13,50 8,3% 4,48 2,5% 0,79 1,23

20 Étape 3: étude des essais d aptitudes Un exemple Suivi des Z-scores du laboratoire Date 1 Date 2 Date 3 Date 4 Date 5 Date 6 Date 7 Date 8 Date 9 Date 10 Date 11 Date 12

21 Étape 4: estimation des incertitudes Un exemple Représentation du CV aptl par rapport à la valeur assignée m 40% 35% 30% CVapt % 25% 20% 15% 10% 5% 0% m

22 Étape 4: estimation des incertitudes Domaine d'application u biais = 6,3 u fidélité = 4,5 100 U = incertitude (k=2) en absolue Un exemple 15,5 u% biais = 7,2% u% fidélité = 3,6% 100 U% = incertitude (k=2) en relatif ISO (2012) Estimation des incertitudes 16,1% Incertitudes fixées par le laboratoire Incertitude (k=2) fixée par le laboratoire U = incertitude (k=2) U% = incertitude Domaine d'application en absolue (k=2) en relatif %

23 Étape 4: estimation des incertitudes Un exemple Suivi des Zéta-scores calculés par rapport à l'incertitude du laboratoire Date 1 Date 2 Date 3 Date 4 Date 5 Date 6 Date 7 Date 8 Date 9 Date 10 Date 11 Date 12

24 Merci pour votre attention

25 Eléments bibliographiques STP Pharma Pratiques (2006) : Validation des procédures analytiques quantitatives NF T (2009) : Protocole d'évaluation initiale des performances d'une méthode dans un laboratoire NF V (2010) : Protocole de caractérisation en vue de la validation d'une méthode d'analyse quantitative par construction du profil d exactitude XP U (2011) : Exigences et recommandations pour le développement et la validation de la PCR en santé animale ISO (2012) & NF T (2012) : Estimation de l incertitude de mesure basée sur des données de validation et de contrôle qualité