De la fiabilité de la mesure à son utilisation

44 ème Congrès International SFSTP 6 et 7 juin 2012 LA CONNAISSANCE SCIENTIFIQUE AU SERVICE DE LA QUALITE PRODUIT Apports du «Quality by Design» et retours d expd expériences De la fiabilité de la mesure à son utilisation Philippe Caillaud

De la fiabilité de la mesure à son utilisation Demande du client - spécifications - seuil réglementaire - seuil de conformité Contrôle d'un lot (Echantillonnage et Matière) Laboratoire Exactitude et fiabilité des essais - Matériel - Méthode - Main d'œuvre - Milieu Validation d'une méthode - Fidélité - Capabilité Process & Méthode - Évaluation des performances - Justesse - Bonne décision sur la conformité => Profil d'exactitude - LD ou ND? des lots produits - Estimation des incertitudes - LQ ou <? avec une gestion des risques Contrôle de la qualité des résultats - Fonction d'étalonnage Process & Méthode - Spécificité, Rendement

l évolution des pratiques et des mentalités Guide de validation analytique. Rapport d'une commission SFSTP. STP PHARMA PRATIQUES 2 (1992) Applications de la norme ISO 5725 Validation des procédures analytiques quantitatives. Harmonisation des démarches. STP PHARMA PRATIQUES - volume 13 - N 3 mai/juin 2003 - volume 16 - N 1 - janvier/février 2006 - volume 16 - N 2 - mars/avril 2006 Analyse des performances d une méthode analytique. Evaluation des risques lors de l utilisation en routine. STP PHARMA PRATIQUES - volume 16 - N 2 - mars/avril 2006 Guide de validation analytique. Max Feinberg (2009)

Validation d une méthode de mesure ou d essai Évaluation initiale des performances de la méthode pour décider le transfert en routine ou une amélioration ou un abandon de la méthode Contrôle des performances de la méthode dans le temps avec des cartes de contrôle des essais d aptitude Vérification de performances de la méthode lors de modifications significatives

Critères descriptifs CV répét < 1% CV FI < 2% Biais < 2% 95% < Rdt < 105% R² > 0,999 Facile à utiliser mais - méthode réellement validée? - gestion du risque? Évaluation initiale des performances de la méthode Critères probabilistes Tests de justesse et de fidélité avec une hypothèse préférentielle (Test de Student, Fisher) Conclusions ambigües - si un seul critère validé? -s FI faible => justesse non validée? Critères d acceptabilité Approche globale avec une étude d exactitude interprétée par rapport à un EMA (Ecart Maximal Acceptable) - Prise en compte du besoin client - En accord avec l incertitude

Étude de l exactitude de la méthode: fidélité et justesse Vérifier que les résultats obtenus dans un domaine de validation de la méthode sur un matériau associé à une valeur de référence (REF) dans des conditions de fidélité intermédiaire (FI) soient acceptables par rapport à un écart maximal acceptable (EMA) autour de REF issu d une exigence réglementaire ou fixée par le client: ex qualité produit Domaine d'étalonnage ou de calibration Standards d'étalonnage connus Domaine de validation sur des matrices Matériaux de valeur de référence acceptée Réf 1 Réf 2 Réf 3 Réf 4 Réf 5 Blanc Réf 1 ou LQ Réf 2 Réf 3 25 50 100 200 400 0 25 100 300 ± 20% ± 10% ± 10% ± 10% ± 10% ± 60% ± 20% ± 20% Date Valeurs d'information (Aire, Do, signal, etc ) Mesure 1 Mesure 2 Mesure 1 Mesure 2 Mesure 1 Mesure 2 Mesure 1 Mesure 2 7-sept. 0,041 0,087 0,170 0,377 0,749 8,5 8,0 22,6 22,2 95,1 96,2 309,1 306,3 9-sept. 0,039 0,082 0,169 0,344 0,654 8,0 8,0 24,5 24,1 100,5 102,1 287,3 291,1 13-sept. 0,045 0,091 0,185 0,376 0,731 9,0 8,5 22,7 23,1 90,2 93,4 297,5 294,8 27-sept. 0,050 0,096 0,199 0,392 0,749 8,5 8,5 25,4 25,8 88,4 86,8 292,7 295,1 30-sept. 0,045 0,092 0,184 0,359 0,679 6,5 7,5 24,1 24,7 97,3 98,2 302,4 301,9

Profil d exactitude de la méthode: fidélité et justesse Comparaison d un intervalle de tolérance (m ± 2 s FI ) par rapport à des limites d acceptabilité (REF ± EMA) Gestion des risques en calculant Probabilité de prévoir les résultats qui seront dans l intervalle de tolérance. Probabilité de prévoir les résultats en dehors des limites d acceptabilité Représentation de l'intervalle de tolérance en % et des EMA en % 80% 60% 40% 20% EMA % Biais % estimé 0% -20% 25 100 300-40% -60% -80%

XˆGrandeur retrouvée Étude de la fonction d étalonnage Réprésentation des grandeurs retrouvées par rapport à la droite "Grandeur retrouvée = Grandeur connue" 450 400 350 300 250 200 150 100 50 0 0 50 100 150 200 250 300 350 400 450 Grandeur connue X Répartition des écarts en % par rapport des EMA étalonnage 60% 7-sept. 9-sept. 13-sept. 27-sept. 30-sept. Ecart en % 40% 20% 0% -20% -40% -60% 25 50 100 200 400 Grandeur connue X

Contrôle des performances de dans le temps Carte de contrôle en routine pour contrôler les performances de la méthode la qualité des produits: Out Of Specifications Essais d aptitude lorsque c est possible Z-score Zéta-score

Etude d un contrôle interne de qualité Analyser un matériau ou des matériaux similaires dans le temps titrés ou non titrés commerciaux ou de fabrication ou en supplément. Objectifs Validation des lots et de la méthode Détection d erreurs et correction Prévention des risques de défaillance Maîtrise du système de mesure et de fabrication Utilisation d une carte de contrôle

Utilisation d une carte de contrôle Représentation des résultats Représentation des résultats 104 104 103 LCS 103 LCS 102 LSS 102 LSS 101 101 Résultat 100 Cible Résultat 100 Cible 99 99 98 LSI 98 LSI 97 LCI 97 LCI 96 96 Série Série Représentation des résultats Représentation des résultats 104 104 103 LCS 103 LCS 102 LSS 102 LSS Résultat 101 100 99 Cible Résultat 101 100 99 Cible 98 LSI 98 LSI 97 LCI 97 LCI 96 Série 96 Série

Vérification de la capabilité de la méthode Aptitude de la méthode à respecter des spécifications commerciales ou industrielles Spécif Spécif C p 6s Spécif sup sup C p, k 3 s inf moyenne ou moyenne Spécif s C p, k 3 inf Interprétation : capable si Cp (ou Cp,k) > 1 ou 1,33 Risque d un résultat «Hors Spécification» si Cp (ou Cp,k) < 1? Relation entre spécifications et performances d une méthode?

Interprétation des essais d aptitude Détermination de la performance d un laboratoire avec des comparaisons interlaboratoires (ISO 13528) CIL => valeur assignée et son incertitude-type (m et u m ) et écarttype d aptitude (s apt ) Le Z-score Indicateur de validation du résultat x du laboratoire x m 2 Z score 2 Le Zéta-score s apt Indicateur de validation de l incertitude (k=2) du résultat x 2 Zéta score x m 2 ( U x ) u 2 2 m 2

Estimation des incertitudes pour mieux décider Application du GUM dans les essais ISO 11352 (2012) : «Estimation de l incertitude de mesure basée sur des données de validation et de contrôle qualité» U: incertitude associée à un résultat du laboratoire est estimée sur un domaine : U U 2 2 2 u fidélité ubiais 2 2 % 2 u% fidélité u% biais Exemple LQ = 5 Pour 5 X 20 U = 1mg/L Pour X 20 U = 5% de X mg/l

Un exemple Étape 1: évaluation initiale des performances de la méthode avec une décision Domaine d'étalonnage ou de calibration Domaine de validation sur des matrices Standards d'étalonnage connus Matériaux de valeur de référence acceptée Réf 1 Réf 2 Réf 3 Réf 4 Réf 5 Blanc Réf 1 ou LQ Réf 2 Réf 3 25 50 100 200 400 0 25 100 300 ± 20% ± 10% ± 10% ± 10% ± 10% ± 60% ± 20% ± 20% Date Valeurs d'information (Aire, Do, signal, etc ) Mesure 1 Mesure 2 Mesure 1 Mesure 2 Mesure 1 Mesure 2 Mesure 1 Mesure 2 7-sept. 0,041 0,087 0,170 0,377 0,749 8,5 8,0 22,6 22,2 95,1 96,2 309,1 306,3 9-sept. 0,039 0,082 0,169 0,344 0,654 8,0 8,0 24,5 24,1 100,5 102,1 287,3 291,1 13-sept. 0,045 0,091 0,185 0,376 0,731 9,0 8,5 22,7 23,1 90,2 93,4 297,5 294,8 27-sept. 0,050 0,096 0,199 0,392 0,749 8,5 8,5 25,4 25,8 88,4 86,8 292,7 295,1 30-sept. 0,045 0,092 0,184 0,359 0,679 6,5 7,5 24,1 24,7 97,3 98,2 302,4 301,9

Un exemple Étape 1: évaluation initiale des performances de la méthode avec une décision Etude de la fonction d étalonnage Répartition des écarts en % par rapport des EMA étalonnage 60% 7-sept. 9-sept. 13-sept. 27-sept. 30-sept. 40% Ecart en % 20% 0% -20% -40% -60% 25 50 100 200 400 Grandeur connue X

Un exemple Étape 1: évaluation initiale des performances de la méthode avec une décision Etude de l exactitude de la méthode Représentation de l'intervalle de tolérance en % et des EMA en % 80% 60% 40% 20% EMA % Biais % estimé 0% -20% 25 100 300-40% -60% -80%

Un exemple Étape 2: étude d un contrôle interne de qualité de valeur attendue 100 Représentation des résultats 140 130 LCS 120 LSS 110 100 Cible 90 80 70 60 8/1 10/1 15/1 17/1 22/1 25/1 13/2 15/2 21/2 29/2 7/3 18/3 20/3 3/4 11/4 15/4 21/4 29/4 6/5 14/5 16/5 21/5 28/5 6/6 13/6 20/6 2/7 16/7 23/7 1/8 11/8 13/8 20/8 26/8 28/8 5/9 10/9 17/9 23/9 29/9 8/10 21/10 24/10 30/10 4/11 13/11 18/11 27/11 9/12 16/12 Résultat LSI LCI Série 6-7 7 Juin 2012

Étape 3: étude des essais d aptitudes Statistiques des laboratoires Résultats du laboratoire Date Matériau m u m s apt CV apt Résultat 1 Résultat 2 Date 1 M 1 32,0 0,5 11,3 35,4% 36,0 47,0 Date 2 M 2 83,3 0,7 18,0 21,6% 81,0 78,0 Date 3 M 3 221,3 1,0 32,0 14,5% 234,0 248,0 Date 4 M 4 154,7 0,7 19,3 12,5% 161,0 173,0 Date 5 M 5 124,0 0,7 16,0 12,9% 118,7 120,0 Date 6 M 6 52,7 0,5 12,7 24,1% 45,0 50,0 Date 7 M 7 140,0 1,0 12,7 9,0% 145,0 153,0 Date 8 M 8 98,7 0,8 17,3 17,6% 99,3 106,0 Date 9 M 9 66,7 0,5 12,7 19,0% 59,3 60,0 Date 10 M 10 109,3 0,7 17,3 15,9% 114,3 120,0 Date 11 M 11 186,7 1,3 24,7 13,2% 179,0 170,0 Date 12 M 12 163,3 1,0 26,0 15,9% 173,7 180,0 Un exemple Statistiques du laboratoire Date Z-score Ecart Ecart % s fidélité CV fidélité ζ-score 1 ζ-score 2 Date 1 0,84 9,50 29,7% 7,78 18,7% 0,53 2,00 Date 2-0,21-3,83-4,6% 2,12 2,7% -0,31-0,71 Date 3 0,61 19,67 8,9% 9,90 4,1% 0,72 1,43 Date 4 0,64 12,33 8,0% 8,49 5,1% 0,52 1,41 Date 5-0,29-4,67-3,8% 0,94 0,8% -0,60-0,44 Date 6-0,41-5,17-9,8% 3,54 7,4% -1,02-0,35 Date 7 0,71 9,00 6,4% 5,66 3,8% 0,46 1,13 Date 8 0,23 4,00 4,1% 4,71 4,6% 0,09 0,92 Date 9-0,55-7,00-10,5% 0,47 0,8% -0,98-0,89 Date 10 0,45 7,83 7,2% 4,01 3,4% 0,58 1,18 Date 11-0,49-12,17-6,5% 6,36 3,6% -0,57-1,30 Date 12 0,52 13,50 8,3% 4,48 2,5% 0,79 1,23

Étape 3: étude des essais d aptitudes Un exemple Suivi des Z-scores du laboratoire 4 3 2 1 0-1 -2-3 -4 Date 1 Date 2 Date 3 Date 4 Date 5 Date 6 Date 7 Date 8 Date 9 Date 10 Date 11 Date 12

Étape 4: estimation des incertitudes Un exemple Représentation du CV aptl par rapport à la valeur assignée m 40% 35% 30% CVapt % 25% 20% 15% 10% 5% 0% 0 50 100 150 200 250 m

Étape 4: estimation des incertitudes Domaine d'application u biais = 6,3 u fidélité = 4,5 100 U = incertitude (k=2) en absolue Un exemple 15,5 u% biais = 7,2% u% fidélité = 3,6% 100 U% = incertitude (k=2) en relatif ISO 11352 (2012) Estimation des incertitudes 16,1% Incertitudes fixées par le laboratoire Incertitude (k=2) fixée par le laboratoire U = incertitude (k=2) U% = incertitude Domaine d'application en absolue (k=2) en relatif 15 100 15%

Étape 4: estimation des incertitudes Un exemple Suivi des Zéta-scores calculés par rapport à l'incertitude du laboratoire 4 3 2 1 0-1 -2-3 -4 Date 1 Date 2 Date 3 Date 4 Date 5 Date 6 Date 7 Date 8 Date 9 Date 10 Date 11 Date 12

Merci pour votre attention

Eléments bibliographiques STP Pharma Pratiques (2006) : Validation des procédures analytiques quantitatives NF T90-210 (2009) : Protocole d'évaluation initiale des performances d'une méthode dans un laboratoire NF V03-110 (2010) : Protocole de caractérisation en vue de la validation d'une méthode d'analyse quantitative par construction du profil d exactitude XP U 47-600 (2011) : Exigences et recommandations pour le développement et la validation de la PCR en santé animale ISO 11352 (2012) & NF T90-220 (2012) : Estimation de l incertitude de mesure basée sur des données de validation et de contrôle qualité