Prior to applying an analytical method, analysts

Transcription

1 Analyse des performances d une méthode analytique G. de Fontenay, J. Respaud, P. Puig, C. Lemaire Analysis of the performance of analytical method, Avant de mettre en œuvre une technique analytique, l analyste devrait connaître les performances de la méthode, afin d évaluer la fiabilité des données générées et de pouvoir anticiper sur le risque d occurrence de résultats OOS ( out of specification ) pour un lot tout à fait conforme (faux négatif). Même si une méthode a fait l objet d une validation réglementaire, cela ne suffit pas pour garantir que ses performances sont en adéquation avec l usage auquel elle est destinée. Par contre, une exploitation complète des résultats de l étude de validation peut permettre de vérifier si cette méthode peut être appliquée en routine avec le niveau de confiance requis. Comme tout autre procédé, une méthode analytique doit être comprise et maîtrisée. Dans cet article, cinq méthodes analytiques, présentant des niveaux de performances différents (données d exactitude et de fidélité variables), sont analysées à travers trois approches différentes : critères d acceptation descriptifs, critères de capabilité de la méthode, et outil graphique des OCC ( operating characteristic curves ). Pour chaque scénario et chaque approche, la conformité par rapport aux critères d acceptation de la validation est confrontée aux performances de la méthode, mesurée par le risque de générer des données individuelles hors spécifications pour un lot conforme (dosage avec des spécifications 95,0-105,0 %). Pour une même méthode, la conformité aux critères d acceptation peut différer selon l approche choisie, ce qui complique les conclusions que peut en tirer un analyste pour une utilisation en routine. Une nouvelle clef de classification des méthodes analytiques, basée sur cette analyse de risques, est proposée, pour une meilleure appréhension de chaque méthode au regard de l usage prévu. Mots clefs : Méthode analytique, Validation, Capabilité, Performances, Analyse de risques, Transfert analytique, OOS, Carte de contrôle. Prior to applying an analytical method, analysts should know the performance of the method, in order to anticipate the reliability of the data they will generate and to evaluate the risk of false-negative OOS (out of specification) results. Even if a method was validated according to guidelines, it is not sufficient for evaluating its real performances according to its intended use. But a full exploration of validation results can help for an evaluation of results reliability during a routine use. Like any other process, an analytical method should be understood and mastered. In this article, five scenarios of analytical methods with different performance levels (different accuracy and precision levels) are analyzed through three different approaches: descriptive acceptance criteria, method capability, OCC graphical tool (operating characteristic curves). For each scenario and each approach, conformity to acceptance criteria is compared to the method performances, measured by the risk of generating OOS individual results for a batch that is conform (assay with % specifications). For a same method scenario, the conformity to acceptance criteria may vary, and the conclusion for the final user, in the laboratory, can be very unclear regarding the risk of generating false-negative OOS results during a routine use. A new classification rule of analytical method, according to its performances and its intended use, is proposed in this article. Key words: Analytical method, Validation, Capability, Performances, Risk analysis, Analytical method transfer, OOS result, Control chart. I Contexte et objectifs Parmi les paramètres décrits dans le guideline de validation ICH Q2(R1) [1], l exactitude et la fidélité I Background and objectives Within the parameters described in the ICH Q2 (R1) guideline [1], accuracy and precision (estimated STP PHARMA PRATIQUES - volume 21 - N 2 - mars-avril

2 (estimés en validation avec détermination d un biais systématique et des CV de répétabilité et de fidélité intermédiaire) sont des paramètres clefs pour estimer l erreur totale et donc les performances d une méthode analytique. Une méthode est considérée valide à partir du moment où les résultats sont compris dans les critères d acceptation fixés au préalable. Toutefois, savoir qu une méthode est validée ne suffit pas pour connaître ses performances réelles. Dans cet article, la conformité aux critères d acception et les performances de cinq méthodes différentes (figure 1) sont évaluées, en tenant compte des résultats obtenus lors de la validation, à travers le prisme de trois approches distinctes : - approche descriptive classique, communément utilisée dans l industrie pharmaceutique, - approche capabilité, outil de qualité classique, décrite dans l USP depuis 2007 [2], - approche OCC (operating characteristic curve) décrite en 2009 dans Pharmacopoeial Forum [3]. Les objectifs de cet article sont d évaluer les avantages et inconvénients de ces différentes approches et de proposer une réflexion mêlant les différentes by a systematic bias and by repeatability and intermediate precision RSDs, respectively) are key parameters for the evaluation of performances of an analytical method. A method is considered as valid if the validation results are within acceptance criteria defined in a validation protocol or a validation master plan. But knowing that a method is validated is not sufficient for a good estimation of its real performances. In this article, illustrated with five different analytical methods (Figure 1), the conformity to acceptance criteria and the performances of each method are evaluated according to the actual validation results, with three different approaches - a classical descriptive approach, commonly used in the pharmaceutical industry, - the capability approach as described in USP since 2007 [2], - the operating characteristic curve (OCC) approach, described in 2009 in Pharmacopoeial Forum [3]. The objectives of this article are to compare the three approaches, and to propose a mix of the different concept for defining a classification table for Figure 1. Caractéristiques de cinq méthodes analytiques et distribution normale issue des résultats de validation (résultats individuels pouvant être obtenus pour un lot contenant 100,0 % de principe actif). Les spécifications et la probabilité de données hors spécifications sont en rouge. Figure 1. Characteristics of five analytical methods with the corresponding normal distribution (individual results that can be expected for a batch with an actual content at %). Specification limits and probability of OOS results are in red. 2 STP PHARMA PRATIQUES - volume 21 - N 2 - mars-avril 2011

3 approches pour proposer une table de classification des méthodes selon les performances estimées en validation. II Méthodes Dans cet article, pour comparer les différentes approches, cinq méthodes analytiques présentant des caractéristiques différentes sont utilisées. Pour chaque méthode, les résultats de validation sont donnés (biais systématique et CV de fidélité), avec la distribution normale des données individuelles qui seront obtenues lors d une analyse de routine d un lot dont le titre réel serait de 100,0 % (figure 1). Les zones en rouge correspondent à des estimations de teneurs hors des spécifications, et représentent le risque de générer un résultat faux négatif qui devra être traité comme un OOS (out of specification) (pour des spécifications 95,0-105,0 %, classiques pour un dosage de principe actif dans un produit fini). Dans cet article, un résultat est l estimation de la teneur obtenue pour une prise d essai individuelle. On peut noter que le risque sera plus faible si le résultat comparé aux spécifications est la moyenne de plusieurs déterminations individuelles. Les données de validation de ces méthodes sont comparées aux critères d acceptation, afin de vérifier si la méthode est validée ou non, selon l approche choisie. 1. Description de chaque approche 1.1. Approche descriptive L exactitude (biais systématique) et la fidélité (biais aléatoire) observées pendant la validation sont comparées, indépendamment l une de l autre, à des critères d acceptation fixés au préalable 1.2. Approche de capabilité Cet indicateur qualité, largement utilisé dans l industrie [4], est décrit à l USP depuis 2007 [2]. La capabilité est un ratio entre l intervalle de tolérance (différence entre les bornes haute USL et basse LSL des spécifications) et l écart type du procédé σ. Si la méthode ne présente aucun biais, la capabilité est définie ainsi : Cp = (USL - LSL)/6σ S il existe un biais (l exactitude moyenne Y est différente de 100 %), il faut en tenir compte dans les calculs. La capabilité est alors définie ainsi : Cp k = (USL - Y)/3σ ou = (Y - LSL)/3σ la valeur la plus faible étant retenue. analytical methods, according to their performances estimated with validation results. II Methods In this article, in order to compare the different approaches, five analytical methods with different performances are used, as an illustration. For each method, validation results are provided (systematic bias and precision RSD) together with the Normal distribution of the data that will be obtained for a batch with an actual content of % (Figure 1). The red zone does correspond to the risk of obtaining individual data that are false negative results, being considered as out of specifications (OOS), for specifications sets between 95.0 and % (classical specifications for the assay of an active substance in a drug product). In this article, a result is defined as an estimation of actual content obtained with one individual determination. It can be noted that the risk will be lower if the result that is compared to specifications is an average of several individual data. Validation results are compared to the acceptance criteria, for each approach, in order to define if the method is considered as valid (from a regulatory point of view) or not. 1. Description of each approach 1.1. Descriptive approach Accuracy (systematic bias) and precision (variable bias) observed during validation are independently compared to predefined acceptance criteria Capability approach This quality tool is widely used in industry [4] and is now described in the USP since 2007 [2]. Capability is defined as a ratio of the tolerance interval (difference between the upper specification limit, USL, and the lower specification limit, LSL) to the method standard deviation σ. When the method is unbiased, the capability is defined as: Cp = (USL - LSL)/6σ If a bias exists (the mean accuracy Y is different from 100 %), it has to be taken into account in the calculation. The capability is then defined as: Cp k = (USL - Y)/3σ or = (Y - LSL)/3σ whichever is the lower. STP PHARMA PRATIQUES - volume 21 - N 2 - mars-avril

4 1.3. Approche OCC Cet outil graphique est décrit en 2009 dans Pharmacopoeial Forum [3]. Les «operating characteristic curves» (OCC) sont des «courbes de niveau» de risque, sur lesquelles peuvent être placées graphiquement les méthodes en fonction des résultats de validation. La courbe de niveau 5 % (telle que recommandée [3]) est une courbe en dessous de laquelle le risque de générer un résultat faux négatif pour un lot «parfait» (avec une teneur réelle de %) est inférieur à 5 % (un faux négatif est donc un résultat qui sera considéré OOS, avec des spécifications entre 95,0 et 105,0 % dans le présent article) Il faut noter que ces «courbes de niveau» sont à redéfinir si les spécifications changent. La méthodologie pour définir ces courbes a été fournie par les auteurs [3], que nous remercions ici (méthodologie utilisant Excel Solver). Cette approche, basée sur une analyse de risque, peut être comparée aux publications sur le concept d erreur totale parues dans ce même journal [5-7]. 2. Critères d acceptation selon les approches 2.1. Approche descriptive La méthode analytique sera validée si les deux critères suivants sont respectés : biais systématique < 2,0 % (exactitude comprise entre 98,0 et 102,0 %) et CV fidélité < 2,0 %. Ces valeurs de critères d acceptation utilisées ici sont des exemples, qui peuvent varier selon les laboratoires. La figure 2 décrit l allure de la zone d acceptation (en vert) avec ces critères Approche de capabilité La méthode analytique sera validée si Cp (ou Cp k ) < 1,33. Cette valeur du critère d acceptation est communément décrite dans la littérature (et dans l USP) [2, 4]. La figure 3 décrit l allure de la zone d acceptation (en vert) avec ce critère unique Approche OCC Dans Pharmacopoeial Forum [3], seule la courbe de risque à 5 % est décrite. Ce risque de 5 % est en effet communément admis comme critère d acceptation. Dans la figure 4, d autres niveaux de risque sont considérés (20, 10, 5, 1, 0,1 et 0,01 %) et les courbes correspondantes sont dessinées. À l issue de la validation, les résultats peuvent alors être utilisés pour situer graphiquement la méthode en termes de niveau de risque d obtenir de faux OOS pendant une utilisation en routine. La figure 4 décrit l allure de la zone d acceptation (en vert) avec cet autre critère unique OCC approach This tool was described in 2009 in Pharmacopoeial Forum [3]. OCC (operating characteristic curve) is a graphical tool with which method validation results may be plotted. The 5 % curve (as described in [3]) is a curve under which the method will generate less than 5 % of false-negative OOS results for a perfect batch with an actual content of % (false-negative OOS results are those below 95.0 % or above % in this paper). It must be noticed that the curve has to be defined for each specification level. Methodology for defining such curves (using Excel Solver) was kindly provided by the authors of the OCC approach [3]. This approach, based on a risk analysis, can be compared to the total error approach already described for validation in this journal [5-7]. 2. Acceptance criteria for each approach 2.1. Descriptive approach The method will be considered as valid if both acceptance criteria are met: systematic bias < 2.0 % (accuracy between 98.0 and %) and intermediate precision RSD < 2.0 %. These acceptance criteria values are examples, and may vary from one laboratory to another. Figure 2 describes the shape of the acceptation zone (green zone) with the retained criteria Capability approach The method will be considered as valid if Cp (or Cp k ) < This acceptance criteria is commonly described in literature and, since 2007, in USP [2, 4]. Figure 3 describes the shape of the acceptation zone (green zone) with this unique acceptance criteria OCC approach In Pharmacopoeial Forum [3], only a 5 % risk curve is described. This 5 % risk level is commonly used as an acceptance criteria. In Figure 4, other risk levels are provided (20, 10, 5, 1, 0.1 and 0.01 %). After the validation, the accuracy and precision results can be plotted in the figure, in order to evaluate graphically the risk of obtaining individual false-negative OOS data during a routine use. Figure 4 describes the shape of the acceptation zone (green zone) with this other unique acceptance criteria (at the 5 % risk level). 4 STP PHARMA PRATIQUES - volume 21 - N 2 - mars-avril 2011

5 3. Cartes de contrôle Pour une meilleure illustration des réelles performances des méthodes, à l usage des utilisateurs finaux de ces méthodes (laboratoires CQ pour un dosage de routine et unités AQ pour la revue annuelle des produits), des résultats représentatifs de ce qui pourra être obtenu avec les cinq méthodes sont présentés sous forme de cartes de contrôle. Les résultats de l analyse de cent lots «parfaits» (teneur réelle de 100,0 %) sont simulés par génération de valeurs aléatoires issues de la distribution normale correspondant aux caractéristiques de la méthode estimées lors de la validation. Ces résultats sont regroupés dans la figure 5 pour les différents scenarios étudiés. III Résultats 1. Comparaison aux critères d acceptation Les cinq méthodes décrites dans la figure 1 sont placées dans les figures 2, 3 et 4 selon les résultats de la validation Approche descriptive Avec une approche descriptive, les méthodes 2, 3 et 5 seront conformes aux critères d acceptation, comme illustré en figure 2. La méthode 1 présente une variabilité trop importante, et la méthode 4 présente un biais trop important Approche capabilité Avec l approche capabilité, seule la méthode 2 sera conforme au critère d acceptation, comme illustré en figure Approche OCC Avec l approche OCC, les méthodes 2, 3 et 4 seront conformes au critère d acceptation, comme illustré en figure 4. Les méthodes 1 et 5 présentent en effet un risque de résultat OOS faux négatif supérieur à 5 %. 3. Control charts In order to illustrate the performance of an analytical method in a familiar way for final users (QC laboratories for routine use, QA units for annual product review), representative results that can be obtained with each of the five analytical methods are presented as control charts. Results for one hundred perfect batches with an actual content of % are simulated by generation of random values from Normal distributions corresponding to each method characteristics. These results are provided in Figure 5, for the five scenarios. III Results 1. Comparison to acceptance criteria The five methods described in Figure 1 are plotted in Figures 2, 3 and 4 according to the validation results Descriptive approach With a descriptive approach, methods 2, 3 and 5 are conforming to acceptance criteria, as illustrated in Figure 2. Method 1 presents a poor precision and the systematic bias of method 4 is too high Capability approach With the capability approach, only method 2 is within the acceptance criteria, as shown in Figure OCC approach With OCC approach, methods 2, 3 and 4 are conforming to acceptance criteria, as illustrated in Figure 4. Methods 1 and 5 are presenting a risk of false negative OOS results above 5 %. Figure 2. Comparaison des résultats de validation aux critères d acceptation avec une approche descriptive. Figure 2. Comparison of validation results to acceptance criteria with a descriptive approach. STP PHARMA PRATIQUES - volume 21 - N 2 - mars-avril

6 Figure 3. Comparaison des résultats de validation aux critères d acceptation avec une approche capabilité. Figure 3. Comparison of validation results to acceptance criteria with a capability approach. 2. Comparaison des trois approches La comparaison des conclusions avec les trois approches est résumée dans le tableau 1. Les trois approches amènent à des conclusions différentes sur la validité de la méthode, sauf pour une méthode très performante (illustrée par la méthode 2 dans nos exemples) ou pour une méthode très peu performante (illustrée par la méthode 1). Pour les méthodes 3, 4 et 5, il est plus difficile de conclure par rapport à leurs performances réelles et sur leur réelle validité au vu de l usage qui en sera fait. Figure 4. Comparaison des résultats de validation aux critères d acceptation avec une approche OCC. Figure 4. Comparison of validation results to acceptance criteria with an OCC approach. 2. Comparison of the three approaches Comparison of the conformity to acceptance criteria for the three approaches is summarized in Table 1. The three approaches do lead to different conclusions, except for very poor methods (illustrated by method 1) or very performing methods (illustrated by method 2). For methods 3, 4 and 5, it is difficult to conclude clearly about the real validity of these methods, from a performance point of view. Tableau 1. Conformité des cinq méthodes aux critères d acceptation de chaque approche. Table 1. Conformity to acceptance criteria of the five methods, for each approach (see section 2). Méthod Method Critères d acceptation Acceptance criteria Méthode/Method 1 Méthode/Method 2 Méthode/Method 3 Méthode/Method 4 Méthode/Method 5 Approche descriptive Descriptive approach Biais et RSD 2,0 % Bias and RSD 2.0 % Non/No (RSD > 2,0 %) Oui/Yes Oui/Yes Non/No (biais/bias > 2,0 %) Oui/Yes Approche capabilité Capability approach Cp (ou Cp k ) 1,33 Cp (or Cp k ) 1.33 Non/No (0,52 < 1,33) Oui/Yes (1,52) Non/No (1,06) Non/No (0,95) Non/No (0,50) Approche OCC OCC approach Risque R 5 % Risk R 5 % Non/No (R > 5 %) Oui/Yes (R < 0,01 %) Oui/Yes (R < 0,1 %) Oui/Yes (R < 1,0 %) Non/No (R > 5 %) IV Discussion 1. Avantages et inconvénients des différentes approches 1.1. Approche descriptive L approche descriptive a pour avantage principal d être facile à procédurer. En contrepartie, elle ne permet aucune gestion du risque si elle est utilisée seule. Des méthodes peu performantes peuvent en effet passer les critères d acceptation sans assurer une réelle validité de la méthode (illustré par méthode 5). IV Discussion 1. Pros and cons of the three approaches 1.1. Descriptive approach The main advantage of a descriptive approach is that it is easy to describe in procedures and protocols. But no risk analysis is possible if this approach is used alone. As illustrated by method 5, a method with poor performances can pass through the acceptance criteria, and the method is then validated even if it is not valid. 6 STP PHARMA PRATIQUES - volume 21 - N 2 - mars-avril 2011

7 1.2. Approche capabilité Le calcul de Cp (ou Cp k ) est très facile à réaliser, mais le résultat obtenu est difficile à interpréter, en particulier en termes d analyse de risque. La section 4.2 apporte quelques éléments facilitant cette interprétation. Il est intéressant de noter que la méthode 2 (présentant un RSD de 1,1 % pour des spécifications 95,0-105,0 %) et une méthode présentant un RSD de 2,2 %, pour des spécifications plus larges (90,0-110,0 %), auront la même capabilité. Ce critère d acceptation s adapte donc à tout type de spécifications et ne nécessite aucune adaptation selon les méthodes (ayant des limites hautes et basses de spécifications). Le critère d acceptation (Cp ou Cp k > 1,33) est très restrictif. De nombreuses méthodes utilisées dans le cadre du contrôle de médicaments (en particulier des méthodes HPLC) présentent souvent une capabilité moindre [8], sans pour autant remettre en cause leur utilisation. En cas de résultat issu de la moyenne de plusieurs données, il conviendra de pondérer la variance de répétabilité par ce nombre de prises d essai avant d effectuer le calcul de la capabilité Approche OCC L approche OCC, complétée par des courbes à différents niveaux de risques, est un véritable outil d analyse de risques. Toutefois, les «courbes de niveaux» doivent être définies pour chaque jeu de spécifications. Le caractère graphique de cette approche permet une analyse aisée du risque. Mais l estimation de ce risque d après les résultats de validation peut nécessiter certains calculs additionnels. 2. Juxtaposition des approches L intérêt principal des approches OCC et capabilité est de considérer simultanément les deux types d erreur (systématique et aléatoire), contrairement à l approche descriptive. En superposant ces concepts de capabilité et d OCC (soit en superposant les figures 3 et 4), les constats suivants peuvent être faits : - une capabilité de 1,33 correspond à un risque très faible de 0,01 % tel que défini avec l approche OCC. Cette constatation confirme que le critère d acceptation de l approche capabilité est très restrictif. Accepter un risque plus élevé (0,1 ou 1,0 %) paraît analytiquement acceptable, en fonction de l usage de la méthode qui sera envisagé ; - la courbe OCC correspondant au risque 5 % est très proche de la droite de capabilité = 0,66. Par ailleurs, dans une autre étude [9], l analyse de l impact de la capabilité d une méthode sur la possibilité de la transférer d un laboratoire à un autre démontrait que ce transfert ne serait facile à mener que si la capabilité était supérieure à 1,33. Pour des valeurs de capabilité comprises entre 1,0 et 1,33, des difficultés peuvent apparaître, du fait de 1.2. Capability approach Calculation of Cp (or Cp k ) values is very easy to perform. But the result obtained is difficult to interpretate, in terms of risk analysis. Some information is provided in section 4.2 in order to facilitate such an interpretation. It must be noticed that method 2 (RSD of 1.1 % for % specifications) and a method with an RSD at 2.2 % with larger specification range ( %) do have the same capability value. This approach does indeed provide a unique acceptance criteria that adapts itself to the specifications (with upper and lower levels). The acceptance criteria (Cp or Cp k > 1.33) is very restrictive, as shown in Figure 3. Many methods used for quality control tests of drugs (in particular HPLC methods) are showing a lower capability value [8], without inducing any quality problems. If the result can be the average of several determinations, the variance of repeatability of the method should be corrected by the number of determinations before calculation of capability index OCC approach This graphical approach, when several risk level curves are included, is a real risk analysis tool. However, a finest evaluation of the risk may need further calculations. The main difficulty is that the risk level curves have to be calculated and drawn for each set of specifications. 2. Overlay of the different approaches OCC and capability approaches are focusing simultaneously on both kind of error (systematic and random), when the descriptive approach analyzes both error separately. An overlay of Figures 3 and 4 allows the following findings: - the 1.33 capability line does correspond to a very low risk level curve (0.01 %) with the OCC approach. This does confirm the commonly used acceptance criteria is very restrictive. A higher risk (0.1 or 1.0 %) could also be considered as analytically acceptable, depending on each method intended use ; - the 5 % risk level curve of the OCC approach is quite near from the 0.66 capability line. As described in another study, the capability index for a method has a strong impact on its transferability [9]. Analytical method transfer is easier when the method has a capability index above For capability values between 1.0 and 1.33, some difficulties may appear, due to the uncertainty linked STP PHARMA PRATIQUES - volume 21 - N 2 - mars-avril

8 l incertitude de mesure entachant l estimation de la teneur réelle du lot analysé par les deux laboratoires. Avec une capabilité inférieure à 1,0, cette incertitude sera telle que le transfert sera difficile à conclure. Ce type d information devrait être inclus dans une analyse de risque si un transfert de méthode est prévu dans le cadre du cycle de vie de la méthode analytique et du produit analysé. Enfin, dans certaines applications particulières, en fonction de l usage qui sera prévu pour la méthode et du niveau de développement du produit, des risques plus importants pourront être acceptables (1 à 5 %). En tenant compte de ces différentes considérations, une grille de classification des performances des méthodes analytiques, basée sur leur capabilité, en lien avec une estimation des niveaux de risque proposés par l approche OCC, est proposée dans le tableau 2. Une telle analyse des performances est préconisée dès les étapes de développement, afin de ne valider que des méthodes dont les performances répondent aux objectifs et à l usage attendu de la méthode. to the measurement of the actual value of the batch that is analyzed in both laboratories. This uncertainty grows when the capability value decreases, and for capabilities below 1.0, the transfer may often be inconclusive. Such information should be included in a global risk analysis if the method is dedicated for a long life cycle and if method transfer is anticipated. For some methods, during preliminary development steps, or according to a particular intended use higher risks may be acceptable (above 1 or 5 %). Taking into account all these parameters, a classification of analytical methods according to their capability values, linked to an estimation of the risk level as defined with the OCC approach, is proposed in Table 2. An analysis of analytical method performance can be recommended at early steps, during development, in order to only validate (from a regulatory point of view) methods that are really adapted to their intended use. Tableau 2. Proposition de classification de méthodes selon leur capabilité. Table 2. Proposal for method classification according to its capability. Performance Classification Inacceptable Unacceptable Très faible Very poor Faible Poor Moyen Average Bonne Good Très bonne Very good Valeur de capabilité Capability value Cp < < Cp < < Cp < < Cp < < Cp < 1.33 Cp > 1.33 Niveau de risque estimé Estimated risk level Risque/Risk > 20 % 5 % < Risque/Risk < 20 % 1 % < Risque/Risk < 5 % 0.1 % < Risque/Risk < 1 % 0.01 % < Risque/Risk < 0.1 % Risque/Risk < 0.01 % Commentaire Comment Une nouvelle méthode doit être développée A new method should be developed Méthode à améliorer [8] Method to be improved [8] Peut être employée si la moyenne des données individuelles améliore la reliabilité [10] Can be used if averaging individual data improves the result reliability [10] Le transfert peut être difficile à réaliser [9] Transfer may be difficult to achieve [9] Méthode adaptée à l usage en routine Method adapted to an easy routine use 3. Après la validation, la routine Quand un échantillon arrive pour une analyse, la teneur réelle en principe actif est inconnue. L estimation de cette teneur sera entachée d une incertitude, quelle que soit la méthode utilisée. L ampleur de cette incertitude dépendra des performances de la méthode, mais sera aisément détectable au niveau des cartes de contrôle mises en place lors d une utilisation en routine. La figure 5 représente l allure globale de cartes de contrôle qui peut être attendue au vu des caractéristiques des cinq scénarios de méthodes, pour cent analyses de lots parfaits ayant une teneur réelle de % Chaque point en dehors des spécifications ( %) correspond donc à un résultat (individuel) faux négatif. De tels résultats génèrent de fastidieuses enquêtes analytiques, avec une incapacité à assigner une cause connue à l OOS, à part incriminer la variabilité de la méthode. La fréquence de résultats OOS détectée en figure 5 peut être corrélée à l aire en rouge présentée en figure 1 et au risque estimé sur la figure After validation, routine tests When a sample arrives in a laboratory for analysis, its actual content is unknown. Whatever the method you use, the estimated content will be biased, due to measurement uncertainty. The uncertainty will depend on method performances, but is easily detectable on a control chart when it is available. In Figure 5, different control charts are presented. These charts do represent the one hundred estimations of the content of perfect batches (with an actual content of %) that can be expected with the five methods described in this article. Each point out of the % specifications does then correspond to a false-negative individual result. Such results do generate heavy analytical OOS investigations, for which no assignable causes can be proposed (except the performances of the method itself). Frequency of OOS detected in Figure 5 can be correlated to the red area presented in Figure 1 and to the risk estimated in Figure 3. 8 STP PHARMA PRATIQUES - volume 21 - N 2 - mars-avril 2011

9 Figure 5. Carte de contrôle de cent résultats individuels simulés selon les performances des cinq méthodes (pour des lots ayant une teneur réelle de 100,0 %). Figure 5. Control charts for one hundred individual results simulated according to the performances of the five methods (for batches with an actual content of %). Il faut noter que l allure générale des cartes de contrôle dans la figure 5 ne tient pas compte de la variabilité du procédé de fabrication ni du fait qu en règle générale, le résultat fourni pour un lot est une moyenne de plusieurs déterminations individuelles. Mais ces cartes de contrôle confirment que dans l industrie pharmaceutique, les méthodes analytiques représentent une proportion importante de la variabilité mesurée en routine. Cela est dû à la capabilité relativement faible des techniques utilisées, ce qui est fréquent avec des méthodes chromatographiques, comme signalé par Dejaegher et al. [8]. La connaissance des performances réelles de la méthode est une nécessité pour assurer une bonne interprétation des données analytiques. It must be precised that Figure 5 does not include any variability linked to manufacturing process. And all the individual determinations are provided, when usually, a result is an average of several determinations. But the global shape of these control charts do confirm that within the pharmaceutical industry, analytical methods do represent an important part of the total variability observed during routine testing. This is due to the relatively poor capability of the methods used, especially for chromatographic techniques, as highlighted by Dejaegher et al. [8]. Only a good knowledge of real performances of a method allows a good interpretation of analytical data. STP PHARMA PRATIQUES - volume 21 - N 2 - mars-avril

10 V Conclusion Le fait qu une méthode soit validée (du point de vue réglementaire) ne veut pas toujours dire qu elle est valide (du point de vue des performances). Cela dépend à la fois de l approche choisie pour traiter les résultats obtenus en validation, des critères d acceptation retenus et des spécifications du produit analysé. Dès les premières étapes de développement, les sources de biais et de variabilité doivent être minimisées [8], afin d assurer des performances analytiques en adéquation avec l objectif de la méthode. Un simple calcul de la capabilité de la méthode permet, à l aide de la classification de méthode proposée, d estimer les risques de résultats faux négatifs et les performances de la méthode. Une méthode étant développée pour son utilisateur final, ces considérations doivent être prises en compte en amont de la validation, afin d atteindre le niveau de performance requis pour l usage qui sera fait avec cette méthode en routine. Si la capabilité mesurée en validation est inférieure aux attentes, il restera la possibilité de définir clairement le résultat comme étant la moyenne de plusieurs données individuelles, afin d améliorer la fiabilité de ces résultats [10]. L outil d évaluation des performances des méthodes proposé dans cet article est bien plus discriminant que les critères d acceptation communément utilisés (en particulier avec une approche descriptive), et peut aisément être inclus dans un protocole de validation ou une procédure générale. En effet, la connaissance des performances d une méthode est une information bien plus pertinente pour l utilisateur final que le simple statut de méthode «validée». V Conclusion When a method is validated (from a regulatory point of view), it does not mean that the method is really valid (from a performance point of view). It may depend on acceptance criteria chosen for the validation and on the specifications that are to be met for the product that is analyzed. Since the first development steps, the sources of variability should be identified and minimized [8], in order to fit the performances of the method with its intended use. Through a simple calculation of capability, it is possible to classify the performance of the method regarding the risk of false-negative results. As the method is developed for its final user, this risk should be taken into account before, during and after validation, in order to reach at least the performance level that can be expected for the routine use. If the capability value observed after validation is below expectations, it is still possible to define clearly that a result is the mean of several determinations, in order to optimize reliability of the results obtained with the analytical method [10]. The classification tool proposed in this article is more discriminative than common descriptive acceptance criteria, and can easily be added in a validation protocol or procedure. And the information about the performances of the method will be more instructive than the classical validated status of an analytical method. Références/References 1/ ICH Q2(R1) guideline. - Available at 2/ USPC. - USP 30-NF 25, Chapter <1080>. - Rockville, / Small Molecules Collaborative Group and USPC Staff. - Performance Based Monographs. - Pharm. Forum, 35 (3), , / Johnston D. - The Decline of Six Sigma. - Pharm. Tech. Eur., 15, 57-61, / Hubert P. et al. - Validation des procédures analytiques quantitatives. Harmonisation des démarches. - STP Pharma Prat., 13 (3), , / Hubert P. et al. - Validation des procédures analytiques quantitatives. Harmonisation des démarches, Partie II. Statistiques. - STP Pharma Prat., 16 (1), 30-60, / Hubert P. et al. - Validation des procédures analytiques quantitatives. Harmonisation des démarches, Partie III. Exemples d application. - STP Pharma Prat., 16 (2), , / Dejaegher B. et al. - Improving method capability of a drug substance HPLC assay. - J. Pharm. Biomed. Anal., 42, , / de Fontenay G. - Analytical method transfer: new descriptive approach for acceptance criteria definition. - J. Pharm. Biomed. Anal., 46, , / de Fontenay G. - From validation results to analytical assay design: how to limit the OOS risk? - Poster #R6029, AAPS Annual Meeting, Atlanta, Adresse des auteurs/authors address Gérald de Fontenay*, département Analyse pharmaceutique Jérôme Respaud, département Contrôle qualité Pascal Puig, département CMC/RA Camille Lemaire, département Biostatistiques Avogadro, Parc de Genibrat, F Fontenilles *gerald.defontenay@avogadro.fr 10 STP PHARMA PRATIQUES - volume 21 - N 2 - mars-avril 2011