Bonjour, Je remercie les organisateurs de l opportunité qui m est donnée de présenter aujourd hui les tout premiers résultats de l essai Optimon.

Transcription

1 Bonjour, Je remercie les organisateurs de l opportunité qui m est donnée de présenter aujourd hui les tout premiers résultats de l essai Optimon. 1

2 Optimon comparait deux stratégies de monitorage. L une, calquée sur les pratiques de l industrie, était très intensive avec 100% des données contrôlées sur site. L autre était adaptée en fonction du risque encouru par le patient dans la recherche. Ce risque était évalué via une grille à 4 niveaux, A étant le plus faible et D le plus élevé. Optimon évaluait l hypothèse qu il est possible de définir a priori une stratégie de monitorage adaptée au risque pour chaque étude, qui fournira des résultats similaires à ceux de la stratégie 100% sur site sur les principaux critères de qualité, et se montrera supérieure sur d autres aspects tels les coûts ou les délais de complétude de l étude. Nous sommes donc dans une situation typique de non infériorité. 2

3 Optimon est donc un essai de non infériorité, randomisé en grappes. Des Centres de Méthodologie et de Gestion d études de recherche clinique académiques ont été contactés ont proposé des études et des sites investigateurs, qui ont inclus des patients. Un Comité de Validation a été mis en place pour valider le niveau de risque encouru par le patient dans l étude, et l implémentation pratique dans l étude du plan de monitorage défini dans le protocole Optimon. Il n y avait aucun critère d éligibilité sur le patient. Les études de risque le plus élevé étaient exclues car pour elles, il faut absolument un monitorage sur site intensif. Les CMG devaient être expérimentés et labellisés. 3

4 La stratégie de randomisation était soit la stratégie 100% sur site, soit la stratégie adaptée au risque. La randomisation portait sur le site investigateur, et elle était stratifiée selon le niveau de risque et l étude. 4

5 Dans la stratégie 100% sur site, toutes les données de tous les patients dans tous les sites étaient contrôlées sur site. Au contraire, dans la stratégie adaptée sur site, l intensité du monitorage sur site était de plus en plus allégée quand le niveau de risque diminuait. Ainsi, il n y avait aucune visite sur site pour le risque A, le plus faible, et une visite par site pour le risque C, le plus élevé dans Optimon. 5

6 Les patients étaient inclus dans l étude, et donc dans Optimon. Leurs dossiers étaient monitorés selon la stratégie de randomisation. 6

7 Après un nettoyage final de la base, les données étaient transférées à l équipe Optimon. 7

8 Les ARC d Optimon se rendaient ensuite sur site pour vérifier l exactitude des données. Le critère principal d Optimon était la proportion de dossiers patients sans non conformité portant sur la signature du consentement, la déclaration des EIG, les critères d éligibilité majeurs et le critère de jugement principal de l étude. Ce critère a été systématiquement validé par le Comité de Validation. Les critères secondaires portaient sur les non conformités, les coûts et les délais. 8

9 La taille de l essai avait été calculée avec une marge de non infériorité de 11%, en faisant l hypothèse d un taux de succès de 95% avec la stratégie 100% sur site, et d une corrélation intrasite forte, de 60%. Nous avions donc prévu d inclure 900 patients. 9

10 Plus de 100 structures ont été contactées. 23 ont proposé 59 études, parmi lesquelles 22 ont finalement été incluses. Il y avait 8 études en risque A, 4 en B et 10 en C. 20 études étaient des recherches biomédicales, et 15 des essais. Tous les grands domaines cliniques étaient représentés, sauf le cardio-vasculaire. 19 études portaient sur des maladies chroniques. Quelques études portaient sur des populations particulières : hommes, femmes, enfants, personnes âgées. 10

11 Avec ces 22 études, nous attendions 83 sites et 954 participants, mais certains sites n ont pas, ou ont mal, recruté. Au final, il n y a eu que 759 participants inclus dans 68 sites investigateurs. Les proportions d hommes et de femmes étaient très proches. Le plus jeune participant avait 3 mois et le plus vieux 92 ans. L ancienneté de la maladie allait de 1 jour à 48 ans. 11

12 Avant d aller plus loin, je voudrais revenir sur ce que j appelle "non-conformité«. Dans Optimon, une non conformité est un écart au protocole et aux BPC créée par le site investigateur, et non détectée par le CMG, donc restant après application de la stratégie de monitorage randomisée. Par ailleurs, le Comité de Validation a distingué les non conformités majeures, comme celles particulièrement graves en regard des droits et de la sécurité du participant, et de la validité des résultats de l étude. Cette définition peut être un peu floue, aussi je vais vous donner quelques exemples de non conformités majeures. Le consentement doit être signé par un médecin habilité, et nous avons trouvé des consentements signés par un interne. Tout EIG doit être déclaré, et nous avons trouvé un choc septique non déclaré. Pour un critère d éligibilité majeur mais composite, l un des sous critères était un tour de taille en dessous d un certain seuil. Le médecin devait donc faire une mesure avec un mètre-ruban et noter le résultat dans le dossier médical pour vérification ultérieure. Nous n avons trouvé aucune mesure dans le dossier médical, car le médecin appréciait à l œil si le tour de taille était au-dessus ou au-dessous du seuil. Enfin, pour le critère de jugement principal d une étude, un des sous-critères était le taux de lymphocytes CD4+. Nous avons trouvé une valeur à 730 dans le cahier d observation, alors que la valeur du dossier médical était Vous le voyez, il s agit d erreurs vraiment graves et portant sur des données clé. 12

13 Au total, 1002 non conformités ont été retrouvées par les ARC Optimon après application de la stratégie de monitorage, dont 465 étaient des non conformités majeures. Dans la suite de mon exposé, je ne commenterai que les résultats sur les non conformités majeures. La moitié des non conformités majeures portait sur le critère de jugement principal, et l autre moitié se répartissait également dans les autres catégories. 13

14 La proportion de dossiers participants sans non conformité était de 63%. Dans la stratégie 100% sur site, cette proportion montait à 66%, et elle n était que de 60% dans la stratégie adaptée au risque. Au final, plus d un tiers des dossiers participants comportait au moins une non conformité majeure après application de la stratégie de monitorage. 14

15 Je ne vais pas détailler les aspects statistiques du test de comparaison des stratégies, qui se fait via un modèle. La différence entre les stratégies est de 8%, ce qui est plutôt faible. La borne supérieure de l intervalle de confiance unilatéral de la différence entre stratégies sur le critère de jugement est de 22%, bien au-dessus de la marge de non infériorité fixée a priori à 11%. Donc la non infériorité de la stratégie adaptée au risque n est pas démontrée. 15

16 Il y a deux explications à cet échec à démontrer la non infériorité. Tout d abord, la différence entre les stratégies est plutôt faible et pourrait paraître acceptable, mais elle est déjà trop forte par rapport à une marge de non infériorité fixée à 11%. Mais surtout, la puissance a posteriori manque de puissance : le recrutement des participants et des sites a été bien inférieur à ce qui était attendu. Mais finalement, le résultat le plus important est qu aucune des deux stratégies ne s approche du niveau de qualité qu on est en droit d attendre : moins d un tiers des dossiers participants sans non conformité, c est très peu, et très loin de l objectif de 95% utilisée pour le calcul de taille d étude. A cela, il y a plusieurs explications possibles. Tout d abord, certains CMG négligent systématiquement une même erreur, ce qui pénalise fortement leur niveau de performance. Malgré tout, mêmes les "bons" CMG n atteignent pas l objectif, le meilleur se situant à 89%. Ensuite, notre hypothèse de départ était à l évidence trop optimiste. Nous pensions que les BPC étaient pleinement intégrées et appliquées, au moins sur les données clé, par la recherche clinique académique française, et ce n est pas le cas. Il y a donc un gros travail d amélioration à faire. Enfin, il se peut que les ARC Optimon, dans leur recherche des non conformités, se soient montrés trop tatillons et qu ils n aient trouvé trop. Après tout, le guide des BPC n est pas un manuel pratique, et la définition d une non-conformité dépende de leur interprétation. Le Comité de Validation a beaucoup réfléchi à cette question et prône une 16

17 mise en œuvre des BPC selon leur esprit, plutôt que selon le principe de précaution. 16

18 Ces résultats sont donc décevants à plus d un titre. Pourtant, Optimon a permis le recueil de données uniques sur la nature des non conformités observées dans la vraie vie sur des études très variées. Ces données vont permettre d identifier des pistes d amélioration. Le travail d analyse est loin d être fini mais il est déjà évident qu il y a un problème avec la rédaction du formulaire de consentement, qui pousse à la faute. La rédaction du cahier d observation pour les critères composites, qu il s agisse de critères d éligibilité ou de jugement, génère également beaucoup de non conformités. Enfin, les dossiers médicaux sont trop souvent incomplets. Il faut donc faire preuve de créativité, et proposer des outils aidant les sites à commettre moins d erreurs et les CMG à mieux les détecter. Par exemple, le formulaire de consentement masqué a montré son efficacité. Une autre piste est le monitorage statistique qui tire parti des données de monitorage accumulées dans la base et surtout dans les cahiers d observation électroniques. Enfin, il va falloir entamer un débat et redéfinir nos objectifs de qualité. L objectif du zéro défaut n est pas atteignable, et il est probablement inutile. Les non conformités majeures sur les données clé doivent être ciblées en priorité. Plus que jamais, il convient de revoir l interprétation des BPC et d en pointer les lacunes. 17

19 Pour finir, je voudrais remercier les promoteurs et les CMG qui ont inclus leurs études dans Optimon 18

20 ainsi que toutes les structures académiques de recherche clinique qui ont porté ou soutenu l essai Optimon, et en particulier le Comité de Validation qui a fait un travail primordial de validation et de réflexion sur la nature et la gravité des non conformités. Je vous remercie de votre attention. 19