14. Le protocole Composantes du protocole

Transcription

1 14. Le protocole La méta-analyse, à quelques réserves près, s inscrit dans la démarche hypothéticodéductive, imposant la rédaction d un protocole a priori. Le protocole prévoit, a priori, l ensemble des choix qui sont faits pour réaliser la méta-analyse. Son but est d éviter que le déroulement du travail ne soit inf luencé par des résultats trouvés en cours de réalisation (exclusion de tel ou tel essai par exemple). Comme dans les essais thérapeutiques, le protocole peut nécessiter des modifications a posteriori pour s adapter à des circonstances non suspectées au préalable. Ces modifications doivent être exceptionnelles et sont décrites dans le protocole et dans le rapport. Ces changements ne devront jamais être motivés par les résultats. Si, au moment de la rédaction du protocole, certains choix stratégiques s avèrent difficiles à prendre, il est possible d envisager la réalisation d une étude pilote. Ses objectifs seront de parfaire les connaissances du domaine afin de mieux planifier la méta-analyse. Le protocole et les résultats de l étude pilote, ainsi que les choix qui en découlent devront être mentionnés dans le rapport final de la méta-analyse Composantes du protocole A) Justification et objectifs Le protocole commence par la formulation du problème, avec un bref rappel des données médicales qui justifient la réalisation de la méta-analyse. A partir de la description de l état des lieux (essais déjà réalisés, questions résolues ou partiellement résolues, problèmes en suspens), les hypothèses de la méta-analyse doivent être formulées de façon précise. Ces hypothèses sont les questions toujours en suspens auxquelles la méta-analyse devra tenter de répondre. Des questions posées, dépendent en partie les populations, les types d intervention et la nature des critères de jugement qui seront concernés par la méta-analyse. Si la méta-analyse doit s intégrer dans un processus de prise de décision (décider si un traitement doit être utilisé en pratique courante), il est impératif de définir un objectif principal unique. La prise de décision se basera alors sur un unique test statistique, se protégeant ainsi contre les risques non contrôlés liés à la répétition des

2 124 Le protocole tests statistiques. En effet, plus le nombre de critères de jugement augmente, plus le risque d obtenir au moins un test statistique significatif à tort augmente. Retenir ce test significatif pour conclure à l existenceexistance de l effet fait courir un risque d erreur important. Les autres objectifs que pourrait avoir la méta-analyse deviennent secondaires et ne sont envisagés qu à titre documentaire et non comme base de la décision. Prise de décision = Définition d un objectif principal unique Cette restriction disparaît pour une méta-analyse dont le but est seulement de faire une synthèse descriptive dans un domaine où aucun problème de décision ne se pose (car le traitement a déjà été adopté en pratique courante). B) Définition des essais pertinents Cette partie du protocole définit les caractéristiques des essais compatibles avec les questions posées et à inclure. Ces essais se définissent par le type des sujets recrutés, la nature des interventions utilisées et le type des critères de jugement utilisés. Les caractéristiques méthodologiques souhaitées sont aussi précisées. Les exigences faites sur ce point dépendront de l état d avancement méthodologique et de la faisabilité des essais randomisés dans le domaine considéré. C) Recherche des essais La liste des moyens qui seront mis en œuvre pour rechercher les essais est décrite dans le protocole. Il convient aussi de préciser les critères qui autoriseront à mettre fin à la procédure de recherche (date ou autre critère). La définition d une date butoir est nécessaire car, en général, il est très difficile de garantir l exhaustivité d une recherche pour les derniers mois qui la précédent (délai d enregistrement des références dans les bases informatisées par exemple). Cette date butoir fixe la date de publication, au delà de laquelle, des essais, mêmes identifiés, ne seront plus pris en considération. D) Méthodes Les différentes méthodes retenues pour la réalisation de la méta-analyse sont décrites: méthode de sélection des essais : sélection en aveugle ou en ouvert, nombre de personnes réalisant la sélection,

3 Composantes du protocole 125 méthode pour apprécier la qualité méthodologique, méthode utilisée pour extraire les données. Un exemplaire de la fiche d extraction peut être mis en annexe au protocole. E) Méthodes statistiques La méthodologie statistique doit être détaillée en précisant : Le type d information sur lequel portera la méta-analyse (cf. 3.4) : résultat qualitatif (méthode des votes), degré de signification statistique (combinaison des p), valeurs des critères de jugement. Les techniques de calculs utilisées et les modalités du choix de la méthode finalement retenue. En effet, avec un critère de jugement binaire, de nombreuses méthodes de calcul sont possibles. Il convient de fixer dans le protocole la démarche retenue pour choisir la méthode avec laquelle les résultats seront obtenus (cf ). Pour les critères de jugement continus, la méthode des effets standardisés ( effect size ) est généralement utilisée et peut être choisie d emblée dans le protocole (cf. chapitre 21). Le seuil de signification statistique retenu pour le test de l effet (test d association) et pour le test d hétérogénéité: 5% ou 1% (cf. 5.2). La méthode de prise en compte des nombres d événements nuls dans le calcul des rapports des cotes ou des risques relatifs. Pour les critères continus, le type de variance retenu et les solutions de recours en cas de non publication (variance commune, du groupe contrôle, variance estimée à partir des résultats des tests) La conduite à tenir en cas d hétérogénéité : utilisation d un modèle aléatoire, analyse exploratoire des causes d hétérogénéité (cf. chapitre 24). F) Analyses en sous-groupes et analyses de sensibilité La définition a priori des sous groupes est impérative pour justifier d un choix indépendant des résultats (cf. 24.2). Les différentes analyses de sensibilité prévues seront listées, ainsi que les règles à adopter pour discuter leurs résultats et tirer des conclusions.

4 126 Le protocole G) Annexes Les annexes du protocole sont constituées par : les références bibliographiques, la fiche de recueil des données, l historique des modifications successives apportées au protocole pendant la réalisation du travail Les difficultés de la rédaction a priori d un protocole Le protocole doit être rédigé a priori, avant le début de la réalisation de la métaanalyse, et les choix et décisions qui seront protocolisés ne doivent pas être inf luencés par la connaissance des résultats des essais. L idéal n est cependant pas de faire écrire le protocole par une personne n ayant aucune connaissance des essais du domaine. Pourquoi s intéresser à un sujet que l on ne connaît pas? Comment poser les bonnes questions auxquelles devra répondre la méta-analyse si l on ignore tout du domaine? En fait, il est primordial d éviter que la sélection des essais ou que le choix de la méthode favorise un résultat particulier. A partir du moment où ce principe est respecté, une connaissance du domaine permet de canaliser les choix stratégiques. Cependant, il convient de se méfier de la fausse impression que l on peut avoir de connaître tous les essais réalisés sur un sujet. Par exemple, ce n est pas parce que l on ne connaît pas d essais avec une molécule ou avec un type de patients bien particulier, qu il n en existe pas. Ne pas prendre en considération dans le protocole cette molécule, sous prétexte qu il ne sera pas possible de réaliser une méta-analyse par manque supposé d essais est une erreur. La non-réalisation d une méta-analyse pour non existence d essais ne peut être décidée qu après une recherche systématique des essais et non a priori sur une connaissance forcément non exhaustive de la littérature. Cette problématique illustre bien la difficulté de la rédaction du protocole. Une connaissance du domaine est indispensable, mais le protocole doit être écrit dans une démarche rigoureuse, envisageant l ensemble des possibilités pouvant se présenter dans l absolu (molécules utilisées dans la maladie considérée, type de patients). La décision de ne pas faire la méta-analyse, dans tel ou tel sous-groupe, provient des données réellement trouvées. Par exemple, le protocole part sur le principe d étudier toutes les molécules existantes dans la classe pharmacologique envisagée, sans préjuger du nombre d essais existants pour telle ou telle molécule. Ce n est que lors

5 Protocole type 127 de la réalisation de la méta-analyse, qu une molécule peut être abandonnée si aucun essai n a été trouvé lors de leur recherche systématique. Un protocole doit hiérarchiser ses exigences et prévoir des alternatives pour les situations qui s avéreraient impossibles à réaliser à partir des données existantes. Des articulations entre les points du type: «le mieux serait de procéder de telle façon..., mais si, en pratique, cela s avère impossible on procédera de la façon suivante...» peuvent être prévues au protocole. Exemple 14.1 La mortalité à court terme sera la mortalité à 30 jours. Cependant, si les informations disponibles ne permettent pas de récupérer ce critère de jugement pour une majorité d essais, la mortalité à court terme sera évaluée en prenant les définitions retenues dans chaque essai. Pour être sélectionnés, les essais devront avoir utilisé des doses d héparine ajustées permettant d obtenir un TCK entre 2 et 3 fois la valeur du témoin. Cependant, si cette information n est pas rapportée par une majorité d essais, ce critère de sélection ne sera pas utilisé. Les concessions faites à la méta-analyse «idéale» seront discutées dans le rapport et les conséquences sur le niveau de preuve clairement précisées Protocole type Le document reproduit sur les pages suivantes, représente un exemple de protocole pouvant s adapter à un grand nombre de méta-analyses utilisant des critères de jugement binaires. Seules les parties méthodologiques qui ne dépendent pas du domaine d intérêt et qui peuvent ainsi être facilement transposées d une méta-analyse à une autre ont été développées.

6 128 Le protocole page 1 du protocole

7 Protocole type 129 page 2 du protocole

8 130 Le protocole page 3 du protocole

9 Protocole type 131 page 4 du protocole

10 132 Le protocole page 5 du protocole

11 Protocole type 133 page 6 du protocole

12 134 Le protocole page 7 du protocole

13 Protocole type 135 page 8 du protocole

14 136 Rapport de méta-analyse page 9 du protocole