COMPARAISON DE LOGICIELS TESTANT L INDEPENDANCE DE VARIABLES BINAIRES

Transcription

1 J. sci. pharm. biol., Vol.9, n - 00, pp. 9-0 EDUCI 00 9 VALLEE POLNEAU S.* DIAINE C. COMPARAISON DE LOGICIELS TESTANT L INDEPENDANCE DE VARIABLES BINAIRES Notre étude visait à comparer les résultats obtenus à partir de logiciels de statistique utilisés pour tester l indépendance de variables. Nous avons utilisé le logiciel MS Excel 00 et 4 logiciels disponibles gratuitement en ligne et d usage facile par les professionnels de la santé (SISA, graphpad, langsrud, statpages. Les tests d indépendance réalisables à partir de ces logiciels sont les tests de khi deux, de Yates et le test exact de Fisher. Le calcul du degré de signification est le paramètre utilisé pour conclure quant à l indépendance ou non des variables testées sur des données simulées mais observables en pratique. L évaluation de la précision des résultats a été un critère de qualité du logiciel employé. RESUME Les degrés de signification obtenus à partir des différents logiciels étaient similaires. Tous les logiciels présentaient des précisions au moins équivalentes à quatre décimales. L utilisation indifférenciée des logiciels de statistique en ligne et de MS Excel est possible dans des conditions relatives au risque d erreur consenti et les précisions fournies assurent la qualité de tels logiciels. Les professionnels de la santé peuvent y recourir pour tester l indépendance de variables en maitrisant les conditions d emploi. Mots-clés : Logiciels, Statistique, Tests, Indépendance. -Département de Biostatistique, UFR des Sciences Pharmaceutiques et Biologiques, Université de Cocody- Abidjan, Côte d Ivoire. *Correspondance : spolneau@gmail.com ; BP Abidjan. J. sci. pharm. biol., Vol.9, n - 00 VALLEE POLNEAU S. & al. : Comparaison de logiciels testant l indépendance de... EDUCI 00.

2 94 SUMMARY Our study aimed to compare results from different statistical software used to test the independence of variables. We used software with, free online access which could be easily used by health professionals (SISA, graphpad, langsrud, statpages and MS Excel 00. Khi square, Yates and Fisher exact test were used to test independence between variables. The p-value allows to conclude about the independence or not of the variables performed on simulated data that can be encountered on real data. The evaluation of the accuracy of results highlight quality of the software. The p-value obtained from different software were similar. All software presented accuracy at least equivalent to four decimal places. The use of statistical software online and MS Excel is possible with respect to the error risk and the accuracy provided will ensure the quality of such software. Therefore, Health professionals can use them to test the independence of variables. Key words : Software, Statistical, Test, Independence. La biostatistique concerne la science statistique du monde vivant. Sa reconnaissance par la communauté scientifique est récente et a pris de l ampleur depuis les progrès réalisés en informatique et le développement des logiciels de statistique [Ancelle 00, Bouyer 99, Ladiray 004]. La biostatistique a deux buts : décrire et inférer. La description se limite aux observations menées sur un échantillon (ou fraction de la population tandis que l inférence vise à extrapoler les résultats mesurés sur l échantillon à la population entière. Cependant l inférence est inévitablement associée à la survenue d erreurs attribuables à divers facteurs. Ce sont par exemple les fluctuations d échantillonnage et les erreurs systématiques liées à l instrument de mesure. Ces erreurs systématiques sont connues. Tout le problème réside dans le choix adéquat du test statistique d inférence [Ancelle 00]. Dans de nombreux secteurs de la pharmacie (recherche, industrie, biologie et de la médecine (recherche et pratique hospitalière, le recours à la statistique inférentielle est indispensable, en particulier lors de la recherche d indépendance entre des variables. A cet effet, les tests de khi deux de Pearson [Cochran 9], de khi deux corrigé par Yates [94] et le test INTRODUCTION exact de Fisher [Schwartz 99] sont les plus fréquemment employés. En pratique, les tests de khi deux et de Yates nécessitent des conditions d application [Ancelle 00, Bénazeth 00, Schwartz 99] puisque les tailles d échantillons doivent être «suffisantes». Il existe cependant des situations où ces tailles d échantillons sont «insuffisantes». On ne peut alors utiliser le test de khi deux ou de Yates. Une alternative est le test exact de Fisher qui ne requiert pas de condition particulière sur la taille des échantillons. Il est important de noter que la taille limite permettant de distinguer les petits des grands échantillons a été établie au début du XX ème siècle. Au XXI ème siècle, grâce au développement de l informatique et des logiciels de statistique, les contraintes technologiques ont été levées. Il nous est donc apparu nécessaire de mener une analyse d une part pour quantifier les différences d erreur et de précision des tests d indépendance fréquemment employés (tests de khi deux de Pearson et de Yates, test exact de Fisher et d autre part pour comparer le logiciel MS Excel et des logiciels disponibles gratuitement en ligne et pouvant être utilisés facilement par des professionnels du domaine des sciences de la santé. J. sci. pharm. biol., Vol.9, n - 00 VALLEE POLNEAU S. & al. : Comparation de logiciels testant l indépendance de... EDUCI 00.

3 9. MATERIEL ET METHODES MATERIEL Nous avons choisi le logiciel MS Excel 00 et cinq logiciels disponibles gratuitement en ligne. Ces derniers ont été choisis en tenant compte de leur gratuité et la facilité d utilisation par des professionnels du domaine des sciences de la santé et non statisticien. Ces logiciels sont SISA, graphpad, langsrud et statpages disponibles en ligne respectivement aux adresses suivantes : - fisher.htm METHODE Afin d évaluer la précision des différents logiciels et de quantifier la différence des conclusions portées selon le test employé, nous avons comparé les résultats fournis par ces logiciels après analyse d un exercice pris comme cas à traiter à partir de données simulées. Exemple de cas à traiter : Supposons qu une équipe médicale s intéresse à la recherche d indépendance entre l ingestion d un médicament anxiolytique et la survenue d un effet indésirable paradoxal comme l insomnie sur un échantillonnage de petite taille de patients et de sujets témoins. L effectif total est considéré «peu important» car l ensemble des patients et témoins retenus dans l étude d indépendance est inférieur à 0. Pour répondre à la question posée, l équipe médicale teste donc l hypothèse d une indépendance des variables X et Y. X représentant la variable : ingestion d anxiolytique et Y la variable survenue d insomnie. Traitement du cas par MS Excel avec le test de khi deux Les observations sont regroupées dans un tableau de contingence à lignes (ingestion de l anxiolytique ou non et à colonnes (survenue d insomnie ou non. La version classique de MS Excel nécessite le calcul du critère de test de khi deux que nous rappelons à travers la figure. Les valeurs observées notées o ij pour chaque cellule du tableau de contingence sont saisies dans une feuille de calcul Excel. Puis les valeurs théoriques ou espérées notées e ij sont calculées pour chaque cellule à partir de la formule présentée par la figure a : La statistique du khi deux noté X est obtenue par la sommation présentée par la figure b. - Un facteur de correction de continuité est employé pour obtenir la statistique du khi deux lorsqu au moins un des effectifs théoriques (e ij appartient à l intervalle [ ;[ et la statistique du khi deux corrigé de Yates est alors obtenue à partir de la relation présentée à la figure c. De la connaissance de la statistique du khi deux (qu elle prenne ou non en compte le facteur de correction et du nombre de degrés de libertés (ddl, le degré de signification du test est précisé grâce à une fonction d Excel : = LOI.KHIDEUX (X ; ddl En pratique, comparer le degré de signification noté p au risque d erreur de première espèce généralement fixé à % pour répondre à des questions de santé publique permet de conclure quant à l indépendance ou non de l ingestion de l anxiolytique et la survenue d insomnie. J. sci. pharm. biol., Vol.9, n - 00 VALLEE POLNEAU S. & al. : Comparaison de logiciels testant l indépendance de... EDUCI 00.

4 9 Traitement du cas par MS Excel avec le test exact de Fisher Le test exact de Fisher est basé sur la détermination de tous les tableaux de contingence ayant les mêmes marges. La comparaison de l indépendance entre la ligne et la colonne de chaque tableau de contingence possible est réalisée par la fonction Excel : = LOI.HYPERGEOMETRIQUE (o ; n ; n ; n où les arguments sont : o : nombre de sujets présentant une insomnie dans l échantillon n : taille de l échantillon n : nombre de sujets présentant une insomnie dans la population n : taille de la population La probabilité de l indépendance entre les variables étudiées à partir du tableau observé est déduite. Cette probabilité notée comparée au risque d erreur de première espèce préalablement fixé permet de conclure quant à l indépendance ou non de l ingestion de l anxiolytique et la survenue d insomnie. Traitement du cas par les logiciels gratuits en ligne Pour les quatre logiciels évalués (SISA, graphpad, langsrud, statpages, nous avons saisi les effectifs observés dans les 4 cases du tableau de contingence prévues à cet effet sur le site du logiciel. Ce dernier procède à l exécution automatique des calculs programmés après que nous ayons cliqué sur le bouton «calculate». Variables analysées Afin d évaluer la précision des outils employés et de quantifier la différence des conclusions portées selon le test employé, nous avons considéré le cas traité avec le logiciel MS Excel. Pour chaque logiciel nous avons à partir du cas traité, obtenu les valeurs des degrés de signification des tests de chi deux corrigé par Yates et exact de Fisher. Pour chaque test, la comparaison du degré de signification au risque d erreur de première espèce a permis de conclure quant à l indépendance ou non de l ingestion de l anxiolytique et la survenue d insomnie. Quatre décimales significatives nous sont apparues suffisantes pour juger de la précision des résultats fournis par les différents logiciels. Evaluation de la précision de la statistique de test et du degré de signification Les logiciels en ligne fournissent des résultats du degré de signification variant entre - et - près. Le logiciel Excel permet d obtenir une précision à -9 près. Les résultats obtenus à partir d Excel ont été arrondis à -4 près. Les degrés de signification fournis par les logiciels MS Excel 00, SISA, graphpad, langsrud et statpage sont similaires, comme l atteste le tableau I. Ce tableau présente les résultats de la recherche d indépendance de l ingestion d anxiolytique et de la RESULTATS survenue d une insomnie au moyen de tests de khi deux et exact de Fisher réalisé sur deux tableaux de contingence. Résultats comparatifs de la recherche d indépendance entre le test de khi corrigé par Yates et le test exact de Fisher. Le tableau II présente les résultats comparatifs de la recherche d indépendance entre l ingestion de l anxiolytique et la survenue d une insomnie dans les cas d utilisation du test de chi deux corrigé par Yates et du test exact de Fisher réalisés sur treize tableaux de contingence. J. sci. pharm. biol., Vol.9, n - 00 VALLEE POLNEAU S. & al. : Comparation de logiciels testant l indépendance de... EDUCI 00.

5 9 Ce tableau montre de légères différences de degré de signification représentant au maximum - selon l application du test de χ ou du test exact de Yates Fisher. Malgré ces légères différences, les conclusions d indépendance entre l absorption d anxiolytique et la survenue d insomnie demeurent similaires au risque de première espèce de % quel que soit le test employé dans ces cas particuliers des tableaux de contingence présentés. Simulations à : p > et tous deux sont inférieurs à % Simulations 9 et : p = Simulations à : p < et tous deux excèdent % Simulations à : p et sont dans les conditions limites de significativité puisque proches de %. Tableau I : Résultats comparatifs des statistiques obtenues sous MS Excel et les logiciels en ligne Simulation o (e o (e o (e o (e X (p sous Excel X (p sous Graphpad Excel GraphpAD langsrud SISA statpage (, (, (, (, 4, (0,0409 4, (0,0409 0,04 0,04 0,04 0,04 0,04 ( ( ( 9 ( (p : degré de signification : degré de signification du test exact de Fisher,00 (0,0,00 (0,0 0,00 0,00 0,00 0,00 0,00 Tableau II : Résultats comparatifs des tests de Yates et de Fisher exact Simulation 4 9 o (e (, (4, (, (4, (, (9,4 (, (, (,9 (9, ( 9 (, o (e (4, (, (4, (4, (, (, (4, (, (, (, ( (4, O (E (, (4, (, (, (, (, (, (, 4 (, 4 (, ( (, O (E (4, (4, (, (4, (, (4,4 (, (, (,9 (4, ( (4, Degré de signification p χ Yates Indépendance DE X ET Y χ Yates Degré de signification (test exact de Fisher Indépendance de X et Y (test exact de Fisher 0,00 Non 0,00 Non 0,009 Non 0,000 Non 0,0 Non 0,0 Non 0,09 Non 0,0 Non 0,0 Non 0,049 Non 0,049 Non/Oui a 0,049 Non/Oui a 0,0 Oui/Non b 0,049 Oui/Non b 0,044 Oui/Non b 0,04 Oui/Non b 0,0 Oui 0,0 Oui 0,0 Oui 0,0 Oui 0,09 Oui 0,0900 Oui 0, Oui 0, Oui 0,0 Oui 0,4 Oui (, (, (, (, X : ingestion d anxiolytique Y : survenue d insomnie a Non/Oui : conclusion limite entre le non rejet de l indépendance des variables et le rejet b Oui/Non : conclusion limite entre le rejet de l indépendance et le non-rejet. J. sci. pharm. biol., Vol.9, n - 00 VALLEE POLNEAU S. & al. : Comparaison de logiciels testant l indépendance de... EDUCI 00.

6 9 e ij a : Calcul des valeurs théoriques ou espérées total marg inale ligne i total m arg inale colonne = total général ( j χ b : Calcul du khi deux ( o e ij calculé = i, j eij ij χ c : Calcul du khi deux corrigé de Yates calculé Yates = i, j ( o e 0, ij ij e ij Figure : Formules des calculs à réaliser sous MS Excel Les articles concernant la comparaison de logiciels statistique sont nombreux [Ibrahim 00, Ladiray et al 004, Thomas 99]. Les travaux de Ladiray et Quenneville [004] représentent une des revues les plus récentes synthétisant ces études comparatives incluant MS Excel 000 et des logiciels plus fréquemment utilisés en économétrie ou en recherche tels que SAS. et., Stata, SPSS.. Précisons que MS Excel n est pas un logiciel dédié aux calculs statistiques mais les nombreuses fonctions de statistique permettent néanmoins de l employer avec précaution dans le traitement statistique des données. Notre recherche bibliographique ne nous a pas permis de trouver des travaux comparatifs de MS Excel 00 ou de versions antérieures avec des logiciels de statistique en ligne. Ceci pourrait s expliquer par un contexte socio-économique différent entre les pays développés et les pays en voie de développement. En effet, les utilisateurs des logiciels de statistique des pays développés sont des statisticiens qui disposent d outils DISCUSSION et de logiciels spécialement conçus pour eux. De tels logiciels sont chers et sont donc peu accessibles aux utilisateurs des pays en voie de développement. L inconvénient de l utilisation des logiciels statistique en ligne réside dans la méconnaissance du programme informatique réalisé par les concepteurs de tels logiciels et donc dans la méconnaissance de la méthode exacte employée. En effet il existe des variantes des différents tests réalisés. Ainsi le test de Fisher exact présente jusqu à quatre variantes [Campbell 00] et le principe ou la méthode de calcul de ces tests effectués par les logiciels en ligne ne sont pas mentionnés. Les utilisateurs non statisticiens de ces différents logiciels en quête de contrôle et/ou de confirmation de certains résultats pourraient être déroutés en obtenant des résultats non strictement identiques alors que les arrondis et les troncatures successives réalisés en machine peuvent expliquer les divergences rencontrées [Ladiray et al 004]. Une autre J. sci. pharm. biol., Vol.9, n - 00 VALLEE POLNEAU S. & al. : Comparation de logiciels testant l indépendance de... EDUCI 00.

7 99 raison de ces divergences pourrait être liée à l algorithme de calcul faisant appel pour le calcul de test de khi deux à des méthodes approximatives dans certains logiciels ou à des méthodes exactes utilisant des fonctions de distributions asymétriques dans d autres logiciels [Thomas et al, 99]. Les nouvelles versions des logiciels existants ou les nouveaux logiciels élaborés visent à améliorer leur qualité par une augmentation de la précision, de la performance, de la reproductibilité et de la puissance (capacité à détecter une différence qui existe réellement des tests qu ils proposent. Nos analyses se sont limitées à l évaluation de la précision pour juger de la qualité de MS Excel et des logiciels en ligne testés pour déterminer l indépendance ou non de variables. Des travaux portant sur la précision et/ou les autres critères de qualité ont été menés par Thomas et Krebs [99] puis par Ladiray et Quenneville [004]. Ces travaux nécessiteraient une actualisation après les mises à jour successives et le développement des logiciels conçus ultérieurement à ces travaux. Ceux de Campbell [00] plus récents ont permis la comparaison des tests d indépendance de khi deux, de Yates et de Fisher exact. Ils ne se sont pas intéressés aux logiciels employés s écartant ainsi partiellement de l objectif principal de notre étude. Parmi les logiciels que nous avons testés, hormis SISA qui fournissait des résultats avec une précision de décimales, les autres logiciels en ligne étaient moins précis que le logiciel MS Excel 00. En général, une précision au milliardième près ou au-delà apparaît superflue en particulier en pharmacie biologique, clinique ou industrielle. En effet d une part les appareils de mesure des variables étudiées ne fournissent pas des résultats au milliardième près et d autre part une telle précision ne saurait modifier les décisions prises ou les conclusions obtenues avec une précision moindre c est-à-dire au dix millième près. La précision minimale étant atteinte pour tous les logiciels testés, ils demeurent donc utilisables de manière indifférenciée en sciences pharmaceutiques lors de l exécution de tests d indépendance de khi deux, de Yates ou de Fisher exact. Ladiray et Quenneville [004] ont utilisé le logarithme décimal de l erreur relative pour évaluer la précision. Ce paramètre leur a permis de montrer les faiblesses du logiciel MS Excel dans le calcul de l écarttype présentant un défaut de précision. Par contre, MS Excel s avérait précis lors de tests «faciles» d analyse de variance selon les mêmes auteurs mais ils n ont pas mesuré la précision des tests de Khi deux ou de Fisher exact réalisés avec MS Excel. Les travaux de Ladiray et Quenneville [004] ont fixé des contraintes de précision rigoureuses rencontrées dans des cas rares et extrêmes. Dans la majorité des autres cas, la précision que nous avions fixée (à quatre décimales près pour répondre aux questions d indépendance posées en sciences de la santé reste acceptable. Le choix du test statistique d indépendance des variables est fonction de la taille de l échantillon. La valeur de 0 sujets pour distinguer les grands échantillons des petits échantillons remonte à 9 lorsque Fisher établissait la table statistique moderne de Student [90]. En effet à cette époque, les tables étaient calculées manuellement. Cela nécessitait un travail laborieux qui a permis de détecter que pour un nombre de sujets valant 0, l erreur commise sur la valeur critique de la loi de Student était du même ordre de grandeur que le risque d erreur de première espèce de %. Les statisticiens puristes estiment cette limite «dépassée» dans le contexte du XXIème où les contraintes technologiques expliquant ce choix n existent plus et surtout lorsque le risque de première espèce est inférieur à % [Student 90]. J. sci. pharm. biol., Vol.9, n - 00 VALLEE POLNEAU S. & al. : Comparaison de logiciels testant l indépendance de... EDUCI 00.

8 0 Notre étude a permis d effectuer des tests au risque de première espèce de % et est donc en accord avec les conclusions des travaux de J. Lobry [00] quant au choix de la valeur critique du nombre de sujets à 0. Pour des risques de première espèce inférieurs à %, la limite de 0 n est pas recommandée et des logiciels de statistique plus précis s avèrent indispensables pour fournir des résultats fiables. Les tests de khi deux, de Yates et de Fisher exact réalisés dans le but de rechercher l indépendance des variables au moyen de MS Excel et des logiciels en ligne d accès gratuit ont montré des résultats de statistique de test, de degré de signification et de qualité similaires pour des précisions de l ordre de -4 et au risque de première espèce de %. La précision des résultats à quatre décimales près au minimum nous apparait suffisante pour répondre à un nombre important de questions posées en sciences pharmaceutiques, biologiques et médicales. CONCLUSION Les différents logiciels auxquels nous avons eu recours sont donc valides, utilisables de manière indifférenciée dans les cas simples de tests d indépendance de variables et sous les conditions relatives à la précision et au risque de première espèce. Ces logiciels disponibles sur la majorité des ordinateurs ou gratuits fournissent notamment aux utilisateurs des sciences de la santé une relative autonomie pour des explorations préliminaires et l estimation de liaisons éventuelles entre des variables. Les logiciels testés représentent donc des outils particulièrement appréciables dans les pays à ressources limitées. REFERENCES BIBLIOGRAPHIQUES Ancelle T. (00 Statistique Epidémiologie, Paris : Maloine. 00 p. Benazeth S, Boniface M, Demarquilly, Lasserre V, Lemdani M et Nicolis I. (00 Biomathématiques. Analyse, algèbre, probabilités, statistiques, Paris : Masson. 4 p. Bouyer J (99. Méthodes statistiques. Médecine- Biologie, Chapitre : Comparaison de deux pourcentages. ème éd.,paris: Inserm. p. Campbell I. (00 Chi square and Fisher - Irwin tests of two-by-two tables with small sample recommendations. Statistics in Medicine; : -. Cochran WG.(9 The X² test of goodness fit. Annals of Mathematical Statistics.: ; -4 Ibrahim IH CompBinary.doc/ Differences between statistical software packages (SAS,SPSS an MINITAB as applied to Binary Response Variable accédé le septembre 00. Ladiray D, Quenneville B. (004 La précision des logiciels statistiques. Revue de Statistique Appliquée 004 ; ( : -. Lobry J Etude empirique de l approximation de la loi de Student par la loi de Laplace-Gauss accédé le octobre 00. Schwartz D.(99 Méthodes statistiques à l usage des médecins et des biologistes.. 4ème éd., Paris : Médecine Sciences Flammarion. 4 p. Student. (90 The probable error of a mean. Biometrika ; :-. Thomas L, Krebs CJ.(99 A review of statistical power analysis software. Bulletin of the Ecological Society of America ; (:-9. Yates F. (94 Contingency tables involving small numbers and the test. Journal of the Royal Statistical Society Supplement; : -. J. sci. pharm. biol., Vol.9, n - 00 VALLEE POLNEAU S. & al. : Comparation de logiciels testant l indépendance de... EDUCI 00.