Introduction à l'analyse statistique des données

INTRODUCTION À L'ANALYSE STATISTIQUE DES DONNÉES CONCEPTS DE BASE Un certain nombre de concepts, préalables indispensables à la compréhension des analyses présentées, sont définis ici. De même pour quelques termes usuels de la Statistique. A ce propos, une des difficultés rencontrées fréquemment par l utilisateur est qu une même statistique peut être dénommée différemment selon les manuels, les articles, les disciplines, etc. C est la raison pour laquelle les différents synonymes existant (incluant l anglais) sont présentés systématiquement avec, en gras, le terme utilisé le plus souvent dans ces documents. Individus et variables Des informations ou variables ont été recueillies sur un certain nombre d unités ou individus. Les individus peuvent être des enfants, des pensionnaires d une maison de retraite, des fleurs, des pays, des catégories professionnelles, des termites Les variables peuvent être, un âge, un poids, une couleur, une note, un sexe, un salaire, un temps de résolution d une tâche, un département de naissance, un nombre d enfants, un parti politique préféré, un QI individu / personne / unité / sujet variable / caractère / information / attribut Un tableau de données Pour être analysé par un logiciel d analyse statistique des données, le tableau de données devra se présenter sous cette forme (cf. Tableau 1) que l on désigne par Tableau Individus Variables En lignes, les individus. La première colonne du tableau indique les identifiants des individus. En colonnes, les variables. La première ligne indique les identifiants des variables. Tableau 1 : Structure d un tableau de données individuelles INDIV ( ) AGE NOTE ( ) SEX ( ) QI DEPT ( ) i1 12 13 G 110 91 i2 15 10 G 112 27 i3 13 8 F 120 76 i4 10 11 G 128 13 i5 11 20 F 125 75 i6 12 20 F 115 14 i7 15 13 G 99 75 i8 9 7 G 95 33 ( ) ( ) ( ) ( ) ( ) ( ) Les données se présentent parfois sous une autre forme (un tableau de contingence par exemple). Nous verrons lorsque le cas se présentera, comment saisir les données pour les mettre sous cette forme. 1/6

Les types de variables Il existe deux grands types de variables : les variables quantitatives : un âge en années ou mois, un effectif (population, nombre d enfants), un QI, un salaire, une note, un temps de réponse, un poids, une température les variables qualitatives : un sexe, un état-civil, un département, une profession, une couleur A l intérieur de chacune de ces deux grandes catégories il existe des distinctions importantes. Parmi les variables qualitatives, on peut distinguer : les variables qualitatives à deux modalités seulement ou variable binaire. Typiquement le sexe. Ces variables seront traitées à part parmi les variables qualitatives. les variables ordinales. Typiquement la réponse à la question : «Aimez-vous Brahms? pas du tout? un peu? beaucoup? passionnément?» Ces variables seront, la plupart du temps, traitées comme des variables qualitatives. Toutefois, elles pourront parfois être considérées comme des variables quantitatives et analysées comme tel. De même, parmi les variables quantitatives, on peut distinguer : les variables d intervalles : un QI, une température en C ou F les variables de rapport (pour lesquelles en particulier, le zéro n est pas arbitraire) : un nombre d'enfants, un poids, un âge en années ou mois, un temps de réponse Variable quantitative / numérique Variable qualitative / nominale / catégorisée / catégorielle / polytomique Variable binaire / dichotomique Notons qu une variable qualitative (sexe, département ) même codée numériquement (1 pour Garçon, 2 pour Fille, 76 pour Seine-Maritime ) reste une variable qualitative. On ne calculera pas la moyenne des départements! La première question que l utilisateur aura à se poser devant ses données est «quel est le type de/des variable(s) que je souhaite analyser?». La réponse à cette question conditionne les procédures qui seront mises en œuvre. Le statut des variables Dans certains cas l analyse consistera, à propos d un groupe d individus, à décrire la ou les variables observées, et à décrire les relations entre ces variables. Dans d autres cas (les plus nombreux?) on cherchera dans quelle mesure les valeurs observées pour certaines variables dépendent, au moins en partie, des valeurs d autres variables. Il est alors d usage de distinguer les variables indépendantes (VI) et les variables dépendantes (VD). Dans la pratique 1, l expression VI est souvent utilisée pour désigner toute variable prédictrice d une autre variable. L expression VD désigne la variable susceptible de varier en fonction des valeurs de la VI. variable dépendante (VD) / variable à analyser / variable à prédire / variable à expliquer variable indépendante (VI) / variable prédictrice / prédicteur / facteur (données expérimentales) 1 Strictement, une VI est une variable dont les valeurs ont été fixées avant de commencer à recueillir des données, alors qu une VD est une variable dont les valeurs ont été recueillies pendant l observation, l expérimentation ou l enquête. S il a été décidé, lors qu une enquête, d interroger 10 garçons et 10 filles, la variable Sexe a le statut de VI. Si lors d une enquête on a demandé aux personnes interrogées, parmi d autres questions, de préciser leur sexe, la variable Sexe a alors le statut de VD. 2/6

MÉTHODOLOGIE Des questions aux procédures Les données ont été recueillies pour répondre à des questions ou tester des hypothèses. Ces questions ou hypothèses peuvent concerner une partie des données recueillies (une ou deux variables, une partie des individus) ou la totalité des données. Quelles procédures mettre en œuvre pour répondre à une question? Cela dépend du type des variables sur lesquelles porte la question. Ainsi, lorsque l on cherche à décrire un groupe d individus selon une variable, des procédures différentes seront utilisées selon que la variable est une variable quantitative (le poids par exemple) ou une variable qualitative (la profession par exemple). Dans le premier cas on pourra calculer une moyenne, mais pas dans le second cas. De même si on cherche à étudier la force de la liaison entre deux variables, on pourra calculer la valeur du coefficient de corrélation si on s intéresse à la liaison linéaire entre des variables quantitatives, mais un V² de Cramér si on s intéresse à la liaison entre des variables qualitatives. En bref : TYPE et STATUT DES VARIABLES + PROCEDURES QUESTION L inférence Population et Échantillon L ensemble des individus auxquels on s intéresse constitue la population. Dans de nombreuses situations on ne dispose pas des données pour tous les individus de la population, mais seulement pour une partie d entre eux. Cette partie constitue un échantillon de la population ou population parente. Par exemple on s intéresse au revenu moyen des médecins de la ville de Marseille (population) et on ne dispose que des revenus de 20 médecins de cette ville (échantillon). La statistique propose des méthodes pour estimer le revenu moyen dans la population alors qu on ne dispose que des données de l échantillon. Les sondages sont une des procédures utilisées pour avoir une idée de la valeur d'une statistique dans la population à partir d un échantillon. La description d abord, l inférence ensuite Lorsque l on vise à connaitre une population à partir d un échantillon, la première étape consiste en la description des caractéristiques de l échantillon : c est la description ou étape descriptive. La seconde étape consiste à estimer ces caractéristiques dans la population : c est l inférence ou étape inférentielle. Ces deux étapes de l analyse doivent se dérouler nécessairement dans cet ordre. On ne cherche à connaître les caractéristiques de la population que si l on a déjà une vue claire des caractéristiques de l échantillon. Ce principe méthodologique, souvent mis en avant par Rouanet et ses collaborateurs, est valable quel que soit le type des données analysées et le type de question posée. Trop souvent l analyse de données se réduit à la mise en œuvre d un test (t de Student, F de l ANOVA, Khi ). On prendra donc le temps de mettre en œuvre les procédures descriptives (moyennes, graphiques, etc.) avant ces (trop?) fameux tests. Réf. Rouanet, H., Bernard, J.-M., & Le Roux, B. (1990) Conditions préalables aux procédures inférentielles Il existe des conditions spécifiques à l utilisation de chaque procédure inférentielle. Ces conditions particulières seront présentées au fur et à mesure, lorsque les procédures seront présentées dans un exemple. Il existe toutefois une condition commune à toutes les procédures inférentielles : l échantillon doit être avoir été tiré au hasard parmi la population que l on vise à connaître. L univarié avant le multivarié Parmi les principes généraux qu il faut garder à l esprit en procédant à une analyse statistique, il en est un valable pour toutes les analyses qui mettent en relation plusieurs variables : avant de chercher à étudier la relation entre les variables, il est indispensable d analyser chacune des variables isolément, indépendamment des autres. Par exemple, avant le calcul d un coefficient de corrélation entre deux variables quantitatives, l analyse consistera d abord, pour 3/6

chacune des deux variables, à visualiser la distribution des valeurs, à noter ses minimum et maximum observés, à calculer la moyenne La taille des effets La méthodologie traditionnelle se centrait trop exclusivement sur la question de l existence d un effet (d une différence, d une liaison ) et sur les tests de signification. De plus en plus de statisticiens s accordent à souligner la nécessité de s intéresser aussi à la taille des effets, c est-à-dire, par exemple, à l ampleur (valeur numérique) et l importance (faible/modéré/fort) des écarts entre les groupes, à la force des liaisons entre les variables, etc. En psychologie, l American Psychological Association (APA) dont le Publication Manual (2000) fait référence, y compris en France, présente un ensemble de recommandations allant dans ce sens (cf. par exemple p. 29-30, 34). Cette méthodologie étant encore trop peu connue, les documents présentés ici y font une large place. Pour décrire l'échantillon, il existe un grand nombre d'indices qui visent à évaluer la taille des effets. Le tableau cidessous en présente quelques exemples. A l'étape inférentielle, la méthode privilégiée est le calcul d'intervalles de confiance (IC) sur ces différents indices. Des valeurs repères Pour interpréter les différents indices statistiques, il est souvent nécessaire de s appuyer sur des valeurs repères. Par exemple la valeur p des tests statistiques est comparée à la valeur repère.05 pour qualifier le résultat du test de significatif (si p inférieur à.05) ou non significatif (si p supérieur à.05). Il s agit d une valeur conventionnelle (c est-àdire arbitraire, définie par accord tacite entre usagers de la statistique). Pour évaluer l importance des écarts entre groupes ou des liaisons entre variables, on utilise de plus en plus des indices statistiques pour lesquels des valeurs repères conventionnelles ne sont pas encore stabilisées. Nous utiliserons les valeurs repères suivantes : Tableau 2 : Valeurs repères pour quelques indices de taille d effet Indices Limite supérieure Limite inférieure d un effet faible d un effet fort r, R, V de Cramer.20.40 Eta² / R² / V² de Cramer 4% 16% d de Cohen 0.40 0.87 Ainsi une liaison linéaire entre deux variables quantitatives, sera qualifiée de faible, modérée ou forte selon la valeur du coefficient de corrélation linéaire de Bravais-Pearson (r) : - «faible» si r est inférieur à.20 - «modérée» si.20 < r <.40 - «forte» si r >.40. Ces valeurs repères seront utilisées à la fois pour commenter la valeur obtenue dans l'échantillon (étape descriptive) et dans la population (étape inférentielle). Les risques de surinterprétation des tests statistiques Faute d'utiliser les procédures qui permettent de répondre à la question de la taille de l'effet (d'une liaison, d'une différence ), les résultats des tests statistiques sont souvent surinterprétés : on leur fait dire plus qu'ils ne peuvent! 1. Un test significatif risque d'être interprété comme la preuve d'un effet important. En fait, il ne permet que de rejeter l'hypothèse nulle d'une absence d'effet et donc de conclure à la simple EXISTENCE d'un effet 2. Il ne permet pas de se prononcer sur l'ampleur de cet effet. En particulier, un test significatif est compatible avec un effet faible. 2. Un test non significatif risque d'être interprété comme la preuve de l'absence d'effet. Pourtant il doit conduire à conclure qu'on ne peut pas conclure! Il existe peut-être un effet ou peut-être pas! Il ne permet pas plus de conclure à l'existence d'un effet faible : un test non significatif est compatible avec un effet important. 2 et, au mieux, sur le signe de cet effet dans le cas d'une comparaison à un degré de liberté 4/6

Rédiger un compte rendu des analyses La dernière édition du manuel de publication de l American Psychological Association (APA (2010), p.29-30, 34) insiste sur plusieurs points : la nécessité de décrire, le plus précisément possible, les différentes caractéristiques de l échantillon et de la population : âge, sexe, origine géographique (y compris l origine ethnique, ce qui est interdit en France). la nécessité de prendre en compte la taille des effets (l ampleur de la différence entre deux moyennes, entre deux pourcentages, la force d une corrélation, etc.) et ne pas s interroger uniquement sur l existence d une différence ou d une corrélation non nulles. Ainsi, à une conclusion du type "l effet du Sexe est significatif", on préfèrera une conclusion comme celle-ci : "On s'est intéressé à l'effet du sexe sur les performances en orientation spatiale. La tâche d'orientation spatiale utilisée est le test ORSP-4. On a étudié cet effet chez des enfants scolarisés en école primaire. On a fait l'hypothèse que, en moyenne, les garçons ont de meilleurs scores que les filles et que l'écart entre ces deux groupes est important. On a constaté, sur un échantillon de 382 enfants de 10 ans scolarisés en en CM2 dans la ville de Rouen, que, conformément à l hypothèse, la tâche d orientation spatiale, est mieux réussie par les garçons (m = 13) que par les filles (m = 12). Toutefois l'écart observé apparaît faible que l'on considère la différence des moyennes ( d = 1 pt < 2) ou la proportion de variance prédite par le sexe (Eta² = 1%). Il semble que, il existe bien une différence, de même sens, pour l ensemble des enfants de 10 ans scolarisés en CM2 dans la ville de Rouen, (test t [380] = 1.98, p <.05) Toutefois, l écart serait faible, que l'on considère la différence des moyennes (IC 95% sur d = [0.01 ; 1.99] < 2) ou la proportion de variance prédite par le sexe (IC 95% sur Eta² = [0.0% ; 3.9%] < 4%)." On a distingué ici trois parties : - la problématique générale de la recherche, - la conclusion descriptive (qui ne concerne que l'échantillon) - la conclusion inférentielle (qui porte sur la population). Dans la partie qui concerne la problématique de la recherche, on mentionne : - la nature de la tâche proposée (la ou les variable(s) observée(s) ou VD), - la nature du/des facteurs/vi étudié(s), - la référence à l hypothèse ou, à défaut d'hypothèse précise, à la question posée. Et, pour chacune des deux parties, descriptive et inférentielle, - la portée de la conclusion (la description précise de l'échantillon observé et de la population visée à travers cet échantillon), - le sens de l'effet (ordre des moyennes, signe d'une corrélation ) - la taille de l'effet avec, en général, un indice brut (par exemple la différence des moyennes) et un indice calibré (par exemple la proportion de variance prédite par la VI). On y rappelle aussi que la conclusion descriptive rapporte des faits avérés (on constate que ) alors que la conclusion inférentielle doit laisser une place au doute (il semble que ) Enfin, ces conclusions mentionneront toujours les valeurs repères utilisées : - pour les tests (p <.05 le plus souvent) - pour la taille des effets : ici d < 2 et Eta² < 4% pour qualifier la taille des effets de faible. 5/6

On peut résumer dans un tableau ces différentes informations devant figurer dans une conclusion : Tableau 3 : Les éléments devant apparaître dans une conclusion détaillée Problématique de la recherche Nature de/des VD (tâches proposées, scores relevés, questionnaire ) Nature du/des facteur(s)/vi dont on étudie l'effet Hypothèse(s) ou questions posée(s) Description Description de l'échantillon Portée (effectif, lieu, âge, sexe ) Existence et sens de l'effet Taille de l'effet ordre des moyennes, signe de la corrélation, signe du coefficient de régression ( ) différence des moyennes, différence des pourcentages, oddsratio, corrélation, R², Eta² Inférence La nature de la population visée à travers l'échantillon test statistique (t, F, Khi² ) intervalle de confiance (IC) sur les différents indices, bruts et calibrés ampleur / taille / grandeur (d une différence, d une liaison...) fort / notable / important / grand faible / négligeable / petit LES OUTILS INFORMATIQUES C est la méthodologie qui doit guider l analyse, pas le logiciel Deux remarques à propos des logiciels : - La présence d une procédure dans un logiciel n est pas une preuve de sa pertinence. La logique commerciale des logiciels les conduit à proposer le plus grand nombre de procédures possibles, y compris celles dont on sait depuis longtemps qu elles ne devraient pas être utilisées. - Le logiciel statistique idéal -qui permet de faire tous les traitements statistiques possibles- n existe pas. Il faudra faire souvent appel à plusieurs logiciels (celui-ci pour une classification automatique, celui-ci pour les graphiques, celui-ci pour l analyse des questions ouvertes, celui-ci pour une analyse de la variance et celui-ci pour connaître la taille des effets). Préparer et vérifier la base de données avec soin On est toujours pressé de voir le résultat des analyses après une très longue période de préparation de l expérience, de recherche du terrain, de recueil des données. Pourtant, avant de commencer la moindre analyse, au moment de saisir les données, il faut être -ou devenir- obsessionnel. Il faut prendre le temps de vérifier les données. Combien d heures perdues à commencer trop rapidement les analyses statistiques pour s apercevoir au bout de quelques heures, jours ou semaines, d un résultat bizarre, symptôme d une erreur de saisie qui nécessite de corriger l erreur et recommencer les analyses! Et encore s agit-il de la situation la plus favorable où on s est aperçu, à temps, qu on travaillait sur des données fausses! Saisir les données et métadonnées avec un tableur On sera souvent amené à utiliser plusieurs logiciels. Or (presque) tous les logiciels sont capables d'importer rapidement les données depuis un tableur (type Excel). Il est donc conseillé de 1/ saisir ces données sous un tableur, indépendamment d'un logiciel statistique particulier, puis 2/ d'importer ces données sous les différents logiciels statistiques, selon les besoins. 6/6