Introduction aux tests statistiques

Transcription

1 Introduction aux tests statistiques Illustrée avec XLSTAT Jean Paul Maalouf 8 novembre

2 PLAN XLSTAT : qui sommes-nous? Statistiques : catégories Statistiques descriptives / exploratoires : rappel Tests statistiques : principe, démarche et application sur XLSTAT Comment interpréter p-value > alpha? Tests paramétriques et tests non-paramétriques Tests sur échantillons indépendants et sur échantillons appariés Tests de comparaison et tests d association Application sur XLSTAT : test d association de 2 variables qualitatives Toutes les données de cette formation ont été inventées sauf mention contraire 2

3 Logiciel XLSTAT XLSTAT est un logiciel d analyse de données convivial qui s intègre à Excel 3

4 XLSTAT, Historique Un logiciel en pleine croissance, une équipe grandissante Première vente sur internet Nouvelle version, Interface : VBA, Calculs : C++ 7 langues Nouveaux produits Nouveau site Equipe grandissante Thierry Fahmy développe une alternative userfriendly pour l analyse de données : Naissance d XLSTAT 1996 Création de la société Addinsoft 2006 Nouvelles offres modulaires 2015 XLSTAT 365 Version Cloud pour Excel 365 XLSTAT-Free Version gratuite 4

5 XLSTAT en quelques chiffres 200+ fonctionnalités statistiques Réparties dans des solutions généralistes ou orientées-métier 50k utilisateurs A travers le monde. Secteurs privé, éducation, recherche 16 salariés A l écoute des utilisateurs 130k visites/mois sur le site web Tutoriels didactiques en 5 langues 7 langues 400 téléchargements/jour 5

6 Statistiques : 4 catégories 6

7 Statistiques : 4 catégories Enregistrement Enregistrement 29 / 11 / 2016 Description Exploration Tests Modélisation Je veux résumer Je veux plonger Je veux accepter / Je cherche à des données (1-3 facilement dans un rejeter une hypothèse comprendre comment variables) grâce à gros jeu de données bien précise en évolue un phénomène des calculs ou des sans forcément avoir assumant des risques en fonction d un graphiques simples une question précise d erreur (test t, ANOVA, ensemble de (moyenne, écart derrière la tête (ACP, khi², corrélation...) paramètres (régression, type, box plot ) CAH...) ANCOVA, ANOVA) 7

8 Statistiques descriptives / exploratoires : rappel 8

9 Individus Tableau de données : plateforme de vente de chaussures en ligne Variables 9

10 Statistiques descriptives : nuage de point coloré - Montant facture diminue avec temps passé sur le site - Clients plutoniens passent moins de temps sur le site que les autres - Martiens et terriens forment un groupe relativement homogène

11 Le même raisonnement sur un nombre plus élevé de variables... Statistiques exploratoires 11

12 Analyse en Composantes Principales Graphique 1 : cercle des corrélations ; graphique 2 : observations 12

13 ACP : explorations... Hypothèses qui en découlent Le poids total augmente avec la taille Les plutoniens sont plus gros et plus lourds que les autres Le temps passé sur le site diminue avec le poids et la taille Derrick a de très gros pieds La pointure n est pas liée au poids / à la taille Et ainsi de suite... 13

14 L exploration de jeux de données nous inspire un bon nombre d hypothèses... Sont-elles valides? Place aux tests statistiques 14

15 Une autre manière de faire la transition... Questions auxquelles peuvent répondre les Stats descriptives / Exploratoires : Quelle-est la moyenne de pointure pour chaque origine? A quelles autres variables le montant de la facture est-il lié?... Questions auxquelles peuvent répondre les tests statistiques Les moyennes de taille des plutoniens et martiens sont-elles significativement différentes? La couleur des cheveux est-elle significativement liée à la couleur des yeux?... (réponse oui / non) 15

16 Tests statistiques Permettent d accepter / rejeter une hypothèse bien précise (en assumant des risques d erreur) 16

17 Tests statistiques : démarche Formulation de la Question (rép. oui / non) Formulation hypothèse nulle et hypothèse alternative Choix du test statistique approprié et du seuil de risque alpha Récolte des données On rajoutera des trucs ici plus tard Exécution du test Réponse à la question : si p-value < seuil alpha, alors on rejette H0 avec un risque proportionnel à p-value de se tromper 17

18 Etape 1 : Question : les engrais A & B induisent-ils une différence de taux moyen de sucre chez la banane? formulation de la question 18

19 Etape 2 : H0 VS Ha formulation des hypothèses 19

20 Formulation des hypothèses? Question les engrais A & B induisent-ils une différence de taux moyen de sucre chez la banane? H0 Hypothèse nulle En général absence de différence ou de relation. H0 : moyenne de sucre bananes A = moyenne de sucre bananes B Ha Hypothèse alternative En général existence de différence ou de relation Ha : moyenne de sucre bananes A moyenne de sucre bananes B 20

21 Tests statistiques : démarche on en est là Formulation de la Question (rép. oui / non) Formulation hypothèse nulle et hypothèse alternative Choix du test statistique approprié et du seuil de risque alpha Récolte des données Exécution du test Réponse à la question : si p-value < seuil alpha, alors on rejette H0 avec un risque proportionnel à p-value de se tromper 21

22 Comparaison de moyennes? Si oui, combien? Comparaison de proportions? Si oui, combien? Comparaison de variances? Si oui, combien? Testons-nous une association?... Etape 3a : Choix du test statistique approprié Dans notre cas, on cherche à comparer 2 moyennes test t de Student pour deux échantillons indépendants Lien : choisir un test statistique approprié en fonction de votre situation 22

23 Le seuil de risque alpha (compris entre 0 et 1) sera un seuil de décision de rejet de H0 Plus on veut limiter les risques de prendre une mauvaise décision, plus on doit diminuer alpha Souvent, les gens placent alpha à 0,05. Ce n est pas une raison pour en faire une règle systématique (mais c est ce qu on va faire pour notre exemple : on prend alpha = 0,05) Etape 3b : Choix du seuil de risque alpha 23

24 Expérience : plantation de 30 bananiers soumis à l engrais A et de 30 autres bananiers soumis à l engrais B. Mesure du taux de sucre en fin d expérience Etape 4 : Récolte des données 24

25 Etape 5 : Exécution du test dans XLSTAT 25

26 Etape 6 : p-value VSalpha Interprétation du résultat et réponse à la question 26

27 Interprétation du résultat? Question les engrais A & B induisent-ils une différence de taux moyen de sucre chez la banane? Le test renvoie une p-value. 0 < p-value < 1 H0 Ha Hypothèse nulle En général absence de différence ou de relation. H0 : moyenne de sucre bananes A = moyenne de sucre bananes B Hypothèse alternative En général existence de différence ou de relation Ha : moyenne de sucre bananes A moyenne de sucre bananes B Décision : Si p-value < alpha, on rejette H0 et on accepte Ha en prenant un risque p-value de se tromper 27

28 Interprétation du résultat Décision : p-value < alpha. on rejette H0 et on accepte Ha Réponse : Les deux moyennes (engrais A vs engrais B) sont significativement différentes 28

29 Comment interpréter p-value > alpha? 29

30 Tests statistiques : Comment interpréter p > alpha? Si p-value < alpha, on rejette H0 et on accepte H1 en prenant un risque p-value de se tromper Si p-value > alpha, deux possibilités se présentent : Si la puissance statistique est élevée (>0,95) On accepte H0 en prenant un risque Bêta (=1-puissance) de se tromper. Si la puissance statistique est faible (<0,95) Le risque de se tromper en acceptant H0 est trop élevé (puissance faible) Le risque de se tromper en rejetant H0 est trop élevé (p-value élevée) On ne peut pas prendre de décision. Game over. (La puissance d un test est sa capacité à aboutir à un rejet de H0 lorsqu elle est fausse) 30

31 Tests puissance VS robustesse paramétriques et tests nonparamétriques 31

32 Tests statistiques paramétriques & nonparamétriques Différences sur le principe Un test statistique peut être paramétrique ou non-paramétrique Les tests paramétriques sont valables uniquement sous certaines conditions à vérifier (liées aux distributions des populations). Les tests non-paramétriques n assument pas de distribution dans les populations. 32

33 Tests statistiques paramétriques vs nonparamétriques Comparatif intérêts Un test statistique peut être paramétrique ou non-paramétrique Tests non-paramétriques : valables dans un plus grand nombre de situations que les tests paramétriques. plus robustes Tests paramétriques : plus aptes à rejeter H0 si elle est fausse, et si les conditions le permettent. plus puissants Proposition de démarche pour choisir entre les 2 : Partir sur un test statistique paramétrique approprié Récolter les données Les données respectent-elles les conditions d application du test? Oui Non Transformation (exemple : log) Les données transformées respectent-elles les conditions d application du test? Oui Non Remplacement par un test non-paramétrique, moins puissant mais plus robuste Exécution du test 33

34 Tests sur Echantillons indépendants et sur échantillons appariés 34

35 Tests statistiques : échantillons indépendants vs appariés Echantillons indépendants Deux ou plusieurs populations distinctes Exemples : comparer un groupe exposé à un groupe témoin ; comparer femmes et hommes ; bananiers traités et bananiers non-traités Echantillons appariés Une seule population d individus Exemples : prise de mesures sur des patients avant/après un traitement ; suivis de personnes sondées ou d entreprises à différentes dates ; suivi de l évolution de la capacité photosynthétique des mêmes bananiers 35

36 Tests de comparaison vs tests d association 36

37 Tests statistiques : comparaison et association Tests de comparaison De moyennes (test de Student / ANOVA) De variances (tests de Fisher / de Levene) De proportions (tests pour les proportions) Tests d association de variables Tester l association de deux variables qualitatives (tests sur tableaux de contingence ou tris croisés : khi-2 / test exact de Fisher) Tester l association de deux variables quantitatives (coefficient de Pearson, de Spearman etc.) 37

38 Tests statistiques courants Tests paramétriques et leurs équivalents non-paramétriques Problématique Comparaison 2 moyennes Ech. Indépendants / Appariés Indépendants Appariés Tests paramétriques Test de Student (échantillons indépendants) Test de Student (échantillons appariés) Equivalents nonparamétriques Test de Mann- Whitney Test de Wilcoxon Test de Kruskal- Indépendants ANOVA Comparaison de k moyennes Wallis Appariés ANOVA à mesures répétées Test de Friedman Comparaison de 2 variances Test de Fisher Indépendants Comparaison de k variances Test de Levene Indépendants Test du khi-2 Test exact de Fisher Association (var. quali) Appariés Test Q de Cochran Corrélation de Association (var. quanti) Indépendants Corrélation de Pearson Spearman Lien : choisir un test statistique approprié en fonction de votre situation 38

39 Test d association : cas de deux variables qualitatives 39

40 Test statistique d association (variables quali) EXEMPLE : sondage d opinion, sortie de garage 40

41 Lancer le test (XLSTAT) EXEMPLE : sondage d opinion, sortie de garage 41

42 Test statistique d association EXEMPLE : sondage d opinion, sortie de garage p-value > seuil. On ne rejette pas H0 H0 : les proportions des catégories a et b ne changent pas en fonction des catégories NSP-Non-Oui Ha : les proportions des catégories a et b changent en fonction des catégories NSP-Non-Oui 42

43 Tests statistiques : démarche revisitée, conclusion Formulation de la Question (rép. oui / non) Formulation hypothèse nulle et hypothèse alternative Choix du test statistique paramétrique approprié (comparaison / association) et du seuil de risque alpha Récolte des données Les données respectent-elles les conditions d application du test? Oui Non Transformation (exemple : log) Les données transformées respectent-elles les conditions d application du test? Oui Non Remplacement par un test non-paramétrique, moins puissant mais plus robuste Exécution du test Réponse à la question : si p-value < seuil alpha, alors on rejette H0 avec un risque proportionnel à p-value de se tromper 43

44 Statistiques : 4 catégories Enregistrement Enregistrement 29 / 11 / 2016 Description Exploration Tests Modélisation Je veux résumer Je veux plonger Je veux accepter / Je cherche à des données grâce facilement dans un rejeter une hypothèse comprendre comment à des calculs ou gros jeu de données bien précise en évolue un phénomène des graphiques sans forcément avoir assumant des risques en fonction d un simples (moyenne, une question précise d erreur (test t, ANOVA, ensemble de écart type, box derrière la tête (ACP, khi², corrélation...) paramètres (régression, plot ) CAH...) ANCOVA, ANOVA) 44

45 Futurs Webinars 29 novembre 2016 : modélisation statistique (cliquer ici) 45

46 Merci pour votre attention! Tous les outils vus sont disponibles dans toutes les solutions XLSTAT (sauf la Free) Survey time 46

47 Puissance statistique La puissance d un test est sa capacité à aboutir à un rejet de H0 lorsqu elle est fausse La puissance d un test augmente avec : Le nombre de mesures La précision des mesures La taille de l effet Le seuil alpha La nature du test 47