Département Biosciences Végétales Module : Statistique 1. J. Gergaud

Transcription

1 Département Biosciences Végétales Module : Statistique 1 J. Gergaud 19 septembre 26

2 Table des matières 1 Introduction 1 1 Image de la statistique Exemples de problèmes Cas à une seule variable Cas à deux variables Cas d un nombre fini de variables Schéma général Enseignement des mathématiques en tronc commun Modules Statistique 1 et 2, première année Objectifs Statistique 1 : Outils et concepts Difficulté de cet enseignement Petite approche historique Mon sentiment sur cet enseignement Contrôle de connaissance Statistique descriptive 5 1 Introduction Types de données traitées Notion de caractère Types de caractères qualitatifs Types de variables statistiques Statistique descriptive à une dimension Introduction Les distributions de fréquences Réduction des données Exemples Statistique descriptive à 2 dimensions Introduction Les distributions en fréquences Représentations graphiques Réduction des données Droite de régression Compléments Changement de variables Cas à plus d une variable explicative Exercices Exercices avec solutions Exercices avec indications Exercices sans indications Probabilités 35 1 Introduction Définition des probabilités Exemples Définitions Représentation graphique Probabilités conditionnelles et indépendance i

3 ii TABLE DES MATIÈRES 3.1 Probabilités conditionnelles Indépendance d événements Variables aléatoires Introduction Définition Fonction de répartition Fonction d une variable aléatoire réelle continue Variables aléatoires vectorielles Variables aléatoires indépendantes Espérance mathématique Définitions Espérance d une somme de variables aléatoires Variance Covariance Théorèmes limites Introduction Lois des grands nombres Théorie de l échantillonnage 59 1 Modélisation des variables Introduction Variable aléatoire Introduction à la théorie de l échantillonnage Modélisation des données Exemple de l urne Exemple du référendum Échantillonnage Échantillon Schéma général Distribution d échantillonnage de certaines statistiques Distribution déchantillonnage de la moyenne Distribution d échantillonnage de la variance Distribution d échantillonnage de T Distribution d échantillonnage du rapport de variance Distribution d échantillonnage d une fréquence Principales lois de probabilité Exercices Exercices avec corrigés Exercices avec indications Exercices sans indications Tests statistiques : principes généraux 87 1 Introduction Exemple Problème Cas simplifié Cas général Principes généraux Logique générale d un test statistique Définitions Test bilatéral Puissance d un test bilatéral Puissance et paramètres α, σ 2 et n Tests multiples Conclusion Présentation et conclusion d un test Risque de troisième espèce Exercices Exercices avec corrigés Exercices avec indications Exercices sans indications

4 TABLE DES MATIÈRES iii 6 Estimation 19 1 Introduction Exemples Position du problème Principes généraux Formalisme mathématique, définitions Propriétés des estimateurs Estimations des principaux paramètres Estimation d une variance Estimation d une moyenne Estimation d une proportion Compléments Lien entre intervalle de confiance et test Illustration Estimation robuste Représentation graphique Exercices Exercices avec corrigés Exercices avec indications Exercices sans indications

5 Chapitre 1 Introduction 1 Image de la statistique Il existe 3 formes de mensonges : les simples mensonges, les affreux mensonges et les statistiques. Le lit est plus dangereux que l automobile car il est prouvé statistiquement que l on meurt plus dans un lit que dans une voiture. Le statisticien est un homme qui prétend qu avoir la tête dans une fournaise et les pieds dans la glace permet de bénéficier d une température moyenne agréable. 2 Exemples de problèmes 2.1 Cas à une seule variable Exemple On désire estimer le nombre d animaux d une espèce donnée dans une région donnée. Outil statistique : l estimation Exemple On désire estimer le taux de germination d une variété donnée. Outil statistique : l estimation Exemple On désire savoir laquelle de deux variétés (ou plus) a le plus fort rendement. Outils statistiques : le test de Student, l analyse de la variance. 2.2 Cas à deux variables Exemple Quelle est la relation entre le rendement et la pluviométrie à une période donnée? Exemple Y-a-til une liaison entre le rendement et la teneur du grain en protéines La réponse à ces questions repose sur l étude de modèles mathématiques de nature aléatoire : la régression linéaire simple la régression non linéaire la corrélation 2.3 Cas d un nombre fini de variables Exemple Quelle est la relation entre le rendement d une variété donnée et un ensemble de variables météorologiques. Outil statistique : la régression linéaire multiple Exemple Quelles sont les relations existant entre p caractères morphologiques, physiologiques et agronomiques d une plante donnée : hauteur totale, dimension foliaire, ramification,...? On s intéresse alors à la structure de l ensemble des individus et/ou de l ensemble des caractères. Outil statistique : l Analyse factorielle en Composantes Principales (ACP) et l Analyse Factorielle des Correspondances (AFC) 1

6 2 CHAPITRE 1. INTRODUCTION Exemple En taxinomie biologique et en écologie on est souvent amené à des problèmes de classifications. Outil statistique : l Analyse Factorielle Discriminante (AFD), méthodes de classification 3 Schéma général Les statistiques La statistique La statistique La statistique descriptive 7 Analyse La statistique mathématique 7 Inférence Théorie descriptive des statistique des à 1, 2, 3 données tests dimensions 4 Enseignement des mathématiques en tronc commun Modules Statistique 1 et 2 1ère année Module Algèbre Linéaire 1ère année Module Optimisation 1ère année Module Plans d expérience 2ème année Module Analyse Multivariable 2ème année 5 Modules Statistique 1 et 2, première année 5.1 Objectifs Objectifs finaux Savoir sur un cas concret simple et pour une question donnée simple choisir la méthode statistique adaptée et savoir appliquer cette méthode Connaître les limites de chaque méthode et interpréter correctement les résultats Prendre conscience de l importance d une bonne collecte des données Sous objectifs Savoir ce qu est un bon estimateur Savoir ce qu est un intervalle de confiance Savoir ce qu est un test statistique Hypothèse nulle et alternative Risque de première espèce, notion de puissance Connaître la régression linéaire simple.

7 6. DIFFICULTÉ DE CET ENSEIGNEMENT Statistique 1 : Outils et concepts Cours TD Statistique descriptive à 1 et 2 dimensions Théorie de l échantillonnage ; lois du χ 2, de Student et de Fisher Théorie des tests Estimation TD1 : Statistique descriptive. Décrire les données par des graphiques et/ou quelques quantités numériques TD2 : Probabilités, théorie de l estimation TD3 : Théorie des tests statistiques TD4 : Tests statistiques et estimation TD5 : Estimation 6 Difficulté de cet enseignement 6.1 Petite approche historique En 2238 avant J.C. l empereur chinois Yao organisa un recensement des productions agricoles Sans le recensement d Hérode Jésus Christ ne serait pas né dans une étable Rôle précurseur des marchands de la République de Venise rassemblant au XIII e et XIV e siècles des données sur le commerce extérieur. Premiers concepts au XVII e siècle En Prusse : École descriptive allemande qui créa le mot statistique1 (Statistik) En Angleterre : École des arithméticiens politiques qui s est attachée à l aspect mathématique des assurances En France : L état, avec Colbert et Vauban exécute de nombreux inventaires et recensements Au XVIII e et XIX e siècle on assiste surtout au développement de bureaux de statistiques Développement des probabilités Pierre Simon de FERMAT ( ) Blaise PASCAL ( ) Jacques BERNOULLI ( ) Abraham de MOIVRE ( ) Thomas BAYES ( ) Pierre Simon de LAPLACE ( ) Simeon Denis POISSON ( ) Karl Friedrich GAUSS ( ) Irénée Jules BIENAYME ( ) Pafnuti Livovic TCHEBYCHEV ( ) Adolphe QUETELET ( ) : Lien entre les probabilités et les statistiques Francis GALTON ( ) : Droite de régression Karl PEARSON ( ) : Khi-2, corrélation, tables statistiques William Sealy GOSSET ( ) : Pseudonyme de STUDENT Ronald Aylmer FISHER ( ) : Analyse de la variance, maximum de vraisemblance Jerzy NEYMAN ( ) : Théorie des tests, intervalle de confiance Egon PEARSON ( ) : Théorie des tests Mon sentiment sur cet enseignement Difficulté liée à l assimilation de concepts et à la formalisation mathématique. Gros problème de terminologie et de notations Lorsque l on fait des statistiques on est toujours avec du concret et de l abstrait. On travaille avec des données et on utilise de la théorie. Un bon statisticien doit : Être rigoureux 1 Ce mot vient du substantif latin status qui signifie état

8 4 CHAPITRE 1. INTRODUCTION Savoir utiliser le formalisme mathématique Être pragmatique et plein de bon sens La formation en France est encore très déterministe (Descarte, Laplace,...) On aimerait avoir une réponse par oui ou non!!! La démarche statistique ne s acquiert pas en 4 heures!!! C est difficile mais passionnant. 7 Contrôle de connaissance Examen écrit de 2 heures avec une page A4 recto-verso, calculatrice et tables statistiques ; Notations de TD ;

9 Chapitre 2 Statistique descriptive 1 Introduction 2 Types de données traitées 2.1 Notion de caractère Définition (Caractère). On appelle caractère tout critère sur lequel repose une étude statistique. Exemple La taille d un individu, le poids d un objet, la concentration d une substance. Définition (Caractère quantitatif, variable statistique). On appelle caractère quantitatif ou variable statistique tout caractère directement représentable par des nombres. Exemple La taille, l âge d un individu, le nombre de particules. Définition (Caractère qualitatif). On appelle caractère qualitatif tout caractère non quantitatif Exemple La couleur des yeux, pile ou face. Remarque On pourrait très bien coder pile ou face par et 1, mais nous aurions tout de même un caractère qualitatif d où le mot directement dans la définition. On peut aussi dire qu une variable statistique est un caractère mesurable. Les opérations comme l addition ont donc un sens sur un caractère quantitatif, ce qui n est pas le cas sur un caractère qualitatif. 2.2 Types de caractères qualitatifs On range les caractères qualitatifs en plusieurs catégories : Les caractères qualitatifs ordonnés (i.e. que l on peut les classer) comme le niveau d un élève (bon, moyen, mauvais). Les caractères qualitatifs non ordonnés comme la couleur des yeux. Les caractères dichotomiques (i.e. qui ne peuvent prendre que deux valeurs différentes) comme le sexe, pile ou face. 2.3 Types de variables statistiques Définition (Variable discrète). On appelle variable discrète toute variable qui ne peut prendre qu un nombre fini ou dénombrable de valeurs. Exemple Nombre de points sur la face supérieur d un dé. Nombre de lancés d une pièce de monnaie avant d obtenir face. Définition (Variable continue). On appelle variable continue toute variable pouvant prendre un nombre infini non dénombrable de valeurs. Exemple Poids d un individu. Taille d un individu. Concentration d une substance. 5

10 6 CHAPITRE 2. STATISTIQUE DESCRIPTIVE 3 Statistique descriptive à une dimension 3.1 Introduction Nous allons nous intéresser dans cette section au cas d un seul caractère quantitatif. Nous avons donc au départ une suite de n nombres :y 1, y 2,..., y n. Nous pouvons bien évidemment avoir dans cette suite plusieurs fois la même valeur. Définition (Série statistique). On appelle série statistique la suite y 1, y 2,..., y n. Exemple Notes sur 1 de 1 élèves à un devoir de français. 1; 5; 1; 9; 2; 5; 1; 9; 9; Les distributions de fréquences Lorsque la série est trop grande mais que les valeurs prises par la variable ne sont pas trop nombreuses nous pouvons condenser les résultats sous la forme d une distribution de fréquences. Notons x i les différentes valeurs du caractère étudié obtenues i = 1,..., p. Définition (Fréquence absolue ou fréquence). On appelle fréquence absolue le nombre d occurrences d une même valeur observée x i, c est-à-dire le nombre de fois où la valeur x i est observée. On note n i cette fréquence liée à la valeur x i. Remarque On a toujours n = p n i Notation On note aussi n. = n Le point signifie que l on a fait une sommation sur l indice i. Définition (Fréquence relative). On appelle fréquence relative associée à x i la quantité : f i = n i n Remarque On a toujours : p f i = p n i n = 1 n p n i = 1 Définition (Fréquences cumulées absolues). Les fréquences cumulées absolues sont données par : N = N 1 = n 1. N k = k n i si k {1,..., p}. N k = n si k > p Définition (Fréquences cumulées relatives). Les fréquences cumulées relatives sont données par : F = F 1 = f 1. F k = k f i si k {1,..., p}. F k = 1 si k > p

11 3. STATISTIQUE DESCRIPTIVE À UNE DIMENSION 7 Exemple Nous donnons dans le tableau ci-dessous les valeurs des différentes fréquences définies précédemment pour l exemple (3.1.2). Notes Fréquences Fréquences Fréquences cumulées Fréquences cumulées absolues relatives absolues relatives 1 3,3 3,3 2 1,1 4,4 3 4,4 4 4,4 5 2,2 6,6 6 6,6 7 6,6 8 6,6 9 3,3 9,9 1 1,1 1 1 Nous avons étudié le cas où la variable ne pouvait prendre que peu de valeurs différentes. Il se pose donc la question de savoir ce que l on fait lorsque l on a des valeurs observées distinctes en grand nombre (ce qui est le cas en particulier lorsque l on étudie des variables continues). Dans ce cas nous condensons les données en groupant les observations en classes. Le nombre de classes est en général compris entre 1 et 2 et l intervalle de classe est constant (mais ceci n est pas obligatoire). Une classe est définie par ses limites. La limite supérieure d une classe étant la limite inférieure de la classe suivante. Quant à la valeur de la classe, on choisit souvent le milieu de la classe. Une fois que les classes ont été définies nous pouvons comme précédemment calculer les fréquences absolues, relatives, cumulées absolues et cumulées relatives. Exemple Distribution de fréquence des étendues des exploitations agricoles belges (ces donnée proviennent de l ouvrage de Dagnélie Théorie et méthodes statistiques volume 1). Etendues des Valeurs des Fréquences Fréquences Fréquences cumulées exploitations classes absolues relatives relatives de 1 à 3ha 2ha 58122,2925,2925 de 3 à 5ha 4ha 38221,1924,4849 de 5 à 1ha 7,5ha 52684,2651,75 de 1 à 2ha 15ha 35188,1771,9271 de 2 à 3ha 25ha 8344,42,9691 de 3 à 5ha 4ha 3965,199,989 de 5 à 1ha 75ha 1873,94,9984 plus de 1ha? 39,16 1, Remarque Dans l exemple ci-dessus la dernière classe n a pas de limite supérieure. On dit que la classe est ouverte. Nous avons jusqu à présent travaillé directement avec des nombres, mais un tableau de chiffres (même en quantité restreinte) n est jamais très lisible aussi nous allons maintenant étudier les représentations graphiques des fréquences. Dans tous les cas nous aurons ici en abscisse les valeurs des variables et en ordonnées les fréquences. Considérons tout d abord le cas des fréquences non cumulées. Deux cas se présentent suivant que les données sont groupées (i.e. mises en classes) ou non. Lorsque celles-ci sont non groupées, nous utiliserons des diagrammes en bâtons : Pour chaque valeur de x i, nous traçons un segment de droite de longueur égale à la fréquence (absolue ou relative suivant les cas) associée à x i. Exemple Reprenons les données de l exemple (3.1.2), la figure (2.1) est le diagramme en bâtons relatif aux fréquences relatives. Lorsque les données sont groupées, nous représentons ces fréquences par des rectangles contigus dont les intervalles de classes sont les bases et les hauteurs des quantités telles que l aire de chaque rectangle soit proportionnelle à la fréquence de la classe correspondante. Remarque Si les classes sont équidistantes nous pouvons alors prendre comme hauteur les fréquences. Exemple Représentons les fréquences relatives des étendues des exploitations agricoles belges (exemple (3.2.9))

12 8 CHAPITRE 2. STATISTIQUE DESCRIPTIVE Fréquences relatives Notes Fig. 2.1 Diagramme en bâtons Aire= =.1771 Surfaces en ha Fig. 2.2 Histogramme Définition (Histogramme). On appelle histogramme un diagramme du type précédent. Remarque (i) Lorsque nous étudions une variable continue nous avons dans la pratique un grand nombre de mesures, certaines étant très proches les unes des autres, d autres étant plus éloignées. Si nous représentions ces données sous la forme d un diagramme en bâtons nous aurions un graphique du type suivant : Fréquences absolues Valeurs de la variable Fig. 2.3 Densité La densité d une zone indiquerait alors que beaucoup de données seraient dans cette zone. Mais un tel graphique n est pas très lisible et une idée est donc de représenter cette densité en ordonnées. Celle-ci est obtenue en divisant le nombre de mesures obtenues dans une classe (i.e. la fréquence absolue) par la longueur d intervalle de classe. C est bien ceci que nous représentons dans un histogramme. (ii) Les fréquences relatives sont en fait dans la pratique des estimations de probabilités. On verra que dans le cas continu la probabilité qu une variable aléatoire X appartienne à un intervalle ]x i, x i+1 [ est donnée par l aire A délimitée par cet intervalle et la fonction de densité :

13 3. STATISTIQUE DESCRIPTIVE À UNE DIMENSION f(x).2.15 A x i x i+1 x Fig. 2.4 Fonction de densité L histogramme des fréquences relatives n est alors qu une approximation empirique de cette fonction de densité (si le facteur de proportionnalité est 1). (iii) Si l on veut mettre sur un même graphique une loi théorique de distribution de probabilités, il faut impérativement travailler avec les fréquences relatives, et un facteur de proportionnalité de 1 pour l histogramme. Remarque Attention, dans un logiciel comme Excel, le terme histogramme n a pas le sens ci-dessus. Remarque La détermination du nombre de classes d un histogramme ainsi que de leurs amplitudes est difficile. De plus, représenter une distribution d une variable continue par une fonction en escalier n est pas très logique. La théorie de l estimation de densité permet de résoudre ces difficultés. Nous allons ici donner quelques éléments de la méthode du noyau. Considérons tout d abord le cas d histogrammes à classes d égales amplitudes h. Dans l histogramme on estime la densité en x par ni nh si x appartient à la classe i. La densité est donc constante sur chaque classe. On peut améliorer ceci en utilisant la méthode de la fenêtre mobile. On suppose ici que la série statistique est y 1,..., y n. On construit autour de x une classe de longueur h : I x = [x h/2; x + h/2[ et on compte le nombre d observations n x qui appartiennent à cette classe. On estime alors la densité en x par nx nh. On peut ainsi construire point par point cette fonction de densité estimée ˆf(x). On peut en fait écrire cette dernière de la façon suivante : ˆf(x) = 1 n ( ) x yi K nh h où K est la fonction indicatrice de l intervalle [ 1/2; 1/2[, c est-à-dire la fonction de R dans {, 1} définie par : { K(u) = si u [ 1/2; 1/2[ Par suite K(u) = 1 si u [ 1/2; 1/2[ ( ) x yi K = 1 y i I x h Cette méthode donne encore des résultats trop peu régulier. Pour obtenir une fonction suffisamment lisse, il faut prendre des fonction noyau K plus régulière. En pratique on prend souvent un noyau gaussien : ou parabolique : K(u) = K(u) = 1 2π e u2 /2 ) (1 u2 5 pour u < 5 L exemple (3.2.18) donne une comparaison entre l histogramme et l estimation de densité. Exemple Le tableau (2.1) donne les hauteurs de 5 pièces usinées. On a sur la figure (2.5) l histogramme de ces données pour un intervalle de classe de.3 et l estimation de densité par la méthode du noyau avec le noyau de Lejeune : K(u) = (1 u2 ) 2 (1 3u 2 ) pour u 1 avec une constante h égale à 3% de l étendue de l échantillon. L estimation de densité montre clairement une distribution bimodale que nous ne voyons pas avec l histogramme. 1 exemple provenant du livre de G. Saporta page 121

14 1 CHAPITRE 2. STATISTIQUE DESCRIPTIVE Tab. 2.1 hauteurs de 5 pièces usinées Fig. 2.5 Histogramme et densité estimée Il nous reste maintenant à étudier le cas des fréquences cumulées. Celles-ci sont représentés par des polygônes de fréquences cumulés, mais nous avons encore ici une distinction suivant que les données soient groupées ou non. Lorsque les données sont non groupées nous obtenons un polygône en escalier : la valeur de la fonction en un point x est le nombre d observations (absolues ou relatives) qui sont inférieures ou égales à x. Exemple Reprenons encore l exemple (3.1.2) Quant aux données groupées, on joint par une ligne brisée les points obtenus en portant, pour les limites de classes supérieures des ordonnées égales aux fréquences cumulées. Exemple Fréquences cumulées relatives des étendues des exploitations agricoles belges (exemple (3.2.9)). Remarque Les polygônes de fréquences relatives sont une représentation empirique des fonctions de répartitions comme les histogrammes sont une représentation empirique des fonctions de densité. 3.3 Réduction des données Le but est ici de caractériser les données à l aide de quelques paramètres. Il y a deux grands types de paramètres : les paramètres de position ou de tendance centrale que nous étudierons en premier et les paramètres de dispersion que nous verrons ensuite. Nous donnerons pour chaque paramètre que nous définirons la valeur numérique correspondant à l exemple suivant :

15 3. STATISTIQUE DESCRIPTIVE À UNE DIMENSION Fréquences cumulées relatives Notes Fig. 2.6 Fréquences cumulées relatives : données (3.1.2) Fréquences cumulées relatives Surfaces en ha Fig. 2.7 Fréquences cumulées relatives : données (3.2.9) Exemple Nous considérons 11 mesures faites de la hauteur du maître-brin d une céréale donnée (en cm). Nous avons obtenu la série statistique suivante (mise en ordre croissant) : 59; 62; 63; 63; 64; 66; 66; 67; 69; 7; 7. Les paramètres de position que nous allons étudier maintenant permettent de caractériser l ordre de grandeur des observations. Le paramètre le plus utilisé dans la pratique est la moyenne arithmétique ou moyenne. Définition (Moyenne arithmétique). On appelle moyenne arithmétique ou moyenne la quantité donnée par : Si les observations sont données par une série statistique x = 1 n Si les observations sont données par leurs fréquences absolues x = 1 n n x i p n i x i Exemple Pour les données de l exemple (3.3.1), nous avons : x = 65, 3636cm Remarque Lorsque les données sont groupées x i est la valeur de la classe i. Définition (Médiane). La médiane est la valeur de part et d autre de laquelle se trouve un nombre égal d observations. Remarque (i) Pour les séries statistiques monotones (c est-à-dire croissante ou décroissante) : si le nombre d observations est pair la médiane est toute quantité comprise entre x n/2 et x n/2+1 (en général on prend x = 1/2(x n/2 + x n/2+1 ))

16 12 CHAPITRE 2. STATISTIQUE DESCRIPTIVE si le nombre d observations est impair la médiane est x = x n/2+1. (ii) Pour les données groupées la classe médiane est celle qui contient la médiane. En admettant que les observations appartenant à cette classe sont réparties uniformément, la médiane aura pour expression : où i est l indice de la classe médiane. x i est la limite inférieure de cette classe. x i est l intervalle de la classe i. F i est la fréquence cumulée relative de la classe i. x = x i + x i 1/2 F i n i Exemple Pour les données de l exemple (3.3.1), nous avons : x = 66 Définition (Quartiles). On définit de façon similaire les quartiles i.e les 3 quantités qui séparent les données en 4 groupes contenant le même nombre de données. On notera Q 1, Q 2 et Q 3 les trois quartiles. Exemple Considérons les 24 données suivantes : Ces données mises en ordre croissant sont : Les quartiles sont alors : Q 1 = 2, Q 2 = x = 27, 5 et Q 3 = 36, 5. Remarque Le deuxième quartile est égale à la médiane. Définition (Mode). On appelle mode d une distribution non groupée toute valeur rendant maximale la fréquence. On appelle classe modale d une distribution groupée toute classe rendant maximale le rapport : Fréquence Intervalle de classe Exemple Pour les données de l exemple (3.3.1), il y a 3 modes : 63,66,7. Remarque non cumulées. (i) Le mode est une valeur qui rend maximum la représentation graphique des fréquences (ii) Dans le cas d une distribution théorique d une variable aléatoire continue le mode est toute valeur qui maximise la fonction de densité. C est la valeur la plus probable. Les paramètres de position sont très insuffisants pour caractériser des données ; aussi nous avons besoin de savoir si les observations sont concentrées ou non autour d un paramètre de position. C est ce critère que l on qualifie à l aide des paramètres de dispersion. Le paramètre le plus connu et le plus utilisé est la variance d un échantillon. Définition (Variance d un échantillon). On appelle variance de l échantillon la quantité : Si les données sont sous la forme d une série statistique s 2 = 1 n n (x i x) 2 Si les données sont sous la forme d une distribution de fréquences absolues s 2 = 1 n p n i (x i x) 2 Remarque (i) On note souvent SCE = n (x i x) 2. SCE est la Somme des Carrés des Écarts, sous entendu à la moyenne.

17 3. STATISTIQUE DESCRIPTIVE À UNE DIMENSION densité mode moyenne médiane.3.2 densité mode moyenne médiane densité mode moyenne médiane.15.1 densité mode moyenne médiane Fig. 2.8 Différences entre le mode, la moyenne et la médiane (ii) On peut aussi écrire : SCE = = = = n (x 2 i 2x i x + x 2 ) (2.1) n n x 2 i 2 x x i + n x 2 (2.2) n x 2 i 2n x 2 + n x 2 (2.3) n x 2 i n x 2 (2.4) Lorsque l on effectue les calculs à la main, c est la formule (2.4) que l on utilise. Exemple Pour les données de l exemple (3.3.1), nous avons : s 2 = 11, 3223cm 2 Remarque On démontre que l on a toujours : n n (x i a) 2 > (x i x) 2 = ns 2 si a x Définition (Écart type2 ). L écart type est la racine carré de la variance. Exemple Pour les données de l exemple (3.3.1), nous avons : s = s 2 = 3, 3649cm Remarque L écart type a la même dimension que les données (ce qui n est pas le cas de la variance). Définition (Cœfficient de variation). On appelle cœfficient de variation l indice de dispersion relatif exprimé en pourcentage : cv = 1 s x On suppose bien évidemment que x est différent de. 2 standard deviation en anglais

18 14 CHAPITRE 2. STATISTIQUE DESCRIPTIVE Exemple Pour les données de l exemple (3.3.1), nous avons : cv = 5, 148% Définition (Amplitude). On appelle amplitude l écart entre les valeurs extrêmes des données Exemple Pour les données de l exemple (3.3.1), nous avons : w = 11 Définition (Écart interquartile). On appelle écart interquartile la différence entre le troisième et le premier quartile : Q 3 Q 1 Exemple Pour les données de l exemple (3.3.9), nous avons : Q 3 Q 1 = 16, 5 Définition (boîte à moustaches 3 ). Le diagramme en boîte à moustaches ou box-plot représente schématiquement les principales caractéristiques d une variable numérique en utilisant les quartiles. On représente la partie centrale de la distribution par une boîte de largeur quelconque et de longueur l intervalle interquartile. On trace à l intérieur la position de la médiane et on complète la boîte par des moustaches de valeurs : Pour la moustache supérieure : la plus grande valeur inférieure à Q 3 + 1, 5(Q 3 Q 1 ). Pour la moustache inférieure : la plus petite valeur supérieure à Q 1 1, 5(Q 3 Q 1 ). Les valeurs extérieures représentées par des * sont celles qui sortent des moustaches. Exemple Reprenons l exemple (3.3.9). Nous avons Q 1 = 2, x = 27, 5 Q 3 = 36, 5 et Q 3 Q 1 = 16, 5. Par suite : la plus grande des données inférieure à Q 3 + 1, 5(Q 3 Q 1 ) est 5 ; la plus petite des données supérieure à Q 1 1, 5(Q 3 Q 1 ) est 8. D où le schéma suivant : Column Number Values Fig. 2.9 Boîte à moustaches Définition (Moment d ordre k par rapport à un point c). On appelle moment d ordre k par rapport à un point c la quantité : Si les données sont sous la forme d une série statistique 1 n n (x i c) k Si les données sont sous la forme d une distribution de fréquences 1 n p n i (x i c) k Notation a k. (i) Lorsque c = le moment d ordre k s appelle moment par rapport à l origine et on le note 3 boxplot en anglais

19 3. STATISTIQUE DESCRIPTIVE À UNE DIMENSION 15 (ii) Lorsque c = x le moment d ordre k s appelle moment centré et on le note m k. Remarque a 1 = x, m 1 = et m 2 = s 2. Remarque (i) Les moments centrés d ordre k pairs sont des paramètres de dispersion. (ii) Les moments centrés d ordre k impairs sont des indices de dissymétrie ou d obliquité : Ils sont nuls pour les distributions symétriques et différentes de pour les distributions dissymétriques. Définition (Cœfficients de Pearson). Les cœfficients de Pearson sont : (i) Le degré de symétrie donné par (ii) Le degré d aplatissement 4 donné par : b 1 = m2 3 m 3 = m2 3 2 s 6 b 2 = m 4 m 2 = m 4 2 s 4 Exemple Pour les données de l exemple (3.3.1), nous avons : b 1 =, 298 b 2 = 2, 12 Définition (Cœfficient de Fisher). Les cœfficients de Fisher sont : (i) Le degré de symétrie 5 donné par : g 1 = m 3 = m 3 m 3/2 s 3 = b 1 2 (ii) Le degré d aplatissement donné par : g 2 = m 4 m 2 3 = m 4 2 s 4 3 = b 2 3 Exemple Pour les données de l exemple (3.3.1), nous avons : g 1 =, 1726 g 2 =, 88 Remarque Pour la loi normale réduite (cf. chapitre sur les probabilités) on a : g 1 = et g 2 =. Les figures (2.1,2.11) donnent des exemples de distributions théoriques avec différentes valeurs des cœfficients de symétrie et d aplatissement..5 β 1 = β 1 =1.75 β 1 = Fig. 2.1 Différentes fonctions de densité pour différentes valeur du cœfficient de symétrie 3.4 Exemples Exemple Les données de la table (2.2) sont des longueurs de la rectrice centrale de la gélinotte huppée mâle, juvénile. La figure (2.12) donne les différentes représentations graphiques de ces données. Exemple Les figures (2.13) et (2.14) donnent pour les mêmes données respectivement les histogrammes et les boîtes à moustaches pour les longueurs d ailes de mésanges noires selon leur âges et leurs sexes. 4 kurtosis en anglais, attention le terme kurtosis est parfois aussi utilisé pour désigner le cœfficient g 2 de Fisher ci-après 5 skewness en anglais

20 16 CHAPITRE 2. STATISTIQUE DESCRIPTIVE.4 γ 2 = γ 2 =2 γ 2 = Fig Différentes fonctions de densité pour différentes valeur du cœfficient d applatissement Tab. 2.2 Longueurs de la rectrice centrale de la gélinotte huppée mâle, juvénile longueur longueur longueur Fig Données, boîte à moustaches et histogramme Mâles adultes.5 Mâles immatures longueur d ailes en mm longueur d ailes en mm Femelles adultes.5 Femelles immatures longueur d ailes en mm longueur d ailes en mm Fig Distributions des longueurs d ailes de mésanges noires selon leur âge et sexe 4 Statistique descriptive à 2 dimensions 4.1 Introduction De même qu en dimension 1 nous désirons représenter les données sous la forme de tableaux ou de graphiques ou de réduire les données à quelques paramètres. La grande différence avec la section précédente est que nous

21 4. STATISTIQUE DESCRIPTIVE À 2 DIMENSIONS Longueur d ailes en mm Mâles adultes Mâles immatures Femelles adultes Femelles immatures Fig Distributions des longueurs d ailes de mésanges noires selon leur âge et sexe pouvons essayer de mettre en évidence les relations qui peuvent exister entre deux caractères. Comme en dimension 1 nous nous intéressons à des variables quantitatives et nous aurons comme données initiales une suite double : x 1, x 2,..., x n y 1, y 2,..., y n La valeur du caractère 1 pour l individu i est x i La valeur du caractère 2 pour l individu i est y i Définition (Série statistique double). On appelle série statistique double la suite de n couples de valeurs (x i, y i ). Exemple Poids des feuilles et poids des racines (en grammes) de 1 individus de Cichorium intybus (cet exemple provient de l ouvrage de Dagnélie). feuilles : racines : Les distributions en fréquences Comme dans le cas monodimensionnel lorsque le nombre de données est trop important nous condensons des données en une distribution de fréquences. Pour cela nous construisons un tableau à double entrée ; le nombre d individus n ij ayant les occurrences x i et y j des caractères x et y se trouve à l intersection de la ligne i et de la colonne j. Dans ce paragraphe les indices i et j qualifient les occurrences des caractères pour des variables discrètes et les classes pour des variables continues et non pas des individus : x i x i si i i et y j y j si j j. Le tableau que l on construit a donc la structure suivante : x : y y 1 y 2... y j... y q T otaux x 1 n 11 n n 1j... n 1q n x i n i1 n i2... n ij... n iq n i x p n p1 n p2... n pj... n pq n p. T otaux n.1 n.2... n.j... n.q n.. Définition (Fréquence marginale). On appelle fréquence marginale les quantités définies par : n i. = n.j = Notation Nous rappelons que le point en indice signifie que l on a sommé sur cet indice. Avec cette notation, nous avons donc aussi : p q p q n.. = n ij = n i. = j=1 q j=1 p n ij n ij j=1 n.j

22 18 CHAPITRE 2. STATISTIQUE DESCRIPTIVE Remarque (i) Nous avons pris ici le cas des fréquences absolues mais nous pouvons bien évidemment construire des tableaux de fréquences relatives : n, ij = n ij n (ii) Nous ne construisons pas en général de tableau de fréquences cumulées. (iii) Nous pouvons bien entendu étudier séparément les caractères x et y et notamment faire deux statistiques descriptives à une dimension. Cela revient alors à travailler avec les fréquences marginales. Définition (Fréquence conditionnelle relative). On appelle fréquence conditionnelle relative pour que x = x i (respectivement y = y j ) sachant que y = y j (respectivement x = x i ) la quantité : f i/j = n ij n.j (respectivement f j/i = n ij n i. ) Définition (Profils lignes, profils colonnes). On appelle profils lignes (respectivement profils colonnes) le tableau des fréquences conditionnelles relatives f j/i (respectivement f i/j ). Remarque (i) Le tableau de fréquence relative est une représentation empirique de la fonction de probabilité d un couple de variables aléatoires et les fréquences conditionnelles relatives représentent des probabilités conditionnelles. (ii) le tableau des profils lignes est une représentation empirique les lois de distributions conditionnelles. (iii) Si la tableau de contingence comporte en fait en ligne différentes populations et en colonne les différentes modalités d un caractère qualitatif (c est-à-dire les valeurs d une variable aléatoire discrète), alors les profils lignes sont les lois de probabilités sur les différentes populations du caractère étudié. Exemple Avec les données de l exemple (4.1.2) nous obtenons : Feuilles :Racines 4 à 8 à 12 à 16 à 2 à 24 à 28 à 32 à Totaux à à à à à à à à à à Totaux Exemple La table (4.2.8) donne l évolution de l âge de la population agricole familiale dans un canton du Loiret. La table (2.4) donne quant-à elle les profils lignes. Année :Âge < à 25 ans 25 à 34 ans 35 à 44 ans 45 à 54 ans 55 à 64 ans > à 65 ans Total Total Tab. 2.3 Tableau de contingence, exploitations agricoles dans le Loiret

23 y 4. STATISTIQUE DESCRIPTIVE À 2 DIMENSIONS 19 Année :Âge < à 25 ans 25 à 34 ans 35 à 44 ans 45 à 54 ans 55 à 64 ans > à 65 ans Tab. 2.4 Tableau des profils lignes x Fig Nuage de points 4.3 Représentations graphiques Les séries statistiques doubles peuvent être représentées par un nuage de points (2.15). Quant aux distributions de fréquences elles se représentent dans un espace à trois dimensions par un diagramme en bâtons si les variables sont discrètes et par un stéréogramme si la variable est continue. Un stéréogramme est un diagramme composé de parallélépipèdes rectangles de bases les rectangles correspondant aux cellules du tableau statistique et de hauteur les fréquences divisées par la surface de la base (ceci toujours pour avoir une estimation de la densité de probabilité). Exemple Avec les données de l exemple (4.1.2) on obtient la figure (2.16) 2 Fréquences absolues Feuilles 76 Racine Fig Stéréogramme Exemple Reprenons l exemple (4.2.8) de l évolution de l âge de la population agricole familiale dans un canton du Loiret. On peut représenter les profils lignes (2.17). ceci nous permet de visualiser les différences de répartition des âges en fonction des année. Ici, nous avons l ensemble des populations étudiées, les profils lignes sont donc exactement les lois de probabilités sur ces 3 populations. Dans le cas où nous n aurions, pour chaque population que des échantillons, il faudrait effectuer un test statistique (test du χ 2 ici) pour savoir s il y a réellement une différence dans les lois de distributions. Ceci est hors de notre programme.

24 2 CHAPITRE 2. STATISTIQUE DESCRIPTIVE.45 Profils lignes Réduction des données Fig Profils lignes Nous avons ici deux types de paramètres, tout d abord les paramètres liés à une seule variable qui caractérisent les fréquences marginales et conditionnelles. Nous avons dans ce cas les paramètres habituels de la statistique descriptive à une dimension qui sont principalement les moyennes marginales x et ȳ et les variances marginales s 2 x et s 2 y, ainsi que les moyennes conditionnelles x j et ȳ i et les variances conditionnelles s 2 x/j et s2 i/y. Ensuite nous avons les paramètres permettant de décrire des relations existant entre les deux séries d observations. Ce sont ces paramètres que nous allons étudier maintenant. Définition (Covariance d un échantillon). On appelle covariance d un échantillon la quantité : Si les données sont sous la forme d une série statistique double cov(x, y) = 1 n (x i x)(y i ȳ) n Si les données sont sous la forme d une distribution en fréquence Remarque cov(x, y) = 1 n p j=1 q n ij (x i x)(y j ȳ) On note souvent SP E = n (x i x)(y i ȳ). SP E est la Somme des Produits des Écarts, sous entendu aux moyennes. On peut aussi écrire : SP E = = = = n (x i y i x i ȳ y i x + xȳ) (2.5) n x i y i ȳ n n x i x y i + n xȳ (2.6) n x i y i 2n xȳ + n xȳ (2.7) n x i y i n xȳ (2.8) Lorsque l on effectue les calculs à la main, c est la formule (2.8) que l on utilise. Exemple On considère la série statistique double suivante : x 165,5 164, 156, 174, 169, 157,5 159, 152, 155, 159, y 177, 172, 163, 183,5 171,5 165, 16,5 154,5 163, 162, x (respectivement y) représente la taille (respectivement l envergure) de 1 adolescents nés en 1947 (mensurations relevées en 1962). On a alors : cov(x, y) = 49, 68

25 4. STATISTIQUE DESCRIPTIVE À 2 DIMENSIONS 21 Remarque (i) La covariance peut-être positive ou négative. Une covariance positive (respectivement négative) indique une relation entre les données croissantes (respectivement décroissantes), i.e. que les valeurs élevées d une série correspondent, dans l ensemble, à des valeurs élevées (respectivement faibles) de l autre. (ii) L existence de termes positifs et négatifs dans le calcul de la covariance justifie pour celle-ci l absence de correction analogue aux corrections de Sheppard. Théorème On a toujours la relation suivante : L égalité n a lieu que si les points (x i, y i ) sont alignés. Démonstration Développons l expression positive suivante : 1 n cov(x, y) s x s y n (λ(x i x) (y i ȳ)) 2 = λ 2 s 2 x 2λcov(x, y) + s 2 y On sait qu une condition nécessaire et suffisante pour qu un trinôme soit toujours de même signe est que son discriminant soit négatif ou nul. Par suite nous avons : = 4cov 2 (x, y) 4s 2 xs 2 y cov 2 (x, y) s 2 xs 2 y cov(x, y) s x s y De plus nous avons l égalité cov(x, y) = s x s y si et seulement si = et donc s il existe λ 1 = cov(x, y)/s 2 x tel que n (λ 1 (x i x) (y i ȳ)) 2 = λ 1 (x i x) = y i ȳ i 4.5 Droite de régression Introduction Les points (x i, y i ),...,n sont alignés Exemple On désire savoir comment le taux de cholestérol sérique dépend de l âge chez l homme. Pour cela on a pris 5 échantillons d hommes adultes d âges bien déterminés 25, 35, 45, 55 et 65 ans. On a obtenu les données suivantes : Âges Taux Âges Taux Âges Taux Âges Taux La figure 2.18 donne la représentation graphique de ces données. Que peut-on conclure de ces données? En pratique nous sommes souvent amenés à rechercher une relation entre deux variables x et y. Pour cela, dans un premier temps, nous collectons des données (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ). Ensuite nous représentons graphiquement ces données. Nous pouvons par exemple avoir les cas suivants : 6 Exemple provenant de l ouvrage de Grémy et Salmon, Bases statistiques, page 122.

26 22 CHAPITRE 2. STATISTIQUE DESCRIPTIVE Taux Ages Fig Taux de cholestérol en fonction de l âge 12 Cas (a) 1 Cas (b) 1 Cas (c) y 6 y 5 y x x x Fig Différentes formes de graphes Suivant les cas de la figure 2.19, nous pouvons penser aux modèles : Cas (a) y(x) = β + β 1 x ; Cas (b) y(x) = β + β 1 x + β 2 x 2 ; Cas (c) pas de modèle. L objet de la régression linéaire simple est l étude du cas (a). L un des buts de la régression linéaire simple est de prédire la meilleure valeur de y connaissant x (si le modèle linéaire est bien évidemment correct). L objectif de cette section est uniquement descriptif, aussi nous n allons étudier que l estimation ponctuelle des paramètres. Estimation des paramètres Une droite sera d autant plus proche des points M i (x i, y i ) que les écarts entre ces points et la droite seront faibles. L un des critères les plus utilisés est le critère des moindres carrés qui est la somme des carrés des écarts r i = y i ŷ i (cf figure (2.2)). Ici, les points (x i, y i ),...,n sont connus, la question est de trouver les valeurs des paramètres β et β 1 qui rendent la valeur du critère la plus faible possible. Nous sommes ainsi ramené au problème d optimisation suivant : { Min f(β) = 1 n (P ) 2 r2 i = 1 2 β R 2 n (y i β β 1 x i ) 2 En effet, plus f(β) sera proche de, plus les carrés des résidus, donc les résidus r i seront proches de.