UE 14 - Statistiques Polycopié de cours. Partie 2. Sophie Donnet et Katia Meziani

Transcription

1 UE 14 - Statistiques Polycopié de cours. Partie 2 Sophie Donnet et Katia Meziani

2 Statistique descriptive 1

3 Planning des séances Partie 2 - Statistique Descriptive (12 séances contrôle) Semaine 8 Chapitre 1 : Introduction à la statistique descriptive. Séance 2 Exercices 1.1 et 1.2 Semaine 9 Chapitre 2 : Distributions statistiques univariées Moyennes. Indicateurs et boîtes de distribution Exercices 2.1 à 2.9 Semaine 10 Chapitre 2 (suite) Indices et courbes d inégalité. Diagrammes quantile-quantile Exercices 2.10 à 2.14 Semaine 11 Chapitre 3 : Distributions statistiques bivariées Distributions conjointe, marginale et conditionnelle. Couples de variables quantitatives. Début de la régression linéaire Exercices 3.1 et 3.6 Semaine 12 Chapitre 3 (fin) et contrôle des connaissances Séance 1 Fin de la régression linéaire Exercices 3.7 à 3.10 Séance 2 Contrôle des connaissances Semaine 13 Chapitre 4 : Indices statistiques Exercices 4.1 à 4.2 Semaine 14 Chapitre 5 : Séries chronologiques. Exercices 5.1 à 5.4 2

4 Table des matières 1 Introduction aux statistiques descriptives Introduction générale A propos des exercices Vocabulaire Variable qualitative Variable quantitative discrète Variable quantitative continue Exercices Distributions statistiques univariées : principaux indicateurs Caractéristiques de tendance centrale et de position Le mode Moyenne arithmétique Moyennes géométriques et arithmétiques La médiane Les quantiles Caractéristiques de dispersion L étendue Distance inter-quartiles L écart absolu moyen La variance L écart type Représentation graphique : boîte de distribution Caractéristiques de concentration : Courbe de Lorenz et indice de Gini QQ-plot (graphiques quantile-quantile) Exercices Moyennes Indicateurs et box-plot Indices et courbes d inégalités Diagrammes quantile quantile Description des distributions statistiques bivariées Distributions conjointe, marginale et conditionnelle Distribution conjointe Distributions marginales Distribution conditionnelle

5 3.1.4 Statistique du Chi-deux Cas particulier des couples de variables quantitatives Représentation des données, indicateurs Covariance et coefficient de corrélation linéaire empiriques Ajustement linéaire d un nuage de points Exercices Indices statistiques Indices élémentaires Définition Exemple et interprétation Propriétés Des indices élémentaires aux indices synthétiques Indices de Laspeyres et de Paasche Indice de Laspeyres Indice de Paasche Remarques sur les indices de Laspeyres et Paasche Un compromis : l indice de Fisher Les indices-chaînes Indice des prix de l INSEE Exercices Séries chronologiques Combinaison de la tendance et de la saisonnalité : modèle additif ou multiplicatif? En l absence de saisonnalité : estimation de la tendance Estimation paramétrique Estimation non paramétrique : méthode par moyenne mobile Elimination de la saisonnalité dans un modèle additif Cas pratique : étude du nombre de passagers dans un aéroport sur une durée de 12 ans Exercices

6 Chapitre 1 Introduction aux statistiques descriptives 1.1 Introduction générale Supposons que nous disposions d un ensemble relativement important de données que nous souhaitons étudier. En raison du volume important des données, une lecture seule (ligne à ligne) ne permettrait pas d en tirer de l information. Le but de la statistique descriptive (autrement appelée analyse de données ) est de résumer l information contenue dans ce gros volume de données en un petit nombre de quantités (moyenne, écart-type, médiane...) ou de représenter de façon concise les données (sous forme de tableaux ou de graphiques). L analyse des données en tant que telle ne nécessite pas d outils probabilistes mais utilise plutôt des concepts d algèbre. Remarque 1.1 : Un autre point de vue peut-être adopté si on considère les données recueillies comme l observation partielle d une population plus importante généralement supposée de taille infinie. Afin d induire des informations sur la population infinie à partir de l échantillon de données recueillies, il faut introduire la notion de loi de probabilité. Ce deuxième point de vue, appelée inférence statistique ou statistique mathématique constitue le programme de 2ème année. Dans le programme de 1ère année, nous nous intéressons à la statistique descriptive. Dans le chapitre 1, nous introduisons d abord quelques concepts généraux puis nous proposons (chapitre 2) un catalogue de diverses quantités permettant de résumer l information contenue dans un jeu de données. Le chapitre 3 est dédié à l étude des relations entre deux variables. Dans le chapitre 4, nous introduisons la notion d indice. Enfin, les séries temporelles sont abordées dans le chapitre A propos des exercices Chaque chapitre est complété par des exercices. Certains reposent sur des jeux de données réelles. Les jeux de données traités dans les exercices sont disponibles sur le site intercours sous un format.xls ou.csv. Les jeux de données dont le nom de fichier contient le mot INSEE ont été trouvés sur le site 5

7 de l Institut National de la Statistique et des Etudes Economiques (INSEE). 1. Pour certaines questions, on vous demande de trouver vous-même les informations sur ce site. Les données concernant les USA ont été trouvées sur le site de l US Census Bureau 2. Celles concernant les meurtres aux USA proviennent du FBI 3. Enfin, les informations concernant la peine de mort ont été collectées sur Wikipédia. Les données dont le nom de fichier contient le mot OCDE proviennent des bases de données de l Organisation de Coopération et de Développement Economiques (OCDE). Les données dont le nom de fichier contient le mot ONU proviennent des bases de données de l Organisation des Nations Unies. Notez que depuis très peu de temps, dans un soucis de transparence, la France a ouvert le site Ce site met à disposition un grand nombre (toutes?) de données officielles. Pour votre culture générale, nous vous invitons à le parcourir. Dans les exercices, vous devez calculer des indicateurs, tracer des histogrammes, des boîtes de distribution. Vous pouvez utiliser Excel ou un logiciel de statistiques. Excel n étant pas un logiciel de statistiques à proprement parler, les outils statistiques graphiques ne sont pas disponibles par défaut. Les histogrammes peuvent être tracés en installant la macro complémentaire Utilitaire d analyse. Les box-plot peuvent être faites à la main mais il semble plus raisonnable d utiliser les macro existantes sur le marché. En particulier nous vous proposons d utiliser la macro complémentaire Boxplot.xla de Olivier Martin (Modulad, Numéro 32, janvier 2005). Nous avons mis cette macro sur MyCourse ainsi que sa notice d utilisation particulièrement pédagogique. Plus généralement, d autres macro peuvent être téléchargées sur le site fr/axis/modulad/excel_macros.htm. Nous vous invitons à parcourir le web pour trouver des outils pratiques, tout en restant vigilants quant à leur qualité. Remarque 1.2 : Notez que la dernière version d Excel, la macro Utilitaire d analyse a été remplacée par le logiciel StatPlus avec une version libre pour l instant. 1.3 Vocabulaire En statistique, on appelle population un ensemble fini P. Les éléments de P seront appelés individus. Cette population peut être de nature très variée : population humaine, agents économiques, pièces détachées d un certain type, logements dans une ville donnée, etc. Dans la population considérée on s intéresse à un (ou plusieurs) caractère(s) statistique(s) X concernant les individus ; à chaque individu de P est attachée une modalité du caractère X i.e. une valeur prise par le caractère. Exemple 1.1 Si on observe le caractère X = Genre, les modalités sont homme ou femme

8 Le caractère X est dit quantitatif si il est mesurable. Dans ce cas, il peut être continu si il peut prendre n importe quelle valeur d un intervalle de R ; par exemple, le poids et la taille d un individu sont quantitatifs continus ; discret si il prend des valeurs entières ; par exemple, le nombre d enfants par femme est discret ; qualitatif si il ne peut être mesuré ; par exemple, le département de naissance d un individu, son sexe, son origine sociale. Remarque 1.3 : Il faut prendre ces définitions avec précaution. En effet, la distinction continu / discret est parfois peu claire. Par exemple, en théorie, l âge est une caractéristique continue mais en pratique elle est au mieux mesurée avec une précision d une journée. Dans la suite, on appellera série statistique la suite des valeurs prises par une variable X sur les unités d observations. On note n le nombre d unités d observation et x 1,..., x n les valeurs prises. Une première étape consiste à classer les données par modalité (ou intervalle de valeurs) et fournir le tableau des effectifs et fréquences. Dans une deuxième étape, on représente graphiquement la répartition des données au moyen d un diagramme circulaire ou d un histogramme. La méthodologie est propre au type de caractéristique observée. 1.4 Variable qualitative Supposons que la variable X est qualitative et soit J le nombre de modalités de la variable (c est à dire le nombre de valeurs différentes que peut prendre la variable) Exemple 1.2 Si on observe le caractère X = Genre alors J = 2. On note m 1,... m J ces modalités. Soit n j le nombre de fois où on observe la modalité m j dans la population. f j est la fréquence de la modalité : On remarque que f j = n j n n 1... n J = n et f 1... f J = 1 Tableau des effectifs et fréquences Une première façon de résumer les données brutes est de remplir le tableau des effectifs et fréquences : Modalités Effectifs Fréquences m 1 n 1 f 1... m J n J f J Total n 1 7

9 2nd rd Crew 1st 1st 2nd 3rd Crew Figure 1.1 Voyageurs du Titanic : diagrammes en barre (à g.) et en secteurs (à dr.) des effectifs Représentation graphique Dans le cas d une variable qualitative, on peut représenter les données graphiquement par un diagramme en barre dans lequel la hauteur de chaque barre est proportionnelle à l effectif. La largeur de chaque barre est arbitrairement choisie. un diagramme en secteur, dans lequel chaque secteur angulaire est proportionnel à l effectif. Exemple 1.3 (Titanic) On s intéresse aux voyageurs du Titanic. La variable observée est leur classe qui prend 4 modalités : 1ère classe, 2ème classe, 3ème classe, équipage Modalités Effectifs Fréquences 1ère Classe ème Classe ème Classe Equipage Total Le diagramme en barre et le diagramme circulaire sont représentés sur la figure Variable quantitative discrète Si la variable observée X est discrète, les modalités sont des entiers naturels. Ordonnons les modalités. Notons m j la j-ème modalité : m 1 m 2 m J n j le nombre de fois où la modalité j a été atteinte et f j sa fréquence d apparition. Puisque les modalités sont ordonnées, on peut définir les effectifs et fréquences cumulés, respectivement notés 8

10 N j et F j : N j = n 1... n j = j n j et F j = f 1... f j = k=1 N j est alors le nombre d unités statistiques sur lesquelles la variable prend des valeurs inférieures ou égales à m j. Tableau des effectifs et fréquences cumulés j k=1 Modalités Effectifs Eff. cumulés Fréquences Fréq. cumulées m 1 n 1 N 1 f 1 F m J n J n f J 1 Total n 1 Représentation graphique Il est standard de représenter les effectifs d une variable discrète par un diagramme en batônnets dont les batônnets (traits) ont pour abcisse la modalité et sont de hauteur proportionnelle à l effectif (voir figure 1.2 à gauche). Par ailleurs, les fréquences cumulées sont représentées par la fonction de répartition empirique définie de la façon suivante : 0 si x < m 1 F n (x) = F j si m j x < m j1 1 si x m J C est une fonction en escaliers (voir figure 1.2 à droite pour un exemple). f j Exemple 1.4 (Insectes) On s intéresse aux effets d un insecticide (McNeil, D. (1977)). Pour cela, on compte le nombre d insectes présents sur n = 12 petites surfaces expérimentales. La série statistique est la suivante Les modalités ordonnées sont m 1 = 0, m 2 = 1, m 3 = 1, m 4 = 3, m 5 = 4, m 6 = 7. Le tableau des effectifs et fréquences est le suivant : Modalités Effectifs Eff. cumulés Fréquences Fréq. cumulées /12 2/ /12 6/ /12 8/ /12 10/ /12 11/ /12 12/12 Total 12 1 Le diagramme en batônnets et la fonction de répartition empirique sont représentés sur la figure

11 Figure 1.2 Insectes : diagrammes en batonnets des effectifs (à g.) et fonction de répartition (à dr.) Remarque 1.4 : Si la variable observée est qualitative ordinale (i.e. on peut ordonner naturellement les modalités) alors les effectifs et fréquences cumulés ainsi que la fonction de répartition empirique ont un sens. 1.6 Variable quantitative continue Si la variable observée est quantitative continue, alors chaque valeur observée sera atteinte très probablement une seule fois. Par conséquent, il y aura autant de modalités que d unités statistiques. Ainsi la méthodologie utilisée pour les variables qualitatives ou quantitatives discrètes ne permet pas de résumer les données brutes. Dans ce cas, il faut regrouper les données en classes (ou plages de valeurs). Le tableau des effectifs obtenus à partir de ces classes est appelé distribution groupée. Supposons que l on découpe les données en J classes. On note alors c j le centre de la j-ème classe c j la borne inférieure de la j-ème classe c j la borne supérieure de la j-ème classe (En général, c j = c j1, les classes se touchent ) n j l effectif de la j-ème classe N j son effectif cumulé Le tableau des effectifs est alors le suivant : Classe Effectifs Eff. cumulés Fréquences Fréq. cumulées [c 1, c 1 [ n 1 N 1 f 1 F 1. [ c J, [ c J.... n J n f J 1 Représentation graphique Les données d une variable continue sont représentées graphiquement par un histogramme dont les rectangles ont pour bornes c j et c j et sont d une surface proportionnelle à l effectif (ou à la fréquence) : la j-ème classe de bornes c j et c j est représentée par un rectangle de 10

12 hauteur h j telle que h j (c j c j ) = f j h j = c j c j La distribution des données peut aussi être représentée par la fonction de répartition empirique. Sous l hypothèse d équirépartition au sein de chaque classe, la fonction de répartition F n est linéaire par morceaux d équation : 0 si x < c 1 1 F n (x) = F j 1 f j (x c c j c j ) si x [c j, c j [ j 1 si x c J n j Remarque 1.5 : Dans le cas où c j = c j1, la fonction de répartition est continue de R dans ]0, 1[. De plus si il n y a pas de classe vide, elle est strictement croissante donc elle réalise une bijection de R dans ]0, 1[. En pratique, pour tracer la fonction de répartition empirique, on relie alors par des segments les points de coordonnées (c j, F j). Exemple 1.5 (Etats-Unis) Nous considérons le revenu national brut par habitant de chacun des 50 états des Etats Unis d Amérique en 1974 (colonne Income de la table 1.1). Nous regroupons les données en classes de largeur 500 : [ [ c j, c j n j N j f j F j [3000; 3500[ [3500; 4000[ [4000; 4500[ [4500; 5000[ [5000; 5500[ [5500; 6000[ [6000; 6500[ L histogramme des effectifs correspondant aux classes définies précédemment est représenté sur la figure 1.3 à gauche. Sur la même figure à droite, on a représenté l histogramme des effectifs dans le cas où on regroupe les 3 dernières classes. La fonction de répartition empirique correspondant à 7 classes est représentée sur la figure 1.4 Remarque 1.6 : Le regroupement des données par classes peut aussi être appliqué aux variables quantitatives discrètes quand le nombre de modalités J est trop grand. 1.7 Exercices Exercice 1.1 On considère le tableau contenu dans le fichier composition-famille-insee.xls et reproduit dans le 11

13 0e00 2e-04 4e-04 6e-04 0e00 2e-04 4e-04 6e Figure 1.3 USA : histogrammes des revenus pour 7 classes (à g.) et après avoir regroupé les 3 dernières classes (à dr.) Figure 1.4 USA : fonction de répartition pour 7 classes 12

14 tableau Que contient ce tableau? A-t-on accès à la base complète des données? Quels sont la population d origine, les individus, le caractère étudié? 2. On souhaite étudier la composition des ménages en Faites les graphiques qui vous paraissent pertinents pour représenter ces données. Exercice 1.2 Dans le fichier data-usa.xls, on a collecté des données sur les 51 états américains. Le tableau 1.3 est une représentation partielle des données. 1. Décrire la population statistique, la taille de cette population, un individu ainsi que les variables étudiées. 2. On s intéresse au caractère Républicain ou Démocrate de chaque état (i.e. vote majoritairement républicain ou démocrate). Quel est le type de la variable étudiée? Proposer une représentation graphique des données. 3. On s intéresse maintenant à la variable Nombre de naissances pour 1000 habitants (2006) (a) Quel est le type de la variable étudiée? (b) Faire un tableau des fréquences (avec Excel) (c) Proposer une représentation graphique des données (avec Excel). 13

15 Population Income Illiteracy Life Exp Murder HS Grad Frost Area Alabama Alaska Arizona Arkansas California Colorado Connecticut Delaware Florida Georgia Hawaii Idaho Illinois Indiana Iowa Kansas Kentucky Louisiana Maine Maryland Massachusetts Michigan Minnesota Mississippi Missouri Montana Nebraska Nevada New Hampshire New Jersey New Mexico New York North Carolina North Dakota Ohio Oklahoma Oregon Pennsylvania Rhode Island South Carolina South Dakota Tennessee Texas Utah Vermont Virginia Washington West Virginia Wisconsin Wyoming Table

16 Nombre moyen d occupants par résidence principale 3,1 2,9 2,7 2,6 2,4 2,3 Répartition des résidences principales selon le nombre d occupants (%) 1 personne n.d. 22,1 24,5 27,0 30,8 33,3 2 personnes n.d. 27,6 28,4 29,4 30,9 32,8 3 personnes n.d. 19,1 18,7 17,7 16,2 14,8 4 personnes n.d. 15,3 16,1 15,7 13,9 12,5 5 personnes n.d. 8,2 7,4 6,8 5,7 4,7 6 personnes ou plus n.d. 7,6 4,9 3,5 2,5 1,8 Total 100,0 100,0 100,0 100,0 100,0 100,0 Table 1.2 Exercice 1.1. Source : Insee. Champ : France, population des ménages. n.d. : non disponible 15

17 Population (en milliers) (2006) Nombre de naissances pour 1000 habitants (2006) Nombre de mariages pour 1000 habitants (2006) Nombre de divorces pour 1000 habitants (2006) Taux de mortalité infantile (2006) Income per Capita (2006) Etats Unis ,2 7,4 3,7 6, D Alabama ,7 9,2 5,0 9, R Alaska ,4 8,3 4,2 6, R Arizona ,6 6,3 3,9 6, R Arkansas ,6 12,5 5,9 8, R California ,4 6,2 (NA) 5, D Colorado ,9 7,1 4,4 5, D Connecticut ,9 5,5 3,1 6, D Delaware ,0 6,0 3,8 8, D District of Columbia ,7 3,9 2,1 11, D Florida ,1 8,6 4,8 7, D Georgia ,9 7,1 (NA) 8, R Hawaii ,8 22,3 (NA) 5, D Idaho ,5 10,1 5,0 6, R Illinois ,1 6,1 2,5 7, D Indiana ,0 7,0 (NA) 8, D Iowa ,6 6,7 2,7 5, D Kansas ,8 6,8 3,1 7, R Kentucky ,8 8,4 5,0 7, R Louisiana ,8 (NA) (NA) 9, R Maine ,7 7,8 4,2 6, D Maryland ,8 6,6 3,0 8, D Massachusetts ,1 5,9 2,3 4, D Michigan ,6 5,9 3,5 7, D Minnesota ,2 6,0 (NA) 5, D Mississippi ,8 5,7 4,8 10, R Missouri ,9 6,9 3,8 7, R Montana ,2 7,5 4,4 5, R Nebraska ,1 6,8 3,4 5, R Nevada ,0 52,6 6,8 6, D New Hampshire ,9 7,1 4,0 6, D New Jersey ,2 5,5 3,0 5, D New Mexico ,3 6,9 4,3 5, D New York ,0 6,8 3,1 5, D North Carolina ,4 7,3 4,0 8, D North Dakota ,6 6,8 3,1 5, R Ohio ,1 6,3 3,5 7, D Oklahoma ,1 7,3 5,3 8, R Oregon ,2 7,2 4,0 5, D Pennsylvania ,0 5,7 2,8 7, D Rhode Island ,6 6,5 3,0 6, D South Carolina ,4 7,8 3,0 8, R South Dakota ,2 8,1 3,2 6, R Tennessee ,0 10,7 4,6 8, R Texas ,0 7,6 3,4 6, R Utah ,0 9,2 3,9 5, R Vermont ,4 8,6 3,8 5, D Virginia ,1 7,9 4,0 7, D Washington ,6 6,5 4,1 4, D West Virginia ,5 7,3 5,0 7, R Wisconsin ,0 6,0 3,0 6, D Wyoming ,9 9,5 5,2 7, R Table 1.3 Exercice 1.2 : vue partielle des données Vote majoritaire pour démocrates ou républicains en

18 Chapitre 2 Distributions statistiques univariées : principaux indicateurs Dans le chapitre précédent nous avons présenté les données sous forme de tableau et de graphes (histogramme, diagrammes et fonctions des répartitions). Nous cherchons maintenant à fournir des indicateurs permettant de décrire synthétiquement la distribution des données x 1,..., x n. Dans une première partie, nous nous intéressons aux paramètres de position et de tendance centrale. Dans un second temps, nous considérerons les indicateurs de dispersion puis de concentration. Nous insistons sur le fait qu un indicateur ne peut être pris seul comme description de la distribution mais doit être comparé aux autres. En outre, les paramètres de position et de dispersion doivent être mis en regard pour avoir une idée plus complète de la distribution. 2.1 Caractéristiques de tendance centrale et de position Le mode Le mode est la modalité qui apparaît le plus fréquemment. Le mode peut être défini pour toutes les variables qualitatives ou quantitatives discrètes. Il n est pas nécessairement unique. Dans le cas d une variable continue dont les valeurs sont regroupées en classe, on parlera de classe modale. Exemple 2.1 Dans l exemple Titanic, le mode est la modalité Equipage. Dans l exemple Insectes, le mode est la modalité m 2 = 1. Dans l exemple USA, la classe modale est [4500, 5000[ Moyenne arithmétique La moyenne n a de sens que pour une variable quantitative. Elle est égale à la somme des valeurs observées divisée par le nombre d observations n : m X = x = 1 n n i=1 x i = x 1... x n n Remarque 2.1 : 17

19 Dans le cas d une variable discrète, la moyenne peut aussi s écrire à partir des effectifs et modalités : m X = 1 n J n j m j Exemple 2.2 Dans l exemple Insectes, la moyenne du nombre d insectes vaut Dans l exemple USA (tableau 1.1), la moyenne des revenus vaut US dollars par an. j=1 Remarque 2.2 : La moyenne arithmétique est très sensible aux valeurs extrêmes (très grandes ou très petites). Dans l exemple Insectes si on ajoute une observation qui vaut 15 la moyenne arithmétique est considérablement modifiée : elle passe de 2.08 à La moyenne arithmétique n a pas forcément le sens voulu. Dans certains contextes, nous avons naturellement recours à d autres types de moyennes Digression : moyennes géométriques et arithmétiques Moyenne géométrique La moyenne géométrique de la série statistique x 1,..., x n est définie par : ( n ) 1/n x G = x i Remarque 2.3 : Si tous les x i sont strictement positifs alors log(x G ) = 1 n n i=1 log(x i). i=1 Exemple 2.3 Supposons que l on place 100 e durant 4 années aux taux de 1% la 1ère année, 2% la deuxième année, 3% la 3ème année, et 4% la 4ème année. Quel est le taux moyen par an de ce placement? On entend pas taux moyen le taux τ m tel que si on l applique 4 années de suite, on obtient le même rendement. Au bout de 4 ans, j ai sur mon compte = e. Le taux moyen τ m est tel que si j applique τ m 4 années de suite j obtiens la même somme : = 100 (1 τ m ) 4 1 τ m = ( ) 1/4 τ m = ( ) 1/4 1 = d où dans notre cas τ m = 2.49% ce qui est différent de la moyenne arithmétique des taux qui vaut = 2.50%. Moyenne harmonique : 18

20 La moyenne harmonique vaut : x H = n n i=1 1 x i Exemple 2.4 Considérons un avion faisant un aller-retour sur la même trajectoire (de longueur d) à 600 km/h à l aller et 700 km/h au retour. Quelle est sa vitesse moyenne? Pour faire son aller retour, l avion met un temps T égal à : T = d d heures où d est la distance de son trajet aller. Sa vitesse moyenne v m est telle que si on applique la vitesse moyenne à tout le parcours on met le même temps T pour faire l aller-retour : d où T = d d = 2 d 1 v m v m = = Cette vitesse moyenne n est par celle obtenue par la moyenne arithmétique qui vaut 650 km/h. Comparaison des moyennes arithmétiques, géométriques et harmoniques Théorème Soient x 1,..., x n, n valeurs strictement positives. Alors on a : La médiane min{x 1,..., x n } x H x G x max{x 1,..., x n } La médiane m e est la valeur de la série séparant les unités statistiques en deux groupes, de telle façon que la moitié des x i sont plus petites que m e. Elle n a de sens que dans le cas d une variable quantitative. La médiane se lit sur la fonction de répartition empirique F n : c est l abscisse m e pour laquelle F n (m e ) = 50% (2.1) En pratique, nous distinguons les variables discrètes des variables continues : Variable continue : Dans ce cas, on a vu que si il n y a pas de classe vide, la fonction de répartition est continue strictement croissante donc elle réalise une bijection de R sur ]0, 1[. Par conséquent, l équation (2.1) admet une unique solution. On trouve cette solution de la façon suivante : 1. On repère la classe médiane telle que F j 1 < 0.5 et F j m e vérifie l équation d où F j 1 f j c j c j (m e c j ) = 0.5 m e = c j (0.5 F j 1) c j c j f j 19

21 Exemple 2.5 (USA) D après le tableau des effectifs cumulés associé à cet exemple, la classe médiane est [4500; 5000[ car pour cette classe F j = et pour la précédente F j 1 = 0.48 < 0.5. Par interpolation linéaire, on obtient : m e = 4500 ( ) = Variable discrète : Dans ce cas, la fonction de répartition est en escalier donc n est pas bijective : le raisonnement précédent n est plus valable. On peut travailler directement sur la série statistique x 1,... x n que nous commençons par ordonner de la plus petite à la plus grande valeur. Nous notons x (1),..., x (n) la série ordonnée. Si n est un nombre impair alors la médiane est la valeur centrale : m e = x ( n1 2 ) Si n est pair, la médiane est la moyenne entre les 2 valeurs centrales : m e = x ( n 2 ) x ( n 2 1) 2 Exemple 2.6 (Insectes) D après le tableau des effectifs cumulés associé à cet exemple, on a un nombre pair d observations qui sont dans l ordre Les 6 premières valeurs sont 0, 0, 1, 1, 1, 1 et les 6 suivantes sont 2, 2, 3, 3, 4, 7. La médiane est donc 12 2 = 1.5 Remarquons que dans les deux cas, on peut lire la médiane sur le graphique de la fonction de répartition empirique (voir figures 2.1) Les quantiles Les quantiles sont la généralisation du concept de médiane. Soit α une proportion ]0, 1[ que l on se fixe. Le quantile d ordre α est tel qu une proportion α des x i est plus petite que q α. Formellement, q α est tel que F n (q α ) = α Variable continue : Comme précédemment, si la fonction de répartition F n est continue et strictement croissante, alors elle réalise une bijection de R sur ]0, 1[ donc q α est parfaitement bien défini. Dans le cas d une variable continue dont les valeurs ont été regroupées en classe, 1. On repère la classe telle que F j 1 < α et F j α 20

22 Figure 2.1 Lecture de la médiane sur les fonctions de répartition empiriques (exemple USA à gauche et Insectes à droite 2. q α vérifie l équation d où F j 1 q α = c j f j c j c j (q α c j ) = α (α F j 1) c j c j f j Variable discrète : Si F n n est pas bijective (par exemple constante par morceaux dans le cas d une variable discrète), on adopte le même principe que pour la médiane : Si nα est un nombre entier alors q α = x (nα) x (nα1) 2 Si nα n est pas un nombre entier alors considérons nα le plus petit entier supérieur ou égal à nα q α = x ( nα ) Exemple 2.7 Dans l exemple USA, le premier quartile est q 0.25 = 3500 ( ) = Le troisième quartile est q 0.75 = 4500 ( ) = 4875 Remarque 2.4 : Cette définition est une parmi tant d autres que l on peut trouver dans la littérature. En effet, en raison de la non-bijectivité de F n, cette définition est une approximation de la solution de l équation (2.1). D autres définitions peuvent être utilisées dans les ouvrages et logiciels de statistique descriptive. 21

23 2.2 Caractéristiques de dispersion L étendue L étendue est la différence entre la plus petite valeur et la plus grande valeur de la série : e = x (n) x (1) Exemple 2.8 Dans l exemple USA, l étendue est e = = Distance inter-quartiles Les quartiles sont les quantiles d ordre 25% et 75%. La distance inter-quartile est la différence entre ces deux valeurs : IQ = q 0.75 q 0.25 Exemple 2.9 Dans l exemple USA, l étendue est IQ = L écart absolu moyen L écart absolu moyen est la moyenne des valeurs absolues des différences entre x i et la moyenne arithmétique x : e moy = 1 n x i x n La variance La variance est la moyenne des carrés des différences entre x i et la moyenne arithmétique x : s 2 X = 1 n (x i m X ) 2 n i=1 i=1 Théorème (Formule de Koenig) La variance empirique peut aussi s écrire de la façon suivante : s 2 X = 1 n x 2 i m 2 X n Dans le cas discret, la variance peut aussi s écrire à partir des effectifs et des modalités : s 2 X = 1 n i=1 J n j (m j m X ) 2 = 1 n j=1 J n j m 2 j m 2 X Remarque 2.5 : On voit en 2ème année de DEGEAD (UE 44) que si on veut estimer correctement la variance théorique d une distribution à partir d un échantillon x 1,..., x n, on utilise la variance corrigée : (s X) 2 = 1 n 1 22 j=1 n (x i m X ) 2 i=1

24 En général, les logiciels de statistiques fournissent la variance corrigée. Exemple 2.10 Dans l exemple USA, la variance s 2 X vaut et la variance corrigée (s X )2 = L écart type L écart type est une mesure de la distance moyenne à la moyenne. C est la racine carrée de la variance : s X = s 2 X De même on définit l écart type corrigé : s X = (s X )2 Remarque 2.6 : L écart-type s exprime dans la même unité que les données. 2.3 Représentation graphique : boîte de distribution La boîte de distribution (ou boxplot) est une représentation graphique synthétique de la distribution des données. Elle résume quelques caractéristiques de position et de dispersion du caractère étudié (médiane, quartiles, minimum, maximum ou déciles). Ce diagramme est utilisé principalement pour comparer un même caractère dans deux populations de tailles différentes. Il se construit de la façon suivante : 1. Tracer un rectangle qui s étend de q 0.25 à q 0.75, de largeur quelconque. 2. Séparer le rectangle en deux à la hauteur de la médiane m e. On obtient alors une boîte. 3. On complète ce rectangle par deux segments. Pour cela, calculer Identifier les valeurs de la série telle que a = q IQ et b = q IQ x a = min{x i x i a} et x b = max{x i x i b} Ces valeurs sont appelées valeurs adjacentes. On relie ces valeurs au rectangle par un segment 4. Les valeurs qui ne sont pas comprises entre les valeurs adjacentes sont représentées par des points et appelées valeurs extrêmes Exemple 2.11 Dans l exemple USA on trouve a = et b = Les valeurs adjacentes sont x a = 3098 et x b = La boîte de distribution est représentée sur la figure

25 Figure 2.2 Boîte de distribution pour l exemple USA 2.4 Caractéristiques de concentration : Courbe de Lorenz et indice de Gini Des indicateurs particuliers ont été développés pour mesurer les inégalités de revenus ou de patrimoine. Une société sera parfaitement égalitaire si tous les individus reçoivent le même revenu. Au contraire, elle est considérée comme parfaitement inégalitaire si un seul individu reçoit tous les revenus. On représente ces inégalités par la courbe de Lorenz. Soient x 1,..., x n les revenus des n individus de la société considérée. Comme précédemment, on note x (1),..., x (n) les revenus ordonnés par ordre croissant. Le revenu total est la somme des revenus x 1... x n = x (1)... x (n). Pour tout i entre 1 et n, q i est la proportion de revenus (par rapport au revenu total) perçus par les i individus ayant les i plus petits revenus : q i = i k=1 x (k) n k=1 x k De plus, on pose q 0 = 0 et on a q n = 1. La courbe de Lorenz relie les points ( i n, q ) i. Ainsi à chaque proportion i n riches, on attribue la fraction des revenus totaux dont ils disposent. d individus les moins Remarque 2.7 : Dans le cas particulier où chaque individu perçoit le même revenu alors x i = C n d où x 1...x n = C et q i = i n. La courbe de Lorenz est la droite d équation y = x Pour une série statistique fixée, on représente la courbe de Lorenz et la diagonale du carré de côté 24

26 Figure 2.3 Courbe de Lorenz pour l exemple USA 1. Plus l écart entre la courbe de Lorenz et la diagonale est grand et plus la société considérée est inégalitaire. L indice de Gini permet de quantifier cet écart. Il est égal à 2 fois la surface comprise entre la courbe de Lorenz et la diagonale : G = 1 n(n 1) n i=1 n j=1 x i x j 2x On utilisant l échantillon ordonné x (1),..., x (n), on a l expression suivante : G = 1 [ 2 n i=1 ix ] (i) (n 1) n 1 nx L indice de Gini est compris en 0 et 1. Il est proche de 0 si tous les revenus sont égaux. Exemple 2.12 Dans l exemple USA, la courbe de Lorenz des revenus des 50 états est donnée sur le graphe 2.3. L indice de Gini vaut Donc il semble que les revenus soient équitablement répartis entre les états. 2.5 QQ-plot (graphiques quantile-quantile) Soit x 1,..., x n une série statistique. On peut chercher à savoir si le distribution des données est gaussienne ou Poisson etc... Notons F 0 la fonction de répartition de cette loi de probabilité d intérêt. Le QQ-plot est un outil graphique permettant de visualiser rapidement l adéquation de la distribution d une série numérique à une distribution de référence. Dans ce graphe, on reporte sur l axe des ordonnées les fractiles correspondant à la distribution observée et sur l axe des abscisses ceux correspondant à la distribution théorique. 25

27 Pays PIB par habitant Consommation d énergie par habitant (en $ US, en 2004) (en Tonnes d équivalent pétrole, en 2002) Afrique du sud Algérie Bénin Egypte Maroc Nigeria Sénégal Allemagne Espagne France Grèce Italie Luxembourg Norvège Portugal Royaume-Uni Suède Suisse Arabie Saoudite Chine Corée du Sud Inde Iran Israel Japon Koweit Philippines Russie Turquie Vietnam Argentine Brésil Canada Colombie Etats-Unis Paraguay Venezuela Australie Table 2.1 Ces données sont obtenues du site http :// 26

28 En pratique 1. Tableau des quantiles et nuage de points Dans le cas d une variable quantitative dont les valeurs sont regroupées par modalités : Soient m 1,..., m J les modalités de la série x 1,..., x n. On remplit le tableau des fréquences cumulées. Pour chaque fréquence cumulée, on calcule le quantile théorique i.e. q j tel que F 0 (q j ) = F j q i = F 1 0 (F j ) En général ce calcul se fait par l utilisation des tables statistiques ou par un logiciel. On reporte dans un graphique le nuage de points (m j, q j ) j=1...j. Modalités ordonnées m 1 m J Fréquences cumulées F 1 F J Quantiles théoriques q 1 = F0 1 (F 1 ) q J = F0 1 (F J ) Dans le cas d une variable quantitative dont les valeurs sont regroupées en classes de modalité : On remplit le tableau des fréquence cumulées. Pour chaque fréquence cumulée (c j ) on calcule le quantile théorique i.e. q j tel que F 0 (q j ) = F j q i = F 1 0 (F j ) Classe [c 1, c 1 [... [ c J, [ c J Fréq. cumulées F 1... F J Quantiles théoriques q 1 = F 1 (c 1 )... q J = F 1 (c J ) On reporte dans un graphique le nuage de points (c j, q j) j=1...j. 2. Interprétation Si les points sont alignées sur la diagonale du carré de côté 1, alors la loi théorique proposée (de fonction de répartition F 0 ) est adaptée aux observations. Si les points sont alignés sur une droite parallèle à la diagonale du carré de côté 1 on soupçonnera une erreur sur les paramètres de position de la loi théorique. Si les points sont alignés sur une droite passant par l origine mais inclinée par rapport à la diagonale du carré de côté 1 on soupçonnera une erreur sur les paramètres de dispersion de la loi théorique. Si les points sont alignés sur une droite ne passant pas par l origine et inclinée par rapport à la diagonale du carré de côté 1 on soupçonnera une erreur sur les paramètres de dispersion et de position de la loi théorique. Si les points ne sont pas alignés sur une droite la loi théorique n est pas adaptée aux observations. Remarque 2.8 : Si l on dispose des données individuelles d une variable aléatoire continue, les modalités sont toutes les valeurs prises par la série (ordonnées) et les fréquences cumulées sont du type i n. 27

29 Remarque 2.9 : Les QQ-plot peuvent servir aussi à comparer les distributions de deux séries. Exemple 2.13 On s intéresse à la distribution du PIB pour les pays du tableau 2.1. On veut comparer leur distribution avec une gaussienne centrée réduite. Le QQ-plot correspondant est représenté sur la figure 2.4. Ce graphe indique que la réparition du PIB est significativement différente d une loi normale. 8 x Quantiles of Input Sample Standard Normal Quantiles Figure 2.4 QQ-plots pour les données de la Table Exercices Moyennes Exercice 2.1 La banque A. propose un placement au taux de 3% la première année et 2.5% les années suivantes. La banque B. propose quant à elle un placement au taux constant de 2.75% par an. Quel est le taux moyen pour chaque banque, sur une période de 2 ans? Pour un placement de 2 ans, quelle banque devez-vous choisir? Exercice On parcourt un carré de côté 20 km aux vitesses respectives de 80 km/h, 85 km/h, 90 km/h et 95 km/h. Quelle est la vitesse moyenne? 2. On parcourt un rectangle de côtés respectifs 20 km et 30 km. Le grand côté est parcouru à 110 km/h tandis que le petit coté est parcouru à 130 km/h. Quelle est la vitesse moyenne? 3. Dans le rectangle précédent, on décide de prendre un raccourci au retour en passant par la diagonale à 60 km/h. Quel est le temps de parcours final? Quelle est la vitesse moyenne? Exercice 2.3 A Paris, on paie une auxiliaire parentale 7 euros de l heure. La convention collective prévoit que le tarif des heures supplémentaires s applique au delà de 40h par semaine. Les heures supplémentaires entre la 41-ième et la 45-ième sont payées 25% de plus, celles au delà sont payées 50% de plus. 28

30 Une famille emploie une auxiliaire parentale de 8h30 à 18h30, 5 jours par semaine. Quel est le taux horaire moyen perçu? De quel type de moyenne s agit-il? Exercice 2.4 (Scintillance) Une banque française propose le placement Scintillance suivant : Scintillance est un fond à formule, à capital garanti à l échéance, d une durée de 8 ans et 4 jours. Le potentiel de performance des fonds Scintillance est lié à l évolution de l indice Euro Stoxx 50, représentatif des 50 plus grandes capitalisations de la zone euro. Les performances de l indice Euro Stoxx 50 sont calculées chaque semestre par rapport au niveau initial de l indice figé le 20 décembre La moyenne de ces performances permettra de calculer la performance finale de Scintillance, qui ne peut être négative, grâce à un mécanisme permettant de protéger votre fond des éventuelles baisses de l indice. En effet, si une performance semestrielle de l indice est : inférieure à 20%, elle sera remplacée par une performance nulle de 0%, dans le calcul de la performance finale. Dans ce cas de figure, la baisse de l indice est totalement neutralisée. comprise entre 20% et 0%, elle sera remplacée par une performance positive équivalente. Par exemple, si la performance est de 7%, la performance retenue sera 7%, dans le calcul de la performance finale? ; Dans ce cas de figure, la baisse de l indice est transformée en hausse! positive, elle est retenue, sans être plafonnée, pour sa valeur réelle dans le calcul de la performance finale. À l échéance du 20 décembre 2019, le souscripteur pourra récupérer son capital net investi (Hors commissions de souscription de 2, 5%) majoré de 80% de la performance moyenne de l indice. Dans le fichier scintillance.pdf un exemple est proposé. Comment a été calculé la performance moyenne finale? En déduire le taux de rendement moyen annuel. Qu en pensez-vous? Exercice 2.5 Lors d une évaluation, un enseignant attribue les notes suivantes : 8, 9, 11, 7, 12, 6, 9, 8, 5, 7, 10, Tracer la fonction de répartition empirique pour cette série de données 2. Calculer le mode, la moyenne, la médiane, l étendue et l écart type. 3. Se trouvant a posteriori trop sévère au regard de la moyenne obtenue, l enseignant rajoute 1.5 points à tout le monde. Donner, sans calcul, les nouveaux mode, moyenne, médiane, étendue et écart type. 4. Comment devrait-il transformer ses données pour obtenir un écart type exactement égal à 2? 5. L enseignant s aperçoit qu il a oublié une copie qui obtient finalement 18. Recalculer le mode, la moyenne, la médiane, l étendue et l écart type. Qu en pensez-vous? Aurait-il rajouté 1.5 points à tout le monde si il avait eu dès le début cette nouvelle copie? Indicateurs et box-plot Exercice 2.6 (Etrangers par nationalités) Dans le tableau 2.2 (données du fichier etrangersnat-insee.xls issues de l INSEE) on observe le nombre d étrangers par nationalités en Définir la population, les individus, le caractère étudié et ses modalités. 2. Représenter graphiquement les données 29

31 2008 en % effectifs Nationalités d Europe 40, Nationalités de l Europe des 27 36, Espagnols 3, Italiens 4, Portuguais 13, Britanniques 4, Autres nationalités de l UE 27 9, Autres nationalités d Europe 4, Nationalités d Afrique 42, Algériens 13, Marocains 12, Tunisiens 4, Autres nationalités d Afrique 12, Nationalités d Asie 14, Turcs 6, Cambodgiens, Laotiens, Vietnamiens 1, Autres nationalités d Asie 6, Nationalités d Amérique et d Océanie 3, Total Table 2.2 Exercice 2.6. Champ :France métropolitaine. Source : Insee, recensement Calculer les indicateurs qui vous semblent pertinents Exercice 2.7 (Composition des ménages) Dans le tableau 1.2 (données issues du fichier composition-famille-insee.xls), on a accès à la taille des ménages. 1. Définir la population, les individus, le caractère étudié et ses modalités. 2. Tracer le diagramme en bâtonnets pour l année 1975 et pour l année Qu en concluez-vous sur l évolution du nombre de personnes 4. Faites une recherche sur internet pour trouver la taille moyenne des logements à ces mêmes dates. Interprétez le résultat Exercice 2.8 (Meurtres aux USA (Excel)) Dans le fichier murder-usa.xls, on lit la population (en milliers) en 2009 par état ainsi que le nombre de meurtres commis en 2009 par état. On remarquera que (pour une raison non-élucidée) nous ne disposons par de cette information pour la Floride. Dans une troisième colonne on a indiqué les états dans lesquels la peine de mort était abolie en Calculer pour chaque état le nombre moyen de meurtres par habitant x i. Créer une colonne à cet effet 2. On considère la variable nombre moyen de meurtres par habitants. Quelle est la population? Quels sont les individus? 30

32 3. Choisir des classes et tracer l histogramme correspondant. 4. On considère d une part les états ayant aboli la peine de mort et d autre part les autres. (a) Pour chaque groupe, calculer la moyenne des x i, la médiane, l étendue et l écart type (b) Pour chaque groupe, calculer les quantités nécéssaires à la construction des box plot. (c) Tracer côte à côte les 2 boîte de distributions. (d) Voyez-vous un effet de la peine de mort sur le nombre de meurtres par habitants? Exercice 2.9 (Alcoolisme et tabac chez les adolescents) Dans le fichier cigarette-alcool-adolescents.xls (données issues de l OCDE), on observe la proportion d adolescents fumeurs réguliers et ceux ayant une consommation excessive d alcool régulière, pour 4 périodes entre 1992 et 2006, dans les pays de l OCDE. 1. Définir la population, les individus, leur nombre, le ou les caractères étudiés. 2. Pour chaque période, calculer la moyenne et la variance des caractères étudiés. 3. Proposer une représentation graphique permettant de comparer rapidement les répartitions de la consommation de tabac des garçons en et Faire la même chose pour les filles. 5. Commenter les graphiques Indices et courbes d inégalités Exercice 2.10 (Courbe de Lorenz et indice de Gini sur un petit nombre de données) 1. On considère les revenus perçus par un groupe de 10 personnes. Les revenus sont les suivants : Calculer la moyenne, l écart type. Tracer la courbe de Lorenz à la main et calculer l indice de Gini. 2. On considère maintenant la série suivante : Calculer la moyenne, l écart type. Tracer la courbe de Lorenz à la main et calculer l indice de Gini. Comparer à la série précédente. Exercice 2.11 On lit dans la table ci-dessous les produits intérieurs bruts (en valeur en millions d euros) pour chaque région de France métropolitaine en 2009 (les données sont fournies dans le fichier INSEE- PIB-régions.xls. Alsace Aquitaine Auvergne Basse-Normandie Bourgogne Bretagne Centre Champagne-Ardenne Corse Franche-Comté Haute-Normandie Ile-de-France Lang.-Roussillon Limousin Lorraine Midi-Pyrénées Nord-Pas-de-Calais Pays-de-la-Loire Picardie Poitou-Charentes Prov-Alpes-Côte d A. Rhône-Alpes