Université Lumière Lyon 2 Faculté de Sciences Economiques et de Gestion M1 - Economie et Management

Transcription

1 Université Lumière Lyon 2 Faculté de Sciences Economiques et de Gestion M1 - Economie et Management Rak Abdesselam rak.abdesselam@univ-lyon2.fr rabdesselam/documents/ Année Universitaire

2 du cours 1 2 descriptive - Rappels 1 Terminologie 2 tests du khi-deux 3 Coecients de et de 4 Rapport de

3 L'objet de ce cours est de présenter l'analyse des variables catégorielles, courante en biostatstique, trouve maintenant des applications et de plus en plus nombreuses dans des domaines très variés comme l'économie, le marketing en gestion, la nance, l'assurance, les sciences humaines, etc. De nombreuses mesures d'association, comme celles de dans le cas continu, sont présentées pour étudier l'intensité et le sens des liaisons entre les variables catégorielles (qualitatives). D'autres mesures d'association que le khi-deux de contingence sont appliquées et explicitées.

4 Les résultats de ces techniques associées à l'analyse des données catégorielles sont fournis dans la plupart des gestionnaires de données (Excel) et logiciels statistiques standards (SPSS, SPAD, etc.), et en particulier dans SAS, qui est la référence dans ce domaine. D'un point de vue pédagogique, les diérents tests, modèles et mesures d'association sont décrits, commentés et appliqués sur des exemples réels et variés.

5 de Généralités Le niveau d'études atteint dépend-t-il du milieu social des parents? Est-ce que les ventes d'un produit dépend du type de publicité choisie? Est-ce que l'impact d'une campagne électorale ou publicitaire dépend du type de média choisi? Est-ce que le cours du CAC40 dépend de celui du baril de pétrole? Est-ce que la rémunération des employés dépend de leur sexe? Toutes ces questions concernent 2 variables observées sur la même population d'individus ou d'objets.

6 de Terminologie Une variable catégorielle synonyme de qualitative prend un nombre ni de valeurs, appelées modalités de la variable. Si un ordre entre les diérentes modalités de la variable existe, la variable sera dite ordinale, Mention (TB, B, AB, P) Tranches d'âges ( 18 ans, ]18-25], ]25-45], ]45-60], > 60 ans). Sinon elle est tout simplement nominale, Couleurs (Bleu, Blanc, Rouge, Vert) C.S.P.( Artisan/Commerçant, C.Supérieur, C.Moyen, Employé, Ouvrier, Retraité) Si la variable nominale est à k = 2 modalités, elle est dite binaire ou dichotomique, Signal-codage (0: Absence, 1: Présence) Genre (Femme, Homme)

7 de Rappels on souhaite étudier simultanément deux variables X et Y sur une même population. On cherche à caractériser le lien, s'il existe, entre X et Y. Plusieurs cas se présentent selon la nature ou le type de ces deux variables : 1 X et Y sont deux variables quantitatives (continues ou discrètes) Exemple : Peut-on conclure qu'il existe un lien () entre le montant des ventes d'un produit et le montant alloué pour sa publicité? 2 X est qualitative et Y est quantitative. Exemple : L'acceptation ou le refus d'un crédit bancaire X (Oui, Non) est-il associé au revenu du ménage Y? 3 X et Y sont deux variables qualitatives Exemple : L'acceptation ou le refus d'un crédit bancaire X (Oui, Non) est-il associé au type de contrat de travail Y (CDI, CDD, Autre)?

8 de Diérents tests X et Y qualitatives respectivement à p et q modalités. Le test de Pearson communément appelé test du khi-deux est un outil statistique qui permet de vérier la concordance entre une distribution expérimentale et une distribution théorique. Il s'agit là de 3 tests statistiques non paramétriques du khi-deux dont les objectifs sont totalement diérents. La même quantité χ 2 du test de Pearson est utilisée dans les trois cas bien distincts : 1. Est-il plausible d'armer que deux variables observées sont indépendantes ou au contraire elles présentent un certain degré d'association?

9 de Diérents tests 2. conformité - Ajustement. Est-il plausible d'armer que la répartition des observations d'un échantillon selon les modalités d'une seule variable puisse s'apparenter à une répartition théorique sous l'hypothèse d'un comportement probabiliste particulier (loi uniforme, loi binomiale, loi normale, etc.) pour le caractère qualitatif étudié? 3. d'homogénéité Il s'agit dans ce cas, de comparer k populations entre elles pour en vérier l'homogénéité suivant les modalités d'une variable particulière. Peut-on armer que les proportions d'individus dans chaque modalité de la variable étudiée sont les mêmes dans les k populations ou au contraire elles sont diérentes dans les k populations pour au moins une modalité?

10 de Diérents tests Dans les trois cas précédents, pour comparer les répartitions théorique et observée, on calcule, sous l'hypothèse nulle H 0 la quantité : χ 2 calculé = p j q k (n jk n jk ) H 0 : les variables X p et Y q sont indépendantes. Distribuée sous H 0 selon une loi du χ 2 (p 1)(q 1) d.d.l.. 2 d'ajustement - H 0 : Distribuée sous H 0 selon une loi du χ 2 (p 1) d.d.l.. 3 d'homogénéité - H 0 : Distribuée sous H 0 selon une loi du χ 2 (p 1)(k 1) d.d.l. n jk Décision et conclusion du test statistique : L'hypothèse nulle H 0 est rejetée, au niveau α choisi, si χ 2 calculé χ2 α (le test statistique est toujours unilatéral).

11 de du khi-deux Le test du khi-deux est fréquemment utilisé pour tester si deux variables, qualitatifs ou quantitatifs (répartis en classes), observés dans une population sont indépendants ou si, au contraire, ils sont dépendants : présentent un certain degré d'association (liaison). Principe général du test : 1 Un échantillon aléatoire de taille n est prélevé d'une population et est observé selon deux caractères X à p modalités et Y à q modalités. 2 La répartition des n observations suivant les modalités croisées des deux variables se présente sous la forme d'un tableau à double entrée appelé tableau de contingence. 3 Il s'agit par la suite de tester, à l'aide du khi-deux de Pearson, si les deux caractères sont indépendants ou non.

12 de Démarche du du χ 2 Pour rechercher l'indépendance entre la variable ligne et la variable colonne d'un tableau de contingence, on va comparer la distribution statistique observée dans l'échantillon, à une distribution théorique. Cette distribution théorique est celle qu'on doit avoir si les 2 variables sont indépendantes, c'est-à-dire sous l'hypothèse nulle H 0. On veut savoir si les écarts entre ces deux distributions sont imputables aux uctuations d'échantillonnage, ou si au contraire, les écarts sont trop importants pour que l'on puisse accepter l'hypothèse H 0. Conclusion : l'expérience contredit-elle l'hypothèse nulle H 0 que l'on suppose vraie?

13 de Tableau de contingence Tableau des eectifs observés : y 1... y k... y q Total ligne x 1 n n 1k... n 1q n 1. = k n 1k : :... :... : : x j n j 1... n jk... n jq n j. : :... :... : : x p n p1... n pk... n pq n p. Total colonne n.1 = j n jk... n.k... n.q n = n.. = j k n jk Les hypothèses statistiques peuvent s'énoncer ainsi : { H0 : les caractères X et Y sont indépendants H 1 : les caractères X et Y sont dépendants Sous l'hypothèse nulle H 0 : indépendance des deux caractères, on a, p jk = p j. p.k (j = 1, p et k = 1, q) (probabilités conjointes p jk = n jk ). n l'estimation des eectifs théoriques s'obtient en répartissant la taille de l'échantillon n dans les proportions obtenues selon les estimations des probabilités conjointes (indépendance en probabilité) : p jk = n j. n n jk = n j. n.k n n.k n = n jk n d'où,

14 de du khi-deux Pour comparer les répartitions théorique et observée, on calcule, sous l'hypothèse nulle H 0 la quantité : χ 2 calculé = p q (n jk n jk ) 2 j k n jk laquelle sous H 0 est distribuée selon la loi du khi-deux χ 2 (p 1)(q 1)d.d.l., noté χ2 table pour le risque d'erreur α choisi. Décision et conclusion du test statistique : L'hypothèse nulle H 0 est rejetée, au niveau α, si χ 2 calculé χ2 table unilatéral). (le test statistique est toujours

15 de Exemple d'application : taux de guérison et coût du médicament. Pour comparer l'ecacité de 2 médicaments comparables, mais de prix très diérents, la Sécurité sociale a eectué une enquête sur les guérisons obtenues avec ces deux traitements. Les résultats sont présentés dans le tableau suivant : Original Générique Total des lignes Guérisons Non-guérisons Total des colonnes Au seuil de signication α = 5%, peut-on conclure que ces deux médicaments ont la même ecacité? 1 Hypothèses statistiques : 2 Seuil de signication : 3 Conditions d'application du test : 4 Degré de liberté : 5 de test : 6 Calcul de la statistique du χ 2 calculé sous l'hypothèse nulle H 0 : 7 Règle de décision et conclusion :

16 de Exemple d'application Tableau des pourcentages Original Générique Total ligne Guérisons Non-guérisons Total colonne Tableau des prols-lignes (%) Original Générique Total ligne Guérisons Non-guérisons Tableau des prols-colonnes (%) Original Générique Guérisons Non-guérisons Total colonne

17 de Exemple d'application Tableau de contingence - Eectifs Observés : n jk Original Générique Total Guérisons Non-guérisons Total Tableau de contingence - Eectifs Théorique : n jk Original Générique Total Guérisons Non-guérisons Total χ 2 calculé = 2 2 (n jk n jk ) n jk = 3.37

18 de Exemple d'application - Solution 1 Hypothèses statistiques { H0 : indépendance du taux de guérison et du coût du médicament H 1 : dépendance 2 Seuil de signication : α = 5% 3 Conditions d'application du test : Un échantillon aléatoire de taille n = 255 observé selon deux caractères qualitatifs à p = 2 et q = 2 modalités. 4 Degré de liberté : (p 1)(q 1) = 1 d.d.l. 5 de test : p=2 q=2 (n jk n jk ) 2 j=1 k=1 χ 2 n jk 1 d.d.l. 6 Calcul de la statistique de test sous H 0 : χ 2 calculé = 3.37 Probabilité critique ( p-value ) : Prob[χ 2 1 d.d.l. > 3.37] = = 6.7% 7 Décision et conclusion : fractile de la loi du χ 2 1 (cf. table): χ2 1;α=5% = La valeur du χ 2 calculé appartient à la zone de non-rejet de H 0. En eet, χ 2 calculé = 3.37 < χ2 = Il n'y a pas de dépendance signicative 1;5% entre les deux caractères : le taux de guérison et le coût du médicament sont indépendants. Au seuil de signication α = 5%, on peut conclure que ces deux médicaments ont la même ecacité

19 de Exercice d'application Etude du lien entre la structure de propriété et le comportement stratégique des moyennes entreprises industrielles. Les résultats sont présentés dans le tableau suivant : Interne Externe Conservateur Entrepreneurial Total Attachement Détachement/soumission Détachement/Autonomie Total Peut-on conclure, avec un risque d'erreur α = 5%, qu'il y a un lien entre les structures de propriété et les diérents types de comportement stratégique? Résultats : Value = ; 6 d.d.l. ; p-value < Conclusion :

20 de 1- descriptive - Rappels X et Y deux variables quantitatives. Pour mesurer le degré d'associattion () entre deux variables quantitatives X et Y, le coecient de r(x, Y ) de Pearson est généralement calculé. Il est considéré comme un estimateur de la ρ(x, Y ) et ses valeurs sont comprises entre 1 et +1. Plus formellement, ce coecient r(x, Y ) peut être utilisé pour tester l'hypothèse nulle H 0 : ρ(x, Y ) = 0 : X et Y sont ment indépendantes. Evidemment, ce coecient n'est plus applicable pour des variables qualitatives puisqu'il mesure des relations s entre les variables.

21 de sur le coecient de Il s'agit là d'un test paramétrique. Condition d'application : Le test sur le coecient de (Bravais-Pearson) est valable que si les distributions des variables X et Y sont normales. En supposant H 0 : ρ(x, Y ) = 0 : Indépendance vraie et selon les conditions mentionnées, la statistique de test : n 2 R(X,Y ) T n 2 d.d.l. 1 R 2 (X,Y ) où, R(X, Y ) désigne l'estimateur du coecient de, l'estimation étant la valeur r(x, Y ) du coecient de calculé sur l'échantillon. Ainsi, l'hypothèse nulle H 0 : La entre X et Y n'est pas signicative, au seuil de signication α choisi, si : n 2 r(x,y ) > t 1 r 2 ( (X,Y ) α 2,n 2)

22 de Autre coecient de Coecient ρ s de concordance des de Spearman. Il s'agit là d'un test non paramétrique. Le degré de dépendance entre deux variables quantitatives X et Y peut être mesuré par le coecient ρ s que l'on estime par : ρ s = ρ s (X, Y ) = 1 6 x y x (R i (x,y) R j (x,y)) 2 n(n 2 1) Où, R i (X, Y ) et R j (X, Y ) désignent les respectifs de X et de Y. Cette dénition montre ainsi que l'indépendance ne repose pas sur les valeurs numériques des deux variables mais sur les des valeurs induits sur les couples de points. Il s'agit là d'un test de de Spearman, comme on pourrait aussi utiliser un test non linaire de de Kendall.

23 de Coecient de de cette formule s'établit à partir du coecient de de Pearson en supposant que tous les sont diérents : il n'y a pas d'ex-æquo. Les des ex-aequo sont remplacés par le rang moyen. La valeur observée r s du coecient de de de Spearman n'est pas une mesure de mais simplement une mesure de dépendance entre les deux caractères étudiés. Donc la seule hypothèse nulle H 0 que l'on peut tester avec ce coecient est que les 2 variables concernées sont mutuellement indépendants. Hypothèses statistiques : H 0 : ρ s (X, Y ) = 0 les deux classements sont indépendants H 1 : ρ s (X, Y ) 0 les deux classements sont dépendants ou H 1 les deux classements sont dans le même sens ou H 1 les deux classements sont en sens inverse.

24 de Coecient de de Décision et interprétation du test pour un risque d'erreur α donné, Si n < 30 (petits échantillons) : il existe une table permettant d'obtenir directement les valeurs critiques r s du coecient de de de Spearman. On rejette l'hypothèse nulle si : r s > r s H 1 : les deux classements sont dépendants r s > r s H 1 : les deux classements sont dans le même sens r s < r s H 1 : les deux classements sont en sens inverse. Si n > 30 (grands échantillons) : la distribution de R s est approximativement normale de paramètres E(R s ) = 0 et V (R s ) = 1 n 1. Sous H 0, R s (n 1) N(0; 1). On rejette alors l'hypothèse nulle si : r s > u α/2 H 1 : les deux classements sont dépendants r s > u α/2 H 1 : les deux classements sont dans le même sens r s < u α/2 H 1 : les deux classements sont en sens inverse.

25 de Exercice d'application Une entreprise oeuvrant dans le domaine alimentaire veut obtenir une évaluation de 10 nouveaux desserts qu'elle envisage de mettre sur le marché prochainement. Chaque dessert a été évalué par un groupe de consommateurs selon son goût et son apparence sur une échelle de 1 (la plus faible préférence) à 5 (la plus forte préférence). On a par la suite déterminé, pour chaque dessert, le niveau moyen de préférence de chaque critère. Les résultats se présentent comme suit : Dessert A B C D E F G H I J X : Goût 4,03 3,92 3,88 3,83 3,82 3,70 3,60 3,50 3,35 3,32 Y : Apparence 3,08 3,11 3,51 2,91 2,78 3,33 2,89 3,18 2,75 2,83 Rang(X) Rang(Y) er, au seuil de signication α = 5%, l'hypothèse selon laquelle le niveau de préférence associé au goût est indépendant de celui associé à l'apparence du dessert. Résultats : X et Y normalement distribuées. Corrélation : r(x,y) = ; p-value = P( ρ > ) = Corrélation de de Spearman : rs(x,y) = ; p-value = P( ρ s > ) = Conclusion :

26 de Rapport de X qualitative et Y quantitative, on cherche à mettre en évidence l'existence d'un lien entre deux variables l'une quantitative et l'autre qualitative. Pour cela, on utilise le empirique ηy 2 /X. Cet indicateur numérique va mesurer la diérence entre les moyennes conditionnelles de Y par classe de X par rapport à la moyenne globale de Y (sur toute la population). Il est basé sur la décomposition de la variance de Y : V inter (Y ) = 1 q n j=1 n j(y j y) 2 : variance des moyennes conditionnelles V intra (Y ) = 1 q n n j=1 i=1 n j(y ij y j ) 2 = 1 q n j=1 n j s 2 j : moyenne des variances conditionnelles V totale (Y ) = 1 n n i=1 (y i y) 2 = V inter (Y ) + V intra (Y ) où, j = 1,, q, y j et s 2 j = V (Y /X j ) désignent les moyennes et variances conditionnelles à chaque sous-classe d'eectif n j et y la moyenne globale.

27 de - Rappel Le empirique de Y par rapport à X est déni par : η 2 Y /X = V inter (Y ) V totale (Y ) = 1 V intra(y ) V totale (Y ) Cet indicateur est compris entre 0 et 1. Plus la variance inter-classes est grande, plus il y a de disparités entre les moyennes conditionnelles de chaque classe et donc plus la variable X inue sur la variable Y. Plus η 2 Y /X est proche de 1 (V inter(y ) V intra (Y )) plus l'hétérogénéité d'une classe à l'autre est importante, donc il existe une forte liaison entre X et Y. Lorsque η 2 Y /X est proche de 0 (V inter(y ) V intra (Y )), cela se traduit par des moyennes conditionnelles qui inuent peu entre elles, il n'y a pas de lien entre X et Y. D'un point de vue graphique, on peut représenter pour Y des "boîtes parallèles ou à moustaches" pour chaque sous-population dénie par X.

28 de Exemple d'application Les données représentent les prix d'un même jus d'orange relevés dans 19 grandes surfaces selon 3 types d'emballage. On cherche à savoir s'il y a une disparité du prix en fonction de l'emballage de commercialisation. Population étudiée : 19 grandes surfaces Y : prix du jus d'orange (en euros) est une variable quantitative (continue) X : l'emballage est une variable qualitative à 3 modalités-types d'emballage du produit (Verre, Carton, Plastique). Table: Le prix du produit selon son type d'emballage. Verre Carton Plastique Eectif n j Moyenne y j Variance s 2 j

29 de Calculs & Décomposition de la variance Table: Le prix du produit selon son type d'emballage. Verre Carton Plastique Total Eectif n j n = 19 Moyenne y j Variance s 2 j n j n y j 1,7145 1,0819 1,0116 y = n j n s2 j V intra (y) = n j n (y j y) V inter (y) = V totale (y) = η 2 (y/x) = 0.401

30 de Exemple d'application V intra (Y ) = est égale à la moyenne des variances conditionnelles. Elle mesure la variabilité résiduelle. V inter (Y ) = est égale à la variance des moyennes conditionnelles. Elle mesure la variabilité entre les classes (types d'emballage). V totale (Y ) = est égale à la variance de Y (prix) tous types d'emballage confondus. Elle mesure la variabilité globale ou totale. Pour quantier la liaison entre le prix du produit et le type d'emballage, on calcule le empirique : η 2 Y /X = V inter (Y ) V totale (Y ) = 1 V intra(y ) V totale (Y ) = < η Y 2 /X = < 1. Il est dicile de conclure s'il existe ou pas une disparité signicative entre les prix moyens par les types d'emballage. Le type d'emballage inue-t-il sur le prix? Il faudrait faire appel à la théorie des tests pour conclure sur ce résultat avec un risque d'erreur!

31 : F = η 2 Y /X q 1 1 η 2 Y /X n q = n q q 1 η 2 Y /X 1 η 2 Y /X de F = η 2 Y /X q 1 1 η 2 Y /X n q

32 de Exemple d'application - Solution { H0 : η 2 = 0 (pas d'eet de X sur Y) Y /X 1 Hypothèses statistiques H 1 : η 2 > 0 (eet de X sur Y) Y /X 2 Seuil de signication : α = 5% 3 Conditions d'application du test : Hypothèses de normalité et d'homoscédasticité (égalité des variances). Le estimé est : η 2 Y /X = Calcul de la statistique de test sous l'hypothèse nulle H 0 : η 2 Y /X = 0 F 0 = F Value = η Y 2 /X q 1 1 η Y 2 /X n q = = Règle de décision : fractile de la loi de Fisher F (q 1=2,n q=16) (cf. table statistique de Fisher): f 5% = 3.63, P[F (2,16) > 3.63] = 5% 6 Décision et conclusion : F 0 appartient à la zone de rejet de H 0. En eet, F 0 = 5.35 > f 5% = 3.63, on peut donc conclure, avec risque d'erreur α = 5% qu'il y a bien un eet de l'emballage sur le prix du produit, autrement dit, il y a une diérence signicative du prix moyen du produit selon son type d'emballage.

33 de Remarque D'un point de vue modélisation, il s'agit là d'un modèle ANOVA (ANalyse Of VAriance) à un facteur contrôlé, qui n'est autre qu'une régression sur variable explicative qualitative (nominale). L'analyse de variance ANOVA est une technique statistique de tests et d'estimation qui permet d'analyser l'eet d'une voire plusieurs variables qualitatives sur une variable continue. Conditions d'application à vérier avant toute utilisation d'une analyse de la variance : 1 Les échantillons doivent être indépendants. 2 Les distributions des populations considérées doivent être normales (hypothèse de normalité - test paramétrique). 3 Les populations d'où sont prélevés les échantillons doivent posséder la même variance : σ 2 = σ 2 1 = σ 2 2 =... =σ 2 q (hypothèse d'homocédasticité).

34 de Conditions d'application Eet du type d'emballage sur le prix du produit. 1 Hypothèse de normalité : Table: The Univariate Procedure: s for Normality. Statistic p Value Verre Shapiro-Wilk W Pr < W Carton Shapiro-Wilk W Pr < W Plastique Shapiro-Wilk W Pr < W Hypothèse d'homoscédasticité - Egalité des variances : Table: The GLM Procedure: Bartlett's for Homogeneity of Production Variance. Source DF Chi-Square Pr > ChiSq Emba

35 de Principaux résultats - SAS Table: The MEANS Procedure: Analysis Variable : Prix. Département N Mean Std Dev Minimum Maximum Verre Carton Plastique Table: The ANOVA Procedure: Eet du Type d'emballage sur le prix. Source Somme des Carrés DF Mean square F value Pr > F Model Error Total η 2 Y /X = SC Model SC Total = = = 1 SC Error SC Total Table: Means with the same letter are not signicantly dierent. Tukey Groupement Moyenne N EMBA A Verre B A Plastique B Carton

36 de Exercice d'application Une entreprise comprend 2 liales. Les salaires moyens des n = 500 employés relevés dans ces deux liales se présentent comme suit : Filiale A B Eectif n A = 100 n B = 400 Salaire mensuel moyen observé y A = 1500 y B = 1200 Ecart-type observé s A = 120 s B = 100 Décomposition de la variance des salaires. er, au seuil de signication α = 5%, l'hypothèse selon laquelle il y a un eet liale sur le salaire des employés dans cette entreprise, autrement dit, est-ce qu'il y a une disparité de salaires entre ces deux liales. Résultats : Salaire moyen : y = 1 n (n Ay A + n B y B ) = 1260 Variance globale : V (y) = { 1 n [n As 2 A + n Bs 2 B ]} + { 1 n [n A(y A y) 2 + n B (y B y) 2 ]} = { Variance intra } + { Variance Inter } = = Rapport de : η 2 Y /F = Conclusion :