CHAPITRE 7. Tests du χ 2

Transcription

1 CHAPITRE 7 Tests du χ 2 Résumé : Les deux chapitres précédents ont présenté divers tests, dont des tests d ajustement à des lois ou des familles de loi (tests de Shapiro-Wilk et de Kolmogorov- Smirnov). Ces lois devaient être continues. Objectif : Nous traitons ici des problèmes d ajustement pour des lois chargeant un nombre fini de points, typiquement, l ensemble des valeurs qu une variable qualitative (ordinale ou nominale) peut prendre, ou qu un tel couple de variables peut prendre. Nous étudions tout d abord l ajustement à une loi de référence, puis apprendrons à tester l indépendance entre deux variables qualitatives. Entre les deux, nous ferons un petit détour pédagogique par l ajustement à une famille de lois. 1. Test du χ 2 d ajustement simple 1.1. Un exemple pour introduire les notations. Exemple 7.1 (Agence immobilière troisième exercice de l examen 2007). On dit souvent que c est au printemps qu il se vend et s achète le plus de logements, en prévision des déménagements d été. Le gérant d une agence immobilière, fort de ses certitudes, explique donc à ses employés qu il faut absolument recruter un stagiaire pour les aider dans leurs tâches au printemps (mois d avril, mai et juin). Pour cela, il s apprête à faire le tour des formations bts. A-t-il raison de faire cela, au vu de l historique, mois par mois, des ventes de l an dernier? Mois J F M A M J J A S O N D Ventes Il a donc réalisé 36 ventes. Elles se distribuent selon les saisons comme suit : 8 ventes en hiver, 17 au printemps, 6 en été, 5 en automne. On se demande si la répartition est uniforme suivant la saison, ou s il y a un pic de mouvements immobiliers au printemps. Si la répartition avait été uniforme, on aurait attendu 9 ventes à chaque saison. On résume ceci dans le tableau suivant, puis l on modélisera le problème.

2 Saisons hiver printemps été automne Ventes attendues Ventes réalisées Fréquences attendues 25% 25 % 25% 25% fréquences réalisées 22.2% 47.2% 16.7% 13.9% La saison de vente d une maison est notée v j : ici, on a donc affaire aux données v 1,..., v 36. On les modélise comme étant la réalisation du 36-échantillon V 1,..., V 36 i.i.d. selon une certaine loi (inconnue) sur l ensemble à quatre éléments contenant les quatre saisons. Le caractère i.i.d. des observations est assuré dès que l agence est en concurrence forte et qu il y a de nombreux autres biens sur le marché au même moment : chacun d eux vit alors sa vie, et se vend d autant plus vite qu il est de bonne qualité (ça règle la question des acheteurs, i.e., du délai de vente) ; on suppose par ailleurs que les vendeurs utilisent plusieurs agences à la fois ou en choisissent une un peu au hasard (ça règle le cas des vendeurs). En revanche, on suppose qu ils mettent leur bien sur le marché au moment qui les arrange, de telle sorte que la promesse de vente, puis l acte définitif (trois mois après) soient signés au moment qui les arrange. On note, par commodité, p = (p h, p p, p é, p a ) la loi commune des observations. On se demande si c est la loi uniforme p ref = (1/4, 1/4, 1/4, 1/4) et c est cela que l on va tester avec la loi du χ Notations et principe généraux. On part de variables qualitatives (ordinales ou nominales) x 1,..., x n. On note {1, 2,..., k} l ensemble des valeurs qu elles peuvent prendre. (On peut agir de la sorte, quitte à ré-étiqueter les catégories.) On suppose qu on les a déjà* modélisées comme la réalisation d un n-échantillon X 1,..., X n i.i.d. selon une certaine loi p = (p 1,..., p k ) sur {1, 2,..., k}. On pense, pour des raisons subjectives, à une certaine loi de référence p ref = p ref 1,..., pref et on veut tester H 0 : p = p ref contre H 1 : p 6= p ref. (H 1 se ré-écrit comme : il existe j tel que p j 6= p ref j.) L intuition du test est la suivante. Vous vous souvenez qu en général, pour construire un test, on commence par étudier le comportement d une certaine statistique de test sous H 0, pour voir comment elle évolue et quelles sont ses valeurs typiques et atypiques. Si H 0 est vraie, alors, par loi des grands nombres, on attend que pour tout j = 1,..., k, la proportionbp j,n de la valeur j parmi les observations soit proche de p j, puisque bp j,n = N j,n P p j où N j,n = Card { i : X i = j }. n Ainsi, une mesure naturelle de la validité de H 0 consiste à regarder la proximité ou la distance de chacune de cesbp j,n aux p j ; plus précisément, un gros bout de théorie mathématique admise (et qui fournit pas mal d intuitions, hélas, nous n avons pas le temps de la voir...) amène à considérer la statistique de test suivante : D n p ref not. = n k j=1 bp j,n p ref j 2 p ref j = k j=1 N j,n n p ref j 2 n p ref j. k 90 Gilles Stoltz

3 Un calcul très simple montre l égalité des deux définitions ; la première mesure l écart entre les fréquences attendues et celles réalisées, la seconde, entre les effectifs attendus et ceux réalisés. Dans la suite, retenez celle qui vous parle le plus. La théorie assure que sous H 0, la statistique D n p ref converge en loi vers une loi du χ 2 à k 1 degrés de liberté, notée χ 2 k 1. (C est facile à retenir : une probabilité sur un ensemble à k éléments est définie par k 1 de ses valeurs, la dernière se déduisant des précédentes : on a effectivement k 1 degrés de liberté, la terminologie est éclairante.) Sous H 1, ces écarts tendent à être grands, et le facteur multiplicatif n dans la première définition assure alors que D n p ref P + lorsque n croît. Tout cela conduit au principe suivant. Principe 7.1. On part d une situation modélisée par des observations X 1,..., X n i.i.d. selon une certaine loi p sur {1,..., k}. On se demande si p = p ref, pour une certaine loi de référence p ref fixée subjectivement. Le test est fondé sur le résultat suivant : sous H 0 : p = p ref, D n p ref χ 2 k 1. En particulier, la distribution de D n p ref ne prend pas de trop grandes valeurs. Lorsque p 6= p ref, D n p ref tend vers + et prend donc des valeurs beaucoup plus grandes que sous H 0. Ici, la zone de rejet est toujours unilatère, et vaut donc χ 2 k 1,1 α, +, pour une erreur de première espèce approximativement inférieure ou égale à α, où χ 2 k 1,1 α désigne le quantile d ordre 1 α de la loi χ 2 k 1. Remarque 7.1 (Conditions pratiques d approximation asymptotique). Notez bien que le test, reposant sur une convergence en loi, est un test asymptotique. En pratique, on obtient de bons résultats dès lors que l échantillon est suffisamment grand, n > 30, et que toutes les valeurs possibles j vérifient n p ref j > 5. Si la seconde condition n est pas satisfaite, il faut alors procéder à un regroupement de classes (l agrégation de deux classes j et j 0 en une seule classe). Nous en verrons des exemples concrets. Attention, cette remarque vaut également pour les tests du χ 2 d ajustement à une famille de lois et d indépendance. La minute SPPS 7.1. Lorsque les conditions asymptotiques ne sont pas remplies, SPSS vous le fait savoir par une note en bas de tableau. Il faut alors fusionner des catégories (ce qui est possible en cliquant bien, par exemple avec Transform / Recode into Different Variables). Exemple 7.2 (Agence immobilière, suite). Retournons pour l instant à l exemple 7.1. On a k = 4 classes et la valeur réalisée pour la statistique du χ 2 est (8 9)2 (17 9)2 (6 9)2 (5 9)2 D n (1/4, 1/4, 1/4, 1/4) (v1,..., v 36 ) = = Avec les tables que je vous ai fournies, on encadre alors la P-valeur entre 1 % et 2.5 %, en lisant la ligne de la loi χ 2 3. Avec un logiciel statistique, on verrait qu elle vaut plus exactement 1.9 %. Dans tous les cas, on rejette assez nettement l hypothèse de répartition uniforme des ventes selon les saisons. Exercice 7.1 (Détection des tricheurs par le fisc). Dans les déclarations de revenus, tous les chiffres ne sont pas aussi fréquents les uns que les autres. Les petits (1 et 2) sont plus probables que les grands. C est, comme on peut le noter, l inverse pour les prix à Gilles Stoltz 91

4 la vente, où le 9 est sur-représenté. Un contrôleur a estimé la fréquence des chiffres sur toutes les déclarations de 2003 à 2006 (toutes faites en euros, vous souvenez-vous même de l époque des francs?), et a obtenu le tableau suivant : Chiffres Fréquences Les fraudeurs, mal informés et pas très fins, pour tout dire, choisissent des chiffres au hasard. Pouvez-vous en déduire un test de détection des fraudeurs et le mettre en application sur la déclaration suivante? (Attention, il faudra procéder à un regroupement de classes bien choisi.) Déclarant Conjoint Revenus d activités Intérêts placements mobiliers 156 (sans prélèvement libératoire) Crédit d impôts sur investissement 732 Revenus locatifs 1235 Dons aux œuvres 750 Adhésions partis politiques 290 Revenus perçus à l étranger 4325 Exercice 7.2 (Théorie génétique). Pour tester ses lois de brassage génétique, Mendel a croisé des plants de pois lisses et jaunes (tous issus d une longue lignée de pois tous lisses et jaunes) avec des plants pois ridés et verts. A la première génération, tous les plants de pois sont lisses et jaunes. A la deuxième, on obtient 315 plants de poids lisses et jaunes, 108 lisses et verts, 101 jaunes et ridés, 32 verts et ridés. Le caractère ridé étant récessif par rapport au caractère lisse, de même pour la couleur verte par rapport à la jaune, ses lois prévoyaient (faites appel à vos souvenirs de lycée...) une répartition (9/16, 3/16, 3/16, 1/16). Les résultats obtenus sont-ils en accord avec la théorie? Montrez que la P-valeur sur les données est de 92.5 %. Commentez ce nombre : n est-il pas trop beau 1 pour être vrai? 1.3. Cas de lois continues (allusion rapide). On a énoncé les résultats pour des lois chargeant un nombre fini de points, correspondant à des variables qualitatives. Si l on a affaire à une variable quantitative, on peut évidemment la découper en catégories ordinales et ensuite appliquer le test du χ 2. Il faudra bien prendre garde à considérer comme loi de référence sur les catégories la loi induite par la loi continue de référence. 1 La plupart des données fournies par Mendel sont de cet acabit ; on soupçonne qu il a un peu arrangé ses résultats, et notamment, qu il n a réalisé ses expériences que sur quelques dizaines de plants et pas quelques centaines... Souvenez-vous de Churchill : Je ne crois qu aux statistiques que j ai falsifiées moimême. 92 Gilles Stoltz

5 Fig. 1. Résultat du test du χ 2 d ajustement à une loi uniforme sur les ventes selon la saison. Exemple 7.3 (Tout à fait théorique : adéquation à une loi normale N (0, 1)). On part d un n-échantillon X 1,..., X n et on veut tester que sa loi commune est la loi normale standard N (0, 1). Le paragraphe 3.2 du chapitre 6 indique des méthodes efficaces. Ici, uniquement pour le bien de l illustration mathématique, nous indiquons comment on pourrait faire avec le test du χ 2. Par exemple, on considérerait quatre classes ], 1[, [ 1, 0 [, [0, 1 [ et [1, + [, et on testerait que la répartition des X j s effectue entre ces quatre classes selon les proportions indiquées par la masse de probabilité que la loi normale met sur chacune de ces classes ; par exemple, celle affectée à la première classe serait p ref 1 = P{N < 1} = 16 % où N N (0, 1). Si les classes sont bien choisies (on a le droit de les choisir selon notre intuition et au vu des données), alors ce test peut être bien plus efficace que les tests idoines de normalité. La minute SPPS 7.2. A cause de cette possibilité de tester l ajustement à n importe quelle loi (et pas seulement aux lois chargeant un nombre fini de catégories, qui forment des modèles paramétriques), le test du χ 2 est dit non-paramétrique. Dans SPSS, il se trouve par conséquent dans le menu Analyze / Nonparametric Tests / Chi-Square. On explique ci-dessous plus en détails comment utiliser SPSS pour mettre en œuvre un test d ajustement du χ Mise en œuvre sous SPSS. J ai implémenté l exemple de l agence immobilière sous le fichier Immo.sav, disponible sur le site web du cours. La deuxième colonne contient les mois de vente et correspond bien aux données présentées dans l exemple 7.1. Les première et troisième colonnes donnent respectivement le jour et le prix de vente (j ai rempli ces colonnes au hasard). J ai déduit les colonnes 4 et 5 de la colonne 2, via Tranform / Recode into Different Variables. On lance le test par Analyze / Nonparametric Tests / Chi-Square et dans la fenêtre qui apparaît, on indique qu on veut tester l équiprobabilité des classes sur la variable CodeSaison. On obtient alors la figure 1. On retrouve bien toutes les valeurs numériques que nous avions calculées à la main, et notamment, la P-valeur de 1.9 %. La petite note qui suit le second tableau indique que les conditions asymptotiques de la remarque 7.1 sont bien remplies et que le test est donc validement appliqué. Je vous présente également une solution SPSS à l exercice 7.1. J ai rentré les données dans le fichier Fisc.sav : la première colonne dresse la liste des chiffres de la déclaration. Gilles Stoltz 93

6 Fig. 2. Résultat du test du χ 2 d ajustement à la loi des chiffres fiscaux (avant regroupement). Fig. 3. Résultat du test du χ 2 d ajustement à la loi des chiffres fiscaux (après regroupement). J ai alors effectué un premier test d ajustement à la loi proposée. Son résultat est lisible en figure 2. Les conditions de la remarque 7.1 n étant pas remplies, un regroupement est nécessaire. Pour plus d efficacité, j ai utilisé la figure 2 pour classer les chiffres en trois catégories, selon que leur nombre d occurrences observées est proche, très en-dessous, ou très au-dessus du nombre d occurrences attendues. Ce regroupement effectué (et implémenté ici encore sous SPSS par recodage de variables), j ai relancé le test pour obtenir la figure 3. La P-valeur étant plus petite que 5 % (elle est de 1.8 %), les données présentées ne sont pas distribuées selon la fréquence moyenne observée sur les trois dernières années. La déclaration est donc suspecte, on peut penser à diligenter un contrôle. Notez que le seuil de P-valeur fixé par le fisc est peut-être à 1 %, histoire d éviter d avoir trop de propositions de contrôles par rapport au nombre de contrôleurs. Dans ce cas, ce contribuable échapperait à la vérification. 94 Gilles Stoltz

7 2. Test du χ 2 d ajustement à une famille de lois Cette section peut être sautée. Je la mets essentiellement pour votre culture. Même si une question du troisième exercice de l examen de 2007 portait dessus, je ne pense pas redemander la maîtrise de ce qui suit cette année : cela me semble trop demander pour des non-mathématiciens. En revanche, le paragraphe sur le test du χ 2 d indépendance sera, lui, crucial. Vous pouvez donc passer directement à sa lecture, surtout si vous manquez de temps pour vos révisions... (En cours, nous n avons fait qu allusion aux résultats de ce paragraphe.) 2.1. Principe et exemple. On considère une famille de lois F = { p θ, θ 2 Θ } sur l ensemble des catégories {1,..., k}. On part toujours d un échantillon X 1,..., X n i.i.d. selon une loi p et on veut tester que p 2 F. Pour ce faire, on compare la répartition observéebp n à celle proposée par un élément de F bien choisi, pbθ n, et ce, au travers de la statistique de test D n p bθ n not. = n k j=1 bp j,n pbθ n j 2 pbθ n j = k j=1 N j,n n n 2 pbθ j. n n pbθ j Notez bien la similarité avec le paragraphe précédent : ici, on prend simplement pour loi de référence une loi de la famille de lois de référence, celle indexée parb θn. Cet estimateur du paramètre θ doit être un estimateur dit du maximum de vraisemblance pour que la procédure fonctionne. Avance d indiquer comment on le calcule, on revient à notre exemple introductif. Exemple 7.4 (Agence immobilière, suite). Tester que deux fois plus de promesses de vente sont signées au printemps que les autres mois revient à tester l ajustement de la loi commune p à la loi p ref = (1/5, 2/5, 1/5, 1/5). Si l on veut tester que deux fois plus de promesses de vente sont signées au printemps qu en hiver ou en été (sans contrainte par rapport aux ventes d automne), cela revient à tester que p appartient à l ensemble F = { (θ, 2θ, θ, 1 4θ), θ 2 Θ }. Il faut utiliser toute l information disponible pour estimer le meilleur θ. La loi des grands nombres assure que N 1,n /n θ par exemple, mais c est vrai pour d autres proportions empiriques. Le mieux est de prendre les trois premières à la fois (la quatrième se déduit d elles), pour conserver le maximum d information disponible. Par loi des grands nombres, à nouveau, on a b N 1,n + N 2,n + N 3,n P 4θ d où θn = N 1,n + N 2,n + N 3,n. n 4n Un raisonnement mathématique plus rigoureux permet de retrouver ce résultat. On y fait une brève allusion. La vraisemblance d un n-échantillon est la probabilité qu il avait de se produire. Ici, la vraisemblance de X 1,..., X n est donc, avec les notations précédentes (et en codant 1 pour l hiver, 2 pour le printemps, 3 pour l été et 4 pour l automne), V n (θ) = θ N1,n (2θ) N2,n θ N3,n (1 4θ) N4,n. Un bon estimateurb θn est la valeur qui maximise la vraisemblance (la terminologie est éclairante), ou de manière équivalente, le logarithme de la vraisemblance. On Gilles Stoltz 95

8 utilise que N 4,n = n (N 1,n + N 2,n + N 3,n ) et on dérive selon θ la fonction log V n ; on annule la dérivée pour trouver les extrema, N 1,n + N 2,n + N 3,n 4 n (N 1,n + N 2,n + N 3,n ) = 0, θ θ θ 1 4θ soit, comme annoncé intuitivement, bθ n = N 1,n + N 2,n + N 3,n. 4n Cette valeur est bien un maximum, comme on le vérifie en notant que la dérivée seconde est strictement négative en ce point. On utilise alors le principe suivant. Il ne diffère du principe 7.1 que dans le nombre de degrés de la loi limite du χ 2 : on tient compte de l estimation du paramètre θ en retirant, par rapport à sa valeur précédente k 1, autant de degrés de liberté que le nombre de paramètres décrivant les éléments de la famille F. Principe 7.2. On part d une situation modélisée par des observations X 1,..., X n i.i.d. selon une certaine loi p sur {1,..., k}. On se demande si p appartient à une certaine famille F = { p θ, θ 2 Θ } de lois de référence. On note d le nombre de b paramètres décrivant les éléments de la famille. Le test est fondé sur le résultat suivant : sous H 0 : p 2 F, si θn est un «bon» estimateur de θ, alors En particulier, la distribution de D n p bθ n Lorsque p 62 F, grandes que sous H 0. D n p bθ n n D n p bθ χ 2 k d 1. ne prend pas de trop grandes valeurs. tend vers + et prend donc des valeurs beaucoup plus Dans l exemple de l agence immobilière, on a par exemple l estimée 31/(4 36) = 21.5 % pour θ et on teste donc l ajustement à la loi (0.215, 0.43, 0.215, 0.14), sous laquelle les effectifs attendus sont (7.74, 15.48, 7.74, 5.04), à comparer aux effectifs observés (8, 17, 6, 5). La taille d échantillon étant supérieure à 30 et toutes les classes vérifiant la condition de la remarque 7.1 (avoir des effectifs attendus supérieurs à 5), on peut appliquer validement le principe 7.2. La valeur réalisée de la statistique de test D n p bθ n est (8 7.74) ( ) (6 7.74) (5 5.04) = 0.55, soit une P-valeur de 76 % (lorsque l on lit la table de la loi χ 2 2 que je vous ai fournie, on a simplement l encadrement de la P-valeur entre 10 % et 90 %). Le nombre de degrés de la loi du χ 2 est k d 1, où ici, k = 4 et d = 1 (un seul paramètre). On conserve donc H 0 sans hésitation, l ajustement semble tout à fait raisonnable Autre exemple. Exemple 7.5 (Nombre d appels téléphoniques reçus). Un étudiant suspicieux, mais patient, note chaque jour, pendant jours, soit presque quatre ans, le nombre d appels téléphoniques qu il reçoit les jours de semaine. En effet, son enseignant lui avait dit (voir chapitre 2) à son arrivée à HEC que la loi de ce nombre d appels était poissonnienne. Quatre ans se sont écoulés, il est presque l heure de quitter HEC pour le monde du travail et l étudiant veut vérifier si ce qu on lui avait enseigné était bien vrai. Il regroupe ses données x 1,..., x 1000 dans le tableau suivant. 96 Gilles Stoltz

9 Nombre d appels > 12 Nombre de jours Alors, peut-il dénoncer à Rama l incompétence cet enseignant, qui lui avait mis un F, et ainsi se venger de lui? On modélise les données comme la réalisation d un 1000-échantillon X 1,..., X 1000, de loi commune une loi p sur les entiers naturels N (même si, en pratique, le nombre d appels par jour est borné). Ici, on teste l adéquation à la famille des lois de Poisson F = { P(λ), λ 2 R +}, aussi note-t-on plutôt λ le paramètre. Un bon estimateur de λ est la moyenne empirique,b λ1000 = X 1000, comme on l a vu à l exemple 3.6. (On pourrait lui aussi l obtenir comme estimateur du maximum de vraisemblance du paramètre dans un modèle poissonnien.) Ici, l estimée vaut x 1000 = 4 (tout pile!), on va donc tester l adéquation à la loi de Poisson de paramètre 4. On aurait pu calculer la variance d échantillon, on aurait obtenu s = 3.74 ; d ailleurs, la proximité de x 1000 et s est un argument en faveur de la loi de Poisson. Sur jours, on attend P{P = j} jours avec j appels, où P suit une loi de Poisson de paramètre 4. En substituant les valeurs, on obtient le tableau suivant. Appels > 12 Observés Attendus Nous ne sommes pas dans les conditions de la remarque 7.1 : nous lisons des effectifs attendus plus petits que 5 dans les deux dernières colonnes, et c est pourquoi nous allons procéder au regroupement des trois dernières colonnes : Nombre d appels > 10 Jours observés Jours attendus La valeur observée de la statistique du χ 2 vaut ( ) 2 ( )2 (5 13.2)2 (6 8.1) Ceci est à comparer aux quantiles de la loi χ 2 9 : en effet, après regroupement, il n y a plus que k = 11 classes, et il faut enlever deux degrés de liberté (un pour l estimation de λ et un autre parce qu on en enlève toujours un). On a ici une P-valeur de 33.2 % (lorsque l on lit la table de la loi χ 2 2 que je vous ai fournie, on a simplement l encadrement de la P-valeur entre 10 % et 90 %). On conserve donc H 0 sans hésitation, l ajustement semble tout à fait raisonnable. Gilles Stoltz 97

10 3. Test du χ 2 d indépendance entre deux variables qualitatives Ce paragraphe présente des résultats absolument essentiels, qu il est bon, mais pas absolument nécessaire, de lire à l aune du paragraphe précédent concernant les tests du χ 2 d ajustement à une famille de lois Deux exemples pour nous motiver. On va considérer des couples de variables qualitatives. Exemple 7.6 (Merci HEC Sondages). L assoc semble revivre, un peu. En 2007, elle avait organisé un sondage pour les élections présidentielles. J an ai récupéré les résultats sur leur site, cf. le document disponible sur le site du cours. Cela étant, ceux qui ont traité les données n ont indiqué que les proportions observées, et pas du tout les effectifs des différents échantillons. Ceci est mal, très mal (comment calculer des intervalles de confiance ou réaliser des tests sans indications de taille d échantillons?), et les auteurs de ce résultat de sondage mériteraient de repasser l examen de statistiques. Aussi, j ai essentiellement supposé qu un vrai travail de bénédictin avait été effectué en interrogeant environ 100 étudiants de première, deuxième et troisième année, et que le tableau obtenu avant calcul des pourcentages était : 1A 2A 3A Total (1) Royal (2) Sarkozy (3) Autre (4) Indécis (5) NSPP Total Question : Les opinions politiques dépendent-elles de l année de scolarité? La modélisation est la suivante. La population est l ensemble des étudiants de la grande école. En ce qui concerne les données, pour chaque sondé j, on a noté son année de scolarité x j ainsi que son opinion politique y j. Ici, j varie entre 1 et 286. Les étendues respectives de ces deux variables sont X = {1, 2, 3} pour les x j et Y = {1, 2, 3, 4, 5} pour les y j, selon la correspondance indiquée à gauche du tableau. Le choix des sondés ayant été, espérons-le, effectué au hasard, on peut supposer que ces valeurs observées sont les réalisations d un 286-échantillon (X 1, Y 1 ),..., (X 286, Y 286 ) i.i.d. selon une certaine loi p sur X Y = {1, 2, 3} {1, 2, 3, 4, 5}. Se demander si les opinions dépendent de l année revient à se demander si la loi p est une loi produit, i.e., si on peut l écrire comme produit p X p Y de ses marginales p X et p Y. On définit en effet, pour q X et q Y deux lois respectivement sur X et Y, la loi produit q = q X q Y par la probabilité qu elle met sur tout couple (x, y) 2 X Y, q (x,y) = q X x q Y y. 98 Gilles Stoltz

11 On s est donc ramenés à tester l ajustement de p à la famille des lois-produits sur X Y, F = { q X q Y, q X loi sur X, q Y loi sur Y } ; et on pourra ainsi appliquer les techniques du paragraphe précédent. Exemple 7.7 (Prof Grincheux contre Prof Gentil). Ma collègue Veronika Czellar et moi-même avons utilisé l an dernier et utiliserons encore cette année un test pour vérifier 2 que nous notons bien de la même manière dans nos groupes. Je ne retrouve plus nos notes et ai la flemme de les demander à Béatrice Poivre, alors considérons les notes fictives suivantes : Notes A B C D E F Prof Grincheux Prof Gentil Quel est votre verdict : les réputations sont-elles méritées ou usurpées? Ici, on veut tester l homogénéité des répartitions des notes, i.e., peut-on dire qu elles proviennent de la même distribution, indépendamment du professeur qui a noté? Pour chaque étudiant, on note (x j, y j ) le couple formé par sa note x j, qui est dans l ensemble X = {A, B, C, D, E, F}, identifié à X = {1, 2, 3, 4, 5, 6}, et son enseignant y j 2 Y, où Y = {1, 2} (avec la convention que 1 est le grincheux et 2 le gentil). On se retrouve dans une situation similaire à la précédente, pour laquelle on peut proposer et justifier le même type de modélisation. Remarque 7.2. Cet exemple explique que les tests d homogénéité entre deux distributions sont des cas particuliers des tests d indépendance ; il suffit de considérer la variable explicative donnant l index du groupe, et de tester l indépendance de la variable à expliquer par rapport à cette variable explicative. Certains (mauvais) livres présentent séparément un test du χ 2 d indépendance et un test du χ 2 d homogénéité, alors qu il s agit, en théorie et en pratique, du même test! 3.2. Principe. Les exemples précédents montrent que l on part d une situation modélisée par (X 1, Y 1 ),..., (X n, Y n ) i.i.d. selon une certaine loi p sur l ensemble fini X Y. On note r = CardX et s = CardY, et on identifie X = {1,..., r} et Y = {1,..., s}. On va s inspirer du principe 7.2. On teste l adéquation de la loi commune p à la famille F = { q X q Y, q X loi sur X, q Y loi sur Y }. Chaque élément de la famille F est décrit par (r 1) + (s 1) paramètres (r 1 pour définir la première marginale et s 1 pour la seconde). Il faut trouver à qui comparer p dans F, i.e., trouver un bon estimateur de p appartenant à F. Cela revient à estimer chacune des marginales séparément, ce qui est aisé. On note, pour tout x 2 X et y 2 Y, N x,y = Card {j : X j = x et Y j = y}, N x, = Card {j : X j = x}, N,y = Card {j : Y j = y}. 2 Remarquez bien qu Isabelle Bossard et Eric Henaff m ont indiqué utiliser également des méthodes statistiques pour détecter les professeurs recalant plus que de raison les étudiants (mais sans me donner la teneur de la méthode). Gilles Stoltz 99

12 (On ne note plus explicitement les dépendances en n, pour alléger l écriture.) Les estimateurs des marginales sont alors = = bp X N1, n,..., N r, N et bp Y,1 n n,..., N,s. n Le principe est alors de comparer p àbp X bp Y. On mesure pour cela l écart entre les effectifs observés N x,y et les effectifs attendus nbp X xbp Y y. Cette comparaison doit être faite sur rs éléments. On fait cela en considérant la statistique de test, de même inspiration que les précédentes, r s N x,y nbp X xbp Y y 2 D n bp X bp Y = x=1 y=1 nbp X xbp Y y et on l utilise selon le principe suivant. C est une conséquence du principe 7.2, puisqu ici k = rs est le cardinal de X Y, la famille F est décrite par d = (r 1)+(s 1) paramètres, ce qui donne au final une loi limite du χ 2 avec k d 1 = rs r s + 1 = (r 1)(s 1) degrés de liberté. Principe 7.3. On part d une situation modélisée par des couples d observations (X 1, Y 1 ),..., (X n, Y n ) i.i.d. selon une certaine loi p sur l ensemble fini {1,..., r} {1,..., s}. On se demande si les X j sont indépendants des Y j, i.e., si p est une loi produit. Le test est fondé sur le résultat suivant : sous l hypothèse H 0 d indépendance, Y D n bp X bp Y χ 2 (r 1)(s 1). En particulier, la distribution de D n bp X bp ne prend pas de trop grandes valeurs. Y Lorsqu il n y a pas indépendance, i.e., que p n est pas une loi produit, D n bp X bp tend vers + et prend donc des valeurs beaucoup plus grandes que sous H Application du principe à l exemple de HEC Sondages. On estime tout = = d abord loi produit ; elle est obtenue par produit des marginales 93 bp X 286, , and bp Y , , , , 8 ; 286 ainsi, par exemple, on a un effectif attendu de 286bp X 1bp Y = = étudiants de première année votant pour Sarkozy en cas d indépendance, à comparer à la valeur observée 38. Il faut faire cela pour chacune des quinze cases du tableau et on peut faire appel à SPSS à cet effet, afin d obtenir la figure 4 (où l on retrouve bien la valeur 48.8). La minute SPPS 7.3. La figure 4 a été obtenue par Analyze / Descriptive Statistics / Crosstabs. Puis, dans la fenêtre qui apparaît, on clique sur Statistics pour sélectionner Chi-square, puis on clique sur Cells pour cocher dans le groupe Count les valeurs Observed et Expected. Un problème apparaît cependant : les conditions de la remarque 7.1 ne sont pas remplies, et SPSS le signale dans sa note. On lit en effet dans la table des valeurs attendues plus petites que 5, il faut donc procéder à un regroupement. On regroupe la ligne qui pose problème, celle de ceux qui ne se prononcent pas, avec celle des indécis et on refait le calcul. On obtient cette fois la figure 5. L asymptotique étant désormais respectée, on 100 Gilles Stoltz

13 Fig. 4. Résultat du test du χ 2 d indépendance avant regroupement de classes. Fig. 5. Résultat du test du χ 2 d indépendance après regroupement de classes. peut en tirer des conclusions. On calcule combien vaut D n sur les données, et on applique la formule (avec douze termes) (7.5 9) ( ) ( ) = Gilles Stoltz 101

14 Fig. 6. Résultat du test du χ 2 d homogénéité entre les votes des étudiants de première et deuxième années. La valeur réalisée de D 286 est supérieure à 49, et la loi limite est une loi du χ 2 avec (r 1)(s 1) = 6 degrés de liberté (on a toujours r = 3 mais s = 4 à cause du regroupement). La P-valeur est très faible, comme l indique SPSS, quasi-nulle ; un calcul avec un logiciel de statistiques plus efficace montre que P{X > 49} où X χ 2 6. C est un rejet très clair de l hypothèse d indépendance du projet de vote en fonction de l année. Juste pour avoir le cœur totalement net et pouvoir avancer une explication, regardons s il y a indépendance entre le vote et le fait d être 1A ou 2A (i.e., on teste l homogénéité entre les votes des 1A et 2A). Une démarche similaire à la précédente amène aux résultats obtenus à la figure 6. La minute SPPS 7.4. La seule différence se trouve du point de vue de l utilisation de SPSS. On neutralise ici les 3A par un filtrage de données, réalisé avec Data / Select Cases. Cette fois-ci, la P-valeur est de 61 %, on peut donc dire qu il y a homogénéité des votes entre 1A et 2A. C est donc l année de césure qui modifie en profondeur le sentiment politique! Au final, si l on regarde le tableau de données, on voit que ce qui distingue les 3A des 1A et 2A est la cristallisation des votes des indécis et de ceux en faveur d autres candidats sur Sarkozy. (Cette agrégation des voix autour de Sarkozy aurait d ailleurs pu être traitée par un simple test unilatère de proportions.) Il faut noter que toute cette étude ne vaut que parce qu on a supposé un nombre raisonnable de sondés par année. La conclusion serait sans doute différente si les proportions annoncées par HEC Sondages ne portaient que sur le sondage de 10 étudiants 3A... Il faut, encore une fois, absolument préciser les tailles 102 Gilles Stoltz

15 Fig. 7. Résultat du test du χ 2 d homogénéité entre les notes des deux groupes d étudiants (avant regroupement). d échantillons et donner des tables de contingence comme celle que nous avons inventée à l exemple 7.6 à partir des résultats proposés en pourcentages Application du principe à l exemple du test d homogénéité des notations. Le même principe s applique (première étape : estimation de la loi jointe, deuxième étape : calcul de la table des effectifs attendus et observés et de la valeur de D n à partir de cette table, troisième étape : détermination de la P-valeur). Ici encore, on remarque après le premier traitement (voir figure 7) qu il faut effectuer un regroupement ; on regroupe les notes E et F sous la même bannière, notée G. On détaille un peu les calculs pour ce regroupement. Les résultats sont présentés à la figure 8. La valeur attendue de la case correspondant au prof gentil et à la note C est obtenue par le calcul suivant, nbp X 2bp Y 3 = = 25.5 et on doit la comparer à 24. On fait de même pour les dix cases de la table et on calcule ensuite D n ; ici, la valeur réalisée pour D 194 est ( ) ( ) = La loi asymptotique de D n étant ici une loi du χ 2 à 4 degrés de liberté (r = 2 et s = 5, d où (r 1)(s 1) = 4), cela conduit à la P-valeur P{X > 2.339} = 67.4 % où X χ 2 4. On conserve donc l hypothèse H 0 d indépendance et on en déduit que les réputations sont usurpées, ou qu à tout le moins, les données dont nous disposons, ne nous permettent pas d affirmer que ces réputations sont méritées. La minute SPPS 7.5. Pour ce jeu de données, disponible, comme tous ceux de ce chapitre, sur le site web du cours, j ai exploité les fonctionnalités de recodage de SPSS, disponibles par Tranform / Recode into Different Variables par exemple. Gilles Stoltz 103

16 Fig. 8. Résultat du test du χ 2 d homogénéité entre les notes des deux groupes d étudiants (après regroupement). 4. Cas de deux classes ou de deux fois deux classes Les tests du χ 2 sont tellement universels que leur considération risque de vous faire oublier les tests les plus simples. Ce paragraphe veut vous les rappeler Test d ajustement lorsqu il n y a que deux classes. Exemple 7.8. On lance fois un dé et on obtient 212 fois un 6. Le dé est-il biaisé? Ici, on ne va évidemment pas faire une table du χ 2 pour voir si les nombres d occurrences observés (212, 788) sont bien compatibles ou pas avec les nombres d occurrences attendues (166.7, 833.3). On fait un test de proportions, voir le principe 5.4. Le test du χ 2 n est à utiliser que lorsqu il y a strictement plus de deux classes. ) Remarque 7.3. Les plus attentifs d entre vous noteront que la statistique de test D n (p0, 1 p 0 est égale au carré de la statistique Tn du principe 5.4. Le carré de la loi limite de T n (une loi N (0, 1)) est, sans surprise, la loi asymptotique de D n, une loi χ 2 1. En fait, la vraie différence ici entre implémenter un test du χ 2 et un test de proportions est que ce dernier peut être unilatère, alors que celui du χ 2 est toujours bilatère. Or, ici, on a envie de faire un test unilatère Test d indépendance lorsqu il n y a que deux fois deux classes. De même, lorsque r = s = 2, i.e., que la table de contingence contient quatre cases, deux lignes et deux colonnes, on se reportera de préférence au principe 6.3 (même si sous SPSS ce cas est n est accessible que par la manipulation habituelle, à savoir l usage de Crosstabs). Les deux tests sont égaux en cas d hypothèse alternative bilatère et sinon, on peut efffectuer une remarque similaire quant à la possibilité d un test unilatère avec le principe 6.3. Si la table contient au moins trois lignes ou trois colonnes, on recourrera au test du χ 2 d indépendance. 104 Gilles Stoltz

17 5. Retour à notre fil d Ariane : Tentative de description probabiliste de la répartition par carnets Les épisodes précédents ont montré que si l on note X 1,..., X 100 le nombre de tickets significatifs par carnet, alors c est un 100-échantillon i.i.d. selon une certaine loi ν. On a déjà montré que ν{2, 3,..., 50} 6 3 % (à la fin du chapitre 6, notamment). On voudrait maintenant déterminer précisément ν{0}, ν{1} et ν{2}. Une chose doit nous surprendre (je ne l ai moi-même remarqué qu un an plus tard!) : si effectivement tous les carnets contiennent au plus un lot significatif, alors, comme il y a lors significatifs dans une tranche d émission de carnets (soit tickets), on aurait dû observer que 3/4, et non pas 2/3, des carnets grattés contiennent un lot significatif. La différence est statistiquement significative : si effectivement l hypothèse H 0 : ν{2, 3,..., 50} = 0 est vraie, alors ν{1} 77 % et ν{0} = 23 %. Mais qu une loi binômiale de paramètres 100 et ν{1} = 0.77 vale 67 ou moins (2/3 de 100, c est la valeur observée) n arrive qu avec probabilité 1.5 % (c est la P-valeur du test de proportions associé). On rejette donc cette H 0 et on est forcé de conclure que ν{2, 3,..., 50} > 0. La Française des Jeux n a donc pas tort quand elle dit qu il n est pas impossible qu un carnet contienne deux lots significatifs, c est juste très peu fréquent. Essayons de voir si l on peut maintenant être plus ambitieux et calculer exactement ν{2}. On suppose que ν{j} = 0 pour tout j > 3, de sorte que ν ne charge que les valeurs 0, 1 et 2. On a les valeurs observées (33, 67, 0) et on voudrait qu elles ne contredisent pas statistiquement les valeurs attendues 100 (ν{0}, ν{1}, ν{2}). Or, on a le système d équations suivant, ν{0} + ν{1} + ν{2} = 1, ν{1} + 2ν{2} = 0.77, ν{2} où la première contrainte vient de ce que (ν{0}, ν{1}, ν{2}) est un triplet de probabilité, la deuxième assure qu il y a bien le bon nombre de lots significatifs dans une tranche de carnets, et la troisième a été prouvée précédemment. De la même manière qu on a montré ν{2} 2 [0, 0.03], on peut montrer ν{1} 2 [0, 0.74] (intervalle de confiance à 95 %) et ν{0} 2 [0.26, 1] (intervalle de confiance à 95 % également). Le système imposant en particulier (par combinaison de ses deux premières égalités) que 1 ν{0} + ν{2} = 0.77, il vient la minoration ν{2} = ν{0} 0.23 > 0.03, et finalement, l égalité ν{2} = Puis, ν{1} = 0.71 et ν{0} = Les deux contraintes d égalité et les trois contraintes d intervalles de confiance sont donc compatibles et mènent à une solution unique, (ν{0}, ν{1}, ν{2}) = (0.26, 0.71, 0.03), qui forme notre modélisation validée par méthodes statistiques. On peut alors vérifier, par test du χ 2, que les valeurs observées (33, 67, 0) ne contredisent effectivement pas les valeurs attendues 100 (ν{0}, ν{1}, ν{2}) = (26, 71, 3). Attention, à cause de la remarque 7.1, il ne faut pas oublier de regrouper au moins deux classes. On se retrouve alors dans le cadre du paragraphe 4.1, et par construction de nos intervalles de confiance, la P-valeur sera bien plus grande que 5 %, quel que soit le regroupement effectué. On valide donc au final cette modélisation. Gilles Stoltz 105