Commentaires sur la question 1. Limites de confiance sur la distribution binomiale et l approximation normale

Transcription

1 Commentaires et corrections de l examen théorique d analyse des données de BA2 (Daniel Holender, 13 mars 2007) C est avec beaucoup de réticence que je me livre à ces commentaires qui constituent en gros une correction de l examen théorique. Ma réticence vient du fait que je sais que ceci sera utilisé principalement pour développer une capacité mécanique à répondre à des questions similaires, sans pratiquement rien comprendre conceptuellement. Je participe donc à la négation même de ce qui est ma démarche dans le cours théorique. Je voudrais aussi réagir à deux remarques faites par certains étudiants concernant, d une part, le manque d adaptation des TPs au cours théorique et d autre part, le fait que certains ne s attendaient pas à ce que les questions sur l examen théorique prennent une tournure aussi appliquée (à leurs yeux). C est vrai jusqu à un certain point mais il faut nuancer pour au moins les trois raisons suivantes. 1. D abord, dans les applications réelles, les problèmes ne se posent jamais comme un exercice de manuel de statistique. Sans comprendre ce que l on fait et les conclusions auxquelles on aboutit, on est opérationnellement dans le vague le plus total. En demandant une multiplication d exercices formulés de manière standard, l étudiant se place dans l optique de réussir un examen mais pas d acquérir des connaissances. On est surpris de la capacité des étudiants à étudier par cœur et à appliquer correctement sans comprendre les procédures. C est ce qui explique la discordance entre la bonne réussite de l examen de TP et l échec abyssal de l examen théorique. 2. Deux séries d exercices supplémentaires ont été rédigées par Laure Delbecque pour faire la jonction avec le cours de BA1, l une portait sur le calcul des scores Z et sur l utilisation de la table normale et binomiale et l autre sur les tests Khi-carré. J ai dit explicitement que cela faisait partie de la matière théorique. Deux questions de l examen théorique impliquaient d utiliser la table normale, la question 1 pour trouver des limites de confiance sur l approximation normale d une binomiale et la question 4 pour calculer la puissance d un test. Les résultats sont en moyenne très médiocres dans les deux cas. Une autre question portait sur un test d ajustement. Il s agissait exactement d un autre exemple basé sur la même procédure que celle qui a été illustrée deux fois par Laure. Ici aussi, les résultats sont très médiocres en moyenne. 3. Le cours théorique est émaillé d exemples parfois multiples avec des solutions disponibles. Qu en faites-vous? Pour la question 1 portant sur la détermination des limites exactes d un intervalle de confiance sur une distribution binomiale, il y a 5 exemples traités dans les notes et dont les solutions se trouvent au tableau 7.2. du chapitre 7. Pour la fin de la question 4 où on demande la puissance pour un test unilatéral, il y a 3 exemples dont la question est une copie exacte d exercices développés à la fin du chapitre 7 et une série d autres cas dont vous possédez les solutions qui auraient permis de vous exercer et que je vous demandais explicitement de résoudre. Commentaires sur la question 1. Limites de confiance sur la distribution binomiale et l approximation normale 1

2 Les différentes sous-questions de la question 1 réfèrent à la matière développée aux pages 6 à 12 du chapitre 7. La compréhension du tableaux 7.2 qui montre 5 distributions binomiales basées sur 20 données et de la figure 7.2 qui montre l allure de ces distributions est essentielle à la compréhension. Il fallait savoir utiliser la table normale réduite qui vous était fournie. Vous disposiez aussi de la table de la distribution binomiale B (N = 30 et p =.30) (au lieu de différentes distributions binomiales basées sur N = 20, comme dans le tableau 7.2). L essentiel de la questio n portait sur la détermination de l intervalle de confiance approché (exprimé en proportion de succès) pour un niveau de confiance non conventionnel de, par exemple,.82 autour de la proportion de 0,30 succès (qui est la moyenne de cette distribution binomiale). On demandait que le niveau de confiance soit le plus proche possible de.82 sans toutefois lui être inférieur. Dans les notes, tous les exemples se basent sur le niveau de confiance conventionnel de.95. On demandait aussi de recalculer ces limites de confiance en utilisant l approximation normale. Pour cela, je vous donnais la valeur de l écart type calculé sur la distribution binomiale qui est de 0,084. Voyons d abord les réponses à cette dernière question. Beaucoup d étudiants qui échouent à trouver la bonne valeur critique de Z qui est de 1,34 sont quand même capables de dire comment calculer le demi-intervalle de confiance et de montrer comment on calcule la limite inférieure et la limite supérieure de cet intervalle de confiance autour de la moyenne de 0,30 succès (quitte à utiliser une mauvaise valeur de Z ou à donner une formule générale correcte). Mais, je m interroge. S agit-il la plupart du temps d une connaissance mécanique sans compréhension ou ces étudiants ont-ils une image mentale correcte de ce qu ils font? Sauraient-ils faire le dessin correspondant montrant une distribution normale avec une limite inférieure et une limite supérieure de l intervalle de confiance délimitant 3 surfaces sur cette courbe qui représentent (de gauche à droite) les probabilités de.09 (la moitié de.18, le complément du niveau de confiance de.82),.82 et.09. (au lieu de.025,.95,.025 avec le niveau de confiance conventionnel de.95 utilisé dans les notes). Parce que si ceci est compris, comment se fait-il que certains étudiants puissent ne pas trouver la bonne valeur de Z (1,34) dans la table normale standard? Après, il suffit de transposer ces connaissances à la détermination des limites de confiance sur la distribution binomiale fournie en veillant à ce que le niveau de confiance soit le plus proche possible de.82 sans toutefois lui être inférieur. Cela implique que les surfaces successives sur cette distribution doivent être légèrement < à.09, légèrement > à.82 et légèrement < à.09, donc légèrement >.91 (= ). Par comparaison, dans le cours, à la table 7.2, je cherchais dans la colonne des fréquences cumulées, chaque fois, la limite inférieure la plus proche de.025 mais sans excéder.025 (limite la plus proche par défaut comme je l exprime p. 10) et la limite supérieure la plus proche de.975 par excès, c est-à-dire laissant à sa droite une probabilité de maximum.025. Comme dans la plupart des cas, les valeurs cumulées exactes de la distribution binomiale ne correspondent pas à des valeurs exactes de Z (correspondant à exactement.025 de part et 2

3 d autre), cette procédure garantit que le niveau de confiance (la surface entre les deux limites de confiance) soit la plus proche possible de.82 sans toutefois lui être inférieure (donc légèrement supérieure). Une fois qu on a trouvé les bonnes lignes (les bonnes probabilités cumulées) dans la table binomiale, il suffit de lire en regard à quelles proportions de succès ces limites correspondent. Il fallait trouver 0,17 et 0,40 succès, les valeurs en regard de 0,0766 (la probabilité la plus proche par défaut de.09) et de 0,9155 (la probabilité la plus proche par excès de.91). Pour le reste, beaucoup d étudiants répondent correctement à la question sur le sens de l asymétrie et sur la formule et le calcul de l écart type. En revanche, sur le critère présenté au cours théorique pour utiliser la distribution binomiale, l écroulement est de nouveau assez général. J ai accepté le critère de N supérieur à 30 cité au TP mais je voulais le critère qui figure au bas de la page 8 et en haut de la page 9. Ce critère avait été expliqué dans le cours de BA1. Même parmi les étudiants qui répondent à peu près correctement le sens de la conjonction et ne semble pas toujours compris. Aussi, dans les exemples traités pp. 8 et 9, je dis que le critère n est jamais tout à fait rempli et j indique les valeurs que devraient avoir N pour que le critère soit tout juste atteint dans deux exemples. Donc, pour B(20,.60), il faudrait N = 25 au lieu de 20 et pour B(20,.75), il faudrait N = 40 au lieu de 20. J espère que vous comprenez comment j ai trouvé ces résultats parce que j ai failli poser ce type de question. Commentaires sur la question 2. Définition et propriétés Pas de commentaire. Ici, les réponses sont globalement très bonnes, ce qui indique que la plupart des étudiants étudient bien par cœur. Commentaire sur la question 3 J ai dit et répété qu il n était pas question d oublier ce qui avait été vu en BA1 et qu il fallait encore savoir faire un test Khi-carré d ajustement ou un test Khi-carré d indépendance. La question demandait de reproduire exactement la procédure que Laure avait illustrée par deux exercices. Cette question dont la réponse ne demande pratiquement que des connaissances mécaniques donne cependant lieu à des résultats très médiocres. La seule difficulté est que j avais posé le problème d une manière un peu non standard. Vous aviez un tableau dont les deux premières lignes indiquaient les résultats de Binet en nombre et en proportion d élèves dans cinq catégories : 2 ans de retard, 1 an de retard, pas de retard, 1 an d avance et 2 ans d avance. On demandait si les résultats obtenus par Terman et Childs en 1912 étaient conformes à ceux de Binet. Le tableau montrait les fréquences absolues et relatives pour le test de Binet et pour l adaptation de Terman et Childs. 3

4 Exemple : pour un retard de 2 ans : Chez Binet, il y avait 12 enfants, soit une proportion de 0,06 calculée sur le total de 192 enfants. Chez Terman et Childs, il y avait 40 enfants, soit une proportion de 0,10 calculée sur le total de 396 enfants. Donc, dans cette catégorie, il est clair que les proportions d enfants ayant deux ans de retard sont très proches dans les deux études. Mais ce n est pas nécessairement le cas pour les autres catégories. Le test Khi-carré d ajustement permet simplement de savoir si, en moyenne sur les 5 catégories, la concordance est bonne ou mauvaise. Pour effectuer le test, on calcule une statistique basée sur la différence entre les fréquences observées chez Terman et Childs et les fréquences attendues si les proportions d enfants dans chaque catégorie étaient les mêmes que chez Binet. Vous irez revoir la formule qui se base sur les fréquences absolues observées et attendues. Donc le point crucial était de montrer comment calculer les fréquences absolues attendues chez Terman et Childs en utilisant les proportions trouvées par Binet. Comme il y a 0,06 % d enfants chez Binet avec un retard de 2 ans, la fréquence absolue attendue exacte chez Terman et Childs devrait être de 6% de 396, soit une valeur que j avais appelée f 1 et dont je vous demandais de montrer comment en calculer la valeur. Il suffisait donc d écrire f 1 = 0,06 x 396 et de procéder de la sorte pour les 4 autres valeurs de f sans faire le calcul. Après, ces valeurs de f pouvaient être utilisées pour remplacer le symbole E dans la formule du Khi-carré dont j aurais aimé qu on indique sur combien de catégories le signe de sommation porte (il fallait J = 1 jusque 5). Ceci qui donne une valeur calculée de Khi-carré à 4 degrés de liberté dont je vous disais qu elle valait plus de 600. Il suffisait alors de trouver la valeur théorique du Khi-carré dans la table en utilisant le niveau de signification demandé et 4 degrés de liberté. Commentaires sur la question 4. Globalement, bonnes réponses à la sous-question 1 concernant le remplissage du tableau illustrant l application de la théorie de la décision au test de signification et transposition assez souvent correcte à la sous-question concernant l application au diagnostic médical. Les étudiants qui répondent à la question 4b concernant les différences importantes entre les deux approches donnent généralement une version satisfaisante de ces deux points qui figurent au bas de la page 61 et au début de la page 62 du chapitre 7. Après, on demande de faire une représentation graphique, avec H 0 centré sur 500 (écart type 100 et effectif 25, donc erreur standard de 20), H 1 centré sur (par exemple) 540 et de calculer la 4

5 puissance avec un test unilatéral significatif à.05, ce qui se traduit par un seuil de signification de 532,8. Pour ce qui est de la représentation graphique, ça va plus ou moins. Il était important de localiser les abscisses de 500, 532,5 et 540 et de placer le critère vertical en 532,8. Accessoirement (ce n était pas demandé), l indication des probabilités correspondant à ces quatre régions était utile pour répondre à la dernière sous -question sur la puissance. Quant au calcul de la puissance, pratiquement aucun étudiant ne répond. J ai donc coté sur un total de 20 les réponses aux sous-questions précédentes et accordé un bonus de 4 points maximum aux rares étudiants qui répondaient partiellement ou entièrement au calcul de la puissance. Notez, comme je l ai rappelé plus haut, qu il y avait 3 exemples similaires traités pp. 56 à 57 du chapitre 7 + l invitation à en résoudre d autres. Ceci nécessitait de calculer la différence standardisée entre 540 et 532,8. Vous pouvez effectuer ce calcul dans n importe quel sens ma is il faut tenir compte du signe de la note z obtenue et comprendre à quelles surfaces sous la grande et la petite portion de la courbe normale correspondent la puissance et l erreur de 2 ème espèce en transposant cela sur la courbe centrée sur 540. C est ici que la figure est utile parce qu il faut tenir compte du fait qu on peut demander la puissance pour un écart par rapport à 500 qui est inférieur ou supérieur à 532,5 (les deux cas sont traités dans les exemples du cours) et on devrait pouvoir aussi résoudre le problème pour un test unilatéral portant sur des valeurs de H 1 inférieures à 500 (dont aucun exemple ne figure dans les notes). J ai sans doute bien fait d hésiter à vous demander de traiter un tel cas. La morale de cette histoire sur la fin de la question 4 est que, ceci, comme le reste, illustre le fait qu une application mécanique d une formule ou d un calcul, même quand elle est correcte, n indique presque rien sur le degré de compréhension de ce que l on fait. L incapacité d établir un lien entre les explications qui développées dans le texte du cours et les figures correspondantes est patente ici comme ailleurs. Je préfère faire cette remarque ici, avant de commenter brièvement les réponses aux questions 5 et 6 qui reflètent une incompréhension quasi totale de toute la matière du chapitre 8. Commentaires sur les questions 5 et 6. La question 5 demandait de reproduire la procédure illustrée p. 33 qui généralise le test t à la comparaison entre deux moyennes étant elles-mêmes des moyennes de moyennes. A la page 33 on compare une moyenne simple à la moyenne de deux moyennes (parce qu il y a trois conditions). A la question 5, il y avait 5 conditions et on demandait de comparer la moyenne des deux premières moyennes à la moyenne des trois dernières. Il suffit de comprendre la formulation précédente pour comprendre que la somme des coefficients d un contraste doit non seulement valoir 0 mais que ces différents coefficients doivent aussi correspondre à ce qui est exprimé verbalement ci-dessus. Donc, dans l exemple p. 33 on compare une moyenne simple M 1 à une moyenne composite obtenue en faisant la moyenne de M 2 et M 3, c est-à-dire, dans la population 5

6 µ 2 + µ3 2 = 1 2 µ µ3 L hypothèse nulle s écrit donc : H 0 :1.µ 1 = 1 2 µ µ 3 ou H 0 :1.µ 1 ( 1 2 µ µ 3 ) = 0 Donc, les coefficients sont 1, -1/2, -1/2 Vous devriez pouvoir transposer ce raisonnement au cas de la question 5 où on vous demande de comparer la moyenne de deux moyennes à la moyenne des trois autres. L autre élément important de la question est de savoir calculer une estimation de la variance de la population basée sur 5 échantillons d effectifs égaux. Dans ce cas, il suffit de calculer la moyenne des 5 variances et de prendre la racine carrée du résultat pour avoir l estimation de l écart type. Mais attention, vous faites un test de signification. l estimation de l écart type doit donc servir à estimer l erreur standard de la distribution d échantillonnage du contraste. C est ici qu une compréhension minimum de l économie du chapitre 8 aurait dû se manifester. L encadré de la p. 5 résume la procédure d établissement de l intervalle de confiance et le calcul de la valeur critique pour un test de conformité d une moyenne par rapport à une constante (= une moyenne attendue sous l hypothèse nulle). Vos devriez être attentifs à la formule (1) de l estimation de l erreur standard et aussi à la formule (3) du calcul du demi-intervalle de confiance. L encadré de la p. 25 montre un tableau similaire pour l établissement d un intervalle de confiance sur la différence entre deux moyennes et le calcul de la valeur critique d un test de signifcation corresponant (test t pour échantillons indépendants). Vous devriez être attentifs à la transformation de la formule (1) en une forule (1 ) qui est la même que 1 sauf qu elle est multipliée par racine de 2 (vous devriez comprendre pourquoi. Ceci retentit sur la formule (3 ) de calcul du demi-intervalle de confiance dont la valeur est aussi plus grande d un facteur racine de 2. Incidemment, en comprenant ceci, vous auriez dû être capables de répondre à la question 6 (cf. plus bas). Après, il suffisait de généraliser aux cas de plusieurs moyennes issues d échantillons d effectifs égaux pour comprendre que p. 33, la formule d estimation de l erreur standard de la distribution d échantillonnage de la valeur du contraste est la même que la formule 1 pour échantillons 6

7 égaux, sauf qu au lieu de multiplier par racine de 2, il faut multiplier par racine de la somme des carrés des coefficients du contraste. Finalement, on obtient une valeur de t observée basée sur autant de degrés de liberté qu il y a de sujets dans chaque groupe 1 (dont 10 1 = 9) multiplié par le nombre de groupes (5) ce qui donne 45. Question 6 La question disait qu on avait déterminé un intervalle de confiance commun autour de deux moyennes provenant de deux groupes indépendants de 20 participants. On disait que cet intervalle de confiance commun était basé sur la moyenne des deux estimations de variance. Comme les moyennes diffèrent de 50 msec et que la largeur du demi-intervalle de confiance autour de chaque moyenne est de 45 msec, on demande si ceci signifie que la différence entre ces deux moyennes est significative pour un test bilatéral pour alpha =.05. La réponse courte est non car l intervalle de confiance dont il est question est trop court d un facteur racine de 2. Seule une dizaine d étudiants sur 250 répondent correctement à cette question qui a été cotée sous forme d un bonus de 5 points (donc qui ne coûte rien à ceux qui ne répondent pas puisque cette cote n intervient pas dans le total qui est calculé sur 60 points pour tout le monde au lieu de 70 si j avais fait intervenir la cotation sur 10 de cette question). Comme je l ai signalé plus haut, la compréhension du contenu des formules (3) et (3 ) aurait dû vous permettre de répondre à la question. Il y avait aussi toute l explication développée aux pp. 35 à 40 du chapitre 8, en particulier l explication associée à la partie gauche de la figure 8.1 où on voit deux moyennes sortant de groupes indépendants entourées chacune par un intervalle de confiance commun. Remarque. Parfois, je me demande même si tous les étudiants possèdent la fin des chapitres 7 et 8 qui figuraient dans un document déposé à la coopérative en décembre. Or, on s interroge sur le fait de savoir si la différence entre ces deux moyennes est suffisante pour rejeter l hypothèse nulle d égalité. Donc, il ne suffit pas qu une moyenne tombe en dehors de cet intervalle de confiance de l autre pour qu on dise qu il y a une différence significative. Ce qu il faut, c est calculer un intervalle de confiance sur la différence entre moyennes. Or cet intervalle de confiance est plus large d un facteur racine de 2 (puisque calculé par la formule 3 de l encadré p. 27). Cet intervalle est représenté centré sur un triangle à droite de la partie gauche de la figure 8.1 p. 36a). 7