MÉTHODES DE SONDAGES UTILISÉES DANS LES PROGRAMMES D ÉVALUATIONS DES ÉLÈVES

MÉTHODES DE SONDAGES UTILISÉES DANS LES PROGRAMMES D ÉVALUATIONS DES ÉLÈVES Émle Garca, Maron Le Cam et Therry Rocher MENESR-DEPP, bureau de l évaluaton des élèves Cet artcle porte sur les méthodes de sondages utlsées à la DEPP dans le cadre des dspostfs d évaluatons standardsées des acqus des élèves. Chaque année, pluseurs échantllons d élèves sont trés au sort pour passer ces évaluatons. Des problématques classques du domane des sondages se posent, concernant par exemple la défnton du champ, les bases de sondage, les modaltés de trage, etc. qu dovent répondre à certanes contrantes pratques. En outre, dans la mesure où pluseurs échantllons sont trés à partr des mêmes bases, la queston de la coordnaton de leur trage dot être tratée. Dans un premer temps, nous présentons les chox fats en matère de méthode de sondage, à toutes les étapes, du trage des échantllons au redressement de la non-réponse. Dans un second temps, nous condusons pluseurs smulatons qu vsent à montrer l ntérêt d utlser des nformatons auxlares, c est-à-dre dsponbles pour l ensemble des élèves. Ces nformatons peuvent être prses en compte lors du trage, avec les méthodes d équlbrage, ou lors du redressement de la non-réponse, avec les méthodes de calage sur marges. Nous montrons que les stratéges prenant en compte l nformaton auxlare, employées dans les évaluatons natonales menées par la DEPP, amélorent la qualté des estmateurs, en comparason d autres stratéges telles que celles employées dans le cadre des évaluatons nternatonales comme PIRLS ou PISA. En France, chaque année, la drecton de l évaluaton, de la prospectve et de la performance (DEPP) condut des programmes d évaluaton des acqus des élèves [Trosselle et Rocher, dans ce numéro, p. 15]. Il peut s agr d évaluatons natonales comme les évaluatons des compétences du socle commun ou les évaluatons Cedre (Cycle des évaluatons dscplnares réalsées sur échantllons), mas également d évaluatons nternatonales telles que PISA (Programme for Internatonal Student Assessment) ou PIRLS (Progress n Internatonal Readng Lteracy Study). 101

ÉDUCATION & FORMATIONS N 86-87 MAI 2015 Ces évaluatons sont réalsées sur des échantllons composés de pluseurs mllers d élèves, le plus souvent scolarsés sot en fn de CM2, sot en fn de trosème. Le tableau 1 lste les échantllons concernés pour l année 2013-2014 et montre qu au total, près de 80 000 élèves ont été échantllonnés cette année-là. Notre artcle se concentre sur les programmes d évaluatons des élèves, mas notons que la DEPP est amenée à trer des échantllons pour répondre à d autres problématques, par exemple pour l enquête natonale de clmat scolare et de vctmaton [Hubert, 2014]. Tableau 1 Échantllons des programmes d'évaluatons des élèves 2014 Établssements Élèves Prmare Cedre mathématques 290 7 952 Cedre maîtrse de la langue 175 4 532 LSE (lecture sur support électronque) 386 9 932 Socle CE1 compétences 1 et 3 628 20 160 TIMSS CM1 - expérmentaton 40 1 280 Total 1 519 43 856 Secondare Cedre mathématques 323 8 026 Cedre compétences générales et langagères expérmentaton 179 4 551 LSE (lecture sur support électronque) 315 8 070 Socle sxème expérmentaton 391 10 071 PISA expérmentaton 55 2 360 TIMSS Advanced expérmentaton 32 1 821 Total 1 295 34 899 Lecture : en 2014, l échantllon Cedre mathématques au prmare comptat 7 952 élèves réparts dans 290 écoles. L objet de cet artcle est double : descrptf et analytque. Tout d abord, l s agt de présenter les méthodes de sondage utlsées dans le cadre de ces programmes d évaluaton. Les problématques soulevées concernent des aspects très dvers du domane des sondages : défnton des plans de sondage, modaltés de trage, geston du recouvrement des échantllons, redressement de la non-réponse, calcul de précson, etc. Des chox ont été opérés pour chacune de ces étapes, en foncton d un ensemble de contrantes, et font l objet d une descrpton précse dans la premère parte de cet artcle. Dans un second temps, nous analysons dans quelle mesure l échantllonnage peut profter des nformatons dsponbles dans les bases de données de la DEPP, pour tous les élèves scolarsés en France. La prse en compte de cette nformaton, appelée nformaton auxlare, permet en théore d amélorer la qualté du trage ans que du redressement de la non-réponse. L nformaton auxlare peut être utlsée en amont au moment du trage des échantllons (échantllon équlbré) mas auss en aval pour le redressement de la non-réponse (calage sur marges). Les méthodes de sondage applquées dans les évaluatons nternatonales ne font pas appel à de l nformaton auxlare du fat de la trop grande dversté des nformatons dsponbles dans chaque pays. Nous vérfons emprquement l ntérêt de prendre en compte l nformaton auxlare, au moyen de smulatons qu portent sur chacune des étapes du sondage : trage de l échantllon, redressement de la non-réponse, calcul de précson. 102

MÉTHODES DE SONDAGES UITLISÉES DANS LES PROGRAMMES D'ÉVALUATIONS DES ÉLÈVES PLANS DE SONDAGE Pour un échantllon donné, la défnton du plan de sondage découle d un ensemble de contrantes lées aux objectfs de l évaluaton, à la précson recherchée et aux coûts nduts. En outre, les nformatons dsponbles dans les bases de sondage mplquent également certanes contrantes. Champ et exclusons De manère générale, l est possble de dstnguer au mons tros possbltés pour défnr la populaton-cble d une évaluaton : les élèves d un nveau scolare donné (par exemple, Cedre avec les nveaux CM2 et trosème) ; les élèves entrant dans un nveau (par exemple, le panel d élèves entrant en sxème) ; les élèves d un âge donné (par exemple, l évaluaton PISA avec les élèves de 15 ans quel que sot leur nveau scolare). Dans le premer degré, le champ des évaluatons comprend les écoles publques et prvées sous contrat en France métropoltane et DOM, à l excepton du cycle Cedre qu concerne unquement la France métropoltane. Sont toujours exclues du champ les écoles des COM, les écoles prvées hors contrat, les écoles à l étranger, les écoles spécalsées. Enfn, pour des rasons de coût, les écoles de mons de 6 élèves du nveau scolare vsé sont exclues de la base de sondage. En guse d llustraton, en 2014, pour l évaluaton des compétences du socle en CE1, l y avat envron 2 500 écoles qu accuellaent mons de 6 élèves de CE1. Ces écoles représentent près de 7,5 % de l ensemble des écoles, mas elles accuellent mons de 1 % des élèves. Dans le second degré, les établssements publcs et prvés sous contrat en France métropoltane et DOM consttuent le champ. Sont toujours exclus les établssements des COM, les établssements prvés hors contrat, les établssements à l étranger, les EREA (Établssements régonaux d ensegnement adapté). Comme pour le premer degré, les évaluatons Cedre ne vsent que la France métropoltane. En outre, PISA n nterroge n La Réunon n Mayotte, en rason d une dfférence de calendrer scolare. Les bases de sondage La base de sondage est la base de données dans laquelle sont trés les échantllons. Pour les échantllons relevant du second degré, la base de sondage utlsée est la base dte Scolarté construte par la DEPP. C est une base de données ndvduelles et anonymes contenant de nombreuses nformatons sur les élèves scolarsés une année scolare donnée (date de nassance, professon et catégore socoprofessonnelle des parents, etc.). Nous dsposons également d nformatons sur les établssements scolares (le secteur d ensegnement, par exemple). Ces nformatons, qualfées de varables auxlares, peuvent être utlsées au moment du trage des échantllons, pour défnr les varables de stratfcaton. Dans le premer degré, le système d nformaton est nettement mons développé et les plans de sondage s appuent sur des données qu concernent les écoles, pas les élèves. 103

ÉDUCATION & FORMATIONS N 86-87 MAI 2015 Modaltés de trage Très majortarement, les plans de sondage sont à deux degrés : un premer degré qu concerne le trage d établssements scolares ou de classes ; un second degré qu concerne le trage des élèves eux-mêmes. Ce type de sondage est soums à ce qu on appelle des effets de grappe : concrètement, les élèves d un même établssement ou d une même classe ont tendance à avor des caractérstques communes. Ans, la varablté totale va dépendre de la varablté entre établssements ou entre classes et mons de la varablté entre élèves. Ce phénomène a une conséquence drecte : à effectf égal, un sondage par grappe est mons précs qu un sondage aléatore smple qu vse à trer drectement les élèves dans une lste. Pour le prmare, les écoles sont sélectonnées pus tous les élèves du nveau scolare vsé sont évalués. Il s agt donc d un sondage par grappe. Le nombre d élèves d un nveau s élève en moyenne à 25 et ne dépasse que rarement 40 élèves, ce qu lmte les effets de grappe. Pour le secondare, deux optons sont consdérées : sot un sondage par grappe en sélectonnant un échantllon de classes et où tous les élèves des classes trées au sort partcpent à l évaluaton ; sot un premer degré qu concerne les établssements pus un second degré où un nombre d élèves fxe dans chaque établssement est sélectonné 1. Les programmes natonaux suvent la premère opton tands que l évaluaton PISA sut la seconde [OCDE, 2012]. Le chox de sondages par grappe est motvé par la faclté de geston. En effet, le fat de sélectonner tous les élèves d un nveau scolare donné au prmare ou tous les élèves d une classe au collège permet d évter de mettre en place des procédures de trage au sort d élèves une fos les établssements trés. Comme la DEPP ne dspose pas de la lste nomnatve des élèves, et pour être certan que le trage au sort sot respecté dans les établssements, dans le cadre de PISA, les établssements sélectonnés envoent à la DEPP la lste des élèves de 15 ans, à charge pour la DEPP de sélectonner un nombre fxe d élèves parm eux. Stratfcaton et chox de l allocaton De manère générale, les échantllons sont stratfés avec une allocaton proportonnelle à la répartton selon la zone de scolarsaton, à savor : publc hors éducaton prortare ; éducaton prortare ; prvé. Cela sgnfe que le trage de l échantllon est réalsé de manère à respecter la répartton des élèves selon la zone de scolarsaton de l établssement scolare, telle qu observée sur l ensemble de la populaton-cble. Le nombre d établssements (ou de classes) alloués à chaque zone est ans détermné selon ce prncpe. Pour les évaluatons des compétences du socle commun, qu almentent les ndcateurs de résultats de la LOLF, un ndcateur est demandé pour chacune des quatre strates suvantes : publc hors éducaton prortare ; réseau de réusste scolare (RRS) ; écoles, collèges et lycées pour l ambton, l nnovaton et la réusste (Éclar) ; 1. Dans ce second cas, les établssements sont trés au sort proportonnellement à leur talle (nombre d élèves). En effet, une fos que les établssements sont échantllonnés, un nombre fxe d élèves est alors sélectonné quel que sot l établssement. Par conséquent, les élèves des grands établssements ont mons de chance d être trés au sort que les élèves des petts établssements. Le trage proportonnel à la talle permet ans de rétablr l égalté des probabltés de trage. 104

MÉTHODES DE SONDAGES UITLISÉES DANS LES PROGRAMMES D'ÉVALUATIONS DES ÉLÈVES prvé. Pour ces évaluatons, les strates de l éducaton prortare vont donc être «sur-représentées» afn de garantr une précson suffsante de nos estmateurs. Par exemple, les élèves des écoles Éclar peuvent représenter envron un quart des élèves de l échantllon, alors qu ls représentent en réalté envron 5 % de l ensemble des élèves. Le nombre d élèves sélectonnés est établ en foncton du coût de l évaluaton et du degré de précson attendu. Par exemple, dans le cadre des ndcateurs de la LOLF, une précson de 2 ponts de pourcentage est demandée concernant la proporton d élèves maîtrsant les compétences du socle commun. L élaboraton du plan de sondage est préparée en foncton de cette attente. TIRAGE DES ÉCHANTILLONS De manère classque, on note U la populaton vsée par une évaluaton donnée, Y la varable d ntérêt (typquement le score à l évaluaton, ou ben une ndcatrce de dffculté), X une varable auxlare, c est-à-dre connue pour l ensemble des élèves de la populaton U. Un échantllon S d élèves est sélectonné dans la populaton U. Chaque élève a la probablté π d être sélectonné dans l échantllon S (probablté d ncluson). Enfn, les pods de sondages, défns comme les nverses des probabltés d ncluson π, sont notés d. Trage équlbré Un échantllon équlbré est un échantllon qu est représentatf de la populaton au regard de certanes varables auxlares. Cela sgnfe que dans un échantllon équlbré, l estmateur du total d une varable auxlare X sera exactement égal au vra total de la varable X dans la populaton. Cette proprété s écrt 2 : X = X (1) Sπ U Les échantllons équlbrés ont donc comme proprété de fournr une photographe parfate de la populaton, au regard des varables auxlares connues, ce que ne garantt pas une procédure aléatore smple d échantllonnage. En théore, ls permettent également d amélorer la précson des estmateurs s l exste un len entre la varable d ntérêt et les varables auxlares. Le trage équlbré est réalsé grâce au programme CUBE développé par l Insee et ms à dsposton sous forme de macros SAS. La documentaton complète est dsponble sur le ste Internet de l Insee [Rousseau et Tardeu, 2004]. L algorthme CUBE permet de chosr de manère aléatore un échantllon parm tous les échantllons possbles 2. Le terme de gauche de l équaton (1) représente l estmateur du total, dt estmateur de Hortz-Thompson. En outre, l ndce peut représenter c auss ben les élèves que les établssements ou les classes, en consdérant les sous-totaux par untés comme varables auxlares. 105

ÉDUCATION & FORMATIONS N 86-87 MAI 2015 respectant les contrantes reposant sur les varables auxlares. Il se déroule en deux phases : une «phase de vol» et une «phase d atterrssage». Durant la phase de vol, toutes les contrantes sont respectées. Elle se termne s un échantllon équlbré de manère parfate est trouvé ou s l n est pas possble de trouver un échantllon en respectant toutes les contrantes. S la phase de vol n a pas about à un échantllon, la phase d atterrssage débute. Elle consste au relâchement des contrantes et au chox optmal de l échantllon selon le crtère chos par l utlsateur (ordre de prorté sur les contrantes, relâchement de la contrante avec un coût mnmal sur l équlbrage ou garante d un échantllon de talle fxe). Afn de condure un trage équlbré, l est nécessare de dsposer d nformatons auxlares pour l ensemble des élèves. Concernant les évaluatons réalsées à l école prmare, comme nous l avons sgnalé précédemment, les bases de sondage contennent très peu d nformatons. C est pourquo les échantllons sont smplement stratfés selon la zone de scolarsaton de l école, mas ls ne sont pas équlbrés sur d autres varables. En revanche, dans le secondare, de nombreuses nformatons sont dsponbles. Nous réalsons un trage équlbré des établssements (ou des classes) selon les varables suvantes : l effectf : le nombre total d élèves du nveau vsé dans la populaton (typquement, les élèves de trosème) ; l ndce de poston socale, qu consste en une transformaton de la PCS des parents des élèves, tel que défn par Le Donné et Rocher [2010] : la somme de cet ndce par établssements (ou par classes) est retenue comme varable d équlbrage ; le retard scolare : le nombre d élèves en retard du nveau vsé ; le sexe : le nombre de flles du nveau vsé. Non-recouvrement entre les échantllons Chaque année, pluseurs programmes d évaluaton étant conduts au même moment, certans établssements peuvent être échantllonnés pour partcper à pluseurs évaluatons. Afn d alléger la charge de traval des établssements, et pour assurer un taux de retour maxmal, une procédure de non-recouvrement des échantllons est employée. Au moment du trage d un échantllon, les écoles ou les collèges dont une classe a déjà été sélectonnée pour une autre évaluaton la même année sont exclus de la base de sondage. Les probabltés d ncluson dovent donc être recalculées pour tenr compte de ces exclusons tout en gardant une représentatvté natonale. En outre, l convent d adapter la procédure de trage équlbré à cette contrante de non-recouvrement. L encadré précse la méthode retenue pour corrger les probabltés de sélecton. REDRESSEMENT DE LA NON-RÉPONSE : CALAGE SUR MARGES Comme toute enquête réalsée par sondage, les évaluatons des élèves sont exposées à la non-réponse. Cependant, les taux de partcpaton sont généralement très satsfasants. Par exemple, pour l évaluaton Cedre hstore-géographe au collège, 96,5 % des établssements ont partcpé, et au fnal le taux de réponse des élèves s est élevé à 90 %. 106

MÉTHODES DE SONDAGES UITLISÉES DANS LES PROGRAMMES D'ÉVALUATIONS DES ÉLÈVES TIRAGE ÉQUILIBRÉ APRÈS ÉLIMINATION DE LA BASE DES ÉCHANTILLONS PRÉCÉDEMMENT TIRÉS La stuaton est la suvante : un échantllon d établssements a été sélectonné pour partcper à une évaluaton ; un deuxème échantllon dot être tré pour une autre évaluaton. Nous souhatons évter que des établssements soent nterrogés deux fos. Il s agt donc de gérer le non-recouvrement entre les échantllons et d assurer également un trage équlbré du deuxème échantllon. Nous nous concentrons c sur le non-recouvrement des échantllons, mas notons qu une approche plus générale ncluant un taux de recouvrement non nul (pour permettre des analyses crosées entre enquêtes) est en cours de développement avec une applcaton à des données ssues d évaluatons standardsées [Chrstne et Rocher, 2012]. Formulaton du problème et notatons Un échantllon S 1 a été tré. Il est connu et les probabltés d'ncluson des établssements π 1 j sont également connues. On souhate alors trer un échantllon S 2 dans 2 la populaton U avec les probabltés π j, mas sans aucun recouvrement avec l échantllon S 1. On va donc trer l échantllon S 2 dans la populaton U( S 1), c est-à-dre la populaton U prvée des établssements de l échantllon S 1 qu appartennent à U. Notons d emblée que S 1 n a pas nécessarement été tré dans U, mas potentellement dans une autre populaton, plus large ou plus rédute ; cela n affecte en ren la formulaton envsagée c. Notons également que l ndce j est utlsé c : l concerne les établssements et non les élèves, représentés par l ndce. Il s agt donc de procéder à un trage condtonnel. 2/S On note π 1 j les probabltés d ncluson condtonnelles des établssements dans le second échantllon S 2, sachant que le premer échantllon est connu. Ces probabltés condtonnelles peuvent s écrre : 2/ S1 λ j s j S1 π j =, avec λ j [0,1] 0 s j S1 2 2 2/ S π On a 1 1 j π j = E( π j ) = λj(1 π j), d où : λ j = 1 1 π j Équlbrage On souhate mantenant que l échantllon S 2 sot équlbré selon certanes varables (nombre d élèves en retard, etc.). Sot X une varable d équlbrage, la condton s écrt : j S2 X = π j 2 j Pour arrver à ce résultat, le prncpe est de trer S 2 dans U( S 1) avec les probabltés d ncluson λ j et avec une condton d équlbrage sur la varable X j / (1 π j). 1 Ans, on aura : X j X j X j = 2 1 1 π = j λj(1 π j) (1 π ) j S2 j S2 j U( S1) j Or, en espérance, on a : j U X j X j E E I = 1 1 j S = X 1 (1 π ) (1 ) j U( S1 ) j π j U j j U La condton d équlbrage ntale est donc remple. Condton fondamentale Comme l s agt d une probablté, la condton fondamentale est que λ j [0,1]. 2 π j Comme λ j =, la condton est en fat que : 1 1 π j 1 2 π j + π j 1 Dans certans cas, par exemple, des strates souvent sur-représentées comme les établssements stués dans des zones spécfques concernant peu d élèves (ex. : Éclar), cette condton pourrat ne pas être satsfate. Cependant, de façon concrète, la condton a toujours été respectée dans les plans de sondage réalsés. X j j 107

ÉDUCATION & FORMATIONS N 86-87 MAI 2015 Ben que ces taux de retour soent élevés, l est nécessare de tenr compte de la non-réponse dans les estmatons, car celle-c n est pas purement aléatore (par exemple, la non-réponse est plus élevée chez les élèves «en retard»). Afn de la prendre en compte, un calage sur marges est effectué à l ade de la macro CALMAR, également dsponble sur le ste Internet de l Insee. La méthode de calage sur marges consste à modfer les pods de sondage d des répondants de manère à ce que l échantllon ans repondéré sot représentatf de certanes varables auxlares dont on connaît les totaux sur la populaton [Sautory, 1993]. C est une méthode qu permet de corrger la non-réponse, mas également d amélorer la précson des estmateurs. En outre, elle a pour avantage de rendre cohérents les résultats observés sur l échantllon pour ce qu concerne des nformatons connues sur l ensemble de la populaton. Les nouveaux pods w, calculés sur l échantllon des répondants S ', vérfent l équaton suvante pour les K varables auxlares sur lesquelles porte le calage : (2) k k= 1... K, wx = X S k U w Ils sont obtenus par mnmsaton de l expresson dg ( ) où G désgne une S d foncton de dstance, sous les contrantes défnes dans l équaton (2). Pour le redressement de la non-réponse, seules les marges des varables sont nécessares, c est-à-dre leur somme sur l ensemble de la populaton. À l école comme au collège, les varables auxlares de calage utlsées sont : le nombre total d élèves du nveau vsé dans la populaton ; le nombre d élèves du nveau vsé en retard dans la populaton ; le nombre de garçons du nveau vsé dans la populaton. Au collège, le nombre d élèves de classe socale défavorsée est également ntrodut. CALCUL DE PRÉCISION Les résultats des évaluatons sont soums à une varablté qu dépend notamment des erreurs d échantllonnage. Il est possble d estmer statstquement ces erreurs d échantllonnage et de produre des ntervalles de confance sur les dfférents estmateurs calculés. On note Y la varable d ntérêt (typquement le score obtenu à une évaluaton) et Ŷ l estmateur de la moyenne de Y, qu consttue un estmateur essentel sur lequel nous nsstons dans la sute, ben que d autres soent également au centre des analyses, comme ceux concernant la dsperson. La méthode retenue est cependant applcable à dfférents types d estmateurs. ˆ Nous souhatons estmer la varance de cet estmateur, c est-à-dre VY ( ). En absence ˆ de formule théorque pour calculer VY ( ), l exste pluseurs procédures permettant ˆ de l estmer, c est-à-dre de calculer VY ˆ( ), l estmateur de la varance d échantllonnage. Il peut s agr de méthodes de lnéarsaton des formules (Taylor) ou ben de méthodes emprques (méthodes de réplcaton, jackknfe, etc.). Ces méthodes sont ben décrtes dans la lttérature. Le lecteur est nvté à consulter Tllé [2001] ou Ardlly [2006]. 108

MÉTHODES DE SONDAGES UITLISÉES DANS LES PROGRAMMES D'ÉVALUATIONS DES ÉLÈVES Cependant, lorsqu un calage sur marges a été effectué, l faut en tenr compte pour le calcul de la précson. Dans ce cas, la varance de Ŷ est asymptotquement équvalente à la varance des résdus de la régresson de la varable d ntérêt sur les varables de calage [Devlle et Särndal, 1992]. En pratque, pour estmer la varance d échantllonnage de Ŷ, tenant compte du calage effectué, l convent alors d applquer la procédure suvante : 1 On effectue la régresson lnéare de la varable d ntérêt sur les varables de calage, en pondérant par les pods ntaux. Les résdus e de cette régresson sont calculés. 2 Les valeurs ge sont calculées, où g représente le rapport entre les pods w CALMAR ( w ) et les pods ntaux ( d ) : g =. d 3 La varance d échantllonnage de Ŷ est alors obtenue en calculant la varance d échantllonnage de ge. LES AVANTAGES DE L UTILISATION DE L INFORMATION AUXILIAIRE : TROIS SIMULATIONS Comme nous l avons vu en premère parte, dans le second degré, la DEPP dspose de bases de sondage avec de l nformaton dsponble sur l ensemble de la populaton. L nformaton auxlare est utlsée à chaque étape, du trage des échantllons au calcul de précson. Cette approche est assez spécfque aux programmes natonaux d évaluaton. En effet, les évaluatons nternatonales, telles que PISA, empruntent une autre voe, qu n utlse que très peu l nformaton auxlare. Les responsables de ces enquêtes avancent que la dsponblté d nformatons auxlares est très varable selon les pays et que les varables elles-mêmes sont dfférentes selon les pays, ce qu nécessterat une nvestgaton coûteuse pour défnr les méthodes, car personnalsée pour chaque pays. Dans cette parte, nous souhatons cependant montrer l ntérêt de recourr à l nformaton auxlare, ans que cela est fat dans les programmes natonaux d évaluaton. Tros smulatons sont présentées : la premère concerne le trage équlbré des échantllons, la seconde le redressement de la non-réponse va un calage sur marges et la trosème le calcul de précson. Ces smulatons sont menées de manère à évaluer les deux types de procédures : celle utlsée dans les évaluatons nternatonales (trage non équlbré, redressement par ajustement, calcul smple de précson) et celle utlsée dans les programmes natonaux tels que Cedre (trage équlbré, redressement par calage sur marges, calcul de précson tenant compte du calage). Ans, les smulatons ne sont pas envsagées de manère ndépendante, mas dans l optque d une comparason globale des deux approches. Les smulatons ont été réalsées sur la base exhaustve des notes obtenues à l examen termnal du brevet en 2009 en mathématques, franças et hstore-géographe. Dans cette base, nous dsposons auss des caractérstques des élèves 109

ÉDUCATION & FORMATIONS N 86-87 MAI 2015 (sexe, année de nassance, PCS des parents) et des établssements. Ces nformatons servront de varables auxlares. Les notes fournssent un proxy ntéressant par rapport aux scores obtenus aux évaluatons, car portant sur des objets proches en prncpe. Nous estmons ans qu en matère de sondage, les deux formes d évaluaton scores aux évaluatons et notes à l examen devraent condure aux mêmes types de concluson. Pour nos smulatons, les varables d ntérêt sont donc les notes à l examen, à défaut des scores obtenus aux évaluatons standardsées. Smulaton 1 : mpact du trage équlbré Pour montrer les avantages de l utlsaton de l nformaton auxlare lors du trage des échantllons, nous avons comparé quatre stratéges d échantllonnage : 1 sondage à probabltés proportonnelles à la talle sur les établssements, pus trage aléatore smple de 30 élèves dans chacun des établssements ; 2 sondage à probabltés proportonnelles à la talle et équlbré des établssements, pus trage aléatore smple de 30 élèves dans chacun des établssements ; 3 trage aléatore smple de classes, pus tous les élèves des classes trées au sort partcpent à l évaluaton ; 4 trage équlbré de classes, pus tous les élèves des classes trées au sort partcpent à l évaluaton. Le premer plan de sondage est celu utlsé pour PISA tands que le derner est celu utlsé à la DEPP. Les plans 2 et 4 sont les versons équlbrées des plans 1 et 3. Tous les échantllons sont stratfés selon le secteur d ensegnement : publc hors éducaton prortare, RAR (réseaux ambton réusste), RRS (réseaux de réusste scolare) et prvé. Dans chacune des quatre strates, 2 000 élèves sont sélectonnés. En effet, l est souvent demandé un ndcateur pour chacune de ces strates. Les varables d ntérêt sont les notes au brevet obtenues en franças, en mathématques et en hstore-géographe ; les paramètres d ntérêt sont les moyennes et les pourcentages d élèves obtenant une note nféreure à un certan seul. Pour les plans de sondage 2 et 4, les varables auxlares utlsées pour l équlbrage sont : le sexe ; le fat d être en retard ; l ndce socal moyen de l établssement (en quatre groupes selon les quartles). Pour chaque plan de sondage, 1 000 échantllons ont été trés. Pour chaque échantllon s on calcule la moyenne des notes y s, ensute on calcule la moyenne des y s ans que l écart-type des y s qu correspond à l erreur standard, c est-à-dre à la racne carrée de la varance d échantllonnage. Le tableau 2 présente les notes moyennes estmées pour chacun des plans de sondage et les compare avec la note moyenne réelle de l ensemble de la populaton. Pour chaque smulaton, on retrouve la note moyenne observée dans la populaton. Dans le cadre des plans de sondage employés, la moyenne smple sur l échantllon est en effet un estmateur sans bas de la moyenne sur la populaton. On observe de légers écarts (à la deuxème décmale) pour les proportons d élèves ayant obtenu une note nféreure à un certan seul. S les bas sont très fables, vore nuls, la précson est varable selon les plans de sondage consdérés. Ans, comme le montre la fgure 1, l erreur standard est plus 110

MÉTHODES DE SONDAGES UITLISÉES DANS LES PROGRAMMES D'ÉVALUATIONS DES ÉLÈVES Tableau 2 Smulaton 1 notes moyennes selon les plans de sondage Populaton Plans de sondage 1 2 3 4 Franças 11,41 11,41 11,41 11,42 11,41 Mathématques 9,68 9,68 9,68 9,68 9,68 Hstore-géographe 10,74 10,74 10,74 10,74 10,74 Franças < 8 (en %) 13,82 13,82 13,85 13,80 13,82 Mathématques < 6 (en %) 21,49 21,52 21,52 21,51 21,48 Hstore-géographe < 8 (en %) 20,46 20,45 20,50 20,42 20,44 Lecture : la note moyenne des élèves en franças est de 11,41 sur l ensemble de la populaton. La moyenne des 1 000 estmatons de la note moyenne en franças pour le plan de sondage 1 est auss de 11,41. Le pourcentage d élèves ayant une note de franças nféreure à 8 est au total de 13,82 % ; les quatre plans de sondage donnent des valeurs proches en moyenne. Fgure 1 Smulaton 1 erreurs standard selon les plans de sondage 0,16 0,15 0,14 Franças Mathématques Hstore-géographe Erreur standard 0,13 0,12 0,11 0,10 0,09 0,08 0,07 0,06 1 2 3 4 Plan de sondage Lecture : en mathématques, l erreur standard de la note est d envron 0,12 pour le premer plan de sondage et elle est nféreure à 0,11 pour le deuxème. fable dans le cas d un sondage équlbré (plans 2 et 4). Dès lors que l on utlse de l nformaton auxlare pour réalser un trage équlbré, la précson est nettement amélorée. Ans, l apparaît que l enquête PISA gagnerat à adopter une démarche de trage équlbré (plan 2 par rapport au plan 1 de PISA). Ce constat est encore plus marqué dans le cas où le trage au premer degré concerne des classes et pas des établssements : le fat d échantllonner des classes au leu d établssements dégrade la précson, en l absence de trage équlbré (plan 3 en comparason du plan 1). Ce phénomène est à reler au fat que l effet de grappe est plus mportant avec un trage de classes qu avec un trage d établssements pus d élèves. En revanche, dès lors que l on utlse l nformaton auxlare dsponble, le mode de trage (établssements ou classes) condut à des résultats comparables du pont de vue de la précson (plans 2 et 4). Ce pont est mportant pour les aspects logstques gérés par la DEPP qu sont mons coûteux dans le cadre d un trage de classes entères plutôt que d un trage d établssements pus d élèves. 111

ÉDUCATION & FORMATIONS N 86-87 MAI 2015 Smulaton 2 : mpact du calage sur marge Dans cette parte, au-delà du chox de trage des échantllons, nous comparons également deux stratéges de repondératon en présence de non-réponse. La premère, utlsée dans le cadre des évaluatons nternatonales, est basée sur des coeffcents d ajustement concernant les établssements et les élèves, de manère à ce que les répondants représentent les non-répondants. La seconde approche, utlsée à la DEPP, emploe une procédure de calage sur marges qu consste à modfer les pods de sondage des élèves de manère à ce que l échantllon sot représentatf de la populaton au regard de certanes varables auxlares choses. Plus précsément, concernant la premère approche, nous avons reprs la démarche suve dans les évaluatons nternatonales PIRLS [Martn, Mulls, Kennedy, 2007] ou PISA [OCDE, 2012], et également applquée sur les premères évaluatons du cycle Cedre. Il s agt d applquer aux pods de sondage des coeffcents d ajustement. Pour un élève d un l établssement j, nous défnssons les nouveaux pods de la manère suvante 3 : 1 wj = f1j f2jd2jd1j (3) avec : d 1 j le pods de sondage ntal de l établssement j ; d 2j le pods de sondage ntal de l élève au sen de l établssement j ; f 1 j le coeffcent d ajustement pour la non-réponse des établssements (rapport entre le nombre d établssements de la strate échantllonnés au départ et le nombre d établssements répondants de la strate) ; f 2j le coeffcent d ajustement de la non-réponse des élèves au sen des établssements répondants (rapport entre le nombre d élèves échantllonnés de l établssement et le nombre d élèves répondants), dstngué selon le sexe. La deuxème approche repose sur un calage sur marges selon les totaux des dstrbutons suvantes : le nombre d élèves dans chaque strate ; la répartton par sexe dans la populaton ; le nombre d élèves en retard dans la populaton ; le nombre d élèves dans chaque quartle de la populaton découpée grâce à l ndce socal. Afn de comparer ces deux stratéges dans le cadre d une nouvelle smulaton, nous utlsons la même base de sondage que pour la smulaton 1. Notre smulaton procède selon les étapes suvantes : 1 trage d un échantllon ; 2 génératon de non-réponse ; 3 repondératon des élèves répondants. Concernant le trage des échantllons, nous avons reprs deux plans de sondage utlsés précédemment. Le premer, celu de PISA, est un sondage proportonnel à la talle des établssements pus une sélecton aléatore de 30 élèves dans chacun des établssements (plan de sondage 1 de la smulaton précédente). Le second plan de 3. C est une verson smplfée de ce qu est fat dans PIRLS et PISA où les coeffcents d ajustement sont plus nombreux, mas la démarche est smlare. 112

MÉTHODES DE SONDAGES UITLISÉES DANS LES PROGRAMMES D'ÉVALUATIONS DES ÉLÈVES sondage est un échantllon équlbré sur les établssements pus sélecton de 30 élèves dans chacun des établssements (plan de sondage 2 de la smulaton précédente). Nous n avons pas retenu le plan de sondage 4 utlsé à la DEPP car l est fondé sur un échantllon de classes et non d établssements. Ans, les modaltés de modélsaton de la non-réponse n auraent pas été comparables. En outre, nous avons pu observer que les plans de sondage 2 et 4 étaent assez proches en termes de précson. Au fnal, les résultats de la smulaton 2 nous rensegneront sur l mpact de la procédure de repondératon mas dans deux cadres de trage dfférents, l un équlbré et l autre pas. Cette smulaton nous permet ans de nous prononcer sur une démarche globale ntégrant le trage et la repondératon. S agssant de la génératon de non-réponse, nous avons au préalable modélsé la non-réponse, sachant qu elle comporte deux types : celle des établssements scolares échantllonnés et celle des élèves au sen des établssements répondants. Ces non-réponses ont été modélsées à l ade de régressons logstques applquées à des données réelles de programmes d évaluaton. Pour caractérser la non-réponse des établssements, nous avons utlsé l évaluaton Cedre compétences générales de 2009 en fn de trosème. Pour cette évaluaton, les établssements qu n ont pas répondu sont connus, en partculer nous dsposons pour chacun d entre eux de la note moyenne au brevet et de l ndce moyen de poston soco-scolare. Le modèle retenu prédt la non-réponse des établssements en foncton de ces deux varables. Pour caractérser la non-réponse des élèves au sen des établssements répondants, nous avons dû utlser une autre opératon : l évaluaton Cedre hstore-géographe de 2012 en fn de trosème. Pour cette évaluaton, nous dsposons d nformatons sur les élèves non-répondants, en partculer le sexe, le retard scolare et l orgne socale. La seule varable sgnfcatve du modèle explcatf de la non-réponse est le retard scolare, varable retenue pour la génératon de non-réponse des élèves, qu a conssté à trer au sort des élèves non-répondants, en dstnguant les élèves, «en retard» des élèves «à l heure». Pour chaque stratége de repondératon, 1 000 échantllons ont été trés. La premère stratége est envsagée à partr du premer plan de sondage (PISA) et la seconde stratége est applquée au deuxème plan de sondage (PISA équlbré). Pour chaque échantllon de chaque stratége, on calcule la moyenne des notes aux épreuves fnales du brevet. Au fnal, le tableau 3 p. 114 présente la moyenne de ces moyennes. Il ressort que la premère stratége, fondée sur les coeffcents d ajustement, apparaît légèrement basée, surtout pour les fractles, c est-à-dre les ndcateurs concernant le pourcentage d élèves en-deçà d un certan seul de note. Au-delà du bas, nous avons également étudé la précson respectve de ces deux stratéges. Nous avons ans calculé l écart-type des 1 000 moyennes des échantllons smulés, c est-à-dre l erreur standard de la note moyenne. Il ressort que l erreur standard est plus fable dans le cas d un sondage équlbré et d un redressement de la non-réponse avec un calage sur marges Fgure 2 p. 114. Notons que la stratége 2 condut à des nveaux de précson comparables à ceux observés dans le cas de sondages équlbrés sans non-réponse (plans 2 et 4 de la fgure 1). La stratége 2 corrge donc la non-réponse de manère très satsfasante tands que la stratége 1 est mons effcace. 113

ÉDUCATION & FORMATIONS N 86-87 MAI 2015 Tableau 3 Smulaton 2 moyennes après repondératon Notes Populaton Stratéges 1 2 Franças 11,41 11,44 11,41 Mathématques 9,68 9,78 9,70 Hstore-géographe 10,74 10,79 10,75 Franças < 8 (en %) 13,82 13,54 13,84 Mathématques < 6 (en %) 21,49 20,77 21,42 Hstore-géographe < 8 (en %) 20,46 20,02 20,45 Lecture : la note moyenne des élèves en franças est de 11,4. La moyenne des 1 000 estmatons de la note moyenne en franças pour la stratége 1 est de 11,44. Fgure 2 Smulaton 2 erreurs standard selon la stratége de repondératon 0,13 0,12 Franças Mathématques Hstore-géographe Erreur standard 0,11 0,10 0,09 0,08 0,07 0,06 1 2 Stratége de repondératon Lecture : en mathématques, l erreur standard de la note est d envron 0,12 pour la premère stratége de repondératon et elle est supéreure à 0,10 pour la seconde. Ces écarts peuvent s explquer par le fat que dans le cadre de la premère stratége, le calcul des coeffcents d ajustement repose sur l hypothèse que les répondants et les non-répondants sont «smlares», s agssant des élèves au sen d un établssement, ou des établssements au sen d une strate. Cette hypothèse a pu ndure un bas dans l estmaton, dans la mesure où certanes varables ndvduelles, comme le retard scolare, explquent la non-réponse, quels que soent les établssements. Quo qu l en sot, la comparason des résultats de la smulaton 1 avec ceux de la smulaton 2 condut à soulgner l mportance du redressement de la non-réponse. En effet, la stratége 2 donne des nveaux de précson du même ordre que ceux du plan 2 de la smulaton 1, ce qu montre que le calage sur marges corrge parfatement la non-réponse. En revanche, la méthode de redressement de la stratége 1 est mons effcace et condut à des nveaux de précson mons élevés. 114

MÉTHODES DE SONDAGES UITLISÉES DANS LES PROGRAMMES D'ÉVALUATIONS DES ÉLÈVES Smulaton 3 : mpact de l utlsaton de l nformaton auxlare sur le calcul de la précson Dans cette dernère secton, nous nous ntéressons aux procédures de calcul de précson. En effet, la publcaton des résultats des évaluatons standardsées est accompagnée d une estmaton des erreurs lées à l échantllonnage. Plus précsément, nous calculons l erreur standard sot la racne carrée de la varance d échantllonnage des dfférents paramètres d ntérêt, tels que le score moyen. De nombreuses méthodes de calcul exstent. Dans le cadre des évaluatons standardsées, les méthodes employées sont de nature emprque, car l peut être délcat de détermner la formule théorque de l erreur standard, au vu des plans de sondage et des redressements effectués. Nous avons condut une smulaton de manère à détermner quelle état la melleure méthode pour effectuer les calculs de précson pour chacune des deux stratéges de repondératon présentées précédemment. Dans le cadre de la smulaton 2, pour chacun des 1 000 échantllons de chaque stratége de repondératon, nous avons utlsé la procédure Surveymeans de SAS pour calculer la précson des estmateurs 4. Comme nous l avons vu dans la secton précédente, lorsqu un calage sur marges a été effectué, l faut en tenr compte dans le calcul de la précson. Nous avons alors, pour chacune des deux méthodes, calculé la moyenne des 1 000 valeurs obtenues pour estmer l espérance de l erreur-standard en foncton de la méthode retenue. Par alleurs, nous consdérons que, pour une varable donnée, l erreur standard «vrae» peut être approchée par l écart-type de la dstrbuton des 1 000 estmateurs obtenus par smulatons. Le tableau 4 montre que, dans le cas de la premère stratége, le calcul de précson condut à surestmer l erreur standard, en partculer pour les fractles. En revanche, dans le cadre de la deuxème stratége procédant par calage sur marges, l emplo de la procédure reposant sur les ge présentés dans la parte précédente, permet d aboutr à des estmatons correctes de la précson, avec cependant là encore de légers bas subsstant en ce qu concerne les fractles Tableau 5. Des nvestgatons supplémentares mérteraent d être condutes afn d dentfer les rasons des bas d estmaton observés selon la stratége 1 (tableau 4). Une explcaton pourrat Tableau 4 Stratége 1 : précson pour un sondage à allocaton proportonnelle à la talle et un redressement de la non-réponse avec des coeffcents d ajustement Erreur standard Estmaton Franças 0,08 0,09 Mathématques 0,12 0,14 Hstore-géographe 0,09 0,10 Franças < 8 0,73 0,83 Mathématques < 6 0,94 1,07 Hstore-géographe < 8 0,87 0,96 Lecture : l erreur standard de la note moyenne en franças est de 0,08 (.e. l écart-type de la dstrbuton des 1 000 notes moyennes obtenues). La moyenne des 1 000 estmatons de la précson de la note moyenne en franças est de 0,09. 4. Nous avons utlsé deux méthodes, l une emprque (Jackknfe), l autre par lnéarsaton des formules de varance (Taylor). Elles donnent des résultats quas-dentques, nous reprodusons c la méthode emprque (Jackknfe). 115

ÉDUCATION & FORMATIONS N 86-87 MAI 2015 Tableau 5 Stratége 2 : précson pour un trage équlbré et un redressement de la non-réponse avec un calage sur marges Erreur standard Estmaton Franças 0,07 0,07 Mathématques 0,10 0,11 Hstore-géographe 0,08 0,08 Franças < 8 0,70 0,72 Mathématques < 6 0,89 0,93 Hstore-géographe < 8 0,83 0,85 Lecture : l erreur standard de la note moyenne en franças est de 0,07. La moyenne des 1 000 estmatons de la précson de la note moyenne en franças est de 0,07. être avancée en observant que le redressement effectué avec les coeffcents d ajustement consste en une forme de correcton comparable à un «calage» (sur le sexe et la varable de stratfcaton), correcton qu n est pas prse en compte explctement dans le calcul de précson. CONCLUSION Pluseurs types de questons se posent au moment du trage d un échantllon et les chox sont toujours contrants. Concernant les évaluatons, une des premères contrantes porte sur les bases de sondage dsponbles. Pour le second degré, en France, elles sont relatvement rches et elles permettent d utlser l nformaton auxlare pour le trage de l échantllon et pour le redressement de la non-réponse. Ce n est malheureusement pas le cas pour les évaluatons réalsées dans le premer degré, car les bases de données sont très lmtées. Or, les smulatons montrent que l utlsaton de l nformaton auxlare, quand elle est pertnente, permet d amélorer la précson des estmateurs. Lorsque des contrantes pratques dégradent la précson, comme le fat de sélectonner des classes plutôt que des établssements pour les évaluatons natonales, les smulatons montrent que l utlsaton de l nformaton auxlare dans ce cas permet de ne pas perdre en précson. Ces résultats dovent nterroger les pratques des évaluatons nternatonales qu moblsent très peu l nformaton auxlare, avec l argument de la standardsaton, c est-à-dre de la même procédure applquée dans tous les pays, même s certans pays dsposent de nombreuses nformatons susceptbles d amélorer la qualté des échantllons. Or, des procédures dfférentes selon les pays pourraent être étudées sans que cela nuse à la comparablté des résultats, mas au contrare pour que chaque pays optmse son plan d échantllonnage. 116

MÉTHODES DE SONDAGES UITLISÉES DANS LES PROGRAMMES D'ÉVALUATIONS DES ÉLÈVES BIBLIOGRAPHIE Ardlly P., 2006, Les technques de sondage, Pars, Technp. Chrstne M., Rocher T., 2012, «Constructon d échantllons astrents à des condtons de recouvrement par rapport à un échantllon antéreur et à des condtons d équlbrage par rapport à des varables courantes : aspects théorques et mse en œuvre dans le cadre du renouvellement des échantllons des enquêtes d évaluaton des élèves», Journées de Méthodologe Statstque, Pars, janver 2012. Devlle J. C., Särndal C. E., 1992, Calbraton Estmators n Survey Samplng, Journal of the Amercan Statstcal Assocaton, vol. 87, No. 418, p. 376-382. Hubert T., 2014, «Un collégen sur cnq concerné par la cyber-volence», Note d nformaton, n 39, MENESR-DEPP, Pars. Le Donné N., Rocher T., 2010, «Une melleure mesure du contexte soco-éducatf des élèves et des écoles Constructon d un ndce de poston socale à partr des professons des parents», Éducaton et formatons, n 79, MENJVA-DEPP, p. 103-115. Martn M., Mulls I., Kennedy A., 2007, PIRLS 2006 Techncal Report, Chestnut Hll, TIMSS & PIRLS Internatonal Study Center, Boston College. OCDE, 2012, PISA 2009 Techncal Report, Pars, OCDE. Rousseau S., Tardeu F., 2004, La macro SAS CUBE d échantllonnage équlbré Documentaton de l utlsateur, Pars, Insee. Sautory O., 1993, «La macro CALMAR Redressement d un échantllon par calage sur marges», Sére des documents de traval, Document n F9310, Pars, Insee. Tllé Y., 2001, Théore des sondages Échantllonnage et estmaton en populatons fnes Cours et exercces avec solutons, Pars, Dunod. 117