PISA et sa réalisation en Suisse PISA 2000-2003-2006

PISA.ch: ein gemeinsames Programm von Bund und Kantonen / un programme commun de la Confédération et des cantons / un programma comune della Confederazione e dei Cantoni PISA et sa réalisation en Suisse PISA 2000-2003-2006 Programme for International Student Assessment Programme International pour le Suivi des Acquis des élèves Mise à jour mars 2008 Direction nationale du programme PISA.ch Office fédéral de la statistique Espace de l Europe 10, CH-2010 Neuchâtel Tél. +41 32 713 66 42, fax +41 32 713 68 57 E-mail: pisa.ch@bfs.admin.ch, www.pisa.admin.ch

OFS/CDIP PISA 2000-2003-2006 et leur réalisation en Suiss

PISA 2000-2003-2006 et leur réalisation en Suiss TABLE DES MATIERES 1 Quelques flashes de la presse 5 1.1 Résultats de PISA 2000 5 1.2 Résultats de PISA 2003 5 2 Présentation du programme 6 2.1 Les objectifs internationaux 6 2.2 Les objectifs nationaux 6 2.3 Un projet de nature politique 6 2.4 Actions entreprises dans le domaine de l éducation en Suisse 7 2.5 Analyse des résultats PISA 2000 8 2.6 Analyse des résultats PISA 2003 8 3 Les sujets de recherche 9 3.1 Les domaines de test 9 3.2 Le matériel de test 11 3.3 Les cahiers de test 11 3.4 Les questionnaires contextuels 12 3.5 Les options sur le contenu 12 3.6 Les tests dans les écoles 14 4 La population visée 14 4.1 Les échantillons tirés en Suisse 14 5 Méthodes utilisées 15 5.1 L assurance qualité 15 6 Les données et les analyses 16 6.1 Les données internationales 16 6.2 Les données suisses 16 7 L organisation en Suisse 16 7.1 Le groupe de pilotage 16 7.2 La direction nationale 17 7.3 Les centres régionaux 17 7.4 Le comité de coordination suisse 17 7.5 Les responsables cantonaux 17 7.6 Les experts suisses 17 7.7 Les syndicats d enseignants 18 OFS/CDIP

PISA 2000-2003-2006 et leur réalisation en Suiss 8 L organisation internationale 18 8.1 Le secrétariat de l OCDE 18 8.2 Le conseil des pays participants 18 8.3 Le consortium international 18 8.4 Les groupes d experts 18 8.5 Les rencontres des directeurs nationaux 18 9 Le financement 18 9.1 Budget et financement international 18 9.2 Budget et financement suisse 18 Annexe A Schéma de l organisation en Suisse 20 Annexe B Les principaux acteurs en Suisse 21 Annexe C Les principaux acteurs internationaux 25 Annexe D Les plans d échantillonnage 27 Annexe E Finances PISA 2000 33 Annexe F Finances PISA 2003 34 Annexe G Finances PISA 2006 35 Annexe H Les principales étapes d un cycle 36 Annexe I Les pays participants à PISA 2000-2003-2006 38 Annexe J Bibliographie 39 Annexe K Adresses 41 OFS/CDIP

PISA et sa réalisation en Suisse Préambule Le présent document a été élaboré dans le but d expliquer de manière assez détaillée le programme PISA au niveau international et sa réalisation en Suisse. Le lecteur y trouvera de nombreuses informations concernant le contenu des tests, les échantillons, les acteurs. Ce document donne des informations sur les trois cycles (PISA 2000, PISA 2003 et PISA 2006). La version informatique de ce document, à disposition sur le site internet du programme, est révisée régulièrement. D autres informations sont également disponibles sur le site http://www.pisa.admin.ch. 1 Quelques flashes de la presse 1.1 Résultats de PISA 2000 Schlechte Noten für Schweizer Schüler Schweizer Jugendliche sind nur Mittelmass Les élèves suisses peuvent et doivent faire beaucoup mieux! Leçon de modestie Lesekompetenz ist eine Frage der sozialen Herkunft En Suisse, un élève sur cinq sait à peine lire en fin de scolarité Scolari svizzeri non troppo brillanti Scuole svizzere verso il declino? Les résultats de la première enquête PISA, publiés début décembre 2001, ont fait l effet d une bombe dans les médias tout en provoquant une importante prise de conscience sur les compétences des jeunes vivant en Suisse. Prise de conscience surtout quant aux résultats des élèves en compréhension de la langue écrite puisque, selon les tests de PISA, la moyenne générale des élèves y est tout à fait modeste, que 20 % des élèves ont des compétences très minimales et que les élèves n étant pas nés en Suisse cumulent les handicaps malgré les mesures prises à leur égard. PISA mesurait aussi les compétences des jeunes en mathématiques et en sciences. Ces deux matières ayant été traitées de manière moins approfondie que la lecture (ce qui limitait les analyses plus fines), elles ont simplement été présentées en complément du thème central. 1.2 Résultats de PISA 2003 «Si riesce a far di conto ma si legge male» Les jeunes Suisses très bons en math «Wenig Angst vor Mathe» «Acquis scolaires : élèves suisses bien mieux classés en 2003» «Elles ont peur des maths» Les compétences en lecture et en sciences ont également été mesurées en tant que thèmes mineurs. Avec PISA 2003, la Suisse montre de très bonnes performances dans le domaine principal, les mathématiques. Les élèves suisses obtiennent une moyenne générale bien meilleure que la moyenne des pays de l OCDE. Sur 40 pays, seuls trois obtiennent des résultats significativement plus élevés que la Suisse : les élèves de Hong Kong-Chine, de la Finlande et de la Corée. La proportion des élèves fournissant d excellents résultats est élevée en Suisse ; celle fournissant de très faibles résultats est plus petite dans notre pays qu au sein de l OCDE. Dans la plupart des pays participants une différence de compétences entre les sexes est constatée en faveur des garçons dans le domaine des mathématiques. Cependant, si l on tient compte d éléments tels que l image de soi en mathématiques et l anxiété visà-vis des mathématiques, il s avère que si les filles avaient une attitude aussi positive en mathématiques que les garçons, elles obtiendraient des résultats aussi bons qu eux. Dans une perspective d apprentissage à la vie, la capacité de résoudre des problèmes est un élément clé que l OCDE a décidé de mesurer en 2003. Ce domaine d étude donne une mesure de la capacité à résoudre des problèmes complexes qui nécessitent par exemple de savoir raisonner de manière analytique et de prendre une décision. Presque deux tiers des élèves en Suisse (62 %) sont capables de résoudre de tels problèmes avec succès (OCDE 52 %). Un tiers des élèves ont des difficultés considérables avec de telles tâches ou ne peuvent résoudre que des problèmes très simples. Curieusement et à l inverse des mathématiques, les filles obtiennent des résultats semblables à ceux des garçons, et ce dans presque tous les pays ayant participé à l enquête. Les résultats les plus importants non seulement pour les comparaisons internationales mais aussi pour les comparaisons cantonales de PISA 2003 sont disponibles sur www.pisa.admin.ch et sont énumérés par thèmes. 5

2 Présentation du programme 2.1 Les objectifs internationaux Les jeunes sont-ils prêts à affronter les défis de la vie professionnelle de demain? Nos futurs citoyens seront-ils à même de jouer leur rôle dans la société démocratique? Le Programme international de l OCDE pour le suivi des acquis des élèves (PISA) est une initiative concertée des pays de l OCDE qui vise à évaluer dans quelle mesure les jeunes adultes de 15 ans en fin de leur scolarité obligatoire sont préparés à relever les défis de la société de la connaissance. L évaluation est prospective. Elle ne se préoccupe pas des curriculum scolaires mais se concentre sur ce dont les jeunes de 15 ans auront besoin dans leur vie future, ce qu ils ont acquis et ce qu ils sont capables de tirer de leurs connaissances. Ce programme s inscrit dans l objectif général de l OCDE de mettre à disposition des pays des informations les aidant dans leurs décisions en matière d éducation. Les pays de l OCDE récoltent depuis de nombreuses années des informations sur la formation et les utilisent sous forme d indicateurs. Ces outils permettent déjà des analyses comparatives entre les pays membres. Le programme PISA permet cependant d élargir considérablement la palette des informations à disposition et de mieux comprendre le rôle des éléments systémiques sur le capital humain. Destiné en priorité aux décideurs politiques, le programme PISA concerne et intègre fortement les chercheurs scientifiques du monde de l éducation qui assurent la qualité des travaux à chaque étape du programme. 2.2 Les objectifs nationaux Quelles sont les compétences cognitives des jeunes en fin de scolarité? Sommes-nous bien situés dans les comparaisons internationales? Que faut-il modifier dans nos politiques de l éducation? La Suisse est partie prenante de l ensemble du programme de l OCDE et adhère entièrement aux buts de l enquête internationale. Elle participe activement au développement du programme. Participer activement à un tel projet, confronter nos résultats et nos problèmes sociaux et éducatifs avec ceux des autres pays, c est apprendre des autres et rechercher des solutions et des modèles toujours plus performants. La participation à une telle enquête est aussi, pour la Suisse, l occasion de développer une culture de l évaluation à l intérieur du pays qui permette de mieux évaluer le capital humain, d ouvrir le débat sur le rôle de l éducation scolaire et de mieux redéfinir les politiques touchant l éducation. L enquête de base est réalisée de manière identique dans tous les pays participants. Le projet international développe également des modules qui eux sont facultatifs, lors de chaque cycle. En Suisse, des équipes de recherche peuvent proposer également des thèmes de recherche complémentaires. Le groupe de pilotage de PISA.ch étudie chaque proposition de développement, qu il soit au niveau international ou national, et décide de sa réalisation dans le cadre du programme PISA. (Voir les détails pour chaque enquête sous 3.3.1 et 3.3.2). 2.3 Un programme de nature politique Les décisions stratégiques en rapport avec PISA sont prises par les gouvernements des pays participants en tenant compte des informations des chercheurs associés au projet. Les mutations rapides qui se produisent dans l économie et dans la société ont amené les responsables politiques à s intéresser de plus près aux compétences, aux savoirs et aux aptitudes de la population. Le capital humain est à nouveau perçu comme un facteur déterminant de l innovation et de la compétitivité économique, et comme un élément nécessaire à l évolution harmonieuse de la société. C est dans ce contexte que se pose aujourd hui la question de l éducation et en particulier celle des coûts et des performances de notre système d éducation. PISA fournit un cadre nouveau au dialogue politique entre les pays de l OCDE et entre tous les pays participants, et constitue une base de coopération pour la définition et la réalisation d objectifs dans le domaine de l éducation. Les principales options stratégiques du programme sont prises par le Comité international, qui comprend un représentant du gouvernement de chaque pays participant, en règle générale le Ministre de l éducation (voir le chapitre 8). Les études réalisées sur la base de PISA aboutiront à des recommandations en vue d améliorer à moyen et à long terme les performances et l efficacité des systèmes d éducation. Bien des pays procèdent déjà à OFS/CDIP 6

des analyses régulières des compétences et des conduites d apprentissage des élèves. En Suisse, le concordat HarmoS (Harmonisation de la scolarité obligatoire) de la CDIP 1 est la première tentative d évaluation nationale. Les analyses internationales permettent d affiner et de compléter les études réalisées au niveau national. La Suisse a déjà participé à deux grandes enquêtes internationales, TIMSS 2 et IALS 3, destinées à mesurer les compétences scolaires au niveau national. A l instar de ces deux enquêtes, PISA s intéresse à l «output» du système d éducation, c est-à-dire aux compétences acquises par les élèves et à leurs déterminants. L approche de PISA est nouvelle dans le domaine de la recherche pédagogique, qui s attachait jusqu ici à évaluer surtout l «input», c est-à-dire l enseignement, le matériel d enseignement et les techniques pédagogiques. 2.4 Actions entreprises dans le domaine de l éducation en Suisse Les mesures qui doivent être prises en fonction de l'analyse des résultats de PISA ne concernent pas uniquement la politique éducative. Les questions soulevées par PISA touchent l'ensemble de notre société et notamment notre politique sociale. Ce n'est qu'en collaboration avec d'autres partenaires que ces diverses questions pourront être résolues. (Extrait de la déclaration de la CDIP du 7 mars 2002) 2.4.1 Au niveau national L instruction publique et notamment l école obligatoire relèvent de la compétence des cantons. La Conférence des directeurs cantonaux de l instruction publique (CDIP) s emploie à harmoniser au mieux les législations scolaires cantonales, en vertu du Concordat scolaire suisse, et fixe des directives communes. (Voir les lignes directrices de la CDIP du 5 juillet 2001) En 2002, après la publication des premiers résultats de PISA 2000, la CDIP a formulé sa stratégie future en tenant compte de ces résultats. Les priorités sont les suivantes : fixer à l'échelon national des niveaux de compétence pour les branches principales enseignées à l'école obligatoire (langue première, langues étrangères, mathématiques, sciences), sur la 1 Conférence suisse des directeurs cantonaux de l instruction publique 2 «Third International Mathematics and Science Study» 3 «International Adult Literacy Survey» base de points de convergence régionaux ou de plans d'études cadres; procéder régulièrement à l'évaluation nationale des performances scolaires au travers d'enquêtes permettant de fournir des informations sur les points forts et les faiblesses de notre système éducatif et, le cas échéant, prévoir le renforcement ou l'introduction de mesures visant à améliorer la qualité de la formation (monitorage de la formation); soutenir les cantons dans le développement de la gestion de la qualité au sein des établissements scolaires; encourager l'utilisation des technologies de l'information et promouvoir les compétences informatiques; renforcer le statut professionnel des enseignantes et enseignants (élaborer à l'échelon national des études portant sur l'image de la profession et les stratégies de recrutement); favoriser l'intégration des enfants allophones; avancer l'âge d'entrée à l'école et flexibiliser la scolarisation. En 2003, le Secrétariat général de la CDIP a mis en place des groupes pour travailler sur 5 champs d action 4 : Encouragement de la lecture pour tous Encouragement des compétences linguistiques chez les jeunes connaissant des conditions d apprentissage défavorables Education préscolaire et scolarisation Organe de direction, promotion de la qualité de l école Offres d encadrement extrascolaire Cette initiative fait suite aux premiers résultats des analyses thématiques. (Voir sous point 2.5). Le lancement du projet HarmoS en 2001 concrétise la volonté de fixer des standards nationaux pour tous les élèves 2.4.2 Au niveau des cantons A partir de 2002, de nombreuses actions ont aussi été entreprises par les cantons afin de corriger certaines faiblesses du système scolaire mises en évidence par les résultats de la première enquête PISA. 4 voir sous http://www.cdip.ch/pdf_downloads/monitoring/aktplanpisa2000_f.pdf OFS/CDIP 7

1 PISA 2000-2003-2006 et leur réalisation en Suisse 2.4.3 Les syndicats d enseignants et les instituts de recherche A la suite de la publication des premiers résultats PI- SA en décembre 2001, de nombreuses manifestations, colloques, articles, publications thématiques ont repris le programme PISA pour en discuter certains aspects. 2.5 Analyse des résultats PISA 2000 Chaque enquête fait l objet de rapports initiaux complétés ensuite par des études thématiques. Voir le site internet suisse : www.pisa.admin.ch. Voir le site internet international : www.pisa.oecd.org. 2.5.1 Les études suisses Les premiers résultats de l enquête ont été publiés tout d abord sous forme de synthèse puis dans le rapport national de PISA 2000, tous deux intitulés «Préparés pour la vie?». Le groupe de pilotage de PISA.ch a ensuite fixé cinq thèmes de recherche, dont les rapports ont paru en juin 2003. Thème 1 : Lehrplan und Leistungen Le concept de lecture de PISA étant sensiblement différent de celui utilisé dans les programmes scolaires, quels sont les liens qui existent entre les exigences des curricula, les attentes des enseignants et les compétences des élèves en fin de scolarité obligatoire? (Moser & Berweger 2003) Thème 2 : Les compétences en littéracie La lecture étant le domaine principal de PISA 2000, nous disposons d une large palette d informations. Quelles sont donc les différentes compétences en lecture et leurs liens avec plusieurs variables contextuelles? Quels sont également les effets des comportements et pratiques de lecture sur les résultats obtenus? (Broi et al. 2003) Thème 3 : Die besten Ausbildungssysteme Quelles caractéristiques sociales et quelles caractéristiques relatives au système éducatif permettent d expliquer pourquoi les jeunes en Finlande, au Canada, en Australie et en Nouvelle-Zélande obtiennent de meilleurs résultats? Actes du colloque des 16-18 octobre 2002 à Zurich. (Larcher & Oelkers 2003) Thème 4 : Soziale Integration und Leistunsförderung Est-ce que d autres systèmes éducatifs dont les conditions-cadres sont similaires aux nôtres parviennent mieux à intégrer et à encourager les élèves allophones et/ou issus de milieux sociaux défavorisés et si oui : comment? (Coradi Vellacott et al. 2003) Thème 5 : Bildungswunsch und Wirklichkeit Quels sont les projets de formation des jeunes en fin de scolarité obligatoire et quelles sont leurs chances de réussite? (Meyer et al. 2003) En outre, les trois régions linguistiques ont publié les rapports régionaux suivants : Compétences des jeunes romands : Résultats de l enquête PISA 2000 auprès des élèves de 9 è année. (Nidegger, 2002) Bern, St. Gallen, Zürich : Für das Leben gerüstet? (Ramseier et al. 2003) Bravo chi legge : I risultati dell indagine PISA 2000 (Pedrazzini-Pesce 2003) Les principaux résultats des études sur PISA 2000 sont rassemblés dans une synthèse nationale avec des recommandations formulées sous forme de champs d action : PISA 2000 : Synthèse et recommandations (Buschor et al. 2003) 2.5.2 Les études internationales Les premiers résultats ont été publiés par l OCDE dans les publications suivantes : Thème 1 : La lecture, moteur de changement (OCDE 2003) Thème 2 : Literacy Skills for the World of Tomorrow (OCDE 2003a) Thème 3 : Learners for Life (OCDE 2003b) Thème 4 : Student Engagement at School (OCDE 2003c) 2.6 Analyse des résultats PISA 2003 2.6.1 Les études suisses Les premiers résultats de l enquête ont été publiés dans la publication : PISA 2003 : Compétences pour l avenir, premier rapport national Cette publication présente les principaux résultats de PISA 2003 pour la Suisse comparés à ceux des autres pays. Les auteurs se sont également intéressés à l importance du contexte socioéconomique, social et OFS/CDIP 8

culturel des jeunes et de la composition socioculturelle des écoles pour les prestations des élèves de 15 ans. L étude des résultats des élèves de 9 e année a fait l objet d un deuxième rapport national : PISA 2003 : Compétences pour l avenir, deuxième rapport national Cette publication est parue en mai 2005 et se concentre sur les comparaisons régionales et cantonales. Elle permet en outre une approche différenciée de la structure scolaire de notre pays. En outre, les résultats régionaux et cantonaux ont été publiés dans les publications suivantes : PISA 2003 : Analysen und Porträts für Deutschschweizer Kantone und das Fürstentum Liechtenstein PISA 2003 : Compétences des jeunes romands : résultats de la seconde enquête PISA auprès des élèves de 9 e année. 2.6.2 Les études internationales Les premiers résultats ont été publiés par l OCDE dans les publications suivantes : Apprendre aujourd hui, réussir demain Premiers Résultats de PISA 2003 (OCDE, 2004a) Résoudre des problèmes, un atout pour réussir Premières évaluations des compétences transdisciplinaires issues de PISA 2003 (OCDE, 2004b) Where immigrant students succeed (OCDE, 2006) Are Student ready for a Technology-Rich World? (OCDE, 2006) 3 Les sujets de recherche 3.1 Les domaines de test Les experts internationaux des pays membres de l OCDE ont défini les trois domaines de compétences la lecture, les mathématiques et les sciences choisis pour le PISA et ont préparé un cadre d évaluation pour chacun d eux (OCDE, 1999). Le concept de littératie a été adopté pour souligner que le PISA porte sur l évaluation d un éventail de compétences qui s étend bien au-delà de la notion d alphabétisation. La littératie ajoute à la capacité de déchiffrer, celle de comprendre et de se cultiver tout au long de sa vie. La lecture 3.1.1 La lecture Dans le cadre du programme PISA, on entend par «lecture» (ou littératie) la compréhension de l écrit qui est définie comme suit : «Comprendre l écrit, c est non seulement comprendre et utiliser des textes écrits, mais aussi réfléchir à leur propos. Cette capacité devrait permettre à chacun(e) de réaliser ses objectifs, de développer ses connaissances et son potentiel, et de prendre une part active dans la société» (OCDE 1999, p24). Trois dimensions sont utilisées pour structurer l évaluation PISA : La première dimension est celle du type de texte. Les épreuves PISA incluent des textes continus (ayant par exemple la forme de récits, de commentaires ou d explications) et des textes non continus (soit des listes, des formulaires, des graphiques ou des diagrammes). La deuxième dimension est celle des types de tâches de lecture. Sont déterminantes ici d une part les capacités cognitives dont doit disposer tout bon lecteur et, d autre part, les caractéristiques des questions posées. Le but n est pas de déterminer si l élève sait lire ou non, car cette capacité est considérée comme acquise pour la plupart des jeunes de 15 ans. Il s agit plutôt d examiner dans quelle mesure l élève est capable de comprendre et d interpréter un texte, de mettre en relation son contenu et sa forme en utilisant sa propre vision du monde et en exposant son point de vue. La troisième dimension est celle de l usage auquel est destiné le texte. Il peut s agir d un énoncé conçu à des fins d usage privé (par exemple une page de roman ou une lettre personnelle), un document destiné à un usage public (un document officiel ou une annonce d emploi) ou utilisé dans l enseignement (une carte géographique par exemple). L idée étant de présenter une large palette de manière à ce que toutes les sensibilités soient interpellées. OFS/CDIP 9

3.1.2 La culture mathématique Le PISA mesure la capacité des élèves d analyser, de raisonner et de communiquer des idées de façon efficace en sachant poser, formuler et résoudre des problèmes mathématiques dans une grande diversité de contextes. La culture mathématique a été définie pour PISA 2000 comme «l aptitude d un individu à identifier et à comprendre les divers rôles joués par les mathématiques, à porter des jugements fondés à leur propos et à s y engager, en fonction des exigences de sa vie présente et future, de sa vie professionnelle, de sa vie sociale avec son entourage et ses proches, en tant que citoyen constructif, impliqué et réfléchi» (OCDE 1999a, p. 49). Trois dimensions ont été définies pour la construction des tests : Premièrement, le contenu se référant à certains concepts mathématiques a été volontairement limité lors de l enquête 2000 aux concepts d espace et de forme, de variation et de relation. Pour l enquête 2003, où les mathématiques étaient le thème principal, les concepts de quantités, d incertitude ainsi que d autres domaines plus spécifiques aux programmes d enseignements, tels que les nombres, l algèbre et la géométrie ont été introduits. Deuxièmement, les processus mathématiques ont été regroupés en trois ensembles de compétences. Le premier ensemble (reproduction) concerne des calculs simples ou des définitions que l on rencontre dans des évaluations traditionnelles. Le deuxième (liens) nécessite des mises en relation d idées et de procédures mathématiques pour résoudre un problème. Le troisième (réflexion) exige un raisonnement menant l élève à identifier les éléments et à définir le problème. Troisièmement, les situations dans lesquelles les mathématiques sont utilisées. Les tâches soumises aux élèves se rapportent toujours à des situations pouvant apparaître dans la vie réelle, s agissant parfois d une situation touchant directement les élèves (par exemple déterminer si un achat est judicieux) et d autres fois de problèmes plus généraux. Ces situations ont été classées en 5 catégories : vie privée, vie scolaire, travail et sport, collectivité locale et société et, enfin, monde de la science. 3.1.3 La culture scientifique La culture scientifique a trait à la capacité d adopter une pensée scientifique dans un monde où la science et la technologie règnent en maître. Dans PISA 2006, elle revêt une importance particulière, car elle est élevée au rang de domaine «majeur» d évaluation. Dans le PISA, la culture scientifique est définie comme «la capacité d utiliser des connaissances scientifiques pour identifier les questions auxquelles la science peut apporter une réponse et pour tirer des conclusions fondées sur des faits, en vue de comprendre le monde naturel ainsi que les changements qui y sont apportés par l activité humaine et de contribuer à prendre des décisions à leur propos» (OCDE 1999, 2000, 2003a). L évaluation s est articulée autour de quatre dimensions : Les concepts scientifiques que les élèves devraient connaître pour comprendre certains phénomènes du monde naturel et les changements qui y sont apportés par l activité humaine. Pour PISA 2000 et 2003, les questions ont été tirées de concepts de la physique, de la chimie, de la biologie et des sciences naturelles. Les processus scientifiques mesurés par le PISA, lesquels relèvent de cinq démarches : l identification de questions scientifiques, la recherche de preuves scientifiques, l établissement de conclusions, la communication de ces conclusions et la manifestation de la compréhension des concepts scientifiques. Les champs d application. Le contexte de la culture scientifique, telle qu elle est définie dans le PISA, se rapporte davantage à la vie quotidienne qu aux salles de classe et aux laboratoires. Les questions posées dans PISA sont classées dans trois grands domaines d application de la science : les sciences de la vie et la santé, les sciences de la terre et de l environnement, et les sciences dans la technologie. Les attitudes ou la manière dont les élèves réagissent aux questions scientifiques (intérêt, importance accordée à la démarche scientifique, sens des responsabilités). 3.1.4 La résolution de problèmes Un autre domaine exploré est celui de la résolution de problèmes. Quelques exercices ont été inclus dans les tests en mathématiques du premier cycle. Pour le deuxième cycle, où le thème central est les mathématiques, cette dimension est traitée séparément, par un plus grand nombre d exercices. Se basant sur les travaux de chercheurs renommés, le groupe d experts international a retenu la définition suivante : «aptitude à engager des processus cognitifs pour résoudre des problèmes interdisciplinaires concrets qui ne relèvent pas d un champ de compétence ou d une discipline scolaire immédiatement évidents, et OFS/CDIP 10

lorsque la voie qui conduit à la solution n est pas immédiatement évidente.» (OCDE mai 2001) Les tests sont construits selon 3 composantes : les domaines de connaissance impliqués, qui peuvent toucher plusieurs domaines à la fois tels que les mathématiques, les sciences mais aussi la littérature, l histoire, la géographie ou encore les arts. les processus cognitifs, qu il s agisse de savoir caractériser un problème particulier, reconnaître et comprendre la nature d un problème, le formuler, sélectionner des stratégies ou encore communiquer le résultat. le contexte du problème tel que la vie privée, la vie scolaire, le travail et les loisirs, la communauté locale et l école. 3.2 Le matériel de test Chaque élève dispose de deux heures pour répondre aux tests cognitifs (présentés dans des cahiers) et d environ 30 minutes pour le questionnaire contextuel. Chaque responsable d établissement doit également remplir un questionnaire lui étant destiné. 3.3 Les cahiers de test Les cahiers de test sont construits selon un système de rotation dans lequel un groupe d exercices va être positionné parfois au début d un cahier, parfois au milieu et parfois à la fin. Ce système permet de faire passer un très grand nombre d épreuves et de contrôler le biais dû à la position de la question. La batterie complète de questions représentait 7 heures de test pour PISA 2000. Chaque élève reçoit un cahier et dispose de 2 heures pour lire les épreuves et répondre aux questions. Pour mieux comprendre, les schémas ci-dessous présentent la répartition des questions dans les 9 cahiers utilisés pour le PISA 2000 et les 13 cahiers du PISA 2003 et 2006. Tableau 3.1 PISA 2000 : construction des cahiers Cahier bloc 1 bloc 2 bloc 3 bloc 4 1 R 1 R 2 R 4 M 1 /M 2 2 R 2 R 3 R 5 S 1 /S 2 3 R 3 R 4 R 6 M 3 /M 4 4 R 4 R 5 R 7 S 3 /S 4 5 R 5 R 6 R 1 M 2 /M 3 6 R 6 R 7 R 2 S 2 /S 3 7 R 7 R 1 R 3 R 8 8 M 4 /M 2 S 1 /S 3 R 8 R 9 M (Maths) = «bloc» ou «demi-bloc» contenant plusieurs unités de mathématiques R (Reading) = «bloc» contenant plusieurs unités de lecture S (Science) = «bloc» ou «demi-bloc» contenant plusieurs unités de sciences Tableau 3.2 PISA 2003 : construction des cahiers Cahier bloc 1 bloc 2 bloc 3 bloc 4 1 M 1 M 2 M 4 R 1 2 M 2 M 3 M 5 R 2 3 M 3 M 4 M 6 PS 1 4 M 4 M 5 M 7 PS 2 5 M 5 M 6 S 1 M 1 6 M 6 M 7 S 2 M 2 7 M 7 S 1 R 1 M 3 8 S 1 S 2 R 2 M 4 9 S 2 R 1 PS 1 M 5 10 R 1 R 2 PS 2 M 6 11 R 2 PS 1 M 1 M 7 12 PS 1 PS 2 M 2 S 1 13 PS 2 M 1 M 3 S 2 M / R / S : identique à PISA 2000 PS (Problem Solving) = «bloc» contenant plusieurs unités de résolution de problèmes Tableau 3.3 PISA 2006 : construction des cahiers Cahier bloc 1 bloc 2 bloc 3 bloc 4 1 S 1 S 2 S 4 S 7 2 S 2 S 3 M 3 R 1 3 S 3 S 4 M 4 M 1 4 S 4 M 3 S 5 M 2 5 S 5 S 6 S 7 S 3 6 S 6 R 2 R 1 S 4 7 S 7 R 1 M 2 M 4 8 M 1 M 2 S 2 S 6 9 M 2 S 1 S 3 R 2 10 M 3 M 4 S 6 S 1 11 M 4 S 5 R 2 S 2 12 R 1 M 1 S 1 S 5 13 R 2 S 7 M 1 M 3 S / M / R : identique à PISA 2000 Avec ce système, seuls 2 élèves d un groupe de 20 élèves passant le test dans une classe reçoivent un cahier N 1. Cette procédure est possible grâce à la 9 S 4 /S 2 M 1 /M 3 R 9 R 8 OFS/CDIP 11

méthode statistique utilisée (IRT 5 ) qui permet d attribuer un score comparable à tous les élèves bien qu ils n aient pas répondu aux mêmes questions. Les instruments contiennent à la fois des items à choix multiple et des questions pour lesquelles les élèves doivent construire leurs propres réponses. 3.4 Les questionnaires contextuels Aux élèves Un questionnaire international + des options internationales + des éventuelles options nationales Aux écoles Un questionnaire international Les élèves et les directeurs d établissement doivent remplir un questionnaire permettant ensuite de mettre en relation les différences des résultats de test avec certaines composantes de l environnement de l élève, qu il soit scolaire ou familial. Les différents niveaux (micro, meso et macrosystémique) sont abordés. Ces questionnaires ne constituent pas un élément annexe de l évaluation PISA. Il s agit d instruments centraux pour la compréhension des facteurs déterminants et la mise en place de mesures politiques. Les réponses recueillies complètent les informations récoltées régulièrement par l OCDE sur la structure générale des systèmes éducatifs. 3.4.1 Le questionnaire international aux élèves Le questionnaire aux élèves recueille des informations sur l élève (âge, degré, sexe) ; sur l environnement familial (la composition du ménage, le niveau éducationnel et professionnel des parents, les biens à disposition, le pays de provenance, les langues parlées à la maison, les activités avec les parents) ; sur l environnement scolaire (le programme d étude suivi, les cours complémentaires ou spéciaux, les devoirs personnels, la grandeur des classes, la vision portée sur les enseignants et l école) ; 5 IRT (Item Response Theory) ou MRI (modèle de la réponse à l item) permet de calculer la probabilité qu un élève réponde correctement à une question. Ce modèle tient compte des caractéristiques psychologiques du sujet (dans PISA il s agit de l aptitude qu il a montré à répondre à d autres questions) et des propriétés métriques de l item (sa difficulté et sa discrimination). Source : Dany Laveault et Jacques Grégoire Introduction aux théories des tests en sciences humaines (Bruxelles, De Boeck 1997) sur des questions spécifiques liées au thème principal du cycle (pour PISA 2000 les activités de lecture, pour 2003 l utilité des mathématiques, pour 2006 sur l intérêt et l attitude face aux sciences). Il n existe qu un seul questionnaire administré à tous les élèves. Il s agit de questions simples portant sur des faits ou des opinions. Les élèves ont environ 30 minutes pour le remplir. 3.4.2 Le questionnaire international aux écoles Le questionnaire aux écoles rassemble des informations sur le cadre (urbain ou rural) et la composition de l école (grandeur, niveaux) ; sur les ressources à disposition ; sur la clientèle, les critères d admission et d exclusion ; sur l ensemble des élèves de 15 ans dans l institution. Le directeur ou la directrice de l établissement ou, à défaut, la personne désignée comme coordinatrice pour le test au sein de l école reçoit un questionnaire, à remplir selon sa convenance. En Suisse, ces questionnaires sont parfois problématiques car notre mode de gestion de l établissement oblige la personne mandatée pour une telle tâche à se renseigner auprès de plusieurs collègues. 3.5 Les options sur le contenu PISA peut être complété par des modules traitant de thèmes spécifiques. On parle alors d options internationales, développées par le consortium international, comme par exemple l aisance avec les nouvelles technologies ou les compétences transversales, ou d options nationales développées par un pays. La Suisse a par exemple développé un module traitant des perspectives d avenir des élèves. Les cahiers de test ou les questionnaires peuvent être complétés selon les désirs des pays participants. Il faut néanmoins souligner le fait que le test PISA étant déjà relativement long pour les élèves, toute option complémentaire peut mettre en danger l ensemble de l exercice. C est pourquoi chaque option doit faire l objet d une demande auprès du consortium international et démontrer qu elle ne met aucunement l enquête internationale en danger, soit parce qu elle sera ajoutée en fin de test, fera l objet d une autre matinée de test OFS/CDIP 12

ou que les informations seront recueillies séparément, par téléphone par exemple. 3.5.1 Les options internationales Au cours de chaque cycle, des options sont offertes aux pays désirant compléter l enquête et participer à des explorations thématiques. Lors du PISA 2000, 2003 et 2006, la Suisse a intégré les options sur les «compétences transversales» ainsi que sur l «utilisation des nouvelles technologies». L option internationale «compétences transversales» Consciente de l importance des compétences transversales comme bagage nécessaire pour la vie, la Suisse a joué un rôle décisif dans le développement de cet instrument par des chercheurs tels Jules Peschar 6, Uri Trier 7 et Helmut Fend 8. En rassemblant les différentes approches ayant été amorcées, ils ont permis de mieux identifier des concepts de «confiance en soi» «estime de soi» et «autoperception de sa propre efficacité» (self efficacy). La définition et la conceptualisation des compétences transversales sont encore en chantier. Malgré cela, PISA tient à explorer ce domaine qui devrait jouer un rôle prépondérant dans les connaissances et le savoir-faire en lecture, en mathématiques et en sciences mais aussi dans l apprentissage de la vie. Dans l évaluation PISA, ce thème a été abordé sur trois dimensions : celle de la motivation des élèves à l apprentissage, de l image de soi et de la stratégie d apprentissage. La motivation a été définie par des échelles sur la motivation instrumentale, sur la motivation basée sur un intérêt, l effort et la persistance à apprendre et l apprentissage compétitif versus en collaboration. La dimension L image de soi est abordée par des questions d auto-perception de sa propre efficacité, de l image de soi en lecture, en mathématiques et en éducation en général. Les stratégies d apprentissage ont été définies par des échelles sur la mémorisation, l élaboration de stratégies et la maîtrise de ces stratégies. 6 Peschar, J.L. (1993) Prepared for real-life. Establishing indicators for non-curriculum bound indicators (NOBS) in a comparative setting. Project proposal for the OECD-Network A meeting in Vilamoura, Portugal. 7 Trier, U.P.(1991) Non-curriculum bound outcomes. Proposal presented at the OECD-Network A meeting in Paris Trier, U.P. & Peschar, J.L. (1995) Cross-curricular Competencies: rationale and strategy for developing a new indicator. Measuring what students learn. OECD, Paris. 8 Prof. Helmut Fend, Université de Zurich Les résultats de l enquête 2000 ayant livré des informations intéressantes, les questions pour 2003 ont simplement été adaptées au domaine des mathématiques (thème central du deuxième cycle) et aux sciences en 2006 (thème central du troisième cycle). La Suisse a intégré cette option dans son questionnaire aux élèves lors de chaque enquête. Il est important de noter que la définition des compétences transversales et leur étude font l objet de plusieurs recherches. La Suisse a été la coordinatrice du projet de l OCDE «DeSeCo 9» qui fut un travail de réflexion et de conceptualisation. Elle a participé aussi à l enquête ALL 10 destinée aux adultes et visant, entre autres, à mesurer leurs compétences transversales. L option internationale «nouvelles technologies» L aisance dans l utilisation des nouvelles technologies est jugée comme importante en Suisse dès lors que cette dernière doit faire face à une pénurie de personnel qualifié en informatique. Les informations statistiques sur l'implantation des nouvelles technologies en Suisse n'étant pas suffisantes, l occasion d une option dans l enquête PISA est bienvenue. Le module utilisé pour PISA 2000 reprenait une partie des questions développées auparavant par le «Educational Testing Service» américain. Les thèmes abordés étaient liés à l accès à un ordinateur à la maison ou à l école, à la fréquence d utilisation des ordinateurs et autres outils, à l aisance de manipulation, à l auto-perception des propres capacités et à la vision que les élèves avaient des nouvelles technologies. Pour le PISA 2003 et 2006, outre quelques modifications et annulations de questions, le module a été complété par des questions liées à la pratique, à l utilisation concrète faite par les élèves. 3.5.2 Les options suisses Le groupe de pilotage de PISA.ch est ouvert aux propositions pour l adjonction de modules d un intérêt particulier pour la Suisse. Les demandes sont examinées et doivent être acceptées par le groupe de pilotage (pour le contenu et le financement) et par le consortium international (pour l intégration dans le matériel de test). 9 DESECO = Defining and Selecting Key competencies, Dominique Simone Rychen et Laura Hersh Salganik, www.deseco.admin.ch 10 ALL = Adult Literacy and Lifeskills Survey, Philippe Hertig (OFS Neuchâtel) et Philip Notter (IBE Zurich) OFS/CDIP 13

En 2000, deux projets du Fonds national pour la recherche scientifique (FNRS 43) ont pu profiter de l enquête PISA. Un premier projet «Jugendliche zwischen Schule und Arbeitswelt» de Urs Moser et Heinz Ryhn du IBE 11 a pu introduire quelques questions sur les projets de formation et de profession des élèves, ce qui a permis de valoriser les résultats de PISA en les reliant avec les projets des jeunes. Un deuxième projet «Transition from Education to Employment (TREE)» coordonné par Thomas Meyer de l'abf 12 a eu la possibilité de récolter les adresses des élèves qui voulaient bien être contactés ultérieurement. L étude longitudinale, basée sur trois enquêtes par panel, a utilisé certaines informations recueillies en 2000. Pour 2003, une des questions sur l «avenir de l élève» a été reprise, nous permettant ainsi de savoir ce que les élèves prévoient pour l année à venir. En 2006, en plus de l option de 2003 qui a été reprise, deux nouvelles options ont été intégrées dans les questionnaires aux élèves : «l attente des parents» avec des questions sur l importance que portent les parents aux résultats scolaires et à l avenir professionnel de leurs enfants ainsi que l option du «parcours scolaire» qui permet aux élèves de détailler les changements d écoles et de filières de leur parcours. 3.6 Les tests dans les écoles Les tests ont lieu sur une matinée. Ils sont administrés par des personnes externes à l établissement. Les tests sont administrés par des personnes ayant suivi une formation particulière à l enquête PISA. En principe, ce sont des personnes extérieures à l établissement, mais, s il s agit d enseignants, ils ne doivent en aucun cas être le professeur des élèves passant le test dans un des domaines testés. Pour aider l administrateur de test ne connaissant pas les «règles de la maison» et assurer une bonne discipline, il est demandé qu un enseignant soit présent pendant la session de test. Les tests ont lieu sur une matinée, pendant le temps scolaire. Ils sont administrés sous la forme d épreuves papier-crayon. Les élèves et les parents ont été avertis par lettre via l école. 11 IBE = Institut für Bildungsevaluation, Zürich (anciennement CEA/KBL) 12 ABF = Amt für Bildungsforschung, Berne 4 La population visée Il n est pas nécessaire d interroger l ensemble des élèves nés pendant l année de référence ou effectuant l année scolaire considérée pour déterminer leur niveau de compétences : un échantillon représentatif suffit. Tout élève sachant lire et écrire dans la langue d'enseignement est susceptible d'être interrogé, ceci en vue de recenser tous les niveaux de compétences représentés dans le pays. L enquête PISA doit cependant exempter certaines écoles et certains élèves n étant absolument pas en mesure de passer les tests. Ces exclusions sont faites sur la base de critères stricts adoptés par tous les pays et ne peuvent pas excéder 5 % de la population de base. 4.1 Les échantillons tirés en Suisse L échantillon international est composé d au moins 4'500 élèves de 15 ans répartis dans 150 écoles. La Suisse tire également des échantillons des élèves en 9 e année de scolarité. 4.1.1 L'échantillon international La population de référence de l enquête PISA internationale se compose des élèves de 15 ans 13 encore en formation, soit qu ils n ont pas terminé leur scolarité obligatoire, soit qu ils soient en formation postobligatoire (au degré secondaire II, professionnel ou non). On a choisi l âge comme critère déterminant, car aucune année scolaire n est comparable au plan international, compte tenu des différences existant entre les pays quant à la durée de la scolarité obligatoire, à l enseignement préscolaire et à la structure du système éducatif. Bien que les jeunes interrogés dans le programme PISA, dont les compétences sont comparées entre pays participants, aient tous le même âge, leur carrière scolaire est plus ou moins longue et leur expérience éducative différente. A 15 ans, la plupart des jeunes en Suisse sont sur le point d entamer une formation postscolaire ou professionnelle, alors qu une partie l a déjà commencée. Les proportions varient selon les régions. Il n en va pas de même dans tous les pays : certains scolarisent leurs enfants avant leur 7 e anniversaire, bien que la scolarité obligatoire dure 9 ans comme en Suisse. 13 Pour l enquête PISA 2000 par exemple : il s agissait des élèves nés en 1984. Ainsi, tous les élèves n avaient pas précisément 15 ans lors des tests d avril-mai 2000. Ils étaient âgés entre 15 ans 3 mois et 16 ans 2 mois. OFS/CDIP 14

L enquête menée en Suisse portait sur les élèves de 15 ans des établissements et orientations ci-après : les écoles comptant des classes de huitième, de neuvième et de dixième année au degré secondaire I; les écoles de culture générale du degré secondaire II, telles que celles préparant à la maturité ou les écoles de degré diplôme; les écoles professionnelles du degré secondaire II. 4.1.2 Les échantillons national et cantonaux La Suisse compte parmi les pays qui ont choisi l option internationale proposée par l OCDE. Cette option consiste à étudier une deuxième population définie en fonction de l année scolaire, et plus précisément la neuvième, qui regroupe une proportion de jeunes âgés de 15 ans variant selon les régions. La direction nationale du programme a tiré pour cette option nationale des échantillons représentatifs des trois grandes régions linguistiques 14. Par ailleurs, les cantons ont la possibilité d augmenter la taille de leur échantillon afin de procéder à des évaluations pertinentes à l'échelle cantonale. L échantillon tiré parmi les élèves de neuvième permet de comparer les résultats obtenus à l'intérieur du pays entre les régions linguistiques et, grâce aux échantillons cantonaux supplémentaires, entre les cantons. Compte tenu de la complexité et des subtilités des plans d échantillonnage développé en Suisse pour chaque enquête, ceux-ci sont présentés séparément, en annexe. Voir en annexe D les plans d échantillonnage 5 Méthodes utilisées L ensemble du matériel de test et des procédures émane du consortium international PISA qui les élabore en collaboration étroite avec les pays participants. Une fois le matériel constitué et les consignes fixées, chaque pays est responsable de mettre tout en œuvre pour que l enquête soit réalisée de la manière la plus optimale et selon les règles afin d assurer la comparabilité. 14 Les élèves réthoromanches ont été interrogés en allemand, qui est la langue d enseignement utilisée dans leur région en 9 e année scolaire. 5.1 L assurance qualité Les mesures de qualité touchent tous les aspects de l enquête PISA. Ils assurent la qualité des résultats, la comparabilité internationale et longitudinale. 5.1.1 Les experts thématiques Les groupes d experts internationaux sont constitués de scientifiques recommandés par les pays participants. Ce sont eux qui élaborent les cadres conceptuels et les instructions pour les épreuves à créer. Après examen des épreuves récoltées et classification, les groupes d experts internationaux les soumettent aux experts nationaux pour s assurer de leur pertinence par rapport au cadre conceptuel, de leur intérêt pour les jeunes et de l absence de biais culturel. 5.1.2 La traduction du matériel Tout le matériel de test est livré par le consortium international en anglais et en français. Chaque pays est responsable de le faire traduire selon des règles précises propres au projet. En bref, tout le matériel cognitif doit être traduit une fois depuis l anglais et une fois depuis le français. Chaque traduction est faite par un professionnel, secondé d enseignants et de didacticiens. Les deux versions sont ensuite examinées par un/une traducteur/traductrice qui en sortira une version de référence. Pour les traductions en allemand, la Suisse collabore avec l Allemagne, l Autriche et le Luxembourg. Une fois la version de référence acceptée par les vérificateurs internationaux, chaque pays soumet à ces derniers ses éventuelles demandes d adaptations nationales. Ces mesures fournissent un matériel de test comparable entre pays d une même langue tout en assurant sa pertinence locale. Pour l italien, la Suisse a procédé de manière similaire avec l Italie pour PISA 2000 et 2003. Dès 2006 cependant, la Suisse italienne reçoit les unités en italien de l Italie et fait les demandes nécessaires pour les adaptations locales. Pour le français également, les unités de test sont livrées en français et le consortium romand effectue les demandes d adaptations suisses. 5.1.3 Les manuels de codification Chaque question requérant une formulation écrite de l élève (au lieu d une croix) nécessite une codification manuelle par des personnes spécialement formées sur la base d un manuel indiquant clairement OFS/CDIP 15

les divers types de crédit. La section décrivant le score le plus élevé pour chaque item est intitulée «Crédit complet». La section décrivant les réponses inacceptables et les omissions (codes 0 et 9) est intitulée «Pas de crédit». Les items pour lesquels il existe des codes intermédiaires ont en outre une section intitulée «Crédit partiel» ; le code numérique attribué à chaque catégorie de réponse (par ex. Code 1) ; une description générale du type de réponse correspondant à ce code ; des exemples de réponses pour chacune des catégories. Ces exemples sont proposés à titre de réponses possibles ; ils ne représentent pas la liste exhaustive des réponses que l'on peut s'attendre à rencontrer. 5.1.4 Le programme de saisie Le consortium international crée un programme pour assurer une saisie uniforme de toutes les données. Ce programme intègre également des contrôles de qualité au niveau national et permet de nombreux autres contrôles statistiques au niveau international. La vérification des données et les pondérations pour chaque pays sont faites par le consortium international. En Suisse, les trois bases de données saisies dans chacun des trois centres chargés de cette opération sont regroupées en une seule base suisse. 6 Les données et les analyses 6.1 Les données internationales Le Consortium international et le Groupe de pilotage PISA.ch ont adopté une politique d ouverture concernant les données des enquêtes PISA de manière à faciliter l accès et encourager les chercheurs, les organismes intéressés et les particuliers à utiliser le capital acquis. Les données de tous les pays concernant leur échantillon d élèves de 15 ans sont libres d accès sur le site de l OCDE www.pisa.oecd.org. Les analyses et les rapports internationaux sont décidés par le Conseil des pays participants (PGB 15 ) et réalisés par les institutions membres du Consortium international et par des experts mandatés par l OCDE. Cette dernière publie un rapport international suivi de rapports thématiques. Bon nombre de pays participant à l enquête présentent également leurs résultats par le biais de publications, de colloques et de rencontres. 6.2 Les données suisses Les banques de données suisses contiennent les informations de deux types d échantillons. L échantillon concernant les élèves de 15 ans (utilisé pour les comparaisons internationales) et les échantillons concernant les élèves de 9 e (au niveau des régions linguistiques et des cantons pour les études à l intérieur de la Suisse). Les banques de données suisses sont mises gratuitement à disposition des chercheurs, par la direction nationale, moyennant un contrat spécifique. 7 L organisation en Suisse Différents organes permanents ont été créés. Ils sont décrits ci-dessous. Au fur et à mesure des besoins, d autres groupes de travail peuvent être mis sur pied, de façon temporaire tel le groupe constitué pour les analyses de PISA 2000. De tels groupes ne sont pas décrits dans le présent document. Voir en annexe A l organigramme informant sur les organes créés au niveau national et international. Voir en annexe B les détails concernant les personnes directement impliquées dans le projet suisse. 7.1 Le groupe de pilotage Le groupe de pilotage PISA.ch assume la fonction d organe décisionnel pour les questions de politique générale ainsi que pour les finances. Il a pour tâche a) d assumer la responsabilité de l ensemble du projet b) de décider des orientations stratégiques, de l approvisionnement des fonds, de l organisation générale du projet en Suisse, des élargissements du projet et de son développement c) d approuver la planification financière, les budgets et les comptes annuels, le plan d analyse et de publications, la stratégie de communication et ses instruments d) de nommer la direction nationale et les représentants suisses au conseil international des pays participants. Il est composé de représentants de la Confédération (OFS, SER et OFFT) et des cantons (CDIP) et se réunit au minimum deux fois par an. 15 PGB = PISA Governing Board OFS/CDIP 16

7.2 La direction nationale La direction nationale est responsable de réaliser l enquête sur l ensemble de la Suisse et selon les directives internationales. Elle est sise à l Office fédéral de la statistique (OFS). Assumée par du personnel scientifique et administratif, en collaboration avec les services internes de l OFS et de la CDIP, la direction nationale est responsable a) de la réalisation de l enquête au niveau suisse pour toutes les composantes du projet, de la coordination et de l administration au niveau suisse b) des finances du projet c) de la préparation des données, des analyses et des publications nationales d) des relations et des collaborations avec le consortium international e) de la communication avec le public. 7.3 Les centres régionaux Plusieurs centres régionaux ont été mis en place pour réaliser l enquête dans les différentes parties linguistiques de la Suisse. Chaque centre régional a pour tâche a) de préparer le matériel de test dans sa langue 16 b) d assurer la mise en place des conditions nécessaires pour une passation optimale des tests dans les écoles c) d assurer la communication à l intérieur de sa région d) d engager et former le personnel nécessaire (pour les tests, la codification et la saisie en particulier) e) d assurer la codification des réponses et la saisie des données dans sa langue 17. Les centres régionaux peuvent participer à la préparation et à la réalisation des analyses. Pour la Suisse alémanique, deux institutions ont pris la responsabilité de l enquête dans les cantons alémaniques. L attribution des cantons figure dans les annexes B et K. 16 Pour la Suisse alémanique, c est le centre de St-Gall qui s en charge 17 Pour la Suisse alémanique, un mandataire privé effectue ces travaux Pour la Suisse romande, un consortium romand de recherche pour l évaluation des acquis et des compétences des élèves a été mis sur pied. C est lui qui assume la coordination de l enquête PISA et les analyses régionales. Pour la Suisse italienne, un consortium a été créé pour assurer la coordination entre le Tessin et les Grisons italophones. 7.4 Le comité de coordination suisse Le comité de coordination regroupe la direction nationale et les centres de coordination régionaux pour une gestion concertée et régionalisée du programme. Le comité de coordination suisse a pour tâche a) d assurer la coordination de l ensemble des activités pour la préparation et la réalisation de l enquête dans les 3 régions linguistiques b) de rassembler des avis d experts et de donner son propre avis sur les propositions et documents venant du consortium international. 7.5 Les responsables cantonaux Chaque canton a nommé une personne de contact responsable du programme PISA. Ces personnes sont tenues au courant du projet par les centres régionaux. Ils peuvent être sollicités lors du contact avec les écoles ou pour des informations locales nécessaires. 7.6 Les experts suisses Deux types d experts participent au programme : les experts thématiques et les experts des groupes politico-scientifiques. 7.6.1 Les experts thématiques Pour chaque domaine et pour chaque langue, PISA travaille avec des experts locaux. Didacticiens, enseignants ou chercheurs, les experts locaux aident les centres régionaux et la direction nationale à assurer une qualité optimale aux instruments de test et à jouer un rôle actif lors des consultations internationales. Le projet s appuie sur ses consultations auprès des experts en lecture, en mathématiques, en sciences naturelles, en compétences transversales, en questions contextuelles et échantillonnage. OFS/CDIP 17

7.6.2 Les experts politico-scientifiques L avancement des travaux PISA est régulièrement présenté dans des groupes suisses tels que le Groupe d experts Education et Formation de l OFS, la CORECHED 18 et la CODICRE 19 ainsi que dans des groupes régionaux comme les conférences régionales de la CDIP. 18 CORECHED = Conférence de la recherche en éducation 19 CODICRE = Conférence suisse des directeurs de centres cantonaux de recherche et de développement en éducation 7.7 Les syndicats d enseignants Les syndicats d enseignants (LCH 20 et SER 21 ) ont un rôle privilégié dans le projet. Ces organismes sont invités à participer à différentes étapes du projet, notamment lors de la diffusion des résultats. 8 L organisation internationale Pour assurer la participation active des pays à tous les niveaux, différentes instances ont été mises en place. Voir en annexe A l organigramme informant sur les organes créés au niveau international et national. Voir en annexe C les détails concernant les personnes directement impliquées au niveau international. Voir en annexe I les pays participants. 8.1 Le secrétariat de l OCDE C est au sein de l OCDE que le PISA a germé, plus précisément dans le réseau A du projet INES qui travaille sur les politiques et la récolte de données en éducation. Cette institution ne procédant pas ellemême aux relevés des informations, le secrétariat de l OCDE a lancé un appel d offre international. Le but est d assurer la représentation des grands pôles de recherche du monde et l alliance des compétences nécessaires pour un tel projet. En tant que mandant, le secrétariat de l OCDE reste maître des travaux, au nom des pays membres de l institution. 8.2 Le conseil des pays participants Ce conseil international (Pisa Governing Board) est composé d un représentant de chaque pays, délégué pour prendre toutes les décisions nécessaires à l avancement du projet. Etant donné le financement conjoint du projet en Suisse, un représentant de la CDIP accompagne la représentante de la Confédération. La délégation suisse représente également le Liechtenstein, pays non-membre de l OCDE mais participant à PISA via la Suisse. 20 LCH = Lehrerverband Schweiz (pour la Suisse alémanique) 21 SER = Syndicat des enseignants romands OFS/CDIP 18

8.3 Le consortium international En désignant un consortium international, l OCDE maximise ses chances de réussite, d intégration et d acceptation. Diverses institutions internationales le composent. Il est sélectionné lors de chaque nouveau cycle à la suite d un appel d offre international (voir annexe C). 8.4 Les groupes d experts Sur proposition des membres du conseil des pays participants, l OCDE constitue les groupes d experts qui sont chargés de l élaboration des cadres conceptuels, de l élaboration du matériel de test et de la préparation des analyses. 8.5 Les rencontres des directeurs nationaux Chaque pays désigne une personne responsable (directeur/directrice national/e) de l implantation des enquêtes dans son pays. Son rôle est d assurer que toutes les requêtes et exigences internationales soient suivies tout en trouvant des solutions pratiques face aux spécificités locales. Pour ce faire le/la responsable est appelée à participer aux rencontres internationales et à suivre pas à pas l évolution du projet mais aussi à créer les réseaux nécessaires au niveau scientifique et politique. 9 Le financement 9.1 Budget et financement international Le budget est établi par le consortium international et approuvé par le comité directeur international. Le montant total est réparti entre les pays participants. 9.2 Budget et financement en Suisse Le budget est établi par la direction nationale, en collaboration avec les centres de coordination. Il est approuvé par le groupe de pilotage PISA.ch. Le montant total est financé par la Confédération et les cantons (voir annexes E, F et G). La clé de répartition entre les cantons est établie par la CDIP, en fonction du nombre d'élèves dans chaque canton. Voir l annexe E pour les finances PISA 2000 l annexe F pour les finances PISA 2003 l annexe G pour les finances PISA 2006 OFS/CDIP 19

ANNEXE A SCHEMA DE L ORGANISATION PISA 2006 PISA et sa réalisation en Suisse INTERNATIONAL Conseil des pays participants + OCDE PGB Consortium international Rencontre des directeurs nationaux groupe Math groupe Sciences Experts groupe Lecture NATIONAL Groupe de pilotage (Confédération + Cantons) Direction nationale OFS Comité de coordination suisse composé de : - direction nationale - centres régionaux groupe Analyses groupe Echantillon Experts REGIONAL Cons. romand Cantons F USR Bellinzone Cantons I IBE Zurich Cantons D I PHS St Gall Cantons D II S L L S L S M Q M M OFS/CDIP 20

Annexe B Les principaux acteurs en Suisse Les listes ci-dessous présentent les personnes travaillant actuellement dans le programme PISA (printemps 2007). B 1 Conseil des pays participants (PGB) Heinz Rhyn. (représentant des cantons) Katrin Holenstein (représentante de la Confédération) Secrétariat général de la Conférence suisse des directeurs de l instruction publique (CDIP) Cheffe de la section formation scolaire et professionnelle, Office fédéral de la statistique (OFS) B 2 Le groupe de pilotage Représentants des cantons Isabelle Chassot Rosmarie Widmer Gysel Hans Ambühl Heinz Rhyn Présidente de la CDIP Conseillère d Etat Directrice de l Instruction publique, de la culture et du sport du canton de Fribourg Conseillère d Etat Directrice de l Instruction publique du canton de Schaffouse Secrétaire général de la Conférence suisse des directeurs de l instruction publique (CDIP) Secrétariat général de la Conférence suisse des directeurs de l instruction publique (CDIP) Membre du Conseil des pays participants (PGB) Représentants de la Confédération Ernst Flammer Ariane Baechler Katrin Holenstein Secrétariat d Etat à l éducation et à la recherche (SER) Office de la formation professionnelle et de la technologie Cheffe de la section formation scolaire et professionnelle, Office fédéral de la statistique Membre du Conseil des pays participants (PGB) B 3 La direction nationale La direction nationale du programme a été confiée à l Office fédéral de la statistique (OFS), Neuchâtel Huguette McCluskey Claudia Zahner Rossier Thomas Holzer Elena Zafarana Nadine Rauch Catherine Gaignat Emmanuelle de Dardel Directrice du programme Sociologue spécialisée en éducation Suppléante de la directrice du programme Sociologue Collaborateur scientifique Politologue Collaboratrice scientifique Sciences économiques Collaboratrice scientifique Sciences économiques Collaboratrice de projet temporaire Collaboratrice de projet temporaire OFS/CDIP 21

B 3.1 Le comité de coordination suisse Le comité de coordination suisse est composé des responsables de la direction nationale et des centres de coordination régionaux. Ses membres sont : Huguette McCluskey Claudia Zahner Rossier Thomas Holzer Urs Moser et Slobodanka Petrovic Gordic Christian Brühwiler et Grazia Buccheri Christian Nidegger Myrta Mariotta Directrice du programme Suppléante Collaborateur scientifique Responsable et co-responsable du centre pour la Suisse alémanique I Responsable et co-responsable du centre pour la Suisse alémanique II Responsable pour le consortium romand Responsable du centre pour la Suisse italienne B 3.2 Les centres de coordination suisse alémaniques Deux instituts se partagent la responsabilité de l enquête en Suisse alémanique. Le Centre de coordination pour la Suisse alémanique I (AG, BL, BS, LU, NW, OW, SO, SZ, UR, VS-d, ZG, ZH) c/o Institut für Bildungsevaluation (IBE), Zürich Urs Moser Responsable du centre de coordination pour la Suisse alémanique I, chercheur en sciences sociales Slobodanka Petrovic Gordic Co-responsable du centre de coordination pour la Suisse alémanique I Le Centre de coordination pour la Suisse alémanique II (AI, AR, BE-d, FR-d, GL, GR-d, SG, SH, TG et Liechtenstein c/o Forschungsstelle der Pädagogischen Hochschule St. Gallen (fs-phs) Christian Brühwiler Grazia Buccheri Responsable du centre de coordination pour la Suisse alémanique II, chercheur en éducation Co-responsable du centre de coordination pour la Suisse alémanique II, Experts pour la Suisse alémanique Philipp Notter Franz Keller Martin Senn Erich Ramseier Expert en lecture Expert en mathématiques, mathématicien Expert en sciences naturelles, enseignant Expert pour les questionnaires contextuels OFS/CDIP 22

B 3.3 Le centre de coordination romand Les cantons romands ont formé un consortium romand de recherche pour l évaluation des acquis et des compétences des élèves regroupant des institutions de recherche de Suisse romande (voir http://agora.unige.ch/sred/). La coordination est assurée par le Service de la recherche en éducation de Genève (SRED) en lien avec l IRDP. Christian Nidegger (SRED) Anne Soussi (SRED) Martine Wirthner (IRDP) 22 Anne-Marie Broi (ORESTE) 23 Ninon Guignard (SRED) Jean-Philippe Antonietti (IRDP) Werner Riesen (ORP) 24 Chantal Tièche Christinat (IRDP) Christian Nidegger (SRED) Nicolas Ryser (DFJ) 25 Claude Kaiser (SRED) Christian Nidegger (SRED) Jean Moreau (URSP) 26 Claude Kaiser (SRED) Christian Nidegger (SRED) Elisabetta Pagnossin (IRDP) Les responsables cantonaux et un responsable du syndicat des enseignants romands Coordinateur régional Groupe scientifique pour la lecture Groupe scientifique pour les mathématiques Groupe scientifique pour les sciences Experts pour les questionnaires contextuels Groupe scientifique statistique et méthodologie Groupe de mise en oeuvre B 3.4 Le centre de coordination pour la Suisse italienne Là aussi, un consortium a été mis en place pour le programme PISA, le consortium pour la Suisse italienne c/o Ufficio studi e ricerche (USR), Bellinzona. Myrta Mariotta Emanuele Berger Prof. Aldo Frapolli Prof. Urs Kocher Coordinatrice régionale, psychologue Directeur de l USR, lic. en sciences de l éducation Expert en mathématiques Expert en sciences 22 IRDP = institut de recherche et de documentation pédagogique 23 ORESTE = office de recherche et de statistique de l enseignement 24 ORP = office de recherche pédagogique du canton de Berne 25 DFJ = département de la formation et de la jeunesse 26 URSP = unité de recherche en systèmes de pilotage OFS/CDIP 23

B 4 Le groupe d échantillonnage Pour chaque pré-enquête et enquête, la préparation de l échantillon demande d importants travaux et le recours autant à des méthodologues qu à des gens du terrain. La direction nationale bénéficie de l appui de personnes compétentes dans chaque région linguistique mais travaille plus intensivement avec le groupe ci-dessous : Thomas Holzer (OFS) Anne Renaud (OFS) Erich Ramseier (ABF Berne) Urs Moser (IBE) Jean Moreau (URSP) et Elisabetta Pagnossin (IRDP) Myrta Mariotta (USR) Responsable du groupe Méthodologue Représentants de la Suisse alémanique Représentants de la Suisse romande Représentante de la Suisse italienne B 5 Le groupe lecture pour PISA 2009 En préparation de PISA 2009, un groupe lecture a été mis en place. Sa tâche est de proposer des unités de tests en lecture au consortium international. Ce groupe est composé de : Philipp Notter Prof. Andrea Bertschi-Kaufmann Anne-Marie Broi Anne Soussi Martine Wirthner Prof. Peter Sieber Responsable du groupe lecture Experte en lecture Experte en lecture Experte en lecture Experte en lecture Expert en lecture Un groupe mathématiques avait également été créé pour PISA 2003 27 où il s agissait de développer les unités de tests en mathématiques et un groupe sciences pour PISA 2006 28 pour la création d unités de tets en sciences. B 6 Les experts suisses au niveau international A chaque occasion, la Suisse propose des experts au sein des groupes internationaux. Les délégués suivants ont représentés ou représentent la Suisse au sein des groupes ou lors de forum d experts internationaux : Prof. Urs Kirchgraber Expert en mathématiques (PISA 2000) Raul Gagliardi Expert en sciences (PISA 2003) Prof. Regula Kyburz-Graber Expert(e)s en sciences (PISA 2006) Prof. Peter Labudde Philipp Notter Expert en lecture (PISA 2009) Erich Ramseier Expert pour les questionnaires contextuels et membre du Réseau A de l OCDE 27 Responsable : François Jaquet 28 Responsable : Prof. André Giordan OFS/CDIP 24

Annexe C Les principaux acteurs internationaux C 1 Le secrétariat de l OCDE Le secrétariat de l OCDE a la responsabilité globale pour la gestion du programme PISA. Il en contrôle chaque jour l implémentation, assure le secrétariat du PISA Governing Board, il conduit à un consensus entre les pays et sert d interlocuteur entre le PISA Governing Board et le consortium international chargé de l implémentation des activités. Les personnes engagées au sein du secrétariat de l OCDE sont : Andreas Schleicher Karin Zimmer John Cresswell Miyako Ikeda Claire Shewbridge Sophie Vayssettes Kate Lancaster Juliet Evans Coordination générale du PISA et des relations entre pays membres Analyste senior Analyste Analyste Analyste Statisticienne Chargée de communication Assistante administrative C 2 Les institutions du consortium international Les trois premières enquêtes (2000, 2003 et 2006) ont été menées par un consortium international chargé de la direction opérationnelle et conceptionnelle ainsi que de la réalisation du projet. Il s agit de : ACER, Australie, direction du consortium Citrogroep, Pays-Bas ETS et WESTAT, Etats-Unis NIER, Japon capstan, Belgique Pour PISA 2009, 2 consortiums ont été mandatés pour le développement et la réalisation du projet : Le Consortium A est responsable du développement et du design des instruments de tests, de tous les aspects liés à l échantillonnage, de la réalisation des enquêtes, de la traduction et de la vérification, du traitement des données et de l assurance de la qualité. Ce consortium est composé en partie des mêmes institutions que pour les enquêtes précédentes et se compose comme suit : ACER, Australie, direction du consortium A capstan, Belgique DIPF, Berlin NIER, Japon SPe, Belgique WESTAT, Etats-Unis OFS/CDIP 25

Le Consortium B est responsable du développement et de l adaptation des instruments de tests tels que questionnaires aux écoles et aux élèves, mais également des questionnements supplémentaires dans le cadre d études thématiques telles que le questionnaire aux enseignants ou aux parents, etc. Ce consortium est composé des institutions suivantes : Citogroep, Pays-Bas Ministère de l Education, France Institute for Educational Research, Université de Jyväskylä, Finlande Université de Twente, Pays-Bas PISA 2009 sera réalisé sous la direction de l OCDE en étroite collaboration avec ces deux consortiums. C 3 Groupes d experts du PISA Divers groupes d experts ont été constitués pour fournir des conseils fondamentaux et techniques sur des aspects spécifiques de PISA. Le Technical Advisory Group (TAG) fournit des conseils d ordre technique pour l enquête, par exemple pour les méthodes d échantillonnage ou les échelles. Il garantit la qualité technique des données. Les groupes d experts internationaux sont constitués de scientifiques recommandés par les pays participants. Ce sont eux qui élaborent les cadres conceptuels et les instructions pour les épreuves à créer. Après examen des épreuves récoltées et classification, les groupes d experts internationaux les soumettent aux experts nationaux pour s assurer de leur pertinence par rapport au cadre conceptuel, de leur intérêt pour les jeunes et de l absence de biais culturel. Il existe un groupe d expert pour chaque domaine PISA : lecture, mathématiques, sciences et un groupe d experts pour les questionnaires. L OCDE a créé pour PISA 2003 le Forum Mathématiques, pour PISA 2006 le Forum Sciences et pour PISA 2009 le Forum Lecture. Il s agit de forums de discussions ouvertes composés d experts nommés par les pays participants pour soutenir les requêtes des pays dans le cadre d évaluation et dans les instruments de développement. OFS/CDIP 26

Annexe D Les plans d'échantillonnage Au vu de la complexité et des subtilités des plans d échantillonnage suisse pour les trois enquêtes ainsi que quelques modifications apportées entre PISA 2000, PISA 2003 et PISA 2006, les plans d échantillonnage suivants doivent être présentés séparément. même classe) tirées à partir des listes cantonales des classes de neuvième. Figure D1 : Recoupement des échantillons international et national En 9 e année D1 Les échantillons de PISA 2000 D 1.1 Les 3 échantillons tirés en Suisse Les données collectées en Suisse sont ventilées dans trois échantillons visant chacun des buts différents : Âgés de 15 ans et en 9 è année L échantillon international sert tout d abord à établir des comparaisons entre les pays et donne lieu à des constatations sur les jeunes de 15 ans, à l'échelle nationale, pour tous les types d enseignement. L échantillon national donne lieu à des constatations sur les élèves de neuvième à l échelle nationale, au niveau des trois principales régions linguistiques et dans les cantons alémaniques ayant choisi un échantillon supplémentaire dans la procédure internationale : Berne (partie germanophone), Saint-Gall et Zurich. Cet échantillon national permet donc d établir des comparaisons entre les trois grandes régions linguistiques de la Suisse et entre les trois cantons alémaniques mentionnés. L échantillon supplémentaire de la Suisse romande permet de livrer des constatations au sujet des élèves de neuvième dans les cantons suivants : Fribourg (partie francophone), Genève, Jura, Neuchâtel, Valais (partie francophone) et Vaud. Des comparaisons sont donc possibles entre les résultats de ces cantons. Agés de 15 ans Remarque : la surface de chaque cadre correspond à la proportion des élèves interrogés mentionnée dans le tableau D1 ci-après. Les objectifs internationaux et nationaux supposent que l'on interroge au moins 4500 élèves de neuvième et autant de 15 ans. A l'échelle des régions linguistiques comme des cantons, il a fallu tester au moins 900 personnes pour parvenir à des conclusions pertinentes. C'est la raison pour laquelle les échantillons supplémentaires tirés en Suisse romande à partir des classes de neuvième se composent d environ 900 élèves dans chaque canton. Les échantillons international et national ont été construits en tirant au hasard des écoles parmi l ensemble des écoles concernées puis des élèves. Ces échantillons sont combinés de sorte que les résultats des élèves interrogés, âgés de 15 ans et accomplissant leur 9 e année scolaire, peuvent servir pour des analyses à l échelle internationale et nationale (cf. zone en grisé, fig. D1). Cette combinaison d échantillons, tirés selon les règles internationales, a permis de limiter le nombre d élèves interrogés. L échantillon de la Suisse romande, par contre, est constitué de classes (en prenant tous les élèves d une OFS/CDIP 27

D 1.2 Le nombre d élèves ayant participé à PISA 2000 A l'échelle internationale, plus de 250'000 jeunes âgés de 15 ans ont participé aux tests de l enquête PISA 2000, dont 6 100 en Suisse. Avec ses échantillons nationaux et cantonaux, la Suisse compte toutefois plus de 13'000 personnes interrogées (âgées de 15 ans et élèves de neuvième). Le tableau ci-dessous montre la répartition des personnes interrogées selon les trois échantillons décrits précédemment. Tableau D 1 : Les échantillons de PISA 2000 en Suisse Canton/région Total Jeunes de 15 ans Elèves de neuvième Suisse alémanique 6'299 4'458 5'236 BE_d 1'006 SG 1'061 ZH 1'102 Autres cantons 2'067 Suisse romande 2'148 1'232 1'815 Elèves de neuvième, échantillon suppl. séparé FR_f 893 GE 762 JU 722 NE 820 VD 770 VS_f 866 Suisse italienne 1'093 410 946 SUISSE 9'540 6100 7997 4833 La Suisse n a pas eu de peine à satisfaire aux exigences quant à la participation des écoles et des élèves au programme PISA 29. Près de 96 % (celles de remplacement incluses) des 311 écoles sélectionnées ont participé à l enquête internationale sur les jeunes de 15 ans, dont le taux de participation a atteint plus de 95 %. Ensemble, les échantillons international et national obtiennent un taux de participation de 84,1 % (celles de remplacement incluses) pour les 345 écoles sélectionnées. Sur les élèves sélectionnés dans ces écoles, 7,3 % n ont pas pu participer aux tests, la plupart pour cause de maladie. 29 Lorsque le taux de participation des écoles à l échantillon international n atteint pas 64 %, le pays concerné est exclu des analyses comparatives internationales. La participation doit être d au moins 85 % dans chaque pays. Les Pays-Bas ne peuvent pas être pris en compte dans les analyses de l OCDE ou seulement dans une certaine mesure, car le taux de participation de leurs écoles est beaucoup trop bas. Quant à la participation des élèves sélectionnés dans les écoles, elle doit être d'au moins 80 %. OFS/CDIP 28

D 2 Les échantillons de PISA 2003 Les tests ont été réalisés auprès des jeunes de 15 ans (nés en 1987) et auprès des élèves de neuvième année (cf. PISA 2000). Tous les élèves ont été sélectionnés dans le cadre d une seule enquête. Les résultats pourront être analysés, suivant les besoins, sur la base de l échantillon international, national/régional ou cantonal. francophone seulement) ont opté pour un échantillon supplémentaire. Le Tessin n a pas participé à l échantillon cantonal supplémentaire. Toutefois, étant donné que 95 % des élèves de l échantillon de la Suisse italienne viennent du Tessin, il est également possible de tirer des conclusions sur ce canton sur la base de l échantillon régional. D 2.1 Caractéristiques des échantillons Niveau international Au moins 4'500 élèves de 15 ans répartis dans au moins 150 écoles. Sélection aléatoire de 20 élèves par école au degré secondaire I et de 35 élèves par école au degré secondaire II. Niveau national/régional 9'000 élèves de neuvième année (5 400 pour la Suisse alémanique, 1 800 pour la Suisse romande, 1 800 pour la Suisse italienne). Plusieurs classes de neuvième ont été sélectionnées par école. Niveau cantonal 1'500 élèves de neuvième année. Plusieurs classes de neuvième ont été sélectionnées par école. Contrairement à ce qui s est fait pour PISA 2000, les élèves de neuvième ont été sélectionnés par classes entières; ils n ont pas fait l objet, comme les élèves de 15 ans, d une sélection aléatoire dans les écoles. L échantillon est par conséquent sensiblement plus grand qu en l an 2000. En revanche, il n y a pas eu d échantillon séparé d élèves de neuvième pour la Suisse romande. Echantillons cantonaux supplémentaires L échantillon des élèves de 15 ans permettra de faire des comparaisons entre la Suisse et les autres pays. L échantillon des élèves de neuvième permettra d effectuer des comparaisons entre les régions linguistiques et entre les cantons. Des comparaisons intercantonales ne seront possibles que pour les cantons qui auront opté pour la constitution d un échantillon cantonal supplémentaire comprenant un nombre suffisant d élèves de neuvième. Les cantons d Argovie, de Berne, du Valais (partie alémanique), de Saint-Gall, de Thurgovie et de Zurich, et tous les cantons romands (Fribourg : partie 29

D 2.2 Nombre d élèves ayant participé à PISA 2003 Chiffres définitifs pour les régions linguistiques et les cantons Les chiffres sont bruts. Le taux de non participation s est élevé à environ 8 %. Tableau D 2 : Les échantillons de PISA 2003 en Suisse Canton/région Total* Jeunes de 15 ans Elèves de neuvième Suisse alémanique 14'974 4'950 10'024 AG 2'148 628 1'520 BE_d 2'234 679 1'555 SG 2'420 612 1'808 TG 2'269 802 1'467 VS_d 1'281 357 924 ZH 1'996 543 1'453 Autres cantons 2'626 1329 1'297 Suisse romande 11'998 2'437 9'561 BE_f 982 271 711 FR_f 1'521 209 1'312 GE 2'121 452 1'669 JU 960 204 756 NE 2'048 314 1'734 VD 2'162 528 1'634 VS_f 2'204 459 1'745 Suisse italienne 2'705 1'033 1'672 SUISSE 29'677 5'983 21'257 * Comme beaucoup d élèves de 15 ans sont aussi des élèves de neuvième, le nombre total d élèves n égale pas la somme des deux catégories d élèves. 30

D 3 Les échantillons de PISA 2006 Les tests ont été réalisés auprès des jeunes de 15 ans (année de naissance 1990) ainsi qu auprès des élèves de 9 e année (cf. PISA 2000). Tous les élèves ont été sélectionnés dans le cadre d une seule enquête. Les résultats seront analysés, suivant les besoins, sur la base de l échantillon international, national/régional ou cantonal. Pour des raisons financières, les échantillons national, régionaux et cantonaux ne concernent plus des classes entières mais ils ont été constitués de la même manière que l échantillon international, à savoir sur la base d un échantillon d élèves par école 30. Les cantons romands ont toutefois souhaité de tester des classes entières pour leurs échantillons cantonaux. Ce souhait a pu être concrétisé, ce qui rend l échantillon PISA 2006 particulièrement complexe. D 3.1 Caractéristiques des différents échantillons Niveau international Au moins 4'500 élèves de 15 ans répartis dans au moins 150 écoles. Sélection aléatoire de 35 élèves par école. Niveau national / régional Au moins 4'500 élèves, parmi lesquels au minimum 1'500 élèves de chaque région linguistiques (Suisse italienne, minimum 1'000). Niveau cantonal Suisse alémanique : 1'000 élèves de 9 e année. Suisse romande : 1'500 élèves. Plusieurs classes de 9e année ont été sélectionnées par école. Echantillons cantonaux supplémentaires Tandis que l échantillon des élèves de 15 ans permettra de faire des comparaisons entre la Suisse et les autres pays, l échantillon des élèves de 9 e année rend possible les comparaisons au sein de la Suisse, c est-à-dire entre les régions linguistiques ainsi qu entre les cantons. Le système d échantillonnage différent en Suisse romande permet malgré tout une comparaison de tous les cantons avec échantillons supplémentaires. Les cantons d Argovie, Bâle-Campagne, Berne (partie alémanique), Schaffhouse, St. Gall, Thurgovie, Valais (partie alémanique) et Zürich ainsi que tous les cantons romands (Fribourg : partie francophone uniquement) ont opté pour un échantillon supplémentaire. Le Tessin n a pas participé à l échantillon cantonal supplémentaire. Toutefois, étant donné que 95 % des élèves de l échantillon de la Suisse italienne viennent du Tessin, il est également possible de tirer des conclusions sur ce canton sur la base de l échantillon régional. 30 Une concentration des risques existe lors du tirage de classes entières, dans la mesure où les performances ne sont pas indépendantes de l appartenance à une classe. Afin d obtenir la précision souhaitée pour les estimations statistiques au niveau de l école et du canton, il est de ce fait nécessaire de tester plus d élèves, ce qui engendre des frais plus importants. 31

D 3.2 Nombre d élèves ayant participé à PISA 2006 Tableau D 3 : Les échantillons de PISA 2006 en Suisse Canton/région Total Jeunes de 15 ans Elèves de neuvième Suisse alémanique 12'054 8'560 9'882 AG 1'425 960 1'118 BE_d 1'519 1'144 1'184 BL 1'253 880 967 SG 1'530 1'052 1'168 SH 929 542 893 TG 1'523 1'080 1'247 VS_d 990 812 978 ZH 1'469 1'040 1'176 Autres cantons 1'416 1'050 1'151 Suisse romande 11'349 6'060 10'550 BE_f 887 611 856 FR_f 1'796 1'111 1'722 GE 2'134 845 1'940 JU 820 534 791 NE 1'758 882 1'629 VD 2'001 1'213 1'783 VS_f 1'953 864 1'829 Suisse italienne 1'298 483 1'105 SUISSE 24'701 15'103 21'537 32

Annexe E Finances - PISA 2000 PISA 2000 Bilan de l enquête nationale Positions Dépenses 1998 1999 2000 2001 2002 2003 TOTAL 000 Totaux généraux 284'917 666'683 932'290 538'610 316'000 176'664 2'915'164 100 Participation CH/OCDE 60'000 60'000 65'700 65'700 0 0 251'400 200 Frais de voyage 4'270 9'293 6'000 0 0 0 19'563 300 Direction générale 125'750 270'612 230'098 43'620 0 0 670'080 Direction nationale 123'500 197'350 109'105 43'620 0 0 Centres régionaux 2'250 73'262 120'993 0 0 0 400 Expertises 29'233 66'836 109'164 411'231 305'000 173'515 1'094'979 Adaptations - PRETEST 29'233 49'241 17'880 0 0 0 Adaptations -TEST 0 1'240 40'591 0 0 0 Analyses des résultats 0 9'098 30'560 406'971 305'000 173'515 Expertises divers 0 7'257 20'133 4'260 0 0 500 Préparation des tests 64'164 64'896 153'189 0 0 0 282'249 Coord. des travaux-pretest 0 20'000 0 0 0 0 Coord. des travaux-test 0 0 55'330 0 0 0 Fabrication - PRETEST 59'764 32'896 0 0 0 0 Fabrication - TEST 0 0 20'243 0 0 0 Matériel et envoi 0 0 48'616 0 0 0 Echantillon 4'400 12'000 29'000 0 0 0 600 Passation prétests et tests 0 28'039 107'189 0 0 0 135'228 Examinateurs (20.-) 0 28'039 107'189 0 0 0 700 Traitement des données 0 119'326 218'174 17'620 0 0 355'120 Codification-PRETEST 0 86'960 0 0 0 0 Codification-TEST 0 0 137'491 0 0 0 Saisie-PRETEST 0 32'366 0 0 0 0 Saisie-TEST 0 0 80'683 17'620 0 0 Options 0 0 0 0 0 0 800 Divers 1'500 47'681 42'776 439 11'000 3'149 106'545 Communication 1'500 47'681 42'776 0 11'000 2'151 Divers 0 0 0 439 0 998 Réserve 0 0 0 0 0 0 33

Annexe F Finances - PISA 2003 PISA 2003 Bilan de l enquête nationale PISA 2003 - Bilan de l'enquête nationale Dépenses Positions 2000 2001 2002 2003 2004 Total 2005 PISA 2003 000 Totaux généraux 40'470 405'455 1'190'090 1'663'148 587'132 445'621 4'331'916 100 Coûts internationaux 0 0 74'150 73'983 77'372 0 225'505 110 participation OCDE 74'150 73'983 77'372 225'505 120 options nationales 0 200 Frais de voyage 0 4'100 45'971 45'621 0 0 95'692 210 NPM meetings 4'100 13'811 3'700 21'611 220 Autres meetings 32'160 41'921 74'081 300 Direction générale 40'470 226'135 445'290 449'191 105'505 0 1'266'591 310 Direction nationale 40'470 149'935 354'572 201'395 105'505 851'877 320 Centres régionaux 0 76'200 90'718 247'796 0 0 414'714 400 Expertises 0 125'550 161'896 136'818 277'723 206'909 908'896 410 Trad./Adaptations - PRETEST 53'000 31'690 5'800 90'490 420 Trad./Adaptations -TEST 7'000 22'690 29'690 430 Analyses des résultats 32'750 220'345 206'909 460'004 440 Expertises 62'550 123'206 75'578 56'778 318'112 450 Expertises spéciales 10'000 600 10'600 500 Préparation des tests 0 16'740 40'602 31'860 0 0 89'202 510 Préparation mat. PRETEST 16'740 11'224 27'964 520 Préparation mat. TEST 10'922 6'900 17'822 530 Fabrication - PRETEST 16'656 16'656 540 Fabrication - TEST 5'000 5'000 550 Impression PRETEST 3'960 3'960 560 Impression TEST 6'000 6'000 570 Envoi PRETEST 1'800 1'800 580 Envoi TEST 10'000 10'000 600 Echantillons 0 32'930 69'414 20'761 0 0 123'105 610 Echantillons PRETEST 32'930 36'697 69'627 620 Echantillons TEST 32'717 20'761 53'478 700 Passation 0 0 37'655 152'523 0 0 190'178 710 TA PRETEST 37'655 37'655 720 TA TEST 152'523 152'523 800 Traitement des données 0 0 233'937 716'181 8'791 0 958'909 810 Codification PRETEST 148'649 148'649 820 Codification TEST 2'300 456'567 458'867 830 Saisie PRETEST 82'988 82'988 840 Saisie TEST 259'614 8'791 268'405 900 Divers 0 0 81'175 36'210 117'741 238'712 473'838 910 Options (y.c. BPC Lucerne) 251 6'000 60'060 66'311 920 Communication 69'114 20'546 57'681 38'712 186'053 930 Option Langues étrangères 11'810 11'810 940 Réserves 0 950 Perte reportée de PISA 2000 9'664 9'664 960 Restitution Bildungsmonitoring 200'000 200'000 34

Annexe G Finances - PISA 2006 PISA 2006 - Budget pour l'enquête nationale Budget TOTAL Positions 2004 2005 2006 2007 2008 PISA 2006 000 Totaux généraux 544'743 1'246'127 1'463'830 736'170 235'000 4'225'870 100 Participation aux frais OCDE 0 78'300 78'300 78'400 0 235'000 110 Projet international 0 78'300 78'300 78'400 235'000 120 Options nationales 0 0 200 Direction générale 357'500 356'450 281'850 235'800 0 1'231'600 210 Direction nationale et soutien rég. 320'304 274'000 197'200 235'800 1'027'304 220 Coordinations régionales 26'054 49'550 53'500 0 129'104 230 Voyages CH et étranger 11'142 32'900 31'150 0 75'192 300 Outils de test 110'124 158'475 108'134 0 0 376'733 310 Elaboration des tests / items 50'124 36'800 10'000 0 96'924 320 Traduction/adaptation prétest 39'000 8'000 0 0 47'000 330 Traduction/adaptation test 0 36'000 0 0 36'000 340 Matériel de prétest 21'000 61'675 0 0 82'675 350 Matériel de test 0 16'000 98'134 0 114'134 400 Echantillonnage 24'728 61'400 16'800 0 0 102'928 410 Préparation Prétest 20'728 0 0 0 20'728 420 Réalisation Prétest 4'000 23'400 0 0 27'400 430 Réalisation Test 0 38'000 16'800 0 54'800 500 Passation 40'224 166'118 204'275 0 0 410'617 510 Préparation PRETEST 40'224 46'150 0 0 86'374 520 Réalisation PRETEST 0 39'968 0 0 39'968 530 Préparation TEST 0 80'000 80'950 0 160'950 540 Réalisation TEST 0 0 123'325 0 123'325 600 Traitement des données 0 264'015 548'923 0 0 812'938 610 Codification PRETEST 0 161'615 0 0 161'615 620 Codification TEST 0 0 351'033 0 351'033 630 Saisie PRETEST 0 102'400 0 0 102'400 640 Saisie TEST 0 0 193'830 0 193'830 650 Multiple Coding TEST 0 0 4'060 0 4'060 700 Analyses 0 15'600 62'400 316'800 230'000 624'800 710 Prétest 0 15'600 0 0 15'600 720 Préparation 0 0 62'400 0 62'400 730 Réalisation Synthèse 0 0 0 100'000 100'000 740 Réalisation Rapports 0 0 0 170'000 200'000 370'000 750 Réalisation Rapports thématiques 0 0 0 0 30'000 30'000 760 Divers 0 0 0 46'800 46'800 800 Divers 12'167 145'769 163'148 105'170 5'000 431'254 810 Communication 12'167 52'800 61'400 29'400 155'767 820 Expertises spéciales 0 0 0 50'000 50'000 830 Réserves Projet 0 51'429 80'978 5'000 5'000 142'407 840 Réserves TVA 0 41'540 20'770 20'770 0 83'080 35

Annexe H Les principales étapes d un cycle PISA 2006 - Etapes et travaux Jusqu en octobre 2004 Novembre 2004 Janvier 2005 Avril à mai 2005 Juin 2005 Juillet octobre 2005 Novembre 2005 Janvier février 2006 Développement des épreuves pour la pré-enquête Tirage des écoles et contacts par les 4 centres de coordination Tirage des élèves PRE-ENQUETE Codification des réponses et saisie des données Analyse des résultats, choix des épreuves pour le test Tirage des écoles Tirage des élèves Avril mai 2006 ENQUETE 2006 Juin - juillet 2006 Fin 2007 Codification des réponses et saisie des données Premiers rapports comparatifs 36

PISA 2009 - Etapes et travaux La direction nationale de PISA 2009 n a pas été confiée à l OFS. Ce dernier a arrêté les travaux préparatoires au 31.12.2007 et transmis toutes les informations nécessaires au nouveau consortium national. Janvier 05 décembre 06 Janvier novembre 07 Novembre 07 mars 08 Février juin 2008 Août novembre 08 Préparation des scénarii au niveau international et au niveau national Préparation des options nationales Participation aux développements internationaux Préparation des échantillons et tirage des écoles Tirage des écoles et des élèves Préparation du matériel d évaluation Organisation et réalisation de la pré-enquête Choix des unités pour enquête principale Préparation des analyses et de la diffusion Novembre 08 mars 09 Février juillet 09 Août 09 mars 10 Tirage des écoles et des élèves Préparation du matériel d évaluation Organisation et réalisation de l enquête Validations et pondérations des données Avril décembre 2010 Diffusion : Analyses et rapport national (élèves de 15 ans) Janvier décembre 2011 Diffusion : Analyses et diffusion des résultats (élèves de 9 e année) Données à disposition des cantons 37

Annexe I Les pays participants à PISA 2000-2003-2006 Allemagne Japon * Argentine * Jordanie Australie * Lettonie Autriche * Liechtenstein * Azerbaïdjan * Littuanie Belgique Luxembourg * Brésil * Macao Chine * Bulgarie Mexique Canada Norvège * Chili Nouvelle-Zélande * Colombie Pays-Bas Corée Pologne * Croatie Portugal Danemark * Qatar Espagne * République du Kyrgystan * Estonie République du Monténégro Etats-Unis République serbe * Fédération de Russie République slovaque Finlande République tchèque France * Roumanie Grande-Bretagne * Russie Grèce * Slovénie * Hong Kong Chine Suède Hongrie Suisse * Indonésie * Taïpei Chine Irlande * Thaïlande Islande * Tunisie * Israël Turquie Italie * Uruguay * Pays non membres de l OCDE Les pays qui ont déjà participé au PISA 2000 sont indiqués en caractères italiques. Les pays qui ont déjà participé à l enquête 2003 sont indiqués en caractères gras. 2000 2003 2006 Total OCDE 29 30 30 Total non-ocde 14 11 27 Total général 43 41 57 38

Annexe J Bibliographie Barbuti, A. and Carcano, C. (USR 2003) PISA 2000 : Bravo chi legge. (communiqué de presse). Broi, A.-M. et al., (OFS/CDIP 2003). Les compétences en littératie. Rapport thématique de l enquête PISA 2000. Buschor, E. et al., (OFS/CDIP, 2003). PISA 2000 : Synthèse et recommandations. CEA (2002) Résultats de PISA 2000 des cantons suisse-alémaniques et de la principauté du Liechtenstein. CEA (2005) Résultats de PISA 2003 des cantons suisse-alémaniques et de la principauté du Liechtenstein. Coradi Vellacott, M. et al., (BFS/EDK, 2003). Soziale Integration und Leistungsförderung. Thematischer Bericht der Erhebung PISA 2000. Holzer, T. (OFS, 2005) PISA 2003 - Facteurs d'influence sur les résultats cantonaux, dans Actualités OFS. Larcher, S., Oelkers, J., (BFS/EDK, 2003). Die besten Ausbildungssysteme. Thematischer Bericht der Erhebung PISA 2000. Meyer, T., et al., (BFS/EDK, 2003). Bildungswunsch und Wirklichkeit. Thematischer Bericht der Erhebung PISA 2000. Meyer, T. et al., (OFS/TREE 2003). Parcours vers les formations postobligatoires. Moser, U. (OFS/CDIP, 2001). Préparés pour la vie? Les compétences de base des jeunes Synthèse du rapport national PISA 2000. Moser, U., & Berweger, S. (BFS/EDK, 2003).Lehrplan und Leistungen. Thematischer Bericht der Erhebung PISA 2000 Nidegger, C., (éd.), (IRDP, 2001). Compétences des jeunes romands : résultats de l enquête PISA 2000 auprès des élèves de 9 è année. Nidegger, C. (IRDP, 2005) PISA 2003 : Compétences des jeunes romands, Résultats de la seconde enquête. OCDE (1999a) Mesurer les connaissances des élèves. Un nouveau cadre d évaluation pour PISA 2000. OCDE/PISA (éd.) (1999b). Mesurer les connaissances et compétences des élèves Un nouveau cadre d évaluation. OCDE/PISA (2000) PISA 2000 : Mesurer les connaissnces et les compétences des élèves. OCDE/PISA (éd.) (2001a). Summary of Problem Solving Framework. OCDE/PISA (éd.) (2001b). Connaissances et compétences : des atouts pour la vie. Premiers résultats de PISA 2000. Enseignement et compétences. OCDE/UIS (2003). PISA 2000 : Compétences pour le monde de demain Résultats supplémentaires. OCDE/PISA (éd.) (2003a). La lecture, moteur de changement. Performances et engagement d un pays à l autre. Résultats de PISA 2000. OCDE/PISA (éd.) (200b) Literacy Skills for the World of Tomorrow. Further Results from PISA 2000. OCDE/PISA (éd.) (2003c) Learners for Life. Student Approaches To Learning. Results from PISA 2000. OECD/PISA (éd.) (2003d). Student Engagement at School. A Sense of Belonging and Participation. Results from PISA 2000 OCDE/PISA (2003e) Cadre d évaluation de PISA 2003. OCDE/PISA (éd.) (2004a) Apprendre aujourd hui, réussir demain. Premiers résultats de PISA 2003 OCDE/PISA (éd.) (2004b) Résoudre des problèmes, un atout pour réussir. Premières évaluations des compétences transdisciplinaires issues de PISA 2003 OCDE/PISA (éd.) (2004c). Problem solving for tomorrow s world 39

OCDE/PISA (2004d). What make school systems perform? Seeing school systems trough the prism of PISA 2000. OCDE/PISA (2006a) PISA 2003 : Where immigrant students succeed. OCDE/PISA (2006b) PISA 2003 : Are student ready for a Technology-Rich World? OCDE (2006c) The PISA 2006 Assessment Framework. Pedrazzini-Pesce, F., (2003). Bravo chi legge. I risultati dell indagine PISA 2000. Ramseier, E., et al., (BFS/EDK, 2002). Bern, St. Gallen, Zürich : Für das Leben gerüstet? Die Grundkompetenzen der Jugendlichen Kantonaler Bericht der Erhebung PISA 2000. Ramseier, E., et al., (BFS/EDK 2002). PISA 2000 : Bern, St.Gallen, Zürich : Préparés pour la vie? L essentiel en bref. Renaud, A., (OFS 2002). Programme international pour le suivi des acquis des élèves pour PISA 2000 en Suisse. Zahner, C. et al., (OFS/CDIP 2002). Préparés pour la vie? Les compétences de base des jeunes Rapport national de l enquête PISA 2000. Zahner Rossier, C. (coord.) (OFS/CDIP 2004). PISA 2003 : Compétences pour l avenir. Premier rapport national Zahner Rossier, C. (éd.) (2005) PISA 2003 : Compétences pour l avenir. Deuxième rapport national. 40

Annexe K Adresses Direction nationale du programme Conférence suisse des directeurs cantonaux de l instruction publique Office fédéral de la statistique Secrétariat général CDIP Espace de l Europe 10 Zähringerstrasse 25 2010 Neuchâtel Case postale 5975 Huguette Mc Cluskey 3001 Berne Tél. 032 713 62 41 Heinz Rhyn Courriel huguette.mccluskey@bfs.admin.ch Tél. 031 309 51 51 Courriel rhyn@edk.unibe.ch Coordination pour la Suisse alémanique I (AG,BL,BS,LU,NW,OW,SO,SZ,UR,VS-d,ZG,ZH) Institut für Bildungsevaluation (IBE) Assoziiertes Institut der Universität Zürich Wilfriedstrasse 15 8032 Zürich Urs Moser Tél. 043 268 39 61 Courriel urs.moser@ibe.uzh.ch Coordination pour la Suisse alémanique II (AI,AR,BE-d,FL,FR-d,GL,GR-d,SG,SH,TG) Pädagogische Hochschule St. Gallen Forschungsstelle Notkerstrasse 27 9000 St. Gallen Christian Brühwiler & Grazia Buccheri Tél. 071 243 94 80 Courriel christian.bruehwiler@unisg.ch & Grazia.Buccheri@unisg.ch Coordination pour la Suisse romande (BE-f,FR-f,GE,JU,NE,VD,VS-f) Consortium romand de recherche pour l évaluation des acquis et des compétences des élèves c/o Service de la recherche en éducation Quai du Rhône 12 1205 Genève Christian Nidegger Tél. 022 327 74 19 Courriel christian.nidegger@etat.ge.ch Coordination pour la Suisse italienne (TI,GR-i) Ufficio studi e ricerche Viale S. Franscini 32 Stabile Torretta 6500 Bellinzona Myrta Mariotta Tél. 091 814 63 71 Courriel myrta.mariotta@ti.ch N :pisa/104.01/descriptprojet/rolling_paper_f_080213 41