Référentiels théoriques d évaluation des programmes : rapports à la formation professionnelle universitaire des enseignants

Référentiels théoriques d évaluation des programmes : rapports à la formation professionnelle universitaire des enseignants Nicole Lebrun Juan M. Wood Université du Québec à Montréal (Canada) La dernière décennie a été témoin de changements importants dans les programmes de formation des maîtres au Québec. Ces changements obéissaient en partie à des réflexions approfondies sur les tâches et les rôles accomplis par l enseignant. Aussi, trois éléments majeurs sont à l origine du renouveau des programmes universitaires de formation à l enseignement, à savoir : la pratique réflexive, la formation en partenariat école-milieu et l approche par compétences. La mise en application des nouveaux programmes de formation des maîtres axés sur le développement des compétences professionnelles exige de revoir certaines conceptions de l évaluation de programmes et la nature même des dispositifs d évaluation s y rapportant. Aussi, importe-t-il d examiner les nouvelles approches d évaluation, leur nature et leurs fonctions, afin de développer un dispositif et une instrumentation qui permettent de recueillir de façon précise l information nécessaire à l évaluation des programmes de formation des maîtres. Après avoir fait ressortir la distinction entre différentes conceptions de l évaluation de programmes, leurs assisses théoriques et leur évolution, nous aborderons différentes questions reliées à l évaluation de programmes pour en dégager quelques implications associées à l élaboration de dispositifs mieux adaptés à l évaluation de programmes universitaires de formation à l enseignement. Les programmes de formation des maîtres La refonte des programmes de formation des maîtres au Québec, axée sur le développement des compétences, comporte des changements importants, notamment en ce qui concerne les approches pédagogiques utilisées pour la formation des futurs enseignants, le renouvellement des pratiques de formation, la participation accrue du milieu dans la formation pratique ainsi que le temps alloué aux stages de formation. Cependant, malgré les approches innovatrices proposées par la refonte des programmes, force est de constater que les dispositifs d évaluation de programmes utilisent des devis plutôt traditionnels qui ne permettent pas de connaître les apports des changements expérimentés (Wood, Lebrun, 2006). Ces devis, selon Guba (1989), ne donnent pas la possibilité d apprécier pleinement les mérites et la valeur des processus utilisés dans le programme évalué ; ils apportent plutôt des informations sur les mérites des enseignements dispensés, l acquisition des connaissances des étudiants ou encore des données statistiques d un intérêt plus administratif qu académique. Les approches en évaluation de programmes de formation des maîtres obéissent ainsi à des exigences d évaluation de nature sommative, principalement axées sur l obtention des donnés visant l efficacité (atteinte d objectifs), l efficience (économie de la gestion administrative) et le coût de la formation. Ainsi, les résultats des évaluations ne rendent pas justice au processus de formation relativement aux méthodologies sélectionnées et aux modalités de la formation pratique, deux composantes essentielles du modèle du maître IUFM Nord-Pas de Calais 337 Qu est-ce qu une formation professionnelle universitaire des enseignants? 2009 (337-344) Tome 2

J.M. WOOD, N. LEBRUN professionnel préconisé par la réforme des programmes au Québec. Cette situation est fort préoccupante si l on tient compte du fait que les résultats des évaluations de programmes ont un impact majeur sur les décisions relatives à l évolution des programmes de formation des maîtres. Notion d évaluation À ce stade-ci, il est important de rappeler deux conceptions importantes dans le domaine de l évaluation en général et de l évaluation de programmes en particulier. La première, prônée par Tyler (1950), définit l évaluation comme un processus qui permet de déterminer le degré d atteinte des objectifs éducatifs d un programme, conception qui constitue la base des évaluations centrées sur l efficacité du programme. La deuxième, défendue par Stufflebeam et al., (1971) et Alquin (1969), caractérise l évaluation comme la production d informations nécessaires au processus de prise de décisions sur un programme donné. À partir des années quatre-vingt, un consensus a semblé se dessiner entre les théoriciens afin de définir la spécificité de l évaluation de programmes comme l appréciation du mérite et de la valeur d un programme de formation (Joint Committee, 1994 ; Scriven, 1991). Une phase appréciative conduisant à l émission d un jugement sur le programme évalué venait ainsi s ajouter à la fonction jusqu ici descriptive (efficacité et efficience) du programme. Par ailleurs, Nevo (1995, p. 11), respectant les orientations de Stake (1967) et de Guba et Lincoln (1981), décrit l évaluation comme «an act of collecting systematic information regarding the nature and the quality of educational objects» 1. Notions de «description» et de «jugement» sont ainsi réunies dans une même définition ; la première, réalisée sur la base de la collecte systématique des données, permet d apporter des informations objectives tandis que la deuxième, construite sur la base d un jugement orienté sur la qualité d un programme, est influencé par des valeurs et des normes sociales ainsi que par les préférences individuelles des acteurs impliqués dans le programme proprement dit. Principales orientations dans le domaine de l évaluation de programmes Tel que présenté dans les travaux d Alkin (2004), un certain nombre d auteurs soutiennent que la fonction la plus importante dans le domaine de l évaluation de programmes est de guider la pratique de l évaluation. Cependant, lorsqu il s agit de déterminer de façon plus précise le rôle des diverses assises théoriques, l unanimité n est plus au rendez-vous (Mark, Henry et Julnes, 2000). À ce premier constat, s ajoute la grande disparité des référentiels théoriques qui existent dans ce domaine, leur sous-utilisation ainsi que le peu d influence qu ils exercent en général sur les évaluations de programmes. (Christie, 2003) Néanmoins, quelques approches développées entre autres, par Patton (1997) et Chen (1990, 2005), permettent un certain arrimage entre la théorie et la pratique en énonçant des modalités évaluatives plus accessibles. Selon ces auteurs, les besoins exprimés par les parties concernées par l évaluation de programmes constituent non seulement le point de départ de toute évaluation mais également le point d ancrage de tout référentiel qui désire établir un pont entre les méthodologies utilisées et les assisses théoriques. Comme le souligne Chen (2005), les étapes d évaluation commencent dès le début, par l évaluation de la phase de conception du programme, se poursuivent par l évaluation de sa 1 «Le fait de recueillir des informations concernant la nature et la qualité d objets éducatifs». 338 IUFM Nord-Pas de Calais

Référentiels théoriques d évaluation des programmes : rapports à la formation professionnelle universitaire des enseignants mise en application et se terminent par l évaluation des résultats obtenus par le programme. De plus, les travaux de Chen (2006) ont démontré que les dispositifs d évaluation doivent être tributaires de l étape d implantation à laquelle est parvenu un programme. En accord avec les résultats précédents, le choix des objectifs et de la méthodologie dans l élaboration d un dispositif d évaluation devrait être, selon Mark et al., (2000), le résultat d une appréciation de ces derniers dans la mise en relief de la contribution sociale du programme lui-même. Considérations dans la perspective de l évaluation des programmes de formation des maîtres Les programmes de formation de maîtres ne semblent pas s être dotés jusqu ici de dispositifs qui tiennent compte des changements importants survenus dans le domaine de l évaluation à savoir, les fonctions (finalités) de l évaluation, les devis méthodologiques ainsi que les formes de participation des différents acteurs à l ensemble du processus évaluatif. Aussi, cinq fonctions retiennent plus particulièrement notre attention dans une perspective d évaluation de programmes de formation des maîtres, à savoir : la prise de décisions, l amélioration du programme, la reddition des comptes, la professionnalisation et la certification. La prise de décisions. Les travaux de Weiss (2004) ont permis de mettre en lumière une meilleure compréhension des stratégies que les organisations institutionnelles utilisent dans le processus de prise de décisions et la façon dont ce processus est influencé par les résultats de l évaluation. Il est démontré qu un dispositif d évaluation centré sur les stratégies d aide à la prise de décisions présente des caractéristiques fort différentes du dispositif d évaluation axé sur l efficacité, l efficience ou l impact d un programme. Par ailleurs, les résultats de l évaluation peuvent être utiles à l étape de prise de décisions auxquelles sont confrontées les parties concernées dans un programme. Aussi, dans ce contexte, l évaluation doit apporter des informations qui assurent une meilleure compréhension des questions, des problèmes et des préoccupations des diverses parties concernées ; ce qui permet de considérer entre autres des alternatives possibles pour les prises de décisions ultérieures. L amélioration. Les études de Campbell (in Shadish et al., 1995) ont souligné l importance d analyser les effets potentiels d un programme avant même son implantation. L évaluation d un certain nombre de facteurs dans la phase d implantation expérimentale d un programme permet d acquérir des connaissances sur le développement futur du programme. Ainsi, l analyse des effets potentiels d un programme procure à l évaluateur des informations sur les modifications nécessaires avant que l implantation du programme ne soit réalisée. Pour mener à bien cette évaluation préalable, Campbell (in Shadish et al., 1995) suggère l utilisation de devis expérimentaux et quasi-expérimentaux afin d obtenir des données sur un certain nombre d effets attendus comme résultats de l application du programme. La possibilité d examiner les effets potentiels des modifications à apporter dans un programme est considérée comme un apport précieux au succès de l intégration même de ces changements Aussi, le dispositif d évaluation doit permettre la description ainsi que l appréciation par les parties concernées sur les éléments suivants de la formation : les apprentissages réalisés par les futurs enseignants, l enseignement dispensé par les formateurs, les moyens didactiques, les instruments d évaluation des apprentissages, la formation pratiques etc. Reddition des comptes. Les recherches de Wholey (2003) ont mis en évidence le rôle principal de l évaluation comme le développement de dispositifs permettant de mieux mesurer la performance d un programme. Les résultats obtenus permettent d accompagner d une IUFM Nord-Pas de Calais 339

J.M. WOOD, N. LEBRUN part, les décideurs dans la prise de décisions et d identifier d autre part, des problèmes qui pourraient affecter la performance du programme. L identification de ces problèmes permet ainsi une rétroaction rapide sur les conséquences des décisions prises par les parties concernées. Les institutions universitaires doivent développer des critères pour évaluer cette dernière fonction dans le cadre des programmes de formation des maîtres. La professionnalisation. La fonction de l évaluation dans la professionnalisation des enseignants consiste principalement à développer les ressources nécessaires de façon à permettre aux formateurs de s impliquer davantage dans l évaluation de la formation et d adopter, s il y a lieu, des pratiques d autoévaluation. Ceci est avancé par Patton (1996) qui, à l égard de Stake (2004), est un défenseur farouche de la participation des parties concernées dans le processus d évaluation de programmes et de l utilisation des résultats. La prise en compte des recommandations provenant entre autres des formateurs eux-mêmes dans la planification du dispositif d évaluation est ainsi considérée comme fondamentale. (Patton, (1996) La certification. La fonction de certification dans les programmes universitaires de formation des maîtres est réalisée généralement par des organismes externes. Celle-ci doit être reconsidérée afin d explorer des modalités qui permettant aux institutions de formation des maîtres de devenir des partenaires à part égale dans l accréditation de la formation. Domaines de la pratique de l évaluation des programmes de formation des enseignants Force est de constater que les besoins en évaluation de programmes de formation des maîtres sont fort particuliers en raison de la nature et du rôle de ses composantes telles que la formation disciplinaire, la formation pratique, le type d apprentissages visés, les projets pédagogiques, le matériel didactique, le corps professoral, etc. Considérées globalement dans les évaluations dites traditionnelles, ces différentes composantes doivent être l objet, au contraire, d une attention toute particulière dans la construction de dispositifs d évaluation. En effet, l évaluation de programmes de formation universitaire des enseignants qui s effectue généralement après deux à trois ans de leur mise en application se fait principalement en fonction de critères et d indicateurs imposés de l extérieur. Ceci signifie que les parties impliquées directement dans la réforme tels que les formateurs et les futurs enseignants ne sont pas ou peu impliqués dans la planification du dispositif d évaluation. Pourtant, leur participation est requise aux différentes étapes de l évaluation afin d apporter des informations pertinentes aux évaluateurs qui doivent émettre des appréciations et des jugements sur la formation. Il semble évident que la représentation des différentes parties concernées par la formation constitue un des éléments incontournables dans le processus d évaluation mis en place et cela, afin de connaître les diverses interprétations contextuelles données par les participants face aux changements et aux modifications éventuellement apportés au programme. De prime abord, il est important que ces appréciations soient réalisées aux différentes étapes de l élaboration d un programme, dès le départ de sa conception jusqu à l étape finale. En effet, Bélanger et al., (2002) soulignent que le milieu doit être en mesure de légitimer les démarches évaluatives afin de garantir des dispositifs qui répondent véritablement aux besoins des parties impliquées et ne relèvent pas simplement de l application de guides protocolaires imposés par les autorités en place. De plus, comme le souligne Donalson (2003), 340 IUFM Nord-Pas de Calais

Référentiels théoriques d évaluation des programmes : rapports à la formation professionnelle universitaire des enseignants ces démarches devraient être ancrées dans un référentiel et un processus d évaluation qui tiennent compte davantage des assisses théoriques et des études dans le domaine. Aussi, l évaluation participative des programmes place non seulement les principaux acteurs au cœur du processus d évaluation mais les dispositifs mis en place font davantage appel à la créativité des parties concernées plutôt qu à une simple réaction de leur part (Senge, 1990). Dans ce dispositif d évaluation, les questions posées doivent conduire à la formulation de réflexions sur la formation dispensée. Les changements préconisés par les recommandations de l évaluation de programmes sont ainsi appuyés par les parties concernées et facilitent conséquemment l implantation de ces dits changements. À titre d exemple, nous présentons deux composantes-clés dans l évaluation de programmes de formation des maîtres afin d illustrer comment la conception et la valeur données à une composante du programme peut influencer le dispositif d évaluation dans sa globalité. L évaluation des étudiants. La distinction apportée par Nevo (1995) relativement à la fonction d évaluation des étudiants dans un dispositif d évaluation est fort intéressante. Ce dernier propose de faire une distinction entre les fonctions primaires et secondaires de l évaluation des étudiants. Les fonctions primaires de l évaluation des étudiants sont celles qui apportent des informations relativement à l amélioration des apprentissages et à la certification des acquis. Les fonctions secondaires de l évaluation des étudiants sont celles où l étudiant ne constitue pas directement l objet d évaluation. Cet objet peut être soit le formateur, soit l institution ou toute autre composante de la formation. À partir des distinctions faites par Nevo (1995), il est souhaitable qu un dispositif d évaluation de programmes de formation à l enseignement vise trois fonctions primaires relatives à l évaluation des étudiants, soit le diagnostic, l amélioration, et la certification et trois fonctions secondaires, soit la reddition des comptes, la motivation et la discipline. Développement professionnel. Le but de cette composante vise principalement, selon Nevo (1994), le développement des compétences des futurs enseignants et la reconnaissance professionnelle. À ce sujet, la reddition des comptes représente souvent la fonction dominante dans les dispositifs d évaluation, perspective qui repose sur une conception bureaucratique de l enseignement. En effet, elle présente l enseignement comme un processus où les objectifs, le curriculum, et les méthodes d enseignement sont déterminés par des administrateurs et/ou des experts et où, par conséquent, la responsabilité de l enseignant est liée à l application d un curriculum prédéterminé. Campbell (2004) souligne que l évaluation qui a pour but le développement professionnel considère, au contraire, l enseignement comme un processus complexe qui exige l identification des besoins, l établissement des buts, le choix des stratégies, etc., et utilise conséquemment une approche plutôt formative et auto évaluative. Dans une perspective d évaluation participative des programmes, des approches alternatives telles que l «évaluation responsabilisante» (Fetterman, 1996, 2005), l «évaluation systématique» (Boyd et al., 2005), ou encore le «modèle logique de l évaluation» (Rogers et al., 2000) permettent d évaluer les futurs enseignants dans la pratique et d apprécier leur performance dans un processus de résolution de problèmes. De même, le «pilotage du rendement» (Luce et Thompson, 2005), la «recherche-action» (Reason et Bradbury, 2001), l «enquête évaluative» (Preskill et Torres, 1999) ou encore l «enquête d appréciation» (Preskill et Coghlan, 2003) constituent des choix d ordre méthodologique appropriées pour recueillir les informations et les données. Comme instrument d évaluation, certains privilégient le portfolio d une part, en raison de l importance qu il accorde à la participation de l étudiant dans le processus d évaluation et à l interaction entre les étudiants/superviseurs et IUFM Nord-Pas de Calais 341

J.M. WOOD, N. LEBRUN d autre part, parce qu il permet l appréciation des approches et de pratiques pédagogiques axées sur l apprentissage actif. Conclusion Dans cet article, nous avons présenté de façon sommaire quelques développements dans le domaine de l évaluation qui peuvent s avérer utiles dans l élaboration de dispositifs d évaluation plus conformes aux besoins actuels en évaluation de programmes de formation des maîtres. Un des défis majeurs devant lesquels sont placés les programmes universitaires de formation à l enseignement concerne la mise en œuvre de dispositifs d évaluation de programmes non seulement valides, fiables et réalisables mais qui tiennent compte des principaux acteurs concernés et cela, à toutes les étapes du processus d évaluation. Dans cette perspective, une approche axée sur l évaluation participative qui implique une nouvelle orientation dans la façon de concevoir l évaluation de programmes de formation des maîtres représente une des voies les plus prometteuses. Toutefois, elle implique la révision des pratiques actuelles, tant au niveau des finalités et des fonctions de l évaluation qu au niveau des devis méthodologiques utilisés afin de permettre l appréciation et l amélioration des différentes composantes de la formation des futurs enseignants. Aussi, importe-t-il de revoir l ensemble de ces pratiques car les résultats des évaluations de programmes ont un impact majeur sur les décisions relatives à l évolution des programmes universitaires de formation à l enseignement. Bibliographie ALKIN M. et CHRISTIE C. A. (2004) «An evaluation theory tree» - in M. C ALKIN (éd.), Evaluations Roots : Tracing theorists views and influences pp. 12-67. Thousands Oaks, Sage. ALQUIN M. (1969) «Evaluation theory developpement» - Evaluation Comments n 2, pp. 2-7. BÉLANGER P., GOSSELIN L. et UMBRIACO M. (2002) «Les coûts de la non évaluation des politiques de l éducation au Québec» - Revue Canadienne d Évaluation de Programmes vol.17, n 1, pp. 1-23. BOYD A., GEERLIONG T., GREGORY W. et KAGAN C. (2005) «Systemic Evaluation» - Journal of the Operational Society, pp. 56-7. CAMPBELL J., KYRIAKIDES L., MUJIS D. et ROBINSON W. (2004) Assessing Teacher Effectiveness. London, Routledge Falmer. CHEN H.-T. (2005) Practical Evaluation Program. Thousands Oaks, Sage Publications. CHRISTIE C. (2003) «What Guides Evaluation? A study of how evaluation practice maps onto evaluation theory» - New Directions for Evaluation n 97, pp. 7-36. DONALDSON S. (2003) «Theory-driven program evaluation in the new millenium» in S. Donaldson, M. Scriven (éd.) Evaluating social program sand problems pp. 109-141. Mahwah, Lawence Erlbaum. 342 IUFM Nord-Pas de Calais

Référentiels théoriques d évaluation des programmes : rapports à la formation professionnelle universitaire des enseignants FETTERMAN D. (1996) «Empowerment evaluation : An introduction to theory and practice» - in D. Fetterman, S. J. Kafterian et A. Wandersman (éd.), Empowerment evaluation : knowledge and tools for self-assessment and accountability pp. 3-49. Thousands Oaks, Sage Publications. GUBA E. et LINCOLN Y. S. (1989) Fourth Generation Evaluation. Newbury Park, Sage Publications. GUBA E., LINCOLN Y. S. (1981) Effective evaluation, San Francisco, Jossey-Bass. Joint Committee on Standards for Educational Evaluation (1994) The program evaluation standards. Thousands Oaks, Sage Publications. LUCE T., THOMPSON L. (2005) Do What Works : How proven practices can improve american schools. Dallas, Ascent Education Press. MABRY L. (2003) «In living colors : qualitative methods in educational evaluation» - in T. Kellaghan et D. Stufflebeam (éd.), International handbook of educational evaluation pp. 167-189. Boston, Kluwer. MARK M., HENRY G. et JULNES G. (2000) Evaluation : An integrated framework for understanding, guiding, and improving policies and programs. San Francisco, Jossey- Bass. NEVO D. (1994) «How can teachers benefit from teacher evaluation?» - Journal of Personal Evaluation in Education vol. 8, n 2, pp. 109-117. NEVO D. (1995) School-based evaluation : A dialogue for school improvement. Oxford, Pergamon. PATTON M. (1997) Utilization-Focused Evaluation : the new century text. Thousand Oaks, Sage Publications. PRESKILL H. et COGHLAN A. (2003) «Appreciative inquiry and evaluation» - New Directions for Evaluation n 100, pp. 5-22. PRESKILL H. et TORRES R. (1999) «Building capacity for organisational learning through evaluative inquiry» - The international journal of theory researched practice vol. 5, n 1, pp. 42-60. REASON P. et BRADBURY H. (éd.) (2001) Handbook of action research : participative inquiry and practice. London, Sage Publications. ROGERS P., HACSI T., PETROCINO A. et HUEBNER T. (2000) «Program Theory Evaluation : Practice, Promise, and Problems», - New Directions for Evaluation, n 87, pp. 5-13. SCRIVEN M. (1991) Evaluation thesaurus. Newbury Park, Sage Publications. SCRIVEN M. (1997) «Empowerment evaluation examined» - Evaluation Practice, n 2, pp. 165-175. SENGE P. (1990) The fifth discipline : the art and practice of the learning organization. New York, Doubleday. SHADISH W. (1998) «Evaluation theory is who we are» - American Journal of Evaluation vol. 19, n 1, pp. 1-19. STAKE R. (1967) «The Countenence of educational evaluation» Teachers College Record, n 68, pp. 523-540. IUFM Nord-Pas de Calais 343

J.M. WOOD, N. LEBRUN STAKE R. (1981) «Setting Standards for educational evaluators» - Evaluation News, vol. 2, n 2, pp. 148-152. STAKE R. (2004) Standards-Based and responsive Evaluation. Thousand Oaks, Sage Publications. STUFFLEBEAM D. et FOLEY W. (1971) Educational evaluation and decision making. Itasca, Peacock. TYLER R. (1950) Basic Principles of Curriculum and Instruction. Chicago, University of Chicago Press. WEISS C. (2004) «Rooting for evaluation» in M. C Alkin (éd.) Evaluation Roots : Tracing theorists views and influences pp. 153-168. Thousand Oaks, Sage Publications. WHOLEY J. (2003) «Using policy evaluation to support decision making and improve program performance» - The Japanese Journal of Evaluation Studies vol. 3, n 2, pp.6-21. WOOD J. M. et LEBRUN N. (2006) «Les obstacles dans l application des innovations proposées par les réformes des systèmes scolaires» - in Y. Montoya, J.-P. Martinez et G. Boutin (dir.) L école actuelle face au changement : instruire, éduquer ou socialiser pp. 51-61. Québec, Presses de l Université du Québec. 344 IUFM Nord-Pas de Calais