Faculté de Psychologie et des Sciences de l Education Recherche-accompagnement de projet d innovation pédagogique et organisationnelle au sein du 2 ème degré professionnel de l enseignement secondaire de plein exercice Expérimenter au service de la réussite des élèves de 3 ème professionnel Damien Canzittu Stéphanie Malaise Alizée Tutak Place du Parc 18, B-7000 Mons http://www.umons.ac.be/inas
Evaluation de projet : état des lieux Des projets aux cadres diversifiés : au niveau de la structure des établissements ; des actions prévues ; des équipes éducatives ; des moyens prévus ; des thématiques visées. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 2
Quels buts principaux? 1.Une élévation de la moyenne des résultats ; 2. Une réduction de la dispersion (variance) des résultats ; 3. Une diminution de la corrélation entre l origine sociale de l élève (et plus généralement ses caractéristiques initiales) et les résultats. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 3
Evaluer, c est : Qu est-ce que l évaluation? Donner de la valeur à un jugement argumenté dans le but de prendre une décision pour agir (Raynal et Rieunier, 2009, p.188) Moyen pour y parvenir? Comparer un référé (l objet à évaluer) à un référent (un idéal) (Barbier, 1985) Consiste à définir des critères et des indicateurs dans le but de prendre des décisions, donc à choisir des éléments considérés comme pertinents dans le référent (ce qui devrait être, ce qu on projette) et à déterminer durant l action et à l issue de celle-ci, si ces éléments sont bien présents dans le référé (ce qui est) (Raynal et Rieunier, 2009, p.182) Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 4
Qu est-ce que l évaluation? Evaluer, c est jeter un regard critique sur : Les activités que nous faisons ; Les ressources (humaines, matérielles ou financières) que nous utilisons ; Les résultats que nous obtenons ou n obtenons pas. Dans le but de : Permettre une meilleure planification et gestion des activités ; Mieux comprendre et analyser ce que l on fait ; Identifier les forces et les faiblesses des activités et les modifier au besoin ; Savoir si on a obtenu les résultats désirés ; Partager notre expérience. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 5
Qu est-ce que l évaluation? 6 questions à se poser (IUFM de Grenoble) : 1. A quoi va servir cette évaluation? A réguler les processus, à contrôler les apprentissages, à restructurer l enseignement? 2. A qui les résultats sont-ils destinés? Aux enseignants, à l institution? 3. Qu est-ce qui est évalué? Des stratégies, des démarches, des apprentissages? 4. Qui évalue? Les enseignants, l équipe éducative, l institution? 5. Quand évaluer? Avant, au début pendant, à la fin du projet, d une période déterminée? 6. Comment évaluer? En observant, en analysant, grâce à des indicateurs? Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 6
Qu est-ce que l évaluation? L évaluation ne sanctionne pas nécessairement l issue d une action, mais consiste plutôt à réguler celle-ci au cours de sa mise en place. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 7
Qu est-ce que l évaluation? «Le grand défi de l évaluation est de faire en sorte qu elle devienne un moyen pour améliorer les interventions et non une nuisance à la réalisation de celles-ci. L évaluation ne devrait donc pas devenir plus importante que l intervention». MAIS il ne s agit pas de tomber dans l excès et d évaluer tout le temps importance de trouver un juste milieu Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 8
L évaluation du projet Hadji (1992, p.54) : 4 phases principales dans l évaluation d un projet 1/ Evaluation initiale 2/ Mise au point d outils d évaluation 3/ Evaluation formative 4/ Evaluation finale Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 9
Qu est-ce que l évaluation? PROJET NAISSANCE DU PROJET Emergence d une idée ; analyse de situation ; formation d une équipe ; inventaire des ressources et contraintes ; recensement des besoins FORMULATION DES OBJECTIFS (généraux et opérationnels) STRUCTURATION DU PROJET Choix des actions; recherche d intervenants; recherche d aide; répartition des tâches; préparation du dossier MISE EN ŒUVRE DES ACTIONS Réalisation et productions ANALYSE DES RÉSULTATS Bilan et perspectives Evaluation initiale Mise au point des outils d évaluation Evaluation formative Evaluation finale PHASES régulation régulation régulation Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 10
Etapes de la planification de l évaluation Deschesnes & Jomphe Hill http://www.cocof.irisnet.be/site/co mmon/filesmanager/sante/resaux sante/intervention_ecoles_millieu x_sante/ Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 11
Emergence d un projet 4 conditions 1/ Unité Liée aux auteurs du projet ; elle se développe au fur et à mesure de l élaboration du projet. Elle associe la conception et la réalisation, marie l idée et la réalité. 2/ Complexité Fait référence à ce qui est imprévisible en raison de nombreux éléments influençant le projet. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 12
3/Singularité Liée aux contextes et aux particularités des personnes, des lieux et du moment. 4/Opportunités Présentes dans l environnement. Nécessitent un état d éveil, une sensibilité aux problèmes ou aux besoins du milieu. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 13
Etape 1 : Décider d évaluer Rédaction du plan d intervention - Déterminer les besoins - Population visée - Objectifs - Quels changements visés ( connaissances, attitudes, comportements ) - Interventions envisagées - Budget - Échéancier (respect important afin de ne pas perdre de vue les objectifs fixés) - Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 14
2 types d évaluation : Etape 2 : Planifier l évaluation Evaluation de l implantation du projet (mise en œuvre) Décrire et à apprécier les interventions réalisées (ex: planification des activités, participation des populations cibles, ressources mobilisées) Identifier les facteurs qui contribuent ou nuisent à l implantation des interventions Evaluation de l impact du projet (Effets sur la population cible) Vérifier si les objectifs visés ont été atteints Vérifier si les impacts observés sont attribuables à l intervention Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 15
Evaluation de l implantation 2 grandes questions: 1. Qu avons-nous réussi à mettre en œuvre? Pour y parvenir : - Décrire les activités réalisées et vérifier si elles sont conformes à ce qui était prévu - Décrire les ressources humaines, matérielles ou financières utilisées et vérifier si elles sont conforme à ce qui était prévu - Vérifier si l échéancier a été respecté Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 16
Evaluation de l implantation Deschesnes & Jomphe Hill (2000) Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 17
Evaluation de l implantation 2. Qu est-ce qui a bien fonctionné ou moins bien fonctionné et pourquoi? Pour y parvenir : - Vérifier si les activités réalisées étaient adéquates compte tenu des objectifs visés et des ressources disponibles - Vérifier si les ressources utilisées étaient adéquates compte tenu des activités à réaliser pour l intervention - Identifier les conditions qui ont contribué ou nui à l implantation de l intervention - Identifier les retombées non prévues Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 18
Evaluation de l implantation Deschesnes & Jomphe Hill (2000) Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 19
Evaluation de l impact (Bouchard & Plante, 2002) EFFICACITE Lien de conformité entre les objectifs visés et les résultats effectivement obtenus. EFFICIENCE Lien de conformité entre l économie de ressources réalisées (moyens et personnes) et les résultats. COHERENCE Lien de conformité entre les divers moyens et les personnes et les objectifs visés. A-PROPOS Lien de conformité entre un organisme (constitué de ses objectifs et ses moyens et personnes) et les contraintes de son environnement. IMPACT Lien de conformité entre les résultats attribuables à l organisme (mais non voulus explicitement) et les attentes sociales (contraintes). PERTINENCE Lien de conformité entre les objectifs visés par l organisme et les besoins auxquels il doit répondre. FLEXIBILITE Lien de conformité entre les capacités d amélioration dont dispose un organisme et les lieux où s imposent ces changements. DURABILITE Lien de conformité entre les objectifs visés et le maintien dans le temps des résultats (prolongement de l efficacité dans le temps). SYNERGIE Lien de conformité entre la coordination des actions par les personnes en place et les résultats atteints. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 20
Qu est-ce qu un indicateur? Réaliser la collecte des données Information quantifiable ou exprimée de façon dichotomique (oui/non) qui permet de - suivre la progression des activités ; - vérifier si vous avez atteint ou non les objectifs visés. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 21
1. Le taux de redoublement en 3P Quelques exemples d indicateurs En 2009/2010, ce taux atteint presque 30%. Qu en est-il dans votre établissement? Il convient de répertorier ce taux pour les années précédentes et de mesurer ce taux en fin de projet (fin d année ou fin de mise en place du projet). Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 22
Quelques exemples d indicateurs 2. Le taux de redoublement des élèves changeant ou non d établissement En 3P, le taux de redoublement s élève à environ 70% pour les élèves qui ont changé d établissement entre 2008-2009 et 2009-2010, et à environ 25% pour les élèves qui sont restés dans le même établissement. Quel est le taux de redoublement des élèves qui restent dans l établissement? Et pour ceux qui partent? Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 23
3. La répartition des attestations en 3P Quelques exemples d indicateurs En 3P, environ 40% des élèves obtiennent une attestation A, environ 35% une attestation C et moins de 5% une attestation B. Pour les attestations B, 100% des élèves se voient proposer un changement d option. Est-ce de l orientation? Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 24
4. Parcours des élèves entrant en 3P Quelques exemples d indicateurs Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 25
Evaluation de l impact Deschesnes & Jomphe Hill (2000) Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 26
Etape 3 : Recueil des données Deschesnes & Jomphe Hill (2000) Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 27
Etape 4 : Analyse des données - Décrire ce que le programme visait (objectifs de départ) - Décrire ce qui a été réalisé (au niveau de l implantation ou des résultats) - Analyser l écart entre ce qui était prévu et réalisé - Comprendre pourquoi il y a un écart - Identifier les changements qui doivent être apportés au programme pour l améliorer Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 28
Etape 5 : Présentation des résultats Données quantitatives et qualitatives 3 axes d analyse de la dynamique de projet lors du traitement des données : Axe des performances : résultats effectifs chez l élève (en termes de savoirs, savoir-faire et savoir-être) Axe des processus : développement et évolution des pratiques des enseignants et d autres acteurs Axe des perceptions : représentations des enseignants et des élèves Analyse conjointe et partagée Points positifs Difficultés Pistes d amélioration Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 29
Orientation de l intervention future Prise de décisions Etape 6: prise de décisions - Poursuivre sans modification - Poursuivre mais en apportant des modifications - Interrompre l intervention pour quelques temps (pour trouver un mode de financement, pour avoir le temps d identifier ce qui répond mieux aux objectifs ) - Interrompre complètement l intervention Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 30
Outils d évaluation Différents types d outils d évaluation : Questionnaires (avec questions ouvertes et/ou fermées) Discussions de focus-group Diagrammes de flux, études de cas Entretiens Outils créatifs Analyses Choisis en fonction de plusieurs facteurs (triangulation), à savoir l objectif de l évaluation, le temps imparti, les ressources financières et les compétences disponibles,.... Objectif : collecter des informations de manière adéquate Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 31
D après Vogler, J. (1996) Exemples de grilles d évaluation Lors de travaux de groupes, quelques exemples de grilles ont été proposés. En voici deux. Le premier est relatif aux différentes modalités du projet. Le second est relatif aux différentes étapes du projet. Il faut noter que ces grilles ne constituent qu un outil de travail en cours d élaboration et doivent donc être adaptées aux différents projets envisagés. Indicateurs Relatifs aux apprenants Relatifs aux objectifs Relatifs aux moyens Mise en place Caractéristiques des élèves (sexe, âge, niveau socioculturel, proportions d élèves en retard, à l avance ). Adéquation avec les valeurs, le projet, les besoins et demandes. Les horaires, les enseignants (équipe, formation), les effectifs d élèves par section, option Relatifs au fonctionnement Aide des acteurs extérieurs, action des parents, contribution des enseignants (réunion), communications extérieures, description des tâches et activités. Relatifs aux performances Taux de réussite, acquisition de compétences disciplinaires, transversales, vocationnelles. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 32
D après Deschesnes & Jomphe Hill (2000), Vogler, J. (1996) et Hadji (1992). Exemples de grilles d évaluation Etapes du projet Phase de genèse du projet Phase de délimitation des objectifs Modalités L état des lieux, les ressources, les besoins, les demandes, les spécificités, le public cible, les évaluateurs, le planning, la problématique, les points positifs et les difficultés, les priorités Faisabilité, pertinence, ressources, objectifs généraux et opérationnels Phase de fonctionnement et de structuration du projet Phase de mise ne œuvre des actions Phases d analyse des résultats Phase de présentation des résultats Équipe pédagogique, opérations et activités, distribution des tâches, implication, intervenants, préparation des dossiers Suivi grâce aux outils, aux réalisations et productions Grille, plan, ajustements, décisions, actions, échéancier Quel document? Clarté des données et qualité du document, bilan et perspective Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 33
Références bibliographiques Barbier, J.M. (1985). L évaluation en formation. Paris: PUF. Deschènes, M. & Jomphe Hill, A. (2000). Ecoles et milieux en santé :Guide d évaluation. http://www.cocof.irisnet.be/site/common/filesmanager/sante/resauxsante/inter vention_ecoles_millieux_sante/ Entreprise publique des Technologies Nouvelles de l Information et de la Communication de la Communauté française (Etnic) (2010). Les indicateurs de l enseignement. Bruxelles : Ministère de la Communauté Française. Guide de pédagogie entrepreneuriale «Petites leçons d enthousiasme et de créativité». Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 34
Références bibliographiques Hadji, Ch. (1992). L évaluation des actions éducatives. Paris: PUF. IUFM de Grenoble. Quelques éléments fondamentaux sur l évaluation. Note de synthèse. http://webu2.upmfgrenoble.fr/sciedu/pdessus/sapea/evaluationcampeval.pdf Raynal, F & Rieunier, A. (2009). Pédagogie, dictionnaire des concepts clés : Apprentissage, formation, psychologie cognitive. Paris : ESF. Vogler, J. (dir.) (1996). L évaluation. Paris: Hachette Éducation. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 35