Faculté de Psychologie et des Sciences de l Education Evaluer un projet Damien Canzittu Stéphanie Malaise Alizée Tutak Place du Parc 18, B-7000 Mons http://www.umons.ac.be/inas
Evaluation de projet : état des lieux Des projets aux cadres diversifiés : au niveau de la structure des établissements ; des actions prévues ; des équipes éducatives ; des moyens prévus ; des thématiques visées. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 2
Quels buts principaux? 1.Une élévation de la moyenne des résultats ; 2. Une réduction de la dispersion (variance) des résultats ; 3. Une diminution de la corrélation entre l origine sociale de l élève (et plus généralement ses caractéristiques initiales) et les résultats. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 3
Evaluer, c est : Qu est-ce que l évaluation? Donner de la valeur à un jugement argumenté dans le but de prendre une décision pour agir (Raynal et Rieunier, 2009, p.188) Moyen pour y parvenir? Comparer un référé (l objet à évaluer) à un référent (un idéal) (Barbier, 1985) Consiste à définir des critères et des indicateurs dans le but de prendre des décisions, donc à choisir des éléments considérés comme pertinents dans le référent (ce qui devrait être, ce qu on projette) et à déterminer durant l action et à l issue de celle-ci, si ces éléments sont bien présents dans le référé (ce qui est) (Raynal et Rieunier, 2009, p.182) Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 4
Qu est-ce que l évaluation? Evaluer, c est jeter un regard critique sur : Les activités que nous faisons ; Les ressources (humaines, matérielles ou financières) que nous utilisons ; Les résultats que nous obtenons ou n obtenons pas. Dans le but de : Permettre une meilleure planification et gestion des activités ; Mieux comprendre et analyser ce que l on fait ; Identifier les forces et les faiblesses des activités et les modifier au besoin ; Savoir si on a obtenu les résultats désirés ; Partager notre expérience. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 5
Qu est-ce que l évaluation? 6 questions à se poser (IUFM de Grenoble) : 1. A quoi va servir cette évaluation? A réguler les processus, à contrôler les apprentissages, à restructurer l enseignement? 2. A qui les résultats sont-ils destinés? Aux enseignants, à l institution? 3. Qu est-ce qui est évalué? Des stratégies, des démarches, des apprentissages? 4. Qui évalue? Les enseignants, l équipe éducative, l institution? 5. Quand évaluer? Avant, au début pendant, à la fin du projet, d une période déterminée? 6. Comment évaluer? En observant, en analysant, grâce à des indicateurs? Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 6
Qu est-ce que l évaluation? L évaluation ne sanctionne pas nécessairement l issue d une action, mais consiste plutôt à réguler celle-ci au cours de sa mise en place. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 7
Qu est-ce que l évaluation? «Le grand défi de l évaluation est de faire en sorte qu elle devienne un moyen pour améliorer les interventions et non une nuisance à la réalisation de celles-ci. L évaluation ne devrait donc pas devenir plus importante que l intervention». MAIS il ne s agit pas de tomber dans l excès et d évaluer tout le temps importance de trouver un juste milieu Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 8
L évaluation du projet Hadji (1992, p.54) : 4 phases principales dans l évaluation d un projet 1/ Evaluation initiale 2/ Mise au point d outils d évaluation 3/ Evaluation formative 4/ Evaluation finale Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 9
Qu est-ce que l évaluation? PROJET NAISSANCE DU PROJET Emergence d une idée ; analyse de situation ; formation d une équipe ; inventaire des ressources et contraintes ; recensement des besoins FORMULATION DES OBJECTIFS (généraux et opérationnels) STRUCTURATION DU PROJET Choix des actions; recherche d intervenants; recherche d aide; répartition des tâches; préparation du dossier MISE EN ŒUVRE DES ACTIONS Réalisation et productions ANALYSE DES RÉSULTATS Bilan et perspectives Evaluation initiale Mise au point des outils d évaluation Evaluation formative Evaluation finale PHASES régulation régulation régulation Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 10
Etapes de la planification de l évaluation Deschesnes & Jomphe Hill (2000) http://www.cocof.irisnet.be/site/co mmon/filesmanager/sante/resauxs ante/intervention_ecoles_millieux_ sante/ Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 11
Emergence d un projet 4 conditions 1/ Unité Liée aux auteurs du projet ; elle se développe au fur et à mesure de l élaboration du projet. Elle associe la conception et la réalisation, marie l idée et la réalité. 2/ Complexité Fait référence à ce qui est imprévisible en raison de nombreux éléments influençant le projet. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 12
3/Singularité Liée aux contextes et aux particularités des personnes, des lieux et du moment. 4/Opportunités Présentes dans l environnement. Nécessitent un état d éveil, une sensibilité aux problèmes ou aux besoins du milieu. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 13
Etape 1 : Décider d évaluer Rédaction du plan d intervention - Déterminer les besoins - Population visée - Objectifs - Quels changements visés ( connaissances, attitudes, comportements ) - Interventions envisagées - Budget - Échéancier (respect important afin de ne pas perdre de vue les objectifs fixés) - Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 14
2 types d évaluation : Etape 2 : Planifier l évaluation Evaluation de l implantation du projet (mise en œuvre) Décrire et à apprécier les interventions réalisées (ex: planification des activités, participation des populations cibles, ressources mobilisées) Identifier les facteurs qui contribuent ou nuisent à l implantation des interventions Evaluation de l impact du projet (Effets sur la population cible) Vérifier si les objectifs visés ont été atteints Vérifier si les impacts observés sont attribuables à l intervention Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 15
Evaluation de l implantation 2 grandes questions: 1. Qu avons-nous réussi à mettre en œuvre? Pour y parvenir : - Décrire les activités réalisées et vérifier si elles sont conformes à ce qui était prévu - Décrire les ressources humaines, matérielles ou financières utilisées et vérifier si elles sont conforme à ce qui était prévu - Vérifier si l échéancier a été respecté Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 16
Evaluation de l implantation Deschesnes & Jomphe Hill (2000) Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 17
Evaluation de l implantation 2. Qu est-ce qui a bien fonctionné ou moins bien fonctionné et pourquoi? Pour y parvenir : - Vérifier si les activités réalisées étaient adéquates compte tenu des objectifs visés et des ressources disponibles - Vérifier si les ressources utilisées étaient adéquates compte tenu des activités à réaliser pour l intervention - Identifier les conditions qui ont contribué ou nui à l implantation de l intervention - Identifier les retombées non prévues Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 18
Evaluation de l implantation Deschesnes & Jomphe Hill (2000) Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 19
Evaluation de l impact (Bouchard & Plante, 2002) EFFICACITE Lien de conformité entre les objectifs visés et les résultats effectivement obtenus. EFFICIENCE Lien de conformité entre l économie de ressources réalisées (moyens et personnes) et les résultats. COHERENCE Lien de conformité entre les divers moyens et les personnes et les objectifs visés. A-PROPOS Lien de conformité entre un organisme (constitué de ses objectifs et ses moyens et personnes) et les contraintes de son environnement. IMPACT Lien de conformité entre les résultats attribuables à l organisme (mais non voulus explicitement) et les attentes sociales (contraintes). PERTINENCE Lien de conformité entre les objectifs visés par l organisme et les besoins auxquels il doit répondre. FLEXIBILITE Lien de conformité entre les capacités d amélioration dont dispose un organisme et les lieux où s imposent ces changements. DURABILITE Lien de conformité entre les objectifs visés et le maintien dans le temps des résultats (prolongement de l efficacité dans le temps). SYNERGIE Lien de conformité entre la coordination des actions par les personnes en place et les résultats atteints. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 20
Qu est-ce qu un indicateur? Réaliser la collecte des données Information quantifiable ou exprimée de façon dichotomique (oui/non) qui permet de - suivre la progression des activités ; - vérifier si vous avez atteint ou non les objectifs visés. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 21
1. Le taux de redoublement en 3P Quelques exemples d indicateurs En 2009/2010, ce taux atteint presque 30%. Qu en est-il dans votre établissement? Il convient de répertorier ce taux pour les années précédentes et de mesurer ce taux en fin de projet (fin d année ou fin de mise en place du projet). Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 22
Quelques exemples d indicateurs 2. Le taux de redoublement des élèves changeant ou non d établissement En 3P, le taux de redoublement s élève à environ 70% pour les élèves qui ont changé d établissement entre 2008-2009 et 2009-2010, et à environ 25% pour les élèves qui sont restés dans le même établissement. Quel est le taux de redoublement des élèves qui restent dans l établissement? Et pour ceux qui partent? Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 23
3. La répartition des attestations en 3P Quelques exemples d indicateurs En 3P, environ 40% des élèves obtiennent une attestation A, environ 35% une attestation C et moins de 5% une attestation B. Pour les attestations B, 100% des élèves se voient proposer un changement d option. Est-ce de l orientation? Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 24
4. Parcours des élèves entrant en 3P Quelques exemples d indicateurs Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 25
Evaluation de l impact Deschesnes & Jomphe Hill (2000) Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 26
Etape 3 : Recueil des données Deschesnes & Jomphe Hill (2000) Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 27
Etape 4 : Analyse des données - Décrire ce que le programme visait (objectifs de départ) - Décrire ce qui a été réalisé (au niveau de l implantation ou des résultats) - Analyser l écart entre ce qui était prévu et réalisé - Comprendre pourquoi il y a un écart - Identifier les changements qui doivent être apportés au programme pour l améliorer Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 28
Etape 5 : Présentation des résultats Données quantitatives et qualitatives 3 axes d analyse de la dynamique de projet lors du traitement des données : Axe des performances : résultats effectifs chez l élève (en termes de savoirs, savoir-faire et savoir-être) Axe des processus : développement et évolution des pratiques des enseignants et d autres acteurs Axe des perceptions : représentations des enseignants et des élèves Analyse conjointe et partagée Points positifs Difficultés Pistes d amélioration Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 29
Orientation de l intervention future Prise de décisions Etape 6: prise de décisions - Poursuivre sans modification - Poursuivre mais en apportant des modifications - Interrompre l intervention pour quelques temps (pour trouver un mode de financement, pour avoir le temps d identifier ce qui répond mieux aux objectifs ) - Interrompre complètement l intervention Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 30
Outils d évaluation Différents types d outils d évaluation : Questionnaires (avec questions ouvertes et/ou fermées) Discussions de focus-group Diagrammes de flux, études de cas Entretiens Outils créatifs Analyses Choisis en fonction de plusieurs facteurs (triangulation), à savoir l objectif de l évaluation, le temps imparti, les ressources financières et les compétences disponibles,.... Objectif : collecter des informations de manière adéquate Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 31
Références bibliographiques Barbier, J.M. (1985). L évaluation en formation. Paris: PUF. Deschènes, M. & Jomphe Hill, A. (2000). Ecoles et milieux en santé : Guide d évaluation. http://www.cocof.irisnet.be/site/common/filesmanager/sante/resauxsante/inter vention_ecoles_millieux_sante/ Entreprise publique des Technologies Nouvelles de l Information et de la Communication de la Communauté française (Etnic) (2010). Les indicateurs de l enseignement. Bruxelles : Ministère de la Communauté Française. Guide de pédagogie entrepreneuriale «Petites leçons d enthousiasme et de créativité». Hadji, Ch. (1992). L évaluation des actions éducatives. Paris: PUF. IUFM de Grenoble. Quelques éléments fondamentaux sur l évaluation. Note de synthèse. http://webu2.upmfgrenoble.fr/sciedu/pdessus/sapea/evaluationcampeval.pdf Raynal, F & Rieunier, A. (2009). Pédagogie, dictionnaire des concepts clés : Apprentissage, formation, psychologie cognitive. Paris : ESF. Université de Mons Méthodologie et Formation / INAS - Service du Prof. Marc Demeuse 32