www.forres.ch Séminaire de base IIII Conduite de projet : des objectifs à l évaluation de l atteinte des objectifs Extrait de : Méthodologie de projet en promotion de la santé «quint-essenz» www.quint-essenz.ch
Formuler les objectifs de projet De quoi s'agit-il? Vision Les visions sont des déclarations d'intention plutôt vagues et généralement ambitieuses, qui visent au-delà de la durée du projet (5-20 ans). Une vision exprime une situation désirée, idéale, dont le projet doit contribuer à s'approcher. Garder à l'esprit la vision du projet peut être une force de motivation importante lors de sa réalisation. Exemple: Vision: Promouvoir la santé des jeunes en les sensibilisant à leurs propres ressources et en renforçant leur confiance en soi. A partir de cette vision, on pourrait avoir l'objectif suivant: Objectif: Avec ce projet, nous aimerions rendre les jeunes conscients de leurs propres ressources et renforcer leur confiance en soi. Décrire un effet En prévention et promotion de la santé, les objectifs de projet décrivent un état (un effet) que l'on souhaite voir à différents niveaux au moment où le projet se termine: au niveau d'individus (personnes-clé) au niveau de groupes au niveau d'une organisation au niveau d'un cadre de vie au niveau de la société ou de la politique Un projet d'intervention en promotion de la santé devrait dans la mesure du possible prendre en compte plusieurs de ces niveaux; en d'autres termes, il ne devrait pas seulement viser des changements de comportements individuels ou de groupe, mais également des changements structurels au niveau d'un organisme, d'un cadre de vie ou de la société. Un bon objectif de projet n'exprime pas une action à entreprendre, mais un effet que l'on aimerait avoir atteint chez les membres du groupe-cible ou du setting à la fin du projet. Il ne dit encore rien sur les stratégies qui permettront d'atteindre l'effet souhaité, ni sur la planification ou le déroulement du projet. Exemple: objectif décrivant une action objectif décrivant un effet Rendre les jeunes conscients de leurs propres ressources et renforcer leur confiance en soi Les jeunes sont conscients d'avoir leurs propres ressources et ont une plus grande confiance en soi
La "Catégorisation des résultats des projets" peut aider à identifier des effets visés réalistes. Ce modèle distingue 3 types d'effets: 1. Effets directs sur la santé (par exemple diminution de la morbidité, augmentation de la qualité de vie) 2. Effets intermédiaires sur la santé (par exemple un style de vie ou des conditions de vie favorables à la santé) 3. Effets de promotion de la santé (par exemple compétences en matière de santé, motivations relatives à la santé, attitudes personnelles favorables à la santé) Au niveau d'un projet de promotion de la santé, il est souvent irréaliste de vouloir avoir des effets directs sur la santé. De tels effets ne peuvent généralement être atteints que sur une durée allant au-delà d'un seul projet. Une fois que les objectifs de projet sont formulés de manière à exprimer un effet, il s'agit de les concrétiser à l'aide des critères "smart" (voir "Objectifs smart"); ceci nécessite généralement la définition d'indicateurs de succès (voir "Indicateurs"). Ce qui pourrait vous empêcher d'en tenir compte on confond souvent les mesures opérationnelles (qui sont des actions) avec les objectifs (état final); ainsi, on pense que le fait d'avoir appliqué ou mis en oeuvre une mesure prévue signifie que l'objectif a été atteint lorsque les objectifs restent vagues, on peut éviter d'avoir à décrire précisément quel impact visible on veut atteindre lorsque les objectifs sont formulés d'une manière vague (comme par exemple sensibiliser un certain groupe-cible), vous ne pouvez pas vérifier s'ils ont été atteints, et vous ne prenez ainsi pas le risque de devoir dire clairement si le projet a réussi ou pas Les avantages que vous pouvez en retirer lorsque les objectifs de projets sont formulés de manière à exprimer un effet, ils sont plus motivants lorsque les objectifs ne disent encore rien des stratégies et mesures à prendre, vous avez plus de liberté d'action Ce que vous pouvez concrètement faire décrivez l'état futur que vous aimeriez atteindre lorsque les objectifs ne disent encore rien des stratégies et mesures à prendre, vous avez plus de liberté d'action essayez d'estimer, en restant réaliste, quels changements sont envisageables sur la période prévue essayez de vous mettre à la place des membres du public-cible/du setting Questions-test Est-ce que les objectifs de projet visent un impact (expriment un effet)? Est-ce que les objectifs de projet visent un effet à plusieurs niveaux? http://www.quint-essenz.ch/fr/topics/stage1/3233.html
Des objectifs de projet 'smart' De quoi s'agit-il? Une fois que les objectifs de projet (ou tout autre objectif) expriment un effet (voir "Formuler les objectifs"), on peut vérifier s'ils sont bien 'smart': Spécifiques Mesurables Ambitieux Réalistes définis dans le Temps Ces 5 critères 'smart' sont illustrés ci-dessous par un exemple. Spécifique L'objectif décrit précisément ce qui doit avoir changé chez qui, et en quoi cela doit avoir changé. non spécifique spécifique Les jeunes sont conscients d'avoir leurs propres ressources et ont ainsi une plus grande confiance en soi Les élèves du cycle secondaire de l'école Z ayant participé au projet sont conscients de leurs ressources individuelles et sociales; ils ont ainsi une plus grande confiance en soi, qui leur permet de réagir d'une manière adéquate lors de situations conflictuelles Mesurable Il sera possible de juger objectivement de l'atteinte de l'objectif. Pour cela, il faut généralement fixer des indicateurs (voir aussi "Indicateurs"): objectif exemples d'indicateurs Les élèves du cycle secondaire de l'école Z sont conscients de leurs ressources individuelles et sociales; ils ont ainsi une plus grande confiance en soi, qui leur permet de réagir d'une manière adéquate lors de situations conflictuelles Augmentation du score moyen lors d'une auto-évaluation des élèves à la fin du projet (>20%) - dans ce cas, il est nécessaire de récolter des données au début du projet A la fin du projet: estimation rétrospective (par les élèves eux-mêmes et les maîtres de classe) des changements au niveau de la confiance en soi Les élèves réagissent et se comportent de manière adéquate lors de situations conflictuelles (jeu de rôle/évaluation lors de la discussion de groupe finale)
Ambitieux Atteindre l'objectif implique un effort. Ceci s'exprime soit à travers l'objectif lui-même, soit à travers ses indicateurs: indicateur peu ambitieux indicateur ambitieux Les élèves ont participé au jeu de rôle Les élèves réagissent et se comportent de manière adéquate lors de situations conflictuelles en jeu de rôle (évaluation lors de la discussion de groupe finale) Réaliste Un objectif de projet doit être réaliste dans le sens qu'il doit être atteignable avec les moyens disponibles. On ne peut juger de cela qu'en connaissant le contexte, la durée et les ressources du projet. irréaliste réaliste intentions > ressources en temps, en compétences et financières contexte défavorable temps nécessaire pour que le changement visé se passe > durée du projet intentions ressources en temps, en compétences et financières contexte favorable temps nécessaire pour que le changement visé se passe durée du projet Défini dans le temps En principe, un objectif de projet doit être atteint à la fin du projet. Un objectif intermédiaire doit être atteint au plus tard au moment du pointage d'étape. Dans les outils "Tableau de planification" et "Tableau de pilotage", l'élément temporel des objectifs est défini par leur place dans les tableaux. non défini dans le temps défini dans le temps Objectif de projet X L'objectif de projet X est atteint à la fin du projet (mars 2004) Objectif intermédiaire Y L'objectif intermédiaire Y est atteint à la fin de l'étape de planification 4 (pointage: 31.10.2003) Objectif qualité Q L'objectif qualité Q est atteint dans 6, 9 mois/ à la fin de l'étape de planification 3
Ce qui pourrait vous empêcher d'en tenir compte Lorsque les objectifs restent vagues, on peut éviter d'avoir à décrire précisément quel impact visible on veut atteindre. Lorsque les objectifs sont formulés d'une manière vague, vous ne pouvez pas facilement vérifier s'ils ont été atteints, et vous ne prenez ainsi pas le risque de devoir dire clairement si le projet a réussi ou pas. Vous avez l'impression que votre projet perdrait son essence en rendant vos objectifs de projet 'smart'. Les avantages que vous pouvez en retirer Des objectifs de projet 'smart' sont des outils qui servent concrètement au pilotage du projet. Lorsque vous savez très exactement ce que vous voulez atteindre et ce que vous ne voulez pas atteindre (!), vous pouvez économiser de l'énergie et en garder pour des démarches créatives. Lorsque les objectifs de projet sont 'smart', le succès du projet devient évident, (et on peut le fêter!) Ce que vous pouvez concrètement faire Prévoyez assez de temps pour (re)formuler vos objectifs de projet. Discutez de la formulation de vos objectifs en groupe, avec d'autres responsables de projet ou avec un coach. Questions-test L'atteinte des objectifs de projet peut être évaluée? Le niveau d'ambition (degré d'atteinte de l'objectif à partir duquel on va parler de succès) est fixé pour chaque objectif de projet? http://www.quint-essenz.ch/fr/topics/stage2/3278.html
Indicateurs d'atteinte des objectifs De quoi s'agit-il? La formulation des objectifs (voir "Formuler les objectifs" et "Objectifs smart") ne permet souvent pas de juger de leur atteinte. Il est alors nécessaire de définir précisément un ou plusieurs indicateurs de succès (indicateurs d'atteinte des objectifs). Un indicateur décrit: les critères selon lesquels on jugera de l'atteinte des objectifs le niveau d'ambition que l'on se fixe pour pouvoir parler de succès à la fin du projet La détermination d'indicateurs est fortement lié au choix des méthodes d'évaluation. Pour obtenir une bonne évaluation de l'atteinte d'un objectif, il est recommandé de combiner plusieurs méthodes (et donc plusieurs indicateurs) qui apportent plusieurs perspectives de la même situation (par exemple intégration de personnes concernées indirectement par l'intervention; choix de méthodes d'évaluation qui ne se basent pas uniquement sur la récolte des opinions de différentes personnes impliquées). Un bon indicateur respecte les points suivants: Pertinence: indications significatives par rapport à l'objectif considéré Efficience : l'effort pour récolter des données est raisonnable Simplicité: compréhensible et logique pour chacun Disponibilité : les chiffres sont à disposition au moment opportun Exactitude : donne une mesure fiable Exemple d'objectif de projet: Les élèves du cycle secondaire de l'école Z sont conscients de leurs ressources individuelles et sociales; ils ont ainsi une plus grande confiance en soi, qui leur permet de réagir d'une manière adéquate lors de situations conflictuelles. Indicateurs Méthodes d'évaluation Augmentation du score moyen lors d'une auto-évaluation des élèves à la fin du projet (>20%) Les maîtres de classe constatent un renforcement de la confiance en soi des élèves à la fin du projet Les élèves réagissent et se comportent de manière adéquate lors de situations conflictuelles Questionnaire standardisé (pré-test / post-test) Interview (estimation rétrospective) Observations systématiques en jeu de rôle, auto-évaluation et évaluation externe lors de la discussion de groupe finale Il est tout à fait légitime de vouloir garder une certaine marge de manoeuvre quant au niveau d'ambition et/ou d'évaluer après coup l'étendue précise du changement survenu. Lorsqu'un indicateur ne contient pas de donnée quantitative, on part du principe que le succès minimum est défini par au moins un changement démontré dans la direction souhaitée.
Ce qui pourrait vous empêcher d'en tenir compte La réussite d'un projet ne va pas de soi; le projet échoue souvent pour des raisons financières, ou souffre de manques de qualité suite à des restrictions de fonds. Pour cette raison, le simple fait de réaliser le projet jusqu'au bout est souvent considérée comme un indicateur de réussite Vous ne voulez pas rendre vos objectifs vérifiables, pour ne pas devoir rendre compte d'un éventuel échec de votre projet Les avantages que vous pouvez en retirer les indicateurs d'atteinte des objectifs de projet rendent la réussite du projet tangible les indicateurs ont un effet motivant vous ne risquez pas de vous satisfaire de résultats moindres par rapport à ce qui était prévu à l'origine vous pouvez rendre des comptes aux mandants d'une manière objective et fondée Ce que vous pouvez concrètement faire Définissez des indicateurs qui décrivent la réussite de votre projet et la rendent mesurable. Travaillez à l'aide du tableau de planification et du tableau d'évaluation. Questions-test Les indicateurs sont-ils réalistes et formulés d'une manière compréhensible? Les points à retenir ont-ils été respectés lors de la définition des indicateurs? Les indicateurs apportent-ils plusieurs perspectives du projet? http://www.quint-essenz.ch/fr/topics/stage2/3186.html
Planification de l'évaluation De quoi s'agit-il? Cette étape est l'une des plus importantes de tout le processus d'évaluation : on y définit avec précision ce qui doit être évalué, dans quel but, avec quels moyens et sur la base de quelles données. Formuler les questions de l'évaluation et définir des indicateurs Les questions à évaluer sont formulées sur la base du but de l'évaluation (voir "Préparer l'évaluation") et des objectifs du projet. En plus d'examiner l'atteinte des objectifs du projet, l'évaluation aborde généralement aussi une série d'autres thèmes : la participation, l'atteinte du groupe-cible, la qualité des mesures mises en oeuvre et les effets imprévus. En fonction du but et de l'intérêt des mandants, des questions supplémentaires peuvent être formulées. Pour que ces questions puissent être examinées, des indicateurs doivent être définis. C'est sur la base de ces indicateurs que les questions concrètes de récolte des données sont définies, que les sources des données sont déterminées et que les instruments appropriés sont choisis. Procédure quantitative et qualitative En principe, il existe deux méthodes différentes pour la récolte de données et leur analyse : la méthode quantitative et la méthode qualitative. La méthode quantitative est basée sur la saisie et l'analyse de chiffres (comptage, mesures). La méthode qualitative permet d'analyser des données qui ne sont pas chiffrées mais qui sont disponibles sous forme de textes. La plupart des méthodes de récolte de données peuvent être utilisées à la fois pour une évaluation quantitative ou qualitative, en fonction de leur degré de standardisation. Choix des méthodes et des instruments de récolte des données Le choix des instruments de récolte des données dépend de plusieurs facteurs, notamment des personnes qui seront interrogées, des ressources à disposition, du savoir-faire, du contenu et du setting de l'évaluation (voir introduction "Méthode récolte de données").
Le tableau suivant peut fournir une aide pour le choix de la méthode la plus appropriée : Développement de ses propres instruments de récolte Avant de développer ses propres instruments de récolte de données tels que questionnaires ou guides d'entretiens personnels (ce qui demande un effort considérable, notamment du point de vue des ressources), il s'agit d'examiner si d'autres instruments, utilisés dans d'autres projets, peuvent éventuellement être repris et adaptés au projet concerné. La qualité de l'évaluation dépend largement de la qualité des données récoltées. Il est donc recommandé, lorsqu'on ne dispose pas encore d'une expérience ou de connaissances suffisantes, de demander conseil à des spécialistes (par exemple pour la rédaction d'un questionnaire). Avant de les utiliser, il est également recommandé de faire examiner les instruments de récolte par des personnes-clé qui connaissent bien le contexte de l'évaluation qui sera entreprise (mandants, experts, etc.). Le tableau principal d'évaluation en tant qu'instrument de planification Les questions de l'évaluation et les objectifs du projet qui doivent être examinés sont notés sur le tableau principal d'évaluation. On y note également les indicateurs, les méthodes choisies et les délais qui ont été fixés. Ce qui pourrait vous empêcher d'en tenir compte Vous n'avez pas planifié suffisamment de ressources pour l'(auto)évaluation. Vous n'avez pas suffisamment de compétences pour planifier des mesures d'évaluation et pour développer des instruments de récolte de données.
Les avantages que vous pouvez en retirer Une planification par petites étapes - formulation des objectifs du projet et des questions à évaluer - définition des indicateurs - choix des sources de données et des méthodes de récolte - permet ensuite de procéder à la récolte de données qui fournissent effectivement les informations souhaitées. Ce que vous pouvez concrètement faire Prévoyez suffisamment de temps pour la récolte des données, de manière à avoir une marge de manoeuvre en cas d'imprévu (demandes de compléments aux questionnaires, difficultés à fixer des dates pour les entretiens, etc.). Prévoyez aussi du temps pour tester vos instruments de récolte, de manière à pouvoir les optimiser si nécessaire (voir "Récolte de données"). Questions-test Les questions de l'évaluation et les objectifs du projet sont-ils clairs et mesurables? Les indicateurs reflètent-ils ces questions et ces objectifs de manière appropriée? La (les) méthode(s) choisie(s) permet(tent)-elle de répondre aux questions de l'évaluation et de mesurer l'atteinte des objectifs du projet? http://www.quint-essenz.ch/fr/topics/stage2/3303.html