Agence AEF Séminaire d évaluatin 29 mars 2011 Exemples de méthdes/utils en vue de faciliter l évaluatin de vs prjets
Agenda de la jurnée 9h00 9h30 10h00 ACCUEIL Rappel des enjeux de l évaluatin, des différents types d évaluatin et présentatin des ateliers Ateliers Présentatin d utils et méthdes suivant l étape d évaluatin de l atelier 10h20 12h30 13h30 14h45 15h00 16h00 Travail par binôme sur sn prjet : élabratin des activités à mettre en œuvre pur évaluer sn prjet et identificatin et apprpriatin des utils nécessaires LUNCH Ateliers Pursuite des travaux en atelier PAUSE Présentatin des difficultés rencntrées: discussin et piste de slutin/bnnes pratiques Fin de la jurnée 2
Présentatin des ateliers Deux grupes: Suivi-régulatin Validatin Travail en binôme u trinôme: Par type d actin Par similarité Chacun travail sur sn prjet avec deux types d aide: 1. Sn binôme 2. L animateur 3
Les 3 mments d évaluatin d un prjet Avant de débuter le prjet: l rientatin (ex ante) Que fait-n et quels snt les bjectifs priritaires? Pendant sa mise en œuvre: la régulatin - suivi Que fait-n lrsque la planificatin est chambulée? A la fin du prjet: la validatin (éval. finale, ex pst) A-t-n atteint le(s) bjectif(s) visé(s)? 4
Le cycle de l évaluatin dans un prjet Nuveau prjet? Orienter Avant le prjet Valider En fin de prjet Réguler Pendant le prjet BIEF 2010 5
L rientatin Outils et méthdes
Quelques méthdes et utils pur rienter un prjet 1. GROW 2. Analyse des parties prenantes 3. Analyse FFOM (u SWOT) 4. Planificatin des Interventins par Objectifs (PIPO) 7
GROW 1. Gal Se fixer un bjectif (psitif) pur le prjet futur (curt, myen et lng terme). Que veut-n atteindre? 2. Reality Décrire de manière la plus bjective la réalité en explrant la situatin présente. 3. Optins Etudier les ptins, scénaris, pistes pssibles pur atteindre l bjectif fixé. 4. Will d Mettre un œuvre un plan d actins à entreprendre, en définissant QUI devra faire QUOI, QUAND et COMMENT 8
L analyse des parties prenantes (Outil I) Caractéristiques partie prenante (pp) Parties prenantes Caractéristiques Principales Ptentialités et faiblesses Attentes et décisins du prteur de prjet Intérêts et attentes Implicatin dans le prjet 9
L analyse des parties prenantes (Outil II) Élevée Actifs négatifs Actifs psitifs Faible Passifs négatifs Passifs psitifs Influence Négative Psitive Psitin 10
L'analyse FFOM (SWOT) - (Outil III) FORCES Strengths FAIBLESSES Weaknesses OPPORTUNITÉS Opprtunities MENACES Threats 11
L'analyse FFOM (SWOT) - (Outil III) F-rces (Strengths) : caractéristiques internes psitives de vtre rganisatin, par exemple, capacités humaines, ressurces techniques et financières, etc. F-aiblesses (Weaknesses) : caractéristiques internes négatives de vtre rganisatin, par exemple, manque d'expérience, de cnnaissances, de persnnel, de ressurces financières, de technlgie, etc. O-pprtunités (Opprtunities) : caractéristiques sciécnmiques, plitiques et culturelles du cntexte extérieur, qui influencent u peuvent influencer vtre rganisatin de manière psitive M-enaces (Threats) : caractéristiques sci-écnmiques, plitiques et culturelles du cntexte extérieur, qui influencent u peuvent influencer vtre rganisatin de manière négative 12
Identificatin des stratégies alternatives sur la base de l'analyse FFOM -(Outil III) L'analyse FFPM peut être utilisée pur identifier les stratégies (POTENTIELLES) Opprtunités Menaces Frces INVESTIR: utiliser ses frces pur saisir des pprtunités Mbiliser des frces pur SE DEFENDRE cntre les menaces Faiblesses Si vs faiblesses vus empêchent de saisir des pprtunités: DECIDEZ-VOUS D investir u pas Si vs faiblesses vus empêchent de vus défendre cntre les menaces: il faut des stratégiés pur LIMITER LES DEGATS 13
Pririser: urgence/imprtance (Outil IV) Imprtance Pririté Imprtante Peu Urgente A REPORTER u à déléguer 15 % à 40 % 40% Imprtante Urgente A FAIRE Peu Imprtante Peu Urgente A REFUSER 5 % 40% à 15 % Peu Imprtante Urgente En attente u A DELEGUER Urgence 14
PIPO: L arbre à prblèmes - (Outil V) L'arbre à prblèmes est une prcédure qui permet : d analyser une situatin existante de détecter les principaux prblèmes dans ce cntexte de visualiser les prblèmes sus la frme d'un diagramme/arbre (relatins cause-effet). 15
PIPO L arbre à prblèmes: relatins de cause à effet entre les Prblèmes Arbre NON unique La rentabilité de l'hôtel est en baisse Le taux d ccupatin des chambres est faible Effets Les clients snt insatisfaits L'hôtel est mal cnnu des agences de vyages Les prix snt élevés Il y a trp de bruit pendant la nuit Le persnnel est peu accueillant Les cûts d entretien snt élevés La climatisatin est défaillante Le persnnel est démtivé C est parce que. que. Les bâtiments snt vieux L'hôtel est éligné de la plage Causes 16
PIPO L arbre à prblèmes : Cmment? Dégager les principaux prblèmes existant dans un cntexte déterminé (pluie d'idées) S assurer qu ils snt clairement frmulés Relier les prblèmes par des flèches cause-effet 17
PIPO - L'arbre à bjectifs C'est une technique destinée à décuvrir la situatin future qui sera atteinte lrsque les prblèmes sernt réslus. L arbre à bjectifs se déduit de l'arbre à prblèmes : en refrmulant tus les éléments négatifs de l'analyse des prblèmes dans des situatins psitives qui sient : suhaitées atteignables de manière réaliste en vérifiant les relatins myen-fin entre les bjectifs. 18
PIPO L arbre des bjectifs: cnvertir en situatins futures suhaitées Arbre NON unique La rentabilité de l'hôtel est élevée Fins Le taux d ccupatin est élevé Les clients snt satisfaits L'hôtel est cnnu des agences de vyages Les prix snt cmpétitifs Il y a peu de bruit pendant la nuit Le persnnel est accueillant Les cûts d entretien snt diminués La climatisatin est réparée Le persnnel est mtivé Les bâtiments snt rénvés L'hôtel est éligné de la plage ** Myens 19
PIPO - Identificatin des stratégies alternatives sur la base de l'arbre OBJECTIF GLOBAL La rentabilité de l'hôtel est élevée Le taux d ccupatin est élevé Stratégie NON unique Objectifs BUT DU Spécifiques PROJET Les clients snt satisfaits L'hôtel est cnnu des agences de vyages Résultats RESULTATS Les prix snt cmpétitifs Les cûts d entretien snt diminués Il y a peu de bruit pendant la nuit La climatisatin est réparée Rénvatin Le persnnel est accueillant Le persnnel est mtivé R.H. Cmmunicatin Activités Les bâtiments snt rénvés L'hôtel est éligné de la plage ** 20
PIPO - Analyse des stratégies Pur chacune des stratégies définies, étudier :? Pertinence : Les bjectifs de dévelppement à lng terme snt-ils en adéquatin avec les vrais prblèmes des parties prenantes? Faisabilité : Les bjectifs du prjet purrnt-ils être effectivement atteints? Pérennité : Les résultats du prjet cntinuernt-ils à avir de l impact après que la péride d aide externe sera terminée. v facteurs plitique, écnmique, financier, sci-culturel, rganisatinnel, institutinnel, envirnnemental, technique 21
PIPO Les critères d évaluatin des stratégies priritisent Peut varier Pids Rénv Cmm RH Pertinence 1 3 2 1 Faisabilité 1 1 3 2 Perennité 1 3 1 2 Ttal 7 6 5 Imprtant: les résultats de la matrice des prirités appuient la discussin sur les stratégies, mais ne la remplacent pas. Ce n est qu un util d aide à la décisin. 22
Le suivi (Régulatin) Outils et méthdes
Suivi (I) Purqui? Cmment? Pur prendre des décisins au niveau pératinnel En vue d'augmenter l'efficience et l'efficacité du prjet Rapide sur base d une analyse cntinue, qui est utilisable rapidement pur la bnne réalisatin des activités Qui? Surtut en interne, parfis en externe Quand Suvent, qutidiennement 24
Suivi (II) Prendre rapidement des décisins pur assurer la qualité du prjet et de ses résultats Vérifier que les activités snt bien réalisées cmme prévu: si ce n est pas le cas, analyser purqui et décider d actins crrectives Vérifier que les activités réalisées permettent d atteindre effectivement les résultats Vérifier cmment les risques évluent 25
Suivi(III) Cmpsantes d un bn système de suivi Matrices / tableaux / systèmes pur la cllecte de dnnées - Basés sur les bjectifs, les indicateurs à identifier - Facile et rapide dans l utilisatin Assigner des tâches et respnsabilités : - Qui cllectera les dnnées, sur qui, quand et cmment? - Qui prendra les décisins sur des mesures crrectives? Quelles snt les limites de cette respnsabilité? - Qui dit être infrmé sur les résultats du suivi et les mesures crrectives prises? Quand et cmment? 26
Suivi(IV) Le traitement des dnnées et le prcessus décisinnel se fnt à différents niveaux dans une rganisatin Pur cette raisn, il est imprtant de mettre en place une répartitin des tâches claire et d assigner des règles pur faciliter les prises de décisin 27
Bases du cadre lgique - (Outil I) Lgique d Interventin Objectif glbal Objectif spécifique Résultats Activités 28
Rédactin de la lgique d interventin (1) L bjectif spécifique = l bjectif que le prjet va atteindre cmplètement Dans l arbre des bjectifs : (en thérie) il synthétise ce qui chapeaute tus les bjectifs sélectinnés dans la/les stratégie(s) Il est curant de refrmuler et/u de regruper différents bjectifs en un seul L bjectif glbal Les clients de l hôtel snt satisfaits L bjectif spécifique cntribue à cet bjectif qui est la véritable finalité du prjet Dans l arbre des bjectifs: se situe nrmalement au-dessus de l bjectif spécifique Il se peut que cet bjectif ne se truve pas dans l arbre mais sit au-dessus L hôtel est rentable 29
Rédactin de la lgique d interventin (2) Les résultats : Ce snt les prduits qui vnt être délivrés par le prjet et qui, tus réunis, vnt permettre d atteindre l bjectif spécifique. Il faut identifier TOUS les résultats nécessaires pur atteindre l bjectif spécifique. Il est pssible de refrmuler les bjectifs qui prviennent de l arbre et/u de regruper différents bjectifs pur frmuler un seul résultat. 1. Le persnnel est accueillant 2. L hôtel est cnnu pur sn rapprt Qualité/Prix 3. L hôtel est rénvé 30
Rédactin de la lgique d interventin (3) Activités: Les actins qui sernt réalisées pur atteindre les résultats Dans l arbre des bjectifs : les bjectifs qui se truvent dans les stratégies permettent d identifier certaines activités. Dans la majeure partie des cas, il faudra ajuter des activités qui ne se truvent pas dans l arbre. Il faut identifier TOUTES les activités pur atteindre les résultats. Remarque : Les activités snt frmulées avec un verbe d actin à l infinitif 1.1 Réaliser une frmatin à l accueil 1.2 Réviser le système de rémunératin 31
Planificatin des activités et des ressurces Cadre Lgique Résultats : Plan de travail & budgets Budget Wrkplan Wrkplan Wrkplan Salaries Allwances Vehicle Op. Office Tel/Fax Seeds Fertiliser Budget 5000 5500 1250 1750 Budget 5500 1750 4250 750 400 1100 3100 5500 1750 4250 750 400 1100 3100 32
Le diagramme de GANTT - (Outil II) Diagramme de barres qui permet de planifier sur un tableau l enchaînement des pératins d un prjet plus u mins vaste. Études Janvier Février Mars Avril Appel d'ffres Essais Mdificatins Lancement Seul le facteur temps est pris en cmpte (dates et durée). 33
Organiser les ressurces: Gantt 34
Respnsabilités et prise de décisins - (Outil III) Acteur Cllectin de dnnées Prise de décisins (cmment / sur qui?) Infrmer (qui / sur qui / cmment?) Recevir infrmatin (cmment / de qui?) Respnsable sur le terrain Au niveau des activités Au niveau des activités - à mins que la décisin n affecte pas le budget u le calendrier glbal Infrmer le respnsable du prjet sur le prgrès du prjet + changements (réunin mensuelle + rapprt trimestriel) Fiches mensuelles sur le prgrès des activités, préparées par les bénéficiaires Respnsable du prjet Au niveau des résultats Décisins imprtantes au niveau des activités / en cncertatin avec le respnsable sur le terrain. Infrmer le directeur: rapprt bi-mensuel Infrmer le bailleur de fnds: rapprt bi-annuel Fiches mensuelles sur le prgrès du prjet + rapprt trimestriel du respnsable sur le terrain Directeur du prjet - Divent être impliqués quand n prend des décisins imprtantes qui affectent le calendrier, le budget u les bjectifs Révisin du rapprt bi-annuel pur le bailleur de fnds Rapprt bi-mensuel du respnsable du prjet Bailleur de fnds - - Rapprt bi-annuel 35
Tableau de suivi - (Outil IV) Résultat Indi cateur Cnstat Différence Recmman datin s Les prduits sn t de bnn e qualit é La quan tité de pi ssn refusée à cause de la mauvaise qual ité diminu e avec 50% après 3 ans Activit és Date plani fié Cnstat Différence Recmman datin 1.1 Int rduir e de bnne s méthd es de stck age 1.1.1 Etudi er les méthde s actuel les 1.1.2 Inv entri er les pssibil ités d amélir atin 1.2 Frmer les pêcheu rs et leurs femm es Prem ier trimestre Premier semestre Idem Supp sitin s Il y du transprt assuré pur aller au m arché Cnstat Recmman datin 36
La validatin (Evaluatin finale) Outils et méthdes
Nature de la décisin à prendre Prcessus d évaluatin basé sur les critères et les indicateurs Déterminer des bjectifs pertinents Objets DE KETELE & ROEGIERS, 1996 Déterminer Déterminer des critères et des critères des indicateurs Critères Déterminer les infrmatins à recueillir Infrmatins à recueillir et indicateurs Déterminer une stratégie apprpriée Myens et méthdes dispnibles Prcessus d'évaluatin Prcessus de recueil d'infrmatins Infrmatin dispnible Recueillir l'infrmatin Infrmatin recueillie Cnfrnter les infrmatins aux critères Cmmunicatin des résultats Décisin 38
Outil d élabratin pur une évaluatin finale -(Outil I) Objectifs Objet de l évaluatin Critères Indicateurs Guide d entretien Quand Les enseignants utilisent la mallette L utilisati n de l util Pertinence Le cntenu de la mallette répnd au besin des enseignants Dans vtre rôle d enseignant, épruvez-vus le besin d avir des utils prtant sur la créativité? Si ui, le cntenu de la mallette répnd-il à ce besin? (4 niveaux) Si ui, en qui?/ si nn purqui? Si nn, que faudrait-il ajuter/mdifier/enlever pur y répndre? Fin de frmatin 39
Les critères Un critère est un regard que l'n prte sur l'bjet évalué. Il crrespnd à une qualité de cet bjet. Suvent implicite (nn bservable) mais tujurs présent. Exemples : Exactitude de la répnse Pertinence de la réalisatin Utilisatin crrecte des utils de la discipline Utilité sciale de la prductin 40
Chix des critères Chisir des critères : Pertinents Indépendants Peu nmbreux Pndérés Exemples : Pertinence, Chérence, Efficacité, Efficience, Adhésin, Faisabilité. 41
Les indicateurs Un indicateur est : un indice cncret, directement bservable, qui dnne une indicatin pur l évaluatin du critère. Un indicateur peut se frmuler cmme une mesure (nmbre de, taux de, présence / absence de ) 42
Frmulatin d un indicateur Objectif : Accès améliré aux services fferts par le médiateur fédéral traitant les prblèmes rencntrés par tut cityen belge avec un service de l administratin. Indicateur : Qualité : Quantité : Grupe-cible : Lcalisatin : Péride Durée myenne du temps de répnse lrs du dépôt d une plainte La durée myenne de ce temps de répnse est réduite de 25% par rapprt à celle de l année X pur tus les cityens belges belgique et ce 1 an après le démarrage du prjet d améliratin de la gestin des plaintes. 43
Exemple: Objectif-Critère-Indicateur Objectif Accrître le nmbre d étudiants inscrits à l université X Critère L efficacité Indicateur Nmbre d étudiants inscrits en première BAC riginaires de la prvince du Luxemburg 44
Termes de Référence (TdR) : util de gestin d une évaluatin finale Ils définissent les bjectifs de l évaluatin Ils sernt la base pur apprécier l'exécutin de la missin d évaluatin Pur les cnsultants, ils frmernt une légitimatin pur exécuter leur tâche 45
Frmat de base des TdR 1. Dnnées de base 2. Buts de l évaluatin 3. Résultats attendus de l'évaluatin (critères,questins) 4. Démarches de la missin 5. Mdalités de mise en œuvre de la missin 6. Obligatins 7. Prpsitins financières 8. Annexes 46