Cahier 2. Guide d évaluation de la viabilité d un service de rééducation et d appareillage. Travail réalisé par Emmanuelle Tricot

Transcription

1 Cahier 2 Guide d évaluation de la viabilité d un service de rééducation et d appareillage Travail réalisé par Emmanuelle Tricot Domaine Ressources Méthodologiques et Documentaires Handicap International Version électronique 2005 Diffusion restreinte

2

3 sommaire général Introduction générale... page 7 1. Cahier 1 L évaluation et sa démarche... page L évaluation, qu est-ce que c est?... page L évaluation de la viabilité... page Cahier 2 Les termes de référence - le planning de l évaluation... page Les termes de référence... page Le planning de l évaluation... page Cahier 3 La construction des outils - la collecte des informations.. page Viabilité technique... page Viabilité économique... page Viabilité institutionnelle... page Cahier 4 Analyse - Restitution - Rapport... page Analyse de l information... page Restitution des résultats... page Le rapport d évaluation... page 115

4

5 2 c a h i e r Les termes de référence Le planning de l évaluation

6 contenu du c a h i e r 2 Introduction 2.1. Étape 1 : les termes de référence A. Pourquoi rédiger les termes de référence d une évaluation?... page 32 B. Que doivent contenir les termes de référence?... page 32 C. Comment définir les termes de référence?... page Étape 2 : le planning de l évaluation A. Représentation du planning de l évaluation :... page 35 B. Conseils pour construire le planning :... page 36 C. Représentation du chronogramme de la collecte des informations :... page 38

7 Les étapes de l évaluation Cahier 2 Étape I : Définition des termes de référence : Qu est ce que l on veut évaluer? (objectif général, critères d évaluation) Qui participe à l évaluation et quelle est la place de chacun? (les acteurs) Comment va-t-on évaluer? (évaluation participative, autoévaluation? ) À quel moment l évaluation va-t-elle être menée? Étape II : Planning de l évaluation : Tableau de synthèse faisant le lien entre les acteurs de l évaluation, les interrogations de l équipe (critère d évaluation) et les délais à respecter. Cahier 3 Étape III : Construction des outils méthodologiques : Constitution des questionnaires, préparation des interviews, des discussions relatifs aux critères d évaluation. Étape IV : Collecte de l information : Recueil des informations : questionnaire, discussion de groupes, documents, etc. Introduction Suite à une présentation générale dans le cahier 1 de l évaluation et de la viabilité d un service d appareillage et de rééducation, ce cahier propose de guider le demandeur d une évaluation dans la définition des termes de référence (pourquoi une évaluation? qu est-ce qu il veut évaluer?) et de la planification de sa mise en œuvre. Ce cahier comprend les deux premières étapes de l évaluation (voir graphique ci après), L idée est de présenter simplement : Les termes de référence d une évaluation ; c est-à-dire le cadre de travail pour l ensemble des personnes impliquées dans l évaluation. Le planning de l évaluation : cette étape permet de planifier concrètement les principaux éléments de l évaluation ; Quels sont les angles de vue? Quels outils méthodologiques vont être utilisés? (enquête auprès de qui, discussion de groupe etc.) Qui va animer ces outils? Et enfin quand? Cahier 4 Étape V : Analyse de l information : Lecture, analyse des informations collectées selon les critères d évaluation choisis, formulation de recommandations pour l avenir de la structure ou projet ; Étape VI : Restitution des résultats : Présentation et discussion avec les acteurs des résultats de l analyse des informations collectées. Étape VII : Rédaction du rapport : Ce rapport expliquera la démarche suivie, les résultats obtenus ainsi que des recommandations envisageables pour améliorer le fonctionnement de la structure étudiée. 31

8 2.1. Étape 1 : les termes de référence A. Pourquoi rédiger les termes de référence d une évaluation? Ce document permet à la fois : de situer dans son contexte la démarche d évaluation ; de définir le cadre de l évaluation ; il comprend l ensemble des questions auxquelles l évaluation va répondre : critères d évaluation. de préciser les modalités du déroulement de l évaluation dans le but de clarifier le rôle de chaque personne au cours des différentes étapes : qui fait quand et quand. Ce document fait partie intégrante de l évaluation, il correspond à la première étape. constater des erreurs de diagnostic ou la non adéquation des activités d une structure par rapport aux besoins des bénéficiaires. Dès que les trois aspects mentionnés ci-dessus sont clairs pour l ensemble des évaluateurs, on peut commencer à réfléchir sur le contenu des termes de référence : B. Que doivent contenir les termes de référence? Sept points principaux, présentés ci-après, constituent la trame de ce document. - évaluation interne : participative ou non - autoévaluation. 4. Rôles des différents acteurs au cours de l évaluation : Pour chacune des étapes de l évaluation, quel est le rôle de chacun? Exemple : Étapes de l évaluation Demande d une évaluation Définition des termes de référence de l évaluation. Élaboration du planning de l évaluation. Construction des outils méthodologiques pour mener l évaluation. Collecte des informations Analyse de l information Restitution des résultats de l évaluation Rédaction du rapport Acteurs 1 Acteurs 2 Acteurs 3 Acteurs 4 Acteurs 5 32 Avant de commencer à définir les termes de référence, pensez à se poser les questions suivantes : La demande d une évaluation : Se poser la question : - qui a fait la demande? - quelle est la demande : - pourquoi faire une évaluation? L intérêt d une évaluation : À quoi va servir cette évaluation? - À gérer : analyser le passé pour programmer l avenir. - À informer qui : les différents acteurs de l évolution du fonctionnement d une structure, d un projet? - À contrôler : la réalisation des activités d une structure, d un projet. L utilisation d une évaluation : que va-t-on faire des résultats de l évaluation? - pour recadrer et réorienter un projet, les activités d une structure : formuler de nouvelles hypothèses de travail. - Pour confirmer les orientations actuelles du fonctionnement d une structure, d un projet. - Pour arrêter les activités d une structure, stopper un projet : TERMES DE RÉFÉRENCE : 1. Présentation de la structure ou du projet à évaluer : Décrire la structure étudiée brièvement, son histoire, son contexte ; Préciser les objectifs et activités de la structure. 2. Les objectifs de l évaluation : - Objectifs généraux ; Exemple : Est-ce que le service d appareillage peut maintenir et développer ses activités lorsque l appui de X aura cessé? - Objectifs spécifiques : Par exemple objectif d évaluation de la viabilité technique du service : La capacité de l équipe technique à délivrer des soins adaptés aux besoins de la population. - Critères d évaluation : les angles de vue retenus pour l étude. Exemple : l accessibilité géographique des patients au service ; 3. Mode d évaluation : Comment va-t-on évaluer : - évaluation externe : participative ou non

9 5. Collecte des informations : Quelles vont être les sources d information? - Interviews - Réunions - Enquêtes - Étude de documents etc. Quels sont les acteurs qui vont être sollicités : - population - associations partenaires - institutions publiques etc. 6. Calendrier déroulement de l évaluation : Durée et dates de chacune des étapes de l évaluation. Exemple : Étapes Durée Dates Demande d une formation le 2 mai 2001 à l auto-évaluation Définition des termes de référence 5 jours de l évaluation Élaboration du planning de 10 jours lévaluation Construction des outils méthodologiques Collecte de l information 1 mois Analyse de l information 7 jours Restitution des résultats de l évaluation 15 jours Rédaction du rapport 7. Restitution des résultats et des recommandations : Qui présente les résultats? Quel est le contenu de la restitution? 8. Rapport : Qui fait un rapport? Sur quoi porte-t-il? À qui est-il diffusé? C. Comment définir les termes de référence? Qui définit les termes de référence? Tout est possible Ca peut aller d une équipe comprenant les membres du service, des organismes partenaires et des bénéficiaires jusqu à une seule personne, le demandeur de l évaluation. La décision reste dans les mains du/des demandeurs de l évaluation ; Cette question est très liée - au pourquoi de l évaluation? Est-ce pour contrôler? réorienter le projet? l arrêter? - au mode d évaluation choisit : évaluation externe? auto- évaluation? - à la gestion d équipe dans le service : Est-ce que l ensemble de l équipe souhaite être partie prenante à cette démarche d évaluation? Est ce que le directeur veut/peut impliquer son équipe dans le contexte actuel? Les avantages d impliquer une équipe sont d enrichir les questions, préoccupations rencontrées dans le service au quotidien, de provoquer des échanges et enfin d informer et de préparer l ensemble de l équipe à l évaluation qui va se dérouler. Impliquer une équipe à définir les termes de référence signifie aussi qu il faut prendre le temps d expliquer la démarche d évaluation, les préparer avant de les inviter à une réunion ou ils seront sollicités. Qui rédige et valide les termes de références de l évaluation? L objectif est que les termes de référence posent le cadre de l évaluation pour répondre à celui/ceux qui ont fait la demande. Ce document suit donc un va et vient entre le/les demandeurs et le/les évaluateurs jusqu à l obtention d un consensus ; Il doit donc être validé par le/les demandeurs et le/les évaluateurs. Comment identifier les acteurs de l évaluation? Afin d identifier l ensemble des personnes qui peuvent avoir une place dans la définition des termes de référence, une solution peut être d organiser une réunion avec l ensemble des membres du service afin que : - chaque membre se représente à l intérieur du service évalué ; - chaque membre représente sur le même support l ensemble des personnes, organismes avec qui il est en relation. Suite à l identification de l ensemble des acteurs, le demandeur peut sélectionner l équipe selon leurs : - Implication actuelle et/ou futur dans le fonctionnement du service ; - Temps disponible ; - Motivation, intérêt ; - autres Comment définir les objectifs? L objectif général de l évaluation est souvent identifié par le demandeur, il peut s exprimer sous différentes formes : Un problème spécifique : «je sens qu il y a de moins en moins de patients qui viennent au centre, je voudrais savoir pourquoi? que se passe t il?» Un besoin de faire le point avant d étendre les activités du service : «ca fait cinq ans que ce centre fonctionne et je voudrais faire le bilan avant d ouvrir un nouveau service» Mieux connaître mon service : «e suis Médecin et assure la direction du service depuis deux ans, j aimerais avoir une vision globale du fonctionnement de mon service» La prévision d un changement important dans le fonctionnement du service «Notre principal financeur prévoit de retirer son support dans un an, comment maintenir l activité de notre service?» Souvent l objectif général est exprimé sous la forme d une question ou un besoin ressenti par le responsable du service ; C est à l évaluateur de formuler la demande en objectif. Comment définir les critères d évaluation? Les critères d évaluation sont des angles de vue par lesquels le/ les évaluateurs vont porter un regard sur la situation du centre. 33

10 La définition des angles de vue peut se faire en équipe, différents outils peuvent être utilisés : Demander à l ensemble de l équipe d exprimer par écrit ou oral les questions, préoccupations dans leurs activités ; voir outil méthodologique «La ronde des feuilles»? À partir de la représentation d un service de rééducation et d appareillage présentée dans le cahier N1, représenter le service et discuter avec l équipe des différents angles de vue qu ils désirent retenir. Pourquoi définir le rôle des différents acteurs et le calendrier de l évaluation? Le rôle des différents acteurs et le calendrier de l évaluation doivent être discutés et posés après avoir défini les critères d évaluation afin : d être clair sur la place de chacun et ne pas créer d attentes infondées ; de poser clairement la période de l évaluation ; il y a un début et une fin. d être clair sur la disponibilité nécessaire de chacun selon son rôles. Cette première étape est primordiale : L accord entre le/les demandeurs de l évaluation et le/les évaluateurs sur les termes de référence conditionne la réussite de l ensemble du travail qui va être mené par la suite ; Il faut donc prendre le temps nécessaire pour arriver à un accord : Ca peut aller de quelques heures à plusieurs jours de travail selon le nombre de participants et la disponibilité de l équipe Étape II : le planning de l évaluation Le planning correspond à la deuxième étape de l évaluation Cette étape a pour objectif de planifier concrètement les différents éléments précisés dans les termes de référence avant de démarrer l étape III : la collecte d information. Cette étape fait donc le lien entre la conception de l évaluation (Étape 1) et la collecte de l information, phase opérationnelle, (Étape 3). À partir des critères d évaluation mentionnés dans les termes de références, nous allons nous poser cinq questions : Quels outils méthodologiques vont être utilisés? Il s agit de faire un choix entre l analyse documentaire, l observation, enquête, entretien individuel ou de groupe. Quel est l objectif de l outil? Qui va animer cet outil durant la collecte d information? Comment utiliser l outil méthodologique? Quand aura lieu l utilisation de cet outil méthodologique? Définir une période. Voir exemple de représentation du planning de l évaluation dans les tableaux ci-après. Ensuite vient la construction du chronogramme de la collecte des informations ; voir ci-après exemple de représentation. Nous pouvons ensuite passer à l étape n 2 : Planning de l évaluation. 34

11 A. Représentation du planning de l évaluation Cet outil s utilise pour, suite à la rédaction des termes de référence, planifier le déroulement de l évaluation. Nous partons des critères d évaluation pour choisir l outil méthodologique définir son objectif qui va utiliser l outil et comment et enfin définir la période d utilisation. Critères d évaluation Outils méthodologique? Objectif? Qui? Comment? Quand? Technique : Exemple : T1 : Accessibilité géographique des patients Analyse documentaire : Étude du registre des patients. Identifier la couverture géographique du centre. Un étudiant en stage au Centre, il sera identifié par le Docteur X L étude du registre portera sur trois mois de l année 99 : - anvier : saison des pluies ; - uillet : période des vacances ; - Octobre : activités normales Du 3 au 16 janvier T2 : etc. T 3 : Critères d évaluation économique Outils? Objectif? Qui? Comment? Quand? Exemple : E1 : Mode et durabilité des sources de financements du centre d appareillage - 1/Identifier le mode de prise en charge des soins au centre Tableau récapitulatif de la prise en charge des soins du CAM. -2/Identifier les financements du CAM et l importance de chacun. Identifier les sources de financement, leur importance et leur durabilité. 1/Régisseur des recettes. Et Docteur Mamy. 2/Le gestionnaire et le Docteur Mamy 1/Voir notice d utilisation du Tableau récapitulatif E1 des sources de financement 2/Voir notice d utilisation du tableau E1 bis. Entre le 31 et le 6 février. E2 : etc. 35

12 B. Conseils pour construire le planning Plusieurs outils méthodologiques peuvent être utilisés pour un seul critère d évaluation ; Il est important de diversifier les outils méthodologiques afin de disposer de plusieurs regards sur le service. Lorsque vous arrivez à la fin, vérifier que les outils choisis sont variés. Par exemple si vous avez dans la colonne outils méthodologique que de l analyse documentaire et pas d entretiens ou que des enquêtes il faudra réviser les outils choisis. La colonne «Quand» va nous amener à valider cette étape par la construction du chronogramme de la collecte d information, Étape III. Cette étape est à mener avec l évaluateur, celui ci aura un rôle d animateur, de conseiller selon les rôles définis dans les termes de référence. Cette étape permettra ensuite à l évaluateur de construire les outils méthodologiques choisis avant de passer à l étape suivante III. Collecte de l information. 36

13 Planning de l évaluation Critères d évaluation Outils? Objectif? Qui? Comment? Quand? 37

14 C. Représentation du chronogramme de la collecte des informations Le chronogramme s utilise à la suite du tableau de synthèse ; il se présente comme le calendrier de la collecte d informations. Mois : janvier 2000 Outils Semaine du 3 au 9 janvier Semaine du 10 au 16 janvier Semaine du 17 au 23 janvier Semaine du 24 au 30 janvier T1 : Analyse du registre des patients Un étudiant analysera le registre des patients T3/T8 : Analyse des dossiers médicaux des paients Un étudiant sera chargé d analyser les dossiers médicaux des patients T2 : Observation du travail des techniciens et des kinésithérapeutes Préparation avec le docteur et les deux chefs d atelier des observations à mener. Observations T4 : Réunions pour étudier le circuit du patient dans le centre Réunion avec le groupe de dix patients animé par l assistante sociale. Réunion avec l équipe du centre animée par le docteur. T5/T7 : Questionnaire aux patients durant les visites médicales de contrôle Préparation du travail avec le docteur : explication du questionnaire Questionnaire posé aux patients 38

15 Chronogramme de la collecte des informations Mois : janvier 2000 Critère d évaluation Semaine du au Semaine du au Semaine du au Semaine du au 39

16 À la fin de ce deuxième cahier, nous aurons compris L intérêt de poser le cadre de l évaluation c est-à-dire les objectifs, critères, les acteurs impliqués et leurs rôles ainsi que le calendrier ; Nous pouvons formuler une demande d évaluation en rédigeant les termes de référence. Nous pouvons envisager de passer au cahier suivant (cahier n 3), présentant les étapes III et IV, construction des outils méthodologiques et collecte de l information. Nous pouvons trouver dans les cahiers suivant les différentes étapes de la mise en œuvre d une évaluation : (Voir graphique ci-après) Les étapes de l évaluation Cahier 2 Étape I : Définition des termes de référence : Qu est ce que l on veut évaluer? (objectif général, critères d évaluation) Qui participe à l évaluation et quelle est la place de chacun? (les acteurs) Comment va-t-on évaluer? (évaluation participative, autoévaluation? ) À quel moment l évaluation va-t-elle être menée? Étape II : Planning de l évaluation : Tableau de synthèse faisant le lien entre les acteurs de l évaluation, les interrogations de l équipe (critère d évaluation) et les délais à respecter. Cahier 3 Étape III : Construction des outils méthodologiques : Constitution des questionnaires, préparation des interviews, des discussions relatifs aux critères d évaluation. Étape IV : Collecte de l information : Recueil des informations : questionnaire, discussion de groupes, documents, etc. Cahier 4 Étape V : Analyse de l information : Lecture, analyse des informations collectées selon les critères d évaluation choisis, formulation de recommandations pour l avenir de la structure ou projet ; Étape VI : Restitution des résultats : Présentation et discussion avec les acteurs des résultats de l analyse des informations collectées. 40 Étape VII : Rédaction du rapport : Ce rapport expliquera la démarche suivie, les résultats obtenus ainsi que des recommandations envisageables pour améliorer le fonctionnement de la structure étudiée.