Evaluer son atelier / sa conférence Canevas

Transcription

1 Evaluer son atelier / sa conférence Canevas Delémont, Juin

2 2

3 Introduction Le Service Accréditation, pilotage et évaluation (SAPE) de la HES-SO développe et met à disposition des outils d évaluation en vue de l amélioration continue des activités académiques et de management L organisation d ateliers (workshops), de conférences ou d autres événements est devenue au fil du temps une activité de management parmi d autres, c est pourquoi il importe de pouvoir sans cesse l améliorer Bénéfices de l évaluation Evaluer son atelier / sa conférence bénéficie de plusieurs manière à la personne qui en a la charge : L évaluation permet de vérifier si les objectifs fixés pour cet événement sont atteint L évaluation permet de vérifier si l événement a répondu aux besoins et aux attentes des participant-e-s (même si ces besoins n étaient pas clairement identifiés) L évaluation permet de prendre le temps pour revenir sur son activité et alimenter le debriefing qui suit généralement ce genre d événement L évaluation permet d identifier et de comprendre les forces et faiblesses de son action et d en tirer des leçons pour des événements futurs L évaluation permet de fournir des informations qualitatives et quantitatives utilisables dans le rapport de synthèse de l événement ou dans d autres documents de communication comme des communiqués de presse, des bulletins d information ou des rapports annuels L évaluation permet de justifier, dans une certaine mesure, l utilisation des ressources déployées pour l organisation de l événement L évaluation participe au système d assurance qualité de la HES-SO qui prévoit des mesures d amélioration en continu de toutes les activités développées au sein de l institution Toute personne qui souhaite évaluer l atelier / la conférence qu elle organise doit être consciente qu il y aura toujours un fossé entre ce que l on veut évaluer et ce que l on peut évaluer Il est impossible de tout évaluer Cela est particulièrement vrai dans le cadre de l évaluation d un événement car la collecte intervient après l activité Compléter un questionnaire réclame donc un effort supplémentaire important pour les participant-e-s surtout si cela est fait pendant ou dans les heures qui suivent l événement Objectif du canevas Le présent canevas vise à aider la personne qui souhaite évaluer l atelier / la conférence qu elle organise Il présente l ensemble des points principaux ou thèmes qui peuvent être intégrés dans l outil qui servira à la collecte des données Des questions sont suggérées par thèmes Parfois plusieurs formulations sont proposées pour une même question Ces questions peuvent être intégrées (après adaptation) dans un questionnaire en ligne ou papier ou encore dans une grille d entrevue Ce canevas n est ni une check list dont tous les points devraient être vérifiés, ni une boussole se référant à un guide, ni un exemple de questionnaire clé en main 1 Ce canevas est à prendre au sens de «plan, ossature, trame et fond d ouvrage» 2 de l outil de collecte Ce document n est pas figé Il est évolutif et demande à être complété, révisé et bonifié régulièrement par les enseignements tirés de la pratique 1 Le Cadre de référence en évaluation revient brièvement sur l ancrage des outils développés par le dicastère Qualité 2 Voir la définition de «canevas» dans le Petit Robert (2015) 3

4 Evaluer son atelier / sa conférence Utilisation du canevas La personne qui souhaite évaluer l événement qu elle organise doit lancer la réflexion sur son évaluation au moment de sa planification et de sa préparation et non après sa tenue Il est donc utile de prendre connaissance des points principaux présentés dans ce canevas pour l élaboration de l outil de collecte avant l événement Ce canevas peut tout à fait être utilisé comme un marché de questions pour se fournir en idées et en intitulés de questions, pour autant que les objectifs de l évaluation et les thématiques à aborder aient été clairement identifiés au préalable et que les questions soient adaptées à la situation Canevas En guise d avant-propos, il paraît utile de préciser que les objectifs de toute évaluation doivent être clairement établis avant d aborder les questions d évaluation 3 L instrument de collecte qui est construit sur la base de la trame suivante doit tenir compte notamment du profil des participantes et participants, des ressources à disposition pour collecter et analyser les retours et être le meilleur moyen de collecte identifié dans la situation particulière Il importe également de réfléchir à la technique de collecte appropriée ainsi qu au moment le plus opportun pour procéder à la collecte (distribution d un questionnaire généralement en format papier pendant la conférence ou après, questionnaire en ligne envoyé dans les heures ou jours qui suivent, entrevue, etc), en considérant tous les avantages et désavantages (fatigue, lassitude, oubli, etc) Les questions doivent être le plus souvent fermées pour permettre des réponses rapides, avec quelques questions ouvertes pour obtenir des pistes d amélioration notamment Enfin le questionnaire ou la grille d entrevue doit être court et ne comporter que les questions qui permettent de collecter une information utile, valide, fiable et cohérente par rapport aux objectifs qui ont été fixés pour l évaluation 1 La personne qui participe Les coordonnées (nom, adresse, courriel) de la personne qui a pris part à l évènement peuvent être utiles pour compléter les listes de présence éventuelles Cependant, lors d évaluation la non anonymisation des données individuelles peut être mal perçue et retenir les participantes et participants qui auraient le plus à dire Les données socio-démographiques (âge et sexe) sont rarement utiles dans une évaluation d appréciation d un événement Pour éviter d alourdir un instrument de collecte, il est préférables de s en passer sauf si il existe un intérêt particulier en lien avec la thématique de l événement Le nom de l institution, la fonction ou encore le pays de provenance (dans le cas d un événement international) sont couramment demandés et préférés pour connaître les profils des participantes et participants La surreprésentation d une fonction pourrait par exemple amener la personne en charge de l organisation à un ciblage plus précis pour un prochain événement 2 La participation Il peut s avérer utile de savoir comment la personne qui participe a eu connaissance de l atelier / de la conférence Cette information permet d identifier quels sont les canaux de communication les plus utiles lorsqu il faudra organiser un événement similaire ou si l on souhaite pouvoir atteindre les mêmes profils de personnes 3 Voir le Cadre de référence en évaluation (à paraître) 4

5 Connaître la motivation de la personne donne de l information sur les raisons de sa participation Une question directe sur les attentes peut également être posée En ce sens, il est nécessaire de savoir si l événement a répondu à un besoin, d une part pour juger de l utilité de l activité et d autre part pour savoir si l activité proposée est efficace lorsque le besoin correspond à un des objectifs ciblés par l événement De quelle manière avez-vous eu connaissance de la tenue de cet événement? Dépliant officiel Site Internet www Courrier électronique / Bulletin électronique Invitation personnelle Référé-e par autrui Presse Autre : Pourquoi souhaitiez-vous participer à cet événement? Sujet/thème Possibilité d obtenir des informations utile dans le cadre de mon travail Constitution de réseaux Autre : Veuillez indiquer la raison principale ayant motivé votre participation à cet événement : Contenu Réseautage Développement personnel Conférenciers Autre : Aviez-vous des besoins et attentes particulières en participant à cet événement? Oui Non Pas d avis Si oui, lesquels? : Vos attentes ont-elles été comblées durant l événement? : 5

6 Evaluer son atelier / sa conférence 3 L organisation générale Aborder l organisation générale avant d en venir au contenu des présentations est important pour que la personne qui a participé revienne chronologiquement sur son expérience et se replonge progressivement dans ses perceptions C est pourquoi il convient de procéder pas à pas, de l arrivée à l événement à sa conclusion, sans toutefois discuter des présentatrices et présentateurs ou des contenus des présentations : localisation, durée, organisation, déroulement des inscriptions, échanges et réseautage, catering, pause Quel est votre degré de satisfaction concernant les aspects suivants : 1 = très insatisfait / 2 = insatisfait / 3 = neutre / 4= satisfait / 5 = très satisfait La localisation L organisation dans son ensemble Le déroulement des inscriptions La durée de l événement La durée des pauses Les échanges et réseautages Les services de catering La logistique L organisation en ateliers Le choix des thématiques d ateliers Commentaires : 4 Les présentatrices et présentateurs Les impacts des présentatrices et présentateurs (animateur/trice-s ou modérateur/trice-s) sur les perceptions positives ou négatives d un événement peuvent être importants C est pourquoi, il est préférable de toujours aborder ce thème afin de mieux identifier cet impact Les profils de compétences établis pour des personnes amenées à former ou à présenter sont nombreux Sans juger chacune de ces compétences, on peut retenir qu ils devraient savoir au minimum communiquer clairement de l information, être capable de convaincre et de répondre aux questions qui leurs sont posées 6

7 Pour vous, les informations transmises par les présentatrices et présentateurs étaient : Oui très Non pas du tout Utiles Claires Intéressantes Commentaires : Indiquez votre degré d accord ou de désaccord avec les propositions suivantes : 1 = pas du tout d accord / 2 = pas d accord / 3 = ni en désaccord ni d accord / 4= d accord / 5 = tout à fait d accord Les présentatrices et présentateurs ont clairement communiqué leurs intentions Les présentatrices et présentateurs ont clairement communiqué les informations Les présentatrices et présentateurs ont été capables de répondre aux questions qui leur étaient posées Commentaires : 5 Les présentations La qualité des présentations doit être jugée sur plusieurs critères En effet, il ne sert à rien de poser la question de la qualité de but en blanc aux personnes ayant participé à l événement car les résultats ne sont pas utilisables, chacun ayant sa propre définition de la qualité C est donc à la personne qui souhaite évaluer l événement qu il revient de préciser ce qu elle entend par qualité On peut suggérer de préciser les aspects suivants : pertinence des contenus par rapport à la thématique générale ; intérêt des participantes et participants pour le contenu ; accroissement des connaissances ; envie de diffuser l information reçue ; temps alloué aux questions ; matériel utilisé adapté au contenu ; etc 7

8 Evaluer son atelier / sa conférence Indiquez votre degré d accord ou de désaccord avec les propositions suivantes : Indiquez votre degré d accord ou de désaccord avec les propositions suivantes : 1 = pas du tout d accord / 2 = pas d accord / 3 = ni en désaccord ni d accord / 4= d accord / 5 = tout à fait d accord Je Les vais contenus utiliser les des informations présentations issues étaient de pertinents ces présentations par rapport à la thématique générale Pas d avis5 Pas d avis Je vais profiter du partage de l information et des échanges d idées qui ont eu lieu Les contenus des présentations étaient intéressants au cours des présentations Pas d avis 5 Pas d avis J ai accrus mes connaissances grâce aux contenus des présentations Le temps alloué aux questions était suffisant Le matériel (support et matériels distribués) était adapté au contenu La modération des débats étaitadéquate La modération des débats étaitadéquate Les présentations m apportent des nouvelles pistes, un regard différent Je vais relayer les informations issues de ces présentations Je vais profiter du partage de l information et des échanges d idées qui ont eu lieu au cours des présentations Commentaires : 6 Les forces et faiblesses S interroger sur les forces et faiblesses d une activité, c est prendre le temps de la remise en question Mais attention, les forces perçues par les uns peuvent être considérées comme des faiblesses par les autres Comme il s avérerait ici trop fastidieux de préciser ce qui doit être considéré comme une force ou une faiblesse, il est préférable de toujours laisser ces questions ouvertes C est l occasion pour la personne qui a participé de faire le bilan général et d avoir la parole pour exprimer ses regrets, frustrations ou au contraire sa joie et son enthousiasme 8

9 Quels aspects de l événement ont été les plus réussis à votre avis? Quels aspects de l événement ont été les moins réussis à votre avis? Croyez-vous que cet événement a permis une plus grande réalisation de l importance du sujet dans le milieu XY? Quel est le meilleur aspect de l événement? Quel est le moins bon aspect de l événement? Citez 3 point forts et 3 points faibles de cet événement : Pensez-vous que cet évènement devrait être réédité? Oui Non Pas d avis Précisez votre point de vue : 7 Les pistes d améliorations Ce thème est essentiel pour enrichir l expérience d organisation, élaborer des recommandations dans un rapport de synthèse et laisser la place à l innovation pour les événements futurs Il est donc très pertinent d interroger directement les participantes et participants sur d éventuelles idées et pistes d amélioration Chacune et chacun a en effet un bagage professionnel et personnel particulier et peut imaginer des éléments qu elle et il aurait appréciées de trouver durant l événement L utilisation de questions ouvertes pour ce thème est fortement recommandée et permet de laisser le mot de la fin aux participantes et participants 9

10 Evaluer son atelier / sa conférence Quels changements apporteriez-vous à l événement pour en améliorer le déroulement général? Avez-vous des suggestions afin d améliorer ce genre d événements? Oui Non Pas d avis Précisez : Quelles améliorations suggéreriez-vous? Estimez-vous avoir besoin d informations complémentaires sur le sujet? Autres commentaires, suggestions et remarques : 10

11 Ressource Dicastère Qualité Service Accréditation, pilotage et évaluation Conseillère à l évaluation SophieRuchat sophieruchat@hes-soch Références Commission européenne (nc) Fiche 4 : E valuer un événement Direction générale Politique régionale Page consultée le Community Sustainability Engagement (nc) «Post Workshop Questionnaire Template» in E valuation Toolbox Page consultée le HES-SO (2015) Cadre de référence en évaluation (à paraître) Impressum Delémont Juin

12 hes-soch f t facebookcom / hesso twittercom / hes_so in linkedincom / hesso youtubecom / hessofilms