Formation et communication à l aide des QCM avec degré de certitude. Guillaume BILLAUD InterCREx 2016

Dimension: px

Commencer à balayer dès la page:

Download "Formation et communication à l aide des QCM avec degré de certitude. Guillaume BILLAUD InterCREx 2016"

Estelle Pépin
il y a 7 ans
Total affichages :

1 Formation et communication à l aide des QCM avec degré de certitude Guillaume BILLAUD InterCREx 2016

2 Quel besoin et pourquoi des QCM au CPS Constat : Difficultés de communication dans le département : faire passer les informations suite à une réunion, un changement de pratique. Notre processus de formation manque d un outil pratique, rapide et efficace. Avant la certif HAS les QCM envoyés par la direction qualité ont permis : une bonne acquisition de connaissances, de faire passer des messages importants, un retour d information avec un texte explicatif pour chaque question.

3 Quel besoin et pourquoi des QCM Le lien avec les difficultés identifiées lors de l intercrex à l institut Gustave Roussy en 2015 lors de l atelier pratique : Les groupes 2 et 3 devaient répondre à la question : Comment rendre les actions d amélioration plus efficaces? Groupe 2 : temps, management, communication, peur du jugement et punition, efficacité des actions, formation, motivation. Groupe 3 : communication, évaluation / audit, formation, projet, direction, implication et motivation. Besoins de communication et de formation pour rendre les actions plus efficaces. Ces deux thématiques sont ressorties fortement lors du travail de groupe. Inefficacité des actions de type : rappel que ce soit par mail ou en réunion.

4 Usage détourné des QCM tels que nous les connaissons. Non pas pour de l évaluation individuelle mais pour créer des moments d échange sur des thématiques bien ciblées. Optimisation avec les degré de certitude basée sur le mémoire de master de Mr BRAVARD et le Mémoire de fin d études présenté par François Mooser en vue de l obtention du «Diplôme de formation continue en Enseignement Supérieur et Technologie de l Education». (mis à disposition dans les documents suite à l intercrex)

5 Les degrés de certitude Présentation du fonctionnement des degrés de certitude : Selon l étude ENEIS², combien d événements indésirables graves liés aux soins surviennent pour journées d hospitalisation? Vous êtes certains de votre réponse à : [0% - 25% ] [25% 50%] [50% - 70%] [70% 85%] [85% - 95%] [95% - 100%]

6 Conception des QCM La création des questionnaires pourra être participative. Par exemple les manipulateurs pourront participer à la création d un questionnaire destiné aux médecins ou à la physique. Ils pourront contenir des pré-questions, des informations, des questions en rappel, etc. Ils intègreront des degrés de certitude On ne demande jamais l identité du (des) répondant(s) mais leur profession et le nombre de personnes répondant au QCM.

7 Retour d expérience sur la conception des QCM Partage d expérience sur la conception des QCM La conception d un QCM est longue. Difficile de trouver des mauvaises réponses crédibles. Les formulations doivent éliminer toute ambigüité et être parfaitement claires et intelligibles. Possibilité d utiliser des questions de type «mise en situation». Mise en place des quizz sur le site de l intercrex ou Survey Monkey ou toute autre plateforme permettant la création de formulaires personnalisés.

8 Durée et fréquence des QCM Les QCM devront être rapides à remplir, 10 questions pas plus. Ils seront réalisés à une fréquence restreinte pour ne pas être trop contraignants. Ils pourront être réalisés au poste de travail ou lors d une réunion. Ils seront à réaliser autant que possible à plusieurs.

9 Charte de bon usage des QCM Proposition de créer une charte de bon usage des QCM : Les QCM servent à informer d une décision, à réaliser une formation sur un thème précis, à évaluer le niveau de maitrise ou de connaissance d un groupe sur une question ou une thématique. Les QCM ne servent pas à classer «les bons des mauvais professionnels». Ils ne servent pas à noter les professionnels individuellement ou collectivement. Ils sont remplis anonymement.

10 Objectifs 1/2 Evaluer le niveau de maîtrise sur des sujets précis par catégories professionnelles pour déterminer si des informations et formations plus poussées sont nécessaires. (ciblage et meilleure utilisation des ressources) Evaluer l amélioration du niveau de maîtrise lorsque le même QCM est réalisé à plusieurs mois d intervalle. (progression) Améliorer les actions CREx du type : «rappel [ ]»

11 Objectifs 2/2 Mieux connaître nos points faibles en matière de communication et de partage d information. Permettre des moments d échanges sur un thème et faire naître la discussion pour partager les informations. (maîtrise de la communication) Mieux maitriser des processus ou des protocoles connus comme étant à risque. (améliorer la gestion des risques)

12 Analyse des résultats Les systèmes de formulaires en ligne ne permettront pas l exploitation et le calcul des indicateurs. Analyse des résultats et calcul des indicateurs grâce aux degrés de certitude : Méthode de calcul : score total, score moyen, certitude moyenne, % de réponses correctes, centration, indice de réalisme. Nécessité de construire un fichier pour calculer les scores et différents indicateurs. Ce fichier est mis à disposition sur le site de l intercrex comme ressource de cette journée. Démonstration du fonctionnement avec les données du QCM identitovigilance.

13 Analyse des résultats Calcul du score total, score moyen, certitude moyenne, % de réponses correctes

14 Analyse des résultats Calcul de la centration : Si la centration est négative, le répondant à tendance à se sousestimer. Si la centration est positive, le répondant à tendance à se surestimer.

15 Indice de réalisme : Analyse des résultats

16 Les résultats sur 2 QCM en 2016

17 Résultats des deux QCM réalisés en QCM réalisés en 2016 : Protocole pelvis Très technique Evaluation des connaissances sur de nouvelles pratiques récemment diffusées aux professionnels. Identitovigilance Généraliste QCM réalisé non pas dans une optique d évaluation des connaissances mais de transmission d information (didactique)

18 Résultats comparés aux 2 QCM Protocole Pelvis : Nb de répondants Pourcentage de bonnes réponses Score moyen Centration Indice de réalisme 22 56,2% 8,7 / 20 28,7% 66,8% 2 répondants / QCM en moyenne Surestime Insuffisant Identitovigilance : Nb de répondants Pourcentage de bonnes réponses Score moyen Centration Indice de réalisme 56 96% 18,9 / 20-1,9% 92,7% 6,2 répondants / QCM en moyenne Sous-estimé Excellent

19 Le retour d expérience des utilisateurs

20 Retour d expérience et évaluation par les utilisateurs : 11 répondants au questionnaire Pensez-vous que ceux-ci sont plus efficaces qu un rappel aux bonnes pratiques en réunion? C'est beaucoup moins efficace 0% 0 C'est moins efficace 0% 0 C'est pareil 45,45% 5 Oui plus efficace 45,45% 5 Oui beaucoup plus efficace 9,09% 1 Total 11

21 Préférez-vous répondre aux quizz en groupe ou individuellement? En groupe 45,45% 5 individuellement 54,55% 6 En groupe occasion d'échanger et d'argumenter les réponses Permet un échange, tout comme un rappel oral Interaction Plus de discussion et échange individuellement Pour savoir ce que je sais vraiment J'ai mes propres réponses Ca permet de mieux évaluer mes propres connaissances sans aides extérieurs Etat de mes connaissances et pas biaisées par le groupe

22 Lors de la réalisation d un quizz en groupe, pensez-vous que ceux-ci ont favorisé : Non Oui NC Les échanges d informations entre vous? 2 (18%) 9 (82%) 0 Un partage des bonnes pratiques? 0 11 (100%) 0 Qu ils ont permis de structurer la communication? Que la communication réalisée entre vous n aurait pas pu avoir lieu en dehors de ce cadre? 5 (45%) 6 (55%) 5 (45%) 6 (55%) 0 0

23 A l issue du quizz sur l identitovigilance avez-vous acquis des connaissances nouvelles? Non aucune 4 44% Quelques notions 4 44% Oui, à présent je maitrise mieux les concepts liés à l'identitovigilance 4 11% NB : à ce QCM le personnel a obtenu un très bon score.

24 Pensez-vous que les infos reçues lors du quizz se mémorisent mieux que lors de la lecture d un mail ou d un protocole? Non 0 0% Oui 8 80% Je ne sais pas 2 20% Après les avoir expérimentés, pensez-vous que ce type de quizz peut favoriser la communication entre professionnels? Non 1 11% Oui 5 56% Je ne sais pas 3 33%

25 Après les avoir expérimentés, pensez-vous que ce type de quizz peut être utilisé comme outil de formation? Non 2 18% Oui 6 55% Je ne sais pas 3 27% Remarque(s) : Ils ont surtout l'avantage de mesurer l'état d'une connaissance sur une population.

Documents pareils

SITES WEB GRATUITS D APPRENTISSAGE EN ANGLAIS ET EN D AUTRES LANGUES

SITES WEB GRATUITS D APPRENTISSAGE EN ANGLAIS ET EN D AUTRES LANGUES Compréhension orale : http://www.elllo.org/ (traduction, vocabulaire, articles, vidéos) http://breakingnewsenglish.com/ (textes et audio)