Deborah Arnold, Chef de projet Vidéoscop-Université Nancy 2, France

Transcription

1 Premiers résultats de l expérimentation européenne de la démarche et de l outil SEVAQ+ visant notamment à mesurer l efficacité des formations qui utilisent partiellement ou totalement les TICE. Deborah Arnold, Chef de projet Vidéoscop-Université Nancy 2, France Ce projet a été financé avec le soutien de la Commission européenne. Cette communication n engage que son auteur et la Commission n est pas responsable de l usage qui pourrait être fait des informations qui y sont contenues.

2 PLAN Les origines de SEVAQ+ Le Programme EFTLV Ancrage conceptuel et théorique Comment concevoir un questionnaire d autoévaluation Comment interpréter les résultats Tester SEVAQ+ : l enquête utilisateur Quelques scenarii pour l utilisation de SEVAQ+

3 Qu est-ce que SEVAQ? SEVAQ = Projet européen Leonardo ( ) : 9 partenaires, 7 pays Outil d évaluation des formations elearning Par les apprenants Pour la formation professionnelle Utilisant les TICE Principales caractéristiques : Adapté à une démarche qualité Multilingue (7 langues) Multifonction (création, gestion, soumission de questionnaires) Affichage en temps réel des résultats (histogrammes, radars ) SEVAQ France

4 Qu est-ce que SEVAQ+? Projet Lifelong Learning (Education et Formation Tout au Long de la Vie EFTLV) Axe transversal KA4: Dissémination et exploitation de résultats

5 Lifelong Learning Programme

6 Que peut-on faire avec SEVAQ+? Créer des questionnaires à l appui d approches d évaluation et de qualité reconnues. Analyser les résultats grâce à des données faciles à interpréter. Améliorer la qualité des formations. Enseignants et formateurs : peuvent recueillir un feedback pour avoir exactement ce que pensent les apprenants. Responsables de formation : peuvent interroger toutes les parties prenantes et comparer leurs réponses pour une vision à 360. Organisations : peuvent utiliser les résultats dans une logique de benchmarking. Apprenants : peuvent faire entendre leur voix.

7 1 er modèle conceptuel : Kirkpatrick Niveau 5 : Retour sur investissement Impact financier de la formation Niveau 4: Résultats business productivité, ventes, turnover de personnel Niveau 3 : Le transfert des résultats de l apprentissage sur le lieu de travail La mesure plusieurs semaines après de ce qui a changé par l apprentissage Niveau 2 : Evaluation de l apprentissage tests, examens. La mesure immédiatement après la formation de ce qui a été acquis (compétences, connaissances) Niveau 1 : Réactions satisfaction de l apprenant

8 2 e modèle conceptuel : EFQM EFQM European Foundation for Quality Management

9 L acteur principal de SEVAQ v1.0: l apprenant Partially EFQM and partially Kirkpatrick apprenant 3 domaines d évaluation : Les ressources utilisées par l apprenant Les processus : activités proposées à l apprenant pendant la formation Les résultats : atteinte des objectifs pédagogiques, impact de l expérience sur l apprenant, un début de mesure du transfert sur le lieu de travail.

10 SEVAQ+ : l extension de SEVAQ Elargir les processus : le processus d apprentissage + tous les processus de design côté fournisseur Ingénierie FOAD / TICE Objet Processsus d apprenstissage Enseignant/ Formateur HE VET Apprenant Manager Cible Elargir la cible : l apprenant + les autres parties prenantes Contexte Elargir les secteurs : Formation professionnelle (VET) + enseignement supérieur (HE)

11 L extension de SEVAQ+ Apprenants Managers Formateurs Fournisseurs + parties prenantes + contextes (ES & FP) + domaines EFQM + niveaux Kirkpatrick

12 La structure des questionnaires SEVAQ+ Ressources Sous-critère a Critère 1 Sous-critère Activités Critère 2 b Sous-critère c Items Critère 3 Sous-critère d Resultats Critère 4 Sous-critère e SEVAQ 1 SEVAQ + 17 Critères 22 Critères 38 Sous-critères 99 sous-critères 208 Items 723 Items

13 L application d EFQM & de Kirkpatrick EFQM Kirkpatrick 1 & 2 EFQM Kirkpatrick 3

14 Tester SEVAQ+: Etape 1 mise en route Démos SEVAQ+ (EN) :

15 Etape 2 : concevoir et implémenter vos questionnaires Demo 1 Demo 2a Demo 2b Demo 3 Demo 4

16 Interpretation de résultats : Histogrammes Question 247 : Vous saviez ce que l'on attendait de vous chaque semaine (ou jour).

17 Interprétation de résultats : radars Améliorations requises Sous-critères avec un résultat en dessous de la moyenne 37 : Gestion du temps [ 2.49 ] 41 : Approche mixte [ 2.59 ] 79 : Niveaux des résultats des connaissances générales [ 2.62 ] 86 : Gestion de l apprentissage [ 2.41 ] 88 : Auto-motivation [ 2.55 ] Amélioration non-requise Sous-critères avec un résultat au dessus de la moyenne 18 : Aspects pédagogiques de contenus d apprentissage [ 2.76 ] 20 : Prescriptions techniques et de configuration [ 3.04 ] 22 : Conception et ingénierie pédagogiques [ 2.77 ] 38 : Navigation et options de ressources [ 2.84 ] 84 : Prise de conscience des styles d'apprentissage [ 2.72 ] Moyenne de l évaluation = 2.7

18 Interpretation de résultats : tableau Tableau qui résume les questions critiques (pourcentage de répondants ayant evalué la question comme importante et en même temps l ayant donné une note faible). Une question est considérée comme étant critique dès lors que son score est supérieur à 40% et très critique avec un score supérieur ou égal à 60%.

19 SEVAQ+ processus de validation Cycle d évaluation 1 Tests utilisateur (n = 5000) Deux cycles d amélioration. Cycle d évaluation 2 Validation par des experts via : Méthode de consensus Delphi (en ligne) Atelier de validation (présentiel)

20 SEVAQ+ tests utilisateur (Dec 2010) 157 réponses directes à l appel à testeurs > testers potentiels (58% Ens. Sup / 42% FP) 7 seminaires en FR, PL, LT et IT 3 ateliers internationaux (Valencia, Oeiras & Budapest) avec EDEN & EFQUEL 2140 testeurs actuels (+ fin Jan avec évaluations fin de semestre) 300 Concepteurs 1840 Répondants 7179 Questionnaires distribués 5126 Questionnaires complétés (taux de reponse rate = 71%)

21 Enquête utilisateur Recueillir feedback pour améliorer SEVAQ+ Fonctionnalités Formulation des questions Recenser scénarii d exploitation Dites-nous comment vous voulez utiliser SEVAQ+!

22 Rejoingez-vous! Facebook : SEVAQ+ < Viadeo (FR) : Evaluation de la formation LinkedIn : Evaluation of training and courses YouTube : Quality in elearning

23 Merci de votre attention! Avec l aide indispensable de : Anne-Marie Husson (CCIP-Le Préau) Dr Ulf-Daniel Ehlers (EFQUEL) Rolf Reinhardt (EFQUEL) Et de tous les partenaires SEVAQ+! Deborah.Arnold@univ-nancy2.fr