HANDBOOK. www.sevaq.eu. Shared Evaluation of Quality in technology-enhanced learning

This project has been funded with support from the European Commission. This website reflects the views only of the authors, and the Commission cannot be held responsible for any use which may be made of the information contained therein. HANDBOOK Shared Evaluation of Quality in technology-enhanced learning for higher education, vocational education and training and the corporate sector www.sevaq.eu INDE 0

INDE PREFACE... 2 Vers une culture partagée de l évaluation de la qualité... 2 1. LE CONCEPT... 5 1.1 La qualité dans l enseignement... 5 1.2 Carte d Identité de SEVAQ+... 6 2. DE SEVAQ A SEVAQ+... 7 3. SCENARIOS D USAGE... 13 4. L APPLICATION WEB: Guide des fonctionnalités... 17 4.1 Les processus SEVAQ+ en bref... 17 4.2 Connexion et entrée dans l outil... 19 4.3 Création et administration des questionnaires... 21 4.4 Création et administration des répondants... 28 4.5 Soumission du questionnaire... 30 4.6 Consultation des résultats... 32 5. OPTIMISER VOTRE UTILISATION DE SEVAQ+... 37 5.1 Chaque projet d évaluation est unique... 37 5.2 Chaque questionnaire est unique... 40 5.3 Plusieurs questionnaires dans une même évaluation... 41 6. SKETCHES DE SEVAQ+... 45 6.1 Des répliques virtuelles... 45 REFERENCES... 49 Web references... 49 Annexe : HISTORIQUE DU PROJET... 50 A1 Chronologie : principales initiatives et résultats... 50 A2 Enquête auprès des utilisateurs... 51 A3 Evaluation Delphi... 52 A4 Adaptation... 54 CONTACTS... 56 INDE 1

PREFACE Vers une culture partagée de l évaluation de la qualité Par Ulf-Daniel Ehlers «La qualité est au cœur des ambitions de l Europe qui veut devenir une référence mondiale pour l éducation et la formation. Les technologies de l'information et de la communication (TIC) sont considérées comme un outil essentiel pour y parvenir, avec l ouverture de nos systèmes au monde, l amélioration de l accès à tous et une efficacité accrue de l enseignement. Mais plus que cela, les TIC sont considérées comme un catalyseur du changement dans nos efforts visant à réformer et moderniser l éducation et la formation pour la société du savoir.» (Holmes, 2006, p. 15) La qualité de l éducation et de la formation a toujours été un sujet crucial en Europe. Tandis que les hommes politiques européens ont comme priorité la réalisation des objectifs de Lisbonne et qu ils tentent de rattraper les Etats-Unis en matière de compétitivité et de productivité, il faut de nouveau nous concentrer sur notre position dans le monde par rapport à l enseignement. En réponse aux défis identifiés à Lisbonne, le Conseil européen adoptait en 2001 trois objectifs stratégiques (dont 13 buts concrets) à atteindre d ici 2010 : les systèmes d éducation et de formation devraient être organisés autour de la qualité, de l accès et de l ouverture au monde. Un an plus tard, il approuvait un programme de travail détaillé pour la réalisation de ces objectifs, intitulé Education et Formation 2010, et soutenait l ambition des ministères de l éducation de faire de l Europe une «référence mondiale de qualité d ici 2010». On a placé la qualité en tête de l ordre du jour politique et les états membres se sont engagés à travailler ensemble à travers une approche baptisée «Méthode ouverte de coordination» (ibid.). Cependant, les exigences et les contextes du développement de la qualité changent au rythme de la société. Les profondes transformations sociétales du Ième siècle ont des implications sur la façon dont nous envisageons l éducation et la qualité de l éducation en particulier. Dans un monde où l on constate l émergence ou la consolidation de moteurs sociaux tels que la transparence, la participation ou la responsabilité, le pouvoir citoyen sous la forme de l autogestion, la montée des voix et moteurs de valeur que constituent les organisations collaboratives, l innovation ouverte et une culture du changement, il y a un besoin pressant d encourager une culture d évaluation partagée. Alors que l on s est focalisé sur les mesures externes pour garantir la qualité, il faut maintenant se pencher sur le développement d une culture interne de la qualité dans la formation professionnelle et l enseignement supérieur. Nous entrons dans une nouvelle ère de la gestion de la qualité pour l enseignement supérieur et la formation professionnelle (Ehlers 2010). Alors qu il est difficile de déterminer quand cette ère a vraiment commencé, il est clair que l on est passé d une approche de la qualité comme une chose mécaniste à une nouvelle démarche, par laquelle le développement de la qualité exige en substance le développement d une culture organisationnelle fondée sur des valeurs partagées, des compétences nécessaires et un nouveau professionnalisme. Alors que l on a prêté beaucoup d attention à la maîtrise d instruments de contrôle de la qualité ou de l accréditation au cours des dix dernières années, on met de plus en plus l accent sur la maîtrise du changement et la professionnalisation dans les domaines de l enseignement supérieur. Les notions telles que le contrôle de la qualité et la gestion de la qualité sont souvent perçues comme des approches technocratiques descendantes qui échouent fréquemment dans l enseignement supérieur (Sursock 2004). Pendant longtemps on a adopté une démarche plutôt modulaire qui séparait les différents processus d enseignement les uns des autres, les décrivait et en assurait la qualité. La nouvelle génération ou nouvelle ère - se concentre sur une démarche différente. PREFACE 2

Elle se focalise plus sur le changement que sur le contrôle, le développement plutôt que la garantie, l innovation plutôt que la conformité aux normes. Elle tente d identifier les facteurs déterminants dans les portfolios de compétence des diverses parties prenantes. La première (traditionnelle) approche de la gestion organisationnelle, que prônent les théoriciens tels Michael Porter (1980), représente de façon intrinsèque la théorie selon laquelle les stratégies peuvent être préétablies et planifiées de façon précise. La nouvelle théorie, défendue avec force par Henry Mintzberg (1994), affirme que le changement dans les organisations est plutôt émergent et provient des compétences des employés et de la culture organisationnelle (voir également Prahalad/ Hamel 1980). Dans cette vue, les aspects tels que les systèmes et instruments de gestion de la qualité, les compétences, les valeurs individuelles et organisationnelles ne sont pas considérés comme les entités distinctes d un processus de développement de la qualité, mais sont associés dans des concepts holistiques. Nul n est supérieur à l autre. La définition de qualité d enseignement ne peut pas être donnée de façon normative et arbitraire, mais doit être le résultat de négociations et de la participation de toutes les parties prenantes. Il faut vraiment insister sur le fait que voir la qualité à la lumière d une perspective culturelle organisationnelle implique l adoption d une approche holistique : la culture de la qualité mêle les éléments culturels, les dimensions structurelles et les compétences dans un cadre holistique, elle incite les adeptes à développer des projets, des valeurs partagées et des croyances. La communication, la participation et la combinaison d interaction descendante et montante sont primordiales pour la réussite d une culture de la qualité. Pendant longtemps le développement de la qualité s est trop focalisé sur les mesures de garantie de la qualité, comme les procédures d accréditation dans l enseignement supérieur. Aujourd hui le potentiel du développement d une culture interne de la qualité devient plus évident et la qualité est de plus en plus considérée comme une fonction de la professionnalisation dans l enseignement supérieur et la formation professionnelle plutôt que comme un simple mécanisme de contrôle. Cependant, tous ne sont pas unanimes sur l importance de la mise en place de démarches qualité comme stratégies de développement organisationnel avec des processus de professionnalisation, et les outils et approches n en sont toujours qu à leur début. Aussi il est essentiel de soutenir les projets sur la qualité, les initiatives sur la qualité, et le développement de démarches qualité qui associent des mesures valables en insistant sur l apprentissage organisationnel et le développement d une culture de la qualité. Dans toutes ces démarches il est important d inclure tous les acteurs impliqués dans le processus de développement de la qualité et d admettre que le développement de la qualité dans l enseignement supérieur et la formation professionnelle peut tirer parti d un tel processus communautaire. Afin d aider le processus d acquisition de méthodes et d outils pour les organisations dans l enseignement supérieur et la formation professionnelle, nous avons élaboré des outils et un ensemble d expériences dans le domaine de l évaluation partagée, et nous avons conclu que c est une démarche convenable pour le développement de la qualité organisationnelle et de l enseignement dans le sens holistique décrit plus haut. SEVAQ est un outil d évaluation partagée de la qualité de l e-learning dans l enseignement supérieur et la formation professionnelle. Cet outil multilingue offre à la fois une base de questions et des possibilités d évaluation personnalisée. Les résultats de l évaluation sont affichés en temps réel et sous diverses formes, de graphiques en étoile donnant une image instantanée à des données brutes à importer dans d autres applications. SEVAQ a d abord été élaboré dans le cadre du projet pilote Leonardo Da Vinci (2005-2007) dans lequel 9 partenaires européens ont combiné la méthode d évaluation de Kirkpatrick et les éléments du modèle EFQM de la Fondation Européenne pour la Gestion de la Qualité pour produire et mettre en application un outil dynamique multifonctionnel dans 7 langues générateur de PREFACE 3

questionnaires d évaluation partagée afin de recueillir un feedback de haute qualité de la part des apprenants. Pour construire le potentiel de SEVAQ, les partenaires principaux du premier projet ont uni leurs forces avec les nouveaux membres, y compris deux réseaux européens importants, EDEN (European Distance and E-Learning Network) et EFQUEL (European Foundation for Quality in E-Learning) pour développer SEVAQ+, un projet KA4 Diffusion et Exploitation sous l égide du programme Education et Formation Tout au Long de la Vie (2009-2011). Au cours de ce projet, l outil et la démarche ont été peaufinés pour soutenir et encourager l assurance qualité dans l enseignement supérieur et la formation professionnelle. Un des résultats principaux de ce projet, bien au-delà de l outil même, est l émergence de cette notion d évaluation partagée, un grand pas vers les changements culturels nécessaires pour une acceptation générale et l adoption de la mesure de la qualité dans le domaine de l enseignement. PREFACE 4

1. LE CONCEPT 1.1 La qualité dans l enseignement L assurance qualité (AQ) est une priorité au niveau de la CE, pour les institutions d enseignement supérieur (IES) et la formation professionnelle (FP). Le processus de Bologne influence l AQ des IES et l amélioration des systèmes d AQ de la FP reste une haute priorité dans le cadre du Programme Education et Formation Tout au Long de la Vie. Les institutions doivent réfléchir à de nombreuses questions, en particulier aux processus d enseignement et d apprentissage, et aux rôles et responsabilités de la direction, des enseignants et des étudiants dans la mise en lumière de la qualité de ces processus. La mise en place des grandes lignes de Bologne se concentre sur l introduction de procédures pour l assurance qualité (I. Huet et al, 2010). L auto-évaluation fait partie de l assurance qualité interne, c est le processus de révision de la qualité de ses propres résultats. Selon la définition de la Fondation Européenne pour la Gestion de la Qualité (EFQM), l auto-évaluation fait référence à une révision régulière, systématique et totale des activités et résultats d une organisation au moyen du modèle EFQM. Le processus d auto-évaluation permet à une organisation de mettre clairement en évidence ses forces et ses faiblesses, et aboutit à la planification d actions d amélioration dont le déroulement est ensuite suivi de près. SEVAQ+ a pris cette notion d auto-évaluation au niveau de l organisation pour développer la notion d évaluation partagée. Il ne s agit pas de l évaluation qu un individu peut faire de son propre apprentissage, mais d un regard holistique que porte le public concerné sur l évaluation de la qualité des processus, des ressources et des résultats de tout apprentissage assisté par la technologie. La qualité est nécessaire pour le succès des produits en général, et elle devient essentielle lorsqu il s agit de l éducation en particulier. C est l enseignement de qualité qui permet aux jeunes d agir comme des professionnels compétents, avec de bonnes connaissances et un bon comportement social. L enseignement contribue au développement d un être social stable et d un être économique changeant (Henrard et al, 2008) (Horton, 2001). C est pourquoi trois conditions fondamentales sont nécessaires à un enseignement de qualité : La possibilité d assurer une vraie croissance de la personnalité et du comportement de l apprenant. La conformité avec les besoins de la société. La disponibilité de ressources de qualité et des compétences en matière de gestion professionnelle au sein de l établissement d enseignement. Comment garantir ces conditions de qualité de l enseignement et comment contrôler la qualité sont des questions de management que se pose toute organisation dans l enseignement et surtout dans l elearning. Fang Zhao (2003) propose un ensemble de méthodes pour améliorer la qualité de l e-learning, dont les caractéristiques sont les suivantes : Efficacité des cours: les technologies modernes n ont aucune valeur si elles n aident pas à fournir un contenu qui correspond aux besoins des étudiants. Qualité de l accès à l infrastructure technologique: les difficultés de la plupart des étudiants d elearning sont dues à une technologie insuffisante. Satisfaction de l étudiant: celle-ci dépend de la qualité du cours en e-learning, et de l interaction avec l enseignant et les services d assistance. L interaction entre les étudiants et l enseignant en e-learning synchrone et asynchrone est primordiale, de même que le feedback pour l enseignant. Satisfaction pédagogique: l e-learning doit répondre aux attentes du corps enseignant, car l elearning est différent de l enseignement en présentiel. LE CONCEPT 5

1.2 Carte d Identité de SEVAQ+ SEVAQ+: un outil en ligne QUI NE SERT PAS simplement à produire des questionnaires. QUI SERT à mettre en application une enquête structurée. Il existe de nombreuses cases vides sur le marché pour la conception de questionnaires, mais aucune avec une base de données validée de plus de 700 réponses! Ceci est fondé sur des questionnaires personnalisés, en puisant dans la base de données structurée de questions et un outil de configuration qui vous aide à sélectionner les plus adaptés à votre cas. un modèle d évaluation QUI N EST pas prescriptif. SEVAQ+ ne vous dit pas ce qui est bon ou si vous êtes conforme à un certain standard. QUI SERT de diagnostic et EST descriptif. Il souligne les forces et les faiblesses, les contradictions et les concordances de votre formation. A partir de là, on peut choisir une solution pour améliorer tout le système. une méthode QUI NE se réfère PAS à un QUI EST applicable à des modèles pédagogiques modèle pédagogique spécifique. différents. Son but N EST PAS de vous dire quel modèle il vous faut pour un cas ou un but de formation précis. Chaque cas a sa propre particularité. Des modèles différents ou une combinaison de modèles peuvent être la meilleure solution pour permettre l apprentissage. un processus d évaluation partagée QUI NE se limite PAS à la conception, la mise en application et la fourniture d un cours particulier. Une formation ne doit pas être considérée comme un système indépendant avec une durée de vie limitée. QUI EST ouvert à tous les processus de qualité internes et externes. La formation est un système vivant intégré dans un environnement ouvert. Il y a des participants et des bénéficiaires internes (enseignants, directeurs, apprenants) et des participants externes et des bénéficiaires indirects (organisations qui financent la formation, politiciens). un outil de contrôle QUI N EST PAS purement quantitatif. Bien que des indicateurs et des seuils spécifiques donnent une indication des parties à améliorer, la qualité est bien plus qu une simple opération arithmétique. QUI EST tout à fait qualitatif. Les zones critiques sont définies comme le résultat combiné de 2 typologies de réponses des personnes interrogées: a) Accord (échelle de Likert) b) Importance (échelle de Likert) une démarche QUI N EST PAS un processus à sens unique Même si SEVAQ+ permet la création de questionnaires par un seul concepteur pour un seul groupe-cible, ce n est pas son seul but. Qui EST fondée sur l entente et le partage. La force de SEVAQ+ est d aider les aspects multiples de tout le processus de formation. LE CONCEPT 6

2. DE SEVAQ A SEVAQ+ 2.1 L approche SEVAQ + SEVAQ+ est une initiative européenne d évaluation partagée destinée à promouvoir la qualité des systèmes de formation, de l Enseignement Supérieur et de la Formation Professionnelle, qui sont supportés par les technologies de l information et de la communication (TIC). L approche SEVAQ+ est construite sur une combinaison innovante du modèle d'évaluation de l apprentissage de Kirkpatrick et du modèle d'excellence EFQM. L'outil permet de travailler aussi bien à partir de questions prédéfinies que de questions personnalisées. Les résultats de l'évaluation sont disponibles en temps réel et dans une variété de formes : des graphiques radar donnant une image instantanée ainsi que des données brutes pour les importer dans d'autres applications. 2.1.1 Le modèle d excellence EFQM Le modèle d excellence EFQM est construit sur une base de 9 critères. Cinq d'entre eux sont classés comme des critères «Facteurs», les quatre autres comme des critères de «Résultats». Les critères «Facteurs» couvrent ce que fait l organisation. Les critères «Résultats» couvrent ce que l organisation réalise. Les «Résultats» sont produits par les «Facteurs» et les «Facteurs» sont améliorés en utilisant les retours obtenus sur les «Résultats». Le modèle EFQM favorise une approche dynamique de la qualité en ce sens que les retours obtenus à partir de l évaluation contribuent à améliorer les «Facteurs», qui, à leur tour, améliorent les «Résultats». Grâce à cette double démarche, à la fois systémique et globale, le modèle EFQM favorise l'amélioration continue et l'innovation. Décliner le modèle d Excellence l'efqm dans un contexte d apprentissage supporté par les technologies de l information nécessite certaines transpositions. L'objectif est d'évaluer la performance du processus d'apprentissage et de prendre les mesures d amélioration nécessaires. Voici le canevas décliné de l approche EFQM que nous avons développé comme cadre conceptuel de notre démarche SEVAQ + : Direction : Comment la Direction de l Etablissement promeut et supporte une culture d amélioration continue. Stratégie et politique d Etablissement : Comment la Direction de l Etablissement transcrit les objectifs en processus opérationnels destinés à un usage innovant des TIC dans les actions d apprentissage. Approche managériale : Comment la Direction de l Etablissement permet au personnel de l Etablissement et aux apprenants de développer leur plein potentiel afin de créer un processus d'apprentissage optimal. Mettre en adéquation les compétences du personnel aux objectifs de l'école. Partenariats: Partenariats avec les parents, les employeurs, les agences de financement, les structures régionales. Partenariats avec d autres organismes de formation. Les fournisseurs font aussi partie de ce registre. Ressources: Gestion des ressources humaines, des ressources pédagogiques, de l immobilier, des équipements, du matériel, de l information, en vue de l atteinte des objectifs pour l apprentissage et l amélioration en continu. Gestion de l offre, de son organisation et des ressources allouées aux services. Facteurs Gestion des processus : Gestion des processus clefs liés à la formation et à l apprentissage : programmes, activités pédagogiques, activités d accompagnement et d évaluation, équipements et infrastructure... DE SEVAQ A SEVAQ+ 7

Résultats pour le client : comment l Etablissement satisfait les attentes de ses divers clients : les apprenants, les parents, les employeurs, les agences de financement Résultats pour le personnel: Motivation / satisfaction des équipes et des apprenants avec les conditions de travail et de réalisation du service d apprentissage. Impact sur la société : comment l Etablissement satisfait les attentes de la société et quel est à long terme, l impact du service rendu sur le développement personnel et social de la communauté dans son ensemble. Resultats Résultats: Atteinte des objectifs de l Etablissement en ce qui concerne les résultats et l impact sur la communauté externe, des actions de formation, de recherche et de développement de services. Fig. Le modèle conceptuel de SEVAQ+ décliné pour l apprentissage à partir du modèle d excellence EFQM (Schreurs, 2010) 2.1.2 Le modèle d'évaluation de l apprentissage de Kirkpatrick Le modèle d'évaluation de l apprentissage mis en place par Kirkpatrick est totalement pertinent pour analyser les critères «Résultats» du modèle conceptuel de SEVAQ+. Ce modèle est souvent représenté comme une pyramide avec 4 niveaux, comme dans le schéma ci-dessous : RESULTATS 4 TRANSFERT APPRENTISSAGE REACTIONS 3 2 1 Les réactions ou niveau de satisfaction des apprenants à propos de leur expérience d apprentissage, Les résultats d apprentissage en termes de nouvelles connaissances acquises durant la formation, Le transfert de ces nouvelles connaissances sur le poste de travail en termes d impact de la formation sur la performance et l acquisition de nouvelles compétences, L impact de ces personnels mieux qualifiés sur les résultats globaux de l entreprise. DE SEVAQ A SEVAQ+ 8

2.1.3 Evaluation partagée de la qualité des dispositifs d apprentissage supportées par les technologies de l information et de la communication(tice) L un des défis principaux auquel fait face l amélioration de la qualité dans les systèmes de formation supportés par les TICE est qu il implique un grand nombre de parties prenantes ayant toutes un impact déterminant sur la qualité de l apprentissage expérimenté. Ces différentes parties prenantes, du moins celles qui, en interne, contribuent à la mise en place du service, se doivent d être des évaluateurs. Ainsi, quatre grandes catégories de parties prenantes doivent être impliquées dans la démarche d assurance qualité de systèmes de formation supportés par les TICE : Les apprenants : selon le cas, il peut s agir d élèves, d étudiants universitaires ou encore de professionnels en poste dans une organisation. La formation a été conçue pour eux et ils ont eu à y jouer un rôle actif pour atteindre leurs objectifs d apprentissage ; Le personnel en charge de la formation : pour la mise en œuvre du e-learning, le personnel en charge de la formation est constitué de profils différents qui tous contribuent à la qualité de l'expérience d'apprentissage et ont tous un point de vue à donner : les enseignants en face à face, les tuteurs pour les activités en ligne, l équipe de soutien technique et les pairs dans l apprentissage. Les fournisseurs de technologies et de ressources pédagogiques pour l apprentissage en ligne : celles-ci peuvent être fournies par des parties prenantes internes ou externes à l organisation. Quelle que soient leurs sources, leur objectif est toujours d aboutir à la meilleure qualité possible de l expérience d apprentissage. L équipe de direction : son rôle est d assurer la mise en place du meilleur service e-learning pour toutes les parties prenantes et les apprenants ce qui signifie veiller aux budgets, aux ressources mises à disposition des concepteurs, aux processus internes de conception et au plan qualité de l organisation. Fig. 2- Extension de SEVAQ à SEVAQ+ (EFQM et Kirkpatrick) Ainsi, une démarche d évaluation doit souvent combiner plusieurs questionnaires, créés par des concepteurs différents pour des publics de répondants différents. C est pourquoi, chaque contexte d évaluation nécessite une réponse spécifique où il est important de tenir compte des objectifs propres à l évaluation et des parties prenantes qui doivent y être impliquées (voir chapitre 5). DE SEVAQ A SEVAQ+ 9

2.2 L extension de SEVAQ à SEVAQ+ SEVAQ+ vise à renforcer les résultats liés à l observation rigoureuse d une expérience d apprentissage. Pour ce faire, l équipe du projet a étendu le modèle conceptuel de l outil à de nouvelles dimensions : plus de contextes d apprentissage pouvant être couverts : tous les secteurs de la formation professionnelle (EFP) et de l Enseignement Supérieur (ES). EFP ES Enseignement et Formation Professionnels Enseignement Supérieur plus de profils de répondants : non seulement les apprenants mais aussi les formateurs, les managers pédagogiques, les fournisseurs ou encore, les responsables des apprenants. Responsable de service Référent académique Chef de projet formation Responsable de formation Enseignant / Formateur Tuteur en ligne Agence d'évaluation Concepteurs de questionnaires Responsable de service Référent académique Chef de projet formation Responsable de formation Enseignant / Formateur Tuteur en ligne Etudiant / Apprenant Membres de l'équipe projet Fournisseur de solutions TIC Répondants plus de processus soumis à l évaluation : une démarche d évaluation rigoureuse doit prendre en compte chacun des processus intervenant dans la qualité interne et dans la qualité externe : de l analyse initiale du contexte et des besoins de formation, à la conception du cours et sa réalisation, des acquis d apprentissage et leur impact sur la performance, jusqu aux effets sociaux et économiques de l expérience. Fig. 3: Les différents registres de l évaluation plus de contenus: les champs d investigation couvrent les Ressources, les Processus et les Résultats intervenant non seulement dans l expérience d apprentissage en elle-même mais aussi dans toutes les activités de support permettant de la mettre en place. DE SEVAQ A SEVAQ+ 10

2.2.1 Les items de questionnement de SEVAQ+ Comme dans le premier projet, les items de questionnement sont articulés dans une structure à trois niveaux. Fig. 4 Structuration des items de questionnement Le concepteur des questionnaires trouve les items à sélectionner en progressant en trois étapes successives, du plus général au plus spécifique : Les critères principaux (Première étape): un choix parmi trois qui couvrent les différents champs de toute expérience d apprentissage : les Ressources, les Processus, les Résultats. Les critères (Deuxième étape): un choix parmi 22 critères qui permettent de décrire les dimensions pédagogiques, managériales et technologiques des critères principaux (par ex : Efficacité de la formation, Résultats d apprentissage et Budgets sont quelques-uns des critères du domaine Résultats). Les sous-critères (troisième étape): un choix parmi près de 100 sous-critères qui décrivent de façon plus détaillée chacun des critères (par ex : le critère Efficacité de la formation se subdivise en deux sous-critères relatifs à la Participation et La qualité perçue (équipe de formation, ressources, services). SEVAQ+ regroupe ainsi plus de 700 items de questionnement (contre 200 dans la version initiale). A travers une option de tri contenue dans le logiciel, il est possible de n afficher que les seuls critères et sous-critères s appliquant à votre contexte d évaluation. Pour ce faire, l outil demande au concepteur du questionnaire de préciser en amont un certain nombre d informations : Son secteur de formation : Enseignement Supérieur, Enseignement et Formation Professionnels Son profil en tant que concepteur du questionnaire : enseignant/formateur, chef de projet, etc. La structure de l apprentissage : seulement en ligne, mix de face à face et en ligne Le public auquel le questionnaire est destiné : les apprenants, l équipe de formation, etc. Le moment de l évaluation : à la fin du cours, plus tard. DE SEVAQ A SEVAQ+ 11

Durant la période de révision, l équipe projet de SEVAQ+ a aussi reformulé la plupart des items de questionnement de façon à atteindre trois objectifs : Un objectif de neutralité : les items de questionnement ne comportent aucun élément de jugement ou de valeur lié à un modèle particulier d apprentissage. Un objectif de clarté : la syntaxe et le vocabulaire des items sont gardés aussi simples que possible. Un objectif de flexibilité : les temps des verbes ont été choisis avec soin de façon à permettre l utilisation des mêmes items dans différents contextes de questionnaires (ex post ou ex ante). 2.2.2 L outil en ligne L extension du projet SEVAQ+ a aussi permis une révision de l application logicielle. Grâce aux remarques et suggestions fournies par les utilisateurs de l outil durant la période internationale de test, une nouvelle version de l outil SEVAQ+ a été réalisée. Parmi les nouveaux développements et améliorations apportées, notons : Une toute nouvelle interface, plus ergonomique et accueillante Une simplification de l espace concepteur avec un tableau de bord d où piloter rapidement et facilement toutes les activités de gestion des questionnaires, Plus d options pour les concepteurs de questionnaires, leur permettant : - de définir si l espace de commentaires est optionnel ou obligatoire, - d automatiser des fonctions de communication avec les répondants. Plus de flexibilité et d information à destination des répondants, par exemple : - le choix du langage de réponse parmi les langues disponibles : EN, IT, FR, LIT, PL, DE. - leur progression dans le questionnaire. DE SEVAQ A SEVAQ+ 12

3. SCENARIOS D USAGE Pour utiliser SEVAQ+ au mieux de vos besoins, il est important de préciser le contexte d utilisation. Produits et services SEVAQ+ offre trois catégories de produits et services l application web qui permet d élaborer des questionnaires, les soumettre à la cible d utilisateurs et d analyser les résultats ; des services pour accompagner le déploiement de l application : formation et assistance pour définir une stratégie d évaluation de la qualité en en-learning ; l accès aux données de l Observatoire SEVAQ+ qui fédère, de façon anonyme, les données sur les meilleures pratiques de l ensemble des utilisateurs. Le contexte organisationnel SEVAQ+ peut être mis en œuvre dans différents contextes : des utilisateurs individuels, des institutions d enseignement supérieur, d autres organisations offrant des services d enseignement ou de formation, de grandes entreprises, des contextes spécifiques, tels que la formation de base des adultes au niveau national. L approche en termes d évaluation SEVAQ+ peut être mis en œuvre dans des organisations qui ont une approche différente de l évaluation, tout particulièrement au regard du degré de maturité de la politique d évaluation. Ainsi, SEVAQ+ peut être utilisé aussi bien dans une approche décentralisée, mettant par exemple l accent sur chaque professeur, que dans une approche centralisée, pour laquelle le respect de normes nationales ou internationales est l objectif premier. Comment choisir la version la plus adaptée Pour l utilisateur individuel, l usage de la version standard est gratuit et permet une première approche, limitée en nombre de critères d évaluation ; la version premium permet un usage professionnel et régulier pour un prix annuel modique. Pour des institutions qui ont une approche décentralisée de l évaluation, la version premium group est une offre particulièrement attractive qui permet l usage par un groupe d utilisateurs, avec un niveau de remise commençant à 50%. Pour les organisations qui ont une politique de qualité et d évaluation bien définie, qui est déployée de façon homogène et centralisée au sein de l organisation, la version Pro permet d avoir aussi bien une vision synthétique que des résultats détaillés : orientée multiutilisateurs, elle permet de sélectionner et de trier les données en fonction de l ensemble des critères disponibles, de les agréger, et d analyser DE SEVAQ A SEVAQ+ 13

finement les résultats sur plusieurs axes. Si la version Pro se limite aux fonctions indispensables et a pour but de coexister harmonieusement avec les applications existantes, l offre Global inclut l ensemble des produits et services nécessaires, depuis les études préalables jusqu à l analyse des retours d expérience ; de plus, elle est la seule version à offrir l accès sécurisé aux données de l Observatoire SEVAQ+, pour permettre de mieux apprécier les pratiques de l organisation par rapport aux meilleures pratiques constatées en Europe, dans un pays ou un secteur d activité donné ou pour des organisations d importance comparable (chiffre d affaires, effectifs ) Voici quelques exemples de scénario d usage : Scénario n 1: enseignant dans une Université ou une Grande Ecole Un enseignant d une Université ou d une Grande Ecole vient de créer une nouvelle version d un cours de micro-économie destiné aux étudiants de première année. Son objectif est de mesurer les apports de cette nouvelle version pour améliorer la compréhension des élèves par rapport aux années précédentes. Son approche est indépendante des processus formes d évaluation et de notation, intégrés à l ENT de son institution. La solution SEVAQ+ = la version Premium Scénario n 2: services à la carte au sein d un service d une grande entreprise Au sein d une grande entreprise du secteur des télécommunications, le responsable d un centre d appels souhaite mesurer l efficacité d une formation mise en œuvre le mois précédent afin de décider de lancer ou non une nouvelle session. Réaliser cette formation était déjà difficile, compte tenu du temps pendant lequel les opérateurs ont été mobilisés ; l évaluation doit donc être rapide à mettre en œuvre, avec la contrainte paradoxale que ces opérateurs n ont pas accès à Internet, mais uniquement à l Intranet. C est une évaluation limitée dans le temps, qui ne s inscrit dans aucun processus RH centralisé et ne nécessite aucune étude préalable. La solution SEVAQ+= la version Pro Scénario n 3: l ensemble des services au sein d un grand groupe multinational Une grande entreprise multinationale souhaite déployer sur 35 pays une politique homogène permettant d assurer la qualité de la formation au travers d un recours à l évaluation. Dans ce scénario, l initiative revient conjointement à la DRH groupe et aux unités opérationnelles ; au niveau du groupe, la DRH souhaite mettre en œuvre des vagues régulières d évaluation, au travers de questionnaires courts, soumis régulièrement aux 12.000 collaborateurs du groupe ; au niveau des unités opérationnelles, la DRH impose également le respect des normes définies au niveau du groupe pour la qualité. Parmi les services demandés figurent : DE SEVAQ A SEVAQ+ 14

la définition d une politique transversale et l adoption d une approche de la qualité qui soit partagée par les décideurs comme par les collaborateurs, la formation d experts au sein du groupe et des unités opérationnelles pour mettre en œuvre cette politique, l intégration harmonieuse dans l infrastructure informatique du groupe, tout particulièrement l intégration avec l annuaire d entreprise, l interopérabilité avec les briques fonctionnelles RH existantes fournies par d autres prestataires de service, la comparaison avec les meilleures pratiques des entreprises de même importance ou du même secteur d activité. La solution SEVAQ+ = l offre Global Scénario n 4: déploiement au sein d une Université ou d une Grande Ecole mettant en œuvre des référentiels nationaux et internationaux Comme dans le cas de l enseignant individuel, l accent est mis sur l amélioration de l efficacité pédagogique pour l élève. Mais à la différence de ce premier scénario, une grande importance est mise sur la transparence et la comparaison des résultats, aussi bien entre les professeurs de l institution que par rapport 1) à une politique nationale d évaluation qui vient d être décidée par le Ministère de l Enseignement Supérieur 2) à un référentiel commun décidé par une alliance européenne à laquelle l institution appartient. Pour SEVAQ+, la différence réside non seulement, dans le nombre de questionnaires, de concepteurs et d utilisateurs de questionnaires, mais aussi et plus encore, dans la nécessité d une intégration harmonieuse avec les différents processus d évaluation existants, et dans l analyse très fine et détaillée des résultats sur tout ou partie de l institution. La solution SEVAQ+ = la version Pro Scénario n 5: répondre aux besoins spécifiques d organisation souvent uniques dans leur rôle SEVAQ+ repose sur une base de données qui peut être complètement personnalisée, sans utiliser les 700 et plus critères d évaluation prédéfinis. Cela peut être très utile, par exemple, dans le cas : d un outil d auto-évaluation préalable à un audit par un organisme d accréditation ; d organisations mettant en œuvre une politique nationale de formation de base des adultes en vue de leur reconversion, qui doivent fournir un rapport d activité détaillé concernant plusieurs dizaines de milliers d apprenants La solution SEVAQ+ = la version Pro DE SEVAQ A SEVAQ+ 15

Les offres SEVAQ+: ( 1 disponible avec la version 3, à partir de Décembre 2011, 2 disponible avec la version 4, prévue pour 2012) Nombre de concepteurs de questionnaires 1 1 Standard 1 Premium 1 Premium 1 Group Pro 2 Global 2 <20 21-50 51-100 Optionnel Questionnaires en usage par concepteur 3 15 Illimité Illimité Illimité Utilisation des 700 critères d évaluation 210 seulement Oui Oui Oui Oui Ajout de critères d évaluation personnalisés Non Max 10/questionnaire Oui Oui Oui Envoi des questionnaires à des utilisateurs identifiés Au plus 50 utilisateurs Oui Oui Oui Oui Import de listes d utilisateurs Non Oui Oui Oui Oui Envoi des questionnaires à des groupes anonymes Non Au plus 3 groupes Oui Oui Oui Présentation des résultats Limité : histogrammes & commentaires Oui Oui Oui Oui Export des données vers d autres applications Non Oui Oui Oui Oui Utilisation simultanée en plusieurs langues Non Oui Oui Oui Oui Durée de conservation des données 3 mois Oui Oui Oui Oui Hébergement de l application et des données Mutualisé Mutualisé Mutualisé Mutualisé / Interne Mutualisé / Interne Support par e-mail Au plus 3 cas par an Au plus 3 cas par an Illimité Illimité Illimité Support téléphonique Non Non Oui Oui Oui Intégration à l architecture informatique Non Non Non Optionnel Oui Utilisation des données de l observatoire en vue du benchmarking Non Non Non Non Oui Services de formation et de déploiement Non Non Non Optionnel Oui Personnalisation de la base de données Non Non Non Optionnel Oui Langue étrangère ou niveau de langue supplémentaire Non Non Non Optionnel Optionnel Application multiutilisateurs Non Non Non Oui Oui Réutilisation de modèles de questionnaires Non Non Non Oui Oui Agrégation des données Non Non Non Oui Oui Analyse multicritères des données Non Non Non Oui Oui Illimité SCENARIOS D UTILISATION 16

4. L APPLICATION WEB: Guide des fonctionnalités 4.1 Les processus SEVAQ+ en bref Processus concepteur 1 En amont de la mise en œuvre du questionnaire Exploration de SEVAQ+ Définition du contexte de l enquête (Rôle du concepteur, public cible, type de cours, etc.) Définition des informations recherchées (Ressources/processus/résultats que je veux évaluer?) 2 Création du questionnaire Lancer une évaluation avec SEVAQ+ Répondants anonymes Création/modification d un groupe de répondants anonymes Répondants identifiés Ajout d un répondant ou import d une liste de répondants Association d un questionnaire à un groupe Association d un questionnaire à des répondants identifiés Administration et publication d un questionnaire pour un groupe Administration et publication d un questionnaire pour des répondants identifiés Fourniture d informations aux répondants (adresse questionnaire, code d accès) Les répondants complètent le questionnaire 3 Analyse Consultation et analyse des résultats du questionnaire L APPLICATION WEB: Guide des fonctionnalités 17

Processus Répondants Répondants anonymes Répondants identifiés Connexion comme répondant anonyme (code d accès) Connexion comme répondant identifié (nom d utilisateur + mot de passe) Sélection de la langue pour répondre au questionnaire Réponse au questionnaire Utilisateurs de l outil SEVAQ+ Il y a trois types d utilisateurs : Administrateur, concepteur et répondant. Il existe deux types de comptes pour le CONCEPTEUR qui est le créateur des questionnaires. Standard = Compte gratuit avec des contenus et fonctionnalités limités. Premium = licence annuelle avec SEVAQ+ complet (contenu et fonctionnalités) Ce guide décrit principalement les fonctionnalités offertes au concepteur avec un compte premium car les fonctionnalités pour les autres utilisateurs sont simples et classiques : Fonctionnalités pour l administrateur : Créer/administrer/supprimer des comptes concepteurs. Pouvoir administrer/supprimer des comptes de répondants identifiés. Fonctionnalités pour les répondants : choisir le langage du questionnaire. répondre au questionnaire. Processus général Configuration minimale pour chaque utilisateur Navigateurs: Internet Explorer version 8 et plus. Firefox version 6.0 et plus. Acceptation des «cookies» et activation de JavaScript dans le navigateur Toutes les actions sont réalisables en ligne. L administrateur crée des comptes concepteur et chaque concepteur crée des comptes de répondants identifiés ou de groupes anonymes de répondants. Le concepteur crée un ou plusieurs questionnaires puis il associe à ce questionnaire des répondants identifiés ou un groupe anonyme. Lorsque les répondants sont anonymes, le concepteur doit leur donner une adresse web et un code pour accéder au questionnaire en ligne. Lorsque les répondants ne sont pas anonymes l outil envoie un email à chaque répondant identifié. Chaque répondant remplit le questionnaire. Le concepteur peut alors consulter et analyser les résultats même si tous les répondants n ont pas répondu. Lorsque le questionnaire est terminé le concepteur a la possibilité de l archiver. L APPLICATION WEB: Guide des fonctionnalités 18

4.2 Connexion et entrée dans l outil Utiliser le nom d utilisateur et mot de passe qui vous ont été fournis pour entrer dans votre espace concepteur. Pour créer un compte concepteur cliquer ici. Création de compte : Trois types de comptes : Standard, Premium et Premium Groupe L APPLICATION WEB: Guide des fonctionnalités 19

Compte Standard : C est un compte individuel gratuit. Il permet la découverte de l outil et de ses principales fonctionnalités. Les contenus et les fonctionnalités sont limités dans cette version. Compte Premium : C est un compte individuel avec une cotisation annuelle, ce compte permet d accéder à toutes les fonctionnalités et tous les contenus de la version 3.0 de l outil SEVAQ+. Le paiement est réalisé en ligne avec une carte de crédit ou un compte PayPal. A chaque création de compte l outil envoie un email avec un lien de confirmation du compte. Aussitôt après la confirmation l outil envoie par email les données de connexion au concepteur (nom d utilisateur et mot de passe) Premium groupe : C est une solution adaptée aux organisations de formation, elle propose un pack de comptes concepteurs individuels Premium. Un référent de l organisation souhaitant un compte «Premium groupe» remplit un questionnaire en ligne afin d être contacté personnellement par l administrateur SEVAQ+ pour la création du groupe (liste des comptes designers, méthode de paiement la mieux adaptée ) L APPLICATION WEB: Guide des fonctionnalités 20

4.3 Création et administration des questionnaires Statut d un questionnaire Le statut d un questionnaire change tout au long de sa vie en fonction des actions du concepteur. La suite logique des statuts prises par un questionnaire est : Créé Associé à un groupe anonyme ou à des répondants identifiés Publié Archivé Actions Le tableau montre la relation entre les actions du concepteur et les statuts pris par le questionnaire. Les commentaires décrivent les fonctionnalités disponibles pour chaque étape. Statuts Actions Commentaires Créé Un questionnaire est conçu et validé. Il est possible de copier, prévisualiser, et supprimer le questionnaire mais pas de le publier. Un groupe de répondants anonymes ou des répondants identifiés sont créés. Associé Le questionnaire est associé à un groupe de répondants anonymes ou à des répondants identifiés. Il est possible de copier, prévisualiser et copier le questionnaire mais pas de le modifier ou de le supprimer. Publié The questionnaire est accessible aux répondants. L adresse du questionnaire et le code doivent être donnés aux répondants anonymes. Il est possible de consulter les résultats de votre évaluation mais pas de la modifier ou de la supprimer. Archivé Le questionnaire est archivé. Il est possible de consulter les résultats et de supprimer l archive (questionnaire + résultats) L APPLICATION WEB: Guide des fonctionnalités 21

Menu principal A partir du menu principal le concepteur peut gérer n'importe quel statut du questionnaire et les répondants. Création d un nouveau questionnaire Administration des répondants Retour au menu principal par un clic sur «Menu» Soumission des questionnaires aux répondants Consultation des résultats de vos évaluations Création d un nouveau questionnaire Création d un nouveau questionnaire Dans le tableau contenant les questionnaires déjà créés le concepteur peut : Imprimer un questionnaire. Pré visualiser un questionnaire. Modifier/ supprimer un questionnaire. (à condition qu il ne soit pas publié) Enregistrer ou dupliquer un questionnaire. L APPLICATION WEB: Guide des fonctionnalités 22

Pour la création d un nouveau questionnaire : cinq étapes (voir ci-dessous) sont nécessaires. Le sélecteur au sein de l outil est destiné à fournir une aide à la création de nouveaux questionnaires. Il présélectionne un ensemble d items en fonction des différents critères sélectionnés par le concepteur. Etape 1 : Configurez votre questionnaire Questionnement court ou long Il y a deux sortes de questionnement (long ou court) En sélectionnant le questionnement long le répondant doit répondre à 2 évaluations pour chaque item du questionnaire : Note sur une échelle de 1 à 4 : niveau d accord avec l énoncé de l item (échelle de Lickert) Importance : importance du sujet traité dans l item (échelle de Lickert) En sélectionnant le questionnement court le répondant est invité à dire si le domaine traité dans l item nécessite une amélioration (réponse par oui ou non): L APPLICATION WEB: Guide des fonctionnalités 23

Option profilage Lorsque le concepteur sélectionne l option «profilage» sera inclus à la fin du questionnaire un formulaire à compléter par le répondant comportant une série de champs portant sur des informations personnelles et professionnelles. Option commentaire obligatoire : Lorsque le concepteur sélectionne l option commentaire obligatoire, alors le répondant devra écrire un commentaire dans la zone de contenu prévue pour chaque sous critère. Etape 2 Définition du contexte : En fonction des choix effectués l outil agit comme un configurateur et présélectionne le jeu d items le mieux approprié pour le questionnaire. Dans cette étape le concepteur doit donner des informations sur : Le domaine d apprentissage (Enseignement supérieur ou formation professionnelle) Le rôle du concepteur i.e. la personne qui crée le questionnaire. Le type de cours dispensé (complètement en ligne, ou hybride). La cible du questionnaire : le profil des répondants. Le moment de l évaluation (à la fin de la formation ou plusieurs mois après). L APPLICATION WEB: Guide des fonctionnalités 24

Etape 3: définition des objectifs (critères) : Dans les trois domaines principaux : Ressources, Processus et Résultats le concepteur peut sélectionner les critères les mieux appropriés à ses objectifs d évaluation. Plus les objectifs d évaluation sont clairs, plus il est facile de choisir les critères devant être utilisés dans le questionnaire. Sur la base des paramètres définis à l'étape 2, l'outil propose les critères d'évaluation les plus pertinents dans chacun des trois domaines. L APPLICATION WEB: Guide des fonctionnalités 25

Etape 4: Définition des sujets (sous-critères) Chaque critère sélectionné dans l étape précédente est repris ici et pour chacun d entre eux est affiché une liste de sous critères. Le concepteur peut ainsi affiner son questionnaire en sélectionnant les sous critères les plus appropriés. En fonction de la sélection des sous critères l outil sélectionne un jeu d items correspondant aux objectifs de l évaluation. L APPLICATION WEB: Guide des fonctionnalités 26

Etape 5: Développement du questionnaire Finalement comme résultat de tous les filtres réalisés lors des étapes précédentes et pour chaque sous critère sélectionné l outil affiche tous les items disponibles. Le concepteur peut sélectionner les items proposés et/ou ajouter ses propres items dans le champ vide si les items proposés ne conviennent pas. Afin de conserver l homogénéité du questionnaire et des résultats chaque nouvel item doit être écrit dans une forme positive. Ajout d un item personnel L APPLICATION WEB: Guide des fonctionnalités 27

4.4 Création et administration des répondants Répondants identifiés : L outil SEVAQ+ envoie un email avec les informations de connexion (Nom d utilisateur et mot de passe). En cas de perte du mot de passe il est possible d en récupérer un en cliquant sur «Mot de passe oublié?».l outil SEVAQ+ enverra un nouveau mot de passe après avoir renseigné l adresse email associé au compte. La consultation des résultats du questionnaire ne permet pas de connaitre les réponses détaillées d un répondant identifié. La seule information disponible fournie par l outil est : «le répondant a-t-il déjà complété le questionnaire ou pas?» Création des répondants identifiés : Le concepteur connait les informations des répondants à qui le questionnaire est destiné : nom, prénom et adresse de messagerie électronique. Le concepteur peut ajouter les répondants identifiés un par un manuellement ou par importation d un fichier (respecter le format du modèle de fichier). L outil leur envoie alors un login par courrier électronique. Même si les répondants sont connus, leurs réponses dans le questionnaire ne sont pas identifiables. Cliquer sur l icône : Le concepteur peut alors accéder à la page de création de répondants identifiés. Les répondants identifiés peuvent être ajoutés un par un ou en une fois par import d un fichier L APPLICATION WEB: Guide des fonctionnalités 28