Evaluation en ligne des enseignements
SOMMAIRE 1. Démarche mise en place à l Université Bordeaux 1 2. Choix d un outil en ligne, ressources utilisées et modalités de fonctionnement 3. Présentation de l outil 4. Bilan
DEMARCHE MISE EN PLACE A L UNIVERSITE BORDEAUX 1
CEVU : Historique de l évaluation en ligne des enseignements à l Université Bordeaux 1 note de cadrage (mars 2003) Commission évaluation Mise en œuvre et suivi Cellule pilotage + Chargé de mission évaluation 2005/2006 : étudiants de L3 / M1 (2200 étudiants) 2006/2007 2007/2008 : étudiants de L3 / M1 /M2 (2900 étudiants) 2008/2009 : étudiants t de L2 / L3 / M1 / M2 (3800 étudiants) t
Note de cadrage du CEVU L évaluation doit être réalisée auprès : des étudiants : Unités d Enseignement Parcours de formation Organisation matérielle et organisationnelle des enseignants des personnels non enseignants ayant des activités liées à l enseignement
Commission évaluation Nommée en 2004 - Présidée par le VP CEVU - 7 membres Réalisations : composition des questionnaires choix des outils expérimentation sur échantillon (250 étudiants - avril 2005) remise d un rapport au CEVU (octobre 2005)
CHOIX D UN OUTIL EN LIGNE, RESSOURCES UTILISEES ET MODALITES DE FONCTIONNEMENT
Choix d un outil en ligne Choix d un système d évaluation en ligne : Evaluation à l échelle de l établissement : évaluation de toutes les Unités d Enseignement exploitation des résultats : de l équipe pédagogique à l équipe de direction Disponibilité des résultats en temps réel Minimisation de la surcharge d activité Moindre coût Etudiants : Extraction de la base de données étudiante (Apogée) des Unités d Enseignement (UE) auxquelles les étudiants sont inscrits Construction d un espace individualisé d évaluation pour chaque étudiant Enseignants et personnels administratifs (en projet) : Publication des questionnaires sur un serveur d enquêtes
Ressources technologiques Logiciel Sphinx (traitement d enquêtes) : Création des questionnaires Programmation de tableaux de bord pour l accès aux résultats Business Objects (interrogation de bases de données) : Extraction de données de la base étudiante (Apogée) Serveur d enquêtes : Mise en ligne des questionnaires et des tableaux de bord Plate-forme Sphinx-EvalNet : Association entre les données issues de la base étudiante (Apogée) et les questionnaires d évaluation
Questionnaires : nature des questions (1/2) Questionnaires «étudiants» : Unités d Enseignement (~ 10 questions) : Aspects généraux : contenu, niveau, intérêt Aspects pédagogiques : cohérence CM/TD/TP, supports d enseignement Parcours de Formation (~ 15 questions) : Aspects techniques : information, moyens matériels Aspects personnels : critères du choix, motivation Aspects organisationnels et matériels (~ 30 questions) : Organisation de l année : calendrier, emploi du temps, charge de travail Organisation pratique de la formation : secrétariat, information, orientation, débouchés
Questionnaires : nature des questions (2/2) Questionnaire «enseignants» (~ 30 questions) : Organisation de l année : calendrier, emploi du temps, charge de travail Environnement matériel : locaux, circulation Enseignements : programmes, équipe pédagogique, contrôles des connaissances... Etudiants : présence, implication Questionnaire «personnels administratifs» (~ 30 questions) : Organisation de l année : charge de travail, répartition dans l année année Activités liées à l enseignement : suivi administratif, emplois du temps, examens Aspect relationnel : étudiants, enseignants, autres services
Calendrier de l évaluation des enseignements auprès des étudiants Licence 2 Licence 3 Master 1 Master 2 Semestre automne Semestre printemps Semestre automne Semestre printemps Semestre automne Semestre printemps Semestre automne Semestre printemps 2005/2006 UE UE UE UE PF PF 2006/2007 UE UE UE UE UE UE PF PF PF 2007/2008 UE UE UE UE UE PF PF UE UE UE UE UE UE UE 2008/2009 PF PF PF OM OM OM UE : Unité d Enseignement PF : Parcours de Formation OM : Organisation Matérielle
Organisation des campagnes d évaluation ation Construction de la plate-forme d évaluation : Extractions d Apogée : J-15 Construction de la plate-forme d évaluation : J-15 à J Lancement de la campagne d évaluation Communication par mail aux étudiants et aux enseignants : jour J Ouverture du serveur : J à J+21 Relances par mail aux étudiants : J+15 Accès aux résultats : Communication des modalités d accès aux résultats : J Rédaction d un document de synthèse : à partir de J+21
Accès aux résultats Résultats en ligne : Disponibles en temps réel via des tableaux de bord préprogrammés Accès aux résultats : avant 2008/2009 : accès sécurisés selon différents niveaux : établissement composante diplôme depuis 2008/2009 : accès ouvert à tout t enseignant et étudiant t de Bordeaux 1 après authentification Intranet Analyse en ligne possible par composante / diplôme / étape / UE Commentaires des étudiants t (question ouverte) : Résultats envoyés aux responsables de formations. Rédaction d un dun rapport Bilan global / par composante / par diplôme
PRESENTATION DE L OUTIL
Connexion au site d évaluation des enseignements
Espace d évaluation ation d un étudiant
Saisie des réponses
Enregistrement des réponses
Changement de statut t de l UE à évaluer
Accès sécurisé aux résultats en ligne g (jusqu en 2008/2009)
Analyse en ligne des résultats
Résultats de l évaluation d une Unité d Enseignement
BILAN
Bilan Principaux points positifs : souplesse de l outil disponibilité des résultats évolution de la perception de l évaluation Taux de réponses 2006/2007 : 23% 2007/2008 : 30% 2008/2009 : 50% varie de 0% à 100% selon les UE varie selon le niveau de formation (60% en Licence 40% en Master)
Actions mises en œuvre pour améliorer les taux de réponses Développement de la communication auprès des enseignants et des étudiants Diffusion des résultats en ligne sans accès restreint Lien avec l Environnement Numérique de Travail (ENT)
Approche qualité Processus d amélioration continue Evaluation des enseignements Ati Actions d amélioration Analyse des résultats
Utilisation des résultats Suivi de la consultation et de l utilisation des résultats par les responsables de formations : environ la moitié des répondants ont modifié la pédagogie ou l organisation de la formation Analyse des résultats au sein de commissions : Niveau établissement t : commission i émanant du CEVU (en projet) Niveau composante : conseils pédagogiques Niveau formation : équipes pédagogiques de mentions / spécialités / parcours
Perspectives Développer l approche qualité (procédures amélioration continue) Développer l interactivité des questionnaires Associer quantitatif qualitatif