Rapport final Évaluation de Sakai 2.1 Septembre 2006
RÉSUMÉ En 2005, les travaux du Groupe de travail PROCENA ont révélé qu il n était pas possible d envisager l adoption d un même système d environnements numériques d apprentissage (ENA) par toutes les universités québécoises et qu il apparaissait plus approprié de promouvoir différentes formes de collaborations interinstitutionnelles. Dans la foulée de ces conclusions, un Groupe de travail comprenant des représentants de huit établissements universitaires québécois et du CRIM a pris forme à l automne 2005 afin d approfondir l évaluation du potentiel technopédagogique de Sakai (version 2.1), un environnement numérique d apprentissage en code source libre qui suscite de plus en plus de questionnements et d intérêt au Québec. Le Groupe s est fixé les trois objectifs suivants : 1) Établir un protocole d évaluation avec un échéancier de réalisation; 2) Déterminer les critères nécessaires à l évaluation de la version 2.1 de Sakai et mettre au point une grille d évaluation pour la collecte des observations; 3) Évaluer rigoureusement la version 2.1 de Sakai, de façon concise et simple, puis ensuite partager cette information avec les institutions participantes. La mise en commun de diverses expertises, tant pédagogiques que techniques, s est révélée très enrichissante. Elle a permis de prendre en considération les besoins réels des établissements d enseignement supérieur et de révéler que la version 2.1. comporte des lacunes nécessitant des correctifs, sans quoi les universités participantes ne pourront considérer l implantation de ce système. Parmi les principaux points dont l évaluation s est soldée par une note négative, on observe la difficulté d accéder à la documentation, la faible intermodularité de certains outils, l inconsistance ergonomique de certaines interfaces d un outil à l autre, le manque de convivialité dans la gestion des fonctions administratives ainsi que le caractère ardu de la gestion des utilisateurs et de la migration des cours existants développés avec d autres ENA. Toutefois, force est d admettre que depuis le début de cet exercice, plusieurs améliorations ont déjà été apportées ou sont en voie de l être grâce au déploiement de la version 2.2 du système et aux développements proposés par la communauté d usagers de Sakai et le CRIM. À la lumière de ces considérations, le GTES propose que : Le CRIM vérifie quelles améliorations ont été apportées dans la version 2.2 bêta de Sakai, disponible depuis juillet 2006; Le CRIM vérifie quels seront les aspects corrigés au cours des six prochains mois par la communauté internationale de Sakai; Le CRIM prépare, de concert avec les représentants universitaires du GTES, un plan d amélioration visant à mettre en place les dispositifs nécessaires pour remédier aux problèmes non résolus par les deux actions précédentes; Le GTES soit maintenu en place au cours de l année 2006-2007 afin de suivre le développement de Sakai et d assurer que les besoins des universités soient satisfaits; Dans le contexte de l implantation de Sakai-Québec, une structure de coordination mise en place par le CRIM, des discussions soient engagées afin de définir le rôle du Sous-comité sur les TIC et, plus généralement, des universités québécoises auprès de cette nouvelle entité.
TABLE DES MATIÈRES RÉSUMÉ... 2 1. INTRODUCTION... 5 1.1 Mise en contexte... 5 1.2 Qu est-ce que Sakai?... 6 1.3 Objectifs et méthodologie... 6 1.4 Des expertises variées et complémentaires... 7 2. OBSERVATIONS GÉNÉRALES... 8 2.1 Intégration intermodule... 8 2.2 Documentation... 8 2.3 Interface et ergonomie... 8 3. SERVICES DE BASE... 9 3.1 Administration... 9 3.1.1 Gestion de la configuration... 9 3.1.2 Gestion des alertes et des incidents... 9 3.1.3 Outils d'administration (gestion des usagers, ergonomie de l'interface d'administration, délégation)...10 3.1.4 Gestion des gabarits (création de sites de cours et du portail)...10 3.1.5 Intégration en temps réel avec le système de gestion des étudiants...11 3.1.6 Possibilité d avoir une partie du cours accessible sans mot de passe public-privé..11 3.1.7 Gestion des accès selon le trimestre...12 3.2 Qualité logicielle...12 3.2.1 Qualité du soutien au déploiement...12 3.2.2 Qualité de la langue (la traduction)...12 3.2.3 Support pour les standards et les protocoles...12 3.2.4 Copies de sauvegarde...13 3.2.5 Multilinguisme et internationalisation...13 3.2.6 Aide en ligne...13 3.2.7 Interopérabilité modules vs fureteurs...14 3.3 Gestion des usagers...14 3.3.1 Définition de rôles et d'acteurs avec des droits spécifiques (permissions)...14 3.4 Gestion de contenu...14 3.4.1 Importation de contenu...14 3.4.2 Service de gestion et de visionnement de fichiers...15 3.4.3 Référencement des ressources...15 3.4.4 Stockage et archivage des ressources...16 3.4.5 Service d'annotation des documents, des ressources et des activités...16 3.4.6 eportfolio...16 3.4.7 Création de pages Web personnelles...16 3.4.8 Gestion des ressources Web...16 3.4.9 Protection et gestion des droits intellectuels (DRM)...17 3.4.10 Recherches fédérées dans les banques d'objets...17
4. SERVICES APPLICATIFS...18 4.1 Services de création et d utilisation des cours et des modules...18 4.1.1 Scénarisation pédagogique...18 4.1.2 Organisation, assemblage et agrégation des contenus...18 4.1.3 Gestion d'accès sélectif au contenu du cours...19 4.1.4 Édition et gestion des glossaires et des classifications...20 4.1.5 Sélection des objets d'apprentissage...20 4.1.6 Traçage du cheminement d'apprentissage...20 4.1.7 Planification du cheminement...20 4.1.8 Visionnement de la progression et de la démarche...20 4.1.9 Création et gestion d'équipe étudiante...20 4.2 Services de communication...21 4.2.1 Service de courriel externe...21 4.2.2 Service de courriel interne...21 4.2.3 Service de diffusion d'annonces...21 4.2.4 Service de forum asynchrone (JForum)...21 4.2.5 Service de conférence synchrone : texte, audio, vidéo...21 4.2.6 Service de clavardage...22 4.2.7 Service de tableau blanc...22 4.2.8 Partage des applications...22 4.2.9 Diffusion des travaux d'étudiants...22 4.2.10 Service d agenda et d agenda collaboratif...22 4.3 Services d évaluation...23 4.3.1 Création et gestion de zones de dépôt de travaux...23 4.3.2 Édition et gestion de questionnaires...23 4.3.3 Affichage des résultats...24 4.3.4 Évaluation des compétences...25 4.4 Services personnels...25 4.4.1 Service de gestion des préférences des usagers, personnalisation, accessibilité...25 4.4.2 Requêtes et gestion des services de communication...25 4.4.3 Interface multilingue au choix de l'utilisateur...25 5. CONCLUSION ET RECOMMANDATIONS...26 ANNEXE 1 COMPOSITION DU GROUPE DE TRAVAIL SUR L ÉVALUATION DE SAKAI...28
1. INTRODUCTION 1.1 MISE EN CONTEXTE Après avoir réalisé un état des lieux sur les environnements numériques d apprentissage (ENA) dans les universités québécoises en 2004 1, le Sous-comité sur les technologies de l information et de la communication (SCTIC) a mis sur pied le Groupe de travail PROCENA afin d explorer la faisabilité d un projet collaboratif interuniversitaire visant l adoption commune d un ENA répondant aux besoins des établissements. Une consultation a été réalisée afin de sonder l intérêt de répondants de l ensemble des universités à l égard d un tel projet. Les conclusions de cette étude 2 ont démontré qu à l heure actuelle, pour diverses raisons, l adoption d un même système d ENA par toutes les universités soulève des réserves importantes. Il a semblé plus approprié d envisager, au lieu d un seul système d ENA regroupant toutes les universités, le maintien de différentes formes de collaborations interinstitutionnelles de même que la mise en commun de ressources et d expertises visant notamment l approfondissement de la réflexion sur les grands projets d ENA présentés dans l étude : Sakai, Claroline, Moodle, Odyssée, Concept@ et Portail de cours UQTR. Dans la foulée de ces travaux, un Groupe de travail a pris forme à l automne 2005 afin d approfondir l évaluation du potentiel technopédagogique de Sakai (version 2.1), un environnement numérique d apprentissage qui suscite de plus en plus de questionnements et d intérêt au Québec. 3 Ce Groupe a pu compter sur la participation de représentants de huit établissements universitaires québécois ainsi que sur le soutien continu du Centre de recherche informatique de Montréal (CRIM), une association sans but lucratif qui a pour objectif de rassembler les différents acteurs du monde de la formation en ligne au Québec et ailleurs pour réaliser des projets pilotes d'envergure en logiciels libres s appuyant sur des standards ouverts. Le CRIM a fourni un support technique en plus de rendre disponibles les environnements tests requis pour l évaluation de Sakai au sein de chaque université participante; cette participation lui a offert l occasion de remplir l un de ses mandats institutionnels, à savoir la possibilité de mailler des partenaires, de nouer des alliances stratégiques et de gérer des projets multipartites, notamment entre les universités et l industrie. Cette collaboration, conjuguée à l usage d un protocole d évaluation éprouvé, a largement contribué au succès de l évaluation. 1 Les environnements numériques d apprentissage dans les universités québécoises État des lieux au printemps 2004. Sous-comité sur les technologies de l information et de la communication, CREPUQ, janvier 2005. 2 Étude de faisabilité Projet collaboratif d environnements numériques d apprentissages, Sous-comité sur les technologies de l information et de la communication, CREPUQ, novembre 2005. 3 La composition du Groupe de travail figure à l Annexe 1. On y retrouve les établissements universitaires suivants : École Polytechnique, HEC Montréal, Télé-université, Université de Montréal, Université de Sherbrooke, Université du Québec à Montréal, Université Laval et Université McGill. 5
1.2 QU EST-CE QUE SAKAI? Sakai 4 est un environnement numérique d apprentissage en code source libre initialement développé par quatre universités aux États-Unis (University of Michigan, Indiana University, Massachussets Institute of Technology et Stanford University). Depuis sa première implantation, en janvier 2004, sa communauté d utilisateurs s est progressivement élargie et comprend maintenant plus de 80 établissements d enseignement supérieur dans le monde, dont certaines universités au Canada, en plus de partenaires commerciaux tels IBM et Sun Microsystems. Les usagers qui adhèrent au consortium peuvent contribuer au développement d outils applicatifs en vue de bonifier l environnement de base selon leurs besoins. La version 2.1 est multilingue, mais ne comprend pas le français; on annonçait toutefois, au moment d amorcer ces travaux, que la prochaine version serait disponible dans cette langue. L adhésion au consortium de Sakai requiert une contribution de 10 000 $ par année (5 000 $ pour les petits établissements de moins de 3 000 étudiants) à la Fondation de Sakai. Le conseil d administration est composé de neuf personnes, dont huit proviennent des milieux universitaires et une de la Mellon Foundation (organisation initialement subventionnaire). Le CRIM a mis en place la structure Sakai-Québec en juin 2006, avec l accord de la communauté internationale liée à cet environnement, afin de mieux coordonner les besoins des intervenants québécois et les orientations de la communauté Sakai. À ce jour, aucun établissement universitaire québécois n a adhéré au consortium de Sakai. Toutefois, plusieurs universités se sont montrées intéressées à suivre l évolution de l environnement Sakai au cours de l année 2006-2007. 1.3 OBJECTIFS ET MÉTHODOLOGIE Au moment de sa mise en place, le Groupe de travail sur l évaluation de Sakai (GTES) s est fixé les trois objectifs suivants : 1. Établir un protocole d évaluation avec un échéancier de réalisation. Ce protocole a documenté les différentes étapes de l évaluation de Sakai selon un ordre séquentiel de façon à ce que l on ne puisse amorcer une nouvelle phase du travail si la précédente n a pas atteint le degré d acceptabilité préalablement défini. Les étapes ont été graduées; les fonctionnalités jugées importantes mais faciles à vérifier ont été examinées en premier lieu. On a ensuite procédé à l évaluation systématique et détaillée de chacune des applications et fonctionnalités au moyen de mises à l essai dans un environnement test, en simulant différentes perspectives (administrateurs, technopédagogues, professeurs et étudiants). Enfin, le protocole a également déterminé le rôle de chaque université participante et les activités qui s y rattachaient, de même que l échéancier des travaux. 2. Déterminer les critères nécessaires à l évaluation de la version 2.1 de Sakai et mettre au point une grille d évaluation pour la collecte des observations. Ces critères d évaluation ont été définis en fonction des besoins et des exigences des universités. En complément, une grille d évaluation a été produite sur la base d une liste de fonctionnalités puisée dans le rapport PROCENA. 5 Cette grille exhaustive comprend de nombreux critères répartis en trois sections : 4 Le site Web de Sakai peut être consulté au lien suivant : http://sakaiproject.org/ 5 Étude de faisabilité Projet collaboratif d environnements numériques d apprentissages, p. 13-15. 6
les observations générales, les services de base et les services applicatifs. 6 Certains critères ont été ajoutés en cours de route. 3. Évaluer rigoureusement la version 2.1 de Sakai, de façon concise et simple, puis ensuite partager cette information avec les institutions participantes. Chaque université participante a évalué la version 2.1 de Sakai et a rempli la grille conçue à cet effet. Des réunions ponctuelles ont eu lieu pour faire le point sur la progression du processus d évaluation. Durant ces rencontres, les membres du Groupe ont exprimé et comparé leurs commentaires. Tout écart entre les différents résultats obtenus a été documenté et a fait l objet d une nouvelle vérification. Au terme de cette évaluation, les remarques associées à chaque type de fonctionnalités ont été colligées et présentées sous la forme d observations précédées des termes «très majeur» ou «majeur» lorsque le Groupe a souhaité quantifier l importance accordée à certains problèmes observés. Enfin, les observations sont suivies de recommandations pour remédier aux lacunes observées. Notons que quelques fonctions n ont pu être évaluées. 1.4 DES EXPERTISES VARIÉES ET COMPLÉMENTAIRES La démarche retenue par le Groupe de travail a offert de nombreux avantages. Tout d abord, elle a encouragé la mise en commun de plusieurs expertises, tant pédagogiques que techniques. De plus, elle a favorisé la rencontre de membres provenant de huit établissements universitaires québécois; les échanges noués à cette occasion ont permis de mettre en commun des ressources en plus de proposer une méthodologie axée sur les besoins des universités qui pourra servir de modèle pour d autres travaux analogues. Enfin, la coopération entre les représentants des universités participantes et ceux du CRIM s est avérée très enrichissante de part et d autre. 6 Les services de base s adressent principalement aux administrateurs de la plateforme afin qu ils puissent soutenir les utilisateurs adéquatement, alors que les services applicatifs sont surtout destinés aux utilisateurs (professeurs, étudiants ou technopédagogues). 7
2. OBSERVATIONS GÉNÉRALES 2.1 INTÉGRATION INTERMODULE Il y a peu d intégration entre les modules (ex. : non-intégration des outils). 2.2 DOCUMENTATION MAJEUR - Il est difficile de retrouver la documentation, tant pour l administrateur (API) que pour les utilisateurs. Le module Realms, conçu à l usage de l administrateur, est incompréhensible; aucune aide ou documentation n est disponible. On ne comprend pas son utilité. Vérifier si la documentation est à jour et procéder à une actualisation si elle ne l est pas. Centraliser la documentation dans Sakaipedia, un site de documentation sur Sakai, en utilisant une nomenclature qui facilite la recherche. 2.3 INTERFACE ET ERGONOMIE On n accède pas à la page d'introduction d'un outil, mais à la page affichée lors du dernier accès à cet outil au cours d'une même session. Au moment de la création d un site, il arrive que l on soumette l information en omettant un renseignement obligatoire; dans ce cas, un message d erreur apparaît et l on perd alors l information qui a déjà été entrée. L ergonomie de l'interface est déficiente : le champ Search est trop proche de New User, ce qui laisse supposer qu'il faut inscrire le nom du nouvel usager dans ce champ. Recommandation Uniformiser la fonction de recherche dans tout l environnement Sakai en optant pour une seule interface, uniforme et standardisée, supportant des opérateurs booléens d usage commun. 8
3. SERVICES DE BASE 3.1 ADMINISTRATION 3.1.1 GESTION DE LA CONFIGURATION Il n y a pas de sous-catégorisation possible pour les outils d'administration, les outils pour les sites, les paramètres du serveur, etc. De plus, on ne peut supprimer ou réorganiser les trois sections de la page d accueil. TRÈS MAJEUR Il n est pas possible de créer des usagers en lot à même l'interface Web. MAJEUR - On ne peut supprimer plusieurs usagers en même temps : il faut les sélectionner un à un et cliquer sur Remove. MAJEUR - Si l on efface un usager, son environnement de travail (Workspace) demeure : il faut donc l'effacer dans une seconde étape. Recommandation Pour favoriser la compréhension et la clarté des fonctions administratives, développer une interface Web standardisée qui permet d accéder aux procédures de gestion des usagers, aux espaces cours, à la gestion du serveur (ex. : configuration LDAP; ports de communication; gestion de l'espace disque utilisé), etc., accessible à l administrateur à partir de l application Sakai. 3.1.2 GESTION DES ALERTES ET DES INCIDENTS On retrouve des notifications statiques dont le message est incompréhensible. L'administrateur ne peut fermer et redémarrer le service ou en verrouiller les accès pendant des opérations de maintien. L information sur l'utilisation de la mémoire est minime. Il n y a pas d accès à partir de l'interface de l administrateur. On peut voir les sessions qui sont en cours (code d utilisateur, adresse IP et heure d ouverture de la session). On peut vider la cache du serveur. Une fois la session terminée, les journaux (logs) sont effacés. On ne peut donc suivre toutes les connexions. 9
Offrir la possibilité de contrôler l exploitation des serveurs avec une interface d administration accessible à même l application Sakai (accessible de façon sécurisée par le Web). Offrir à l administrateur la possibilité de voir en temps réel l état du serveur (journaux, messages, alertes, etc., par exemple par l interpréteur de SYSLOG). Offrir à l administrateur la possibilité d intervenir en réponse aux alertes reçues via l interface d administration. Vérifier les applications de création et de gestion des espaces cours, projets et personnels (Sites vs Worksite). Prévoir un mécanisme de contrôle des espaces cours (pour limiter notamment l espace disque utilisé). Donner la possibilité de générer des rapports sommaires et détaillés sur l utilisation des ressources du serveur (espace disque, sécurité, etc.). 3.1.3 OUTILS D'ADMINISTRATION (GESTION DES USAGERS, ERGONOMIE DE L'INTERFACE D'ADMINISTRATION, DÉLÉGATION) Haut degré de granularité dans la définition des rôles. Possibilité de déléguer l'espace d'administration à d'autres usagers (en y ajoutant des participants). Pourquoi avoir Worksite et Sites pour créer et gérer les sites? Sites paraît davantage permissif, mais il est plus facile d y faire des erreurs puisqu il faut entrer les données; Worksite, pour sa part, offre les options dans des menus déroulants. L interface n affiche pas le nom d usager avec lequel on est connecté. Compléter les outils d administration. Pouvoir paramétrer la taille des fichiers à même l interface d administration accessible par le Web. Améliorer l outil de création Sites. 3.1.4 GESTION DES GABARITS (CRÉATION DE SITES DE COURS ET DU PORTAIL) Il est possible de dupliquer un cours; cependant, certains contenus ne suivent pas (discussion et gabarit seulement). On peut choisir les outils que l on veut dans le site. L aspect graphique du site est modifiable. 10
Il n y a pas de possibilité de tri des sites. La cohabitation des espaces personnels et des sites de cours crée de la confusion. MAJEUR - Le processus de création de cours est lourd. MAJEUR Il n y a pas de choix de gabarits de cours, mais un seul style par défaut. Fournir le contrôle total sur le processus de duplication de cours (duplication partielle ou complète). Offrir la possibilité de créer et d éditer ses propres gabarits de cours avec une interface Web disponible comme outil de Sakai. Simplifier la création des cours en modifiant l interface de flux de travail (workflow). 3.1.5 INTÉGRATION EN TEMPS RÉEL AVEC LE SYSTÈME DE GESTION DES ÉTUDIANTS Service de transfert des notes au système de gestion du dossier étudiant; enregistrement au cours contrôlé par l'étudiant. Sakai offre les interfaces de programmation (API), mais chaque établissement doit développer les interfaces lui permettant d insérer les données dans son (ses) système(s) de gestion des étudiants. Au sein de la communauté Sakai, contacter les universités qui utilisent les mêmes systèmes de gestion des étudiants et partager de l information sur le développement. Tester les solutions retenues au sein des institutions concernées. 3.1.6 POSSIBILITÉ D AVOIR UNE PARTIE DU COURS ACCESSIBLE SANS MOT DE PASSE PUBLIC- PRIVÉ Certains contenus peuvent être vus par le public, mais ceux-ci demeurent limités. On ne peut donner accès à toutes les sections que l on désire; elles sont prédéterminées (Announcements, Resources, Syllabus). Recommandation Prévoir un mécanisme de partage complet et sélectif des contenus (normalement géré par un accès authentifié). 11
3.1.7 GESTION DES ACCÈS SELON LE TRIMESTRE Il est possible de créer des trimestres. Il est possible de regrouper les cours par trimestre (lors de la création du cours). MAJEUR Il n y a pas de gestion d accès des usagers par trimestre. Il ne semble pas que l on puisse créer un site de cours contenant plusieurs trimestres. Prévoir un mécanisme de gestion des usagers par trimestre (gestion des usagers et gestion des cours). Permettre d assigner plus d un trimestre à un cours. 3.2 QUALITÉ LOGICIELLE 3.2.1 QUALITÉ DU SOUTIEN AU DÉPLOIEMENT Non évalué. 3.2.2 QUALITÉ DE LA LANGUE (LA TRADUCTION) À vérifier dans la version 2.2. 3.2.3 SUPPORT POUR LES STANDARDS ET LES PROTOCOLES MAJEUR Il est impossible d importer un module IMS CP 1.1.2 fait avec WebCT. MAJEUR - Il est impossible d importer un module IMS CP 1.1.2 fait avec exe. MAJEUR - Il est impossible d importer un module IMS CP 1.1.2 fait avec Macromedia Dreamweaver et l extension IMS CP. MAJEUR - L'importation de contenu IMS CP provenant de WebCT ne fonctionne pas (Message d'erreur : Error occurred while importing.) Aussi, problème d'exportation IMS CP de WebCT 4.1. Sakai ne prend pas les modules de contenu IMS CP CP faits par WebCT. WebCT prend les IMS CP faits par Sakai, mais il y a quelques erreurs lors de l affichage des pages. 12
3.2.4 COPIES DE SAUVEGARDE Développer un outil SCORM (Sharable Content Object Reference Model). Supporter l importation intégrale de contenus IMS CP en provenance de WebCT Campus Edition 4.1. MAJEUR Il n y a pas de fonction de sauvegarde disponible pour l'administrateur et les concepteurs. MAJEUR - On peut mettre des sites en archives, mais on ne voit pas les fichiers par la suite. Où sont-ils? MAJEUR - On peut faire des importations, mais le champ pour entrer le nom du fichier à joindre requiert l entrée de texte (input text); on doit donc connaître le nom du fichier et son chemin pour pouvoir l importer. Il devrait y avoir un bouton «Parcourir». Offrir une fonction de sauvegarde manuelle accessible à l administrateur et au professeur responsable du cours. Prévoir un mécanisme automatisant l archivage individuel des cours, avec contrôle de la fréquence. Offrir une fonction de restauration sur demande des cours (administrateur et professeur). Offrir la possibilité de réinitialiser un cours (manuellement et au moment de la restauration d un cours). Prévoir une section dans l interface de l administration et du concepteur où l on a accès aux fichiers de sauvegarde (suggestion : intégration possible à l outil Resources). Prévoir un mécanisme limitant le nombre de copies de sauvegarde alloué. 3.2.5 MULTILINGUISME ET INTERNATIONALISATION À évaluer dans la version 2.2. 3.2.6 AIDE EN LIGNE Plusieurs applications n ont pas d aide en ligne contextualisée ni d exemples. On note l absence d outil pour la recherche avancée. Il n y a pas de guide de formation. 13
Cibler les applications qui n ont pas d aide contextualisée. Explorer la possibilité d une collaboration avec d autres institutions pour la mise en place d une aide contextualisée. Adopter ou développer un outil de recherche avancée. 3.2.7 INTEROPÉRABILITÉ MODULES VS FURETEURS Compatibilité avec Internet Explorer et Mozilla Firefox. Instabilité de certains outils sous Internet Explorer (HtmlArea notamment). Recommandation Vérifier la compatibilité avec différents fureteurs (ex. Safari, Opera et autres en plus d Internet Explorer et Mozilla Firefox). 3.3 GESTION DES USAGERS 3.3.1 DÉFINITION DE RÔLES ET D'ACTEURS AVEC DES DROITS SPÉCIFIQUES (PERMISSIONS) MAJEUR - On ne peut pas voir les cours auxquels chaque usager est inscrit. On doit toujours passer par les cours pour voir qui y est inscrit. MAJEUR - On ne peut pas modifier les droits de l enseignant d un seul cours. Les enseignants ont toujours les mêmes droits, dans tous les sites. Offrir la possibilité de donner des droits variables aux enseignants, en fonction de leurs besoins. Offrir une interface d administration accessible via le Web. 3.4 GESTION DE CONTENU 3.4.1 IMPORTATION DE CONTENU On peut importer plusieurs fichiers avec WebDAV et il y a des instructions sur la façon de configurer WebDAV sur Windows et sur MAC. Lorsqu on clique sur un fichier «.mov», on est redirigé vers une page blanche; la vidéo ne joue pas. 14
Quand on renomme un dossier, le changement n apparaît pas tout de suite. Il faut changer de page et ensuite revenir à la page précédente pour voir le changement. Dans l outil Presentation, il n est mentionné nulle part dans l aide disponible aux utilisateurs qu il faut sauvegarder la présentation PowerPoint et l importer pour que ça fonctionne. On ne peut pas voir les caractéristiques optionnelles (Optional properties) des fichiers. Quand on clique, il ne se passe rien. Vérifier la configuration des types de fichiers lors de la mise en production initiale du serveur. S assurer que le résultat d une action de l usager présente une rétroaction visible à l écran. Éliminer l outil Presentation. 3.4.2 SERVICE DE GESTION ET DE VISIONNEMENT DE FICHIERS MAJEUR - L application Presentation présente des faiblesses. MAJEUR - L'outil Presentation ne permet pas la prise en charge de fichiers PowerPoint. Il n y a pas de contrôles avancés de visionnement, d'annotation ou de diffusion des diapositives de présentation. Il n y a pas de gestion des versions des documents (à part les métadonnées). On ne peut pas rendre les fichiers accessibles uniquement aux enseignants et assistants enseignants. MAJEUR Les étudiants ne peuvent mettre des documents que dans leur Drop Box 7 ou dans leur zone de travail (Workspace) personnelle. Il n y a pas d outil de gestion de version automatique. Ajouter des possibilités de gestion des versions des documents (non prioritaire). Éliminer l outil Presentation. 3.4.3 RÉFÉRENCEMENT DES RESSOURCES Objets et cours incluant le référencement des productions personnelles : non disponible, en développement. 7 L outil Drop Box permet à chaque étudiant de disposer d un espace privé pour partager des documents avec l enseignant. 15
Les connecteurs sont présents, mais chaque institution doit les pointer vers les banques de données appropriées. 3.4.4 STOCKAGE ET ARCHIVAGE DES RESSOURCES La création et la copie de répertoires et de fichiers sont simples et efficaces. Il y a des possibilités intéressantes d'annotation ou de référencement des fichiers. On peut avoir un dossier personnel de documents pour son usage réservé. On peut faire autant de dossiers que l on veut dans son dossier personnel (Drop Box) ou dans sa zone de travail (Workspace) personnelle. 3.4.5 SERVICE D'ANNOTATION DES DOCUMENTS, DES RESSOURCES ET DES ACTIVITÉS 3.4.6 EPORTFOLIO On peut inscrire une description du fichier. Il ne semble pas que l on puisse entrer des notes sur le fichier, ailleurs que dans la description. Non disponible dans la version évaluée, mais sera présent comme outil officiel dans la prochaine version. 3.4.7 CRÉATION DE PAGES WEB PERSONNELLES Incompatible avec les balises HTML; langage de formatage propriétaire complexe à gérer (langage Wikitext). Ajouter l édition de type WYSIWYG (disponible dans tous les champs de texte). Vérifier l intégration avec les permissions et les rôles des usagers et des groupes (pour le travail collaboratif). 3.4.8 GESTION DES RESSOURCES WEB MAJEUR Les étudiants ne peuvent avoir accès à leur dossier personnel (Drop Box) avec WebDAV. Il est possible que la version 2.2 corrige ce problème. 16
Recommandation Voir la section 3.2.3 : Support pour les standards et les protocoles. 3.4.9 PROTECTION ET GESTION DES DROITS INTELLECTUELS (DRM) La licence Creative Commons pointe vers la version 2.0 alors que la dernière version est 2.5. De plus, ce n est pas la version canadienne. La juridiction devrait être précisée dans les choix. Recommandation Permettre une mise à jour automatique (lien avec le service ou le site Web approprié). 3.4.10 RECHERCHES FÉDÉRÉES DANS LES BANQUES D'OBJETS Les connecteurs sont présents. Assurer l accès aux ressources externes. Définir les fonctions de recherche. 17
4. SERVICES APPLICATIFS 4.1 SERVICES DE CRÉATION ET D UTILISATION DES COURS ET DES MODULES 4.1.1 SCÉNARISATION PÉDAGOGIQUE Pour l'organisation, la mise en séquence, la gestion et le contrôle des activités : non disponible pour l évaluation. Il ne s agit pas d une priorité. 4.1.2 ORGANISATION, ASSEMBLAGE ET AGRÉGATION DES CONTENUS L importation de fichiers PDF, PPT et DOC fonctionne bien. L éditeur HTML est adéquat. La gestion des dates d'accessibilité est facile. L intégration du matériel se fait aisément. Les options Description/Overview ou Objectives sont inclues dans chaque module. La vue étudiante 8 est rapide. La restauration de contenu est rapide. Il n y a pas d'insertion (embed) des documents PPT et DOC dans le module. Le téléchargement de fichiers ne supporte pas les caractères accentués. L intégration de fichiers Excel ou vidéo (testée avec un fichier de format WMF) est impossible : le document est affiché en texte. Le téléchargement de fichiers impose une limitation de 2 Mo (paramètre du serveur?), ce qui est problématique pour les vidéos et autres fichiers plus volumineux. Il est possible d'ajouter des liens vers les fichiers du module Resources. Pour ce faire, il faut cependant copier-coller le lien de la ressource; il aurait été préférable de pouvoir simplement sélectionner le fichier. Le champ Description n'interprète pas les balises HTML. Le champ Description est en texte seulement, sans saut de ligne. Dans la fonction Make inactive, l ergonomie de l'interface est déficiente : la section disparaît et il faut aller dans Manage pour la faire réapparaître. Il faut ajuster les deux barres de déroulement pour bien voir le contenu d'un module (coté utilisateur). 8 Cette fonction permet à un enseignant de visualiser l interface du site telle qu elle est vue par les étudiants. 18
Le paramétrage de toutes les options d'un module nécessite plusieurs clics. On éprouve des problèmes avec les pages qui ont des cadres (frames) (messages d'erreur : chaque cadre indique que la page n'est pas trouvée). Il n y a pas de message d'erreur lorsqu'une page Web imbriquée n est pas trouvée; on retourne à la page d'accueil. Ne respecte pas la norme SCORM. Il serait intéressant de pouvoir faire, à l intérieur d un module, des liens vers d autres outils (ex. : forum, questionnaire). Intégrer un module d édition HTML unique (préférablement au choix lors de l installation initiale, par exemple FCKeditor, TinyMCE ou Xinha). Vérifier les limitations dans le téléchargement des fichiers (configuration via l interface d administration Web). Faciliter les liens entre les modules de contenus et d autres outils (similaire aux URLs uniques dans Resources, mais avec la possibilité de relier directement sans copier-coller). Si un outil n est pas disponible, supprimer ou cacher le lien ou le bouton qui y mène (par exemple, check accessibility qui demeure inactif). 4.1.3 GESTION D'ACCÈS SÉLECTIF AU CONTENU DU COURS MAJEUR - L accès sélectif est limité à la date et à l option «actif/inactif». Il n est pas possible de déterminer l accès selon la note à un questionnaire ou par utilisateur/groupe. L enseignant peut monter ses modules comme il le souhaite. Il décide de la démarche. Il peut mettre un texte qui apparaît à la fin des sections du module pour diriger l étudiant vers l étape suivante. On ne peut pas mettre de conditions (ex. : faire le module 1 avant de pouvoir passer au module 2). Les conditions viennent de SCORM. Vérifier si le problème peut se corriger par la mise en place de conditions dans l outil SCORM. Ajouter des conditions supplémentaires d accès sélectif aux contenus. 19
4.1.4 ÉDITION ET GESTION DES GLOSSAIRES ET DES CLASSIFICATIONS Il n y a pas de service de recherche et d association des ressources et des activités. Les mots du glossaire pourraient être soulignés dans le texte avec le lien qui mène au glossaire. Recommandation L ajout d un tel outil serait désirable (quoique non prioritaire). Il serait possible de le relier à un glossaire externe public (ex.: sites de référence du genre Wikipedia ou autres). 4.1.5 SÉLECTION DES OBJETS D'APPRENTISSAGE Cours et ressources: non disponible pour l évaluation. 4.1.6 TRAÇAGE DU CHEMINEMENT D'APPRENTISSAGE Support au conseil et statistiques de fréquentation des cours (date, heure, contenu accédé): non disponible pour l évaluation. 4.1.7 PLANIFICATION DU CHEMINEMENT Non disponible pour l évaluation. 4.1.8 VISIONNEMENT DE LA PROGRESSION ET DE LA DÉMARCHE Non disponible pour l évaluation. 4.1.9 CRÉATION ET GESTION D'ÉQUIPE ÉTUDIANTE On peut créer des groupes dans Site Info. MAJEUR On ne voit pas si l on peut utiliser ses groupes ou même voir la liste d étudiants (sauf dans le Gradebook 9 ). MAJEUR - On ne peut pas savoir si on fait partie d un groupe ou non. Intégrer la création et la gestion de groupes aux outils (wiki, forum, travaux, Gradebook) avec option d auto-inscription. Développer un outil d accès aux groupes (vue étudiante). Documenter la fonction précédente (présentement absente dans l aide en ligne). 9 L outil Gradebook permet à l enseignant de réaliser différentes tâches liées à la gestion des résultats des étudiants. 20
4.2 SERVICES DE COMMUNICATION 4.2.1 SERVICE DE COURRIEL EXTERNE La possibilité d'envoyer du courrier électronique à l'extérieur. Choix dans la fréquence de réception des courriels (immédiat, un résumé par jour, etc.). 4.2.2 SERVICE DE COURRIEL INTERNE Envoi et réception de courrier électronique pour les clients inscrits : non évalué faute d étudiants. 4.2.3 SERVICE DE DIFFUSION D'ANNONCES À tous les utilisateurs, à un groupe d'étudiants ou seulement à un cours. Fonction appréciée, surtout pour l'envoi de notes d'information lors d'ajout de contenus. 4.2.4 SERVICE DE FORUM ASYNCHRONE (JFORUM) MAJEUR - La création de forums privés est ardue. MAJEUR - JForum ne supporte pas les caractères accentués. MAJEUR - La traduction française comporte de nombreuses erreurs et les éléments graphiques (New Topic, Post Reply, etc.) ne sont pas traduits. MAJEUR Il n y a pas de module d'aide spécifique à JForum. Intégrer les permissions des usagers et des groupes d usagers dans le processus de création de forums (par exemple, pour un forum privé : création du forum, puis sélection des usagers ayant accès à ce forum dans une même sous-étape). Terminer la traduction et le support pour les caractères internationaux (suggestion : supporter UTF-8). Fournir de la documentation sur l outil. 4.2.5 SERVICE DE CONFÉRENCE SYNCHRONE : TEXTE, AUDIO, VIDÉO Non disponible. 21
4.2.6 SERVICE DE CLAVARDAGE On ne peut visualiser les salons de clavardage en activité au moment de l'accès. Prévoir un mécanisme de contrôle de l archivage (incluant l affichage aux usagers). Prévoir la gestion de salons de clavardage multiples. Prévoir l affichage et le signalement de la présence (suggestion : améliorer la fenêtre Users present sur la page d accueil du cours, en bas à gauche) et inclure les fonctions «débuter un clavardage» et «envoyer un message personnel» à partir de cette fenêtre. 4.2.7 SERVICE DE TABLEAU BLANC Non disponible. 4.2.8 PARTAGE DES APPLICATIONS Non disponible. 4.2.9 DIFFUSION DES TRAVAUX D'ÉTUDIANTS Ce qui est déposé dans l outil Drop Box n est accessible qu à la personne qui l y a placé ainsi qu à l administrateur (confidentialité). On peut spécifier si l on veut que son document soit accessible également aux non-membres. Recommandation Prévoir la possibilité de rendre publics, de façon sélective et simplifiée, des travaux d étudiants (suggestion : avec Resources). 4.2.10 SERVICE D AGENDA ET D AGENDA COLLABORATIF Service de création et de gestion de calendriers d activités accessibles à tous les utilisateurs. Il n y a pas d observations ou de recommandations particulières ici. L outil fonctionne bien. 22
4.3 SERVICES D ÉVALUATION 4.3.1 CRÉATION ET GESTION DE ZONES DE DÉPÔT DE TRAVAUX Aux fins de partage ou d'évaluation. Le professeur peut, par erreur, supprimer les répertoires des étudiants. Recommandation Documenter le problème et en informer les professeurs. 4.3.2 ÉDITION ET GESTION DE QUESTIONNAIRES Il est difficile d'importer des quiz faits par des outils externes (notamment en format HTML), par exemple avec Hot Potatoes. On peut modifier la note finale du cours pour chaque étudiant et exporter les notes dans un fichier Excel ou CSV. Il est possible de sélectionner des questions qui seront affichées aléatoirement. Les statistiques sont intéressantes. MAJEUR Après avoir modifié la note d un questionnaire dans Tests & Quizzes puis être retourné dans Gradebook, plus rien ne s affichait dans la boîte Gradebook même après être sorti et avoir fermé le navigateur, plus rien ne s affichait. MAJEUR - L interface est plus ou moins conviviale. Il n est pas possible de créer des questions dans la banque de questions et ensuite de les assigner à des quiz. On ne voit pas les questions lorsqu on déploie le dossier d une banque de questions (pool). Lorsqu on entre dans la banque, on affiche les questions en entier avec leur choix de réponses; il serait préférable de ne voir que les titres des questions et de cliquer sur celle que l on veut voir en entier. Enfin, la banque est également dans un petit cadre (moitié de la page) et l on doit faire défiler le texte pour voir le contenu. Celui-ci devrait apparaître dans la page directement. MAJEUR Encore une fois, s il y a une erreur au moment où l on entre de l information, on perd toute l information qui a déjà été soumise. C est vraiment désagréable. MAJEUR - Pour insérer des images dans les questionnaires ou en arrière-plan, on doit inscrire une adresse URL. Il n est pas possible de prendre une image sur son poste. MAJEUR - Il n y a pas de question «calculée». C est un point essentiel. MAJEUR - Il serait apprécié de pouvoir associer aléatoirement des 23
questionnaires à des étudiants. Ces derniers auraient alors un questionnaire différent. MAJEUR Dans le cas des questions de type résolution de problèmes, il faudrait pouvoir utiliser la réponse à une question dans la question suivante. Il s agit d imbriquer les questions ensemble. MAJEUR - L importation d un quiz IMS CP QTI fait avec WebCT n a pas fonctionné. (erreur : There was an error importing this assessment. Ensure that the file is correctly formatted IMS CP QTI. Error details : org.sakaiproject.tool.assessment.services.qti.qtiserviceexception: java.lang.runtimeexception: java.lang.nullpointerexception). On peut voir les statistiques sur le test, la moyenne du groupe, etc., de même que revoir le test qu on a fait. Les questionnaires apparaissent dans un cadre trop petit. Il n est pas possible de voir la page au complet. Vérifier l intégration avec l outil Gradebook. Ajouter le type de questions «calculées». Ajouter la possibilité d effectuer aléatoirement l appariement questions/questionnaires et étudiants. Vérifier la fonction d importation des quiz (selon le standard IMS CP QTI). Ajouter la réutilisation ou la combinaison de différents types de questions (ex. : question et sous-question ensemble) et de réponses (ex. : génération de la question suivante en lien avec la réponse à la question précédente). Développer un outil SCORM. 4.3.3 AFFICHAGE DES RÉSULTATS MAJEUR - Il n y a pas d'intégration avec l'outil Gradebook : si l on créé un travail, il ne s'y ajoute pas. Fonction Honor Pledge : si l'étudiant oublie de cocher la case, le message d'erreur s'affiche en haut de la page, ce qu'il peut facilement ne pas voir... Dans ce cas, il pensera que son travail est effectivement soumis. Il n'y a pas de message de confirmation de soumission du travail (ex. : «Le travail sera soumis. Voulez-vous soumettre votre travail?»), ce qui pourrait causer une soumission par erreur. MAJEUR - L outil Gradebook ne prend pas les tâches attribuées (assignments) en considération automatiquement. On doit les ajouter dans le Gradebook et ensuite entrer les notes dans les onglets Assignment et Gradebook. 24
MAJEUR - On ne voit pas les notes des tâches dans le Gradebook. Il faudrait que ce soit lié ensemble puisqu il est possible de noter les tâches. Il n est pas possible de voir les statistiques dans le Gradebook. Offrir des possibilités supplémentaires de calcul et d affichage des statistiques du cours (vue du professeur et vue étudiante) (ex. : ajout de l écart-type). Le Gradebook devrait afficher un tableau sommaire des résultats de tous les étudiants (modelé sur ce qui existe déjà dans WebCT). 4.3.4 ÉVALUATION DES COMPÉTENCES Non disponible. 4.4 SERVICES PERSONNELS 4.4.1 SERVICE DE GESTION DES PRÉFÉRENCES DES USAGERS, PERSONNALISATION, ACCESSIBILITÉ MAJEUR - Dans le module Site Info d un cours, un professeur pourrait supprimer ses propres droits d'administrateur (instructor) pour son espace personnel. Rendre l affichage de l outil Preferences consistant. Un professeur ne devrait pas être en mesure de modifier son niveau d accès à son cours. 4.4.2 REQUÊTES ET GESTION DES SERVICES DE COMMUNICATION Équipements, salles et autres besoins de services selon un calendrier défini : non disponible. 4.4.3 INTERFACE MULTILINGUE AU CHOIX DE L'UTILISATEUR À évaluer lorsque la version 2.2 sera disponible. 25
5. CONCLUSION ET RECOMMANDATIONS Au terme de cet exercice, le Groupe de travail évalue que les objectifs qu il s est fixés pour l évaluation de Sakai (version 2.1) ont été atteints et que les résultats obtenus permettent de mesurer les écarts entre cette version de Sakai et les attentes des universités participantes à l égard d un environnement numérique d apprentissage. Sans reprendre l ensemble des résultats de l évaluation, on peut dégager huit principaux aspects dont l évaluation s est soldée par une note négative : La documentation nécessaire pour soutenir les administrateurs et les utilisateurs est difficile à localiser. Les outils qui composent Sakai ne sont pas tous intermodulaires (interopérables). Les interfaces sont incohérentes d un outil à l autre et sont parfois peu conviviales pour les utilisateurs. La gestion des fonctions administratives n est pas conviviale et certaines fonctionnalités importantes sont absentes. La gestion des utilisateurs est ardue. La migration de cours existants développés avec d autres ENA est laborieuse. Certains outils de la version évaluée n étaient disponibles qu en anglais. L évaluation des étudiants est possible en utilisant plusieurs outils, mais les fonctions sont limitées et peu conviviales. Ces lacunes nécessitent des correctifs, sans quoi les universités participantes ne pourront considérer l implantation de Sakai. Il s avère donc que la version 2.1 de l environnement numérique d apprentissage Sakai ne répond pas aux attentes des universités ayant participé à l évaluation. Cependant, force est d admettre que depuis le début de cet exercice, la communauté Sakai ainsi que le Centre de recherche informatique de Montréal (CRIM) ont apporté plusieurs améliorations aux outils ou sont sur le point de le faire. Ajoutons que la communauté Sakai prévoit ajouter des outils supplémentaires qui faciliteront la gestion de l ENA ainsi que le développement des cours. À la lumière de ces considérations, le GTES propose donc les recommandations suivantes : 1) Étant donné que la version 2.2 bêta de Sakai est maintenant disponible depuis juillet 2006 et qu elle a été installée sur un serveur du CRIM, il est recommandé que ce dernier effectue une vérification pour déterminer quels facteurs ont été corrigés dans la nouvelle version. 26
2) Étant donné que la communauté internationale de Sakai prépare régulièrement un plan de développement dont le CRIM est informé, et pour lequel il est parfois consulté, il est recommandé que le CRIM procède à une vérification pour préciser les aspects qui seront corrigés au cours des six prochains mois. 3) Étant donné que le CRIM a manifesté le souhait d offrir aux universités québécoises une solution Sakai qui réponde à leurs attentes, il est recommandé qu après avoir vérifié les aspects corrigés par le déploiement de la version 2.2 et ceux qui le seront par les propositions de développement de la communauté Sakai, un plan d amélioration soit élaboré par le CRIM avec le concours des universités en vue de mettre en place les dispositifs nécessaires pour remédier aux problèmes non résolus par les actions précédentes. Il est aussi recommandé qu une version corrigée de Sakai soit disponible pour une mise à l essai au début de l année 2007. 4) Étant donné que la version 2.2 de Sakai apportera des correctifs à plusieurs lacunes observées au cours de l évaluation et que le CRIM contribuera aussi à l amélioration d outils, il est recommandé de maintenir le Groupe de travail GTES en place au cours de l année 2006-2007 afin de suivre le développement de Sakai et d assurer que les besoins des institutions d enseignement supérieur soient satisfaits. 5) Étant donné que la structure Sakai-Québec mise en place par le CRIM est en voie d implantation, il est recommandé que des discussions soient engagées pour définir le rôle du Sous-comité sur les TIC et, plus généralement, des universités québécoises auprès de cette nouvelle entité. Le GTES s engage à identifier une ou plusieurs universités qui effectueront une nouvelle mise à l essai de l environnement Sakai lorsque les lacunes repérées dans la présente évaluation auront été corrigées. 27
ANNEXE 1 COMPOSITION DU GROUPE DE TRAVAIL SUR L ÉVALUATION DE SAKAI Le Groupe de travail a pu compter sur la participation de nombreux représentants des établissements universitaires et de l organisation suivants : Centre de recherche informatique de Montréal (CRIM) École Polytechnique HEC Montréal Télé-université Université de Montréal Université de Sherbrooke Université du Québec à Montréal Université Laval Université McGill La coordination des activités a été assumée par monsieur Daniel Dupont, de l Université de Sherbrooke. 28