UNIVERSITÉ DU QUÉBEC À MONTRÉAL MODÉLISATION DES INTERFACES DANS UN CONTEXTE D ÉVALUATION ADAPTATIVE DES APPRENTISSAGES PAR ORDINATEUR ESQUISSE DE PROJET DE RECHERCHE PRÉSENTÉE AU SOUS COMITÉ D ADMISSION ET D ÉVALUATION (SCAE) DU DOCTORAT EN ÉDUCATION PAR MARTIN LESAGE LE 24 FÉVRIER 2007
1 Introduction Cette esquisse de recherche se situe dans le cadre général du testing adaptatif par ordinateur (TAO) et plus particulièrement celui de la théorie de la réponse à l item (TRI). La théorie de la réponse à l item est une théorie de la mesure en éducation et en sciences humaines permettant la modélisation de la probabilité du choix des réponses aux items dans les systèmes d évaluation des apprentissages. L une des avancées de la théorie de la réponse à l item est la production de tests adaptatifs en ligne. Des développements sont donc envisagés dans ce domaine et ce projet aura pour but précis le développement d une norme de modélisation des interfaces personne machine («Human Computer Interface») associées à ces tests afin d augmenter leurs capacités d adaptation. Cette esquisse de projet aura pour but de définir la problématique de recherche ainsi que le cadre théorique le supportant. Une description de l expérience antérieure du candidat sera également présentée en annexe à ce document afin de démonter que celui ci a les capacités de mener à bien ce projet. Problématique Ce projet de doctorat rejoint les domaines de l informatique, de la réseautique et de l évaluation en éducation par le développement de questionnaires et d interfaces personne machine basés sur l Internet. Ces interfaces viennent en soutien à des tests pouvant s adapter à la personnalité et au niveau de connaissances de l utilisateur (Weld, Anderson, Domingos, Etzioni, Gajos, Lau et Wolfman, 2004). Les applications pratiques de ce projet de recherche seront l implantation de cours et de tests sur l Internet. Le premier domaine d application sera au niveau de l enseignement à distance pour les étudiants des niveaux secondaires et universitaires. Le second domaine d application sera au niveau de l instruction militaire à distance aux officiers et sousofficiers des Forces canadiennes. Nous voulons développer des interfaces personne machine servant à la création de cours à distance administrés sur l Internet dans les domaines académiques et de la formation professionnelle.
2 Notre recherche se concentrera sur le développement de paramètres en langage XML («extensible Markup Language») pouvant augmenter la flexibilité des interfaces. Ainsi, une seule interface d'apprentissage s adaptant à tout genre d'usagers (étudiant, travailleur ou militaire) pourra être réalisée. Cette interface sera capable de présenter un contenu ainsi que de créer plusieurs types de tests lors de l'accès de ces usagers à un site Internet d apprentissage à distance Question de recherche : Comment peut on modéliser des interfaces dans un contexte d évaluation adaptative des apprentissages par ordinateur? Cadre théorique Les fondements du testing adaptatif ont été formulés par Thissen et Mislevy (2000) au niveau de l algorithmique et des théories statistiques déterminant le choix des questions. Le testing adaptatif, basé sur la théorie de la réponse à l item, a fait l objet d études par Raîche (2004) dans le domaine de ses applications au système scolaire de la province de Québec. Les recherches de Raîche (2004) complètent et approfondissent celles de Thissen et Mislevy (2000) concernant les structures, la modélisation statistique et l algorithmique des tests adaptatifs. Les approches constructivistes de l enseignement par ordinateur, les caractères adaptatifs des programmes d instruction, les communautés d apprentissage ainsi que les environnements de travail collaboratifs dans le domaine militaire ont été étudiées par Bonk et Wisher (2000). Des méthodes d amélioration des caractères adaptatifs des interfaces personne machine ainsi que quelques applications utilisant ces méthodes ont été expérimentées par Weld, Anderson, Domingos, Etzioni, Gajos, Lau et Wolfman (2004). Une application dénommée MINE SCORM implantant des fonctionnalités de tests à l aide de paramètres XML a été développée par Chang, Hsu, Smith et Wang (2004). Cette application est une extension de la norme SCORM («Shareable Content Object Reference Model») d encapsulation de matériel de cours à distance. La problématique du testing adaptatif veut ajouter de la flexibilité aux examens traditionnels. Ce type d examen est généralement sous format papier. Il a comme principaux désavantages le nombre et le type de ses questions qui sont fixes ainsi que son niveau de difficulté n étant pas adaptable au niveau de connaissances de l apprenant.
3 Le testing adaptatif repose sur la conception qu un examen non adaptable peut présenter certaines difficultés à démontrer les progrès d apprentissage de l apprenant. Des questions trop difficiles ne seront pas répondues tandis que des questions trop faciles risquent de ne pas être prises sérieusement en considération, ce qui n indique pas les vrais progrès d apprentissage. Le testing adaptatif fait en sorte que les questions des tests doivent s adapter à la personnalité et au niveau de connaissances de l apprenant. Les méthodes de sélection des questions peuvent être faites soit manuellement par un examinateur ou par ordinateur selon des algorithmes reposant sur des théories statistiques tel que décrit à la figure 1 (Thissen et Mislevy, 2000; Raîche, 2004). Figure 1 : Algorithme d un test adaptatif basé sur la théorie de la réponse à l item (Raîche, 2004) L un des aspects de ce projet est de migrer ces tests sur l Internet, ceci de façon à ce que les questions du test, ainsi que la nature de l interface de présentation des questions, puissent s adapter au niveau de connaissances de l apprenant. Depuis quelques années, se sont développées dans le domaine de l informatique, des normes formelles d objets d apprentissages qui permettent d automatiser la gestion des contenus d enseignement et d apprentissage. Ces normes permettent le partage des informations relatives à un cours entre différentes plates formes de gestion éducative. L ajout de normes spécifiques à l évaluation des apprentissages est tout récent et encore peu développé. Il s ensuit qu il est actuellement difficile de partager des contenus d évaluation des apprentissages à l intérieur des applications en ligne usuelles d évaluation des apprentissages et d assurer des retombées pratiques dans le cadre d offre de cours.
4 Certaines normes existent pour le développement d interfaces personne machine sur l Internet. Les normes qui nous intéressent sont les normes permettant le développement de systèmes d apprentissage et d évaluation sur l Internet. Les normes SCORM, AICC CMI et IEEE LTSC LOM sont des normes de formatage de matière et de migration de cours sur l Internet. Tel qu étudiées dans le cas de SCORM, ces normes ne mettent pas en oeuvre des fonctionnalités associées spécifiquement à des tests en ligne (Chang, Hsu, Smith et Wang, 2004). La norme QTI («Question and Test Interoperability Specification») de l organisme IMS Global Learning Consortium, quant à elle, est basée sur le langage XML et est spécialement dédiée à la conception de tests sur l Internet. Le but de ce projet de recherche sera de trouver des paramètres XML permettant d étendre la norme QTI IMS afin que cette norme soit capable de soutenir aussi l administration de tests adaptatifs. Le cadre d expérimentation de ces interfaces adaptables sur l Internet s effectuera avec la collaboration d étudiants du système scolaire du Québec ainsi qu avec celle des officiers et sous officiers des Forces canadiennes. Méthodologies anticipées Dans le but de créer un environnement d apprentissage en ligne favorisant le développement et l évaluation des connaissances acquises, la première partie du projet visera l amélioration de la norme QTI IMS par l ajout d une sous norme du langage XML permettant la caractérisation des paramètres d items selon la théorie de la réponse à l item. Ceci augmentera le potentiel d évaluation de ces systèmes leur permettant alors de s adapter à tous les types d apprenants. La seconde partie visera le développement et la programmation d interfaces personne machine dans des environnements spécifiques. La troisième partie visera la mise à l épreuve de la norme proposée par la création de cours et de questionnaires qui seront utilisés par des usagers des domaines civils et militaires. Conclusion Nous croyons que cette esquisse de projet est pertinente au regard du caractère interdisciplinaire du programme de doctorat en éducation. Ce projet relie en effet les disciplines de l informatique, de la réseautique et de l éducation. Il vise à créer un environnement d évaluation des apprentissages à distance basé sur l Internet ayant une interface universelle configurable à l aide de paramètres en langage XML pouvant s adapter à tout type d apprenant.
5 Références Bonk, C. J., et Wisher, R. A. (2000). Applying collaborative and e learning tools to military distance learning: A research framework (Technical Report 2207). Alexandria, VA: United States Army Research Institute for the Behavioral and Social Sciences. Chang, W., Hsu, H., Smith, T.K., et Wang, C. (2004). Enhancing SCORM metadata for assessment authoring in e learning. Journal of Computer Assisted Learning, 20(4), 305 316. Raîche, G. (2004). Le testing adaptatif. Dans R. Bertrand et J. G. Blais (Dirs), Modèles de mesure : l'apport de la théorie des réponses aux items. Montréal : Presses de l'université du Québec. Thissen, D. et Mislevy, R.J. (2000). Testing algorithms. In H. Wainer, N. Dorans, D. Eignor, R. Flaugher, B. Green, R. Mislevy, L. Steinberg et D. Thissen (Eds.), Computerized adaptive testing: A primer (Second Edition). Hillsdale, NJ: Lawrence Erlbaum Associates, 101 133. Weld, D. S., Anderson, C. R., Domingos, P., Etzioni, O., Gajos, K., Lau, T. et Wolfman, S. (2004). Automatically personalizing user interfaces. International joint conference on artificial intelligence (IJCAI) 2003, 1613 1619, Acapulco, Mexico. Martin Lesage M. Sc. CD1
6 Pertinence de l expérience antérieure du candidat Ayant une formation de premier cycle en informatique et de deuxième cycle en technologies de l information, j ai une bonne expérience de la téléinformatique, de l Internet et du développement des interfaces personne machine. Je connais également le domaine de l éducation au niveau de la vie civile et militaire. J ai enseigné dans les réseaux collégial et universitaire dans la vie civile. Au niveau militaire, j ai été instructeur dans le domaine du génie militaire durant plus de quinze ans et j ai travaillé quatre années à temps plein dans la production de didacticiels d auto apprentissage à distance pour les Forces canadiennes. Cette expérience est donc pertinente à la réalisation de mon projet de thèse qui est le développement d interfaces d apprentissage et de tests adaptatifs sur l Internet. Des experts dans le domaine de l apprentissage et du testing adaptatif sur l Internet sont autant en demande dans le domaine militaire que dans le domaine civil.
7 DOCTORAT EN ÉDUCATION DEMANDE DE RECONNAISSANCE D EXPÉRIENCES PERTINENTES ÉQUIVALENTES À DEUX (2) ANS D EXPÉRIENCE, PAR CUMUL DE TEMPS PARTIEL ET/OU DE CONTRATS A. Description sommaire de chaque expérience et durée en nombre d'heures selon chaque contrat (produire preuve à l'appui de chaque expérience). Octobre 2006 jusqu à maintenant, pour un total de 250 heures rémunérées réparties sur 5 mois. Auxiliaire d enseignement pour les professeurs Gilles Raîche et Martin Riopel Je travaille depuis janvier 2007 comme auxiliaire d enseignement pour le professeur Martin Riopel dans le cours «FPE3650 Application des technologies de l information et de la communication en enseignement» d'une durée de 45 h. Je suis également auxiliaire de recherche depuis octobre 2006 à raison de 15h par semaine pour les professeurs Martin Riopel et Gilles Raîche. Je travaille pour eux dans le développement d interfaces personne machine et de tests adaptatifs. Ceci pour la réalisation de cours et de questionnaires en ligne. B. Comment ces expériences cumulées sont pertinentes au projet de recherche proposé pour fin de thèse. Le but du travail avec mes directeurs de thèse, les professeurs Gilles Raîche et Martin Riopel vise principalement le développement de mon projet de recherche. Il consiste ensuite à me familiariser avec les usages ainsi que l enseignement donnés au département d éducation et de pédagogie de l Université du Québec à Montréal. DATE : Le 24 février 2007 NOM : Martin Lesage
8 DOCTORAT EN ÉDUCATION DEMANDE DE RECONNAISSANCE D EXPÉRIENCES PERTINENTES ÉQUIVALENTES À DEUX (2) ANS D EXPÉRIENCE, PAR CUMUL DE TEMPS PARTIEL ET/OU DE CONTRATS A. Description sommaire de chaque expérience et durée en nombre d'heures selon chaque contrat (produire preuve à l'appui de chaque expérience). Janvier 2002 à maintenant; pour un total de 1000 heures rémunérées réparties sur 5 années. Chargé de cours à l université du Québec à Rimouski J ai travaillé comme chargé de cours dans le domaine de l informatique au département de mathématiques, d Informatique et de génie (DMIG) de l Université du Québec à Rimouski du 15 janvier 2002 au 30 avril 2004. J ai enseigné dans cette institution les techniques de développement du logiciel (génie logiciel), l intelligence artificielle (langage PROLOG), les bases de données (langage SQL), les langages de programmation (COBOL, Pascal, LISP et SMALLTALK) ainsi que la programmation orientée objet avec l environnement de programmation BORLAND C++ Builder (programmation en langage C++). Je suis présentement considéré comme un chargé de cours en congé de perfectionnement par cette institution. B. Comment ces expériences cumulées sont pertinentes au projet de recherche proposé pour fin de thèse. Étant donné que l enseignement universitaire est indissociable des études doctorales en éducation, mon expérience de ce type d enseignement au département de mathématiques, d Informatique et de génie (DMIG) de l Université du Québec à Rimouski a développé mon expérience dans la préparation de cours universitaires. Dans le cadre de mon projet de thèse, je vais devoir développer des interfaces personne machine et des tests en ligne pour des étudiants du premier cycle universitaire. DATE : Le 24 février 2007 NOM : Martin Lesage
9 DOCTORAT EN ÉDUCATION DEMANDE DE RECONNAISSANCE D EXPÉRIENCES PERTINENTES ÉQUIVALENTES À DEUX (2) ANS D EXPÉRIENCE, PAR CUMUL DE TEMPS PARTIEL ET/OU DE CONTRATS A. Description sommaire de chaque expérience et durée en nombre d'heures selon chaque contrat (produire preuve à l'appui de chaque expérience). Janvier 1986 jusqu à maintenant; pour un total de 1000 heures rémunérées réparties sur 21 années. Instruction militaire J ai été instructeur dans le domaine du génie militaire canadien lors des étés 1986, 1988, 1989, 1993, 1994, 1995 et 1996. J ai également donné des cours à mon unité, le 35 ième Régiment du Génie, les fins de semaines de 1985 jusqu à maintenant. B. Comment ces expériences cumulées sont pertinentes au projet de recherche proposé pour fin de thèse. Cette expérience est pertinente parce que j ai pu apprendre avec les Forces canadiennes les fondements de l instruction militaire. Ceci m a permis de donner des périodes d habilités pratiques dans le domaine des connaissances militaire générales (exercice militaire, topographie, exercices en campagne, etc.) et du génie militaire (outils manuels, outils mécanique, guerre des mines, démolition, construction des routes, de ponts et d habitations rudimentaires, etc.) J ai appris également à donner des périodes théoriques et à préparer des plans de leçon selon les normes de l instruction militaire dans des domaines tels les calculs de charges explosives, la construction des routes, des aéroports et des ponts ainsi que l enseignement des connaissances générales (historique, organisation, coutumes, traditions, etc.) dans le domaine du génie militaire. DATE : Le 24 février 2007 NOM : Martin Lesage
10 DOCTORAT EN ÉDUCATION DEMANDE DE RECONNAISSANCE D EXPÉRIENCES PERTINENTES ÉQUIVALENTES À DEUX (2) ANS D EXPÉRIENCE, PAR CUMUL DE TEMPS PARTIEL ET/OU DE CONTRATS A. Description sommaire de chaque expérience et durée en nombre d'heures selon chaque contrat (produire preuve à l'appui de chaque expérience). Janvier 2001 à juillet 2002; pour un total de 3000 heures rémunérées réparties sur 18 mois. Enseignant en techniques de l informatique au CÉGEP de Rivière du Loup J ai travaillé au CÉGEP de Rivière du Loup comme enseignant en informatique au département des techniques de l informatique de cette même institution du 8 janvier 2001 au 31 juillet 2002. Le programme donné par ce CÉGEP était le diplôme d études collégiales (DEC) en informatique de gestion selon le mode alternance travail études. Ce programme avait une orientation pratique assez poussée parce que les étudiants devaient effectuer des stages en entreprise dès la deuxième année de leurs études collégiales. B. Comment ces expériences cumulées sont pertinentes au projet de recherche proposé pour fin de thèse. Le milieu collégial a été ma première expérience d enseignement dans le domaine civil. J ai enseigné dans cette institution le progiciel DELPHI (langage Pascal de Borland), le système d exploitation LINUX, le langage COBOL, le multimédia (langage Authorware) et le cours de projets de fin de session ou j ai dirigé plusieurs projets d étudiants qui devaient confirmer la validité de leurs études collégiales. Lors de mon projet de thèse, je vais devoir faire la conception d interfaces personne machine et de tests en ligne pour des cours de niveau collégial. Il est également à considérer que lorsque j aurai terminé mon doctorat, j ai à enseigner au niveau collégial. L enseignement du multimédia au niveau collégial m a fait acquérir de l expérience dans ce domaine, ce qui est essentiel pour mon projet de thèse. DATE : Le 24 février 2007 NOM : Martin Lesage
11 DOCTORAT EN ÉDUCATION DEMANDE DE RECONNAISSANCE D EXPÉRIENCES PERTINENTES ÉQUIVALENTES À DEUX (2) ANS D EXPÉRIENCE, PAR CUMUL DE TEMPS PARTIEL ET/OU DE CONTRATS A. Description sommaire de chaque expérience et durée en nombre d'heures selon chaque contrat (produire preuve à l'appui de chaque expérience). Mars 1997 à janvier 2001; pour un total de 2000 heures rémunérées réparties sur 3.8 années ou 46 mois. Conception de didacticiels pour les Forces Canadiennes J ai été concepteur de didacticiels d auto apprentissage à distance à l École de la Tactique des Forces canadiennes du 3 mars 1997 au 3 février 1998. J ai effectué les mêmes tâches à la Cellule d instruction à distance du Centre d Instruction au Combat de la base des Forces canadiennes de Gagetown au Nouveau Brunswick du 4 février 1998 au 8 janvier 2001. B. Comment ces expériences cumulées sont pertinentes au projet de recherche proposé pour fin de thèse. Cet emploi m a donc enseigné les rudiments de la production de matériel multimédia. Mon emploi consistait à faire de la conversion de cours sous format papier ou Powerpoint en productions multimédia réalisées à l aide du logiciel Macromedia Authorware. Cet emploi m a fait apprendre toutes les étapes du développement des projets multimédias, soit la rencontre avec un client (étude préliminaire), l analyse des besoins du client, la production de scénarimage («storyboard»), la programmation multimédia à l aide de logiciels tels que Authorware, Flash et Photoshop ainsi que la livraison du produit. Ces cours d auto apprentissage multimédia étaient produits sur des CD ROMs et non sur l Internet. Une partie principale de mon projet de doctorat sera une extension du travail que j effectuais pour la Cellule d instruction à distance. Cette extension sera la conception d interfaces personnemachine et de tests à l aide des environnements de développement FLASH et JAVA qui seront ensuite placés sur l Internet DATE : Le 24 février 2007 NOM : Martin Lesage