Evaluaion d un cour n lign : produi, uag impac Gorg, Françoi & Van D Poël, Jan-Françoi Laboraoir d Souin à l Enignmn Télémaiqu, Univrié d Lièg, Blgiqu Fr.gorg@ulg.ac.b Dpui 1999, l Laboraoir d Souin à l nignmn élémaiqu accompagn d nignan du upériur d formaur d adul dan la mi n lign d lur cour. C accompagnmn a éé réalié dan l cadr d proj ubvnionné par la Région wallonn, la Communaué françai la Commiion uropénn. Un cnain d cour a éé aini, n pari ou oalmn, mi à dianc. L évaluaion on poré l prmièr anné ur d crièr davanag chniqu rgonomiqu. Au fur à mur d nor xpérinc, nou nou omm rcnré ur d crièr purmn d ordr pédagogiqu ou ou au moin au rvic d l apprniag. Si au dépar l évaluaion porai xcluivmn ur un produi fini, ll nd au cour d anné à inaurr dè la concpion d l ouil a porr donc égalmn ur l procu (Dupon Poumay, 2004). 1. L fondmn La grill d évaluaion a éé éabli ur ba d la liéraur conacré à l évaluaion d mulimédia aini qu ur ba d un méhodologi d gion d proj adapé par nor rvic à la producion d un cénario pédagogiqu (Lclrcq, 2003). L im qui la coniun on égalmn éé confroné aux quion rpri dan la grill qualié conçu par l aociaion auralinn d dévloppmn d rchrch n nignmn upériur nommé HERDSA 1 (HERDSA, 1992). C l aricl d Michl Mloch qui a rvi d ba à nor nquê bibliographiqu (Mloch, 2000). Our la mi n xrgu d un éri d crièr d évaluaion, c aricl a l avanag d prénr l différn écol n maièr d évaluaion d un mulimédia pédagogiqu d mr aini n évidnc l mulipl dimnion d l évaluaion : quaniaiv, qualiaiv, cnré ur l produi, cnré ur l procu, é ur l public cibl, é ur d xpr Parmi c mulipl yp d approch, nou rindron cll d Rv qui a l avanag d rfur ou dualiaion d 1 Highr Educaion Rarch and Dvlopmn Sociy of Auralaia.
2 prndr n comp un nombr appréciabl d variabl pour évalur un mulimédia pédagogiqu (Rv, 1991 cié dan Mloch, 2000, p. 21). Concrèmn, nou rfuon d nou canonnr dan un yp d approch. S il vrai qu nor grill offr un évaluaion pondéré, nou imon qu cll-ci à prndr avc rérv comm un indicaur parmi d aur. L juificaion on un poid ou aui imporan. Par aillur, il impor d croir l réula obnu via c grill avc d aur ourc d informaion don la aifacion d concpur d uiliaur. La dérminaion d no crièr a égalmn éé ffcué ur ba d un modèl d conrucion d un cour n lign nommé BEC-OME-RER (Lclrcq, 2003). L xprion a éé forgé à parir d acronym uivan : B pour analy d Boin ; E pour analy d l Exian, C pour Concpion, O pour définiion d Objcif, M pour choix d Méhod, E pour choix d modalié d Évaluaion, R pour Réaliaion, E pour Expérimnaion R pour Régulaion. C champ on conribué à l élaboraion d la rucur d nor grill. Nou y rrouvon l anicipaion d boin d éudian, l objcif, l méhod l évaluaion. Nou y avon ajoué dux champ : l un conacré à la ripl concordanc l aur aux ouil. L 25 crièr d nor grill on éé croié avc l 47 quion coniuiv d la grill qualié HERDSA. C drnièr a pour objcif d inrrogr l nignan à propo d praiqu d approfondir a réflxion n maièr pédagogiqu pour réoudr l évnull lacun qu aurai mi n évidnc la grill. Sul roi d no 25 crièr n rouvn pa lur pndan dan la grill HESDRA. C on préciémn roi d 6 crièr coniuif du champ ouil qu nou n rrouvion pa dan l modèl BEC-OM-RER. A l inar du modèl BE-COM-RER d la grill HERDSA, nor ouil d évaluaion n prénd pa garanir l uccè d un cour n lign, mai incir concpur à villr à réfléchir à la prénc d élémn nil à on uiliaion. 2. La grill 2.1 L crièr L objcif d l ouil aini dérminé l fondmn rapplé, il convin d énoncr l crièr qui préidn à l évaluaion d no cour. Si dan un prmir mp nou nou omm conné d rpérr dan l cour n lign la prénc ou non d 25 élémn qu nou conidéron nil comm uppor à l apprniag, rè vi nou avon conaé qu il éai nécair d prndr n conidéraion d aur crièr an quoi l ouil riquai d êr uilié comm un impl chck-li. Nou avon donc, dan un cond mp, inrodui un crièr upplémnair : la prinnc. En plu d la prénc ou non d un l élémn dan l cour n lign, il convin d aurr qu, dan l conx du cour évalué, l mi n œuvr chniqu Ac du 22 èm congrè d l AIPU, UniMail Gnèv, 12-14 pmbr 2005
3 pédagogiqu juifin. Dan c n, l concpur on invié à xplicir lur choix chniqu pédagogiqu. C dux crièr n uffin pa. Souciux d corrpondr aux an d lur accompagnaur, d nombrux concpur dévloppn quanié d élémn an l innion formll d l uilir. Il convin donc d prêr égalmn anion à l uag ffcif qu l apprnan fon d rourc mi à lur dipoiion. Il n uffi pa d ngrangr l donné, ncor fau-il l inrprér afin d rmédir à d évnul manqumn. Pour chacun d no 25 im, nou nou poon yémaiqumn l 4 quion uivan : l élémn -il prén? Sa mi n œuvr -ll chniqumn pédagogiqumn juifié? L apprnan l uilin-il ffcivmn? Son uag a--il u un impac ur l apprniag (Dufrn, 2002)? Uilié à l origin par d xpr xrn pour évalur un produi fini, l ouil aujourd hui uilié par l profur n cour d concpion. D la or, la grill conribu à la profionnaliaion d c nignan qui, pour juifir lur choix, on invié non ulmn à évalur lur nignmn via l uag qu lur apprnan fon d rourc mi à lur dipoiion, mai aui à informr, à lir à aini nir au couran d dévloppmn d rchrch n nignmn upériur. Nou rrouvon c hémaiqu dan la grill HERDSA qui y conacr 17 quion. 2.2 L champ Nor grill d évaluaion comprnd 25 im répari dan 6 champ d évaluaion analyé à la lumièr d 4 crièr énoncé ci-du. Dan l paragraph qui uivn, nou commnon c 25 élémn à la lumièr d la grill HERDSA d la liéraur conacré à l analy d mulimédia pédagogiqu. 2.2.1 Anicipaion d difficulé auxqull l éudian pourrai êr confroné C prmir champ d évaluaion compor 5 obj : 1) Aid pédagogiqu ; 2) Aid chniqu ; 3) Référnc d la pronn d conac ; 4) Conil pour nrr dan l cour 5) Droi dvoir d ncadran. Tou c mécanim d uppor conribun à un bonn informaion d éudian. Il paricipn à c qu Rhéaum appll l uiliabilié (Rhéaum, 1999 cié dan Mloch, 2000, p. 11). D aucun nou rprochn d mr ur l mêm pid d élémn qui n nécin pa un mêm invimn du concpur. Cr, il plu facil d rnignr ur un pag l adr d la pronn d conac qu d réalir un guid pédagogiqu, mai il impor d murr la poré d la publicaion d un ll informaion. Rnignr coordonné ur on cour n lign c ncouragr l éudian à por d quion, c lair nndr qu l on prê à répondr à lur quion donc à lur fournir un aid pronnll. Afin d évir ou débordmn d noyr l nignan ou un flo d quion, il convin d éablir un char dan laqull l profur Ac du 22 èm congrè d l AIPU, UniMail Gnèv, 12-14 pmbr 2005
4 rappll non ulmn l droi dvoir d apprnan, mai égalmn l in. D la or, l profur n d éablir un clima d confianc propic au dévloppmn d éudian. Comm l rappll l conorium Hrda, l éud n pa ulmn un acivié inllcull, mai ll compor égalmn l dévloppmn pronnl éhiqu d l éudian (HERDSA, 1992, p.2). 2.2.2 L objcif Nou rrouvon roi im dan c champ : 1) Objcif généraux ; 2) Objcif pécifiqu 3) Inconournabl. Tan du poin d vu du concpur qu du poin d vu d apprnan, l objcif on nil. C à parir d ux qu l concpur dérmin méhod arrê l dign d on cour (Mloch, 2001, p. 7). C égalmn à parir d ux qu l éudian nam a formaion. La rédacion d objcif avèr complx pour d nombrux profur. Il vrai qu l dévloppmn d héori rlaiv aux compénc n lur facili pa la âch. Quoi qu il n oi, il impor qu l éudian ach qul on l objcif à pouruivr impéraivmn dan l cour qu il n aii l n. Un mauvai compréhnion d objcif à un impac négaif ur l apprniag (HERDSA, 1992, 1-2). 2.2.3 L méhod L champ méhod ubdivi n roi : 1) Acivié ; 2) Communicaion ; 3) Méacogniion. Nou nndon par acivié, un propoiion d démarch à accomplir pour aindr un objcif pécifiqu dan un conx donné. Nul boin d rapplr la grand variéé d méhodologi poibl (Maron, 1999 cié dan Mloch, 2000, p.16; Lclrcq Poumay, 2005). Si nou n nou poiionnon pa ur la nécié d divrifir l acivié, nou rjoignon l conorium HERDSA (1992, p.2) à propo d on plaidoyr n favur d un ngagmn acif d éudian dan lur formaion. L dux ou-champ «communicaion» «méacogniion» conribun à c ngagmn. Nou avon diingué dux yp d communicaion : formll informll. Nou aocion au concp d communicaion formll, ou échang cadré dan l conx d un acivié. Il n uffi pa d muliplir l liux d communicaion ncor fau-il n éablir lur condiion d uiliaion. L nvi d échangr lié à l inérê qu l proagoni y voin. La mi n plac d acivié d collaboraion un d façon d lur fair prndr concinc du bin fondé d l échang (HERDSA, 1992, p.2). Nou pouvon aini pérr qu l apprnan prnnn l habiud d communiqur avc lur pair lur profur. La créaion d un forum informl ouvr à ou /ou Ac du 22 èm congrè d l AIPU, UniMail Gnèv, 12-14 pmbr 2005
5 rérvé aux éudian un aur façon d y conribur. C élémn on pri n conidéraion dan la rubriqu «communicaion informll». La mi n plac d acivié qui incin l apprnan à inrrogr ur c qu il croi avoir (jugmn), à analyr réula procu d apprniag (analy) à y rpérr forc faibl pour y rmédir (régulaion) paricip à l ngagmn d l apprnan dan éud (Lclrcq Poumay, 2004). L uag d dgré d criud nraîn l éudian au jugmn. La conulaion d rac d on parcour conribu à l analy. L échang avc d ir la poibilié d répér l acivié prmn d régulr d n apprécir l ff. 2.2.4 L évaluaion C champ comprnd roi im : 1) Dimnion (Lclrcq, 1999) ; 2) Crièr ; 3) Pondéraion. Au cour d anné, nou obrvon qu d nombrux profur on ndanc à limir l évaluaion à un d dimnion : l un n innn à un d finalié, l aur n abordn qu on obj, d aur ncor mn l accn ur l ouil à uilir En airan l anion d concpur ur l mulipl dimnion d l évaluaion nou l incion à varir lur praiqu. Pour crain, c l occaion d (r)découvir l obj d l évaluaion, à avoir, informr l apprnan l nignan du dgré d maîri ain (d Landhr, 1979 cié dan Lclrcq, 1999). Il impor qu l éudian pui iur pour améliorr. La formulaion d crièr l choix d la pondéraion conribun à lur informaion. 2.2.5 La Tripl concordanc (Lclrcq) C cinquièm champ rpo ur l roi précédn. Sa vocaion d garanir l harmoniaion d objcif, d méhod d évaluaion. Sa formaliaion via un ablau ynopiqu prm d aurr d un coup d œil qu l méhod mi n plac on ffcivmn lié aux objcif évalué (Lclrcq, 2003). Ell favori d la or l ngagmn d éudian (HERDSA, 1992). 2.2.6 L ouil L drnir champ rambl d façon ynhéiqu l élémn qui aurfoi occupain un plac prépondéran dan nor l évaluaion d cour n lign. Nou y rrouvon l quion d la pluvalu du mulimédia pédagogiqu, d la facilié d navigaion (Mloch, 2001, p.14), d la qualié du graphim du dicour. Nou y avon égalmn mnionné l calndrir. Tou c élémn conribun à l uiliabilié du cour n lign. Il prmn d accomplir fficacmn un âch avc l minimum d ffor, avc la pn d apprniag la plu douc. (Rhéaum, 1999 cié dan Mloch, 2000, p. 11) Ac du 22 èm congrè d l AIPU, UniMail Gnèv, 12-14 pmbr 2005
6 2.3 La pondéraion La pondéraion r un pirr d achoppmn. Mloch y conacr l 4 prmièr pag d on aricl. Pour l un, rin n éducaion n quanifiabl, pour l aur il poibl d ou murr. Nou avon pri l pari d grffr un pondéraion aux commnair fourni aux concpur d cour n lign. Nor bu purmn indicaif. C pondéraion rnign l apprnan ur l ain ou non d l objcif vié. Ell nou prm égalmn d iur nr ux l différn cour évalué. Nou l avon évoqué plu hau, l idé d accordr un mêm poid à chaqu élémn d nor grill n fai pa l unanimié. Nou avon donc diingué l crièr n foncion d la charg d ravail qu impliqu lur implémnaion. Il probabl qu nou rvindron ur c diincion. S il vrai qu crain élémn xign pu d ravail à la concpion, forc d conar qu c mêm élémn puvn à l uag nraînr un urcroî conidérabl d ravail /ou conribur d façon ignificaiv à l apprniag. A ir d xmpl, la poibilié d accédr à rac d conulaion prévu par la majorié d plaform d nignmn n lign. L inérr dan un cour xig ou au plu roi clic. L uilir l inrprér dan l bu d informr l éudian ur procu d apprniag xig un forc d ravail incomparabl au g chniqu qui a prmi d l inérr dan on nvironnmn d ravail. Concluion La grill dévloppé au cour d c 5 drnièr anné n prénd pa garanir l uccè d un cour n lign. Ell propo, à la réflxion d nignan déirux d porr à dianc lur cour, 25 im qui, à c jour, nou mbln indipnabl pour informr l éudian à propo d nan abouian d la formaion dan laqull il ngagn, pour qu il y rouvn du n, pour qu il y agin, qu il y apprnnn y épanouin. L uag d c grill par l nignan l occaion pour ux d mr n xrgu lur forc, d rmédir aux évnul manqumn, d approfondir un apc d la pédagogi d échangr avc d aur acur d la formaion. Ac du 22 èm congrè d l AIPU, UniMail Gnèv, 12-14 pmbr 2005
7 Référnc Dupon, C. & Poumay, M. (2004). L uppor aux nignan dan l porag d cour n lign comm faciliaur d un déploimn d méhod aciv dan l nignmn upériur. Communicaion préné au 12èm congrè inrnaional d Aociaion n Pédagogi Comparaiv. Cuba : La Havan. Dufrn, A., Raynauld, J., Turco, S., Villio-Lrclrcq, E. (2002). Evaic: un ba d connaianc ur l'évaluaion d nvironnmn d'apprniag rpoan ur l TIC. Conulé l 22 aoû 2005 dan hp://hal.ccd.cnr.fr/doc/00/03/19/10/pdf/ac23.pdf HERDSA (1992). Challnging concpion of aching : Som promp for good pracic. Conulé l 21/04/2005 dan hp://www.hrda.org.au/cct.php Lclrcq, D. (2003). BEC-OME-RER : L fil roug d un proj d formaion. Conulé l 4 ocobr 2004 dan hp://www.wbc.ulg.ac.b/script/formaion_lab/crip/rv_hom Lclrcq, D. (1999). Eduméri docimologi. Lièg : l édiion d l Univrié. (Bl). Lclrcq, D. & Poumay, M. (2005) Th 8 Larning Evn Modl and i principl. Conulé l 22 aoû 2005 dan hp://www.lab.n/mdia/prod/8lem.pdf (11p). Lclrcq, D. & Poumay, M.. (2004). Un définiion opéraionnll d la Méacogniion mi n œuvr. Communicaion préné à 21 èm conférnc inrnaional d l AIPU. Marocco : Marrakch. Mloch, M. (2000). Evaluaion d mulimédia pédagogiqu. Conulé l 15 juin 2004 dan hp://cqfd.luq.uqubc.ca/d4_1_b.pdf Poumay, M., Gorg, F., Uybrouck, E., & Lclrcq, D. (2003). L évaluaion d dipoiif d apprniag à dianc d lur impac: éclairag convrgn. Communicaion préné à la conférnc d l ADMEE - L évaluaion : nr fficacié équié. Blgiqu : Univrié d Lièg. Ac du 22 èm congrè d l AIPU, UniMail Gnèv, 12-14 pmbr 2005
Annx 1 : Grill d évaluaion d un cour n lign (Fr.Gorg, J.F. Van D Poël, LabSET, Univrié d Lièg, 2005) 8 8 Anicipaion d Vou rouvrz dan c colonn qulqu quion yp pour amorcr la Commnair prén prinn uilié fficac difficulé auxqull réflxion. l'éudian pourrai êr confroné Aid pédagogiqu L'éudian dipo--il d'un guid auqul il pu référr afin d avoir préciémn c qui andu d lui? Qull on l rourc mi à a dipoiion? Pourquoi? Commn? Quand avc qui l uilir? En dux mo, ai-il c qu'il doi fair? Aid chniqu lié à l'uag d la plaform Au-dlà d l'aid conxull prévu par l plaform, l concpur a--il prévu un aid n lign imprimabl rprnan l'nil d démarch chniqu à accomplir pour uilir l rourc mi n lign? Pronn à conacr L coordonné du rponabl du cour ou du uur d'un éminair virul onll immédiamn accibl? Conil pour nrr dan l cour E-c qu la pag d'accuil du cour propo d nw ou aur conil pour miux nrr dan l cour? L concpur a--il communiqué, via un mail ou un aur média nécairmn conulabl par l éudian, l inrucion à uivr pour nrr dan l cour "an ouffranc"? Ac du 22 èm congrè d l AIPU, UniMail Gnèv, 12-14 pmbr 2005
9 9 Droi dvoir d ncadran L'éudian ai-il c qu'il n droi d'andr du iulair du cour, d uur, d accompagnaur? Connaî-il égalmn l modalié déonologiqu n viguur dan l cour n maièr d communicaion? 2 1 1 1 1 Objcif Commnair prén prinn uilié fficac Objcif général L'éudian ai-il c qu'il pu andr d c cour? Qul l'objcif général qu'il né aindr au rm d c curu? L inconournabl L concpur a--il dérminé parmi l acivié cll qu'il fau nécairmn réalir pour aindr l'objcif général du cour? L objcif L objcif pécifiqu du cour on-il uffiammn opéraionnl? Prmn- pécifiqu il à l éudian d avoir qull on l capacié à mr n œuvr, ur qul connu, dan qul conx? Méhod Commnair prén prinn uilié fficac Acivié() L acivié propoé on-ll varié? C variéé r-ll l objcif d la formaion? L'abnc d variéé juifi--ll n foncion d objcif qu ' aigné l concpur? Ac du 22 èm congrè d l AIPU, UniMail Gnèv, 12-14 pmbr 2005
10 10 Echang Commnair prén prinn uilié fficac Inracion informll L concpur a--il prévu un forum rérvé aux éudian? L apprnan on-il l informaion uil pour conacr lur pair (rombinocop)? L pac d communicaion ynchron on-il mi à dipoiion d éudian n dhor d acivié? Inracion formll L concpur a--il prévu un ouil d communicaion dédié aux échang public prof/éudian nr l uur l apprnan? Our l quion d'organiaion, c inracion porn-ll ur l produi ou ur l procu d'apprniag? Fon-ll pari inégran d'un acivié? Srvn-ll l objcif pouruivi dan c acivié? Inracion formll éudian/éudian L concpur a--il prévu un ouil d communicaion dédié aux inracion nr apprnan? C drnièr on-ll clairmn inéré dan l cénario pédagogiqu? Srvn-ll réllmn l'apprniag? Méacogniion Commnair prén prinn uilié fficac Jugmn L'éudian -il invié à 'inrrogr ur l'éa d connaianc avan d lancr dan un acivié? L'éudian a--il la poibilié d choiir un yp d'acivié n foncion d la prcpion d propr compénc? L'éudian -il amné à évalur la criud avc laqull il a répondu à un quion? Ac du 22 èm congrè d l AIPU, UniMail Gnèv, 12-14 pmbr 2005
11 11 Analy L concpur a--il mi à dipoiion d l'éudian ou un éri d'ouil (carn d no, carn d bord, carn virul) ucpibl d l'informr à propo d procu d'apprniag? Régulaion L concpur a--il prévu, dan cénario, la poibilié pour l'éudian d irr profi d l'analy d producion procu d'apprniag afin d 'améliorr via, par xmpl, la réviibilié d ravaux? Evaluaion Commnair prén prinn uilié fficac Dimnion L'éudian ai-il ur quoi por l'évaluaion? Quand a--ll liu? Commn -ll mi ouvr? Qull a foncion? Qui évalu? Ec. Crièr L crièr d'évaluaion on-il clairmn préné? Pondéraion E-c qu la pondéraion d chaqu élémn évalué préné? Ac du 22 èm congrè d l AIPU, UniMail Gnèv, 12-14 pmbr 2005
12 12 Tripl concordanc Commnair prén prinn uilié fficac Harmoniaion L objcif pécifiqu dévloppé dan l acivié prmn-il d'aindr la compénc qui y vié? L'évaluaion prm-ll d rndr comp d la maîri d c compénc? Ouil Commnair prén prinn uilié fficac mulimdia pédagogiqu L'nvironnmn Wb un rourc parmi d'aur. L concpur ir--il profi d pécificié parmi lqull (an ordr d priorié) l'indxaion auomaiqu d rm uilié dan l cour, avc FB auomaiqu, hyprlin, imulaion, illuraion animé n coulur, parag d documn, on, vidéo? wbographi, bibliographi E-c qu l cour propo un bibliographi un wbographi? E-c qu c dux élémn on rédigé lon l norm n viguur (APA)? Ac du 22 èm congrè d l AIPU, UniMail Gnèv, 12-14 pmbr 2005
13 13 Navigaion pécifiqu L concpur uili--il l rourc propoé par la plaform pour mr n plac un navigaion clair inuiiv? Char graphiqu L 4 règl d mi n pag (l'alignmn, l rapprochmn la répéiion l conra) on-ll rpcé? Qualié du dicour E-c qu l connu langagir du cour on rédigé dan un nivau d langag adapé au public? E-c qu'il on rédigé dan l rpc d règl grammaical orhographiqu? L calndrir E-c qu l cour propo un calndrir lié à la formaion propoé?(chronologi d acivié, dadlin d rmi d ravaux, d paaion d ). Ac du 22 èm congrè d l AIPU, UniMail Gnèv, 12-14 pmbr 2005