Une comparaison de l espace des valeurs de renforcement dans un programme concurrent à intervalle aléatoire

Transcription

1 Rppor de recherche 7 jnvier 205 Une comprison de l espce des vleurs de renforcemen dns un progrmme concurren à inervlle léoire Pier-Olivier Cron Lboroire des sciences ppliquées du comporemen Dépremen de psychologie, Universié du Québec à Monrél Résumé. L objecif de l présene éude es de comprer deux espces (Q e Q 2 ) dns lesquels son représenées les vleurs de renforcemen éblies pr un lgorihme d pprenissge (SARSA; Suon & Bro, 998) pr renforcemen dns une siuion de progrmme concurren à inervlle léoire. Comme l éude précédene (Cron, 204), l loi générlisée de l ppriemen décri rès bien l llocion des choix de l lgorihme (r 2 = 0,97 en moyenne). Les résuls monren qu une concepulision Q fvorise l émergence de relions d ppriemen yn des quliés comprbles à celles des orgnismes biologiques. Ils suggèren ussi que l orgnisme peu sous-ppirer même si celui-ci une bonne pproximion du ux relif de renforcemen. Mos clefs : loi de l ppriemen, pprenissge pr renforcemen, lgorihme, llocion du emps Objecif L objecif de l présene éude es de comprer deux espces dns lesquels son représenées les vleurs de renforcemen éblies pr un lgorihme d pprenissge pr renforcemen dns une siuion de progrmme concurren à inervlle léoire. Il s gi de conser si l lgorihme imie l relion d ppriemen des orgnismes biologiques. Le premier espce, Q, es un veceur un pr deux correspondn à l probbilié d ppriion de chcun des deux choix. Cee concepulision es relivemen semblble à l concepion de l méliorion locle (ngl. meliorion; Herrnsein, 997) selon lquelle le comporemen de l orgnisme «esime» l vleur locle d une opion e juse cee vleur en foncion de son pprenissge. Elle es similire à celle développéd pr Vughn (982) quoique, conriremen à l méliorion locle, le premier espce es probbilise. Le deuxième espce, Q 2, es une mrice deux pr deux correspondn à l vleur de reser ou chnger de choix (ngl. sy/swich) en foncion de l espce cuel. Cee concepulision ressemble à celle développée pr Heymn (979) selon lquelle le comporemen de chnger de réponse correspond à un processus mrkovien. Dns l espce uilisé, l vleur de chnger de réponse s culise à chque momen. Elle es ussi compible vec l méliorion locle. L différence mjeure enre Q e Q 2 es que, dns le premier cs, l orgnisme n es ps expliciemen dns un é ou dns l ure. Il ressemble de fçon compuionnelle à une procédure à essi disinc où l orgnisme choisi enre guche e droi à chque momen (p.ex. : Lu & Glimcher, 2005). L ure ressemble dvnge à une procédure où l orgnisme se déplce enre deux espces e «décide» de reser ou de chnger (p.ex. : Bum & Rchlin, 969). Sous l supervision de Jeremie Jozefowiez, Universié de Lille 3. Correspondnce : Pier-Olivier Cron (courriel : pocron9@gmil.com)

2 Rppor de recherche POC-UQAM-5-0 L siuion opérne Méhode L siuion opérne consise en une boîe de condiionnemen opérn séprée en deux espces (le côé droi e le guche). Chcun de ces és es ssocié à un progrmme de renforcemen à inervlle léoire (RI). Ces deux progrmmes son indépendns l un de l ure. Un progrmme RI consise à ribuer une cerine probbilié p de disribuer un renforçeur à chque momen. Lorsque le renforçeur es disribué, il rese disponible e es disribué si e seulemen l orgnisme se rerouve dns ce espce. Il n y ps de déli inerréponse (COD; chnge-over dely), cr des simulions prélbles monren qu il enrîne un choix exclusif pour l une des lernives. L lgorihme d pprenissge L lgorihme uilisé es similire à SARSA (Suon & Bro, 998) qui es un progrmme bsé sur de l pprenissge de différence emporelle (emporl-difference lerning)oi : Q( ( r ) Q( Q( ) ) Q( )) () où Q correspond à une pire d cion-é, indique l cion u emps (reser ou chnger) indique l é u emps (é guche ou droi), r + indique l bsence ou l présence de renforcemen u momen +, α es un prmère du ux d pprenissge e γ es un prmère de dévluion (discoun) des ren-forçeurs où 0 < α, γ <. Dns le cs de l présene éude, l espce Q e l espce Q 2 corresponden ux deux espces décris uprvnoi à un veceur pr 2 (l vleur de guche e de droie) e une mrice 2 pr 2 (l vleur de chnger ou de reser à guche e à droie). Remrquez que l équion () n ps d é pour l espce Q. Le choix de l cion + es fi pr sélecion d cions sofmx soi : Q( ) i j Pr( i j ) e n (2) Q( k j ) e k symbolisn l probbilié de l cion i à l é s j es égle u quoien de l exposn de l vleur Q ssociée à i sur l somme de l exposn de oues les vleurs (de à n) de dns de ce é (Remrquez qu il n y ps d é dns l espce Q ). Les prmères mnipulés Sep rios son uilisés comme condiions expérimenles. Ils son présenés dns le bleu. Les deux ures prmères, α e γon les prmères d pprenissge de SARSA e son vriés selon un devis fcoriel (chque pire de vleurs es esée). L séquence es présenée u bleu 2. Ces vleurs suiven les recommnd- Tbleu. Sommire des condiions expérimenles Progrmme de renforcemen RI de guche Progrmme de renforcemen RI de droi Tux relif de renforcemen de guche 0,5 0,5 0,50 b 0,25 0,50 0,33 c 0,50 0,25 0,66 d 0,5 0,40 0,27 e 0,40 0,5 0,73 f 0,50 0,0 0,84 g 0,0 0,50 0,6 2

3 Pier-Olivier Cron Tbleu 2. Vleurs des prmères α e γ Prmère Vleurs α 0,0 0,06 0, 0,6 0,2 γ 0,80 0,85 0,90 0,95 ions des simulions de Cron (204). Les prmères fixes Cerins prmères son définis rbiriremen. Leur influence devri êre négligeble. Six orgnismes son générés u ol e suiven l même séquence de rios, de vleur α e de vleur γ. L durée de ous les rios es de uniés de emps (en considérn qu une unié égle une seconde, chque rio dure 2,7 heures pproximivemen). Cel s vère suffisn fin que l lgorihme eigne un espce Q sble. Les dernières uniés de emps son conservées. Pseudo-code L simulion es inspirée de l éude précédene (Cron, 204). Elle se déroule comme sui. Pour chque prmère α e γix orgnismes, un à l foison plcés dns oues les condiions expérimenles. À chque unié de emps, l orgnisme peuelon le Q évlué, choisi pr l équion (2) le prochin é. L simulion vérifie si un renforçeur es éligible. Dns l équion de SARSA, r + égle si un renforçeur es obenu e 0 uremen. À chque épe, l lgorihme SARSA es uilisé pour mere à jour Q. Après uniés de emps, l condiion chnge pour l suivne. Une fois les sep condiions rélisées, l relion d ppriemen es évluée pr l loi générlisée de l ppriemen : B log B 2 R log R 2 log b (3) où représene l sensibilié e b, le biis (Bum, 974). Une mesure de l corrélion es enregisrée. L simulion dure environ 2 heures sur un ordineur porble. Résuls Les vrinces expliquées son supérieures à 0,97 peu impore Q, α ou γ. Comme l éude précédene (Cron, 204), l loi générlisée de l ppriemen décri rès bien l llocion des choix de l lgorihme dns une siuion équivlene sur le pln compuionnelle u progrmme de renforcemen concurren RI. Ces résuls son supérieurs à ceux rouvés dns l liérure empirique dns lquelle l relion d ppriemen des orgnismes biologiques, en condiions expérimenles, ein des vrinces expliquées de près de 0,90 (Dvison & McCrhy, 988). Le bleu 3 monre les moyennes des penes (sensibilié) pour les deux espces pr rppor à α e γ. L différence enre Q e Q 2 es pprécible lorsque les sensibiliés son comprées. Une vleur moyenne relivemen bsse (0,49) de l sensibilié es observée dns l condiion Q 2 lors qu elle es plus près des données empiriques (0,67) pour Q. Ainsi, l espce Q semble plus déqu pour imier de fçon compuionnelle les orgnismes biologiques. Remrquez que les résuls de Q2 son Tbleu 3. L moyenne de sensibilié selon α, γ e Q α Espce γ 0,0 0,06 0, 0,6 0,2 Q 0,80 0,56 0,67 0,68 0,68 0,68 0,85 0,59 0,67 0,67 0,67 0,67 0,90 0,64 0,67 0,67 0,68 0,68 0,95 0,70 0,69 0,69 0,69 0,69 Q 2 0,80 0,47 0,4 0,48 0,5 0,52 0,85 0,49 0,43 0,49 0,5 0,52 0,90 0,50 0,46 0,50 0,52 0,52 0,95 0,39 0,48 0,5 0,52 0,53 3

4 Rppor de recherche POC-UQAM-5-0 différens de ceux de Cron (204) qui uilisé un espce de vleur de renforcemen similire. Les vrinces expliquées e les penes son beucoup plus élevées dns l première éude que dns celle-ci. L différence enre ces éudes peu êre dû à plusieurs fceurs comme l bsence de COD ou l disribuion des renforçeurs (VI pluô que RI). D ures nlyses son nécessires. En ce qui ri u biis, le bleu 4 monre que les gens rificiels obiennen des vleurs nulles pour relivemen oues les condiions. Les moyennes son plus élevés lorsque γ = 0,80 e diminue pr l suie. Dns ous les cs, le biis se siue en deçà de l première décimle, -0,0 < log(c) < 0,0. L condiion γ = 0,80 es à privilégier, cr les orgnismes biologiques on générlemen un fible biis pour l une des opions. Considérn que les condiions les plus près des orgnismes biologique son α = 0,0, γ = 0,95 dns l espce Q, une seconde simulion vec cen orgnismes es rélisée fin d nlyser de fçon plus moléculire les comporemens de l gen rificiel. Les déils de l simulion son les mêmes. Le bleu 5 monre les vleurs de Q lors du e momen. À guche, le bleu monre les vleurs endues (si l orgnisme respece l loi srice de l ppriemen) pr l vleur sofmx. À droie, les vleurs empiriques insi que leur minimum e mximum observés son présenés. L nouvelle simulion monre une sensibilié moyenne de 0,86, un biis moyen de log(-0,04) e une vrince expliquée de,00. L échnillon de cen gens rificiels perme insi de conser des vleurs de sensibilié plus près des orgnismes biologiques. Les résuls de Q présenés u bleu 5 son plus près du ux relif de renforcemen (en ermes de proporion, voir bleu ) que de l lgorihme sofmx. Cel se rdui pr des corrélions de 0,99 e 0,96 respecivemen. Sur le pln des renforçeurs disribués, en moyenne, les ux empiriques corresponden ux ux héoriques (r = 0,99) pluô que les ux sofmx (r = 0,94). Les vleurs du bleu 5 confirme le sousppriemen : les gens on endnces en moyenne à ccorder des vleurs Q plus impornes ux opions moins renforçnes. Cee conclusion n es ps souenue pr l comprison sofmx(q ) e sofmx(ri). Discussion L objecif de l présene éude es de comprer deux espces dns lesquels son représenées les vleurs de renforcemen. Les résuls monren qu une concepulision Q fvorise l émergence de relions d ppriemen yn des quliés comprbles à celles des orgnismes biologiques. Tel que suggéré pr les simulions prélbles, l meilleure combinison de prmères semble α = 0,0, γ = 0,95. En comprison, à l espce Q, Q 2 n ps généré de comporemens similires ux éudes empiriques. Ce résul es relivemen surprenn considérn que Q 2 bien performé dns une première simulion (Cron, 204). Il es pr conséquen nécessire d nlyser si Q ser ussi performne dns ces condiions. Tbleu 4. L moyenne de biis selon α, γ e Q α Espce γ 0,0 0,06 0, 0,6 0,2 Q 0,80 0,05-0,02 0,00 0,00 0,00 0,85 0,0-0,03 0,00 0,00 0,00 0,90-0,02-0,0 0,00 0,00-0,0 0,95-0,03-0,0 0,00 0,00-0,0 Q 2 0,80-0,07-0,02-0,0 0,00 0,00 0,85-0,02-0,03-0,0 0,00 0,00 0,90-0,02-0,02 0,00 0,00 0,00 0,95-0,02-0,02 0,00 0,00 0,00 4

5 Pier-Olivier Cron Tbleu 5. Les vleurs de Q selon l condiion expérimenle Sofmx(RI) Sofmx(Q ) b Guche Droie Guche Droie 0,50 0,50 0,50 [0,45 0,55] 0,50 [0,45 0,55] b 0,44 0,56 0,3 [0,25 0,37] 0,69 [0,63 0,75] c 0,56 0,44 0,65 [0,60 0,72] 0,35 [0,28 0,40] d 0,44 0,56 0,33 [0,27 0,38] 0,67 [0,62 0,73] e 0,56 0,44 0,68 [0,63 0,74] 0,32 [0,26 0,37] f 0,60 0,40 0,79 [0,75 0,84] 0,2 [0,6 0,25] g 0,40 0,60 0,20 [0,6 0,25] 0,80 [0,75 0,84] Le minimum e le mximum de chque vleur des 00 gens son présenés enre croche b α = 0,0 e γ = 0,95 L seconde simulion de cee éude monre qu vec une échnillon de cen sujes pluô que six, les gens rificiels monren en moyenne une sensibilié de 0,86, un biis moyen de log(- 0,04), ce qui rpproche l simulion des résuls empiriques. Les nlyses supplémenires monren ussi queelon l espce Q, l sélecion d cions pr sofmx pourri ne ps êre déque. Une hypohèse à envisger es de modifier l sélecion d cions rélisée pr sofmx, l équion (2), pour l proporion de renforçeurs obenue elle que sipulée pr l équion suivne : Ri Pr( i, ) n (4) R où n représene le nombre d opion e, le momen cuel. L équion (4) es plus près des prédicions de l équion. Un mécnisme de mémoire ou d jusemen emporelle pourri êre nécessire pour le foncionnemen de l équion (4) fin d ssurer l non convergence vers un choix exclusif. D ures mécnismes de sélecion d cions peuven êre envisgés els que le ggnn-prend-ou (ngl. winner-kell). Une fuure venue d éude consise à évluer l espce Q dns d ures siuions opérnes fin d nlyser si l lgorihme se compore comme les orgnismes biologiques (voir Sddon, 204). Un progrmme de renforcemen concurren à rio léoire es à envisger. i Aussi, des nlyses plus moléculires son nécessires pr rppor à l préférence pos renforcemen e l influence d un COD. Références Bum, W. M., & Rchlin, H. C. (969). Choice s ime llocion. Journl of he Experimenl Anlysis of Behvior, 2, doi: 0.90/jeb Bum, W. M. (974). On wo ypes of deviion from he mching lw: bis nd undermching. Journl of he Experimenl Anlysis of Behvior, 22, doi: 0.90/jeb Cron, P.-O. (204). L llocion du emps d un lgorihme d pprenissge pr renforcemen dns une siuion de progrmme de renforcemen concurren à inervlle vrible. Rppor POC-UQAM-4-0. Herrnsein, R. J. (997). The mching lw. Ppers in psychology nd economics. Cmbridge : Hrvrd Universiy Press. Heymn, G. M. (979). A Mrkov model descripion of chngeover probbiliies on concurren schedules. Journl of he Experimenl Anlysis of Behvior, 3, 4-5. doi: 0.90/jeb Lu, B., & Glimcher, P. W. (2005). Dynmic response-by-response models of mching behvior in rhesus monkeys. Journl of he Experimenl Anlysis of Behvior, 84, doi: 0.90/jeb

6 Rppor de recherche POC-UQAM-5-0 Sddon, J. E. R. (204). On choice nd he lw of effec. Inernionl Journl of Comprive Psychology, 27(4), Suon, R. S., & Bro, A. G. (998). Reinforcemen lerning : n inroducion. Cmbridge, MA: MIT Press. Vughn, W. (982). Choice nd he Rescorl- Wgner model. In M. L. Commons, R. J. Herrnsein & H. Rchlin (Eds.), Quni-ive nlyses of behvior : Mching nd mximizing ccoun (Vol. II, pp ). Cmbridge: Bllinger. 6