Rapport de recherche 14 novembre 2014

Transcription

1 Rppor de recherche 14 novembre 2014 L llocion du emps d un lgorihme d pprenissge pr renforcemen dns une siuion de progrmme de renforcemen concurren à inervlle vrible Pier-Olivier Cron 1 Lboroire des sciences ppliquées du comporemen Dépremen de psychologie, Universié du Québec à Monrél Résumé. L objecif de l présene éude es d évluer l lgorihme d pprenissge pr renforcemen SARSA (Suon & Bro, 1998) dns une siuion de progrmme de renforcemen concurren à inervlle vrible équivlene sur le pln compuionnelle à l procédure clssique de Bum e Rchlin (1969). Les résuls monren que l loi générlisée de l ppriemen explique en moyenne 86 % de l vrince. Aussi, l combinison γ =,9 e α =,1 semble déque pour imier des comporemens d orgnismes biologiques. En revnche, conriremen à l éude de Bum e Rchlin, ucun orgnisme rificiel n sur-pprié, ce qui peu remere en doue l vlidié compuionnelle de l simulion Mos clefs : loi de l ppriemen, pprenissge pr renforcemen, lgorihme, llocion du emps Objecif 1 L objecif de l présene éude es d évluer un lgorihme d pprenissge pr renforcemen dns une siuion de progrmme de renforcemen concurren à inervlle vrible. Il s gi de conser si l lgorihme imie l relion d ppriemen des orgnismes biologiques. À cee fin, une simulion de l éude de Bum e Rchlin (1969) es rélisée. Elle l vnge d êre plus simple que les ures siuions de progrmme concurren, cr ce n es ps de répondre vec un mnipulndum qui es renforcé, mis pluô l emplcemen de l orgnisme dns l espce. L siuion opérne Méhode L siuion opérne es, de fçon compuionnelle, l même que celle rélisée pr Bum e Rchlin (1969). Une boîe de condiionnemen es séprée en deux espces (le côé droi e le guche). Les deux côés son séprés pr une ligne rnsversle. Chcun de ces és es ssocié à un progrmme de renforcemen à inervlle vrible (VI). Ces deux progrmmes son indépendns l un de l ure. Cel signifie que peu impore où l orgnisme se rouve, les deux compeurs des VI coninuen. Comme dns l éude originle, l progression des vleurs de déli des VIs es générée pr l lgorihme de Fleshler e Hoffmn (1962). Lorsque le déli de l VI es ein, le renforçeur devien disponible si e seulemen l orgnisme se rerouve dns ce espce (é) e que le déli inerréponse (COD; chnge-over dely) e ein. Ce dernier élémen es une pénlié imposée lorsque l orgnisme chnge d é (elle es uilisée fin d évier que l orgnisme n lerne sns cesse enre les mnipulnd, e ce, n dns cee éude que celle employn des orgnismes biologiques). 1 Sous l supervision de Jeremie Jozefowiez, Universié de Lille 3. Correspondnce : Pier-Olivier Cron (courriel : pocron19@gmil.com) 1

2 Rppor de recherche POC-UQAM Tbleu 1. Sommire des condiions expérimenles 1 Progrmme de renforcemen VI de guche Progrmme de renforcemen VI de droi Tux relif de renforcemen ,20 b ,33 c ,50 d ,67 e ,80 f ,06 g ,89 h ,11 i ,94 j ,11 k ,89 1 Tiré de Bum e Rchlin (1969, p. 865) e dpé pour l simulion. L lgorihme d pprenissge L lgorihme uilisé es le SARSASuon & Bro, 1998) qui es un progrmme bsé sur de l pprenissge de différence emporelle (emporl-difference lerning)oi; Q( ( r ) Q( Q( ) ) Q( )) (1) où Q correspond à une pire d cion-é, indique l cion u emps (reser ou chnger) indique l é u emps (é guche ou droi), r+1indique l bsence ou l présence de renforcemen u momen +1, α es un prmère de viesse d pprenissge e γ es un prmère de dévluion (discoun) des renforçeurs. Dns le cs de l présene éude, l espce Q correspond à une ble deux pr deuxoi deux cions pr deux és (n=2). Le choix de l cion +1 es fi pr sélecion d cion sofmx soi; Q ( ) i j Pr( i j ) e n (2) Q ( k j ) e k 1 symbolisn que l probbilié de i à l é s j es égle u quoien de l exposn de l vleur Q ssocié à i sur le somme de l exposn de oues les vleurs (de 1 à n) de dns de ce é. Les prmères mnipulés Les rios de renforçeurs employés son les mêmes que l éude de Bum e Rchlin (1969). Onze rios son uilisés e son présenés dns le bleu 1. Les deux ures prmères, α e γon les prmères d pprenissge de SARSA e son vriés selon un devis fcoriel (chque pire de vleurs es esée). L séquence es présenée u bleu 2. Les prmères fixes Cerins prmères son définis rbiriremen. Leur influence devri êre négligeble. Ving-cinq orgnismes son générés u ol e pssen pr l même séquence de rios, de vleur α e de vleur γ. L durée de ous les rios es de uniés de emps (en considérn qu une unié égle une seconde, chque rio dure 27 heures pproximivemen). Cel s vère suffisn fin que l lgorihme eigne un espce Q sble (l é sble de l opérn es nécessire vec des orgnismes biologiques). Seules les dernières uniés Tbleu 2. Vleurs des prmères α e γ Vleurs 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 2

3 Pier-Olivier Cron de emps son conservées pour évluer l ppriemen (comme dns les éudes clssiques, Dvison & McCrhy, 1988). Enfin, un COD de 3 uniés es imposé lorsque l org-nisme chnge d é (cee vleur es pproximivemen équivlene à celle uilisée pr Bum e Rchlin, 1969). Pseudo-code L simulion se déroule comme sui. Pour chque prmère α e γ, 25 orgnismes, un à l foison plcés dns oues les condiions expérimenles (les rios du bleu 1). À chque unié de emps, l orgnisme peu chnger ou reser dns son é cuel (droi ou guche) selon l foncion de sélecion d cion sofmx. Si l orgnisme chnge d é, le COD se déclenche pendn 3 uniés de emps. Aucun renforçeur n es disponible pendn cee période. Si l orgnisme chnge d é lorsque le COD es en foncion, ce dernier se réiniilise. Si le COD n es ps en foncion, le progrmme vérifie si un renforçeur es éligible dns l é cuel de l orgnisme. Dns l équion de SARSA, r +1 égle 1 si un renforçeur es obenu e 0 uremen. À chque épe, l lgorihme SARSA es uilisé pour mere à jour Q. Après uniés de emps, l condiion chnge pour l suivne. Une fois les onze condiions rélisées, l relion d ppriemen es évluée pr l loi générlisée de l ppriemen; B1 R1 log log log b (3) B2 R2 où représene l sensibilié e b, le biis. Une mesure de l corrélion es enregisrée. L simulion dure environ 60 heures sur un ordineur porble. Résuls L figure 1 monre l influence des prmères α e γ sur l corrélion (r; cdrn supérieur), l sensibilié (le prmère ; cdrn cenrl) e le biis (le prmère b; le cdrn inférieur). Il s gi des moyennes des relions d ppriemen des 25 orgnismes. En moyenne, oues les corrélions son supérieures à 0,88 e son en moyenne de 0,93oi 86 % de vrince expliquée. L loi générlisée de l ppriemen décri insi rès bien l llocion d unié de emps de l lgorihme d pprenissge dns une siuion équivlene sur le pln compuionnelle u progrmme de renforcemen concurren à inervlle vrible. Ces résuls concorden vec l liérure empirique dns lquelle l relion d ppriemen des orgnismes biologiques, en condiions expérimenles, ein des vrinces expliquées ussi élevées (Dvison & McCrhy, 1988). Aussi, il y un désordre relif qun à l disribuion des corrélions dns le hu de l figure 1. Deux endnces pprissen dvnge : plus α diminue, plus r ugmene e r ugmene lorsque γ ugmene. Il y le même consn pour l sensibilié (cdrn cenrl de l figure 1). En revnche, les vleurs moyennes de sensibilié son plus orgnisées dns l espce que ne le son les corrélions : l surfce es lisse. Si les corrélions obenues pr l lgorihme son similires ux orgnismes biologiques, peu de combi- Pseudo-code Pour chque vleur α Pour chque vleur γ Pour chcun des orgnismes Pour chcune des condiions (rios) Générer une progression de vleurs pour les VI Pour chque unié de emps Choisir une cion +1 Si s +1 s, lors déclenché le COD Auremen Vérifier si un renforçeur es éligible Appliquer l lgorihme SARSA Évluer l relion d ppriemen 3

4 Rppor de recherche POC-UQAM Figure 1. L influence des prmères α e γ sur l corrélion (r; cdrn supérieur), l sensibilié (cdrn cenrl) e le biis (le cdrn inférieur). 4

5 Pier-Olivier Cron nisons α e γ génèren des sensibiliés comprbles. En fi, dns l plupr des condiions, l sensibilié 0,5 e l mjorié ne surpsse ps 0,2. L excepion es l combi-nison γ = 0,9 e α = 0,1, qui génère une sensibilié moyenne de 0,75. Ces résuls suggèren que, pour reproduire le comporemen d orgnisme biologique, cee combinison ou encore, d ures condiions où γ >= 0,9 e α <= 0,1 soien privilégiées. En ce qui ri u biis, le cdrn inférieur de l figure 1 monre que leurs vleurs son, en moyenne, oues négives. Remrquez que les vleurs b illusrées son plus de l ordre de log(b) (voir l équion de l ppriemen). Cel signifie que l lgorihme pssi sysém-iquemen plus d uniés de emps dns l é 2 (droi). Il fu cependn remrquer que ce biis es pluô fible dns l plupr des condiionsuf γ = α =,1. L origine de cee excepion n es ps clire, mis il s gi vrisemblblemen d une inercion enre γ e α. Une hypohèse es qu én donnée les fibles ux d pprenissge e de dévluion, l influence du renforçeur immédiemen obenu n que peu d influence sur l mise à jour de Q. Cel di, il fu remrquer que l combinison γ = 0,9 e α = 0,1 génère un biis nul qui confirme que cee combinison semble déque pour imier des comporemens d orgnismes biologiques. En somme, les 25 orgnismes on des relions d ppriemen vrisemblblemen similires. Discussion L objecif de l présene éude es d évluer un lgorihme d pprenissge pr renforcemen dns une siuion de progrmme de renforcemen concurren à inervlle vrible. Il s gi de conser si l lgorihme imie l relion d ppriemen des orgnismes biologiques. Il impore de comprer les résuls de l présene simulion vec ceux de l éude originle de Bum e Rchlin (1969). D bord, les biis son ous négifs. Ces résuls concorden vec les biis de l lgorihme qui son négifs pour l ensemble des orgnismes rificiels e son rès similires en considérn les cs où α <= 0,2. Sur le pln de l sensibilié, les résuls divergen. Trois des six pigeons on un prmère de plus de l unié ( > 1), ussi nommé le sur-ppriemen, un seul présene un ppriemen idél ( 1) e deux sous-pprien ( < 1). Ainsieuls ces deux derniers sujes son similires ux lgorihmes (lorsque γ = 0,9 e α = 0,1). Aucun orgnisme rificiel n sur-pprié, ce qui peu remere en doue l vlidié compuionnelle de l simulion. Enfin, il fu indiquer que Bum e Rchlin (1969) ne rpporen ps les vrinces expliquées, mis une inspecion visuelle monre que les corrélions enre le ux de comporemen e le ux de renforçeurs son bien expliqués pr l ppriemen. Ce résul concorde vec les rès hues corrélions de l lgorihme. Cee divergence qun u sensibilié enre les org-nismes rificiels e biologiques rese à éclircir. Les prochins rppors pourron évluer l influence de l progression de Fleshler e Hoffmn ou d ures progressions (disribuion de Poisson ou de Guss pr exemple), c es-àdire, l fçon don les vleurs de VIs son déerminées. Le progrmme de renforcemen à VI es générlemen définie pr s disribuion moyenne de renforçeur pr seconde, lors que l disribuion des vleurs elles que l écr ype, l éendu, l symérie e les modes ne son que rremen définis (les ricles ne réfèren qu à Fleshler e Hoffmn, 1962). D ures lgorihmes d pprenissge (el que le Q-lerning) pourron êre envisgés e comprer. Il fu envisger si l représenion des dydes és-cions de l présene simulion es déque. Ici, l orgnisme peu seulemen êre à droie ou à guche dns l espce e il ne peu que reser ou chnger d é. Conséquemmen, l probbilié de reser dns un cerin é, une fois renforcé, ugmene, e ce, peu impore si le renforçeur de l opion concurrene es disponible (ce résul concorde ouefois vec l noion de pulsion préférenielle [Preference pulse]; McLen, Grce & Pis, 2014). Dns les simulions, il n y ps d jusemen emporel réguln les comporemens de l orgnisme. Cel peu voir influé sur le prmère de l sensibilié. L quesion es de svoir si un mécnisme d jusemen emporel es nécessire fin de rendre les résuls d orgnismes rificiels plus similires ux orgnismes biologiques. 5

6 Rppor de recherche POC-UQAM Références Bum, W. M., & Rchlin, H. C. (1969). Choice s ime llocion. Journl of he Experimenl Anlysis of Behvior, 12, doi: /jeb Dvison, M., & McCrhy, D. (1988). The mching lw: reserch review. Hilldles (NJ): Erlbum. Fleshler, M., & Hoffmn, H. S. (1962). A progression for genering vrible-inervl schedules. Journl of he Experimenl Anlysis of Behvior, 5, doi: /jeb McLen, A. P., Grce, R. C., & Pis, R. C. (2014). Preference pulses wihou reinforcers. Journl of he Experimenl Anlysis of Behvior, 101, doi: /jeb.84 Suon, R. S., & Bro, A. G. (1998). Reinforcemen lerning : n inroducion. Cmbridge, MA: MIT Press. 6