Models of Evidence Integration in Rapid Decision Making Processes

Transcription

1 Models of Evidence Integration in Rapid Decision Making Processes THÈSE N O 4967 (2011) PRÉSENTÉE le 23 février 2011 À LA FACULTÉ INFORMATIQUE ET COMMUNICATIONS LABORATOIRE DE CALCUL NEUROMIMÉTIQUE (IC/SV) PROGRAMME DOCTORAL EN NEUROSCIENCES ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES PAR Nicolas Marcille acceptée sur proposition du jury: Prof. O. Blanke, président du jury Prof. W. Gerstner, directeur de thèse Prof. G. Deco, rapporteur Prof. M. Herzog, rapporteur Prof. W. Senn, rapporteur Suisse 2011

2 2 Abstract Decision making is of crucial interest in many disciplines such as psychology, neuroscience, economics and machine learning. Binary perceptual decision theories relate to situations where an observer (or machine) is confronted with one of two possible noisy stimuli. For example, human readers have to decide whether a handwritten character is an n or a u; a trader has to decide whether to sell or to keep; a monkey has to decide whether dots on a screen are moving to the left or to the right. While engineering and economical decision theories focus on how to compute optimal decisions, psychology and neuroscience investigate the actual decision making process in humans and animals. Humans only need a fraction of a second to recognize objects. This astonishing speed is also evident in sports such as table tennis or soccer requiring rapid reactions to moving balls. In these tasks, the brain has to decide rapidly upon visual information available for only a hundred milliseconds or less. However, most experimental and theoretical work on decision making focuses on stationary paradigms and surprisingly few studies have taken the timing of the stimulus into account. Decisions about noisy stimuli require evidence integration over time. Traditionally, evidence integration and decision making are described as a one-stage process: a decision is made when evidence for the presence of a stimulus crosses a threshold. We will show that this model is incompatible with psychophysical experiments on feature fusion, where two visual stimuli are presented in rapid succession. Paradoxically, the second stimulus biases decisions more strongly than the first one, contrary to predictions of one-stage models and intuition. We present a two-stage model where sensory information is integrated and buffered before it starts driving the diffusion process. Keywords Psychophysics, vision, visual masking, feature fusion, perceptual decision making, evidence integration

3 3 Résumé La prise de décision est le centre d intéret de nombreuses disciplines, telle que l économie, la psychologie, les neurosciences ou l intelligence artificelle. Les décisions perceptuelles binaires correspondent aux situations où un sujet (ou un agent artificiel) est confronté à l un de deux stimuli bruités possibles. Par exemple, une peronne qui lit un livre décide si la lettre qu il voit est un n ou un u, un trader décide de vendre ou d acheter, un singe décide si les les points lumineux sur l écran se déplacent vers la gauche ou la droite. Les ingénieurs et les économistes développent des théories normatives visant à identifier les choix optimaux alors que les neurosciences et la psychologie étudient les processus qui sous-tendent la prise de décision chez l Homme et l animal. Reconnaître un objet ne nécéssite qu un fraction de seconde. Cette faculté est aussi évidente dans les sports tel que le football ou le tennis qui requièrent de réagir rapidement au mouvement de la balle. Lors d une telle activité, le cerveau prend des décisions basées sur une information visuelle qui n est disponible que pour cent millisecondes ou moins. Pourtant, la plupart des recherches sur le processus de prise de décision sont basées sur des protocoles de stimuli stationnaires. Les décisions concernant un stimulus bruité exigent une intégration temporelle d information. Les modèles traditionnels (que l on applellera one-stage ) décrivent l intégration de l information et la prise de décision comme un étant un seul et unique processus. La décision est prise lorsque l information indicative de la présence d un des deux stimuli franchit un certain seuil. Nous montrons que ce modèle est incompatible avec les expériences dites de feature-fusion, ou deux stimuli visuels sont présentés en succession rapide. Paradoxalement, le deuxième stimulus inflence la décision plus fortement que le premier, ce qui est en contradiction avec les modèles one-stage. Nous présentons un modèle en deu étapes dans lequel l information perceptuelle est intégrée dans un premier temps (stage 1) et gardée en mémoire avant qu elle n entre dans le processus de décision. Mots-clés Psychophysique, vision, prise de décision perceptuelle, intégration de l information

4 Contents 1 Decision making from economics to neuroscience Introduction to decision making: an evolutionary perspective Decision theory: from Pascal s wager to behavioral ecology Classical decision theory Game theory: the language of behavioral science Ecological studies of decision making Value-based decision making in the brain The five basic steps involved in decision making Three types of decision and learning processes The MDP and RL formalism for decision making and learning Stochastic action selection The biological implementation of valuation, action selection and learning Perception as Bayesian inference Psychology of perception Bayesian statistics and optimal sensorimotor control Neural implementation of visual inference Modeling stochastic perceptual decision making Psychological models of perceptual decisions Early mathematical psychology The perceptual decision problem: signal detection theory and SPRT Simple accumulator models for reaction time experiments The random walk, the SPRT and the drift diffusion model The extended drift diffusion model The neurophysiology of perceptual decision making The vibrotactile frequency discrimination task (VTF) The random dot motion experiment, protocol and results Perceptual decision making in humans Cortical models for the decision processes Neurally inspired model and reduction to DDM System-level models for the random dot motion task Latest development on sequential models A spiking neural network model for decision making Attractor network models A biophysically realistic model of decision making

5 CONTENTS Neural substrate of the decision threshold Decision making models in feature-fusion Linking perception to decision making Mental chronometry Time-varying stimuli protocol Brief stimuli and visual masking Integrating visual short term memory with decision making Masking and attention in visual signal detection The Vernier-Anti-Vernier feature fusion experiment A simple model of performance in feature-fusion One-stage models for feature fusion Methods and materials Experiment Simple Parallel models don t work Serial 2-stage models Fitting the DDM to experiment Fitting the diffusion model A DDM with many free parameters Modeling the evidence integration stage Experiment Fitting the first stage Merging the two stages The read-out time A Bayesian perspective Novelty and leaky integration in a Bayesian model The leaky evidence integrator The Novelty signal Discussion and conclusion 112