Inconscient Cognitif et Encombrement Visuel

Transcription

1 Thèse de Doctorat de l Université Pierre et Marie Curie Spécialité : Neurosciences Cognitives Inconscient Cognitif et Encombrement Visuel Dissociations Entre Conscience Perceptuelle et Traitement en Vision Périphérique Présentée par Nathan Faivre Pour l obtention du titre de Docteur de l Université Pierre et Marie Curie Soutenue le 3 Novembre 2011 Sous la direction de Dr. Sid Kouider LSCP UMR 8554 CNRS - EHESS - ENS Ecole Doctorale Cerveau Cognition Comportement Membres du jury Patrick Cavanagh (examinateur) Laurent Cohen (examinateur) Stanislas Dehaene (examinateur) Bruno Rossion (rapporteur) Rufin VanRullen (rapporteur)

2

3 Résumé Au cours des vingt dernières années, il a été clairement établi qu une information visuelle pouvait être traitée en l absence d une expérience consciente associée. Cette dissociation a permis la description de l inconscient cognitif, et par contraste, la caractérisation des fondements neurocognitifs de la conscience. Dans ce travail de thèse, nous avons déterminé la nature des traitements non conscients de stimuli périphériques encombrés, rendus indiscriminables par la présence rapprochée de voisins similaires. Pour cela, nous avons développé un paradigme d encombrement contingent à la position du regard, auquel nous avons couplé des mesures comportementales d adaptation sensorielle (amorçage, habituation) et des mesures d activité cérébrale en imagerie par résonance magnétique fonctionnelle. La hiérarchie des traitements non conscients que nous avons pu ainsi esquisser s étend de l orientation angulaire jusqu à la configuration de visages émotionnels, en passant par la directionnalité de symboles ou l identité faciale. Des mesures comportementales et neurales à niveaux hiérarchiques différents nous ont également permis de mettre en évidence le rôle de l amplification attentionnelle pour ces traitements. Par ailleurs, en tirant parti du fait qu une information encombrée demeure indiscriminable indépendamment de la durée de stimulation, nous avons pu sonder des propriétés temporelles du traitement non conscient jusqu alors méconnues. D une part, nous avons montré que l augmentation de la durée de présentation d un stimulus encombré changeait qualitativement les réponses adaptatives qu il générait, en transformant l amorçage en habituation sensorielle. D autre part, en comparant les bases neurales du traitement non conscient de visages émotionnels encombrés statiques (images) et dynamiques (vidéos), nous avons établi qu ils étaient préférentiellement encodés au sein des voies visuelles ventrales et dorsales, respectivement. Nous discuterons des enseignements apportés par nos travaux selon deux grands axes. D abord, nous analyserons en quoi l étude de l inconscient cognitif permet de mieux comprendre l encombrement, et argumenterons que ses origines sont tardives et multiples, gouvernées en partie par des facteurs attentionnels descendants. Nous évaluerons ensuite l apport de l encombrement pour une étude contrastive de la conscience, et insisterons sur ses propriétés intégratives, aussi bien dans l espace que dans le temps. Mots clefs Encombrement, conscience, perception, attention, adaptation sensorielle, émotion

4

5 Remerciements Ce que je retiendrai du travail de ces trois années, ce sont les concepts qui expliquent enfin mon incapacité remarquée à repérer mes clefs sur une table, ou pire, mes proches dans une foule. Plutôt qu ahuri chronique, je me considère désormais comme simple victime de l encombrement, limité en apparence par le fonctionnement conscient de mon cerveau. Cela m est extrêmement confortable, et, j espère, apaisant pour les proches susceptibles! Je dois l idée première de ce travail à Sid Kouider, qui, trois ans plus tôt, a eu l audace de me donner l opportunité de démarrer ce projet de thèse sans garantie d aucune sorte, puisque mon expérience dans le domaine des neurosciences cognitives frôlait alors le néant. Je lui exprime ma plus grande gratitude pour la confiance qu il m a témoignée. L enthousiasme et l énergie qu il a insufflés dans mon travail ont été des plus bénéfiques, et j espère pouvoir montrer ici que, comme souvent, son intuition ne l a pas trompé. Je remercie Bruno Rossion et Ruffin VanRullen, rapporteurs au sein du jury, pour avoir accepté d expertiser mon travail, ainsi que Patrick Cavanagh, Laurent Cohen, et Stanislas Dehaene, pour leurs rôles d examinateurs au sein du jury. Je suis particulièrement reconnaissant envers Patrick Cavanagh, qui m a prodigué des conseils précieux pour ce travail et mes projets futurs. L École de l Inserm a joué un rôle fondamental pour ma formation scientifique aux abords de la médecine. Merci à toute cette belle famille, et en particulier à Jean-Claude Chottard, Philippe Ascher, et François Amblard, qui donnent énormément pour guider chacun dans son exploration de la science. J ai eu la chance de pouvoir côtoyer au LSCP des chercheurs humbles et brillants, dont Anne Christophe et Emmanuel Dupoux, et de manière quotidienne Jérôme Sackur, colocataire de laboratoire aussi drôle que savant. Je les remercie chaleureusement, ainsi que Michel et Vireack, prosélytes du libre, et Anne-Caroline, Inga, Isabelle, Radhia, et Virginie, équipe de choc responsable du recrutement des centaines de participants venus passer mes expériences. Évidemment, je remercie tous les compagnons de route, dont Marine (relectrice de l introduction, donc entièrement responsable du moindre manque de clarté), Vincent & Vincent, Luca, Perrine, Baudouin, Belonia, Alejandrina, Abdellah, pour la première partie du parcours. Puis Sylvain (deuxième relecteur, donc tout autant responsable), Paul, Leonardo, Anne, Thomas, et Louise, arrivés pour la seconde partie. Enfin, des étudiants efficaces et sympathiques m ont aidé, et évidemment, en sauront bientôt plus que moi : Arnaud, Bria, Claire, Jan, Lucille, et Marwa. Sans pouvoir tous les nommer, les amis qui m éloignent de la science ne doivent jamais oublier qu ils sont des plus précieux. J espère arpenter avec vous tous encore de longues routes, sachez que vous êtes bienvenus en Californie! L œil acéré de mon père a pallié la plus grande partie de mes lacunes grammaticales. La bienveillance de mes parents et de ma famille est telle qu elle appelle bien plus que des remerciements. Je leur témoigne ici ma plus tendre affection.

6 Table des matières I Introduction 10 1 Conscience et inconscient cognitif Tableau d une étude scientifique de la conscience Aperçu sélectif du système visuel Théories neurocognitives de la conscience Inconscient cognitif et approche contrastive L encombrement comme sonde de l inconscient cognitif Faits empiriques Théories de l origine de l encombrement L encombrement en tant que paradigme expérimental Plan des études expérimentales II Études expérimentales 56 1 Amorçage non conscient issu d objets encombrés Présentation de l étude Article Biais de préférence non conscient issu d expressions faciales Présentation de l étude Article Stimulation visuelle et profondeur du traitement non conscient Présentation de l étude Article Bases neurales du traitement non conscient d expressions faciales Présentation de l étude

7 4.2 Article Influences de la durée de stimulation et de l accès conscient sur l adaptation sensorielle Présentation de l étude Article III Discussion Étudier l encombrement via l inconscient cognitif Vers un modèle hiérarchique de l encombrement Rôle de l attention Étudier la conscience via l encombrement Encombrement et conscience partielle Encombrement et intégration spatiale Inconscient cognitif et temporalité IV Conclusion 199 V Annexe Bases neurales de l amplification attentionnelle non consciente Présentation de l étude Résultats préliminaires Discussion et perspectives Bibliographie 213 7

8 Table des figures Figure 1.1 Interprétation de l effet Sperling selon l hypothèse dissociative et de conscience partielle Figure 1.2 Comparaison des modalités perceptives selon les théories de l espace de travail neuronal global et de la ré-entrance Figure 2.1 Exemples de stimuli encombrés Figure 2.2 Métamères en vision périphérique Figure 2.3 Adaptation à l orientation en fonction de l encombrement Figure 2.4 Encombrement contingent à la position du regard (GCC) Figure 1.1 Encombrement configural de visages de type Mooney Figure 1.2 Représentation rétinotopique de stimuli controlatéraux ou ipsilatéraux au méridien vertical et horizontal Figure 1.3 Amplification attentionnelle en fonction de la taille du stimulus et de la fenêtre attentionnelle Figure 2.1 Manipulation des dimensions accédées pendant l encombrement Figure 2.2 Amorçage et habituation en fonction de la rétinotopie Figure 1.1 Paradigme expérimental utilisé en IRMf Figure 1.2 Localisation fonctionnelle de la FFA et de la PPA Figure 1.3 Effet attentionnel en cerveau entier

9 Liste des symboles CFS Suppression par flashs continue CGL Corps géniculé latéral EEG Electroencéphalographie FFA Aire fusiforme des visages (fusiform face area) GCC Encombrement contingent à la position du regard (gaze-contingent crowding) GNW Espace de travail neuronal global (global neuronal workspace) IIT Théorie de l intégration de l information IRMf Imagerie par résonance magnétique fonctionnelle LOC Cortex occipital latéral NCC Corrélats neuraux de la conscience PPA Aire parahippocampique des lieux (parahippocampic place area) PPI Interaction psychophysiologique SOA Asynchronie d apparition du stimulus (stimulus onset asynchrony) STS Sulcus temporal supérieur TMS Stimulation magnétique transcranienne V1 Cortex visuel primaire VWFA Aire visuelle de la forme des mots (visual word form area)

10 Première partie Introduction

11 1 Conscience et inconscient cognitif Lorsqu il y a trois ans nous débutions notre interrogation sur l étude scientifique de la conscience, la question qui nous est apparue comme la plus vertigineuse est la suivante : comment la sensation, l expérience subjective qui emplit notre existence naît-elle du tissu biologique pesant un peu plus d un kilogramme qui n emplit lui que notre boîte crânienne? Autrement dit, nous débutions ce travail de thèse de la meilleure des manières, en prenant de plein fouet l énoncé du problème dit - à juste titre - difficile. Il convient, comme pour toute situation vertigineuse, de ne pas regarder immédiatement au fond du gouffre, mais plutôt de procéder par étape. C est la résolution que nous nous sommes imposée par la suite, et cela nous mènera au traitement du problème dit - à moins juste titre - facile. Ces problèmes millénaires n ont que très récemment été abordés par la méthode expérimentale. De multiples résultats expérimentaux en sont issus, expliqués par quelques grandes théories dont nous tenterons d esquisser ensuite les principes généraux. Un des dénominateurs communs de ces théories est d appréhender la conscience en la contrastant à son absence. C est l étude de l inconscient cognitif, l estimation de sa profondeur, la mesure de ses propriétés psychologiques et neurales. C est la démarche qui guide l intérêt porté à l encombrement visuel (crowding) dans le chapitre 2, une modalité de l expérience consciente visuelle où les détails d une scène apparaissent brouillés, et échappent au rapport conscient. Les travaux expérimentaux contenus dans ce manuscrit, appartiennent à la fois au domaine de la psychologie expérimentale, de la psychophysique et des neurosciences cognitives, et portent sur le traitement perceptuel et cognitif non conscient de stimuli encombrés. Une caractéristique générale de ces travaux réside dans l approche dialectique qu ils proposent, en ce sens qu ils peuvent être appréhendés comme travaux portant sur l inconscient cognitif, par utilisation du phénomène d encombrement vu comme méthode, ou comme travaux sur le phénomène d encombrement, par utilisation du cadre théorique et expérimental de l inconscient cognitif. C est la manière avec laquelle sera abordée la discussion concernant l apport de ces travaux aux sciences de la vision et aux sciences de la conscience. 11

12 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF 1.1 Tableau d une étude scientifique de la conscience Plusieurs problèmes posés Problème difficile Le problème difficile de la conscience, celui d expliquer la réalité du ressenti, de la sensation, de l expérience subjective, a réduit à la circonspection plus d un philosophe contemporain. Ainsi, David Chalmers à qui l on doit ce terme (1995) le qualifie de «problème le plus déroutant des sciences de l esprit», John Searle (1997) en fait le «problème le plus important des sciences biologiques». Sans qu il soit donné trop de poids à de telles citations hors de leurs contextes, nous pouvons simplement les considérer comme illustrant un rapport troublé de l homme à la conscience. En effet, il a été proposé que les modèles biologiques, aussi aptes soient-ils à expliquer les mécanismes associés à la perception, la mémoire, ou toute autre fonction cognitive, resteraient inaptes à expliquer la sensation consciente (Chalmers, 1995). Nous évoquerons pour cela deux raisons générales. La première raison est que la résolution du problème difficile implique directement celle du problème corps-esprit. La relation entre la matière et l activité mentale a fait de tout temps l objet d études, d abord philosophiques et plus récemment psychologiques et neurobiologiques, desquelles sont nées plusieurs solutions inscrites dans plusieurs écoles de pensée. Nous n évoquerons dans ce travail de thèse que les tentatives de solutions matérialistes, investigables par la méthode expérimentale. Nous présupposerons ainsi un lien direct et univoque entre matière et expérience subjective, le paradigme actuel étant que cette dernière est associée au fonctionnement particulier d une assemblée de neurones fonctionnant en réseaux. La position adoptée ici est donc physicaliste au sens où la conscience est considérée comme identique à ses corrélats neuraux (voir Gray, 2004 pour une vue détaillée d autres écoles de pensée, notamment dualistes). Si les théories matérialistes ne font appel à aucune autre entité pour expliquer la relation de la conscience avec la matière, les mécanismes qu elles proposent se heurtent à un pouvoir explicatif qui peut sembler à première vue limité. Ainsi, nous verrons dans la partie 1.3 page 20 que la conscience est vue tour à tour comme la ré-entrance (Lamme & Roelfsema, 2000), la diffusion globale (Dehaene & Naccache, 2001), ou l intégration (Tononi, 2008) de l information traitée par le cerveau. La définition ainsi donnée par ces théories à une phénoménologie très concrète nous amène à la deuxième raison expliquant la difficulté du problème : son caractère privé. 12

13 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF L expérience subjective est en effet non partageable à autrui sans perte d information. Elle est de plus subjective puisque dépendante de chaque individu et du contexte dans lequel il se trouve (Nagel, 1974). Par ailleurs, le simple fait de de s interroger sur ce que cela est d être conscient génère un effet d observateur, puisque cela nous plonge dans un état métacognitif différent de celui que l on cherche à définir en premier lieu. Certains ont proposé d éviter ces écueils par l utilisation de définitions minimales mais opérationnelles, en entendant par conscience les expériences subjectives (sentience, awareness) qui «commencent quand je me réveille le matin après un sommeil sans rêve, et qui continuent pendant la journée jusqu au moment ou je m endors de nouveau» (Searle, 1997). On peut opposer à cette définition le fait qu elle néglige l ensemble des modulations existant à l intérieur de cette période de conscience, qui s avèrent cruciales pour appréhender le phénomène dans son ensemble. Dans l idée d appréhender de manière efficace le problème, d autres ont tenté de le réduire à deux dimensions, l une étant le contenu de la conscience, l expérience subjective à proprement parler (awareness), l autre étant le niveau de conscience ou d éveil (wakefulness). En règle général, la relation entre contenu et niveau de conscience est positive et linéaire. Les états vont de la mort cérébrale jusqu à l éveil complet, en passant par les différentes phases du sommeil. Des dissociations comme le somnambulisme, l état végétatif (niveau élevé, contenu pauvre), ou le sommeil paradoxal (contenu riche, niveau faible) troublent cette relation linéaire, et sont particulièrement instructives dans le cadre d une approche contrastive de la conscience (voir section page 33). Les travaux expérimentaux contenus dans ce manuscrit ne concernent que le contenu de la conscience. Problème facile Les neurosciences cognitives se sont récemment emparées du problème facile, c est à dire l étude des mécanismes cognitifs associés à l accès des contenus conscients, en première approximation leur rapportabilité. Ainsi, l interaction des mécanismes associés à la perception, l attention, la mémoire de travail, le langage considérés comme donnant lieu à l accès conscient sont de mieux en mieux compris. En revanche, l explication d une phénoménologie associée à des mécanismes neuraux ne rentre pas dans le cadre de l étude du problème facile. Selon la dichotomie proposée par Ned Block (1995), le problème facile consiste donc à éclaircir les mécanismes associés à la conscience d accès (dite conscience A), en laissant ouvert le problème difficile traitant de la conscience phénoménale (dite conscience P). Les mécanismes associés au rapport de l information présentant des limites, le contenu de la conscience P est dit plus riche que le contenu de la conscience A. 13

14 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF On confondrait alors les limites des fonctions cognitives nécessaires à l accès (attention, mémoire) avec les limites réelles de la sensation visuelle (Lamme, 2010). Ainsi, l impression subjective de richesse et de fidélité que l on a en percevant une scène visuelle est partiellement déconnectée des habiletés cognitives, et des changements mêmes majeurs intervenant dans la scène peuvent ne pas être accédés, et donc détectés (phénomène de cécité au changement, voir Simons & Rensink, 2005). Les défenseurs de cette dichotomie se sont emparés d une expérience classique, antérieure même au concept de conscience tel qu il est utilisé aujourd hui pour illustrer la conscience P outrepassant la conscience A. Dès 1960, Sperling mesure que des participants faisant face à une matrice de 4 3 lettres présentées brièvement sont capables de rapporter correctement trois ou quatre lettres en moyenne, alors que leur impression est de percevoir correctement les douze. Cette impression est décrite comme un état mental P non accédé. Pourtant, si un indice sonore indique aux participants la ligne de la matrice à rapporter après que l ensemble des lettres a disparu, ils rapportent correctement les trois lettres de la ligne correspondante. C est ce qui est dorénavant appelé l effet Sperling. Il a été conclu dans un premier temps que chaque lettre de la matrice est encodée consciemment avant l apparition de l indice sonore, dans un tampon de la mémoire visuelle qualifié d iconique qui se vide après un court instant si l attention ne permet pas son amplification. L existence de deux formes d encodage de l information, l une de grande capacité s évanouissant rapidement dans le temps, l autre plus réduite mais liée aux processus cognitifs permettant la rapportabilité est indubitable. Par la suite, il a été postulé que la mémoire iconique reflétait le contenu de la conscience P, sans accès conscient, et donc sans rapport verbal. Une deuxième interprétation dite de conscience partielle ne présuppose pas de distinction entre conscience phénoménale et conscience d accès (Kouider et al., 2010). Selon cette hypothèse, les participants faisant face à la matrice avant l indice sonore accèdent consciemment à l information visuelle principalement de bas niveau (gradients de contrastes, lignes orientées, voire fragments de lettres). Cette information fragmentaire est biaisée par le contexte expérimental (la présence des 3 ou 4 lettres traitées consciemment en totalité, et potentiellement les autres lettres traitées inconsciemment), ce qui induit les participants à reconstruire l information de manière illusoire, et leur donne l impression subjective d avoir une perception complète de l ensemble de la matrice. Le caractère illusoire de leur perception a été vérifié, en mesurant qu ils demeuraient incapables de percevoir des fausses lettres, voire des symboles abstraits glissés aléatoirement dans la matrice (de Gardelle et al., 2009). Ici, à l opposé de la première interprétation dissociant phénoménologie 14

15 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF et accès, l impression de richesse phénoménale découle donc d une reconstruction cognitive à posteriori, et non pas d un état préalable à l accès conscient (voir Figure 1.1). Tel qu il est défini, le problème facile englobe alors le problème difficile, en ce sens que l expérience subjective est vue comme l interaction des mécanismes cognitifs nécessaires à la manipulation métacognitive et au rapport à soi-même ou à autrui de l information. Figure 1.1: Interprétation de l effet Sperling selon l hypothèse dissociative et de conscience partielle. Lorsque douze lettres sont présentées brièvement à des participants, ils n en rapportent que trois ou quatre. En revanche, s il leur est indiqué quelle sous partie de la matrice rapporter, ils rapportent quasiment son ensemble, ce qui suggère qu ils ont perçu en réalité l entièreté de la matrice. Selon une vue dissociative de la conscience (Interprétation 1), les participants n ont accès qu à trois ou quatre lettres, les autres disparaissant du tampon de la mémoire iconique par manque d amplification attentionnelle (ellipses vertes), mais ont une expérience phénoménale de l identité de toutes. Selon l hypothèse de conscience partielle (Interprétation 2), les participants accèdent consciemment au contenu de bas niveau des lettres (contraste, orientation, fragments de lettres), tout en étant biaisé par le contenu de haut niveau accédé (lettres complètes). Cela pousse à reconstruire le contenu fragmentaire accédé en fonction du contexte, ce qui suppose que l impression de richesse perceptive ne précède pas l accès conscient mais découle d une construction cognitive. (Adapté de Kouider et al., 2010). En rapport direct avec notre travail, il a été proposé que l encombrement offrait une modalité dans laquelle les ressources attentionnelles pour accéder à l information n étaient pas suffisantes, tout en autorisant néanmoins une expérience phénoménale non réflexive de cette information (voir Block, 2001, ainsi que le chapitre 2 page 39). Dans toute la suite de nos travaux, et en lien à la fois avec le modèle de conscience partielle et de l espace de travail neuronal global, nous opterons pour une position non dissociative, et considérerons donc qu il y a un lien d identité entre phénoménalité et réflexivité, c est à dire entre expérience subjective et conscience d accès. 15

16 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF 1.2 Aperçu sélectif du système visuel Ces dernières années, les sciences de la conscience se sont bâties en majorité sur l étude de la vision, dont la chaîne de traitement s étend depuis la rétine jusqu au cortex cérébral. Nous mêmes dans ce travail avons étudié l encombrement, phénomène intriguant rendant compte du fait que des objets en périphérie du champ de vision ne sont plus reconnaissables lorsqu ils sont mis en présence de voisins proches et ressemblants (Levi, 2008). La compréhension des théories neurocognitives de la conscience et du phénomène d encombrement nécessite donc que l on reprenne au moins partiellement le processus qui mène à la représentation de l environnement au sein du système visuel. Nous détaillerons uniquement les étapes tardives de ce processus, plus pertinentes en vue de notre objectif. Le sens visuel trouve sa source au niveau de la transduction d énergie lumineuse issue d objets environnants en signal électrique interprétable par le cerveau. Cette transduction photo-électrique a lieu au niveau de la rétine, grâce à des cellules dites photo-réceptrices que sont les cônes, alloués à la vision diurne, ou photopique, situés majoritairement au centre de la rétine (en position fovéale) et les bâtonnets, pour la vision nocturne, ou scotopique, plus nombreux et situés majoritairement en périphérie. Chaque cellule contient un pigment, la rhodopsine, qui lorsque sa conformation est modifiée par l absorption d un photon, induit par une cascade enzymatique la fermeture de canaux entrants sodiques, entraînant ainsi l hyperpolarisation cellulaire et l inhibition du relargage pré-synaptique glutamatergique (voir Baylor, 1996, pour une revue de la littérature). On définit le champ récepteur du photorécepteur comme la région de l espace qui, lorsqu elle est soumise à la stimulation lumineuse, entraîne l hyperpolarisation cellulaire. Paradoxalement, la stimulation du champ des photorécepteurs a donc pour conséquence la réduction de leurs taux de décharge 1. Les photorécepteurs activent des cellules dites bipolaires, leurs champ récepteur étant défini comme la région anatomique dont l activation synaptique par les photorécepteurs modifie le potentiel cellulaire. Du fait de la dualité des récepteurs bipolaires post-synaptiques, il existe des cellules bipolaires possédant des champs récepteurs aux propriétés d excitation différentes. Ils rendent compte d un étage précoce du traitement d une première caractéristique du monde environnant, le contraste. On distingue dès lors deux voies qui mesurent indépendamment l augmentation et la diminution de la quantité de lumière. Ces deux voies, respectivement ON et OFF, fonc- 1. On peut considérer qu ils réalisent ainsi une transduction photo-électrique anti corrélée, mais néanmoins efficace puisque sensible à des énergies transportées par le photon unique. 16

17 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF tionnent en parallèle et demeurent indépendantes dans leur connexion avec l étage supérieur que constituent les cellules ganglionnaires, jusqu au niveau cortical. Plusieurs mécanismes d inhibition et d amplification du signal interviennent de manière supplémentaire, nous ne les détaillerons pas ici (voir Ryan et al., 2005 pour une revue exhaustive des connaissances sur la physiologie rétinienne). Il est en revanche intéressant pour la suite de préciser l existence de deux types distincts de cellules ganglionnaires. Environ 90% des cellules sont de type P (Parvus, pourvues d un corps cellulaire et de champs récepteurs de tailles réduites, associées aux cônes), le reste de la population étant constituée des cellules M (Magnus, car pourvues d un corps cellulaire et de champs récepteurs de tailles importantes, associées aux bâtonnets) 2. Les axones des cellules ganglionnaires se rejoignent pour former le nerf optique, qui quitte chaque œil au niveau de la papille optique, ou tâche aveugle. C est cet étage ganglionnaire qui constitue le moyen de sortie vers le cerveau, l information étant véhiculée sous forme de trains de potentiels d action, respectivement au niveau de la voie parvocellulaire et magnocellulaire. Après décussation partielle des fibres nerveuses du nerf optique, un premier relais a lieu au niveau du corps géniculé latéral (CGL, dans la partie dorsale du thalamus). Le CGL est une structure stratifiée, les quatre strates les plus dorsales recevant les axones de la voie parvocellulaire, les deux strates ventrales les axones de la voie magnocellulaire, avec une organisation agencée en fonction de l origine anatomique de la fibre (partie médiale ou latérale de la rétine droite ou gauche). Le CGL est souvent considéré comme une plaque tournante entre les afférences sensorielles et le cortex. Pourtant, il ne se résume pas à des portes d entrée et de sortie. En effet, il a été montré que la représentation de l environnement à ce niveau sous-cortical respecte la rétinotopie, c est à dire une topographie caractérisée par une relation univoque avec la position des objets physiques dans l environnement. De plus, on sait les neurones du CGL sensibles à des propriétés physiques simples de l environnement telles que le contraste ou la fréquence de clignotement. Ces éléments témoignent d un traitement de l information au moins partiel avant les aires corticales. Des études d imagerie ont également pu mettre en évidence des modulations attentionnelles de l activité géniculaire, en montrant notamment des réponses neurales plus importantes pour des stimuli visuels attendus (amplification attentionnelle) ainsi que des réponses neurales plus faibles pour des stimuli ignorés (inhibition attentionnelle) (voir Kastner et al., 2006, pour une revue de la littérature). Depuis chaque CGL partent des axones formant des faisceaux de substances blanches appelées radiations optiques, s étirant sur environ 10cm pour rejoindre le cortex visuel 2. A noter également l existence de cellules non M - non P, aussi dites K pour koniocellulaires (Hendry & Reid, 2000) 17

18 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF ipsilatéral appelé cortex primaire, strié, ou encore V1, au niveau du lobe occipital. A ce niveau, la propriété des champs récepteurs (régie par l agencement de plusieurs champs récepteurs du CGL) fait émerger une nouvelle propriété, la détection de l orientation. Les travaux fondateurs de Hubel & Wiesel (1959) ont montré que chaque neurone présente une orientation préférentielle pour laquelle la fréquence de potentiels d action est maximale. Plus précisément, deux types cellulaires sont classiquement décrits : les cellules dites simples, dont le champ récepteur est caractérisé par une zone centrale excitatrice allongée sensible à l orientation, et les cellules dites complexes, recevant des afférences des cellules simples, et possédant des champs récepteurs sensibles à l orientation des bords du stimulus et à leur direction. Sans s attarder sur les détails histologiques et anatomiques de V1, c est cette dernière propriété qui retiendra notre attention pour la suite de l exposé. Il est également important de préciser que des modulations attentionnelles de l activité de V1 sont maintenant bien documentées (Somers et al., 1999). D une topographie euclidienne au niveau de la rétine, on passe à un système de coordonnées polaires dans le cortex, où le champ visuel est cartographié selon une excentricité et un angle. La quantité de tissu cortical alloué à la représentation d une unité de distance au niveau de la rétine est inversement proportionnelle à l excentricité. On parle de facteur d agrandissement, très important au niveau de la fovéa, pour l analyse fine de détails, alors que la périphérie de la rétine est encodée plus grossièrement sur la surface corticale, tels que des points éloignés sur la rétine sont encodés relativement proches sur la surface corticale. Nous reviendrons sur la rétinotopie lorsque nous évoquerons le phénomène d encombrement, très prégnant en vision périphérique. Cette organisation rétinotopique reste en partie valable pour les zones corticales successives, qualifiées d extrastriées. Les neurones de V1 envoient des efférences vers le cortex pré-strié, secondaire, ou encore V2, qui est pourvu de propriétés similaires comme l encodage de propriétés simples (orientation, contraste), la modulation attentionnelle, mais aussi de propriétés plus évoluées comme le traitement des lignes imaginaires (c est à dire inexistantes physiquement mais perçues par reconstruction de deux bords adjacents par exemple), la dissociation figure-fond, etc. Aux aires primaires et secondaires succèdent les aires tertiaires, ou associatives. Chacune des ces aires encode des propriétés de plus en plus complexes du monde physique comme la couleur, la texture, la profondeur, la cohérence du mouvement, et notamment des catégories spécifiques d objets. Ainsi, l avènement de l imagerie cérébrale fonctionnelle a permis de cartographier des régions occipito-temporales répondant préférentiellement à la présentation de visages (aire occipitale des visages, ou OFA, Gauthier et al., 2000, et aire fusiforme des visages, ou FFA, 18

19 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF Kanwisher et al., 1997), de lieux (aire parahippocampique des lieux, ou PPA, Epstein & Kanwisher, 1998), de mots (aire de la forme visuelle des mots, ou VWFA, Cohen et al., 2000), ou encore de parties du corps (aire extrastriée du corps, ou EBA, Downing et al., 2001). Le principe d organisation dans les aires visuelles supérieures est hérité des aires plus précoces, impliquant l excentricité dans le champ de vision mais aussi la catégorie d objets encodée (Malach et al., 2002). Les catégories nécessitant l analyse fine de détails, tels les mots ou les visages sont représentées de manière latérale, avec un facteur d agrandissement élevé, alors que les autres objets tels les bâtiments, nécessitant l intégration de l information sur de plus grandes distances rétiniennes sont encodés médialement, avec des facteurs d agrandissements plus faibles (Hasson et al., 2002). Cette organisation est complexe, puisque par ailleurs, la perception d objets périphériques est assistée par des connections reliant les aires périphériques occipito-temporales avec le cortex extrastrié fovéal (Williams et al., 2008). Un modèle permet d appréhender avec concision une telle complexité. Il propose l existence de deux voies, traitant des informations visuelles différentes, et responsables d aptitudes comportementales complémentaires (Milner & Goodale, 1993, 2006, 2008). La première est la voie ventrale, responsable de la vision pour la perception, de par la transformation du signal en représentation perceptuelle renfermant les propriétés d objets ainsi que leurs relations spatiales. Ces représentations sont considérées comme étant associées à une expérience subjective consciente de l environnement, permettant ainsi son exploration. La deuxième est la voie dorsale, responsable de la vision pour l action, de par le contrôle visuel de cibles sur lesquelles sont dirigées certaines actions motrices comme la préhension. Ce contrôle se fait en direct et adapte à tout moment les effecteurs moteurs en fonction de leur cible. On peut alors distinguer les représentations mentales associées à la perception consciente du monde et à la cognition visuelle (voie ventrale) et le contrôle perceptuo-moteur nécessaire au bon déroulement d une action une fois celle-ci initiée (voie dorsale). Si la voie ventrale est nécessaire à l établissement d une action, par exemple pour la représentation perceptuelle des détails d un objet en vue de l attraper, elle n est plus impliquée une fois initié le mouvement de la main. Dès lors, la voie dorsale, qui ne renferme pas de description physique sur l objet, permettra le contrôle en temps réel de l action, sans qu aucune expérience consciente de ce contrôle ne soit ressenti, elle n est donc en soit pas perceptuelle. Tandis que les afférences ventrales sont à la fois magnocellulaires et parvocellulaires, seules des fibres magnocellulaires constituent la voie dorsale (Ferrera et al., 1992; Merigan & Maunsell, 1993). Nous reviendrons sur la distinction entre voie ventrale et voie dorsale dans le chapitre 4 concernant les bases neurales du traitement d expressions faciales. 19

20 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF 1.3 Théories neurocognitives de la conscience Ré-entrance et conscience Une propriété commune à plusieurs théories est que la conscience nécessite une activité neurale ré-entrante, c est à dire la transmission d un signal neural retournant des modules cognitifs de haut niveau vers les modules perceptuels. Les activités ré-entrantes au sein de boucles cortico-corticales ou thalamo-corticales ont été décrites comme formant un noyau dynamique (dynamic core), permettant le maintien de patterns synchrones dans le temps, à même de connecter et d intégrer des modules cognitifs distincts supportés par différentes aires cérébrales (Tononi & Edelman, 1998). Ainsi, une région répondant à un stimulus peut, par activité ré-entrante, donner lieu à une réponse similaire en l absence de ce stimulus. Le cerveau est alors vu comme se parlant à lui même, ce qui semble autoriser l émergence de fonctions cognitives de haut niveau comme la mémoire ou l imagerie mentale. Les évidences pour le rôle de la ré-entrance existent également à un niveau purement perceptuel. Lors de la présentation d un stimulus visuel, les aires cérébrales spécialisées dans le traitement de ses propriétés physiques sont successivement activées au sein d une cascade organisée selon un gradient anatomique postéro-antérieur. Cette vague d activations s apparente à un balayage vers l avant (feedforward sweep), démarrant au sein de la couche 4 du cortex visuel primaire, jusqu aux aires temporales antérieures pour la voie visuelle ventrale, et pariétale antérieure pour la voie visuelle dorsale. Les données électrophysiologiques indiquent une augmentation de la taille et de la spécificité des champs récepteurs des neurones suivant le gradient anatomique de cette cascade (Maunsell & Newsome, 1987). En revanche, les différentes structures impliquées dans ce balayage vers l avant ne sont pas strictement activées selon son gradient anatomique, les voies visuelles possédant des vitesses et des trajets variables, notamment selon qu elles soient à dominance magnocellulaire ou parvocellulaire ou qu elles empruntent des raccourcis sous-corticaux (cf. Lamme & Roelfsema, 2000, pour une méta-analyse des données de latences de réponses visuelles). On peut donc parler de balayages vers l avant multiples, ayant lieu en parallèle, où chaque synapse est franchie en environ 10ms (soit la durée minimale entre deux potentiels d actions), impliquant que les régions temporales antérieures et frontales sont atteintes en environ 100ms. Les activités neurales engendrées lors de cette première vague d activations présentent déjà une spécificité relative au stimulus qu elles encodent, par exemple l orientation dès V1, le mouvement dès V5, ou encore les visages au niveau du cortex temporal inférieur. 20

21 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF Cette observation a d abord laissé penser que l ensemble du traitement cortical d un stimulus était complet à l issue de cette cascade (Tovée, 1994). Pourtant, deux éléments majeurs ont obligé à reconsidérer le problème. Premièrement, si la réponse neuronale précoce est sensible à la nature du stimulus, les réponses mesurées à des latences plus grandes sont par ailleurs corrélées à des caractéristiques plus fines du traitement perceptuel, comme l identité ou les expressions faciales au niveau du cortex temporal inférieur (Sugase et al., 1999), où la prise de décision au sein du cortex pariétal latéral (Leon & Shadlen, 1998). Deuxièmement, il a été montré dans plusieurs circonstances que la réponse d un neurone était modulée par des informations contextuelles situées en dehors de son champ récepteur, donc par définition par un moyen autre que celui fourni par les connexions du balayage vers l avant (cf. Lamme & Roelfsema, 2000, pour une revue détaillée). Ces deux faits empiriques ont conduit à postuler l existence de connexions réentrantes, soit horizontales au sein d une même région corticale, soit antéro-postérieures provenant de régions en aval de la cascade. Il y aurait donc un échange bidirectionnel de signaux codant pour des aspects complémentaires d un même stimulus. En plus de son rôle dans la cognition visuelle, plusieurs faits empiriques viennent appuyer le mécanisme de ré-entrance comme un corrélat de la conscience. Premièrement, au cours du masquage visuel, la perception consciente d un stimulus présenté brièvement est empêchée par la présentation subséquente d un masque. Si le masque ne perturbe pas l activité balayée vers l avant issue du stimulus, il empêche en revanche les boucles de réentrance qui lui sont associées (Lamme et al., 2002) 3. Deuxièmement, l application d un fort champ magnétique par stimulation magnétique transcranienne (TMS, environ 2 Teslas pendant 1ms) au niveau du cortex visuel primaire 100ms après la présentation d un stimulus empêche son rapport conscient, tout en préservant la capacité des participants à deviner au dessus du niveau du hasard l orientation ou la couleur du stimulus présenté (Boyer et al., 2005). Cette situation expérimentale mime une situation pathologique dite de vision aveugle de type II (Weiskrantz, 2004). Le cadre théorique de la ré-entrance prédit que l impulse de TMS à 100ms dégrade l efficacité des connexions ré-entrantes et donc empêche l accès conscient. Cependant, une étude plus récente a montré que la perception consciente du mouvement était également empêchée lors d un impulse précoce de TMS supposé dégrader le balayage vers l avant uniquement, tandis qu un impulse tardif dégradant l activité ré-entrante empêche certes l accès conscient, mais également le traitement non conscient corrélant avec le balayage vers l avant (Koivisto et al., 2010). Cette dernière observation est donc incompatible avec une interprétation forte de la théorie qui 3. A noter également qu il existe une interprétation ascendante du masquage, reposant sur des mécanismes d inhibition latérale au sein du cortex sensoriel (Macknik, 2006). 21

22 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF présuppose que l activité ré-entrante est entièrement spécifique à la perception consciente. Troisièmement, un défaut de ré-entrance du cortex frontal vers le cortex temporal lors d une stimulation auditive a pu être mis en évidence chez des patients en état végétatif (supposés non conscients) mais non chez des patients en état de conscience minimale (Boly et al., 2011). En parallèle à la description fine de ce corrélat neural, la théorie s ancre sur le principe que l étude scientifique de la conscience doit mettre sur un pied d égalité les mesures neurales et comportementales, sans considérer ces dernières comme référence absolue. C est l argument de pureté neurale. L exemple suivant illustre les problèmes engendrés par l utilisation isolée d un rapport hétéro-phénoménologique même correct du contenu conscient. Un patient souffrant d un syndrome de déconnexion inter-hémisphérique (c est à dire à qui l on a sectionné tout ou partie du corps calleux) affirmera ne pas voir un mot présenté dans l hémichamp visuel gauche, ce mot étant traité par l hémisphère droit, isolé des aires cérébrales du langage latéralisées à gauche (Gazzaniga, 2005). En revanche, il sera capable de dessiner de la main gauche (commandée par l hémisphère droit) ce que représente ce mot, puis de le nommer en voyant par la suite son dessin présenté dans l hémichamp droit. Le patient a-t-il vu consciemment le mot en premier lieu? L utilisation stricte du critère de rapportabilité verbale l infirmerait, et conduirait à la conclusion erronée qui ferait de l entièreté de l hémisphère droit une structure indépendante des corrélats neuraux de la conscience. Si l utilisation couplée du critère neural et subjectif est sans doute bénéfique, il est important ici de ne pas confondre le critère de rapportabilité et le ressenti véritable. Premièrement, le rapport verbal n est pas un critère absolu. Ainsi, si la qualité d un stimulus n est pas entièrement descriptible par le langage, il est tout de même possible d en mesurer l accès avec des méthodes objectives, par exemple le jugement de similarité. Deuxièmement, quand bien même un rapport n est pas mesurable empiriquement, cela ne signifie pas l absence d accès conscient, par exemple chez un patient atteint du syndrome d enfermement (locked-in syndrom) ayant perdu tout moyen de communiquer, et cependant tout à fait à même de ressentir des états mentaux et d influer sur leur contenu. De manière similaire, un observateur portant son attention sur un distracteur échouera à rapporter la présence d une texture, alors même que cette texture induit une activité neurale récurrente au sein des aires visuelles précoces (Scholte et al., 2006). Cela signifie-t-il que la ré-entrance n est pas un facteur nécessaire et suffisant à l expérience consciente? Selon Victor Lamme (2006a), il s agit là encore d une confusion entre la mesure d aptitudes cognitives (rapporter verbalement une texture lorsque celle-ci n est 22

23 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF pas attendue) et la mesure des corrélats de l expérience phénoménologique pure, ici caractérisée par des boucles récurrentes locales au sein des aires visuelles précoces. Selon les termes proposés par Ned Block (2001), les patients cérébro-lésés comme les observateurs en condition d inattention ont une conscience phénoménale du stimulus issue des boucles de ré-entrance locales, sans pour autant avoir les ressources nécessaires pour accéder consciemment à son contenu (conscience A, nécessitant des boucles de récurrentes antéro-postérieures globales) et rendre ainsi compte de toutes les facultés cognitives mesurées comportementalement (introspection, mémorisation, rapport verbal, etc.). Dans les deux cas, le ressenti n est pas associé à la conscience phénoménale. Nous discuterons des problèmes soulevés par cette dissociation dans la sous section page Espace de travail neuronal global La théorie de l espace de travail neuronal global (GNW, pour Global Neuronal Workspace) propose en premier lieu une architecture qui réconcilie un système cognitif modulaire, fait de multiples processeurs fonctionnant en parallèle (Fodor, 1983), avec l idée que la conscience est avant tout caractérisée par ses propriétés intégratives (Baars, 2005). Pour être intégré, le système est considéré comme responsable de la coordination et du contrôle des échanges d information, autorisant ainsi les modules à diffuser le produit de leur traitement à l ensemble du cerveau. Selon Dehaene & Naccache (2001), c est la disponibilité globale de l information que l on ressent subjectivement comme un état conscient. Ce protocole de communication spécifique à la cognition consciente associe donc de multiples réseaux de neurones autonomes, ou encapsulés, traitant une dimension particulière de l information (par exemple l orientation au sein de l aire visuelle V1, ou le mouvement au sein de l aire V5, voir sous-section 1.2). Selon le modèle, le fonctionnement isolé de ces modules est responsable des aptitudes cognitives non conscientes, pour lesquelles aucune expérience subjective n est associée. Corrélant avec cette hypothèse,une étude a montré que les activités cérébrales associées au traitement d un mot rendu non détectable par masquage visuel sont restreintes à l aire visuelle de la forme des mots (VWFA, pour Visual Word Form Area) et ce indépendamment de la casse, ce qui suggère une reconnaissance invariante et non consciente du mot (Dehaene et al., 2001). Les influences résultant d un traitements non conscient sont caractérisées par leur évanescence dans le temps (typiquement, l influence disparaît au delà de 500ms, voir Dupoux et al., 2008; Mattler, 2005, mais voir Gaillard et al., 2009, pour des influences à plus long terme), et le fait qu elles deviennent de plus faible amplitude à 23

24 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF mesure que les niveaux cognitifs concernés mettent en jeu des processus de hauts niveaux (par exemple le traitement sémantique des mots, voir, Kouider & Dehaene, 2007, ou le contrôle exécutif, voir Lau & Passingham, 2007; van Gaal et al., 2008). En comparaison, la diffusion globale de l information permet un traitement à la fois soutenu dans le temps et flexible, puisque il n est pas encapsulé au sein d un module cognitif spécifique, mais partagé par plusieurs modules, notamment spécialisés pour le rapport verbal, la mémoire, ou la planification à long terme. Ainsi, toujours dans l exemple de la lecture, des mots visibles activent non seulement la VWFA, mais aussi un vaste réseau fronto-pariétal associé à l espace de travail. Cet espace de travail est centralisé, il opère de manière sérielle, limitant donc la cognition consciente dans sa dynamique (on parle de goulot d étranglement associé à l accès conscient). Il peut être vu comme un protocole de communication, multipliant les combinatoires d états neuraux et restituant ainsi la diversité de l expérience consciente 4. L accès conscient opéré par l espace de travail neuronal global est délimité par un seuil dynamique, qui fluctue à la fois selon des variations stochastiques pendant les premières étapes de traitement, mais aussi selon l état du système avant sa stimulation. Le modèle prédit donc une transition entre traitement non conscient et expérience subjective en tout ou rien (Dehaene et al., 2003). Cela a pu être montré par des expériences de clignement attentionnel, dans lesquelles un stimulus constant oscille de manière binaire entre l état perçu et non perçu (Sergent & Dehaene, 2004). Deux prédictions fortes découlent de la théorie de l espace de travail neuronal global. La première est qu en principe, un stimulus subliminal ne peut pas être diffusé de manière soutenue au sein de l espace de travail conscient. Cette limite a d abord été mise à mal par plusieurs études, et notamment l une d entre elle montrant par électroencéphalographie (EEG) que des stimuli rendus invisibles par masquage peuvent induire une inhibition de réponse motrice en lien avec des activations dans le cortex préfrontal (stimuli no-go, sous-tendant donc un contrôle cognitif non conscient, van Gaal et al., 2008). Par la suite, la même mesure réalisée en imagerie par résonance magnétique fonctionnelle (IRMf), dont la résolution spatiale est plus importante que l EEG, a finalement permis de montrer que les activités induites par les stimuli invisibles provenaient en fait de régions en dehors de l espace de travail, incluant notamment l aire motrice supplémentaire (van Gaal et al., 2011). En revanche, les mêmes stimuli perçus consciemment donnaient eux lieu à des activations dans des régions plus antérieures, incluant notamment le cortex 4. La théorie du darwinisme neural postule que cette diversité provient à la fois d un répertoire primaire, sélectionné pendant l embryogenèse, et secondaire, sélectionné par interaction avec l environnement (Edelman, 1993). 24

25 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF cingulaire antérieur et des régions fronto-pariétales, typiquement considérées comme parties intégrantes de l espace de travail. Si l existence d un contrôle cognitif non conscient semble avérée, la première prédiction faite par la théorie semble néanmoins résister aux observations des corrélats neuraux le sous-tendant. La deuxième prédiction est perturbationnelle : des interférences avec les régions frontopariétales sous-tendant l espace de travail devrait moduler le contenu d une expérience consciente associée. Si à l heure actuelle le contenu n est pas entièrement décodable par les techniques d imagerie (voir Haynes & Rees, 2006 pour une revue de la littérature), l étude de cas cliniques montre que des lésions fronto-pariétales modifient le niveau de conscience, en engendrant notamment des états de coma végétatif (Laureys, 2005). De manière plus fine, à l aide d un paradigme de masquage chez des patients présentant des lésions préfrontales focales, il a été montré une élévation du seuil perceptuel en corrélation avec l étendue anatomique de la lésion (Del Cul et al., 2009). De manière critique, cette corrélation n a pas été retrouvée lorsque les stimuli masqués n étaient pas visibles, ce qui témoigne de la spécificité du rôle du cortex préfrontal pour la perception consciente 5. Cette fois-ci chez une population non pathologique, plusieurs études utilisant la TMS suggèrent le rôle de plusieurs régions cérébrales antérieures pour la perception consciente. Notamment, l inactivation du sulcus interpariétal impliqué dans l amplification attentionnelle induit un effet d estompement (Troxler fading), dans lequel un stimulus périphérique n est plus accessible à l expérience consciente (Kanai et al., 2008, voir Lamme, 2006b; Dehaene & Changeux, 2011 pour des revues de la littérature). A un niveau métacognitif, l inactivation du cortex préfrontal réduit également le niveau de confiance des participants sur leur perception, tout en préservant leur performance objective sur le stimulus (Rounis et al., 2010). Ces premiers éléments, tout en restant indirects, appuient le rôle causal de l espace de travail neuronal global pour la perception consciente. 5. D autres contrôles ont montré que les patients ne présentaient pas de déficits cognitifs globaux, notamment en ce qui concerne l amplification attentionnelle. 25

26 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF Dissociation entre conscience et attention endogène Nous pouvons définir de manière opérationnelle l attention visuelle comme la sélection d un attribut d intérêt dans le temps ou l espace, par l amplification de son traitement, associée à l inhibition de celui de ses distracteurs (Broadbent, 1958). La sélection présuppose que l attribut ait été traité au moins en partie de manière automatique, la profondeur de ce traitement pré-attentionnel demeurant débattue (Treisman, 1985). Le filtrage attentionnel de l environnement peut-être intentionnel, volontaire, il est alors dit endogène, mais également automatique, déclenché par l apparition d un stimulus saillant, il est alors dit exogène. La suite de nos travaux sur l encombrement visuel se concentrera sur une modalité attentionnelle endogène dite couverte, ou la position du regard est décorrélée de la position attendue dans le champ visuel, à l inverse de la modalité dite ouverte dans laquelle les deux positions sont confondues (Posner, 1980). Il semble à première vue qu attention et conscience fonctionnent de manière synergique : la partie de l environnement faisant l objet d une amplification attentionnelle endogène est accédée consciemment, et cet accès disparaît si l attention est déportée sur une autre partie. Dès lors, émergent des phénomènes tels le clignement attentionnel (Raymond et al., 1992), dans lequel l investissement cognitif sur un premier stimulus rend un stimulus successif invisible (ce dernier peut-être vu comme tombant dans une période réfractaire psychologique), ou la cécité inattentionnelle, dans laquelle une partie même saillante de l environnement n est pas perçue si elle est inattendue (Mack et Rock, 1998). Si chacun d entre nous porte son attention sur ce qu il peut accéder consciemment, et donc qu il est pleinement conscient des événements attendus, cela signifie-t-il d une part la nécessité de l accès conscient pour l amplification attentionnelle, et d autre part la nécessité de l attention pour l accès à la conscience? Afin de répondre à ces questions, la mise en œuvre d une approche contrastive via laquelle les deux phénomènes sont étudiés indépendamment a été fructueuse (Koch & Tsuchiya, 2007). D une part, il a été clairement établi que l accès conscient n était pas nécessaire à l amplification attentionnelle. Il ne fait plus aucun doute qu il est possible d amplifier attentionellement des stimuli visuels que l on ne peut détecter (Naccache et al., 2002), ou discriminer consciemment (Montaser-Kouhsari & Rajimehr, 2005, Faivre & Kouider, 2011, présent dans ce manuscrit chapitre 1 page 57). En revanche, la possibilité d accéder consciemment à l information sans attention endogène demeure très débattue. Affirmer cette possibilité requiert dans un premier temps de supprimer toute ressource attentionnelle lorsque le participant perçoit le stimulus d intérêt, ce qui est loin d être trivial dans 26

27 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF la mesure où de multiples formes excédentaires peuvent y être allouées. Une manière de procéder consiste à exercer une charge attentionnelle, c est à dire imposer au participant une tâche demandante en ressource cognitive, parallèlement à la tâche d intérêt. En lien, il a été montré que des participants entraînés rapportaient percevoir consciemment l essentiel (gist) de scènes naturelles présentées en périphérie du champ de vision (paysage, animaux, visages), leur performance pour les reconnaître étant élevée alors même que leurs ressources attentionnelles étaient allouées à une tâche centrale indépendante (Li et al., 2002). En revanche, une étude plus récente mettant en jeu des charges attentionnelles plus importantes a conclu que même si la moyenne de ces performances demeurait significativement au dessus du niveau du hasard, une proportion non négligeable d essais étaient ratés du fait de l inattention (Cohen et al., 2011). Ces résultats n appuient donc pas une double-dissociation nette entre attention et conscience. Un argument de poids supérieur est peut-être le fait que l amplification attentionnelle et l accès conscient puissent avoir des conséquences opposées sur un même stimulus. En effet, un antagonisme entre attention et conscience a récemment été illustré en ce qui concerne la durée d images consécutives 6 : le fait de porter attention à un stimulus, qu il soit visible ou invisible a pour conséquence la diminution de la durée de son image consécutive, alors que le fait de percevoir consciemment un stimulus, qu il soit attendu ou non attendu a pour conséquence son augmentation (van Boxtel et al., 2010). D un point de vue théorique, dans le modèle de l espace de travail neuronal global, l amplification attentionnelle est considérée comme une fonction nécessaire à l accès conscient, responsable à la fois de la mobilisation des modules spécialisés, et de la diffusion de leurs produits de traitement. Par conséquent, des entrées sensorielles de par nature suffisamment puissantes pour gagner l espace de travail neuronal global ne seront pas accédées sans amplification attentionnelle. Ces modalités perceptuelles intermédiaires non attendues sont qualifiées de pré-conscientes (Dehaene et al., 2006). Elles rendent compte des phénomènes de clignement attentionnel et de cécité inattentionnelle. Dans la mesure ou l encombrement aurait pour cause un déficit attentionnel en périphérie du champ de vision (voir sous-section page 47), il incarnerait un cas typique et permanent de perception pré-consciente. Les relations entre attention, conscience et encombrement seront discutées dans le chapitre 2 page 188. La théorie de l espace de travail neuronal global présuppose également que les régimes neuraux récurrents font partie intégrante des mécanismes associés à la diffusion globale 6. C est à dire des images illusoires qui demeurent perçues après que le stimulus physique a disparu, du fait de l adaptation sensorielle. 27

28 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF de l information (voir Edelman et al., 2011, pour une tentative de synthèse entre espace de travail et ré-entrance). En revanche, le modèle définit que la modalité pré-consciente n est pas associée à la diffusion des opérations au sein de l espace de travail, et prédit donc qu elle ne donne pas lieu à une expérience subjective. En revanche, l interprétation forte de la théorie de la ré-entrance vue par Victor Lamme est dissociative. Elle suppose que la ré-entrance sous forme de boucles locales au sein du cortex sensoriel est présente lors de la modalité pré-consciente, et suffisante pour donner naissance à une expérience phénoménale. Les ressources sous-tendues par les régions fronto-pariétales n étant pas disponibles il s agit donc d une conscience de type P, non accédée, et même non ressentie (Lamme, 2006a). Il est ainsi proclamé que la théorie de l espace de travail neuronal global explique le fait d accéder plutôt que celui de voir (Lamme, 2010). Pourtant, il semble que si même la conscience phénoménale ne donne pas lieu à une expérience ressentie par le sujet, la dissociation entre conscience phénoménale (problème difficile) et conscience d accès (problème facile) demeure infalsifiable (Cohen & Dennett, 2011). En effet, comment affirmer ou infirmer que des boucles de ré-entrance locales sont associées à une expérience phénoménale, si le sujet même n a pas la sensation associée? Comment distinguer ce régime d un traitement non conscient de l information? Il semble que l argument de pureté neurale, celui de poser comme critère à la phénoménologie un régime cérébral donné, s apparente à une élimination matérialiste du problème. A l inverse, la notion de pré-conscience fait sens dans la mesure ou elle définit opérationnellement une potentialité, tout en se gardant de postuler l existence d un état mental conscient non rapportable et non ressenti : il s agit d un régime neural qui n est pas associé à une expérience subjective, mais qui, en présence d amplification attentionnelle, pourrait y donner lieu. Cela constitue un point de divergence important entre les deux théories (voir Figure 1.2). Nous faisons l assomption que l étude de la conscience doit reposer sur des fonctions cognitives permettant l expression du ressenti du sujet. Tout en conservant le modèle de la ré-entrance neurale comme mécanisme permettant la mise en relation de modules cognitifs associés à l accès conscient, nous rejetons l hypothèse d une phénoménologie sans accès, qui selon nous repose sur un postulat non appréhendable par la méthode expérimentale. 28

29 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF Figure 1.2: Comparaison des modalités perceptives proposées par les théories de l espace de travail neuronal global et de la ré-entrance. Trois niveaux perceptuels sont distingués, en fonction de l énergie du stimulus (ici un mot subliminal ou supraliminal), et de l amplification attentionnelle (présente ou absente, représentée sur les schémas supérieurs par les flèches noires épaisses). Selon les deux théories, un stimulus subliminal non attendu sera traité de manière locale et non récurrente au sein de modules sensoriels spécialisés, alors que le traitement d un stimulus supraliminal attendu sera caractérisé par une diffusion au sein de l espace de travail, et par l induction de boucles de ré-entrance globales entre les régions fronto-pariétales et le cortex sensoriel (représentées par les doubles flèches curvilignes). Le point de divergence se situe pour les stimuli supraliminaux non attendus. Si les deux théories prédisent des activations neurales plus intenses et plus prolongées dans le temps avec des boucles de ré-entrance locales au sein du cortex sensoriel, la première n associe pas d expérience subjective à la modalité pré-consciente, puisque l espace de travail n est pas mis en jeu. En revanche, la deuxième y associe une expérience consciente phénoménale, qui reste non rapportable en l absence de boucles récurrentes globales. (Adapté de Dehaene et al., 2006; Lamme, 2006a). 29

30 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF Théorie de l intégration de l information La théorie de l intégration de l information (IIT, Tononi & Edelman, 1998; Tononi, 2008) part d une observation phénoménologique simple. Toute expérience subjective est d une part différenciée, c est à dire discernable de n importe quelle autre expérience subjective. Toute expérience subjective est également intégrée, c est à dire ressentie dans son intégralité comme unifiée, et non réductible à la somme de ses parties, tout comme le percept d un carré rouge n est pas dissocié en la perception d une forme géométrique en parallèle à la perception d une couleur. Selon le formalisme mathématique au coeur de la théorie, la quantité d information intégrée Ф représente l information générée par un ensemble d opérateurs interconnectés au delà de l information générée par la somme de ses parts. Une expérience de pensée illustre bien ce concept. De la même manière qu un individu, une photodiode placée devant un écran qui s allume et s éteint alternativement est capable d indiquer quand l écran est en marche, et quand il ne l est pas. Selon l IIT, la différence entre ces deux entités tient en la différence quantitative d information qu elles génèrent. De la même manière qu un dé lancé réduit l incertitude de six états possibles à un état observé, une photodiode binaire réduit l incertitude de deux états possibles à un état observé, et générera donc log 2 (2) = 1bit d information (le dé génère lui log 2 (6) = 2.59bits d information). L individu conscient ne réduit pas l incertitude entre deux alternatives, mais rejette toute l immensité du répertoire des stimulations qu il a rencontrées au cours de sa vie pour spécifiquement n en retenir que l état observé. En d autres termes, la nature de la lumière captée par la photodiode n est d aucune importance à partir du moment où un seuil de détectabilité est atteint. En revanche, chez un individu conscient, c est justement la faculté de discrimination au sein d un répertoire de différentes alternatives qui corrèle selon l IIT avec son niveau de conscience. La théorie propose donc que le niveau de conscience d un mécanisme est reflété par sa capacité à discriminer de manière spécifique différentes alternatives. De manière cruciale, et à première vue contre-intuitive, le niveau de conscience est donc défini selon une potentialité : un système neural participant à la constitution du répertoire des états conscients influera sur le niveau de conscience même si ce dernier est inactif. Un capteur composé d une assemblée d un million de photodiodes génère 10 6 bits d information, et peut donc discriminer entre états, soit une immensité d alternatives possibles. L IIT prédit pourtant que sa valeur de Ф est nulle puisque chaque photodiode 30

31 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF réalise localement une discrimination sans interaction avec ses voisines. La mesure de Ф d un système résulte d une comparaison entre le fonctionnement du système décomposé en ses parties minimales (soit la partition d information minimale) et le système pris comme un tout. Ici, le capteur fonctionnant comme la somme d un million de photodiodes sans que l ensemble soit supérieur à la somme des parties, la différence est nulle, et l information différenciée n est donc pas intégrée, (cf. Balduzzi & Tononi, 2008, pour le formalisme utilisé dans le calcul de Ф, et Seth, Barrett, & Barnett, 2011, pour un état de l art plus général en la matière). Comme pour la théorie de l espace de travail neuronal global ou la théorie de la réentrance, l IIT suppose que le mécanisme entraînant l unité de l expérience subjective implique l existence d interactions causales au sein du cerveau. L ensemble fonctionne comme un système intégré, qui voit ses performances s effondrer si les interactions sont empêchées. C est typiquement ce qui est observé dans le sommeil profond, l anesthésie, les états de coma végétatifs ou encore les absences épileptiques (voir Tononi & Koch, 2008, pour une revue des liens entre états modifiés de conscience et IIT). En revanche, à la différence des deux théories précédentes qui fournissent un cadre matérialiste puissant sans définition universelle de la conscience présupposée, l IIT est par essence axiomatique, et présuppose que la conscience est l intégration de l information. La conscience s étend alors au sein d un continuum entre des niveaux très faibles et des niveaux sans doute supérieurs à l expérience humaine. S il semble découler à première vue que l IIT implique une vision panpsychiste du monde, où toute réalité matérielle est dotée d une conscience, cela est nuancé par le fait que les valeurs élevées de Ф semblent restreintes à des singularités parmi lesquelles figurent l architecture thalamo-corticale spécifique à la classe des mammifères (l architecture cérébelleuse, elle, n est pas favorable à l intégration de l information, ce qui corrèle avec la faible contribution de cette structure pour les corrélats neuraux de la conscience, cf. Balduzzi & Tononi, 2008). Même si à l heure actuelle cela reste difficilement testable empiriquement, il est concevable que les théories de l espace de travail neuronal global ou de la ré-entrance soient des opérationnalisations fonctionnelles de l IIT. D un point de vue empirique, des résultats préliminaires venus de l étude du sommeil (Massimini et al., 2005) et de l anesthésie (Ferrarelli et al., 2010) présagent de son pouvoir prédictif. Dans ces deux situations, la conscience semble s évanouir alors même que les neurones demeurent réactifs, en accord avec l IIT qui prédit que le taux ou la synchronie des décharges neuronales n est pas un déterminant majeur de l éveil ou l évanouissement conscient. Une manière heuristique de sonder la capacité du cerveau à encoder de ma- 31

32 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF nière intégrée un vaste répertoire d informations consiste à perturber son fonctionnement par la TMS, puis d en mesurer les conséquences par EEG. L approche perturbationnelle par TMS est motivée par le fait qu il est difficile d affirmer qu un système est intégré simplement en observant son activité spontanée. Par exemple, les corrélations au sein de séries temporelles d un signal rétinien peuvent laisser penser que cet organe fait preuve d intégration de l information, alors que la perturbation de quelques cellules rétiniennes démontre qu il fonctionne comme une somme de modules indépendants. A l inverse, un cerveau conscient devrait être caractérisé par l importance du répertoire des états qu il peut prendre (différenciation), tout en étant non décomposable en modules causalement indépendants (intégration). Durant l éveil, l impulse de TMS au niveau du cortex prémoteur rostral induit des activités neurales oscillant d abord à hautes fréquences (20 à 35Hz) pendant les 100ms suivant l impulse, puis à plus basse fréquence (8 à 12Hz) pendant encore 200ms. La reconstruction des patterns d activité indique que ces derniers sont spatialement et temporellement différenciés, se propageant le long de connections à la fois ipsilatérales et trans-calleuses. Dès l endormissement, la réponse évoquée par la TMS reste localisée autour du point de stimulation, sans propagation à grande échelle au sein du cerveau, et devient nulle dès 150ms après l impulse. Cette approche perturbationnelle pour le moment qualitative indique que la perte de conscience semble découler d une perte de connectivité fonctionnelle, c est à dire l interaction causale entre différents modules cérébraux censée opérationnaliser l intégration de l information. Si cette mesure objective de conscience se révèle à la fois normative, sensible et spécifique, elle devrait être capable d évaluer le stade clinique de patients non-communiquants ainsi que de prédire leur pronostic de récupération. A l heure actuelle, il demeure que ces faits empiriques sont interprétables de manière parcimonieuse en dehors de l IIT, notamment sur les bases de l espace de travail neuronal global. 32

33 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF 1.4 Inconscient cognitif et approche contrastive La conscience comme variable Afin d identifier les corrélats neuraux de la conscience, c est à dire l ensemble minimal d événements neuraux suffisant à l occurrence d un percept conscient précis (ci-après NCC, Koch, 2004), il est utile de comparer les influences neurales et psychologiques de stimulations supraliminales donnant lieu à un percept conscient, et subliminales, n y donnant pas lieu. C est la ligne suivie par l approche contrastive qui vise à isoler les spécificités associées à l accès conscient d une information. Au cours de nos travaux, cette approche a été mise en œuvre pour comparer l influence de la durée de stimulation sur la perception consciente et non consciente. Ainsi, nous avons pu isoler une spécificité du traitement conscient qui permet la prévention de l habituation visuelle au cours du temps (voir le chapitre 5 page 147). A quelques exceptions près (Perruchet & Vinter, 2002; Holender & Duscherer, 2004), l existence d un traitement de l information non conscient est maintenant globalement acceptée. La question est plutôt de savoir si ce dernier se différencie du traitement conscient de manière qualitative, comme nous l avons vu avec les modèles de la ré-entrance et de l espace de travail neuronal global, ou de manière quantitative, avec un continuum décrivant une augmentation de la profondeur des traitements en fonction de variables continues comme la saillance du stimulus (Cleeremans, 2006). Les deux alternatives impliquent des prédictions différentes, notamment en ce qui concerne la longévité des représentations non conscientes (Dupoux et al., 2008). La réponse à cette question nécessite de comparer le plus purement possible des situations de perception consciente et non consciente. L approche contrastive nécessite donc la mise en œuvre de manipulations visant à faire passer des stimuli au dessus (supraliminal) ou en dessous (subliminal) du seuil de perception. Au laboratoire, ces manipulations tirent profit des propriétés du système perceptuel. En ce qui concerne la vision, le masquage visuel est sans doute la méthode la plus utilisée. Il s agit de rendre une image invisible en la présentant moins de 50ms précédée et suivie de patterns partageant avec elle des propriétés physiques (Breitmeyer, 2007). L approche contrastive compare alors les états psychologiques ou neuraux associés à la perception d un stimulus masqué et non masqué. On peut estimer la profondeur des traitements non conscients, c est à dire la complexité de la dimension traitée du stimulus masqué alors même que ce dernier demeure invisible. Au cours des vingt dernières années, les limites de l inconscient cognitif estimées via le masquage visuel n ont eu de cesse d être repoussées, avec l accumulation de preuves 33

34 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF concernant le traitement non conscient d attributs physiques (contraste, couleur, orientation), lexicaux (reconnaissance des lemmes d une langue donnée), et même sémantiques (relatifs au sens des mots, voir Kouider & Dehaene, 2007 pour une revue de la littérature). Une autre méthode tire profit de la rivalité binoculaire, faisant que des images en compétition présentées respectivement à l œil droit et à l œil gauche via un stéréoscope sont perçues non pas comme une chimère faite des deux images mais plutôt de manière alternative, le percept conscient oscillant entre les deux stimuli selon une distribution gamma (Tong et al., 2006). Plus récemment, une amélioration de la rivalité binoculaire appelée suppression par flashs continue (CFS) a été proposée, elle consiste à stimuler un œil avec le stimulus d intérêt tandis que l autre œil est intensément stimulé avec des patterns géométriques colorés appelés mondrians (Tsuchiya & Koch, 2005; Fang & He, 2005). En comparaison au masquage visuel, cette méthode présente l avantage majeur d une stimulation maintenue sous le seuil de conscience pendant des durées de plusieurs secondes. De la même manière que pour le masquage visuel, il est possible de comparer le traitement de stimuli perçus au traitement des mêmes stimuli dominés, ou supprimés par le CFS (Lin & He, 2009). Dans nos travaux expérimentaux, nous avons mis à profit le masquage et le CFS pour l étude des propriétés du traitement non conscient d expressions faciales. Qui plus est, nous avons comparé la profondeur de traitement autorisée par ces deux méthodes avec celle autorisée par l encombrement (voir section 3 page 79). Nous considérons que des comparaisons méthodologiques systématiques sont nécessaires à l estimation précise de la profondeur de l inconscient cognitif. En effet, si la définition des NCC peut être inférée à partir du contraste entre cognition consciente et non consciente, il est crucial que les limites attribuées à la cognition non consciente émergent des propriétés intrinsèques du système, et non pas de limites méthodologiques. Nous reviendrons sur ce point dans la discussion. Même si notre travail se consacre aux manipulations perceptuelles du seuil de conscience, il est intéressant d évoquer que l approche contrastive peut également reposer sur d autres situations. Tout d abord, comme cité précédemment dans la sous-section page 26, il est possible d étudier via des manipulations attentionnelles le traitement de stimuli non perçus sous condition de clignement attentionnel, ou de cécité inattentionnelle. Par ailleurs, l approche contrastive peut s exercer à l hôpital, notamment chez des patients atteints de lésion du cortex visuel et présentant des facultés dites de vision aveugle, chez des patients présentant classiquement des lésions dans le cortex pariétal postérieur 34

35 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF droit, dits héminégligents, ainsi que pour des états altérés de conscience, tels le sommeil, l anesthésie, ou le coma (Naccache, 2005) Mesurer l inconscient cognitif Dans le cadre d une approche contrastive, l étude de l inconscient cognitif est possible par la caractérisation des états neuraux ou cognitifs relatifs au traitement de stimuli non rapportables, dont on considère l expérience subjective associée comme inexistante. Établir le traitement non conscient d une information nécessite donc l association d une mesure directe de visibilité nulle à une mesure indirecte non nulle qui reflète ce traitement (Holender, 1986). Mesure indirecte de traitement non conscient De manière générale, les mesures indirectes de traitement non conscient reposent sur les conséquences de la stimulation subliminale sur le système perceptuel ou cognitif. Ces conséquences sont en majorité dues à une propriété cruciale de la réponse neurale : son adaptation (Kohn, 2007). Ainsi, le postulat est fait qu il y a traitement non conscient d une dimension du stimulus si la réactivité neurale associée à cette dimension change conséquemment à la présentation subliminale du stimulus. Forte de son pouvoir prédictif et descriptif, l adaptation est considérée comme étant au psychophysicien ce que la microélectrode est à l électrophysiologiste. Au niveau comportemental, l adaptation donne notamment lieu au phénomène d amorçage, dans lequel la dimension d une cible est traitée plus efficacement si elle est précédée par une amorce même invisible partageant cette dimension. C est donc la nature de la relation entre cible et amorce (physique, conceptuelle) qui permet d inférer la profondeur du traitement non conscient étudié. L amorçage a été abondamment mis à profit par l approche contrastive, et notamment au sein de ce travail de thèse pour les études présentées en chapitres 1, 3, et 5. Au niveau neural, l adaptation donne naissance aux phénomènes de suppression et d augmentation à la répétition, dans lesquels l activité cérébrale induite par le traitement de l amorce est respectivement diminuée ou augmentée lors de la présentation d une cible similaire. Cette approche a été mise à profit dans notre seconde étude en IRMf présentée en annexe 1 page

36 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF Mesure directe de visibilité Pour la modalité visuelle, la force du signal est corrélée à des caractéristiques physiques telles la luminance, le contraste, la durée de présentation, mais aussi à des caractéristiques contextuelles telles la situation dans le champ visuel, ou la présence de distracteurs. Les conditions les plus favorables à l observation d un traitement non conscient sont obtenues avec une stimulation de force maximale, qui reste néanmoins immédiatement sous le seuil de rapportabilité. Cette limite définit le seuil perceptuel. En fonction de l objet d étude, il peut s agir du seuil de détectabilité, c est à dire la limite en dessous de laquelle l individu n est plus capable d indiquer la présence d un stimulus, ou du seuil de discriminabilité, c est à dire la limite en dessous de laquelle l individu n est plus capable de différencier les propriétés d une cible selon une dimension (par exemple le contraste, l orientation de lignes). Dans ce cas, et dans le cadre de l hypothèse de conscience partielle (Kouider et al., 2010), c est l information critique sur laquelle repose le comportement étudié qui échappe au rapport conscient. Plutôt qu un phénomène binaire en tout ou rien, l expérience consciente est donc considérée comme un continuum au niveau duquel certains types d informations sont accessibles tandis que d autres ne le sont pas. Que ce soit pour la détection ou la discrimination, si l on considère le signal comme l activité issue du stimulus cible, et le bruit comme l activité issue des distracteurs ou tout autre processus mental non corrélé à celui de la cible, il est à noter que du fait de la variabilité du rapport signal sur bruit, le seuil ne peut être déterminé que de manière probabiliste. Il convient donc d être conservateur dans les mesures de visibilité employées, afin de s assurer qu aucun processus conscient n interfère avec la mesure que l on réalise. Mesures objectives Le plus souvent, on réalise une mesure dite objective de visibilité. A la fin de l expérience visant à mesurer de manière indirecte le traitement non conscient, il est demandé au participant de réaliser une tâche sur la dimension étudiée du stimulus subliminal. Il peut par exemple être appelé à indiquer la présence ou non d un stimulus (détectabilité), ou à choisir parmi deux alternatives le stimulus subliminal présenté au préalable (discriminabilité). Dans les deux cas, en se référant à la théorie de détection du signal (Macmillan & Creelman, 2004), il est possible de classer les réponses du participant en quatre catégories. Si l on prend l exemple simple de la détectabilité, on considérera une détection correcte (hit) comme l indication correcte de la présence du stimulus, et une réjection correcte (correct rejection) comme l indication correcte de l absence du stimulus. L ensemble de ces deux types de réponses est associé au signal détecté. Symétriquement, le bruit est associé à l ensemble des fausses alarmes (false alarm), c est 36

37 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF à dire les indications de la présence du stimulus alors qu il n était pas présenté, et des détections manquées (miss), c est à dire les indications de l absence du stimulus alors qu il était présent. La mesure de sensibilité (notée d ) reflète alors la séparation entre la moyenne des distributions du signal d une part et du bruit d autre part. Un stimulus est considéré comme subliminal lorsque le signal n est pas distinguable du bruit, ce qui correspond à une valeur de d non significativement différente de zéro 7. Mesures subjectives Le seuil de perception est également évaluable de manière subjective, c est à dire en demandant au participant d évaluer sa perception du stimulus. Cette aptitude repose directement sur l introspection, c est à dire l accès à un contenu mental, assorti d une certaine capacité à le communiquer à soi même ou à autrui. Sujet à débat au cours de l histoire des sciences de la vie mentale (Sackur, 2009), le recueil de l expérience subjective par introspection est crucial pour les théories non dissociatives de la conscience, pour lesquelles la phénoménologie sans ressenti rapportable n est pas considérée (voir sous-section page 26). Les mesures subjectives présentent l avantage de pouvoir survenir simultanément à la mesure indirecte de traitement conscient, ce qui permet à posteriori d analyser la mesure indirecte en plusieurs catégories de visibilité (Sergent et al., 2005; de Gardelle et al., 2010, ainsi que l étude de ce travail de thèse présentée dans le chapitre 5 page 147). De plus, les mesures subjectives ne surestiment pas la perception consciente : dans de nombreux cas, comme la vision aveugle ou l apprentissage implicite, les participants ont un d supérieur à zéro alors même qu ils confessent ne pas percevoir le stimulus. Par ailleurs, il arrive parfois que l on s écarte du critère absolu de nullité du d, ce dernier étant dépendant à la fois de la tâche précise utilisée et du nombre d essais pour le test objectif. Par régression linéaire, on peut alors estimer ce que serait la mesure indirecte pour une valeur de d nulle (Greenwald et al., 1995). Le recueil d une expérience subjective est réalisable selon plusieurs méthodes, de manière directe ou indirecte, la plupart du temps sans faire appel au langage. Premièrement, on peut recueillir la qualité du percept, indiqué sur une échelle graduée après chaque essai. Cette échelle peut-être linéaire, mais aussi graduée en fonction de description précise donnée préalablement au participant (échelle de conscience perceptuelle, Sandberg et al. 2010). Avec le même type d échelle, on peut également recueillir le niveau de confiance dans la réponse du participant, il s agit alors d une tâche métacognitive, dite de second 7. Un autre indice utilisé dans la théorie de la détection du signal est le critère, qui reflète la tendance plutôt libérale (c est à dire répondre qu un stimulus est présent en présence d une évidence faible) ou conservatrice (c est à dire répondre qu un stimulus est présent en présence d une évidence forte) du participant dans sa manière de répondre. Critère et d sont deux mesures indépendantes. 37

38 CHAPITRE 1. CONSCIENCE ET INCONSCIENT COGNITIF ordre. Le recueil du niveau de confiance peut se faire de manière indirecte, comme dans le pari post-décisionnel, où le participant met en jeu un montant d argent en fonction de sa performance sur la tâche objective de visibilité, qu il gagnera si sa réponse est bonne, et perdra si elle est mauvaise (Kunimoto et al., 2001; Persaud et al., 2007). La corrélation entre les montants pariés et la performance objective, d abord considérée comme signature de l accès conscient, réfère sans doute plus aux connaissances métacognitives qu a le participant sur la confiance qu il a en son jugement (Seth, 2008). En ce sens, cette mesure a permis la validation de l existence de capacités métacognitives chez l animal non humain (Kornell et al., 2007). Ces méthodes présentent des sensibilités variables aux conditions de faibles signaux, et encore une fois le conservatisme est de rigueur dans ces situations (Sandberg et al., 2010). 38

39 2 L encombrement comme sonde de l inconscient cognitif 2.1 Faits empiriques Depuis la détection photonique par un photo-récepteur jusqu à la reconstruction perceptuelle d un objet le long de la voie ventrale, nous avons brossé le portrait global d un système visuel qui, pour des raisons écologiques à première vue pertinentes (voir la soussection 2.3 page 50), n alloue pas les mêmes ressources au traitement du centre et de la périphérie du champ de vision. Voyons maintenant du point de vue de l expérience subjective ce qu il advient de stimuli situés en périphérie. En 1923, Korte rapporte ce qu il ressent à la lecture d un mot périphérique. «C est comme s il y avait une pression qui compressait le mot de chaque côté. Les lettres les plus saillantes ou dominantes sont préservées, et elles écrasent les plus faibles, c est à dire les moins saillantes, situées au milieu.» C est la première description de ce que Stuart & Burian (1962) appelleront plus tard l encombrement (crowding, voir Pelli & Tillman, 2008; Levi, 2008; Whitney & Levi, 2011 pour des revues récentes de la littérature). Six propriétés principales caractérisent ce phénomène. Détection sans discrimination. Comme le soulignait Korte, l encombrement témoigne du fait qu un stimulus, qu il s agisse d une ligne orientée, d une lettre, d un symbole ou d un visage, dès lors qu il est présenté dans la périphérie du champ de vision à proximité d autres stimuli qui lui sont semblables, n est plus reconnaissable. Comme si certaines parties du stimulus en écrasaient d autres, ou que l ensemble se mélangeait en une texture indiscernable (voir figure 2.1 pour des exemples). En revanche, ce n est pas comme si le 39

40 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF stimulus disparaissait complètement. Il est en effet possible de détecter la présence du stimulus, mais pas de discriminer sa nature 1. Cette dichotomie est à la base d un modèle en deux étapes dans lequel les traits des objets sont d abord traités indépendamment, puis intégrés au sein d une représentation unifiée, cette dernière étape étant celle perturbée dans l encombrement (voir section 2.2 page 42). Espacement critique. En 1970, Bouma définit et donne son nom à la première caractéristique psychophysique de l encombrement : un stimulus périphérique est encombré lorsque ses voisins sont situés à une distance inférieure à environ la moitié de son excentricité, appelée espacement critique, et mesurée du centre du stimulus cible au centre de son voisin. Ainsi si l on nomme ϕ l espacement critique, b la constante de Bouma (environ 0.5), et φ l excentricité, on a : ϕ = b ϕ (2.1) De manière surprenante, l encombrement n est pas sensible à la taille du stimulus cible, c est à dire que l espacement critique n est proportionnel qu à l excentricité du stimulus, et reste à peu près constant si l ensemble du dispositif est agrandi (Tripathy & Cavanagh, 2002), à l inverse du masquage qui est décrit comme dépendant de la taille du stimulus mais pas de l excentricité (Pelli et al., 2004). Ce phénomène est directement testable sur la Figure 2.1, et sert de critère diagnostique objectif pour différencier l encombrement du masquage latéral. Des résultats récents montrent tout de même une possible réduction de l encombrement d une cible en augmentant la taille de ses voisins, sans doute par diminution de la similarité cible - voisin (Levi & Carney, 2009). En effet, il est décrit que l espacement critique est réduit lorsque le stimulus et ses voisins sont semblables en terme de forme, de taille, d orientation, et de fréquence spatiale. L encombrement existe également pour l information de colorimétrie, de teinte et de saturation, mais dans une moindre mesure (Van den Berg et al., 2007). Par ailleurs, si, lorsqu il est supérieur à deux, le nombre de voisins similaires n est pas déterminant, leur configuration globale influe sur l espacement critique. Notamment le fait que des voisins orientés puissent être regroupés par co-circularité (c est à dire que leurs orientations 1. Cependant, une étude récente a nuancé cette dichotomie en montrant que l encombrement pouvait perturber la détection d une cible lorsque celle-ci était couplée spatialement ou temporellement à du bruit visuel (Allard & Cavanagh, 2011). Si l encombrement n impacte pas la détection en l absence de bruit visuel, les auteurs suggèrent que dans leur expérience, la présence de bruit induit un glissement stratégique qui amène à essayer de discriminer la cible pour la détecter. 40

41 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF successives définissent un cercle) ou co-linéarité (c est à dire que leurs orientations successives définissent une ligne) augmente l espacement critique, et donc diminue le degré d encombrement (Saarela et al., 2009; Livne & Sagi, 2007, 2010). Anisotropie. Comme le remarquait déjà Bouma, l espacement critique n est pas isotrope dans le champ visuel, puisque des voisins agencés radialement par rapport à la cible auront un effet plus drastique sur sa discriminabilité que les mêmes voisins agencés tangentiellement (Toet & Levi, 1992; Intriligator & Cavanagh, 2001). On estime en effet que l espacement critique tangentiel ϕ t est environ deux fois plus faible que l espacement critique radial ϕ r (voir figure 2.1). Ainsi, si l on mesure la position des voisins respectant l espacement critique dans différentes régions visuelles, nous obtenons des fenêtres plus allongées dans la direction radiale que tangentielle, avec une ellipticité environ égale à deux. Asymétrie. Avec une même excentricité, un voisin radial situé en dehors du stimulus cible réduit plus fortement sa discriminabilité que le le même voisin situé en dedans. A première vue contre-intuitif, ce phénomène se retrouve à différents niveaux hiérarchiques d encodage, allant des lignes orientées (Petrov et al., 2007) jusqu aux visages (Farzin et al., 2009), en passant par les lettres (Banks et al., 1977). Cela s explique sans doute par le fait que du point de vue rétinotopique, le voisin en dehors est situé plus proche de la cible que le voisin en dedans (Motter & Simoni, 2007). Inhomogénéité. Anisotrope, et asymétrique, l encombrement est également inhomogène selon les deux axes du champ visuel. Les espacements critiques sont en effet plus élevés dans l hémichamp supérieur et dans l hémichamp gauche, témoignant d une sensibilité à l encombrement plus grande dans ces régions de l espace (He et al., 1996). Indépendance temporelle. Enfin, une dernière propriété fondamentale de l encombrement est que le temps de visualisation ne permet pas de restaurer la discrimination (Kooi et al., 1994). Nous avons mis à profit cette propriété dans nos travaux en manipulant indépendamment la durée de stimulation et la discriminabilité de stimuli encombrés, afin d étudier le rôle respectif de l évidence sensorielle et de l accès conscient pendant l adaptation sensorielle (voir chapitre 5). 41

42 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF Figure 2.1: Exemples de stimuli encombrés. Sur la figure de gauche, des stimuli centraux de différentes catégories sont entourés par des voisins similaires. En fixant la croix grise, l espace inter-stimulus est supérieur à l espacement critique, le stimulus central est alors discriminable. En fixant le tiret rouge, l excentricité augmente et l espacement n est plus suffisant, ce qui rend le stimulus central encombré et donc non discriminable. (Adapté de Pelli & Tillman, 2008). Sur la figure du milieu, la lettre W est entourée de voisins X respectant l espacement critique. Lorsque les X sont agencés tangentiellement au W, l espacement critique ϕ t est environ deux fois plus faible que ϕ r, l espacement critique de X agencés radialement au W. L encombrement est donc plus sévère dans la direction radiale que tangentielle. Sur la figure de droite, les fenêtres spatiales respectant l espacement critique sont tracées à différents endroits du champ visuel, illustrant le caractère anisotrope et inhomogène de l encombrement. 2.2 Théories de l origine de l encombrement En premier lieu, l observation de l encombrement lorsqu un stimulus et ses voisins sont respectivement présentés dans un œil différent falsifie les théories d origines rétiniennes. L occurrence la plus précoce de l encombrement doit se trouver au niveau du site de recombinaison binoculaire 2, c est à dire au niveau de V1 (Hubel & Wiesel, 1962; Parker, 2007). Il convient de distinguer la résolution visuelle, c est à dire l espacement résolu le plus fin entre des lignes de contraste maximal (typiquement obtenu avec des lignes alternant cinquante cinq fois sur un degré d angle visuel, Campbell & Gubisch, 1966), et la résolution de discrimination, qui permet d accéder aux éléments individuels pour les manipuler et ainsi les reconnaître, les compter, ou les suivre des yeux. Intriligator 2. On peut définir ce site de manière opérationnelle par le fait qu il contient des champs récepteurs sensibles à des afférences provenant à la fois de l œil gauche et de l œil droit. 42

43 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF & Cavanagh (2001) ont quantifié que cette résolution, ici qualifiée d attentionnelle, était cinq fois plus basse que l acuité visuelle dans la fovéa, et trente fois plus mauvaise à quinze degrés d excentricité. Au delà de cette résolution, les éléments sont vus, mais l individualité de chacun est inaccessible, ce qui donne lieu à l encombrement. Parmi les différentes théories que nous décrirons ci-dessous, un consensus semble émerger, dans lequel l encombrement est décrit comme intrinsèque au mécanisme de liage (binding). Ce dernier donne lieu au caractère unifié de la représentation perceptuelle, par laquelle un objet contenu dans l environnement n est pas perçu comme une multitudes de traits épars (couleur, orientation, contour, etc.), mais comme un tout unifié. Si les bases neurales du liage sont encore incertaines (voir Velik, 2010 pour une revue de la littérature), son principe et plus récemment son application à l encombrement sont largement acceptés. Dans ce cadre, les différents traits d un objet sont d abord encodés par des neurones le long de la voie visuelle ventrale, puis liés dans une fenêtre d intégration, ou de combinaison en un objet unifié. Les fenêtres d intégration sont distribuées afin de couvrir l ensemble du champ visuel, avec un accroissement de leur taille proportionnelle à l excentricité 3. Il en découle que la probabilité que deux objets soient liés dans la même fenêtre d intégration augmente avec leur excentricité dans le champ visuel. Si la fenêtre est plus grande que le stimulus cible, il se produit alors une conjonction illusoire, c est à dire une intégration de traits provenant d objets différents au sein d une même chimère. L objet ainsi créé apparaît brouillé, jusqu à devenir non discriminable sous certaines conditions. En lien avec cette idée, une étude a montré que la résolution pour discriminer la contingence de deux traits périphériques (par exemple une ligne orientée et colorée) était moins bonne que pour discriminer isolément chacun des deux traits (Neri & Levi, 2006). L opérationnalisation de ce schéma en deux étapes (encodage de traits uniques et intégration) reste aujourd hui débattue, et c est l objet des dissensions entre les deux familles de théories décrites ci-dessous. 3. Cet accroissement, ou glissement d échelle permet de conserver une bonne sensibilité aux basses fréquences spatiales en périphérie du champ de vision (Levi & Waugh, 1994) tout en utilisant des ressources neurales réduites. Cet argument d économie neurale semble pertinent puisque pour compenser, les saccades oculaires permettent d apporter un objet d intérêt à la fovéa pour un traitement plus fin de l information. 43

44 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF Théorie ascendante et perte d information Selon la théorie ascendante (bottom-up) de l encombrement, les fenêtres d intégration sont matérialisées au niveau du cortex visuel primaire, elles induisent une interférence entre les traits élémentaires de bas niveau (par l exemple l orientation) de plusieurs objets activant le champ récepteur d un même neurone. Diverses mesures montrent que la position d des neurones activés dans V1 est proportionnelle au logarithme de l excentricité φ de l objet correspondant dans le champ visuel, avec α et β des constantes propres aux propriétés histologiques de V1 (Engel et al., 1997). d = log ϕ β α (2.2) Si l on estime maintenant D l espacement critique histologique, c est à dire implémenté physiquement dans V1, on a : D = d ϕ+bϕ d ϕ = log(1 + b) β (2.3) Il en résulte que l espacement critique histologique D est indépendant de l excentricité dans le champ visuel. Ainsi, des estimations suggèrent que des objets encodés par des neurones de V1 à l intérieur de fenêtres distantes de moins de 6mm selon l axe radial et 1mm selon l axe tangentiel seront encombrés (Pelli, 2008). Il est à noter qu à notre connaissance, aucun enregistrement physiologique publié n appuie ces estimations à ce jour. Plusieurs implications découlent d une interprétation purement ascendante de l encombrement. La première, est que les influences sur le phénomène de l encombrement ne devraient se limiter qu aux caractéristiques physiques du stimulus, et principalement son respect ou non du critère de la loi de Bouma, c est pourquoi elle est souvent dénommée ascendante, ou bottom-up. Ainsi des influences de haut niveau, par exemple contextuelles ou attentionnelles ne devraient pas modifier la taille des fenêtres d intégration et donc en conséquence l espacement critique. Qu en est-t-il? L influence de l indiçage attentionnel sur l espacement critique est débattue. Globalement, les études montrent que le fait d attirer l attention spatiale par indiçage à l endroit de la cible encombrée augmente la capacité à la discriminer, ce par augmentation du 44

45 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF rapport signal sur bruit par l amplification de la cible couplée à l inhibition des voisins (Desimone & Duncan, 1995). En revanche, certaines de ces études montrent que l amplification attentionnelle ne réduit pas l espacement critique (Scolari et al., 2007), ou uniquement pour des degrés d encombrement faibles (par exemple pour des excentricités inférieures à 4 dans l étude de Strasburger, 2005 ; ou des espacements entre cibles et voisins supérieurs à 2 dans l étude de Felisberti et al. 2005). Cela semble donc aller en faveur des théories ascendantes. Une étude plus récente (Yeshurun & Rashal, 2010) montre en revanche que l indiçage réduit l espacement critique jusqu à 9 d excentricité, ce qui argumente plutôt en faveur des théories descendantes proposant que l encombrement reflète la résolution spatiale de l attention (voir section ci-dessous). Le rôle de l attention exogène sur l espacement critique reste donc à préciser. Par ailleurs, l influence de l attention endogène (intentionnelle, agissant à plus long terme) sur l espacement critique reste à explorer. A un autre niveau, il a été montré que la perception de lettres périphériques encombrées pouvait être améliorée par un entraînement durant six jours (Chung, 2007). La théorie ascendante postule que ce phénomène d apprentissage comme les effets de l amplification attentionnelle doivent provenir d une réduction de la taille des champs récepteurs au niveau des aires visuelles précoces. Cela devra être vérifié par des mesures électrophysiologiques. La deuxième implication de la théorie ascendante de l encombrement est la perte d information contenue dans les stimuli encombrés. Si l on imagine deux objets d orientations opposées suffisamment proches dans l espace pour que leurs représentations perceptuelles respectives soient établies au sein de la même fenêtre d intégration, l objet chimérique constitué contiendra la somme de ces deux orientations, les informations individuelles étant perdues pour la chaîne de traitement située en aval. Il y aurait alors concordance entre l expérience subjective que l on a d un stimulus encombré, et le contenu informatif qu il renferme. Il est intéressant de réfléchir à ce problème selon la notion de métamérisme, c est à dire le fait que deux stimuli physiquement distincts soient perçus comme identiques. Comme pour le métamérisme chromatique qui provient d une perte d information au niveau de l encodage rétinien du spectre lumineux (Conway, 2009), le métamérisme en vision périphérique doit provenir d une perte de l information au niveau des étapes corticales du traitement visuel. En lien, Freeman et Simoncelli (2011) ont proposé que deux scènes visuelles qui diffèrent uniquement selon l information périphérique perdue doivent apparaître identiques. A l aide d un modèle de traitement d image réalisant une intégration de 45

46 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF l information au sein de fenêtres dont la taille augmente avec l excentricité, les auteurs ont généré deux versions dégradées d une même scène visuelle complexe (voir figure 2.2). Présentées successivement à des participants, les deux versions se sont révélées métamériques puisque indistinguables l une de l autre. Les auteurs ont montré que le métamérisme périphérique était obtenu lorsque le modèle utilisait des fenêtres d intégration respectant le critère d espacement critique histologique de l aire visuelle V2. Enfin, ils ont également montré que la taille de ces fenêtres d intégration était indépendante à la fois de la durée de présentation du stimulus, et de l indiçage attentionnel. Ce modèle appuie donc la théorie ascendante de l encombrement, par la perte d information visuelle lors de la perception encombrée. Figure 2.2: Métamères en vision périphérique. A gauche, une image originale de scène visuelle complexe. A droite, deux métamères générés par le modèle de Freeman & Simoncelli. Lorsque les images sont visualisées en fixant le point central rouge, elles sont indistinguables les unes des autres malgré d importantes différences physiques en périphérie. Elles sont donc qualifiées de métamériques. (Adapté de Freeman & Simoncelli, 2011). En établissant une dissociation entre le ressenti subjectif et le traitement objectif de l information encombrée, les résultats contenus dans ce travail de thèse vont à l encontre d une perte totale de l information encombrée au sein des voies visuelles, et donc d une interprétation purement ascendante du phénomène d encombrement. En revanche, l existence de fenêtres d intégration histologiques dans V1 n est pas falsifiée, puisque leur observation aurait nécessité des mesures physiologiques d une résolution supérieure à celles permises par les techniques d IRMf que nous avons utilisées. 46

47 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF Théorie descendante et déficit attentionnel Selon la théorie descendante (top-down) de l encombrement, dite de haut-niveau, la taille des fenêtres d intégration corrèle avec la résolution spatiale de l attention. Cette théorie s appuie notamment sur une interprétation attentionnelle du problème du liage, proposée par Treisman & Gelade (1980). Elle stipule que les différents traits d un objet sont traités de manière précoce et automatique, l intégration se faisant de manière plus tardive et sérielle de part le focus attentionnel. L attention peut alors être vue en analogie avec un faisceau lumineux, qui, se déplaçant au sein du champ de vision, intègre tous les éléments qu il éclaire en un objet unifié 4. Selon Intriligator & Cavanagh (2001), les fenêtres d intégration sont opérationnalisées par le focus attentionnel, et l encombrement aurait pour origine une baisse de sa résolution en périphérie du champ de vision. Ce postulat s appuie sur des expériences de poursuite attentionnelle, dans lesquelles il est demandé aux participants de se concentrer sur une cible en mouvement parmi des distracteurs sans bouger les yeux (attentive, ou covert tracking). En périphérie, lorsque la distance cible-distracteur diminue et alors même que l acuité visuelle est suffisante pour discerner chaque stimulus, les performances sur la poursuite s effondrent. Si la résolution optique est conservée, c est le déclin de la résolution attentionnelle en périphérie qui explique cet effondrement, de par le fait que les éléments ne sont plus isolables, leurs positions précises étant inaccessibles. Selon les auteurs, le facteur déterminant est donc la perte d accès à la position, et non pas la perte de l information des propriétés visuelles à cette position. Le caractère inhomogène de la résolution attentionnelle dans le champ visuel a pu également être estimé dans cette étude, avec, comme pour l encombrement, des performances moins bonnes dans l hémichamp supérieur et dans l hémichamp gauche. La théorie descendante pose l encombrement comme un phénomène post-attentionnel, arrivant tardivement le long de la voie de traitement visuel, à l inverse de son homologue ascendante qui postule un rôle causal architectural des premières aires visuelles du cortex. Plusieurs résultats empiriques viennent appuyer cette origine tardive. Même si la réduction de l espacement critique par l attention exogène demeure débattue (voir section ci-dessus), d autres phénomènes spécifiques à l encombrement sont modulés par l attention. Tout d abord, il a été observé que l attention endogène pouvait annuler, et même inverser la propriété anisotrope qui caractérise l encombrement (Petrov & Meleshkevich, 2011). 4. L analogie, bien que séduisante, ne résiste pas entièrement aux données empiriques, voir Cave & Bichot (1999) pour une discussion complète à ce sujet. 47

48 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF Une autre étude (Chakravarthi & Cavanagh, 2007) a utilisé l alternance du contraste d une cible et de ses voisins à des fréquences variables, de telle manière à ce que les stimuli oscillent en phase ([cible blanche - voisins blancs] puis [cible noire - voisins noirs] etc.), ou en opposition de phase ([cible blanche - voisins noirs] puis [cible noire - voisins blancs] etc.). La cible étant indiscriminable en oscillation phasique, les participants deviennent capable de la discriminer en oscillation anti-phasique de fréquences basses (2 et 3.75Hz). De manière critique, cet avantage disparaît à des fréquences d oscillations plus élevées (7 et 15Hz). En reliant cette observation au fait que la résolution temporelle de l attention est d environ 6 à 8Hz, les auteurs suggèrent un rôle causal de l attention dans l encombrement, et confèrent au phénomène d intégration des différents traits de l objet une origine tardive, post-attentionnelle. En ce qui concerne le locus de l encombrement, une autre étude récente (Chakravarthi & Cavanagh, 2009) a évalué le locus d intégration d une cible encombrée en dégradant le signal visuel évoqué par ses voisins par différentes techniques de masquage. Alors que la dégradation du signal issu des voisins par du masquage intervenant à bas niveau (respectivement masquage par bruit et métacontraste) délivre de l encombrement et rend la cible discriminable, la dégradation par du masquage de plus haut niveau (substitution d objet par quatre points) n a pas de conséquence sur la discriminabilité de la cible. Ce travail élégant renvoie le locus d intégration de la cible et de ses voisins entre les loci d occurrence du masquage par métacontraste et substitution d objet, soit d après des études récentes en imagerie entre V1 et le cortex occipital latéral (LOC) (Carlson et al., 2007). Une étude limitant l accès conscient des voisins cette fois par la méthode d adaptation visuelle (cécité induite par adaptation) tire les mêmes conclusions (Wallis & Bex, 2011). Nous reviendrons dans le chapitre 1 page 178 sur le locus, voire les loci de l encombrement. Par ailleurs, la théorie descendante implique une prédiction forte, à savoir que l information encombrée, plutôt que d être perdue précocement, est inaccessible au rapport conscient car inattendue. En lien avec cette prédiction, certains ont postulé l existence d une phénoménologie du contenu encombré, sans que les ressources attentionnelles nécessaires pour y accéder soient présentes (Block, 2001). De manière objective et mesurable, l information devrait dans ce cas faire l objet d un traitement plus ou moins élaboré le long des voies visuelles. Le premier résultat en ce sens (He et al., 1996), séminal, montre par une mesure d effet consécutif que l orientation d un stimulus encombré est traitée, bien qu elle soit non discriminable au vu de mesures objectives (voir figure 2.3). Comme précisé dans la sous-section 1.2 page 16, l orientation est codée à partir du cor- 48

49 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF Figure 2.3: Adaptation à l orientation en fonction de l encombrement. En haut, alors que des participants fixant la croix à gauche sont préalablement exposés à un stimulus adaptateur isolé (dont l orientation est perçue consciemment), on mesure que le contraste associé au seuil de perception d une cible subséquente partageant la même orientation augmente (passant de 5% sans adaptation, à 15%). Cet exemple est un cas typique d adaptation visuelle consciente, puisque l orientation de l adaptateur est discriminable. En bas, lorsque l orientation de l adaptateur n est pas discriminable à cause de la présence de voisins similaires, on parle d adaptation encombrée, non consciente. En 1996, Sheng He et collaborateurs ont mesuré que l amplitude de l adaptation était indépendante de l accès conscient à l orientation de l adaptateur, et donc indépendante de l encombrement. Ce résultat fournissait la première évidence pour le traitement non conscient d une information encombrée. (Adapté de He et al., 1996) tex visuel primaire. Il découle alors que l orientation encombrée, bien qu inaccessible consciemment, est traitée à ce niveau, contrairement à la prédiction faite par la théorie ascendante. Dans la continuité de ces travaux, Montaser-Kouhsari & Rajimehr (2005) ont montré le rôle de l attention dans l encodage de l orientation encombrée, l importance de l effet consécutif mesuré étant dépendante de l attribution des ressources attentionnelles à la tâche. Par ailleurs, des travaux ont montré que l orientation non discriminable d une cible placée parmi un ensemble de distracteurs eux-mêmes orientés influençait l estimation de l orientation moyenne de l ensemble du dispositif (Parkes et al., 2001). Il apparaît alors que même si l accès conscient aux identités individuelles dans un dispositif encombré est empêché, ces identités sont néanmoins traitées individuellement jusqu à des niveaux assez élevés, et contribuent ainsi à la perception d une texture globale du dispositif. Le modèle sous-jacent est celui de l agglomération (pooling), dans lequel le système moyenne l estimation de l orientation. Ainsi, le modèle stipule que si n éléments présentés à l écran sont orientés, et m n ne le sont pas, l estimation moyenne est proportionnelle à n, et le seuil perceptuel décroit proportionnellement à m + n. Selon cette proposition, l espacement critique refléterait la région au niveau de laquelle l agglomération des différentes orientations est réalisée. Nous reviendrons sur cette notion au cours de la discussion. Modérant ces principaux résultats, d autres travaux (Blake et al., 2006) suggèrent cependant qu en empêchant la perception consciente de lignes orientées, l encombrement 49

50 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF réduit leur influence sur la perception d orientations similaires subséquentes. En d autres termes, l encombrement réduit l amplitude de l effet consécutif à l orientation, l illusion perceptuelle induite par adaptation sensorielle aux lignes orientées. Si l encombrement perturbe le traitement de l orientation au sein du cortex visuel précoce, son inauguration ne peut donc être faite exclusivement au sein d aires visuelles de haut niveau. Les auteurs proposent plutôt que les phénomènes rendant compte de l inaccessibilité à la conscience d une information encombrée sont mixtes, résultant d une cascade d événements neuraux débutant au sein des aires visuelles précoces, et culminant avec la dégradation de l activité neurale au sein d aires cérébrales de plus haut niveau corrélant plus directement avec la conscience perceptuelle. Puisque son état varie avec des fluctuations de la conscience perceptuelle, le cortex visuel primaire n est pas considéré ici comme indépendant des corrélats neuraux de la conscience (même si l accès conscient ne concerne pas l ensemble des opérations y figurant, voir Crick & Koch, 1995). Les travaux contenus dans ce manuscrit étendent l éventail des évidences en faveur des théories descendantes de l encombrement, en identifiant des niveaux de traitement de stimuli encombrés jusqu alors inconnus, en montrant que ces derniers sont à même d influencer la perception mais également les actions ainsi que les jugements de préférence. Les comparaisons entre perception encombrée et consciente seront discutées dans le chapitre 2 page L encombrement en tant que paradigme expérimental Une grande partie de ce projet de thèse est fondée sur la mise en place d un paradigme expérimental mettant en commun l encombrement comme phénomène à même de prévenir l accès conscient, et la mesure de réponses adaptatives comme signature indirecte du traitement non conscient associé. Comme indiqué précédemment, l étude de l inconscient cognitif n a de sens qu en présence d un contrôle strict de l accès conscient au stimulus, c est à dire ici sa discriminabilité. En plus des mesures comportementales objectives et subjectives de visibilité, nous avons implémenté au phénomène d encombrement un contrôle basé sur l oculométrie. Son principe est simple : le participant a pour consigne de fixer un point à l écran, alors qu il est stimulé en périphérie de son champ de vision par une amorce encombrée. A l aide d un oculomètre couplé au dispositif de stimulation, l amorce est remplacée par un stimulus non pertinent dès l instant où le participant cesse de regarder à l endroit indiqué (voir figure 2.4 page suivante). Ainsi, la perception fovéale est proscrite, et l accès conscient en découlant inexistant. Cette méthode, dite 50

51 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF d encombrement contingent à la position du regard (ci-après GCC, pour gaze-contingent crowding) présente plusieurs avantages pour l étude de l inconscient cognitif. Figure 2.4: Encombrement contingent à la position du regard (GCC). Chaque panneau représente un écran de stimulation visuelle. Le participant a pour instruction de maintenir le regard sur la croix de fixation en haut de l écran (la direction de son regard est symbolisée à gauche de chaque écran). S il respecte les consignes, l amorce encombrée est présentée en bas de l écran (ici, un patch de gabor orienté vers la droite, et un visage exprimant la joie, respectivement). Si en revanche le participant quitte des yeux un carré de 5 de côté entourant la croix, l amorce est substituée par un stimulus non pertinent pour la tâche étudiée (ici, un patch de gabor vertical, et un visage neutre, respectivement). Durée de stimulation. Tout d abord, comme la capacité à discriminer un stimulus encombré est indépendante du temps de présentation (Kooi et al., 1994), et que le GCC permet de s assurer que le participant n accède jamais à l information de manière fovéale 5, il est possible de présenter des stimuli encombrés indiscriminables pendant plusieurs secondes. Cette première propriété dépasse largement ce qui est rendu possible par le masquage visuel, où un stimulus masqué devient visible s il est présenté plus de 50ms. Dès lors, il est possible d étudier le traitement non conscient de stimuli qui ne font sens que s ils sont prolongés dans le temps (des vidéos, des séquences, etc.), mais également d étudier les conséquences d une stimulation prolongée sur le traitement non conscient. La durée de stimulation autorisée par le GCC dépasse également celle permise 5. Pour des données quantitatives sur ce contrôle, voir le chapitre 1 page

52 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF par la rivalité binoculaire, où les stimuli rivaux alternent après quelques secondes de stabilité. Enfin, elle est du même ordre de grandeur que celle autorisée par le CFS, même si des durées de plusieurs dizaines de secondes voire de minutes n ont pas été testées systématiquement en GCC. Accès entièrement proscrit. Une seconde particularité du GCC est qu avec le contrôle oculomoteur implémenté, les participants n ont absolument jamais un accès conscient à l information présentée. Ce contrôle peut s avérer utile, notamment pour une étude utilisant peu de stimuli différents. En effet, le fait d avoir perçu consciemment au préalable les stimuli que l on cherche à étudier peut d une part induire un effet que l on attribuerait à un traitement non conscient mais qui serait en fait un artefact provenant d influences conscientes. D autre part, cela peut augmenter leur visibilité pour les essais suivants, et donc conduire à écarter le participant de l analyse. En comparaison, le CFS ne permet pas de contrôler l accès à l information, puisqu il est possible de fermer l œil où sont présentés les mondrians pour avoir accès, ne serait-ce qu une fois, au stimulus d intérêt. Simultanéité des mesures de visibilité et de traitement non conscient. La mesure de visibilité réalisée avec le GCC se différencie de ce qui est généralement employé en masquage visuel ou en CFS. Ici, les essais dans lesquels est mesurée la visibilité sont mélangés aléatoirement aux essais dans lesquels est mesuré le traitement non conscient. Cette stratégie présente deux principaux avantages. Premièrement, cela force le participant à porter attention au stimulus périphérique encombré, puisqu il ne sait jamais par avance s il sera confronté à une question le concernant (mesure de visibilité objective directe), ou plutôt à une cible (mesure d adaptation sensorielle non consciente). Cette propriété du dessin expérimental en GCC est à priori moins importante en masquage visuel ou en CFS, où stimulus masqué et cible apparaissent le plus souvent à la même position sur l écran. En revanche, les études nécessitant que le participant ne soit pas informé de la présence du stimulus encombré ne peuvent pas reposer sur ce dessin expérimental. Il convient alors de manipuler l attention portée au stimulus périphérique encombré par d autres approches comme l indiçage ou les charges attentionnelles. Deuxièmement, la mesure progressive de la discriminabilité au cours de l expérience permet une estimation plus fine, où sont pris en compte à la fois les effets d apprentissage qui augmentent les performances des participants, et les effets de fatigue qui les diminuent. Dès lors, il est possible de moduler l importance de l encombrement pour se placer au plus proche du seuil de discriminabilité. 52

53 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF Manipulation attentionnelle endogène. Puisque l amorce périphérique encombrée et la cible apparaissent à différentes positions sur l écran, il est aisé de manipuler l attention endogène portée sur l amorce. Lorsque le dessin expérimental le permet, il peut être demandé au participant de négliger, ou au contraire de porter attention à la partie inférieure de l écran. La saillance de la partie basse de l écran peut également être modulée, à l aide d indices attentionnels (Posner, 1980). Ces éléments sont plus difficilement manipulables en masquage visuel, où la séquentialité très rapide des événements empêche l inhibition ou l amplification volontaire de l amorce indépendamment de la cible. En CFS, il est également très difficile de volontairement amplifier une amorce que l on ne parvient pas à démarquer de la présence des mondrians, à l inverse du GCC où le participant détecte la présence d éléments encombrés, mais ne parvient pas à les discriminer. Pertinence écologique. Pour l étude de l inconscient cognitif, l atout principal du GCC et de l encombrement en général réside en sa pertinence écologique. Comme souligné par Whitney et Levi (2011), l encombrement, omniprésent lors des interactions avec l environnement, se traduit par un vaste ensemble de conséquences fixant des limites à la perception d objets périphériques pendant la recherche visuelle, mais aussi la lecture ou la conduite, ainsi que des limites motrices pour le mouvement des yeux et des mains pour les recherches visuelles et haptiques (Bulakowski et al., 2009). Sans négliger les limites rétiniennes et rétinotopiques inhérentes au traitement visuel périphérique, les deux autres techniques que sont le masquage visuel et le CFS, toutes deux restreintes au laboratoire, semblent présenter des limites plus rigides en comparaison à l encombrement. Rappelons que le masquage impose l usage de stimuli extrêmement brefs de taille réduite, alors que le CFS requiert une stimulation monoculaire tandis que l autre œil est bombardé avec des flashs. L organisation asymétrique des aires visuelles centrales et périphériques est une propriété générale retrouvée chez les mammifères, ce qui laisse présager d un mécanisme adaptatif à valeur positive dans la sélection naturelle (Kaskan et al., 2005). Comme vu précédemment, l encodage de ces détails en tant que texture peut potentiellement favoriser la reconnaissance globale d objets, et déclencher une saccade en sa direction pour un traitement fovéal plus complet, ou même un autre programme moteur en cas d évitement du danger. Le flux d information visuelle étant volumineux, on évite alors une surcharge du système central opérationnalisé dans le modèle de l espace de travail global comme étant lent et sériel. En lien avec les théories descendantes de l encombrement, le GCC pourrait alors se rapprocher des manipulations attentionnelles de l accès conscient, et 53

54 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF notamment la modalité de cécité inattentionnelle, elle aussi omniprésente et écologique. En comparaison avec la cécité inattentionnelle reposant sur la mesure en essai unique (Mack et Rock, 1998), le GCC permet l obtention de nombreux points de données sur un grand nombre d essais, et donc l observation précise des phénomènes étudiés. Plutôt qu un goulot d étranglement, l encombrement peut alors être vu comme un filtre semi-perméable, à travers duquel seuls certains éléments saillants de la scène accèdent à la conscience, tandis que d autres demeurent l objet d un traitement non conscient avant qu une éventuelle saccade soit déclenchée. Son rôle pourrait alors être de simplifier l apparence de stimuli périphériques en favorisant la constance sous forme de texture (Greenwood et al., 2010). Un autre phénomène intéressant est notre cécité à l encombrement. Notre performance visuelle consciente est non seulement faible en périphérie, mais nous semblons en plus ignorer cette imperfection, sans doute à cause de la potentialité que l on a de déclencher une saccade si besoin. Nous reviendrons sur ces notions au cours de la discussion. 2.4 Plan des études expérimentales Notre travail a donné lieu à quatre études comportementales, ainsi qu une étude en imagerie fonctionnelle. Une seconde étude en imagerie fonctionnelle en cours d analyse est également présentée en annexe page 204. Toutes concernent directement la caractérisation cognitive ou neurale du traitement non conscient de stimuli visuels encombrés. L ordre de présentation des études respecte l ordre chronologique selon lequel nous les avons conçues et réalisées pendant ces trois années. Nous affinerons donc au cours du plan à la fois les questions soulevées, mais aussi les méthodes et les analyses pour y répondre. Chaque étude est brièvement présentée, et suivie de l article accepté pour publication ou en révision dont elle a fait l objet. Dans le chapitre 1, nous détaillons le GCC, et mettons en évidence par la méthode d amorçage de répétition la trace d un traitement non conscient d objets complexes encombrés (visages et symboles directionnels), ainsi que le rôle de l amplification attentionnelle dans ce traitement (Faivre & Kouider, 2011). Les trois études suivantes abordent une problématique commune, à savoir le traitement émotionnel non conscient, et son influence de haut niveau sur les comportements subséquents. Dans le chapitre 2 qui concerne le traitement non conscient d expressions faciales 54

55 CHAPITRE 2. L ENCOMBREMENT COMME SONDE DE L INCONSCIENT COGNITIF encombrées, nous étendons nos premiers résultats selon deux axes. Premièrement, les opérations visuelles mises en évidence sont plus complexes que dans l étude précédente, puisque sensibles à l inversion de visages à la fois statiques (images) et dynamiques (vidéos). Cela suggère l existence d un traitement holistique, ou configural des visages encombrés en l absence d accès conscient. Deuxièmement, le produit de ce traitement biaise non plus la perception subséquente de stimuli identiques comme c est le cas dans l amorçage de répétition, mais des processus de plus hauts niveaux impliqués dans les jugements de préférence (Kouider, Berthet, et Faivre, 2011). La troisième étude présentée dans le chapitre 3 consiste en une comparaison systématique de différentes méthodes (GCC, masquage visuel, CFS) utilisées pour l étude du biais de préférence non conscient. Elle révèle les étendues et limites de chacune d entre-elles, en rappelant la nécessité des comparaisons méthodologiques pour l étude contrastive de la conscience. La quatrième étude présentée dans le chapitre 4 analyse par IRMf les bases neurales du biais de préférence non conscient induit par des expressions faciales encombrées. Elle révèle des voies de traitement distinctes selon qu elles soient de nature statique ou dynamique. Enfin, au sein d une problématique différente, la cinquième étude présentée dans le chapitre 5 tire profit du GCC pour isoler les influences respectives de la durée de stimulation et de l accès conscient pendant l adaptation sensorielle. Avec une tâche d amorçage de la discrimination d orientation, cette étude montre un pattern d adaptation sensorielle non consciente biphasique, dans lequel l amorce encombrée a un rôle d abord facilitateur, puis inhibiteur en cas de présentation trop prolongée. En accord avec plusieurs théories de la conscience et de l attention, la restauration de l accès conscient par diminution de l encombrement induit une amplification des effets facilitateurs, ainsi qu une diminution des effets inhibiteurs. Nous discuterons des leçons tirées de ces études selon deux grands axes. D abord, nous synthétiserons les évidences montrant l apport de l étude du traitement non conscient sur le phénomène d encombrement. Nous argumenterons en faveur d origines tardives et multiples au sein des voies visuelles, et du rôle de l amplification attentionnelle pour l extraction d information encombrée. Ensuite, nous synthétiserons les évidences montrant l apport du phénomène d encombrement comme outil pour mieux caractériser l inconscient cognitif, et comme corrélat de l hypothèse de conscience partielle. Enfin, dans le cadre d une approche contrastive, nous suggérerons que l encombrement consiste en une modalité perceptuelle intéressante pour comparer les propriétés intégratives spatiales et temporelles en présence et en absence d accès conscient. 55

56 Deuxième partie Études expérimentales

57 1 Amorçage non conscient issu d objets encombrés 1.1 Présentation de l étude Faivre, N., & Kouider, S. (2011). Multi-feature objects elicit nonconscious priming despite crowding. Journal of Vision, 11(3) :2, Introduction Comme nous l avons introduit dans la sous-section page 47, la dissociation entre le percept d une information encombrée et son traitement non conscient est appuyée par plusieurs études. En résumé, les mesures psychophysiques montrent que le système visuel présente des propriétés adaptatives en réponse à des stimuli encombrés orientés (He et al., 1996; Montaser-Kouhsari & Rajimehr, 2005). On peut alors inférer que l information d orientation angulaire, dont le traitement démarre au niveau du cortex visuel primaire, résiste à l encombrement. Qu en est-t-il pour les informations de plus haut niveau? A l aide de la méthode d encombrement contingent à la position du regard (GCC) couplée au paradigme d amorçage de répétition, nous avons testé l existence d un traitement non conscient d objets encombrés. Ici, par objet on entend un stimulus composé d un agencement de plusieurs caractéristiques physiques, ou traits. Deux types de stimuli ont été utilisés. D une part, des visages célèbres et non célèbres (expérience 1), dont le traitement à la fois conscient et non conscient est bien décrit (Henson et al., 2008; Kouider et al., 2009). D autre part, des chevrons directionnels (expérience 2), composés de l agencement de deux traits orientés (> ou <), et donnant lieu à des effets d amorçage d action non conscients robustes en masquage visuel (Vorberg et al., 2003). Dans les deux cas, les participants maintenaient le regard en haut de l écran, tandis qu en bas de l écran apparaissait l amorce encombrée pendant des durées allant de 200ms à 1400ms. Puis, deux 57

58 CHAPITRE 1. AMORÇAGE NON CONSCIENT ISSU D OBJETS ENCOMBRÉS cas de figures étaient possibles. Dans les essais dits d amorçage, une cible apparaissait en haut de l écran, l instruction était alors d indiquer le plus rapidement possible dans l expérience 1 si le visage était celui d une personne connue ou inconnue, ou dans l expérience 2 si le chevron pointait vers la droite ou vers la gauche. A noter que chacune des expériences comportait des amorces et cibles apparaissant à des localisations différentes, et testait donc un encodage indépendant de la rétinotopie. Comme c est le cas pour les expériences d amorçage de répétition, nous avons alors comparé les temps de réaction sur les cibles, quand ces dernières étaient précédées d une amorce identique (visage identique, chevron de même direction), et d une amorce différente (visage différent appartenant à la même catégorie de célébrité, chevron de direction opposée). Dans les essais dits de mesure objective de visibilité, l instruction dans l expérience 1 était d indiquer parmi deux alternatives présentées à l écran laquelle représentait le visage présenté en amorce, ou de répondre dans l expérience 2 à une question concernant l orientation du chevron. Par ailleurs, l expérience 2 incluait une manipulation de charge attentionnelle et se déclinait ainsi en deux versions. Dans l expérience 2a, la cible apparaissait en remplacement d une simple croix de fixation, ce qui la rendait aisément discriminable, et ce qui préservait donc des ressources nécessaires à l amplification attentionnelle couverte de l amorce en bas de l écran. Dans l expérience 2b, la même cible apparaissait au sein d une séquence de symboles complexes, ce qui la rendait plus difficile à discriminer, et réduisait ainsi les ressources attentionnelles portées à l amorce en bas de l écran. Cette manipulation de charge attentionnelle a donc permis de tester le rôle de l amplification attentionnelle dans le traitement non conscient d objets encombrés. Principaux résultats Tout d abord, les résultats de cette première étude valident le GCC en tant que méthode pour prévenir l accès conscient à des stimuli périphériques encombrés. Nous avons en premier lieu conclu que la substitution par oculométrie était nécessaire, puisque les participants tentaient d accéder à l amorce de manière fovéale en dépit des consignes. Nous avons également confirmé que l encombrement était bien à l origine de l incapacité à discriminer l amorce, en révélant la restauration progressive de la discriminabilité par l augmentation de l espacement entre amorce et voisins. Enfin, nous avons contrôlé l efficacité de la substitution de l amorce en cas de tentative d accès fovéal, en montrant l absence de corrélation entre la durée de ces tentatives et la discriminabilité. Toutes les expériences ont révélé une mesure de d non significativement différente de zéro, témoignant d une discriminabilité nulle. 58

59 CHAPITRE 1. AMORÇAGE NON CONSCIENT ISSU D OBJETS ENCOMBRÉS En ce qui concerne les mesures indirectes de traitement non conscient, l analyse des temps de réaction dans l expérience 1 a révélé un effet d amorçage induit uniquement par les visages connus. Dans l expérience 2, la même analyse a révélé un effet d amorçage, réduit en présence d une charge attentionnelle. Discussion Ces premiers résultats montrent la légitimité du GCC pour étudier le traitement non conscient d information encombrée de haut niveau. Ils révèlent la capacité d intégrer correctement plusieurs traits encombrés en une représentation non consciente unifiée (par exemple, le liage de deux barres d orientations opposées en un chevron directionnel) qui par la suite peut influencer la perception d une cible sans similarité rétinotopique. Cela questionne par conséquent le modèle en deux étapes de l encombrement qui lie son origine à un excès d intégration au sein de régions communes à l amorce et ses voisins. Plutôt qu un excès d intégration proprement dit, nos résultats suggèrent que les différents traits de l amorce sont d abord correctement intégrés puis traités de manière non consciente (rendant compte ainsi des effets que nous avons observés), avant d être accédés consciemment sous forme de texture dans laquelle la discrimination est impossible. Il s agit donc d une situation de conscience partielle de l information, sous tendant un traitement d une partie de l information demeurant inaccessible à la conscience. L effet de la charge attentionnelle sur l amorçage d action lie cette hypothèse aux théories descendantes de l encombrement. En demeurant agnostique vis à vis de l influence de l attention sur la taille des fenêtres d intégration, on peut néanmoins postuler que l amplification attentionnelle, sans induire la discriminabilité consciente du stimulus encombré, augmente la force de son signal tout en inhibant celle de ses voisins, et maximise ainsi l influence des représentations non conscientes associées. 1.2 Article 59

60 Journal of Vision (2011) 11(3):2, Multi-feature objects elicit nonconscious priming despite crowding Nathan Faivre Sid Kouider Laboratoire de Sciences Cognitives et Psycholinguistique, CNRS/EHESS/DEC-ENS, Paris, France Laboratoire de Sciences Cognitives et Psycholinguistique, CNRS/EHESS/DEC-ENS, Paris, France The conscious representation we build from the visual environment appears jumbled in the periphery, reflecting a phenomenon known as crowding. Yet, it remains possible that object-level representations (i.e., resulting from the binding of the stimulus different features) are preserved even if they are not consciously accessible. With a paradigm involving gazecontingent substitution, which allows us to ensure the constant absence of peripheral stimulus discrimination, we show that, despite their jumbled appearance, multi-feature crowded objects, such as faces and directional symbols, are encoded in a nonconscious manner and can influence subsequent behavior. Furthermore, we show that the encoding of complex crowded contents is modulated by attention in the absence of consciousness. These results, in addition to bringing new insights concerning the fate of crowded information, illustrate the potential of the Gaze-Contingent Crowding (GCC) approach for probing nonconscious cognition. Keywords: crowding, face processing, action priming, nonconscious cognition Citation: Faivre, N., & Kouider, S. (2011). Multi-feature objects elicit nonconscious priming despite crowding. Journal of Vision, 11(3):2, 1 10, doi: / Introduction When we are immersed in a complex environment, objects in the periphery appear jumbled and become hardly discriminable. This phenomenon, known as crowding, is a breakdown in the process leading to the identification of peripheral objects when they are surrounded by similar neighbors (Levi, 2008). As opposed to visual masking, in which even detection can be abolished, crowding reflects a situation where a stimulus can be detected but not discriminated (Pelli, Palomares, & Majaj, 2004). Due to the correct detection capabilities, it is commonly accepted that crowding occurs after featural detection, arguably during the integration of the features into one unified object (e.g., the integration of different elementary shapes forming a more complex pictograph). However, there is no general consensus regarding the specific mechanisms underlying crowding, and theories largely diverge on the origins of this phenomenon. According to neuronal, or bottom-up accounts, crowding occurs when both the object and its neighbors overlap within the same receptive field, which is also called integration field (Pelli, 2008). In peripheral vision, as the size of the integration fields widens with eccentricity, the probability with which several features from different adjacent stimuli are integrated into the same field becomes higher, correlating with the eccentricity dependence of crowding (Bouma, 1970). This correlation is alternatively explained by higher level or top-down accounts of crowding in which the overlap is not attributed to hardwired limitations in the visual cortex but rather to a coarsening of the resolution of spatial attention in the periphery (Intriligator & Cavanagh, 2001). Along this line, recent physiological evidence shows that crowded perception is associated with a spread spatial distribution of attention around the target stimulus and its neighbors (Fang & He, 2008). The attentional account is also supported by crowding asymmetry (i.e., crowding is stronger in the upper than in the lower visual field, as demonstrated with several attentional effects; see He, Cavanagh, & Intriligator, 1996). It is also supported by crowding temporal resolution (i.e., around 6 8 Hz, similar to that of attention; see Chakravarthi & Cavanagh, 2007) and by the attentional dependence of the encoding of crowded contents (Montaser-Kouhsari & Rajimehr, 2005). Other accounts, noting that spatial uncertainty is high in the periphery (Pelli, 1985), assert that the jumbled aspect of crowded objects arises from a loss of position information. This lack could potentially induce the integration of mislocalized features from different stimuli into the same object (Popple & Levi, 2005). These different operationalizations of crowding are not mutually exclusive, as illustrated by a recent computational approach relying on classification image techniques (i.e., without preassumptions regarding the origin of crowding). This computational account, in fact, supports both inappropriate feature integration and feature mislocalization as contributors to crowding (Nandy & Tjan, 2007). Finally, supported by both empirical data and computational doi: / Received September 30, 2010; published March 3, 2011 ISSN * ARVO

61 Journal of Vision (2011) 11(3):2, 1 10 Faivre & Kouider 2 models, some accounts state that the information available during crowding is textural and consists of summary statistics that comprise distributions of feature values rather than of localized feature maps (Balas, Nakano, & Rosenholtz, 2009; Parkes, Lund, Angelucci, Solomon, & Morgan, 2001). Here, we studied the nonconscious processing of crowded multi-feature stimuli, defined as the processing of their informational content in the absence of a corresponding conscious experience. Despite the subjective feeling of uninformative contents, previous findings show that low-level information such as tilt orientation is properly encoded even when crowded by adjacent vertical flankers (He et al., 1996). This study used visual adaptation as an index of nonconscious orientation processing, a situation in which the perceptual threshold of a target is increased when preceded by a crowded adaptor sharing the same orientation. The present study tested whether nonconscious processing of crowded stimuli extends beyond single feature information (e.g., line orientations) to higher levels of processing involved in processes such as face recognition and directional symbol processing. For this purpose, we combined crowding, in order to impede the discrimination of a multi-feature stimulus, with a priming paradigm in order to measure its influences on behavior. Nonconscious priming occurs when the processing of a highly visible target is facilitated by a preceding related prime stimulus, which is maintained under the threshold of consciousness by techniques such as visual masking (Kouider & Dehaene, 2007). By manipulating the prime target relation, one can investigate which levels of processing influence behavior (e.g., priming for semantic associates such as nurse doctor implies nonconscious processing of the meaning of the prime). In order to control for prime discriminability, we use a method termed gaze-contingent crowding (GCC). This technique ensures perception without discrimination of long-lasting peripheral objects through high-resolution eye tracking. Specifically, it allows for the relevant crowded prime to be substituted by noninformative content as soon as the participant attempts to move their gaze from a fixation position, thus preventing foveal access to the prime stimulus. In a first experiment, we studied the influence of peripheral faces subject to crowding (rendered nondiscriminable by GCC) on a fame categorization task. In a second experiment, we studied the influences of crowded symbols (pointing arrows). In addition, we assessed the role played by spatial attention on the encoding of crowded stimuli. We found that both types of information can prime behaviors in a nonconscious manner, revealing that the dissociation between perceptual consciousness (jumbled, uninformative) and perceptual processing (distinct, informative) extends to higher level objects such as faces and symbols. In addition, we observed that the impact of crowded information on sensorimotor pathways is modulated by the allocation of spatial attention. These results and their implications are discussed in the light of both the partial awareness framework (Kouider, de Gardelle, Sackur, & Dupoux, 2010) and top-down accounts of the crowding phenomenon. Experiment 1 The mechanisms underlying nonconscious face perception are now well documented, both at behavioral and neural levels. Recent evidences have shown that subliminal and supraliminal faces are processed differently depending on their frequency spectrum (de Gardelle & Kouider, 2010), while they elicit neural activity in common cortical areas (e.g., in the fusiform face area; see Kouider, Eger, Dolan, & Henson, 2009). Yet, as this issue has been mainly addressed through visual masking, little is known about the nonconscious processing of faces during crowding. For this purpose, we adapted a face repetition priming paradigm to GCC (see Figure 1a). Face crowding can occur both between features within a face (i.e., featural or self-crowding; see Martelli, Majaj, & Pelli, 2005) and between the configurational representation of different adjacent faces (i.e., holistic or configurational crowding; see Farzin, Rivera, & Whitney, 2009; Louie, Bressler, & Whitney, 2007). We established the encoding quality of peripheral faces subject to self-crowding by measuring their ability to elicit repetition priming effects in a fame categorization task while remaining nondiscriminable, as demonstrated by a 2-alternative forced-choice measure of consciousness. Methods Subjects Eighteen university students (age range = 18 35) participated in Experiment 1. All participants were recruited in function of their media exposure (to ensure that famous faces were familiar to them), reported normal or corrected vision, and were paid for their participation. Stimuli Target stimuli were grayscale photographs of 40 famous and 40 unknown faces selected from a previously used set (de Gardelle & Kouider, 2010). Half were male; half were female. All pictures were matched for image size and luminance and cropped to show only the face. Distractors were 40 different meaningless patterns created by blending 6 randomly chosen images from 3 different categories (2 nonfamous faces from a different stimulus set, 2 watches, 2 flowers). The

62 Journal of Vision (2011) 11(3):2, 1 10 Faivre & Kouider 3 Figure 1. (a) Face priming paradigm. Each trial started with the presentation of a fixation cross, followed by a mask presented at fixation location and a peripheral preprime mask presented at the bottom. This was followed by a stream of alternating masks at fixation position until the target display, while a prime face appeared downward. The target appeared on the top of the screen after an unpredictable time and consisted either of a face on which participants judged whether it belonged to a famous or unknown person (priming trials), or in a question mark between two faces, among which participants had to choose the prime face (prime discrimination trials). Priming trials were related when the prime and the target were identical faces and unrelated when they were different faces belonging to the same category (both famous or both nonfamous). Priming trials ended with a final display of post-target masks, while prime discrimination trials ended with the participant s response. (b) Famous face priming results. Averaged reaction times on the fame categorization task for famous faces in related (black) and unrelated (gray) trials. Error bars denote one standard error; *p-value G average luminance, contrast, and shape of the distractors were set to be similar to those of the faces. Procedure and design Eccentricity between prime and target was 15-, with target location centered at the quarter top of the screen and prime location at the bottom. Each trial started with the appearance of a fixation cross for 300 ms and a 6- diameter red circle at the target location, which remained on the screen until the end of a trial. Following the fixation cross, two different distractors appeared simultaneously for 200 ms, one at target location and the other at prime location (preprime mask). Then, subjects were presented with either 1, 3, 5, or 7 distractors, each for 200 ms at the target location, while the primes appeared at the bottom of the screen for the same duration (e.g., 200 ms, 600 ms, 1000 ms, or 1400 ms). These events were immediately followed by the target face while another distractor replaced the prime, both for 200 ms. Finally, the target was followed by 7, 5, 3, or 1 post-target mask(s), in inverse proportion to the preceding distractors. Participants were instructed to keep track of the target location until the target face appeared. Importantly, as soon as a participant ceased to gaze at a 5- by 5- area surrounding the target location, the prime was substituted by a pattern during the next refresh cycle of the monitor screen, guaranteeing that the prime was never accessed foveally. Participants main task was to decide, as fast as possible, whether each target face belonged to famous or unknown person, with their right or left index finger, respectively. Within a trial, the prime and the target could either be the same faces (repetition trials) or different faces (unrelated trials). In the latter case, the two prime target counterparts always belonged to the same category (as well as to the same gender and same approximate age), assuring that the unrelated and related conditions referred to the same motor response. This was designed in order to avoid confounding response congruency with perceptual priming (Abrams, Klinger, & Greenwald, 2002; Damian, 2001; Kouider & Dehaene, 2009). In addition to the main

63 Journal of Vision (2011) 11(3):2, 1 10 Faivre & Kouider 4 task, a prime discrimination task was randomly administrated to the participants in 1 out of 5 trials. In this case, a question mark appeared instead of the target, simultaneously with the two alternatives (i.e., the prime and its counterpart) appearing at 7.5- on the left or 7.5- on the right side of the screen. While the two alternatives were accessible foveally, the participant s task was to decide in a two-alternative forced-choice task (2-afc) whether the left or right face corresponded to the prime, by pressing the corresponding left or right button. This control was preferred to applying the same fame decision task to the primes, because it allows ruling out eventual situations where participants have a partial consciousness (i.e., access to some of the featural information), which would be insufficient to extract the fame of the prime face but which is sufficient to speed up the processing of the subsequent identical target face (see Kouider, Dehaene, Jobert, & Le Bihan, 2007; Kouider & Dupoux, 2004). Participants received a total of 80 prime discrimination trials randomly intermixed with 320 priming trials. Stimuli were displayed against a black background by a 22-in. Iiyama Vision master pro 510 monitor (frame rate of 85 Hz, resolution of pixels) on a computer running Matlab with the Psychophysics Toolbox (Brainard, 1997; Pelli, 1997). The participant sat 57 cm from the screen in a dimly lit room. A chin rest and a headrest were used. Eye movements were recorded monocularly with a video-based tower mounted eye tracker (Eyelink 1000 System, SR Research, Ontario, Canada) controlled with the Eyelink Toolbox (sampling rate 1000 Hz; spatial resolution 1- or above). face, which might be less subject to crowding) could drive the priming effect. However, faces were cropped such as the more eccentric discriminatory facial features, like the ears, were not presented. Crucially, if any other uncontrolled peripheral features (which are only poorly discriminatory) were at the origin of the priming effect, these very same features would have led participants to discriminate above chance between the two faces during the prime discrimination trials. Debriefing the participants after the experiment revealed, however, that none of them could identify the prime faces even when they were told about their presence. A 2-afc on the prime confirmed that our method rendered the stimuli nondiscriminable, as performance was at chance for both famous (mean dv= 0.07; SD = 0.47; p = 0.54) and nonfamous faces (mean dv = j0.22; SD = 0.77; p = 0.25). In sum, Experiment 1 revealed that stimulus information is maintained even for peripheral faces subject to self-crowding and that this information facilitates foveal face recognition. Experiment 2 Nonconscious symbolic action priming reflects the facilitation of a motor response on a directional target stimulus, when it is preceded by the same directional Results and discussion Trials in which the gaze position was maintained outside the target area for more than 50 ms were rejected (see Methods section), leading to a removal of 8.7% (SD = 7.8) of the total trials. Famous target faces were correctly recognized with a rate of 84.7% (SD = 10.8), and nonfamous faces were categorized as nonfamous with a rate of 82.8% (SD = 12.8). Only correct responses were included in the analyses. We performed an ANOVA on reaction time, with participants as a random variable and relation and prime duration as main factors. Because masked repetition priming for unknown faces is usually nonsignificant unless faces are visible, we analyzed famous and unknown faces separately (see de Gardelle & Kouider, 2010; Henson, Mouchlianitis, Matthews, & Kouider, 2008; Kouider et al., 2009). Here, with crowded faces, we found significant priming for famous faces [19 ms; F(1,17) = 5.79; p G 0.05] but not for unknown faces (F G 1; see Figure 1b). Further analyses restricted to famous faces revealed neither effect of prime duration nor an interaction between priming and prime duration (Fs G 1). One could argue that some residual information whose access is not impeded by crowding (e.g., in the edge of the Figure 2. Averaged fixation positions during Experiment 2 (collapsed across 2A and 2B). Each dot stands for a gaze position measured at 1000 Hz. Green dots correspond to target position fixation (compliantly to the instructions). Red dots represent attempts to stare at the peripheral prime, despite the instructions, homogeneously spread across a session. Participants tried to look at the prime while it was displayed on 9.3% (SD = 13.2) of the trials, representing 0.5% (SD = 0.7) of total looking time.

64 Journal of Vision (2011) 11(3):2, 1 10 Faivre & Kouider 5 Figure 3. (a) Action priming paradigm. Each trial started with the presentation of a fixation cross. At the bottom of the screen, this was followed by the apparition of four flanker crosses surrounding first a central cross (preprime mask) and then the prime arrow for variable durations. Afterward, the target appeared at the top of the screen among a sequence of geometrical distractors. The target was either an arrow on which participants had to indicate its orientation (priming trials) or a question about the orientation to which participants were forced to answer (yes or no) before continuing (prime discrimination trials). Priming trials ended with a final display of post-target masks, while prime discrimination trials ended with the participant s response. This figure illustrates the high attentional load condition. In the low attentional load condition, the exact same procedure was used, except that instead of the sequence of geometrical distractors, a fixation cross was presented for the duration of each trial. (b) Action priming results. Averaged reaction times on the target orientation task for low attentional load and high attentional load conditions, in related (black) and unrelated (gray) trials. Error bars denote one standard error; *p-value G 0.05, ***p-value G prime presented below the threshold of consciousness (e.g., Vorberg, Mattler, Heinecke, Schmidt, & Schwarzbach, 2003). So far, these nonconscious sensorimotor effects have only been established using visual masking and it remains unclear whether they can be induced by crowded stimuli. Here, we measured the action priming effects induced by crowded chevron arrows (i.e., G or 9, see Figure 2a), while manipulating the allocation of spatial attention devoted to the encoding of crowded stimuli. This latter aspect allowed us to test whether attention plays a role in crowded perception, as postulated by top-down accounts (Figure 3). Methods Subjects A new group of 39 university students (age range = 18 35) participated in Experiment 2, separated into two subgroups for Experiments 2A (N = 19) and 2B (N = 20). All subjects reported normal or corrected vision and were paid for their participation. Stimuli Arrow stimuli were chevrons. Flankers were four signs. Distractors were 5 types of geometrical forms (+, =,,, #). All stimuli were presented in gray against a black background. Procedure and design A similar procedure and design to Experiment 1 was used in Experiments 2A and 2B, except with the following main aspects: (a) Target arrows were either identical or opposite to the prime arrows. (b) The prime arrows were now surrounded by flankers with a center-to-center spacing of During the prime discrimination task, subjects received the words left? or right? and were

65 Journal of Vision (2011) 11(3):2, 1 10 Faivre & Kouider 6 asked to indicate whether or not this indicated the prime direction (yes with right index finger, no with left index finger). The critical difference between Experiments 2A and 2B was the presence of either a constant and single + sign at the target location in Experiment 2A (low attentional load) or a stream of nine alternating distractors chosen randomly (while excluding contiguous presentations) in Experiment 2B (high attentional load). As in Experiment 1, as soon as participants gaze diverged from a 5- by 5- area surrounding the target location, the prime was substituted by a + sign in order to prevent foveal access of the prime (see Figure 2). Results and discussion As in Experiment 1, only trials for which gaze position was outside the target area less than 50 ms were conserved for analysis. This corresponded to the removal of 4.6% of total trials (SD = 6.9) in Experiment 2A and 10.6% (SD = 8.1) in Experiment 2B. Only correct responses were analyzed, corresponding to a removal of 6.6% of responses (SD = 6.5) in Experiment 2A and 4.9% of responses (SD = 5.0) in Experiment 2B. An ANOVA on reaction time was performed, with participants as a random variable and relation, attentional load, and prime duration as main factors. We found a main effect of relation showing that participants were faster for congruent compared to incongruent trials [7 ms; F(1,37) = 19.48; p G ]. Crucially, we also found an interaction between relation and perceptual load [F(1,37) = 5.38; p G 0.03], reflecting the fact that the magnitude of priming was larger under low attentional load [11.5 ms; t(18) = 3.8; p G 0.001] compared to high attentional load condition [4 ms; t(19) = 2.25; p G 0.05] (see Figure 2b). Although there was a main effect of prime duration [F(1,37) = 20.95; p G ] reflecting averaged reaction times decreasing with prime duration, this factor did not interact with relation (F G 1). This latter aspect suggests that, as for Experiment 1, the magnitude of priming was not affected by the amount of sensory evidence in the prime stimulus. With regard to prime consciousness, while participants were informed that oriented arrows were presented in their peripheral visual field, none of them declared being able to discern their orientations during the post-experiment debriefing. The objective prime discrimination measure interleaved within the priming measure confirmed this subjective report by revealing chance-level performance under both low (mean dv= 0.17; SD = 0.62; p = 0.24) and high attention load conditions (mean dv= j0.01; SD = 0.57; p = 0.95). In addition, there was no significant difference in prime discrimination as a function of attentional load (p = 0.35). Finally, we verified that crowding was the limiting factor impeding prime discrimination by conducting an additional control experiment with five new participants. While they were exposed to the same display as in Experiment 2B (i.e., with prime Figure 4. Visibility as a function of center-to-center spacing of the prime and flankers. Each symbol is the average of prime discrimination as computed by a measure of d-prime for one participant. The thick line represents the prime discrimination averaged across all participants.

66 Journal of Vision (2011) 11(3):2, 1 10 Faivre & Kouider 7 presented for 200 ms, 600 ms, 1000 ms, or 1400 ms), we manipulated the center-to-center spacing between the prime arrow and the flankers (i.e., they were presented randomly with a spacing of 1.4-, 2.4-, 3.4-, or 4.4-). We performed an ANOVA on correct response rate, with prime duration and spacing as main factors. We did not observe a significant effect of prime duration (F G 1), in coherence with the fact that crowding is insensitive to stimulus duration (Kooi, Toet, Tripathy, & Levi, 1994). Importantly, we found a main effect of spacing (F(1,4) = 55.7; p G 0.01), with prime discrimination increasing when flankers were pulled aside, revealing the critical role of flanker position in prime discrimination. Furthermore, plotting of the discrimination performance against the prime-to-flankers distance revealed a horizontal ceiling at greater spacing, followed by a falling slope, a shape proposed by Pelli et al. (2004) as a criterion for crowding (see Figure 4). General discussion This study examined the dissociation between our subjective experience and our processing of crowded contents. For this purpose, we combined gaze-contingent crowding, a novel approach for preventing perceptual discrimination of peripheral stimuli, with a repetition priming paradigm that served as an index of nonconscious perceptual processing. By observing priming effects elicited by peripheral faces subject to self-crowding (Experiment 1) and crowded visual symbols (Experiment 2), we show that although crowded features are integrated into a subjectively jumbled texture, they are nonetheless preserved and used for subsequent processes including those underlying face recognition and directional symbol processing. The two major priming effects reported here have been previously observed with visual masking, posing GCC as one of its legitimate alternative. With regard to face priming, the effect of amplitude measured with GCC is similar to the one previously reported (Henson et al., 2008; Kouider et al., 2009). Similarly, we also found that only famous faces elicit nonconscious priming, suggesting that this effect arises when the subliminal prime triggers some preexisting target face representations. Alternatively, the absence of priming effect with nonfamous faces could be a consequence of the specific fame judgment task we used. Indeed, subjects preexposure to the nonfamous prime might induce a feeling of familiarity of the target in related trials only (for which the target is the same as the prime), thus interfering with the fame judgment (see Jacoby, Kelley, Brown, & Jasechko, 1989). Concerning symbolic action priming, while the effects we report are highly significant, it is of note that their amplitude is globally smaller than what is usually observed using meta-contrast masking (Vorberg et al., 2003). Altogether, the present results extend previous findings that single feature informational contents are processed during crowding (e.g., line orientation; see He et al., 1996). Indeed, they reveal the correct capabilities of multifeature integration during crowding (e.g., in Experiment 2, only the correct building of a symbolic arrow from the binding of two opposite oriented lines can account for the priming effects we measured). Consequently, these results question the two-step model explaining the origins of crowding (Levi, 2008) and suggest that crowding arise from an impaired access to the integrated content rather than from an impaired featural integration per se. The fact that long-lasting crowded information is processed without consciousness at higher levels (i.e., multi-featural, involving face recognition and directional symbol processing) might reflect the obvious ecological relevance of peripheral vision. Indeed, contrary to masking, peripheral vision is omnipresent during perceptual life and probably results from evolutionary processes whereby visual pathways might have been tuned to efficiently process crowded contents. Thus, when facing a complex visual scene, the nonconscious processing of peripheral faces or sensorimotor cues might improve social interactions and spatial navigation, respectively. Furthermore, because it allows for the visual display of long-lasting complex objects, GCC might represent a suitable approach for a fine-grained probing of these visual pathways and allow for the study of phenomena such as sustained covert attention and temporal integration. Previous research has shown that when the peripheral prime is presented briefly, nonconscious repetition priming disappears above 4- of eccentricity when the prime and target appear at different locations (6- when both appear at the same location; Marzouki & Grainger, 2008), suggesting that brief peripheral stimuli have restricted impact on the cognitive system. Thus, increasing the strength (e.g., duration) of crowded stimuli seems to constitute a relevant, empirically based motivation. Along this line, it is important to stress that gaze-contingent substitution appears to be crucial since participants consistently tried to stare at the long-lasting prime in both experiments, despite the instructions to stare continuously at the target location and the automatic substitution rendering their attempts useless (see Figure 2). Further analyses revealed the efficiency of the gaze-contingent substitution. First, we found no significant difference regarding the prime visibility between trials in which participants stared continuously at the target location and trials in which they stared outside the target location (Welch s t-test with p = 0.91 in Experiment 1; p = 0.34 in Experiment 2). Furthermore, for the trials in which participants stared outside the target location, we found no correlation between prime visibility and the total looking time outside the target location (slope = 1.2e j 04, p = 0.43

67 Journal of Vision (2011) 11(3):2, 1 10 Faivre & Kouider 8 in Experiment 1; slope = j6.8e j 05, p = 0.60 in Experiment 2; see Figure 5). It is important to stress that the locus of the priming effects observed in this study cannot result from low-level overlap: despite the congruent physical identity of the prime and targets, they were displayed at different, far apart locations on the screen. It remains unclear, however, whether these effects arise from cortical activity induced by striate and extrastriate routes or rather from direct subcortical pathways. Previous studies relying on nonconscious priming through visual masking have shown that both masked faces and masked arrows induce cortical responses, respectively, in the occipitotemporal cortex for face priming (Kouider et al., 2009) and from visual to motor cortical areas for action priming (Sack, van der Mark, Schuhmann, Schwarzbach, & Goebel, 2009). Investigating the neural correlates of the priming effects observed in this study would improve our comprehension of the origins of crowding. On one hand, there is evidence for the occurrence of featural integration as early as V1 (Neri & Levi, 2006; Pelli, 2008), although these accounts do not predict the existence of informative extrastriate cortical activity during crowding. On the other hand, topdown accounts postulate a causal role for spatial attention occurring between V1 and the lateral occipital complex (Chakravarthi & Cavanagh, 2009). In our study, we found that decreasing the allocation of covert attention to the crowded prime (by increasing the attentional load of the task) roughly halved the magnitude of action priming. This suggests a two-step model in which the integration of the prime and flankers features occurs beyond V1 along the visual pathways (downstream integration), allowing for early nonconscious processing (upstream multi-featural processing). In this view, the different adjacent stimuli are processed independently as uncrowded by upstream neural systems and reach consciousness once integrated, via downstream neural activity, into a jumbled, texture-like appearance (Balas et al., 2009; Parkes et al., 2001). Thus, crowding might refer to a typical situation of partial consciousness (Kouider et al., 2010) in which the stimulus is perceived as a jumbled object because restricted levels of processing are consciously accessed, while most others remain below the threshold of consciousness. This finding also has important implication in the current debate concerning the dissociation between attention and consciousness (Koch & Tsuchiya, 2007), bringing additional evidence for attention without consciousness, which is the capacity to attend to something nondiscriminable. We show that nonconscious priming is modulated by spatial attention in addition to temporal attention (Naccache, Blandin, & Dehaene, 2002), This is in line with a previous study showing a similar attentional Figure 5. Linear regression between prime visibility and looking time outside the target location (i.e., triggering a gaze-contingent substitution) in Experiments 1 and 2. Each black dot stands for one prime discrimination trial, the position on the horizontal axis being defined by the looking time outside the target location, the position on the vertical axis being 1 in case of a correct response or 0 in case of an incorrect response on the prime visibility task. The continuous line represents the linear regression between the looking time and correct response rate. The dashed lines represent the intervals of confidence at 95%.

68 Journal of Vision (2011) 11(3):2, 1 10 Faivre & Kouider 9 dependence for the processing of crowded stimuli, restricted though to lower level visual adaptation measures (Montaser-Kouhsari & Rajimehr, 2005). Taken together, higher level priming effects and attentional modulation tend to support top-down accounts, according to which crowded information is not lost but rather not accessed due to an attentional deficit in the periphery. According to this perspective, attention modulates the widening of the integration window (Intriligator & Cavanagh, 2001). However, instead of attributing a causal role to spatial attention in crowding, our results suggest that, at the least, attention modulates upstream multifeatural processing in a nonconscious manner prior to integration. Consequently, we propose that the impact of top-down attention actually rests on the amplification of crowded sensory signals by increasing the signal-to-noise ratio (i.e., between prime and flankers) and thus increasing the probability of escaping crowding. Whether attention impacts both the nonconscious encoding of crowded information and the widening of the integration window remains an open question for future research. Acknowledgments The authors thank two anonymous reviewers for their useful comments. This work was supported by an REI (Recherche Exploratoire et Innovation) grant from the French government. Commercial relationships: none. Corresponding author: Nathan Faivre. nathan.faivre@ens.fr. Address: LSCP, Ecole Normale Supérieure, 29 rue d Ulm, Paris, France. References Abrams, R. L., Klinger, M. R., & Greenwald, A. G. (2002). Subliminal words activate semantic categories (not automated motor responses). Psychonomic Bulletin & Review, 9, Balas, B., Nakano, L., & Rosenholtz, R. (2009). A summary-statistic representation in peripheral vision explains visual crowding. Journal of Vision, 9(12):13, 1 18, doi: / [PubMed] [Article] Bouma, H. (1970). Interaction effects in parafoveal letter recognition. Nature, 226, Brainard, D. H. (1997). The psychophysics toolbox. Spatial Vision, 10, Chakravarthi, R., & Cavanagh, P. (2007). Temporal properties of the polarity advantage effect in crowding. Journal of Vision, 7(2):11, 1 13, journalofvision.org/content/7/2/11, doi: / [PubMed] [Article] Chakravarthi, R., & Cavanagh, P. (2009). Recovery of a crowded object by masking the flankers: Determining the locus of feature integration. Journal of Vision, 9(10):4, 1 9, doi: / [PubMed] [Article] Damian, M. F. (2001). Congruity effects evoked by subliminally presented primes: Automaticity rather than semantic processing. Journal of Experimental Psychology: Human Perception and Performance, 27, de Gardelle, V., & Kouider, S. (2010). How spatial frequencies and visual awareness interact during face processing. Psychological Science: A Journal of the American Psychological Society/APS, 21, Fang, F., & He, S. (2008). Crowding alters the spatial distribution of attention modulation in human primary visual cortex. Journal of Vision, 8(9):6, 1 9, doi: / [PubMed] [Article] Farzin, F., Rivera, S. M., & Whitney, D. (2009). Holistic crowding of Mooney faces. Journal of Vision, 9(6):18, 1 15, doi: / [PubMed] [Article] He, S., Cavanagh, P., & Intriligator, J. (1996). Attentional resolution and the locus of visual awareness. Nature, 383, Henson, R. N., Mouchlianitis, E., Matthews, W. J., & Kouider, S. (2008). Electrophysiological correlates of masked face priming. NeuroImage, 40, Intriligator, J., & Cavanagh, P. (2001). The spatial resolution of visual attention. Cognitive Psychology, 43, Jacoby, L. L., Kelley, C., Brown, J., & Jasechko, J. (1989). Becoming famous overnight: Limits on the ability to avoid unconscious influences of the past. Journal of Personality & Social Psychology, 56, Koch, C., & Tsuchiya, N. (2007). Attention and consciousness: Two distinct brain processes. Trends in Cognitive Sciences, 11, Kooi, F. L., Toet, A., Tripathy, S. P., & Levi, D. M. (1994). The effect of similarity and duration on spatial interaction in peripheral vision. Spatial Vision, 8, Kouider, S., de Gardelle, V., Sackur, J., & Dupoux, E. (2010). How rich is consciousness? The partial awareness hypothesis. Trends in Cognitive Sciences, 14,

69 Journal of Vision (2011) 11(3):2, 1 10 Faivre & Kouider 10 Kouider, S., & Dehaene, S. (2007). Levels of processing during non-conscious perception: A critical review of visual masking. Philosophical Transactions of the Royal Society of London B: Biological Sciences, 362, Kouider, S., & Dehaene, S. (2009). Subliminal number priming within and across the visual and auditory modalities. Experimental Psychology, 56, Kouider, S., Dehaene, S., Jobert, A., & Le Bihan, D. (2007). Cerebral bases of subliminal and supraliminal priming during reading. Cerebral Cortex, 17, Kouider, S., & Dupoux, E. (2004). Partial awareness creates the illusion of subliminal semantic priming. Psychological Science, 15, Kouider, S., Eger, E., Dolan, R., & Henson, R. N. (2009). Activity in face-responsive brain regions is modulated by invisible, attended faces: Evidence from masked priming. Cerebral Cortex, 19, Levi, D. M. (2008). CrowdingVAn essential bottleneck for object recognition: A mini-review. Vision Research, 48, Louie, E. G., Bressler, D. W., & Whitney, D. (2007). Holistic crowding: Selective interference between configural representations of faces in crowded scenes. Journal of Vision, 7(2):24, 1 11, journalofvision.org/content/7/2/24, doi: / [PubMed] [Article] Martelli, M., Majaj, N. J., & Pelli, D. G. (2005). Are faces processed like words? A diagnostic test for recognition by parts. Journal of Vision, 5(1):6, 58 70, doi:10:1167/ [PubMed] [Article] Marzouki, Y., & Grainger, J. (2008). Effects of prime and target eccentricity on masked repetition priming. Psychonomic Bulletin & Review, 15, Montaser-Kouhsari, L., & Rajimehr, R. (2005). Subliminal attentional modulation in crowding condition. Vision Research, 45, Naccache, L., Blandin, E., & Dehaene, S. (2002). Unconscious masked priming depends on temporal attention. Psychological Science: A Journal of the American Psychological Society/APS, 13, Nandy, A. S., & Tjan, B. S. (2007). The nature of letter crowding as revealed by first- and second-order classification images. Journal of Vision, 7(2):5, 1 26, doi: / [PubMed] [Article] Neri, P., & Levi, D. M. (2006). Spatial resolution for feature binding is impaired in peripheral and amblyopic vision. Journal of Neurophysiology, 96, Parkes, L., Lund, J., Angelucci, A., Solomon, J. A., & Morgan, M. (2001). Compulsory averaging of crowded orientation signals in human vision. Nature Neuroscience, 4, Pelli, D. G. (1997). The VideoToolbox software for visual psychophysics: Transforming numbers into movies. Spatial Vision, 10, Pelli, D. G. (2008). Crowding: A cortical constraint on object recognition. Current Opinion in Neurobiology, 18, Pelli, D. G. (1985). Uncertainty explains many aspects of visual contrast detection and discrimination. Journal of the Optical Society of America A, 2, Pelli, D. G., Palomares, M., & Majaj, N. J. (2004). Crowding is unlike ordinary masking: Distinguishing feature integration from detection. Journal of Vision, 4(12):12, , 4/12/12, doi: / [PubMed] [Article] Popple, A. V., & Levi, D. M. (2005). The perception of spatial order at a glance. Vision Research, 45, Sack, A. T., van der Mark, S., Schuhmann, T., Schwarzbach, J., & Goebel, R. (2009). Symbolic action priming relies on intact neural transmission along the retino-geniculo-striate pathway. Neuro- Image, 44, Vorberg, D., Mattler, U., Heinecke, A., Schmidt, T., & Schwarzbach, J. (2003). Different time courses for visual perception and action priming. Proceedings of the National Academy of Sciences, 100,

70 2 Biais de préférence non conscient issu d expressions faciales 2.1 Présentation de l étude Kouider, S., Berthet, V., & Faivre, N. (2011). Preference is biased by crowded facial expressions. Psychological Science, 22(2), Introduction Dans cette étude, nous avons testé si l influence du traitement non conscient pouvait gagner des niveaux supérieurs à ceux impliqués dans l amorçage de répétition. Pour cela, nous avons conçu un paradigme en GCC dans lequel des participants préalablement exposés à des expressions faciales encombrées de valence positive (joie) ou négative (colère) étaient amenés à indiquer s ils trouvaient plaisante ou non plaisante une cible abstraite subséquente (en l occurrence, un caractère chinois). De manière parallèle à cette mesure indirecte de traitement non conscient, nous avons estimé la discriminabilité du stimulus encombré par une mesure objective directe. Le biais de préférence escompté devrait rendre compte d un taux de réponses plaisantes supérieur après exposition à un visage joyeux comparé à un visage en colère, sans que les participants ne soient capables de distinguer consciemment parmi les deux expressions faciales. De plus, tirant parti de la possibilité en GCC de présenter des stimuli non discriminables de longue durée (ici plus de deux secondes), nous avons estimé ce biais de préférence à la fois pour des expressions faciales statiques (c est à dire présentées sous forme de photographies), et dynamiques (c est à dire présentées sous forme de vidéos dans lesquelles les acteurs expriment progressivement l émotion puis la maintiennent dynamiquement). Les expressions faciales perçues consciemment étant mieux traitées sous leur forme dynamique, nous escomptions qu elles induiraient un biais de préférence plus fort que leurs homologues statiques (Trautmann et al., 2009 ; voir cependant Fiorentini & Viviani (2011) pour des évidences 70

71 CHAPITRE 2. BIAIS DE PRÉFÉRENCE NON CONSCIENT ISSU D EXPRESSIONS FACIALES psychophysiques récentes allant à l encontre de ce constat). Enfin, dans deux expériences contrôles, stimuli statiques et dynamiques ont été inversés (rotation de 180 ) afin de nous assurer que le biais induit provenait d un réel traitement émotionnel non conscient des visages, et non pas de différences de bas niveau potentielles entre les stimuli de valences positives et négatives (contraste, fréquences spatiales, etc.). Principaux résultats Tout d abord, le paradigme utilisé a permis de rendre toutes les expressions faciales indiscriminables, les performances sur la mesure objective directe n étant pas significativement différentes du niveau du hasard. Néanmoins, nous avons pu mesurer que les participants considéraient les caractères chinois comme plaisants environ 7% plus fréquemment lorsqu ils étaient précédés d un visage exprimant la joie plutôt que la colère. L amplitude de ce biais de préférence non conscient était similaire pour les expressions faciales statiques et dynamiques. En revanche, lorsque les mêmes expressions étaient présentées inversées, aucun biais n a pu être mesuré. Discussion Cette mesure nous a permis de sonder plus avant l étendue du traitement non conscient d information encombrée selon quatre axes. Premièrement, les visages périphériques étaient cette fois entourés de voisins sous forme de patterns, alors qu ils étaient présentés de manière isolée dans la première étude, leur traits s encombrant les uns les autres (autoencombrement, ou self-crowding). L ajout de patterns était nécessaire, principalement pour empêcher la perception du mouvement des visages dynamiques qui aurait pu augmenter leur discriminabilité. Cela nous informe que le traitement d informations faciales résiste aussi bien à l auto-encombrement qu à l encombrement plus classique dû à la présence de voisins proches. Deuxièmement, le biais de préférence non conscient que nous avons mesuré signe la trace d une influence au delà du traitement perceptuel de la cible comme c est le cas dans l amorçage de répétition. Nous reviendrons sur ces mécanismes dans le chapitre 4 page 113. Troisièmement, nous avons pu observer ce biais à la fois provenant de stimuli statiques, et de stimuli dynamiques. Malgré la pertinence écologique des indices temporels dans les expressions faciales, les biais de préférence étaient de même amplitude dans la condition dynamique et statique. Cela est attribuable tout d abord à une trop pauvre sensibilité de la mesure comportementale employée, qui nous poussera 71

72 CHAPITRE 2. BIAIS DE PRÉFÉRENCE NON CONSCIENT ISSU D EXPRESSIONS FACIALES dans le chapitre 4 page 113 à utiliser des mesures neurales en IRMf. D autre part, cela peut signifier également que les vidéos encombrées n ont pas été traitées comme un flux visuel, mais comme une suite de clichés décorrélés les uns des autres 1. Cela nous amènera à nous interroger sur les capacités d intégration temporelle de l inconscient cognitif dans la section 2.3 page 193. Quatrièmement, le fait de présenter les visages de manière inversée, ce qui a pour conséquence la perturbation des relations configurales existant entre leurs traits (Rossion, 2008, 2009), a aboli le biais de préférence. La démonstration du traitement holistique, ou configural 2 d expressions faciales par leur inversion est déjà documenté en ce qui concerne la perception consciente (voir par exemple Calder & Jansen, 2005; Derntl et al., 2009). Nos résultats étendent donc ce phénomène à la perception non consciente encombrée. Tel que nous l avons conçu, le paradigme en GCC implique la simultanéité des mesures directes et indirectes, et donc le fait que les participants soient informés de la présence et de la nature des stimuli encombrés. Afin de tester l étendue de leur influence d un point de vue écologique, il serait intéressant de mesurer les biais de préférence qu ils induisent lorsqu ils sont inattendus. Cela pourrait s opérationnaliser par l application d une charge attentionnelle, ou en n informant pas les participants qui réaliseraient alors la tâche de visibilité après la mesure du biais de préférence. Même si les résultats de notre première étude suggèrent que le biais devrait être moindre, les résultats concernant le traitement de visages émotionnels inattendus divergent (Pessoa, 2005), ce qui laisse donc la question ouverte. 2.2 Article 1. Les traces non conscientes étant évanescentes, cela revient sensiblement au traitement de la dernière image de la vidéo, qui s apparente fortement au stimulus statique. 2. Ce phénomène regroupe plusieurs mécanismes, qui impliquent à la fois la représentation du visage comme un tout unifié, et l encodage des relations spatiales existant entre ses différents traits (Maurer et al., 2002). Par la suite, et pour rester fidèle au terme employé dans nos articles, nous référerons à l ensemble de ces mécanismes via le terme traitement configural (voir cependant Rossion, 2008, pour une discussion à ce sujet). 72

73 Research Report Preference Is Biased by Crowded Facial Expressions Psychological Science XX(X) 1 6 The Author(s) 2011 Reprints and permission: sagepub.com/journalspermissions.nav DOI: / Sid Kouider, Vincent Berthet, and Nathan Faivre Laboratoire de Sciences Cognitives et Psycholinguistique, CNRS/EHESS/DEC-ENS Abstract Crowding occurs when nearby flankers impede the identification of a peripheral stimulus. Here, we studied whether crowded features containing inaccessible emotional information can nevertheless affect preference judgments. We relied on gazecontingent crowding, a novel method allowing for constant perceptual unawareness through eye-tracking control, and we found that crowded facial expressions can bias evaluative judgments of neutral pictographs. Furthermore, this emotional bias was effective not only for static images of faces, but also for videos displaying dynamic facial expressions. In addition to showing an alternative approach for probing nonconscious cognition, this study reveals that crowded information, instead of being fully suppressed, can have important influences on decisions. Keywords nonconscious perception, crowding, face processing, emotions Received 6/13/10; Revision accepted 10/16/10 The human eye constantly receives signals from the environment, yet people are aware of only a limited quantity of visual information. Indeed, a large part of the visual field is susceptible to the crowding phenomenon, in which peripheral objects appear jumbled when surrounded by similar neighbors. Crowding is commonly attributed to feature integration of the object and its flankers in an inappropriately large region, called an integration field (Levi, 2008; Pelli & Tillman, 2008). As a consequence, peripheral objects are no longer discriminable and give the impression of a texturelike percept. However, it remains unclear whether crowded stimuli are suppressed very early in the visual system (Pelli, 2008) or at later levels of processing (Intriligator & Cavanagh, 2001). If the latter, one might expect crowded objects to be encoded and maintained in the visual system despite unawareness and to eventually influence human behaviors in a nonconscious manner. Numerous studies have investigated the crowding of face stimuli, focusing primarily on the mechanism underlying the elimination of perceptual awareness. This research has revealed that crowding can occur selectively between highlevel, configurational representations of faces (Farzin, Rivera, & Whitney, 2009; Louie, Bressler, & Whitney, 2007) and that statistical information can be rapidly extracted from crowded faces (Haberman & Whitney, 2007). Yet research has largely neglected the extent to which crowded contents are still processed in the absence of perceptual awareness. A few notable exceptions are studies showing that low-level features (i.e., line orientations) are preserved despite crowding and can induce visual adaptation (He, Cavanagh, & Intriligator, 1996). Whether crowded stimuli induce nonconscious influences at higher, nonperceptual levels (e.g., dealing with emotional or semantic content) is undetermined. The majority of research on nonconscious perception has relied on visual masking (Kouider & Dehaene, 2007; Marcel, 1983). For example, researchers found that brain regions dealing with emotional information are activated even when fearful faces are presented very briefly (i.e., for less than 50 ms) and backward-masked, presumably in the absence of awareness (e.g., Whalen et al., 1998). However, such findings have proven difficult to replicate when visibility is stringently controlled (Pessoa, 2005; Pessoa, Japee, Sturman, & Ungerleider, 2006). The fragility of subliminal influences in masking paradigms has been related to the strong degradation of visual signals, to prevent awareness. Indeed, because masking disrupts the efficient propagation of bottom-up activation in successive perceptual areas, subliminal influences are expected to decrease with synaptic distance, becoming small or undetectable in distant brain regions dealing with high-level information (Kouider & Dehaene, 2007). Corresponding Author: Sid Kouider, LSCP, Ecole Normale Supérieure, 29 rue d Ulm, Paris, France sid.kouider@ens.fr

74 2 Kouider et al. Another recent method for studying nonconscious perception is continuous flash suppression (CFS; Fang & He, 2005; Tsuchiya & Koch, 2005), an extension of binocular rivalry that consists of presenting one eye with a dynamic stream of contour-rich, high-contrast patterns in order to suppress from awareness the prime stimulus in the other eye. This method has the advantage of allowing for long stimulus durations, thus potentially increasing the strength of subliminal signals. However, in CFS, the largest suppression appears to occur relatively early in the visual system, impeding processing in higher visual regions of the ventral stream dealing with object and face recognition (Lin & He, 2009). It has recently been shown, using CFS, that although categorically congruent suppressed primes can facilitate the categorization of tools (assumed to be processed in the dorsal visual pathway), these primes have no effect on the categorization of nonmanipulable objects (assumed to be processed in the ventral visual pathway; Almeida, Mahon, Nakayama, & Caramazza, 2008). 1 In sum, although it is well documented that nonconscious perception involves low-level, sensorimotor pathways, evidence for influences at higher (e.g., emotional, semantic) levels remains scarce and is sometimes difficult to replicate (for reviews, see Kouider & Dehaene, 2007, on visual masking and Lin & He, 2009, on CFS). One possibility is that the observed weakness of subliminal influences reflects methodological rather than theoretical limitations. Methods consisting of bombarding one eye with flashes, as in CFS, or of masking a stimulus presented for only a few 10s of milliseconds, are likely to be confined to laboratory contexts. By contrast, crowding might constitute an interesting alternative approach because it occurs naturally and frequently in the perceptual environment. Furthermore, the human brain might even have been optimally tuned for processing certain peripheral stimuli (e.g., as part of danger avoidance). In this study, we investigated whether crowded faces expressing strong emotional content (happiness vs. anger) can influence preference judgments of neutral stimuli. Unlike masking and CFS, crowding does not impede stimulus detection. However, it is important to remember that some aspects of the crowded stimulus (e.g., emotional content) might remain nondiscriminable under certain conditions. One main difficulty with manipulating peripheral contents is that stimuli conveying salient information (e.g., strong emotional information) naturally attract attention and foveal focus. To overcome this problem, we developed an approach termed gaze-contingent crowding (GCC), which consists of presenting long-lasting (i.e., 2,500 ms) peripheral stimuli that are crowded by surrounding flankers while precluding foveal access through high-resolution eye tracking (see Fig. 1). The gaze-contingent control consisted of substituting the crowded stimulus with irrelevant content as soon as the observer s gaze diverged from an arbitrary fixation location. Thus, the method reliably prevented conscious access to the emotional content of the stimulus. This approach allowed us to determine whether Time Valence Task Visibility Task Happiness? 18 Emotion Paroxysm + or 150 ms Until Response Fixation + 2,500 ms 300 ms Fig. 1. Illustration of the gaze-contingent crowding procedure. Each trial consisted of the presentation of a fixation cross, followed by a peripheral emotional face surrounded by flankers. The emotional face was replaced by the same face with a neutral expression as soon as the participant ceased to gaze at the fixation cross. This event was followed, randomly, either by a Chinese pictograph (valence task) or by the question anger? or happiness? (referring to the emotion of the prime; visibility task). Participants made evaluative judgments (pleasant/unpleasant) on pictographs (measure of prime influence) and answered yes or no to the questions (i.e., reported whether or not the prime expressed the indicated emotion; measure of prime discrimination). Depending on condition, the prime faces were static or dynamic.

75 Preference Is Biased by Crowded Facial Expressions 3 crowded faces, presented not only statically but also dynamically (i.e., like movie sequences) can bias preference judgments in a nonconscious manner. Method Participants A total of 79 French college students (age range = years) participated in the study. They were paid 10 for their participation. All had normal or corrected-to-normal vision and were unable to read Chinese. Stimuli and procedure Participants sat 57 cm from a computer screen. On each trial, they stared at a fixation cross while the prime face ( ) was displayed either statically or dynamically for 2,500 ms (18 center-to-center eccentricity between face and cross). The prime face was surrounded by six noninformative pattern flankers ( ; 3.1 center-to-center eccentricity between face and flankers). Whenever a participant ceased to gaze at a 5 5 invisible zone around fixation, the face was replaced by the same face with a neutral expression (with a maximum delay of two screen refreshes). This procedure guaranteed that the emotional information in the face was never accessed foveally. Then, at the fixation location, either (a) an unknown Chinese pictograph (3 3 ) or (b) the question anger? or happiness? was presented. The pictograph was displayed for 150 ms, and participants were expected to indicate whether or not it was pleasant (measure of prime influence; 120 trials); the word question was displayed until the participant indicated whether or not the word corresponded to the facial expression of the prime (measure of prime discrimination; 60 trials). The two kinds of trials were intermixed randomly, so participants could not predict their task on a given trial. Processing during the prime presentation was thus identical under both conditions. Prime valence (i.e., happiness or anger) was manipulated within participants, and prime type (i.e., static or dynamic) between participants. Prime stimuli were obtained by videotaping five professional actresses demonstrating dynamic expressions of happiness and anger. Videos were speeded up or down slightly to compensate for differences in timing between the different actors expressions. Each video started with a neutral expression (500 ms), followed by emotional progression until paroxysm (1,000 ms), and finally dynamic maintenance at the peak level (1,000 ms). Static faces were extracted from each movie; neutral expressions were taken from the 0-ms point in the videos, and emotional-paroxysm expressions were taken from the 1,500-ms point. Stimuli were matched for average luminance, contrast, size, and (for movies) timing of expression progression. The flankers were noninformative patterns created by overlaying faces and objects (de Gardelle & Kouider, 2010). Their luminance was 40% higher than that of the primes. The display was controlled by the Psychophysics Toolbox (Brainard, 1997; Pelli, 1997). Stimuli were presented against a black background (0.004 cd/m 2 ) on a 22-in. screen (frame rate: 85 Hz; resolution: 1, pixels). Eye movements were recorded monocularly with a tower-mounted eye tracker (Eyelink 1000 system, SR Research, Mississauga, Ontario, Canada; sampling rate: 1000 Hz; spatial resolution: 1 ). Results Target pictographs were evaluated as pleasant at a mean rate of 55.7% (SD = 9.5%). Crucially, evaluation of the pictographs was significantly modulated by prime valence; the rate at which the pictographs were judged pleasant was 6.8% higher following happy faces than following angry faces, F(1, 41) = 9.08, p <.005 (see Fig. 2). The interaction between prime valence and prime type was not significant, F < 1, as the magnitude of the bias was equivalent for static primes (6.7%), t(21) = 2.17, p <.05, and dynamic primes (7.0%), t(20) = 2.10, p <.05. Debriefing after the experiment revealed that none of the participants could detect the emotion expressed by the crowded faces. Signal detection analysis on the primediscrimination trials revealed chance-level performance both for static primes (mean d = 0.02), t(21) = 0.21, p =.84, and for dynamic primes (mean d = 0.18), t(20) = 1.57, p =.13, confirming that GCC successfully prevented access to emotional information in the periphery. It is noteworthy that although participants complied with the instructions in a majority of trials, they also attempted to stare specifically at the prime on 9.5% (SD = 7.0%) of the trials (1.7%, SD = 1.4%, of total fixation time; see Fig. S1 in the Supplemental Material available online). This tendency was constant across the whole protocol, which suggests that gaze-contingent control is a crucial manipulation for preventing the identification of peripheral stimuli. Although the stimuli were matched for low-level properties on several dimensions, one possible reason for the effect of prime valence might be that there were still systematic, unaccounted-for differences between the stimuli displaying angry and happy faces. In order to rule out this possibility, we conducted an additional, control experiment using the same procedure, design, and materials as before, except that the faces were presented as upside-down images and upside-down videos. In these conditions, participants evaluations of the pictographs were not influenced by prime valence (0.4% difference for static stimuli and 1.01% difference for dynamic stimuli, both Fs < 1). Thus, the decision bias observed with upright faces reflects a genuine extraction of emotional information from them. Discussion In this study, we used a new method, GCC, that allows for the long-lasting presentation of nonconscious visual signals in the periphery. We found that a crowded stimulus conveying

76 4 Kouider et al. 65 n = 22 Anger Happiness 60 Pleasant Response Rate (%) n = 21 n = 18 n = Static Faces Dynamic Faces Main Experiment Static Faces Upside-Down Dynamic Faces Upside-Down Control Experiment Fig. 2. Mean percentage of unknown Chinese pictographs judged as pleasant in the main experiment (upright faces) and the control experiment (upside-down faces). Percentages are shown as a function of prime type (static or dynamic) and prime valence (anger or happiness). Error bars denote 1 SE. The number of participants tested in each condition is shown. emotional information can bias evaluative judgment of a neutral, unknown target. Furthermore, this nonconscious emotional influence was not exerted when the crowded faces were inverted, a result confirming that the emotional effect we observed has a configurational, rather than featural, origin. These results have several implications. One implication concerns the phenomenon of crowding itself. Crowding occurs when the features of an object and its flankers are integrated into the same integration field, which results in a jumbled percept in which the object cannot be discriminated. It is agreed that the size of the integration field increases with eccentricity, but the origin of this widening is debated. According to bottom-up proposals, integration fields are materialized in primary visual cortex (Pelli, 2008). This hardwired limitation would imply a loss of information for crowded stimuli at and beyond V1. According to top-down proposals, the size of the integration field is the size of the spotlight of attention (Intriligator & Cavanagh, 2001), which suggests that crowded information is present in the visual system but remains inaccessible because of inattention. Our results extend these findings by showing that crowded emotional features that cannot be discriminated are preserved and are able to bias behaviors. One might still argue for a bottom-up account, according to which the emotional effect we observed reflects subcortical processing of faces, bypassing cortical pathways. Indeed, LeDoux (1998) described two alternative cerebral routes for emotion processing: the thalamo-amygdala pathway (short route) and the thalamo-cortico-amygdala pathway (long route). Studies with blindsight patients suggest that, instead of engaging ventral (i.e., occipito-temporal) pathways in the visual cortex, perception of emotions engages alternative subcortical regions such as the superior colliculus and the pulvinar, which are connected to the amygdala without any cortical relay (de Gelder, Vroomen, Pourtois, & Weiskrantz, 1999). However, strong evidence for the existence of connections between the amygdala and the pulvinar in humans is still lacking (Pessoa, 2005). Furthermore, stimulus processing in the suppressed hemifield of blindsight patients has also been correlated not only with subcortical regions but also with cortical visual regions (e.g., MT+, lateral occipital complex) that are probably engaged as a result of residual V1 activity (Goebel, Muckli, Zanella, Singer, &

77 Preference Is Biased by Crowded Facial Expressions 5 Stoerig, 2001). These cortical regions could then elicit the amygdala, and amygdala activity would then be falsely interpreted as being due to processing by the short route. Furthermore, a patient with complete bilateral lesions in the amygdala has been reported to process subliminal fearful stimuli without notable differences from normal participants (Tsuchiya, Moradi, Felsen, Yamazaki, & Adolphs, 2009), which suggests that the amygdala is not necessary for nonconscious, rapid fear detection, but rather plays a belated role (once cortical processing has taken place) in face representation, modulation of social judgments, and other higher-order cognitive processes. It is important to note that we found that inverted crowded faces were not processed as emotional stimuli. Recently, it has been debated whether the differences between the processing of upright faces and the processing of inverted faces are quantitative or qualitative (Sekuler, Gaspar, Gold, & Bennett, 2004). In any case, physiological measures indicate that these differences arise from cortical regions along the ventral visual pathways, such as the fusiform face area (Kanwisher & Yovel, 2006). Thus, it is tempting to consider our result as evidence for the nonconscious maintenance of crowded information in cortical areas beyond V1 (Greenwood, Bex, & Dakin, 2010; Parkes, Lund, Angelucci, Solomon, & Morgan, 2001). We found that GCC could be used to demonstrate influences from both static pictures and videos. However, we did not observe greater emotional effects for dynamic stimuli than for static stimuli, although such a difference is usually found for visible faces (Trautmann, Fehr, & Herrmann, 2009). The fact that we did not observe the same pattern as for visible faces has important implications regarding the limits of nonconscious processing, as the possibility of sequential processing without awareness remains an important but unsettled question. One possibility is that a processing advantage for dynamic stimuli occurs only during the conscious perception of emotional content. Future experiments examining the differential processing of crowded and uncrowded (i.e., discriminable) stimuli might be necessary to shed light on this issue. If the processing advantage for dynamic stimuli is restricted to uncrowded displays, that would suggest that crowded movies are not processed as dynamic stimuli per se and are thus not integrated across time. Alternatively, it remains possible that the evaluative judgments we elicited in our experiment were not sensitive enough to the static/dynamic manipulation. In that case, investigating the neural response associated with the processing of crowded dynamic and static displays may be useful in investigating the possibility of nonconscious temporal integration. Finally, regarding the phenomenology of crowding, it is important to point out that crowding constitutes a prototypical situation of partial awareness (Kouider, de Gardelle, Sackur, & Dupoux, 2010) in which the stimulus is perceived as a jumbled object because restricted levels of processing are consciously accessed while most others remain below the threshold of consciousness. Although participants in our experiment could detect the presence of a crowded stimulus (as a texturelike pattern), the stimulus features that were diagnostic for priming effects (emotional attributes) were impossible to discriminate and therefore had nonconscious influences on responses relying on that particular type of information. Together, these results suggest that although crowding constitutes a bottleneck in object recognition, limiting conscious access when there is an overflow of visual signals, it spares the environmental information that is necessary for nonconscious behavioral responses. Acknowledgments The authors thank Arnaud Piketty for stimulus preparation and two anonymous reviewers for their comments. Declaration of Conflicting Interests The authors declared that they had no conflicts of interest with respect to their authorship or the publication of this article. Funding This work was supported by an REI (Recherche Exploratoire et Innovation) grant from the French government. Supplemental Material Additional supporting information may be found at Note 1. In addition, CFS poses practical problems for preventing awareness constantly during an experiment, because suppression can be broken at any moment when participants just close one eye. References Almeida, J., Mahon, B.Z., Nakayama, K., & Caramazza, A. (2008). Unconscious processing dissociates along categorical lines. Proceedings of the National Academy of Sciences, USA, 105, Brainard, D.H. (1997). The Psychophysics Toolbox. Spatial Vision, 10, de Gardelle, B., & Kouider, S. (2010). How spatial frequencies and visual awareness interact during face processing. Psychological Science, 21, de Gelder, B., Vroomen, J., Pourtois, G., & Weiskrantz, L. (1999). Non-conscious recognition of affect in the absence of striate cortex. NeuroReport, 10, Fang, F., & He, S. (2005). Cortical responses to invisible objects in the human dorsal and ventral pathways. Nature Neuroscience, 8, Farzin, F., Rivera, S.M., & Whitney, D. (2009). Holistic crowding of Mooney faces. Journal of Vision, 9(6), Article 18. Retrieved from Goebel, R., Muckli, L., Zanella, F., Singer, W., & Stoerig, P. (2001). Sustained extrastriate cortical activation without visual awareness revealed by fmri studies of hemianopic patients. Vision Research, 41, Greenwood, J.A., Bex, P.J., & Dakin, S.C. (2010). Crowding changes appearance. Current Biology, 20,

78 6 Kouider et al. Haberman, J., & Whitney, D. (2007). Rapid extraction of mean emotion and gender from sets of faces. Current Biology, 17, R751 R753. He, S., Cavanagh, P., & Intriligator, J. (1996). Attentional resolution and the locus of visual awareness. Nature, 383, Intriligator, J., & Cavanagh, P. (2001). The spatial resolution of visual attention. Cognitive Psychology, 43, Kanwisher, N., & Yovel, G. (2006). The fusiform face area: A cortical region specialized for the perception of faces. Philosophical Transactions of the Royal Society B: Biological Sciences, 361, Kouider, S., de Gardelle, V., Sackur, J., & Dupoux, E. (2010). How rich is consciousness? The partial awareness hypothesis. Trends in Cognitive Sciences, 14, Kouider, S., & Dehaene, S. (2007). Levels of processing during non-conscious perception: A critical review of visual masking. Philosophical Transactions of the Royal Society B: Biological Sciences, 362, LeDoux, J.E. (1998). The emotional brain: The mysterious underpinnings of emotional life. New York, NY: Simon & Schuster. Levi, D.M. (2008). Crowding an essential bottleneck for object recognition: A mini-review. Vision Research, 48, Lin, Z., & He, S. (2009). Seeing the invisible: The scope and limits of unconscious processing in binocular rivalry. Progress in Neurobiology, 87, Louie, E.G., Bressler, D.W., & Whitney, D. (2007). Holistic crowding: Selective interference between configural representations of faces in crowded scenes. Journal of Vision, 7(2), Article 24. Retrieved from Marcel, A.J. (1983). Conscious and unconscious perception: Experiments on visual masking and word recognition. Cognitive Psychology, 15, Parkes, L., Lund, J., Angelucci, A., Solomon, J.A., & Morgan, M. (2001). Compulsory averaging of crowded orientation signals in human vision. Nature Neuroscience, 4, Pelli, D.G. (1997). The VideoToolbox software for visual psychophysics: Transforming numbers into movies. Spatial Vision, 10, Pelli, D.G. (2008). Crowding: A cortical constraint on object recognition. Current Opinion in Neurobiology, 18, Pelli, D.G., & Tillman, K.A. (2008). The uncrowded window of object recognition. Nature Neuroscience, 11, Pessoa, L. (2005). To what extent are emotional visual stimuli processed without attention and awareness? Current Opinion in Neurobiology, 15, Pessoa, L., Japee, S., Sturman, D., & Ungerleider, L.G. (2006). Target visibility and visual awareness modulate amygdala responses to fearful faces. Cerebral Cortex, 16, Sekuler, A.B., Gaspar, C.M., Gold, J.M., & Bennett, P.J. (2004). Inversion leads to quantitative, not qualitative, changes in face processing. Current Biology, 14, Trautmann, S., Fehr, T., & Herrmann, M. (2009). Emotions in motion: Dynamic compared to static facial expressions of disgust and happiness reveal more widespread emotion-specific activations. Brain Research, 1284, Tsuchiya, N., & Koch, C. (2005). Continuous flash suppression reduces negative afterimages. Nature Neuroscience, 8, Tsuchiya, N., Moradi, F., Felsen, C., Yamazaki, M., & Adolphs, R. (2009). Intact rapid detection of fearful faces in the absence of the amygdala. Nature Neuroscience, 12, Whalen, P.J., Rauch, S.L., Etcoff, N.L., McInerney, S.C., Lee, M.B., & Jenike, M.A. (1998). Masked presentations of emotional facial expressions modulate amygdala activity without explicit knowledge. The Journal of Neuroscience, 18,

79 3 Stimulation visuelle et profondeur du traitement non conscient Faivre, N., Berthet, V., & Kouider, S. (under review). Visual Stimulation Determines the Depth of Nonconscious Face Processing. Consciousness and Cognition. 3.1 Présentation de l étude Introduction Dans cette troisième étude, nous avons affiné et étendu les premiers résultats obtenus précédemment concernant les biais de préférence non conscients. Tout d abord, avec le même paradigme expérimental que dans la deuxième étude, nous avons affiné les liens entre traitement non conscient et niveau d encombrement. En effet, dans l étude précédente, nous avons trouvé qu encombrer les traits des visages en les entourant de voisins épargnait leur traitement configural. Ici, nous avons testé si l encombrement de l information configurale des mêmes visages émotionnels par la présence de visages neutres épargnait malgré tout leur traitement configural non conscient. De plus, nous avons affiné les mesures de biais de préférence non conscient avec une deuxième expérience comportant une ligne de base avec des expressions faciales statiques et dynamiques neutres. Cela nous a permis de comparer les influences respectives des valences positives et négatives sur le biais de préférence. Par ailleurs, l intérêt de cette étude se trouve également dans la comparaison méthodologique systématique qu elle propose. Nous avons en effet réalisé les mêmes mesures de biais de préférence en empêchant l accès conscient aux expressions faciales à la fois par le masquage visuel et le CFS, afin de comparer les différents niveaux de traitement non conscient autorisés par chaque méthode. 79

80 CHAPITRE 3. STIMULATION VISUELLE ET PROFONDEUR DU TRAITEMENT NON CONSCIENT Principaux résultats En GCC, nous avons trouvé que les processus donnant lieu au biais de préférence étaient épargnés aussi bien lorsque les visages émotionnels étaient encombrés au niveau de leurs traits par des patterns, ou au niveau de leur information configurale par d autres visages neutres. De plus, la deuxième expérience comportant une ligne de base nous a permis de mettre à jour que le biais de préférence provenait spécifiquement de la présence des visages exprimant la joie, que ce soit de manière statique ou dynamique. En effet, si la préférence était significativement biaisée par les visages exprimant la joie comparé aux visages neutres, aucun biais significatif n a pu être mis en évidence par les visages exprimant la colère. Enfin, une réplication de la deuxième expérience en condition de perception consciente a montré que cette restriction du biais aux valences positives était spécifique à la condition encombrée, puisque des biais conscients ont pu être induits aussi bien par des visages exprimant la joie que la colère. Avec le même paradigme, l utilisation du masquage visuel avec des stimuli statiques, et du CFS avec à la fois des stimuli statiques et dynamiques ne nous a pas permis d observer un biais de préférence non conscient. En revanche, lors d une tâche d amorçage de répétition impliquant la reconnaissance émotionnelle d un visage cible, ces mêmes stimuli ont induit une modulation des temps de réaction dans les deux paradigmes. Discussion En GCC, nous avons trouvé une double dissociation entre niveau d encombrement et traitement non conscient. En effet, on sait le traitement configural des visages être à l origine du biais de préférence. Or, l encombrement des traits aussi bien que l encombrement configural autorise son occurence. La deuxième expérience a précisé l origine du biais aux expressions faciales de joie, ce qui corrèle avec des études précédentes suggérant un traitement favorisé de cette émotion en périphérie du champ de vision, cela potentiellement en lien avec sa composition en basses fréquences spatiales (Smith & Schyns, 2009; Goren & Wilson, 2006). De nouveau, l amplitude similaire du biais de préférence entre expressions statiques et dynamiques ne nous permet pas de statuer sur un traitement spécifique d indices temporels en l absence d accès conscient. Les comparaisons méthodologiques systématiques que nous avons réalisées dans cette étude montrent à quel point l estimation de la profondeur de l inconscient cognitif est 80

81 CHAPITRE 3. STIMULATION VISUELLE ET PROFONDEUR DU TRAITEMENT NON CONSCIENT une tâche délicate. Ici, l utilisation isolée du masquage ou du CFS aurait conduit à une conclusion erronée sur la limite de l inconscient cognitif pour cette tâche bien précise. Or, la quête des corrélats neuraux de la conscience par une approche contrastive requiert que les limites attribuées à la cognition non consciente émergent des propriétés intrinsèques du système, et non pas de limites méthodologiques. Il nous apparaît crucial de multiplier ces comparaisons, et de les étendre à des tâches cognitives d ordre plus général. Les résultats négatifs obtenus avec l utilisation du masquage et du CFS s expliquent en partie par les conséquences drastiques de ces deux méthodes sur le système visuel. En masquage, la présence du masque juste après le visage a pu empêcher l activité ré-entrante nécessaire à son traitement configural fin (Lamme & Roelfsema, 2000). Le CFS quant à lui interrompt potentiellement le traitement visuel au sein de la voie ventrale, comme indiqué par une étude précédente (Almeida et al., 2008). Néanmoins, le contrôle réalisé avec les expériences d amorçage de répétition montrent que ces deux méthodes rendaient possible un traitement perceptuel des visages émotionnels. Il pourrait donc s agir d une situation dans laquelle le traitement perceptuel intervient pour chaque méthode, mais où seul le GCC préserve les opérations cognitives en aval de ce traitement qui donnent naissance au biais de préférence. L étude suivante basée sur la neuroimagerie précise la nature de ces opérations. 3.2 Article 81

82 Visual Stimulation Determines The Depth of Nonconscious Face Processing Nathan Faivre, Vincent Berthet, and Sid Kouider Laboratoire de Sciences Cognitives et Psycholinguistique, CNRS/EHESS/DEC-ENS, Paris, France. Send correspondance to: Nathan Faivre, LSCP, Ecole Normale Supérieure, 29 rue d'ulm, Paris, France. Phone: nathan.faivre@ens.fr Keywords: consciousness, face processing, emotion, crowding, GCC, CFS, masking.

83 Abstract In the domain of nonconscious perception, several methods allowing for the prevention of visual awareness have flourished. While their properties are now well described, the level at which each of them disrupts nonconscious processing remains unclear. However, delimiting the frontier between conscious and nonconscious cognition requires an accurate estimation of the depth of nonconscious processes. Here, we compared the processing of facial expressions rendered invisible through gazecontingent crowding (GCC), visual masking, and continuous flash suppression (CFS), three techniques relying on different visual properties. We found that both pictures and videos of happy faces suppressed from awareness by GCC were processed such as biasing subsequent preference judgments, while the same stimuli manipulated with visual masking and CFS elicited perceptual priming only. These results provide new insights regarding the nonconscious impact of emotional features, and suggest the crucial importance of methodological comparisons before concluding on the depth of nonconscious cognition.

84 1. Introduction Over the past twenty years, it has been clearly established that stimuli remaining inaccessible to conscious reports are processed such as to influence behavioral and neural responses (Marcel, 1983; Kouider & Dehaene, 2007). Reliable measures of nonconscious perception require a sensory stimulation of maximum energy in order to elicit robust influences, while ensuring a strict control of stimulus visibility in order to avoid potential confounds with conscious processes. So far, in the domain of nonconscious vision, researchers have relied on two main perceptual manipulations, namely visual masking and continuous flash suppression (CFS) (see Kim & Blake, 2005, for other techniques relying notably on attentional manipulations). In visual masking, a short-lasting stimulus (i.e., below 50ms) is immediately followed by a visual pattern called the mask, and becomes impossible to detect (Breitmeyer, & Ögmen, 2006; Di Lollo, Enns, & Rensink, 2000). In CFS, one eye is presented with the stimulus of interest, while the other eye is presented with a dynamic stream of salient patterns called mondrians. Due to binocular rivalry, the stimulus of interest is suppressed from awareness and remains undetectable even after long exposure of several seconds (Tsuchiya & Koch, 2005). These two approaches have been extremely fruitful to describe the depth of nonconscious cognition (see Kouider & Dehaene, 2007 for a review on visual masking, and Lin & He, 2009 for a review on CFS). Surprisingly, to our knowledge, only one study compared systematically the fate of stimuli suppressed from awareness by visual masking and CFS (Almeida, Mahon, Nakayama, & Caramazza, 2008, see discussion). However, further methodological comparisons are necessary in the context of contrastive research on consciousness (Baars, 1997). Indeed, if one tries to infer the neural correlates of consciousness from a contrast between conscious and nonconscious cognition, one has to be sure that the limits attributed to nonconscious processes are substantive to nonconscious cognition, and do not arise from methodological limitations.

85 Here, we present new results on nonconscious perception from a third alternative involving visual crowding. Visual crowding reflects the fact that a peripheral stimulus appears jumbled and become undiscriminable when surrounded by similar flankers. By contrast to both masking and CFS, the detection of a crowded stimulus is prevented, since observers are able to report its presence. Nonetheless, properties of the crowded stimulus which are shared with the flankers are not reportable. Interestingly, this impairment of stimulus discriminability is not restored by a longer stimulus exposure (Kooi, Toet, Tripathy, & Levi, 1994), which allows for long-lasting presentation without awareness. In order to control for stimulus discriminability, we implemented crowding with an eye-tracking based control, resulting in a method we called gaze-contingent crowding (GCC; Faivre & Kouider, 2011; Kouider, Berthet and Faivre, 2011). GCC allows for the substitution of the crowded stimulus with an irrelevant content as soon as the observer's gaze diverges from a defined location. Thus, it offers the advantage of continuous, long-lasting stimulation with a reliable control of stimulus discriminability. Taking advantage of these characteristics, several studies have established the existence of a dissociation between the subjective feeling of a jumbled, uninformative percept, and the underlying processing occuring without awareness, both at the single-feature level (e.g., line orientation, see He, Cavanagh, & Intriligator, 1996), and at the multifeature level (e.g., faces, directional arrow, Faivre & Kouider, 2011). Recently, we found that peripheral faces whose emotional features were crowded by mask patterns were processed such as to bias subsequent preference judgments (Kouider et al., 2011). Indeed, participants rated unknown Chinese pictographs as more pleasant when previously exposed to pictures and videos of happy compared to angry crowded faces. Interestingly, this influence disappeared when static and dynamic faces were presented upside-down, which is known to disrupt the processing of spatial relations between the facial features, while largely preserving local feature analysis (Rossion & Gauthier, 2002). This suggests that the visual processes underlying this effect were of a configurational nature, concerning not only the features' physical properties, but also the spatial relations between them.

86 In the present study, we addressed two complementary issues. First, we characterized in more details the processing of facial expressions during crowding. Extending our previous results, we show that both featural crowding (i.e., induced by mask flankers) and configurational crowding (i.e., induced by neutral face flankers) preserved the nonconscious processing of configurational face information (Experiment 1). Furthermore, replicating our previous study with a neutral baseline, we show that the nonconscious preference bias measured arose specifically from the processing of static and dynamic happy faces (Experiment 2), while both happy and angry faces elicited preference biases when perceived consciously (Experiment 3). Secondly, we compared systematically the depth of facial expressions processing when stimuli were manipulated by GCC, visual masking (Experiment 4), and CFS (Experiment 5). While emotional faces under visual masking and CFS were able to elicit perceptual priming (i.e., they influenced the processing of an identical target face), we found that they were not processed up to the point of biasing preference judgment. Thus, together with the positive effects we obtained with GCC, the set of data we report provides a good example of the importance of methodological comparisons in the context of contrastive research on consciousness. The discrepancies between the different methods are discussed on the light of the neural basis of crowding, masking, and binocular rivalry.

87 2. Gaze-contingent crowding 2.1 Experiment 1 Face perception involves at least two different levels of processing. Featural processing reflects the encoding of facial parts as taken individually (e.g., the mouth, the eyes), while configurational processing reflects the encoding of the spatial relations between them (Maurer, Grand, & Mondloch, 2002). Configurational face processing is illustrated notably by the face superiority effect, in which observers discriminate a facial feature more easily if it is presented in the context of a face than if it is presented alone (Tanaka & Farah, 1993), and the face-inversion effect (Rossion & Gauthier, 2002), in which a face is more difficult to recognize when presented upside-down. In our previous study, we showed that presenting crowded emotional faces upside-down disrupted the influence they had on preference judgment, suggesting that the preference bias we observed had a configurational, rather than featural origin (Kouider, Berthet, & Faivre, 2011). Furthermore, it has been shown that the perception of a peripheral face is specifically impeded when it is flanked by other similar faces, suggesting that crowding can occur not only between the different features of faces, but also selectively between their configurational representations (Farzin, Rivera, & Whitney, 2009; Louie, Bressler, & Whitney, 2007). In Experiment 1, we tested whether the nonconscious configurational processing of faces was preserved when configurational information was disrupted by crowding. For this purpose, we compared the influence on preference judgment of emotional faces surrounded by mask patterns (inducing featural crowding) and surrounded by neutral faces (inducing configurational crowding).

88 2.1.1 Method Participants. 18 French college students (age range = years) participated in Experiment 1. All reported normal or corrected-to-normal vision and were paid for their participation. They were recruited in function of their inability to read Chinese pictographs. Stimuli. We recorded facial expressions from five actresses recruited from a professional acting academy. Participant's face was filmed against a black background, in an equally held illumination room. Each face expressed happiness or anger after a triggering by a mood induction strategy. Random mouse motion was used as a neutral condition. Emotional paroxysms were defined by two independent observers. Videos were slightly speeded up or down to compensate the differences between the timings of the different actors' expressions. All videos were matched for average luminance, contrast, and image size (3.2 x 3.9 ), and cropped to show the face only. Snapshots were extracted from each video, at t = 0ms for the neutral expression condition, and t = 1500ms for the emotional paroxysm condition. Flankers consisted in 2.5 x2.8 masks created by overlaying faces and objects such that resulted in non-informative patterns. The luminance of the flankers was 40% higher than that of the emotional faces. Targets were 3 x3 white Chinese pictographs. Equipment Eye movements were recorded monocularly with a tower mounted eye tracker (Eyelink 1000 system, SR research, Ontario, Canada) controlled with the Eyelink toolbox (Cornelissen, Peters, & Palmer, 2002), with a sampling rate of 1000 Hz and a spatial resolution of 1 or above. Stimuli were all displayed by a computer running Matlab with the Psychophysics Toolbox (Brainard, 1997; Pelli, 1997) against a black background (22-in. Iiyama Vision master pro 510 screen, frame rate of 85 Hz, resolution of 1024x768 pixels, luminance of Cd.m - ²). The participant sat 57 cm from the screen in a dimly lit room, a chin and headrest was used in all experiments. A calibration phase was performed after each block of 60 trials.

89 Procedure. Experiment 1 consisted in 240 preference judgment trials and 120 visibility trials, equally divided in 4 blocks of 120 trials. In each block, the flankers surrounding the emotional face consisted either in a circular array of 6 faces identical to the emotional face but with a neutral expression (f), or in a circular array of 6 mask patterns (m). Two counterbalanced groups of participants were defined depending on the nature of the flankers (i.e., either (m-f-m-f) or (f-m-f-m)). Each trial started with a 0.5 x 0.5 fixation cross for 300 ms. The emotional face was then displayed for 2500ms, surrounded by the six flankers (18 eccentricity between the emotional face and fixation cross centered at the quarter top of the screen; 3.1 (center to center distance), or 0.3 (edge to edge distance) between the emotional face and the flankers). Importantly, as soon as a participant ceased to gaze at a fixation area consisting in a zone of 5 by 5 surrounding the fixation cross, the emotional face was substituted by the same face with a neutral expression guaranteeing that the emotional face was never processed foveally (see Figure 1). Randomly, in two out of three trials, the participant s task was to decide whether a Chinese pictogram displayed for 150 ms at the fixation location was pleasant (right button press) or unpleasant (left button press). They were instructed not to make an aesthetic judgment, but rather follow a spontaneous intuition, and to provide an answer in less than a second. In the one out of three trials remaining, a question concerning the facial expression appeared at the fixation location instead of the Chinese pictograph. Participants could read either Happiness?, or Anger? They had to answer by pressing the right button if they thought the answer was yes, or the left button if they thought it was no. The question remained on screen until a response was provided.

90 Figure 1 Left panel: Schematic description of the GCC procedure (Experiment 1). Each trial consisted in the presentation of a fixation cross, followed by a peripheral emotional face surrounded by flankers. Unpredictably, this was followed by a Chinese pictograph on which participants had to make an evaluative judgment (Preference Task), or by a question concerning the emotion expressed by the prime, on which participants had to answer by yes or no (Visibility Task). Experiment 1: peripheral happy or angry faces were presented statically for 2500ms, surrounded by flankers consisting in masks or neutral faces. Experiment 2: peripheral happy, neutral or angry faces were presented statically or dynamically for 1200ms, surrounded by mask flankers. Experiment 3: happy, neutral or angry faces were presented foveally for 75ms or 2500ms, surrounded by mask flankers. Right panel: Schematic description of the gaze-contingent substitution. As long as participants' gaze was maintained in a 5 x 5 region surrounding the fixation cross ( correct gaze ), the peripheral emotional face was presented among the flankers. As soon as participants' gaze diverged from this region, the emotional face was replaced by the same face with a neutral expression ( gaze-contingent substitution ). In Experiment 2 which contained a neutral baseline condition, the substitution was realized with the same face with a different neutral expression.

91 2.1.2 Results Participants rated the target with a mean pleasant response rate of 47.45% (SD = 12.02). In order to estimate the preference bias occurring during featural and configurational crowding, we ran a 2 x 2 ANOVA with valence (happy vs. angry) and flanker type (mask vs. neutral face) as within-subjects factors and group (f-m-f-m vs. m-f-m-f) as between-subjects factor. This analysis revealed a main effect of valence [F(1,17) = 9.64; p < 0.01], reflecting the fact that participants rated the target as more pleasant after being exposed to a happy compared to an angry face by 4.52%, without any interaction of valence with flanker type nor with group (both F < 1). Analysis of the facial expression visibility task revealed that participants performed at chance level both when flankers were neutral faces (mean d-prime = -0.15, t(18) = -0.73, p = 0.48) and masks (mean d-prime = 0.25, t(18) = 1.28, p = 0.22), without any difference between the two conditions (p = 0.17). In sum, Experiment 1 replicated our previous study showing that the nonconscious processing of facial expressions occurred despite featural crowding, and additionally revealed that it occurred despite configurational crowding. 2.2 Experiment 2 In our previous study, we found that static and dynamic facial expressions biased preference judgments to the same extent (Kouider, Berthet, & Faivre, 2011). However, it is known that when dynamic facial expressions are consciously visible, they usually induce increased emotional responses, both at the behavioral and the physiological level (Sato, Kochiyama, Yoshikawa, Naito, & Matsumura, 2004; Trautmann, Fehr, & Herrmann, 2009). In Experiment 2, we further explored this issue in several respects. First, in order to assess which emotion (i.e., happiness or anger, expressed statically or dynamically) was able to modulate preference judgments, we added a baseline condition consisting in dynamic neutral faces moving randomly the mouth, or static neutral

92 faces extracted from these videos (see Methods). Second, it remains possible that the finding of equivalent bias from static and dynamic stimuli in our previous study resulted from group differences (i.e., overall, groups of participants exposed to static and dynamic stimuli had different mean pleasant response rates). To rule out this possibility, Experiment 2 was based on a withinsubject design, allowing for a direct comparison between static and dynamic emotional processing through the same participants. Third, we further reduced potential differences regarding the amount of emotional information that could be extracted from static and dynamic stimuli. Indeed, in our previous study, the first 500ms of prime presentation were already at the paroxysm of emotion for static faces, while they remained neutral for dynamic faces. This resulted in a difference of roughly 20 % on a total of 2500ms of emotional expression, and could explain why dynamic stimuli did not have a larger impact compared to static faces. In this new experiment, the duration of the videos was shortened to 1200ms and discrepancy between the amount of information in static and dynamic stimuli was reduced to ~8%, dynamic stimuli starting with a neutral expression (100ms), followed by emotional progression until paroxysm (1000ms), and dynamical maintenance at the peak level (100 ms).

93 2.2.1 Method Participants. 13 French college students (age range = years) participated in Experiment 2. All reported normal or corrected-to-normal vision and were paid for their participation. They were recruited in function of their inability to read Chinese pictographs. Stimuli. Stimuli were similar to the ones used in Experiment 1. Procedure. Experiment 2 consisted in 360 priming trials and 120 visibility trials, equally divided in 4 blocks of 120 trials. The procedure was similar to the one used in Experiment 1, except for the following points. 1. Flankers were exclusively mask patterns. 2. Each block contained exclusively either dynamic (d) or static (s) stimuli, consisting in happy, angry, or neutral faces, presented for 1200ms. Two counterbalanced groups of participants were defined depending on the sequence of blocks they were assigned to (i.e., either (d-s-d-s) or (s-d-s-d)). 3. In the visibility task, participants had to answer to one of these three questions regarding the emotional face: Happiness?, Neutral?, or Anger? Results Modulation of the pleasant response rate in Experiment 2 was first analyzed globally in a 3 (Valence; happy, neutral, angry) 2 (Stimulus type; dynamic vs. static) ANOVA, with repeated measures on the two factors. This analysis revealed a main effect of valence [F(1,12) = 5.00; p < 0.05], but no interaction with stimulus type [F(1,12) = 0.002; p = 0.96]. This confirms that nonconscious emotional processing was equally strong for static and dynamic faces. We then performed separate 2 2 ANOVAs to differentiate the impact of happy and angry faces. We found

94 that, in comparison to neutral faces, participants rated the Chinese pictographs as more pleasant when they were previously exposed to crowded happy faces [3.7%; t(12) = 2.51; SD = 5.2, p < 0.05]. This nonconscious modulation was not affected by stimulus type [F(1,12) = 0.03, p = 0.87], as it was of similar amplitude for static [3.4%; t(12) = 2.05; SD = 6.03, p = 0.06] and dynamic faces [3.9%; t(12) = 1.58; SD = 8.94, p = 0.14]. However, no overall modulation was observed for angry faces [1.1%; t(12) = 0.50; SD = 7.96, p = 0.63], nor when restricting to static faces [1.4%; t(12) = 0.42; SD = 12.21, p = 0.68] or dynamic faces [0.8%; t(12) = 0.32; SD = 8.62, p = 0.75] (Figure 2). Analysis of the facial expression visibility task revealed chance-level performance (mean d-prime = 0.13; t(12) = 0.77; SD = 0.64, p = 0.46), without significant differences as a function of valence [F(1,12) = 1.46, p = 0.25] or stimulus type [F(1,12) = 0.78, p = 0.39]. In sum, Experiment 2 revealed that the nonconscious origin of the preference bias that we obtained previously stems primarily from the processing of facial expressions conveying positive emotions, regardless of their static or dynamic properties. Figure 2. Comparative results of preference judgment in GCC (Experiment 2) Averaged percentage of pleasant response on the Chinese pictograph, depending on the emotion expressed by angry (dark gray), neutral (gray), or happy faces (light gray). Error bars denote one standard error. * denotes a p-value < 0.05.

95 2.3 Experiment 3 Experiment 3 aimed at testing whether the restriction to positive biases we observed in Experiment 2 was specific to nonconscious perceptual processes. We replicated Experiment 2 in condition of full visibility, with static emotional faces presented foveally. Furthermore, faces were presented either for a long duration (2500ms), or for a short duration (75ms), in order to control for the existence of explicit strategies when participants are exposed to long-lasting visible faces (e.g., intentional inhibition of emotional influences). Here, we relied on the assumption that the time necessary to develop these strategies would not be sufficient in case faces are presented for 75ms and instructions impose to provide a preference judgment in less than a second Method Participants. 21 French college students (age range = years) participated in Experiment 3. All reported normal or corrected-to-normal vision and were paid for their participation. They were recruited in function of their inability to read Chinese pictographs. Stimuli. Stimuli were similar to the ones used in Experiment 1. Procedure. Experiment 3 consisted in 120 priming trials and 60 visibility trials, equally divided in 3 blocks of 60 trials. The procedure was similar to the one used in Experiment 2, except for the following points: 1. All stimuli were presented at fixation position, such as participants could perceive them foveally. 2. Emotional faces were all static and they were randomly presented either for a short duration (i.e., 75ms) or for a long duration (i.e., 2500ms) within a block.

96 2.3.2 Results Participants rated the target with a mean pleasant response rate of 59.79% (SD = 14.18). A 3 (Valence; happy, neutral, angry) 2 (Stimulus duration; short vs. long) ANOVA revealed a main effect of valence [F(1,20) = 17.03; p < 0.001]. This reflected the fact that in comparison to a neutral face exposure, participants rated the target as more pleasant after being exposed to a happy face [10.07%; t(20) = 2.78; p < 0.05], and as less pleasant after being exposed to an angry face [-7.71%; t(20) = -2.65; p < 0.05] (Figure 3). We found no interaction of valence with stimulus duration [F(1,20) = 0.18; p = 0.67], revealing that the influence of the short-lasting and long-lasting facial expressions were similar. This result ruled-out the potential involvement of explicit strategies in the long duration condition. Analysis of the visibility task revealed a main effect of stimulus valence [F(1,20) = 24.10; p < 0.001], showing that participants discriminated more accurately happy faces (mean accuracy = 92.86%) compared to angry faces (mean accuracy = 80.24%) and to neutral expressions (mean accuracy = 66.91%). However, visibility was clearly above chance-level performance in the three conditions (all p < 0.001). Furthermore, a main effect of stimulus duration [F(1,20) = 16.38; p < 0.001] revealed a greater accuracy for long-lasting compared to short lasting stimuli (i.e., 84.13% vs 75.87%). In sum, Experiment 3 revealed that when facial expressions are consciously visible, they are able to bias preference judgments towards negativity when they represent anger, and towards positivity when they represent happiness, this effect occuring regardless of the stimulus duration.

97 Figure 3. Comparative results of conscious preference judgment bias (Experiment 3) Averaged percentage of pleasant response on the Chinese pictograph, depending on the emotion expressed by angry (dark gray), neutral (gray), or happy faces (light gray). Short stimulus duration and long stimulus duration conditions are averaged. Error bars denote one standard error. * denotes a p-value < Comparison with Visual Masking The large majority of research on nonconscious perception has relied on the conjoint use of very brief stimulus durations (i.e., less than 50ms) and stimulus degradation through backward masking (Breitmeyer & Ögmen, 2006; Kouider & Dehaene, 2007). For instance, facial expressions presented very briefly and backward masked have been argued to affect brain regions dealing with emotional information (Morris, Ohman, & Dolan, 1998; Whalen et al., 1998). Yet, such findings have proven difficult to replicate when visibility is stringently controlled (Pessoa, 2005). Here, we relied on a recent face priming paradigm that has shown robust nonconscious influences, at least at the perceptual level, on behavioral, electrophysiological, and hemodynamic responses while carefully controlling for stimulus visibility (Henson, Mouchlianitis, Matthews, & Kouider, 2008; Kouider, Eger, Dolan, & Henson, 2009). In Experiment 4a, we adapted this masked face priming method to the preference judgment task, creating a masking equivalent to GCC. In Experiment 4b participants

98 had to indicate whether a target face was happy or angry, in case it was preceded by a similar masked face, and in case it was preceded by a different masked face expressing the same emotion. This repetition priming procedure aimed at controlling that masked facial expressions were processed at a perceptual level. 3.1 Experiment Methods Participants. 18 French college students (age range = years) participated in Experiment 4a, and 10 in Experiment 4b. All reported normal or corrected-to-normal vision and were paid for their participation. They were recruited in function of their inability to read Chinese pictographs. Stimuli. Emotional faces were static pictures of happy or angry expressions similar to the ones used in Experiment 1. In order to produce a robust masking effect, faces luminance was 40% lower than for the masks, and peripheral facial attributes (e.g., hair, ears) were additionally cropped. In Experiment 4a, targets were 3 x3 white Chinese pictographs. In Experiment 4b, targets were either similar to the masked face, or different faces expressing the same emotion. Targets were 110 % larger compared to the masked faces, in order to avoid physical overlap. Equipment. Stimuli were displayed on a 17-in. Compaq Trinitron P700 monitor with a frame rate of 60 Hz and a resolution of 1024x768 pixels.

99 Procedure. Experiment 4a consisted in 120 priming trials and 60 visibility trials. Each trial started with a 0.5 x 0.5 fixation cross for 300 ms, followed by a forward mask for 500ms, the emotional face for 33ms and then a backward mask for 50ms (see Figure 4). In the preference task, a Chinese Pictograph appeared centrally for 150ms, while in the visibility task, a question regarding the facial expression remained on screen until a response was provided. Instructions were identical to those used previously in Experiment 1. Experiment 4b consisted in 160 priming trials and 60 visibility trials. Each trial started with a 0.5 x 0.5 fixation cross for 300ms. The masked faces were displayed in the very same way as in Experiment 4a. In priming trials, the task was to decide, as quickly as possible, whether an emotional target face displayed for 200 ms at the fixation location expressed anger or happiness. Participants indicated their response with their left index finger if they thought the face was angry or right index finger if they thought it was happy. They were told to answer as fast as possible. For visibility trials, here also, a question concerning the masked face appeared at the fixation location instead of the target face. Participants could read either Happiness? or Anger?. They had to answer by pressing the right button if they thought the answer was yes, or with the left button if they thought it was no. The occurrence of a visibility task was chosen randomly at each trial.

100 Figure 4. Schematic description of the masking procedure (Experiment 4a). Each trial consisted in the presentation of a fixation cross, followed immediately by a forward mask pattern, and then by the emotional face accompanied by the backward mask pattern. This was followed by a Chinese pictograph (Preference Task), or a question concerning the emotion expressed by the face (Visibility Task). Experiment 4b had the very same procedure, except that the preference task was replaced by a perceptual priming task, in which the target was a face either identical, either expressing the same emotion than the masked face Results In Experiment 4a, we failed to observe any significant preference bias of happy compared to angry masked faces [2.5 %; t(18) = 1.22, p = 0.24] (see Table 1). Importantly, however, the repetition priming experiment (Experiment 4b), controlling that the emotional faces were processed at perceptual levels, revealed a significant effect of priming [8 ms; t(10) = 2.15; p < 0.05] (see Table 2) In both experiments, the visibility task confirmed that backward masking prevented conscious access to the facial expressions, as performance was at chance for both Experiment 4a ( mean d- prime = -0.05; t(18) = -0.67; SD = 0.3, p = 0.51) and Experiment 4b ( mean d-prime = 0.11; t(10) = 0.32; SD = 1.15, p = 0.75). In sum, these results suggest that the strong stimulus degradation through masking still allows for the extraction of perceptual information but prevents the processing of emotional contents.

101 4. Comparison with continuous flash suppression (CFS) Another alternative that has recently attracted attention is continuous flash suppression (CFS, see Tsuchiya & Koch, 2005). This technique, which is an extension of binocular rivalry, consists in presenting one eye with a dynamic stream of contour-rich, high-contrast patterns, in order to suppress from awareness the stimulus in the other eye. As in GCC, this method has the advantage of allowing for long stimulus durations, thus potentially increasing the strength of invisible signals. However, in CFS, the largest suppression appears to occur relatively early in the visual system (i.e., in sub-cortical and striate areas), and might thus reduce the possibility of processing in visual ventral areas dealing with object and face recognition (Lin & He, 2008). Here, we tested whether static facial expressions manipulated by CFS could bias preference judgments (Experiment 5a) and elicit repetition priming (Experiment 5b). In Experiment 5c, we extended the measure of preference judgment bias to dynamic facial expressions. 4.1 Experiment Method Participants. 15 French college students (age range = years) participated in Experiment 5a, 9 in Experiment 5b, and 12 in Experiment 5c. All reported normal or corrected-to-normal vision and were paid for their participation. They were recruited in function of their inability to read Chinese pictographs. Stimuli. Static stimuli in Experiment 5a & 5b were similar to those used in the static condition of Experiment 1. Dynamic stimuli in Experiment 5c were similar to those used in the dynamic condition of Experiment 2.

102 Equipment. Observers viewed the display through an adjustable mirror stereoscope (ScreenScope Mirror Stereoscope) on a 17-in. Compaq Trinitron P700 monitor with a frame rate of 60 Hz and a resolution of 1024x768 pixels. Procedure. A 8.7 x 6.7 frame, composed of textured black and white bars (0.7 width) was presented in each eye to facilitate stable convergence of the two images. Mondrian patterns consisted of arrays of randomly generated shapes of rapidly changing color and form (i.e., every 125ms, 8Hz), circumscribed by an outer square border corresponding to the surface of stimuli presentation (8 x 6 ), and presented to left or right eye ( non suppressed eye, randomly chosen at each trial). Emotional faces were displayed for 2500ms, either statically (Experiments 5a & 5b) or dynamically (Experiment 5c) (see Figure 5). In order to maintain the suppressed faces invisible, their luminance was decreased by a factor of 70% compared to the targets. Targets were 110 % larger compared to the suppressed faces, in order to avoid physical overlap. Preference bias experiments (Experiments 5a & 5c) consisted in 120 priming trials and 60 visibility trials. The preference valence task and the visibility task were similar to those used previously in Experiment 1. The occurrence of a visibility task was chosen randomly at each trial. The perceptual priming experiment (Experiment 5b) consisted in 160 priming trials and 60 visibility trials. Targets were either similar to the suppressed emotional face, or different faces expressing the same emotion. The perceptual priming task and the visibility task were similar to those used previously in Experiment 4b. For each trial, all faces were always displayed in the same eye. The occurrence of a visibility task was chosen randomly at each trial.

103 Figure 5. Schematic description of the CFS procedure (Experiment 5a) Each trial consisted in the presentation of a fixation cross, followed by a dynamic stream of alternating patterns (Mondrian) displayed in one eye, while the static emotional face was presented in the other (suppressed eye). When the Mondrian stream stopped, either a Chinese pictograph (Preference Task) or a question concerning the emotion expressed by the face (Visbility Task) appeared in the suppressed eye. Experiment 5b followed the very same design, except that the preference task was replaced by a perceptual priming task, in which the target was a face either identical, either expressing the same emotion than the suppressed face. Experiment 5c was the equivalent of Experiment 5a with dynamic faces Results In Experiment 5a, in which the suppressed faces were presented statically for 2500ms and followed by the same neutral Chinese pictographs as in the preceding experiments, we failed to observe a significant influence of the facial expressions on preference judgment [0.6 %; t(14) = 0.24; p = 0.82] (see Table 1). However, in a control experiment (Experiment 5b) in which the suppressed faces were followed by either same or different faces in order to assess perceptual processing, we observed a significant effect of repetition priming [-18 ms; t(8) = -2.56, p < 0.05] (see Table 2). It is of note that the modulation for repetition priming was negative here (longer reaction times in repeated compared to unrelated trials). This is congruent with other studies by our group showing that this actually reflects the use of prolonged stimulus exposure in CFS (Barbot & Kouider,

104 submitted) or in crowding (Faivre & Kouider, submitted). Indeed, we recently found that while short stimulus exposures (e.g., 200ms) lead to positive repetition priming, longer exposures (e.g., 1000ms) actually induce negative priming. This reverse of priming effects might be related to the fact that visual stimulation in the absence of perceptual awareness does not allow for a sustained representation of the encoded features and result in sensory habituation. Stimulus visibility was here also not significantly better than chance in both Experiment 5a ( mean d-prime = 0.15; t(14) = 1.98; SD = 0.29, p = 0.07) and Experiment 5b ( mean d-prime = 0.09; t(8) = 1.35; SD = 0.20, p = 0.21). Notably, there was a marginal trend for visibility in Experiment 5a, which could indicate that some participants might have been aware of the facial expressions. In order to address with this possibility, we relied again on Greenwald s regression method (Greenwald, Klinger, & Schuh, 1995) which revealed that priming extrapolated to null visibility clearly did not differ from zero (intercept = -1%, p = 0.74). Finally, in Experiment 5c, we tested whether dynamic stimuli might be more successful at inducing emotional influences in CFS. Yet, here also, no preference bias was found [-1,1%; t(11) = -0.5; p = 0.63], with chance-level performance on the visibility task ( mean d-prime = 0.19; SD = 0.48, p = 0.19). In sum, our results reveal that, as with masking, perceptual information from stimuli manipulated with CFS are extracted and are able to influence subsequent perception (i.e., perceptual priming), but do not reach the level necessary to bias subsequent decisions (i.e., preference judgments).

105 Table 1. Comparative results of preference judgment in masking and CFS. Averaged percentage of pleasant response rate on the neutral target (Chinese pictograph), depending on the emotion expressed by the face (i.e., happiness or anger). SD denotes standard deviation. Results are shown for masking (Experiment 4a), CFS with static faces (Experiment 5a), and CFS with dynamic faces (Experiment 5c). Table 2. Perceptual priming results in masking and CFS. Averaged reaction times for the emotional target face, for related and unrelated trials. Results are shown for Experiment 4b (masking) and Experiment 5b (CFS). SD denotes standard deviation.

106 6. Discussion With a series of 7 experiments, we probed the depth of processing of faces maintained outside perceptual awareness through three different techniques: gaze-contingent crowding (GCC), visual masking, and continuous flash suppression (CFS). This comparative approach not only provides further evidence regarding the nonconscious processing of emotional faces (see Tamietto et de Gelder, 2010, for a review), but it also offers an interesting point of view regarding the development of probes for nonconscious cognition. First, we showed with GCC that peripheral stimuli conveying emotions (i.e., happy compared to angry faces) could bias subsequent preference judgments, both when featural and configurational information were disrupted by crowding. In a second experiment which included a neutral baseline, we showed that this approach could be applied as well to dynamic stimuli (videos), and that the preference bias arose specifically from faces expressing happiness. This restriction to positive preference bias was not observed when facial expressions where presented foveally and were thus consciously visible, suggesting that featural crowding disrupted the physical information involved in anger expression. This is corroborated with previous results showing that peripheral presentation of faces globally impairs expression recognition, except in the case of happiness (Goren & Wilson, 2006). This might be related to the fact that diagnostic features for the recognition of happiness involve mainly the mouth in the low spatial frequency spectrum, while the recognition of anger is rather driven by the eyes (i.e., frown) through higher spatial frequencies (Smith & Schyns, 2009). The precise role of facial features and spatial frequency during the processing of crowded faces remain to be investigated. These findings have implications regarding the phenomenon of crowding itself, whose origins remain highly controversial (Levi, 2008). Crowding occurs when an object and its flankers are

107 integrated into the same integration field, resulting in a jumbled percept in which the object cannot be discriminated. It has been shown that the size of the integration field increased with eccentricity in the visual field, in line with an empirical psychophysical law (Bouma law, Bouma, 1970). However, the reason for this widening remains highly debated. According to bottom-up proposals, integration fields are materialized in the primary visual cortex (Pelli, 2008), which consequently implies a loss of information for crowded stimuli at and beyond V1. Our results tend to argue against this view, and rather suggest that the information from crowded stimuli is still present in the visual system, but remains inaccessible to conscious awareness. From this perspective, crowded perception would only reflect a partial conscious read-out of information, while further processing occurs in a nonconscious manner. Consistent with a belated occurrence of crowding along the visual pathways, several studies have shown that single-feature crowded stimuli (e.g., line orientation, see He et al., 1996; Montaser-Kouhsari & Rajimehr, 2005) and multifeature crowded objects (e.g., faces or directionnal arrows, see Faivre & Kouider, 2011) are processed despite the fact that they remain undiscriminable consciously. In other terms, during featural crowding, a feature is processed nonconsciously despite featural interactions with the flankers. In our previous study, we found that the preference bias depended on a configurational processing of crowded faces, since the effect disappeared when the crowded faces were presented upside-down (Kouider, Berthet, & Faivre, 2011). Here, in Experiment 1, we found that configurational crowding (i.e., induced by face flankers which interfere with the crowded face at the configurational level) did not disrupt the bias on preference judgment. In other terms, we show that crowding allows for a nonconscious configurational face processing despite configurational interactions with the flankers. In Experiment 2, we found that GCC could be used to demonstrate influences from happiness emotions as expressed statically (i.e., in pictures) as well as dynamically (i.e., in videos). It is of note that the amplitude of preference bias was similar in the static and dynamic conditions. However, it is known that when they are visible, facial expressions are better recognized in their

108 dynamic compared to their static form. Clearly, it remains possible that the behavioral measure we employed is not sensitive enough to highlight superiority of invisible dynamic expressions on preference judgment. Yet, these results question the capacity for the visual system to bind across time invisible facial features into a perceptual representation. To that respect, GCC allows for the study of nonconscious temporal integration, a fundamental property that has not been investigated so far. When using the same stimuli as in the GCC experiments, but suppressing them from awareness by visual masking or CFS, no influence on preference judgments could be highlighted. Nevertheless, we found lower-level perceptual priming effects revealed by a modulation of reaction times on a repetition priming task. It is of note that similar effects were previously obtained with GCC (Faivre & Kouider, 2011). The fragility of emotional influences observed in masking paradigms could be related to the strong degradation of visual stimuli, since masking is known to disrupt the reentrant activity associated with higher-level visual processes (Lamme & Roelfsema, 2000). The results we found in Experiment 4a and 4b are consistent with previous rigorous analyzes (Pessoa, 2005), and question the existence of emotional faces processing above perceptual levels. The drastic degradation required by masking in order to prevent awareness might dramatically reduce stimulus strength, so that the masked stimulus might not reach the level of processing necessary for valence extraction. Concerning CFS, the results found in Experiment 3 are coherent with findings revealing that during binocular rivalry drastic suppression actually occurs relatively early in the visual system (i.e., in sub-cortical and striate areas), impeding the processing in higher visual regions of the ventral stream (Fang & He, 2005, Jiang & He, 2006). Along the same lines, it has recently been shown using CFS that while categorically congruent suppressed stimuli can facilitate the categorization of tools (assumed to be processed in the dorsal visual pathway), these stimuli have no effect on non

109 manipulable objects that are assumed to be processed in the ventral visual pathway (Almeida et al., 2008). However, the positive results we obtained with GCC suggest that these negative results with masking and CFS do not reflect a theoretical limitation of nonconscious cognition, but rather a methodological one. In this respect, the set of data we report provides a good example of the importance of methodological comparisons in the context of a contrastive study of consciousness. One possible reason why crowding paradigms appear to lead to stronger nonconscious influences than masking and CFS is its ecological relevance. Indeed, bombarding the eyes with flashes or backward masks is likely to be confined to laboratory contexts. By contrast, crowding occurs permanently in our perceptual environment and the visual system might have been optimally tuned for processing peripheral stimuli. By showing high-level nonconscious effects that arise from crowded stimuli, we think that GCC consists in a valuable alternative to probe nonconscious cognition. While crowding is considered as a bottleneck to object recognition (Whitney & Levi, 2011), the amount of environmental information that can be accessed consciously is thus reduced, but at the same time the informational encoding that is necessary for nonconscious behavioral responses seems to be preserved.

110 Almeida, J., Mahon, B. Z., Nakayama, K., & Caramazza, A. (2008). Unconscious processing dissociates along categorical lines. Proceedings of the National Academy of Sciences of the United States of America, 105(39), doi: /pnas Baars, B. (1997). Contrastive phenomenology: A thoroughly empirical approach to consciousness. The Nature of Consciousness. MIT Press. Bouma, H. (1970). Interaction effects in parafoveal letter recognition. Nature, 226(5241), Brainard, D. H. (1997). The Psychophysics Toolbox. Spatial Vision, 10(4), Breitmeyer, B. G., & Ögmen, H. (2006). Visual masking: time slices through conscious and unconscious vision. Oxford University Press. Cornelissen, F. W., Peters, E. M., & Palmer, J. (2002). The Eyelink Toolbox: eye tracking with MATLAB and the Psychophysics Toolbox. Behavior Research Methods, Instruments, & Computers: A Journal of the Psychonomic Society, Inc, 34(4), Faivre, N., & Kouider, S. (2011). Multi-feature objects elicit nonconscious priming despite crowding. Journal of Vision, 11(3). doi: / Fang, F., & He, S. (2005). Cortical responses to invisible objects in the human dorsal and ventral pathways. Nature Neuroscience, 8(10), doi: /nn1537 Farzin, F., Rivera, S. M., & Whitney, D. (2009). Holistic crowding of Mooney faces. Journal of Vision, 9(6), doi: / Goren, D., & Wilson, H. R. (2006). Quantifying facial expression recognition across viewing conditions. Vision Research, 46(8-9), doi: /j.visres Greenwald, A. G., Klinger, M. R., & Schuh, E. S. (1995). Activation by marginally perceptible ( subliminal ) stimuli: dissociation of unconscious from conscious cognition. Journal of Experimental Psychology. General, 124(1), Henson, R N, Mouchlianitis, E., Matthews, W. J., & Kouider, S. (2008). Electrophysiological correlates of masked face priming. NeuroImage, 40(2), He, S., Cavanagh, P., & Intriligator, J. (1996). Attentional resolution and the locus of visual awareness. Nature, 383(6598), doi: /383334a0 Jiang Y, & He, S. Cortical responses to invisible faces: dissociating subsystems for facialinformation processing. Current Biology. 16(20): Kim, C. Y., & Blake, R. (2005). Psychophysical magic: rendering the visible invisible. Trends in

111 Cognitive Sciences, 9(8), Kooi, F. L., Toet, A., Tripathy, S. P., & Levi, D. M. (1994). The effect of similarity and duration on spatial interaction in peripheral vision. Spatial Vision, 8, Kouider, & Dehaene. (2007). Levels of processing during non-conscious perception: a critical review of visual masking. Philosophical Transactions of the Royal Society of London. Series B, Biological Sciences, 362(1481), doi: /rstb Kouider, S., Berthet, V., & Faivre, N. (2011). Preference is biased by crowded facial expressions. Psychological Science, 22(2), doi: / Kouider, S., Eger, E., Dolan, R., & Henson, R. N. (2009). Activity in face-responsive brain regions is modulated by invisible, attended faces: evidence from masked priming. Cerebral Cortex (New York, N.Y.: 1991), 19(1), doi: /cercor/bhn048 Lamme, V. A., & Roelfsema, P. R. (2000). The distinct modes of vision offered by feedforward and recurrent processing. Trends in Neurosciences, 23(11), Levi, D. M. (2008). Crowding an essential bottleneck for object recognition: a mini-review. Vision Research, 48(5), doi: /j.visres Lin, Z., & He, S. (2009). Seeing the invisible: the scope and limits of unconscious processing in binocular rivalry. Progress in Neurobiology, 87(4), Di Lollo, V., Enns, J. T., & Rensink, R. A. (2000). Competition for consciousness among visual events: The psychophysics of reentrant visual processes. Journal of Experimental Psychology: General, 129(4), doi: / Louie, E. G., Bressler, D. W., & Whitney, D. (2007). Holistic crowding: Selective interference between configural representations of faces in crowded scenes. Journal of Vision, 7(2), 24. Marcel, A. J Conscious and unconscious perception: experiments on visual masking and word recognition. Cogn. Psychol. 15, (doi: / (83) ) Maurer, D., Grand, R. L., & Mondloch, C. J. (2002). The many faces of configural processing. Trends in Cognitive Sciences, 6(6), doi: /s (02) Montaser-Kouhsari, L., & Rajimehr, R. (2005). Subliminal attentional modulation in crowding condition. Vision Research, 45(7), Morris, J. S., Ohman, A., & Dolan, R. J. (1998). Conscious and unconscious emotional learning in the human amygdala. Nature, 393(6684), doi: /30976

112 Pelli. (1997). The VideoToolbox software for visual psychophysics: transforming numbers into movies. Spatial Vision, 10(4), Pelli, D. G. (2008). Crowding: a cortical constraint on object recognition. Curr Opin Neurobiol, 18(4), doi: /j.conb Pessoa, L. (2005). To what extent are emotional visual stimuli processed without attention and awareness? Current Opinion in Neurobiology, 15(2), doi: /j.conb Rossion, B., & Gauthier, I. (2002). How does the brain process upright and inverted faces? Behavioral and Cognitive Neuroscience Reviews, 1(1), Sato, W., Kochiyama, T., Yoshikawa, S., Naito, E., & Matsumura, M. (2004). Enhanced neural activity in response to dynamic facial expressions of emotion: an fmri study. Brain Res Cogn Brain Res, 20(1), doi: /j.cogbrainres Smith F. W., & Schyns P. G. Smile through your fear and sadness: transmitting and identifying facial expression signals over a range of viewing distances. Psychological Science. 20(10): Tamietto, M., & Gelder, B. de. (2010). Neural bases of the non-conscious perception of emotional signals. Nat Rev Neurosci, 11(10), doi: /nrn2889 Tanaka, J. W., & Farah, M. J. (1993). Parts and wholes in face recognition. The Quarterly Journal of Experimental Psychology. A, Human Experimental Psychology, 46(2), Trautmann, S. A., Fehr, T., & Herrmann, M. (2009). Emotions in motion: Dynamic compared to static facial expressions of disgust and happiness reveal more widespread emotion-specific activations. Brain Research, 1284, doi: /j.brainres Tsuchiya, N., & Koch, C. (2005). Continuous flash suppression reduces negative afterimages. Nature neuroscience, 8(8), Whalen, P. J., Rauch, S. L., Etcoff, N. L., McInerney, S. C., Lee, M. B., & Jenike, M. A. (1998). Masked presentations of emotional facial expressions modulate amygdala activity without explicit knowledge. The Journal of Neuroscience: The Official Journal of the Society for Neuroscience, 18(1), Whitney, D., & Levi, D. M. Visual crowding: a fundamental limit on conscious perception and object recognition. Trends in Cognitive Sciences, 15(4), /j.tics

113 4 Bases neurales du traitement non conscient d expressions faciales Faivre, N., Charron, S., Roux, P., Lehéricy, S., & Kouider, S. (under review). Nonconscious Emotional Processing of Pictures and Videos Involve Distinct Neural Pathways. Neuroimage. 4.1 Présentation de l étude Introduction Cette étude de neuroimagerie clôt le groupe d expériences visant à mieux comprendre le traitement émotionnel de visages encombrés statiques et dynamiques. A l aide d un paradigme en GCC adapté aux mesures en IRMf, nous avons comparé l activité neurale induite par des expressions faciales joyeuses et neutres, sous leur forme statique et dynamique. En comptant sur la sensibilité des mesures en IRMf, nous avons cherché à mettre en évidence au niveau neural les différences potentielles existant entre le traitement non conscient de stimuli statiques et dynamiques, les mesures comportementales réalisées auparavant ne nous ayant pas permis d y parvenir. Nous avons suivi pour cela une stratégie d analyse en cerveau entier, mais aussi en région d intérêts, cette dernière étant conduite par des hypothèses venues de la littérature (notamment l implication de l amygdale pour le traitement émotionnel non conscient, voir Tamietto & de Gelder, 2010, pour une revue de la littérature), et par la localisation fonctionnelle individuelle et indépendante des régions impliquées dans le traitement des visages (notamment l aire fusiforme des visages, ou FFA, voir Kanwisher & Yovel, 2006, pour une revue de la littérature). Enfin, une analyse d interaction psychophysiologique (PPI, voir Friston et al., 1997) nous a permis d estimer la connectivité fonctionnelle d une partie du réseau cérébral mise en évidence en premier lieu par les contrastes linéaires. 113

114 CHAPITRE 4. BASES NEURALES DU TRAITEMENT NON CONSCIENT D EXPRESSIONS FACIALES Principaux résultats Au niveau comportemental, nous avons une fois de plus répliqué le résultat montrant qu en comparaison aux visages neutres, les visages exprimant la joie induisait un biais de préférence positif lors du jugement d une cible abstraite, et ce de manière équivalente pour les expressions statiques et dynamiques. Au niveau neural, nous avons trouvé un pattern d activité différent en fonction du caractère statique ou dynamique des expressions faciales. Pour les visages statiques, le contraste entre les expressions joyeuses et neutres a révélé un vaste réseau à la fois sous-cortical, avec notamment la mise en jeu de l amygdale et de l hippocampe, et cortical, avec la mise en jeu des cortex fusiformes, temporaux inférieurs, orbitofrontaux, et cingulaires antérieurs. En se basant sur les résultats fournis par la localisation fonctionnelle de la FFA, nous avons trouvé que cette dernière était également activée de manière bilatérale par le traitement non conscient des expressions faciales statiques. De plus, l activité au sein de la FFA corrélait avec l amplitude du biais de préférence, ce qui témoigne de son implication dans la tâche cognitive demandée aux participants. Enfin, les analyses en PPI ont révélé une connectivité fonctionnelle ipsilatérale entre les deux FFA et les deux amygdales. Pour les visages dynamiques, le même contraste entre les expressions joyeuses et neutres a révélé un réseau d activation en partie différent. Au niveau sous-cortical, les activations concernaient l hippocampe mais aussi la substantia innominata. Au niveau cortical, les activations concernaient principalement les cortex pariétaux postérieurs et orbitofrontaux. L analyse en région d intérêt n a pas révélé l implication de la FFA, ni son interaction avec l amygdale. Discussion Nos résultats montrent l existence de deux patterns d activations cérébrales en fonction du caractère statique ou dynamique de l expression faciale biaisant le jugement de préférence. Au niveau sous-cortical, les expressions statiques impliquaient l amygdale, une région abondamment décrite comme faisant partie du réseau du traitement émotionnel à la fois conscient et non conscient (Whalen et al., 1998; Morris et al., 1999). Les expressions dynamiques activaient quant à elles la substantia innominata, un noyau dorsal du complexe amygdaloïde impliqué dans le traitement de l intensité émotionnelle (arousal) plutôt que de la valence (Breiter et al., 1996; Kim et al., 2003). 114

115 CHAPITRE 4. BASES NEURALES DU TRAITEMENT NON CONSCIENT D EXPRESSIONS FACIALES Au niveau cortical, nous avons proposé que les expressions statiques étaient traitées le long de la voie visuelle ventrale et notamment la FFA. Rappelons que le contraste employé dans nos analyses comparait un visage émotionnel à un visage neutre, et non pas un visage à un objet comme c est souvent le cas pour montrer l implication des régions spécifiques au traitement des visages. Or, deux des modèles influents de perception des visages (Bruce & Young, 1986; Haxby et al., 2000) distinguent le traitement d informations faciales invariantes comme l identité, impliquant le cortex fusiforme et en particulier la FFA, et le traitement d informations faciales changeantes comme les émotions, impliquant le sulcus temporal supérieur (STS). Bien qu informative, cette distinction n est pas absolue puisqu en plus de nos résultats, l implication de la FFA dans le traitement émotionnel conscient a déjà été rapportée (Vuilleumier et al., 2001; Ganel et al., 2005). En ce qui concerne les expressions dynamiques, nous avons proposé qu elles étaient traitées le long de la voie visuelle dorsale, et notamment le cortex pariétal postérieur. Un modèle de reconnaissance des mouvements biologiques (Giese & Poggio, 2003) stipule que l information de forme (ici les traits émotionnels du visage) est encodée au sein de la voie ventrale, alors que l information de flux (l évolution des traits émotionnels au cours du temps) est encodée au sein de la voie dorsale. Le fait que les expressions dynamiques encombrées n activent pas la voie visuelle ventrale questionne la possibilité d intégrer sans accès conscient l information de forme et l information de flux. Nous reviendrons sur cette notion dans la discussion. De plus, le doute demeure quant à savoir si le traitement visuel est d abord opéré par les régions sous-corticales, puis gagne le cortex à posteriori sans passer par les aires visuelles précoces (empruntant alors la voie émotionnelle dite courte), ou si les stimuli empruntent d abord les régions visuelles corticales ventrales et dorsales, puis respectivement l amygdale et la substantia innominata (empruntant alors la voie émotionnelle dite longue). Cette question fait référence à un débat récent entre Tamietto & de Gelder (2010) d une part, argumentant pour la voie visuelle courte, et Pessoa & Adolphs (2010) d autre part, en faveur d un modèle impliquant des vagues multiples d activations entre voie courte et voie longue. Les résultats de connectivité fonctionnelle que nous rapportons indiquent que l amygdale et la FFA ne sont pas simplement co-activées, mais interagissent lors du traitement d expressions faciales statiques. En revanche, puisqu ils ne donnent pas d information sur la directionnalité de la connexion, ces résultats ne permettent pas de préciser le trajet de l information. Des analyses futures de connectivité effective (directionnelle) utilisant la modélisation dynamique causale pourront faire progresser le débat (Friston et al., 2003). En revanche, une réponse partielle à la question provient de notre étude 115

116 CHAPITRE 4. BASES NEURALES DU TRAITEMENT NON CONSCIENT D EXPRESSIONS FACIALES comportementale du chapitre 2, montrant que le biais de préférence disparaît lorsque les visages émotionnels sont présentés de manière inversée. Ce résultat comportemental suggère le traitement configural des visages encombrés, qui, d un point de vue neural, emprunte diverses régions de la voie visuelle ventrale (voir par exemple Haxby et al., 1999; Leube et al., 2003; Yovel & Kanwisher, 2005; Rossion et al., 2011). Si cela suggère que les expressions faciales encombrées sont en premier lieu traitées de manière corticale, et empruntent donc la voie émotionnelle longue, l affirmation de cette hypothèse nécessitera la comparaison directe des activités cérébrales induites par des visages encombrés présentés à l endroit et de manière inversée. Enfin, les expressions faciales statiques et dynamiques activaient également des régions communes, à savoir l hippocampe au niveau sous-cortical, et le cortex orbitofrontal au niveau cortical. Nous avons donc proposé deux mécanismes non exclusifs suggérant que ces activations communes sous-tendaient le biais commun qu exerçaient les expressions faciales encombrées. L hippocampe encoderait l évaluation contextuelle des stimuli émotionnels et leurs liens avec le jugement de préférence subséquent (Morris et al., 1999). Le cortex orbitofrontal, qui comprend des neurones répondants aux visages (Thorpe et al., 1983), modulerait lui les préférences esthétiques implicites de la cible, en fonction des afférences émotionnelles qu il reçoit (Kawabata & Zeki, 2004). 4.2 Article 116

117 Nonconscious Emotional Processing of Pictures and Videos Involve Distinct Neural Pathways Nathan Faivre 1, Sylvain Charron 1, Paul Roux 1, Stéphane Lehéricy 2, & Sid Kouider 1 1. Laboratoire de Sciences Cognitives et Psycholinguistique, CNRS/EHESS/DEC-ENS, Paris, France. 2 Centre de NeuroImagerie de Recherche CENIR, Centre de Recherche de l'institut du Cerveau et de la Moelle epiniere, Université Pierre et Marie Curie-Paris 6 UMR-S975, Inserm U975, CNRS UMR7225, Groupe Hospitalier Pitié-Salpêtrière, Paris, France Send correspondance to: Nathan Faivre, LSCP, Ecole Normale Supérieure, 29 rue d'ulm, Paris, France. Phone: nathan.faivre@ens.fr Keywords: Emotion, awareness, Functional MRI, PPI, FFA, Amygdala,

118 Abstract. Facial expressions are known to impact observers' behavior, even when they are not consciously identifiable. Relying on visual crowding, a perceptual phenomenon whereby peripheral faces become undiscriminable, we show that participants exposed to happy vs. neutral crowded faces rated the pleasantness of a subsequent neutral target accordingly to the facial expression's valence. Using functionnal magnetic resonnance imaging (fmri) along with psychophysiological interaction analysis, we investigated the neural determinants of this nonconscious preference bias, either induced by static (i.e., pictures) or dynamic (i.e., videos) facial expressions. We found that while static expressions activated primarily the ventral visual pathway, with notably task-related functional connectivity between the fusiform face area and the amygdala, dynamic expressions triggered the dorsal visual pathway (i.e., posterior partietal cortex) and the substantia innominata, a structure that is contiguous with the dorsal amygdala. While temporal cues are known to improve the processing of visible facial expressions, the absence of ventral activation we observed with crowded videos questions the capacity to integrate facial features and facial motions without awareness. Nevertheless, both static and dynamic facial expressions activated the hippocampus and the orbitofrontal cortex, suggesting that nonconscious preference judgements may arise, respectively, from the evaluation of emotional context and the computation of aesthetic evaluation.

119 Introduction Humans constantly react to faces conveying emotional cues, be they visible or not (Tamietto & de Gelder, 2010). Indeed, facial expressions are encoded even when faces are rendered invisible by visual masking or binocular rivalry (Kim & Blake, 2005). Invisible facial expressions trigger emotional reactions that are reflected, peripherally, in the form of increased skin conductance (Esteves, 1994; Williams, et al., 2004) or mimetic facial muscles activity (Killgore & Yurgelun- Todd, 2004) and, centrally, as modulations of electrophysiological (Liddell, Williams, Rathjen, Shevrin, & Gordon, 2004; Williams et al., 2004) and fmri response, notably in the amygdala (Morris, Ohman, & Dolan, 1999; Pessoa, Japee, Sturman, & Ungerleider, 2006; Whalen, et al., 1998). So far, the studies on nonconscious emotional processing have exclusively relied on static images. However, the ecological relevance of static stimuli might be limited, in comparison to dynamic stimuli conveying biological motion cues that are omnipresent in natural vision. Along this line, several studies using visible faces have shown that compared to static expressions, dynamic expressions are better recognized and are associated with enhanced neural activity (Sato, Kochiyama, Yoshikawa, Naito, & Matsumura, 2004; Trautmann, Fehr, & Herrmann, 2009). Yet, as the study of temporal integration without awareness has been largely uncovered, it remains unknown whether dynamic cues would be processed at all under nonconscious perceptual conditions. Here, we investigated this issue with fmri, by measuring BOLD responses to static and dynamic facial expressions rendered undiscriminable through gaze-contingent crowding (GCC). Crowding is the perceptual phenomenon whereby a peripheral stimulus is perceived as jumbled when it is flanked by similar neighbours (Levi, 2008). Under such conditions, while the stimulus remains detectable, it is undiscriminable to the observer. When crowding is combined with gazecontingent control, which consists in substituting the critical peripheral stimulus with an irrelevant content as soon as the observer's attempted to gaze at it, conscious access to facial expressions is

120 fully prevented (Faivre & Kouider, 2011). Using this approach, we recently reported that both static and dynamic facial expressions can bias evaluative judgments in a nonconscious manner (Kouider, Berthet, & Faivre, 2011). Participants were more likely to rate an unknown Chinese character as pleasant when preceded by a face depicting happiness compared to a face depicting anger, while, crucially, they performed at chance-level when discriminating the emotion of the crowded face. Furthermore, complementary controls with a neutral baseline revealed that the nonconscious origin of the preference bias that we obtained stemmed primarily from the processing of facial expressions conveying positive emotions, regardless of their static or dynamic properties. In the present study, we combined this behavioral approach with an fmri paradigm in order to assess whether nonconscious processing of static and dynamic facial expressions is sustained by common neural pathways. Following our previous behavioral results, we focused more specifically on positive emotions, by measuring the influences of undiscriminable happy compared to neutral faces on pleasantness ratings (see Figure 1). This comparison with a neutral baseline allowed to specifically assess the extent to which crowded emotional information is preserved along the subcortical and cortical pathways.

121 Methods Participants. Eighteen right-handed volunteers (12 females, 6 males; aged 18 to 35) took part in the study, which was approved by the local ethical comity. All participants had a normal vision, with no past history of psychiatric and neurological disease. They gave written informed consent and were paid for their participation. None of them was able to read Chinese. Stimuli. Stimuli were recorded from five female actresses recruited from a professional acting academy. Actresses' face was filmed against a black background, in an equally held illumination room. Each face expressed happiness (HA, with a mouth opening motion revealing the teeth, and a narrowing of the eyes), or was neutral (NE, with a mouth chewing movement and a cyclic opening and narrowing of the eyes). Compared to other baseline conditions relying on mosaics of scrambled faces or morphed faces, this chewing movement provided an ecological, and emotionally neutral control. Emotional paroxysms were defined by two independent observers. Videos were slightly speeded up or down to compensate the differences between the timings of the different actors' expressions. All videos were matched for average luminance, contrast, and image size and were cropped to show the face only such as measuring 3 x 3. Snapshots were extracted from each movie, at t = 1100ms for the emotional paroxysm condition, and at at t = 0ms for the neutral expression condition (as the facial configuration during the chewing movement was not always the same at t=1100ms, we preferred to extract the snapshot at t=0ms, when all actresses had the mouth closed and the eyes opened). Each video started with a neutral expression (100ms), followed by emotional progression until paroxysm (1000ms), and dynamical maintenance at the peak level (100ms). The flankers were created by blending 2 non emotional faces and 4 objects together, resulting in 2 x 2 non informative patterns. The six flankers surrounding the face were selected randomly on each trial from a set of forty possible flankers. The luminance of the flankers was 40% higher than that of the face. Targets were 3 x 3 Chinese pictographs, chosen randomly on each

122 trial from a set of 180 pictographs, without repetition for a single subject. Apparatus. Stimuli were displayed against a black background by an Epson video projector (EMP- 8300, refresh rate 60Hz, resolution 1024x768, pitch /pixel) on a computer running Matlab with the Psychophysics Toolbox (Brainard, 1997; Pelli, 1997). Eye movements were recorded monocularly with an fmri compatible eye tracker (Eyelink 1000 system, SR research, Ontario, Canada) controlled with the Eyelink toolbox (sampling rate 500Hz; spatial resolution > 1 ). Answers were collected from two stickers buttons (fiber optic response device, Current Designs, Philadelphia, USA). Procedure. The entire experiment consisted in a total of 180 priming trials intermixed randomly with 60 visibility trials and 34 baseline trials, equally divided in 2 blocks of 137 trials. A calibration phase was performed after each block. Each block contained exclusively either dynamic (dyn) or static (stat) stimuli, consisting in happy or neutral faces. Two counterbalanced groups of participants were defined depending on the sequence of blocks they were assigned to (i.e., either [dyn-stat] or [stat-dyn]). Each trial started with a 0.5 x 0.5 fixation cross for 300ms with a jitter of 200ms. The face was displayed statically or dynamically for 1200 ms surrounded by six flankers (14 eccentricity between face and fixation cross centered at the quarter top of the screen; 2.6 center to center distance). Importantly, as soon as gaze monitoring was lost or as soon as a participant ceased to gaze at a fixation area consisting in a zone of 5 by 5 surrounding the fixation cross, the face was substituted by the same face with a neutral expression (physically different from the one used as the baseline condition), guaranteeing that the emotional face was never seen foveally. This occurred on 1.5% (SD = 2.42) of trials, corresponding to 0.03% (SD = 0.05) of total looking time. In three out of four trials, the participant s task was to indicate whether a Chinese pictograph displayed for 150 ms at the fixation location was pleasant (right button press) or unpleasant (left button press). They were instructed to follow a spontaneous intuition, and to

123 provide an answer in less than a second. Randomly, in one out of four trials, a question concerning the facial expression appeared at the fixation location instead of the Chinese pictograph. Participants could read either Happiness?, or Neutral?. They had to answer by pressing the right button if they thought the answer was yes, or the left button if they thought it was no, within a delay of 5200ms. The visibility question concerned uniquely the facial expression and was not related to the surrounding flankers. In the baseline trials, only the six flankers and the fixation cross appeared on the screen for 1200ms, participants were instructed not to press any button. The experiment was divided in 2 blocks of 7mn each. Figure 1. A. Experimental procedure: while participants continously stared at a fixation cross, they were exposed for 1200ms to a peripheral face surrounded by uninformative flankers. The face could express happiness or be neutral, either statically or dynamically. Importantly, whenever participants stopped gazing at the fixation cross, the peripheral face was substituted by a different neutral face, guaranteeing that facial expressions were never being discriminated. On 75% of trials, participants evaluated the pleasantness of a subsequent Chinese pictograph displayed at the fixation location. On the remaining 25% of trials, randomly assigned, participants had 5200ms to indicate whether the peripheral face reflected a happy or neutral face. B. Behavioral results: pleasant response rate (mean = 52.4%, SD = 14.9) varied significantly as a function of the facial expression, with higher ratings induced by happy compared to neutral faces [7.4%; t 17=2.20; p < 0.05], regardless of the static or dynamic nature of the face (F < 1). Participants confessed seeing only a grayish, jumbled collection of pictures at the bottom of the screen, and being unable to discriminate a central face among the flankers. Signal detection analysis revealed chance-level performance for all expression types (mean d' = 0.19; t 17 = 1.15, p = 0.26) regardless of their static or dynamic nature (t 17= 1.37, p = 0.20).

124 Functional localizer. Twelve blocks of 20 pictures each, half the blocks containing objects (food, watches, cars, cups) and the other half faces (half men and half women) were shown on the screen against a black background. Faces and objects were presented centrally in order to escape from selfcrowding, a situation in which the different features inside an object crowd each other (Martelli, Majaj, & Pelli, 2005). Each image was displayed for 500ms and followed by a 500ms black screen. A 3 seconds fixation cross was displayed between the counter-balanced blocks. Participants were requested to attend to the pictures, but not to press any button. The functional localizer lasted 5 minutes. fmri data acquisition. Whole brain imaging was conducted on a 3T Trio Siemens scanner (Tim 32 channels), at the Centre de Neuroimagerie de Recherche at the Salpetriere Hospital in Paris. Functional T2* weighted images were obtained in an interleaved order using a single-shot echoplanar gradient-echo (EPI) pulse sequence (43 slices oriented on the anterior to posterior commissure axis with no interslice gap, resolution 3 x 3 x 3mm, repetition time TR = 2100ms, echo time TE = 25ms, flip angle 90 ). The functional images were processed using the SPM8 software (Wellcome Department of Cognitive Neurology, London, UK). Three initial volumes were discarded to eliminate nonequilibrium effects of magnetization. The functionnal preprocessing included slice timing (middle reference slice), spatial realignement, spatial normalization (MNI stereotactic space, 2mm voxel resampling) and spatial smoothing (Gaussian kernel with 8mm fullwidth at halfmaximum). Low-frequency drifts were eliminated using a temporal high-pass filter at 1/128Hz. Statistical evaluation was performed using the general linear model (GLM). Regressors modeled the eight different trials of interest ([expression valence] HA/NE x [expression type] dyn/stat x [preference judgement] pleas/unpleas ), as well as baseline and facial expression discrimination trials. The convolution used delta functions with a hemodynamic response function (HRF) and its time and dispersion derivatives. In addition, estimated motion parameters were included as covariates of no

125 interest to increase statistical sensitivity. The brain activations of all eight critical conditions were contrasted against baseline. Linear contrasts lead to the main effect of preference bias in the static condition (i.e., [HA pleas +HA unpleas ] stat > [NE pleas + Ne unpleas ] stat ) and dynamic condition (i.e., [HA pleas +HA unpleas ] dyn > [NE pleas + Ne unpleas ] dyn ). For random effect group analyses, the individual contrast images were smoothed (Gaussian kernel with 6 mm full-width at half maximum) and submitted to one sample two-tailed t-tests. All images were thresholded at p < 0.001, uncorrected. A small volume correction (cluster-wise threshold of p < 0.05, FWE-corrected for multiple comparisons within the search volume) was conducted relatively to a priori hypothesis regarding activity in the amygdala (dilated 5x). The search volume was created from the AAL brain atlas (Tzourio-Mazoyer et al., 2002), and was applied to the SPM dataset using WFU-Pickatlas (Maldjian et al., 2003). For the face-localizer, preprocessing and 1st-level statistics were analogous to the preference bias data. We localized regions in the fusiform gyrus showing more activation for faces compared to objects (at a voxel-wise threshold of p < 0.001, uncorrected). Four out of nineteen participants were discarded due to the absence of activations in the fusiform area (although they were included in the whole brain analysis). Mean FFA localization was x, y, z = -40, -53, -19; x, y, z = 40, -50, -22 for the left and right FFA, respectively. To measure FFA modulation in happy vs. neutral facial expressions, we measured the peak of percent signal change within each participantspecific ROIs. Functionnal connectivity analysis. We conducted a psychophysiological interaction (PPI) analysis to examine FFA connectivity during the nonconscious processing of facial expressions in the static and dynamic conditions (Friston et al., 1997). For each participant, we extracted the time series of activity from a 5mm radius sphere centered on the individual peak of activity in the FFA clusters, as previously defined by the face-localizer analysis. The static and the dynamic psychological variables were constructed for each subject as [HA-NE] stat and [HA-NE] dyn respectively. We constructed two separate GLM with the time series of activity in the FFA as a first regressor, and as second and third regressors, the static or dynamic psychological variable and its interaction with the

126 time series. Separately for the static and the dynamic conditions, we entered the estimated parameter estimates for the interaction regressor in a between-subject, random-effect analysis for obtaining statistical parametric maps. We identified brain activations exhibiting significant contrasts of parameter estimates with a voxel-wise threshold (p < 0.001, uncorrected), and a cluster-wise treshold of p < 0.05, FWE-corrected for multiple comparisons within the search volume. This small volume correction was conducted relatively to the a priori hypothesis derived from the main effect of static facial expressions processing. The search volume was created from the AAL brain atlas (Tzourio-Mazoyer et al., 2002) in order to include the amygdala (dilated 5x). It was applied to the SPM dataset using WFU-Pickatlas (Maldjian et al., 2003).

127 Results and discussion Whole-brain results for static faces. We first focused on the the whole brain activity elicited by static facial expressions, by comparing the influences of happy (HA) vs. neutral (NE) faces on the preference judgement task. Unless stated otherwise, all effects were tested at a threshold of p < 0.001, uncorrected. Importantly, all regions showing significant effects reflected increased activity for the HA in comparison to the NE condition (see Figure 2 & Table 1). At the subcortical level, we found activations in the right amygdala (cluster-wise threshold p < 0.01 FWE-corrected for the search volume). The left amygdala was activated with a lower threshold of p < (cluster-wise threshold p < 0.05 FWEcorrected for the search volume). This structure has been argued to be crucial for the emotional processing of both negative and postivive facial expressions (Costafreda, Brammer, David, & Fu, 2008). In addition, we observed bilateral activations in the hippocampus, which has been linked to the contextual processing of emotional faces (Whalen et al., 1998), and in the left caudate nucleus (right caudate nucleus, p < 0.004), which is involved in response selection during goal-directed action (Chaudhry, Parkinson, Hinton, Owen, & Roberts, 2009). At the cortical level, activations were observed exclusively in temporal and frontal lobes. For frontal regions, we found bilateral activation in the middle orbitofrontal cortex and in the right anterior cingulate cortex, with a marginal activation in the left hemisphere (p < 0.003). These regions are arguably involved in mechanisms of response selection (see discussion). For temporal regions, activations were found in the bilateral inferior temporal and right fusiform cortex (left hemisphere, p < 0.004), including the Fusiform Face Area (FFA, see below). The FFA is described as preferentially encoding both facial identity (Kanwisher & Yovel, 2006) and facial expressions like happiness (Breiter et al., 1996; Ganel, Valyear, Goshen-Gottstein, & Goodale, 2005) or fear (Winston, Vuilleumier, & Dolan, 2003). This is to our knowledge the first evidence for a modulation of the FFA by nonconscious facial expressions. In addition, the right superior temporal sulcus (STS), previously associated with

128 the nonconscious perception of facial identity (Kouider, Eger, Dolan, & Henson, 2009) and facial expressions (Jiang & He, 2006), was also observed here although with a more lenient threshold of p < Whole-brain results for dynamic faces. We then turned to the same contrast of HA compared to NE faces but now for dynamic expressions. This contrast revealed activity increases in similar regions as for the static faces, including the left hippocampus (p < 0.002) and right orbitofrontal cortex (p < 0.004). Several regions observed in the static condition were not found here, including the caudate nucleus and the amygdala at the subcortical level, and the cingulate and fusiform cortices and FFA at the cortical level. Interestingly, the absence of amygdala activity during the processing of dynamic emotions was compensated here by bilateral activity in the substantia innominata (right hemisphere p < 0.001; left hemisphere p < 0.005), a subcortical structure often considered as part of the extended amygdala (Sah, Faber, Lopez de Armentia, & Power, 2003). Furthermore, we found additional regions activated specifically by dynamic facial expressions, including the left superior medial frontal cortex, and portions of the parietal lobe including the right posterior parietal cortex (left hemisphere p < 0.003) and the left supra marginal cortex (p < 0.005) (see Figure 2 & Table 1). In order to test for the specificity of the pattern of results we report here, we carried out a region of interest analysis for the dynamic condition on the regions obtained from the whole brain analysis for the static condition. No effect was found in the amygdala, the fusiform cortex, the inferior temporal cortex, the cingulate cortex, and the right superior temporal sulcus (all p > 0.2). Furthermore, we carried out a region of interest analysis for the static condition on the regions obtained from the whole brain analysis for the dynamic faces. No effect was found in the substantia innominata, nor in the posterior parietal cortex (both p > 0.6).

129 However, the absence of FFA activity in the dynamic condition might have resulted from a wholebrain analysis strategy, which fails to take into account the interindividual anatomic variability of this kind of structures (Saxe, Brett, & Kanwisher, 2006). To address this issue, we relied next on the use of functional regions of interest. Figure 2. Whole-brain functional results. Sagittal, axial and coronal sections showing clusters of activity for HA compared to NE facial expression, in the static condition (top, including parahippocampic regions, amygdala, right superior temporal sulcus and bilateral orbitofrontal cortices), and dynamic condition (bottom, including left hippocampus, bilateral substantia innominata and left posterior parietal cortex). An uncorrected threshold of p = was used to display the contrasts.

130 Functional region of interest in the FFA Using a functional localizer, we defined the FFA for each participant in a separate scan session following the main experiment (see methods), and measured how this functional cluster is modulated by facial expressions. This analysis revealed activation increases in both left and right FFA for static faces [left hemisphere: parameter estimate = 0.82; t 14 = 3.46; p < 0.005; right hemisphere: parameter estimate = 0.85; t 14 = 3.29; p < 0.01], but not dynamic faces [left hemisphere: parameter estimate = -0.03; t 14 = 0.09; p = 0.93; right hemisphere: parameter estimate = -0.28; t 14 = -0.80; p < 0.43] (see Figure 3), thus confirming that the FFA modulation is specific to static faces. Furthermore, we computed a linear regression between the preference bias (as calculated by subtracting the pleasant response rate in the happy vs. neutral condition) and the activity extracted from the FFA. Consistent with the specific role of the FFA in the nonconscious processing of static facial expressions, we found that the increase of FFA activity was correlated with the behavioral bias on preference judgment in the static (adjusted R-squared = 0.24; p < 0.05), but not dynamic stimulation condition (adjusted R-squared = -0.07; p = 0.9). It is of note that our FFA localizer session was performed with static faces (see Methods) and thus one might argue that the absence of FFA modulations for dynamic facial expressions reflects a mislocalization. However, since brain regions revealed by static and dynamic localizers largely overlap (Fox, Iaria, & Barton, 2009; Schultz & Pilz, 2009), these results rather suggest, as we discuss below, that dynamic stimuli are processed preferentially along dorsal rather than ventral visual pathways.

131 Figure 3. Region of interest functional results. Neural activity in the left and right Fusiform Face Area (FFA) induced by happy compared to neutral faces, in the static and dynamic stimulation conditions (** p < 0.01).

132 Functional connectivity in the FFA In the static facial expression condition, the PPI analysis revealed a significant functional connectivity between the left FFA and the left amygdala (17 voxels, x, y, z = -20, -2, -20, voxel-wise threshold Z = 3.25, p < uncorrected; cluster-wise threshold p < 0.05 FWE-corrected for the search volume), and between the right FFA and the right amygdala (18 voxels, x, y, z = 32, 2, -20, voxel-wise threshold Z = 3.25, p < uncorrected; cluster-wise threshold p < 0.01 FWEcorrected for the search volume). Importantly, this pattern of results suggests that beyond simple coactivation, the FFA interacts with the amygdala during the nonconscious processing of static facial expressions. It is of note however that the PPI analysis does not provide any clues regarding the direction of these interactions (i.e., from the FFA to the amygdala or from the amygdala to the FFA, see Discussion). As expected by the previous results we obtained, we found that this pattern of functional connectivity was nonexistent in the dynamic condition (functional connectivity between left FFA and left amygdala : Z = 0.09; between right FFA and right amygdala : Z = -1.25) Here, a functional localizer of dynamic faces would be necessary in order to infer which brain regions interact during the nonconscious processing of emotional movies. Figure 4. Functionnal connectivity in the FFA. Physchophysiological interactions with seeds placed on the right FFA (yellow) and left FFA (red). Results show lateralized interactions between the FFA and the amygdala in the static (left hemisphere: p < 0.05; right hemisphere: p < 0.01; both FWE-corrected for the search volume), but not in the dynamic condition.

133 Discussion. In this study, we assessed which brain regions are involved during the nonconscious processing of crowded facial expressions. Our results revealed the existence of two patterns of activation depending on the static (i.e., pictures) or dynamic (i.e., videos) nature of facial expressions. At the subcortical level, we found that crowded static happy faces activated the bilateral amygdalae, in coherence with previous studies using visual masking (Killgore & Yurgelun- Todd, 2004; however, see Whalen et al., 1998 for a decrease in activity compared to fixation) and binocular rivalry (Williams et al., 2004). Interestingly, dynamic facial expressions did not involve the amygdala, but rather the substantia innominata, a sublenticular structure of the basal forebrain that is contiguous with the dorsal amygdala. This region has previously been linked to the conscious perception of facial familiarity (Wright et al., 2003) and facial expression, with a higher sensitivity to emotional arousal rather than emotional valence (Breiter et al., 1996; Kim, Somerville, Johnstone, Alexander, & Whalen, 2003; Whalen et al., 1998). How are these subcortical structures involved in emotional processing? On the one side, it has been suggested that the amygdaloid complex can be triggered without relying on any visual cortical relay, through a short subcortical route involving superior colliculus and inferior pulvinar (LeDoux, 1998). Invisible facial expressions are thus considered to bypass striate and extrastriate areas along the ventral visual pathways. In this context, the observation of FFA increase for static facial expressions could reflect feedback from the amygdala, rather than a direct stimulation from visual cortical regions (Dolan, Morris, & de Gelder, 2001). It is of note, however, that this classical view, which is primarily based on data obtained from rodents during auditive negative conditioning, has been criticized for being generalized to nonconscious fear perception in the absence of reliable evidence in humans (Morris et al., 1999; Ohman, Carlsson, Lundqvist, & Ingvar, 2007). On the other side, a recent alternative has challenged the existence of a direct subcortical pathway for the processing of emotions (Pessoa & Adolphs, 2010). The authors propose instead that emotional

134 stimuli are processed rapidly along parallel extrastriate cortical routes before triggering the amygdaloid complex. In this framework, the amygdala is triggered by cortical inputs, after elaborated visual processing has taken place in ventral visual regions, and plays a broader role, notably in recognizing the social value of stimuli (Tsuchiya, Moradi, Felsen, Yamazaki, & Adolphs, 2009). One could argue that since both static and dynamic stimuli were presented peripherally, it is likely that low spatial frequency information was at the origin of the effects we found, suggesting its subcortical origin (Winston et al., 2003). However, it has been shown that magnocellular pathways conveying low spatial frequency information also reach the early visual cortex and then project to parietal and frontal cortices (Bullier, 2001), conveying coarse information about the gist of a visual scene, here probably rough aspects of the facial expressions (Kveraga, Boshyan, & Bar, 2007). Now regarding the cortical patterns of activation elicited by static facial expressions, our results revealed a main locus of activations in ventral visual pathways, including the FFA. PPI analysis revealed that the FFA was functionally connected with the amygdala. Furthermore, we measured a positive correlation between the modulation amplitude of FFA activity and the amplitude of the behavioral preference bias. From a methodological point of view, this finding contrasts with the absence of effect reported by a previous study using fearful static faces suppressed from awareness by continuous flash suppression (CFS), a variant of binocular rivalry allowing for sustained periods of invisibility (Jiang & He, 2006). Although it remains possible that this discrepancy results from different types of emotional valence between the two studies (i.e., happiness here vs. fear in Jiang & He), it is likely that ventral visual regions, such as the FFA, are less sensitive, or arguably not sensitive at all to suppressed signals in CFS (Almeida, Mahon, Nakayama, & Caramazza, 2008; Lin & He, 2009). In this respect, the Gaze-Contingent Crowding approach seems to overcome this limitation. Indeed, the involvement of ventral regions revealed by the present study corroborates with a previous behavioral finding showing that crowded faces are

135 processed holistically (Kouider et al., 2011), a cognitive operation implying the FFA (Kanwisher & Yovel, 2006). Thus, we suggest that the cortical processing of emotional information resists crowding. To sum up, we propose that despite crowding, static expressions are processed along the ventral visual pathways (i.e., temporal regions, including FFA), trigger parahippocampic regions (including hippocampus, caudate nucleus and amygdala) connected to the prefrontal areas (including cingulate and orbitofrontal cortex) underlying preference judgment. For dynamic facial expressions, the cortical pattern of activations was instead restricted to dorsal regions, including the posterior partietal cortex, which is functionally specialized for the processes of spatially guided behavior and biological motion imagery (Cavanna & Trimble, 2006). Additionally, we found a marginally significant effect in the left supramarginal gyrus, a dorsal structure whose lesions impair judging emotional faces (Adolphs, Damasio, Tranel, Cooper, & Damasio, 2000) and body motion (Heberlein, Adolphs, Tranel, & Damasio, 2004). We propose that these regions trigger subcortical structures coding for stimulus arousal (i.e., substantia innominata) which finally orient the preference judgment through orbitofrontal cortex modulation (see Figure 4). As described above, unexpectedly, several regions elicited by static faces were not elicited by dynamic faces, including the STS, usually associated with the conscious processing of various biological motions (Puce & Perrett, 2003). According to two influential models of conscious face perception (Bruce & Young, 1986; Haxby et al., 2000), invariant aspects of faces like identity are encoded in the face-responsive regions of the fusiform gyrus (including the FFA), while changeable aspects like facial expressions primarily activate the face-responsive regions of the temporal sulcus (including the STS). Along this line, a recent study showed that dynamic faces do not produce a greater response than static faces in the STS, but not in the FFA (Pitcher, Dilks, Saxe, Triantafyllou, & Kanwisher, 2011). Contradictory findings show that compared to static faces, dynamic faces expressing happiness are associated with greater activity in the fusiform gyrus (Sato et al., 2004),

136 and in the STS and FFA (Trautmann et al., 2009; Kessler et al., 2011). At first sight, these results dealing with conscious perception might seem at odd with the ones we report, and with the fact that temporal cues play an important role in the nonconscious processing of changeable aspects of faces like emotional expressions. A possible explanation is that in the presence of facial motion information, the dorsal pathway is triggered in the first place following a feed-forward sweep of information processing, while the ventral visual pathway is triggered afterward, through top-down mechanisms taking place only when the stimuli are consciously visible (Lamme & Roelfsema, 2000). Even if distinctions in terms of neuroanatomy and functional dissociation are less pure than originally considered (Farivar, Blanke, & Chaudhuri, 2009), the pattern of results we observed questions the capacity to integrate form information (i.e., snapshots of expressive faces by neurons in the ventral pathway) and motion information (i.e., integrated optic flow patterns by neurons in the dorsal pathway) without awareness, as proposed elsewhere to account for the conscious recognition of biological motion (Giese & Poggio, 2003). As concerns the mechanisms underlying preference judgment, we propose two nonexclusive mechanisms to account for the nonconscious behavioral bias we observed. The first one is the building of implicit associations between the valence of facial expressions and the subsequent preference judgment. Indeed, we found that regardless of their static or dynamic nature, both stimulus types were associated with hippocampic activations, classically described as mediating the contextual evaluation of emotional stimuli, and together with the amygdaloid complex, as mediating implicit learning for visible or unvisible stimuli (Morris, Ohman, & Dolan, 1998). The second mechanism is a modulation of the implicit aesthetic preferences computation, which is described as reliying on the activity of cortical and subcortical areas implicated in the processing of reward. In agreement, we found that both static and dynamic happy faces preferentially triggered orbitofrontal cortex (bilateral activations with static faces, right activation with dynamic faces), a region which is known among the primates to comprise face-selective neurons activated by temporal cortical inputs

137 (Thorpe, Rolls, & Maddison, 1983) to encode face expression and mediate related social reinforcement (Rolls, Critchley, Browning, & Inoue, 2006), but also to process aesthetic beauty in its medial part (Kawabata & Zeki, 2004). Figure 5. Tentative description of brain regions involved during preference judgment biases with static and dynamic facial expression. During visual stimulation (crowded display on the left), we found that ventral temporal regions including the FFA and STS responded to static facial expressions, while dorsal parietal regions (PPC) responded specifically to dynamic facial expressions. The cortical processing occurring in these different regions consequently trigger subcortical structures (Am by static expressions, as shown by our PPI analysis, SI by dynamic expressions, for which the connection with PPC remains undocumented). We propose that the preference judgment bias is mediated afterward, both by frontal regions triggered by subcortical inputs (OFC and ACC for static expressions, OFC for dynamic expressions), and by hippocampic activity potentially mediating stimulus response associations. PPC Posterior Parietal; FFA fusiform face area; STS Superior Temporal Sulcus; Am amygdala; SI substantia innominata; Hipp hippocampus; OFC orbitofrontal cortex; ACC anterior cingulate cortex; Green stands for activations specific to dynamic faces, blue stands for activations specific to static faces, red for common activations to static and dynamic faces.

138 Conclusion. This study conjoined two important findings. First, taking advantage of gaze-contingent crowding, a novel approach for studying undiscriminable and long-lasting stimuli, we were able to demonstrate that emotional pictures and emotional videos were processed along different neural pathways. Refering to the dual-stream theoretical framework (Goodale & Milner, 1992), we proposed that static facial expressions were processed through the ventral visual pathway, including the FFA which was functionnally connected with the amygdala. We observed that the same emotions expressed dynamically were processed through the dorsal visual pathway, including the posterior parietal cortex, together with dorsal subcortical structures such as the substantia innominata. These results concerning the nonconscious processing of biological motion question the existence of form-motion integration (Giese & Poggio, 2003), and more generally of nonconscious temporal integration, a fundamental property of nonconscious cognition which has remained largely unconvered so far. Second, we found that undiscriminable facial expressions were encoded such as to bias a high-level cognitive function such as preference judgment. We proposed that the bias arose from both evaluation of the emotionnal context and aesthetic preferences computation, respectively supported by the hippocampus and the orbitofrontal cortex, which were activated by static and dynamic facial expressions. This shows that crowded information can modulate a broad set of brain regions supporting high-level cognitive functions, despite being reflected subjectively as a jumbled, uninformative experience.

139 Conditions Anatomy CE Z score p threshold x y z Static Faces Left hippocampus 52 3, Right hippocampus 128 3, Right amygdala 128 3, Left amygdala 24 3, Right caudate nucleus 8 3, Left caudate nucleus 7 3, Right middle orbitofrontal cortex 26 3, Left middle orbitofrontal cortex 12 3, Right anterior cingulate cortex 51 3, Left middle cingulate cortex 15 2, Right fusiform cortex 8 4, Left fusiform cortex 11 2, Right superior temporal sulcus 26 2, Right inferior temporal cortex 92 2, Left inferior temporal cortex 8 3, Right precentral cortex 8 3, Conditions Anatomy CE Z score p threshold x y z Dynamic Faces Left hippocampus 41 3, Right substantia innominata 10 3, Left substantia innominata 8 2, Right middle orbitofrontal cortex 9 2, Left superomedial frontal cortex 21 3, Right posterior parietal cortex 10 3, Left posterior parietal cortex 19 2, Table 1. Cluster extent (CE), statistical values, and stereotaxic brain atlas coordinates for the brain regions activated by viewing happy compared to neutral crowded faces in the static and dynamic conditions.

140 Bibliography. Adolphs, R., Damasio, H., Tranel, D., Cooper, G., & Damasio, A. R. (2000). A Role for Somatosensory Cortices in the Visual Recognition of Emotion as Revealed by Three- Dimensional Lesion Mapping. J. Neurosci., 20(7), Almeida, J., Mahon, B. Z., Nakayama, K., & Caramazza, A. (2008). Unconscious processing dissociates along categorical lines. Proceedings of the National Academy of Sciences of the United States of America, 105(39), doi: /pnas Brainard, D. H. (1997). The Psychophysics Toolbox. Spatial Vision, 10(4), Breiter, H. C., Etcoff, N. L., Whalen, P J, Kennedy, W. A., Rauch, S L, Buckner, R. L., Strauss, M. M., et al. (1996). Response and habituation of the human amygdala during visual processing of facial expression. Neuron, 17(5), Bruce, V. & Young, A. (1986). Understanding face recognition. British journal of psychology, 77, Bullier, J. (2001). Integrated model of visual processing. Brain Research. Brain Research Reviews, 36(2-3), Cavanna, A. E., & Trimble, M. R. (2006). The precuneus: a review of its functional anatomy and behavioural correlates. Brain, 129(3), doi: /brain/awl004 Chaudhry, A. M., Parkinson, J. A., Hinton, E. C., Owen, A. M., & Roberts, A. C. (2009). Preference judgements involve a network of structures within frontal, cingulate and insula cortices. European Journal of Neuroscience, 29(5), doi: /j x Costafreda, S. G., Brammer, M. J., David, A. S., & Fu, C. H. Y. (2008). Predictors of amygdala activation during the processing of emotional stimuli: a meta-analysis of 385 PET and fmri studies. Brain Res Rev, 58(1), doi: /j.brainresrev Dolan, R. J., Morris, J. S., & de Gelder, B. (2001). Crossmodal binding of fear in voice and face. Proceedings of the National Academy of Sciences of the United States of America, 98(17),

141 doi: /pnas Esteves, F. (1994). Automatically Elicited Fear: Conditioned Skin Conductance Responses To Masked Facial Expressions. Cognition and Emotion, 8, Faivre, N., & Kouider, S. (2011). Multi-feature objects elicit nonconscious priming despite crowding. Journal of Vision, 11(3). doi: / Farivar, R., Blanke, O., & Chaudhuri, A. (2009). Dorsal-ventral integration in the recognition of motion-defined unfamiliar faces. The Journal of Neuroscience: The Official Journal of the Society for Neuroscience, 29(16), doi: /jneurosci Fox, C. J., Iaria, G., & Barton, J. J. S. (2009). Defining the face processing network: optimization of the functional localizer in fmri. Human Brain Mapping, 30(5), doi: /hbm Friston, K.J., Buchel, C., Fink, G.R., Morris, J., Rolls, E., and Dolan, R. Psychophysiological and modulatory interactions in Neuroimaging. NeuroImage, 6: , Ganel, T., Valyear, K. F., Goshen-Gottstein, Y., & Goodale, Melvyn A. (2005). The involvement of the «fusiform face area» in processing facial expression. Neuropsychologia, 43(11), doi: /j.neuropsychologia Giese, M. A., & Poggio, T. (2003). Neural mechanisms for the recognition of biological movements. Nat Rev Neurosci, 4(3), doi: /nrn1057 Goodale, M. A., & Milner, A. D. (1992). Separate visual pathways for perception and action. Trends in Neurosciences, 15(1), Haxby J. V.,, Hoffman, E. A., & Gobbini, M. I. (2000). The distributed human neural system for face perception. Trends in Cognitive Sciences, 4(6), Heberlein, A. S., Adolphs, Ralph, Tranel, D., & Damasio, H. (2004). Cortical regions for judgments of emotions and personality traits from point-light walkers. Journal of Cognitive Neuroscience, 16(7), doi: / Jiang, Y., & He, S. (2006). Cortical Responses to Invisible Faces: Dissociating Subsystems for

142 Facial-Information Processing. Current Biology, 16(20), doi: /j.cub Kanwisher, N., & Yovel, G. (2006). The fusiform face area: a cortical region specialized for the perception of faces. Philosophical Transactions of the Royal Society of London. Series B, Biological Sciences, 361(1476), doi: /rstb Kawabata, H., & Zeki, S. (2004). Neural correlates of beauty. Journal of Neurophysiology, 91(4), doi: /jn Kessler, H., Doyen-Waldecker, C., Hofer, C., Hoffmann, H., Traue, H. C., & Abler, B. (n.d.). Neural correlates of the perception of dynamic versus static facial expressions of emotion, 8. doi: /psm Killgore, W. D. S., & Yurgelun-Todd, D. A. (2004). Activation of the amygdala and anterior cingulate during nonconscious processing of sad versus happy faces. NeuroImage, 21(4), doi: /j.neuroimage Kim, C. Y., & Blake, R. (2005). Psychophysical magic: rendering the visible invisible. Trends in Cognitive Sciences, 9(8), Kim, H., Somerville, L. H., Johnstone, T., Alexander, A. L., & Whalen, Paul J. (2003). Inverse amygdala and medial prefrontal cortex responses to surprised faces. Neuroreport, 14(18), doi: /01.wnr Kouider, S., Berthet, V., & Faivre, N. (2011). Preference is biased by crowded facial expressions. Psychological Science: A Journal of the American Psychological Society / APS, 22(2), doi: / Kouider, S., Eger, E., Dolan, R., & Henson, R. N. (2009). Activity in face-responsive brain regions is modulated by invisible, attended faces: evidence from masked priming. Cerebral Cortex (New York, N.Y.: 1991), 19(1), doi: /cercor/bhn048 Kveraga, K., Boshyan, J., & Bar, M. (2007). Magnocellular Projections as the Trigger of Top-Down Facilitation in Recognition. The Journal of Neuroscience, 27(48),

143 doi: /jneurosci Lamme, V. A., & Roelfsema, P. R. (2000). The distinct modes of vision offered by feedforward and recurrent processing. Trends in Neurosciences, 23(11), LeDoux, J. E. (1998). The Emotional Brain: The Mysterious Underpinnings of Emotional Life (US ed.). Simon & Schuster. Levi, D. M. (2008). Crowding an essential bottleneck for object recognition: a mini-review. Vision Research, 48(5), doi: /j.visres Liddell, B. J., Williams, L. M., Rathjen, J., Shevrin, H., & Gordon, E. (2004). A temporal dissociation of subliminal versus supraliminal fear perception: an event-related potential study. J Cogn Neurosci, 16(3), doi: / Lin, Z., He. (2009). Seeing the invisible: the scope and limits of unconscious processing in binocular rivalry. Progress in Neurobiology, 87(4), doi: /j.pneurobio Maldjian, J.A., Laurienti, P.J., Kraft, R.A., and Burdette, J.H. An automated method for neuroanatomic and cytoarchitectonic atlas-based interrogation of fmri data sets, Neuroimage 19 (2003), pp Martelli M., Majaj N. J., Pelli D. G. (2005). Are faces processed like words A diagnostic test for recognition by parts. Journal of Vision, 5, (1):6, 58 70, Morris, J. S., Ohman, A, & Dolan, R J. (1998). Conscious and unconscious emotional learning in the human amygdala. Nature, 393(6684), doi: /30976 Morris, J. S., Ohman, A., & Dolan, R. J. (1999). A subcortical pathway to the right amygdala mediating «unseen» fear. Proc Natl Acad Sci U S A, 96(4), Ohman, A., Carlsson, K., Lundqvist, D., & Ingvar, M. (2007). On the unconscious subcortical origin of human fear. Physiol Behav, 92(1-2), doi: /j.physbeh Pelli. (1997). The VideoToolbox software for visual psychophysics: transforming numbers into movies. Spatial Vision, 10(4),

144 Pessoa, L., & Adolphs, R. (2010). Emotion processing and the amygdala: from a «low road» to «many roads» of evaluating biological significance. Nat Rev Neurosci, 11(11), doi: /nrn2920 Pessoa, L., Japee, S., Sturman, D., & Ungerleider, L. G. (2006). Target visibility and visual awareness modulate amygdala responses to fearful faces. Cerebral Cortex (New York, N.Y.: 1991), 16(3), doi: /cercor/bhi115 Pitcher, D., Dilks, D. D., Saxe, R. R., Triantafyllou, C., & Kanwisher, N. (2011). Differential selectivity for dynamic versus static information in face selective cortical regions. NeuroImage, 56, Puce, A., & Perrett, D. (2003). Electrophysiology and brain imaging of biological motion. Philosophical Transactions of the Royal Society B: Biological Sciences, 358(1431), doi: /rstb Rolls, Edmund T, Critchley, H. D., Browning, A. S., & Inoue, K. (2006). Face-selective and auditory neurons in the primate orbitofrontal cortex. Experimental Brain Research. Experimentelle Hirnforschung. Expérimentation Cérébrale, 170(1), doi: /s y Sah, P., Faber, E. S. L., Lopez De Armentia, M., & Power, J. (2003). The Amygdaloid Complex: Anatomy and Physiology. Physiological Reviews, 83(3), doi: /physrev Sato, W., Kochiyama, T., Yoshikawa, S., Naito, E., & Matsumura, M. (2004). Enhanced neural activity in response to dynamic facial expressions of emotion: an fmri study. Brain Res Cogn Brain Res, 20(1), doi: /j.cogbrainres Saxe, R., Brett, M., & Kanwisher, N. (2006). Divide and conquer: A defense of functional localizers. NeuroImage, 30(4), doi: /j.neuroimage Schultz, J., & Pilz, K. S. (2009). Natural facial motion enhances cortical responses to faces. Experimental Brain Research. Experimentelle Hirnforschung. Experimentation Cerebrale,

145 194(3), doi: /s Tamietto, M., & Gelder, B. de. (2010). Neural bases of the non-conscious perception of emotional signals. Nat Rev Neurosci, 11(10), doi: /nrn2889 Thorpe, S. J., Rolls, E T, & Maddison, S. (1983). The orbitofrontal cortex: neuronal activity in the behaving monkey. Experimental Brain Research. Experimentelle Hirnforschung. Expérimentation Cérébrale, 49(1), Trautmann, S. A., Fehr, T., & Herrmann, M. (2009). Emotions in motion: Dynamic compared to static facial expressions of disgust and happiness reveal more widespread emotion-specific activations. Brain Research, 1284, doi: /j.brainres Tsuchiya, N., Moradi, F., Felsen, C., Yamazaki, M., & Adolphs, R. (2009). Intact rapid detection of fearful faces in the absence of the amygdala. Nature Neuroscience, 12(10), doi: /nn.2380 Tzourio-Mazoyer N, Landeau B, Papathanassiou D, Crivello F, Etard O, Delcroix N, Mazoyer B, Joliot M. Automated anatomical labeling of activations in SPM using a macroscopic anatomical parcellation of the MNI MRI single-subject brain. Neuroimage, 15(1): Whalen, P J, Rauch, S L, Etcoff, N. L., McInerney, S. C., Lee, M. B., & Jenike, M. A. (1998). Masked presentations of emotional facial expressions modulate amygdala activity without explicit knowledge. The Journal of Neuroscience: The Official Journal of the Society for Neuroscience, 18(1), Williams, L. M., Liddell, B. J., Rathjen, J., Brown, K. J., Gray, J., Phillips, M., Young, A., et al. (2004). Mapping the time course of nonconscious and conscious perception of fear: an integration of central and peripheral measures. Hum Brain Mapp, 21(2), doi: /hbm Williams, M. A., Morris, A. P., McGlone, F., Abbott, D. F., & Mattingley, J. B. (2004). Amygdala Responses to Fearful and Happy Facial Expressions under Conditions of Binocular Suppression. J. Neurosci., 24(12), doi: /jneurosci

146 Winston, J. S., Vuilleumier, P., & Dolan, Raymond J. (2003). Effects of low-spatial frequency components of fearful faces on fusiform cortex activity. Curr Biol, 13(20), Wright, C. I., Martis, B., Schwartz, C. E., Shin, L. M., Fischer, H. åkan, McMullin, K., & Rauch, Scott L. (2003). Novelty responses and differential effects of order in the amygdala, substantia innominata, and inferior temporal cortex. NeuroImage, 18(3), doi: /s (02)00037-x

147 5 Influences de la durée de stimulation et de l accès conscient sur l adaptation sensorielle Faivre, N., & Kouider, S. (in press). Increased Sensory Evidence Reverses Nonconscious Priming During Crowding. Journal of Vision. 5.1 Présentation de l étude Introduction Dans cette dernière étude, nous revenons à l utilisation de l adaptation sensorielle comme mesure indirecte du traitement non conscient d information encombrée. A notre connaissance, les deux signatures de l adaptation sensorielle, à savoir l amorçage qui facilite le traitement d une cible reliée, et l habituation, qui l inhibe, ont été utilisées indépendamment l une de l autre. Pourtant, les modèles expliquant ces phénomènes prédisent un pattern biphasique : au cours de sa présentation, l amorce devrait d abord induire des effets d amorçage dont l amplitude augmente jusqu à un certain seuil, puis diminuant et s inversant même pour donner lieu à de l habituation si la durée d exposition est trop prolongée (Gotts, 2003, thèse de doctorat non publiée). Une étude utilisant des stimuli visibles a modulé de manière systématique la durée d exposition de l amorce afin d en mesurer les conséquences sur les effets amorçages (Zago et al., 2005). Les résultats ont suggéré un pattern en "montée et descente" (rise-and-fall), l amplitude de l amorçage augmentant pour atteindre un maximum après 250ms d exposition, puis diminuant progressivement jusqu à une valeur asymptotique. Aucune trace d habituation n a été mesurée aux durées employées. Nous avons posé l hypothèse que de par l utilisation de stimuli visibles, les mécanismes associés à l accès conscient et/ou à 147

148 CHAPITRE 5. INFLUENCES DE LA DURÉE DE STIMULATION ET DE L ACCÈS CONSCIENT SUR L ADAPTATION SENSORIELLE l amplification attentionnelle étaient à même de contrecarrer les effets d habituation intervenant à longue exposition. Nous avons donc testé cette hypothèse en tirant profit du GCC pour moduler de manière indépendante la durée de stimulation et l accès conscient afin d évaluer leur conséquence sur l adaptation sensorielle. Ici, le propos n étant pas de sonder la profondeur de l inconscient cognitif mais plutôt de comparer des régimes de fonctionnement conscient et non conscient, nous avons choisi d utiliser une tâche impliquant un traitement de l information de bas niveau, à savoir l orientation angulaire. Au préalable, pour chaque participant, nous mesurions à l aide d une procédure adaptative l excentricité correspondant à son seuil de discriminabilité (c est à dire l excentricité pour laquelle les performances sur l amorce orientée étaient statistiquement au niveau du hasard). Pendant l expérience, chaque participant était ensuite exposé à une amorce périphérique orientée de courte (200ms) ou longue durée (1000ms), puis devait indiquer le plus rapidement possible l orientation d une cible ellemême orientée. Le type d adaptation sensorielle était inféré en comparant les temps de réaction entre les essais dans lesquels amorce et cible partageaient la même orientation (essais reliés) et ceux dans lesquels ils étaient d orientation opposée (essais non reliés). Les temps de réaction devaient alors être inférieurs dans les essais reliés en cas d amorçage, et supérieurs en cas d habituation. Nous avons également modulé l accès conscient en manipulant le niveau d encombrement de l amorce. Principaux résultats Lorsque l amorce était encombrée et donc indiscriminable, nous avons mesuré qu elle induisait des effets facilitateurs (amorçage) lorsqu elle était de courte durée, et inhibiteurs (habituation) lorsqu elle était de longue durée. Comme nous l avions postulé, la restauration de l accès conscient à l amorce par la présentation fovéale du stimulus ou par la réduction de son encombrement 1 a eu pour effet d amplifier l amplitude de l amorçage, ainsi que d annuler l effet de l habituation. Nous avons ensuite répliqué ces deux résultats au sein d une même expérience. Placés juste au dessus du seuil de discriminabilité, les participants notaient à chaque essai la qualité de leur perception de l amorce, puis les essais étaient regroupés selon trois classes de discriminabilité analysées séparément (basse, moyenne, et haute). A stimulation strictement égale, nous avons ainsi confirmé 1. Nous avons pour cela diminué la similarité entre l amorce et ses voisins, en présentant ces derniers de manière horizontale. Avec cette manipulation minimale, l amorce faiblement orientée par rapport à la verticale échappait à l encombrement et devenait ainsi aisément discriminable. 148

149 CHAPITRE 5. INFLUENCES DE LA DURÉE DE STIMULATION ET DE L ACCÈS CONSCIENT SUR L ADAPTATION SENSORIELLE que les essais incluant des amorces non perçues donnaient lieu à de l amorçage à exposition courte, et de l habituation à exposition longue, alors que les essais incluant des amorces perçues donnaient lieu à un amorçage plus important à exposition courte, mais aucune trace d habituation. Discussion Dans cette étude, nous avons d une part répliqué le pattern en montée et descente de l amorçage conscient. De plus, nous avons mis à jour un pattern en montée et inversion (rise-and-reverse) induit par des amorces non discriminables. Il semblerait donc que l accès conscient à l information retarde, ou empêche le renversement de l amorçage en habituation. L utilisation d amorces et de cibles en contraste de phase a permis d exclure une origine pré-corticale de ce phénomène, et de l associer au traitement de l orientation inauguré au sein du cortex visuel primaire. La modulation de l accès conscient à stimulation égale exclut par ailleurs toute interprétation liée à la force du signal, et suggère plutôt une influence associée à l accès conscient. Enfin, nous avons contrôlé que l asynchronie d apparition du stimulus (SOA) inhérente à la présentation longue de l amorce n était pas la cause de l inversion de l amorçage en habituation, puisqu une amorce de courte durée avec long SOA ne donnait lieu à aucun effet, comme c est souvent observé (Dupoux et al., 2008). Nous avons donc postulé que les mécanismes liés à l accès conscient, et notamment la récurrence et la diffusion globale, ainsi que l amplification attentionnelle étaient à même de retarder ou d empêcher le renversement d amorçage en habituation (voir section 1.3 page 20). Ces résultats sont à mettre en parallèle à une étude de notre groupe, rapportant des phénomènes similaires avec l amorçage de répétition de visages en CFS (Barbot & Kouider, sous presse), ainsi qu à une autre étude rapportant une inversion d influences sémantiques lors de la répétition de stimuli masqués (Wentura & Frings, 2005). Il semble donc qu en l absence d accès conscient, l inversion de l amorçage en habituation soit un phénomène général, indépendant à la fois de la technique employée (GCC, CFS, masquage), et du niveau de stimuli traités (orientation angulaire, identité faciale, et même sens des mots). 5.2 Article 149

150 Increased Sensory Evidence Reverses Nonconscious Priming During Crowding Nathan Faivre & Sid Kouider Laboratoire de Sciences Cognitives et Psycholinguistique, CNRS/EHESS/DEC-ENS, Paris, France. Send correspondance to: Nathan Faivre, LSCP, Ecole Normale Supérieure, 29 rue d'ulm, Paris, France. Phone: nathan.faivre@ens.fr Keywords : sensory adaptation, crowding, priming, perceptual awareness

151 Abstract Sensory adaptation reflects the fact that the responsiveness of a perceptual system changes after the processing of a specific stimulus. Two manifestations of this property have been used in order to infer the mechanisms underlying vision: on the one hand priming, in which the processing of a target is facilitated by prior exposure to a related adaptor, and on the other hand habituation, in which this processing is hurt by overexposure to an adaptor. In the present study, we investigated the link between priming and habituation by measuring how sensory evidence (i.e., short vs. long adaptor exposure) and perceptual awareness (i.e., discriminable vs. undiscriminable adaptor stimulus) affects the adaptive response on a related target. Relying on gaze-contingent crowding, we manipulated independently adaptor discriminability and adaptor duration, and inferred sensory adaptation from reaction times on the discrimination of a subsequent oriented target. When adaptor orientation was undiscriminable, we found that increasing its duration reversed priming into habituation. When adaptor orientation was discriminable, priming effects were larger after short exposure, but increasing adaptor duration led to a decrease of priming instead of a reverse into habituation. We discuss our results as reflecting a change in the temporal dynamics of angular orientation processing, depending on the mechanisms associated with perceptual awareness (e.g., global broadcasting, neural reentrance) and attentional amplification.

152 Introduction Sensory adaptation is a general property of perceptual systems in which a change of responsiveness follows the processing of a specific stimulus (Webster, 2011). At the behavioral level, sensory adaptation is responsible for two phenomena with opposite consequences. The first one is a positive effect classically referred to as priming, and reflecting a facilitation when processing a target preceded by an adaptor stimulus sharing some physical (e.g., angular orientation) or conceptual (e.g., semantic) properties. The second one is referred to as sensory habituation (although it is often termed by using the generic term sensory adaptation in the psychophysics literature) and reflects, on the contrary, an inhibitory effect whereby overexposure to an adaptor hurts the processing of a related target. These two effects have been extensively used for probing the neural and cognitive processes underlying perception, by following the assumption that a given stimulus property is indeed processed whenever the system shows adaptive responses on a subsequent target sharing this property. Furthermore, this logic can be extended to the domain of nonconscious perception, as priming and habituation can be observed even when participants are not able to report the presence (chance-level detection) or the nature (chance-level discrimination) of the adaptor (see Kouider & Dehaene, 2007, for nonconscious priming during masking; see Lin & He, 2009, for nonconscious habituation during binocular rivalry). When stimuli are consciously visible, sensory adaptation occurs on multiple timescales, ranging from milliseconds to minutes, or even hours (see Kohn, 2007, for a review). Depending on the timescale, sensory adaptation may involve different mechanisms (Grill-Spector, Henson, & Martin, 2006). For instance, the facilitation model states that an adaptor facilitates the identification of a subsequent related target (i.e., priming effect) by improving the coding of the stimulus' features, notably through an increase in synaptic efficacy (i.e., synaptic potentiation). Another account suggests that instead of improving the coding of all stimulus' features, longer adaptor exposure induces the selection of diagnostic features only, while neurons coding features that are non-essential for its recognition stop responding (Desimone, 1996; Wiggs & Martin, 1998). The mechanism underlying this selection, or sharpening, may involve mechanisms such as lateral inhibition, whereby the neurons with the strongest initial response inhibit the rest of the population. Therefore, increasing adaptor exposure decreases the number of adaptor encoded features, which leads to a decrease of overlapping features between the adaptor and the target, and consequently, to a decrease of priming effects. Behavioral and neural evidences of priming seem to support the coexistence of both the facilitation and the selection accounts, by showing a rise-and-fall pattern,

153 with a first period (i.e. following 40 to 250 ms of adaptor exposure) in which priming increases, and a second period (i.e. following 350 to 1900 ms of adaptor exposure) in which it decreases (Zago, Fenske, Aminoff, & Bar, 2005). Thus, long adaptor exposure may first facilitate the information coding, and then induce a selection of its key features for sustained representation. Paradoxically, after overexposure to the adaptor, the mechanisms involved in priming may become too extreme, and together with neural fatigue, impair the processing of the related target and finally give rise to habituation (S. Gotts, unpublished PhD thesis). Thus, the dynamic change in responsiveness supported by distinct mechanisms is supposed to induce a shift from priming to habituation. However, deciphering the dynamics of sensory adaptation with visible stimuli might lead to potential confounds. Indeed, theories of consciousness state that perceptual awareness is associated with mechanisms responsible for sustaining perceptual information over time, for instance through neural broadcasting (Dehaene & Naccache, 2001), or through neural reentrance (Lamme & Roelfsema, 2000). Consequently, the rise-and-fall pattern previously observed might diverge from the substantial properties of sensory adaptation, the decay due to habituation being counteracted by the top-down amplifications mechanisms associated with perceptual awareness. Thus, we predicted that preventing perceptual awareness would lead to stronger habituation and actually lead to a switch from a facilitatory to an inhibitory effect when adaptor exposure is increased, in a kind of rise-and-reverse pattern of sensory adaptation. In this study, we focused on the link between priming and habituation, by studying how the strength of sensory signals (i.e., oriented gratings with short vs. long stimulus duration) affects conscious and nonconscious sensory adaptation. We relied on visual crowding, a perceptual caveat in peripheral vision that impairs the discrimination of a peripheral stimulus when it is surrounded by similar flankers (Levi, 2008). This approach offers two main advantages for addressing this issue. First, as long as foveal access to the adaptor is prevented, the strength of crowding does not depend on stimulus duration (Kooi, Toet, Tripathy, & Levi, 1994), which allows for the presentation of long-lasting stimuli remaining undiscriminable. In order to control for participants' oculomotor behavior, we relied on gaze-contingent crowding, which consists in monitoring gaze position with an eye-tracker, and substituting the peripheral adaptor by an irrelevant content as soon as participants stare outside a fixation position defined by instructions. Second, while a crowded stimulus appears as jumbled and its informative content remains inaccessible to conscious reports, it still induces sensory adaptation, both at the level of single feature stimuli (e.g., habitutation for line orientations, see He, Cavanagh, & Intriligator, 1996), multi-feature stimuli (e.g., priming for directional arrows, see Faivre & Kouider, 2011). Using gaze-contingent crowding with both

154 discriminable and undiscriminable stimuli, we assessed how stimulus duration modulated the conscious and nonconscious processing of line orientations. When perceptual awareness was prevented by crowding, we found that being exposed with short-lasting oriented adaptors (i.e., 200ms) had facilitatory effects on the processing of subsequent related targets (priming), while longer exposure (i.e., 1000ms) reflected, instead, inhibitory effects (habituation). Restoring perceptual awareness through psychophysical manipulations had a large facilitatory effect on target processing, as it increased priming and canceled habituation. Thus, while our results are similar to the rise-and-fall pattern previously observed during conscious priming, they suggest a reverse of priming into habituation under situations of perceptual unawareness. These results are discussed in light of neural and behavioral correlates of sensory adaptation and perceptual awareness.

155 General Method Participants. All observers were university students between 18 and 35 years old. They reported normal or corrected vision, and were paid for their participation. Thirteen observers participated in Experiment 1a, 12 in Experiment 1b, 11 in Experiment 2, 16 in Experiment 3, and 15 in Experiment 4. Stimuli. All stimuli consisted in 1.2 x 1.2 Gabor patches (0.45 Michelson contrast; 2 cycles per degree). Six flanker patches were organized on a circular array surrounding the adaptor patch (centre to centre spacing: 1.3 between two flankers; 2.4 between one flanker and the adaptor). Adaptor and target patches were tilted either 5 to the right or left from vertical. In Experiment 1a, adaptor and target patches shared the same contrast phase. In all the other experiments, adaptor and target patches were presented in contrast counter-phase. Procedure and design. Threshold evaluation. Eccentricity between the adaptor and fixation location was fixed individually prior to the priming experiment with a Quest staircase procedure (Watson & Pelli, 1983), such as participant performed at chance level on the adaptor discrimination task (except in Experiment 3 in which eccentricity was fixed such as participants performed on the adaptor discrimination task with an accuracy of 60%). While participants gazed continuously at a fixation cross situated at the quarter top of the screen, they were first presented with a peripheral circular array of flanker patches for 200ms. While the flanker patches remained on screen, the adaptor appeared in the middle of the array for 1000ms.Then, both the flankers and the adaptor patches disappeared, while a question at fixation position relative to the adaptor orientation appeared (i.e., Left? or Right? ). Participants were instructed to answer the question by yes or no, by pressing respectively a button with their right or left finger. The question remained on screen until a response was provided. The staircase determined after 70 trials the eccentricity value at which observers performed at chance level. All staircases were inspected, and a staircase was discarded and repeated if it had not properly converged within the maximum number of trials. Importantly, as soon as a participant ceased to gaze at a 5 by 5 area surrounding the fixation location, the tilted adaptor patch was substituted by a vertical patch during the next refresh cycle of the monitor screen. This gaze-contingent substitution procedure guaranteed that the tilt orientation information was never processed foveally.

156 Priming experiment. As in the threshold evaluation phase, participants were instructed to stare continuously at the fixation location materialized by the fixation cross. Each trial started by the apparition of the flanker patches at the predetermined eccentricity for 1000ms or 200ms, which remained on screen while the adaptor patch appeared respectively for 200ms (short duration condition) or 1000ms (long duration condition). Thus, taken as a whole, each trial had a constant duration, no matter adaptor duration. Following an inter-stimulus interval of 100ms, a target patch appeared for 200ms at the location previously occupied by the adaptor patch, and participants had to indicate, as fast as possible, whether it was tilted to the right (right button press) or to the left (left button press) from vertical. By contrast to the adaptor, the target was not surrounded by flankers, and thus was clearly discriminable (see figure 1). The long duration and short duration priming trials were intermixed randomly. In addition to the main task, an adaptor discrimination task similar to the one used for threshold evaluation was randomly administrated to the participants in 1 out of 3 trials. In this case, instead of the target, a question relative to the adaptor orientation appeared at fixation position (i.e., Left or Right ). The participant s task was to decide whether the answer was yes (right button press) or no (left button press). Participants received a total of 60 adaptor discrimination trials randomly intermixed with 120 priming trials. Measuring visibility in alternation with priming presents two advantages. First, the visibility measure is consequently sensitive to potential changes in perceptual thresholds occurring during the experiment (e.g., training or fatigue effects). Second, as participants never know which of the two tasks they will encounter, they must attend to the peripheral adaptor at each trial in case a visibility task occurs. This attentional amplification has been shown to maximise priming effects (Naccache, Blandin, & Dehaene, 2002; Faivre & Kouider, 2011). The gaze-contingent substitution was applied as for the threshold evaluation phase. Only trials for which gaze position was correct during 90% of total adaptor duration were analysed (i.e., 180ms in the short duration condition and 900ms in the long duration condition). Apparatus. Stimuli were displayed against a grey background by a 22-in. Iiyama Vision master pro 510 monitor (luminance 15.7 cd/m²; frame rate 85 Hz; resolution 1024x768 pixels) with a computer running Matlab with the Psychophysics Toolbox (Brainard, 1997; Pelli, 1997). The participant sat 57cm from the screen in a dimly lit room. A chin and headrest were used. Eye movements were recorded monocularly with a tower mounted eye tracker (Eyelink 1000 system, SR research, Ontario, Canada) controlled with the Eyelink toolbox (resolution: temporal 500 Hz; spatial > 1 ).

157 Results Experiment 1 In Experiment 1, we relied on the independence between stimulus duration and stimulus discriminability under crowding (Kooi et al., 1994), in order to measure the influence of adaptor duration on nonconscious sensory adaptation. Participants exposed to short and long-lasting oriented adaptors that remained undiscriminable were asked to indicate the orientation of subsequent target stimuli. Comparison of reaction times in related trials (i.e., in which adaptors and targets shared the same orientation) and unrelated trials (i.e., in which adaptors and targets had an opposite orientation) served as an index of sensory adaptation. In Experiment 1a, adaptors and targets shared the same contrast phase. In Experiment 1b, adaptors and targets were presented in contrast counter-phase. Since adaptors and targets appeared at the same location on the screen, we wanted to control with Experiment 1b that adaptation effects do not arise before any cortical processing, for instance from adaptation to local luminance changes at the level of the retina. Experiments 1a & 1b are analysed together, with contrast similarity (i.e., phasic stimuli in Experiment 1a and counter-phasic stimuli in Experiment 1b) as a between-subject factor.

158 Figure 1. Paradigm used in Experiment 1. Each trial started with the presentation of a fixation cross at the quarter top of the screen. At the bottom of the screen, with an eccentricity fixed individually, this was followed by the apparition of six flanker patches during 1000ms or 200ms. Afterward, the adaptor patch appeared in the middle of the flankers, respectively for 200ms (short duration condition) or 1000ms (long duration condition). Following an inter-stimulus interval of 100ms, participants were then presented either with a peripheral target on which they had to indicate the orientation, or with a question about the adaptor orientation to which they were forced to answer (Visibility Question). In Experiment 1a, adaptor and target patches shared the same contrast phase. In Experiment 1b, adaptor and target patches were presented in contrast counter-phase. Results and discussion. First, we determined with the threshold evaluation phase the eccentricity value at which observers performed at chance level (mean eccentricity = 17.38, SD = 3.95). Then, in the priming experiment, data cleaning based on oculomotor behavior during adaptor exposure conserved 91.44% of total trials (see General Method). Participants responded correctly on 82.70% of the remaining trials (SD = 12.51). Only correct responses were included in the reaction time analyses. We performed an ANOVA on reaction time, with participants as a random variable and relation and adaptor duration as main factors, and contrast similarity as a between-subject factor. We found a main effect of adaptor duration [F(1,23) = 11.63, p < 0.005], reflecting the fact that participants were faster to answer in the short duration compared to the long duration condition (28ms, SD = 39.79). Importantly, we found an interaction between relation and adaptor duration [F(1,23) = 63.31, p < ]. This signed the existence of a priming effect at short duration (i.e., participants were faster to indicate the target orientation when it was preceded by a related vs. unrelated adaptor, mean priming effect = 52ms, t(24) = 5.26, p < ), and an habituation effect at long duration

159 (participants were slower in related vs. unrelated trials, mean habituation effect = -37ms, t(24) = -3.81, p < 0.001) (see Figure 2). No significant interaction with contrast similarity was found (p > 0.1). Debriefing the participants after the experiment revealed that none of them declared being able to identify the adaptors. However, while the adaptor discrimination task confirmed that performance was at chance-level in the long duration condition (mean d' = 0.09; t(24) = 0.56; p = 0.58), it differed slightly from chance-level in the short duration condition (mean d' = 0.35; t(24) = 2.62; p < 0.05). This could indicate that in some trials, some participants might have been able to discriminate the orientation of short-lasting adaptors. In order to address this possibility, we relied on Greenwald s regression method (Greenwald, Klinger, & Schuh, 1995) which revealed that priming extrapolated to null visibility was still significantly above chance (intercept = 44ms, p < 0.001). Furthermore, post-hoc comparisons revealed that the positive priming effect was significant both in Experiment 1a (31ms, t(12) = 3.29, p < 0.01) while adaptor discriminability was at chance (mean d' = 0.32; t(12) = 1.28; p = 0.23), and in Experiment 1b (74ms, t(11) = 4.71, p < 0.001) while visibility was above chance (mean d' = 0.38; t(11) = 4.80; p = 0.001). The higher visibility in Experiment 1b may explain the larger priming effect (74ms vs. 31ms). We come back to this issue in the discussion. Figure 2. Bar-plots of mean reaction times in Experiment 1a & 1b, in related trials in blue (i.e., same orientation shared by the adaptor and the target), versus unrelated trials in red (i.e., opposite orientation shared by the adaptor and the target). Error bars indicate the standard error of the mean.

160 Experiment 2 We aimed at assessing with Experiment 2 that the pieces of evidence we accumulated regarding the reverse of priming into habituation was specific to nonconscious sensory adaptation. We designed this new experiment as an exact replicate of Experiment 1, with the exception that flanker patches were now presented with an horizontal orientation. Thus, the similarity between the peripheral adaptor (tilted +/- 5 from vertical) and flankers was greatly diminished, and crowding virtually absent (Andriessen & Bouma, 1976). According to the rise-and-fall pattern of conscious adaptation reported by Zago and colleagues (2005), we postulated that abolishing crowding would preserve the priming effects induced by short adaptor exposure, while it would decrease, or cancel the habituation effects induced by long adaptor exposure. Results and discussion. First, eccentricity threshold was evaluated such as each participant performed at chance level on the adaptor discrimination trial (mean eccentricity = 14.09, SD = 3.67). Importantly, the eccentricity threshold was evaluated with vertical flankers, since the use of horizontal flankers would have led to greater eccentricity values, and thus to a confound between perceptual awareness and stimulus strength. In the priming experiment, data cleaning based on oculomotor behavior during adaptor exposure preserved 97.12% of total trials (see General Method). Participants mean accuracy was 90.21% (SD = 8.97). We performed an ANOVA with participants as a random variable and adaptortarget relation and adaptor duration as main factors. As expected, we found an interaction between relation and duration [F(1,10) = 12.10; p < 0.01], revealing priming effect in the short duration condition (65ms; t(10) = 4.29; p < 0.01), while no effect was found in the long duration condition (- 6ms; t(10) = -0.32; p = 0.76, compared to the significant negative effect of -37ms found in Experiment 1) (see figure 3). Here, as we diminished the strength of crowding, adaptor visibility increased both in the short duration (mean d' = 1.81; t(10) = 4.14; p < 0.01) and the long duration condition (mean d' = 2.22; t(10) = 5.04; p < 0.001), without any difference between the two (p = 0.51).

161 Figure 3. Bar-plot of reaction times in related (in blue) versus unrelated trials (in red). In Experiment 2, flanker patches were oriented horizontally, such as crowding was significantly reduced. Error bars indicate the standard error of the mean.

162 Experiment 3 Results from Experiment 1 revealed that the duration of adaptor exposure could determine the direction of nonconscious sensory adaptation (i.e., priming or habituation), resulting in a reverse pattern in which priming transforms into habituation. Yet, accordingly to other studies (Zago et al., 2005), we did not find such a reversal during conscious priming. In Experiment 3, we aimed at confirming this dissociation in a within-subject design, by contrasting conscious and nonconscious adaptation at constant stimulation. For this purpose, visual crowding offers an interesting perceptual phenomenon for assessing how stimulus awareness impacts on the switch from priming to habituation without any confound with signal strength. Indeed, on a trial by trial basis, perceptual awareness (i.e., stimulus discriminability) can vary while the strength of the visual signal remains equal. Thus, we measured sensory adaptation induced by short vs. long-lasting adaptors on each trial depending on a subjective adaptor discriminability rating provided by participants. This procedure insured a manipulation of perceptual awareness with a constant stimulation around the discrimination threshold. Procedure and design. Threshold evaluation. The eccentricity between fixation and adaptor position was set such as participants performed on the adaptor discrimination task with an accuracy of 60% (mean eccentricity = 14.56, SD = 3.30). This performance level allowed us to obtain different visibility levels on a trial by trial basis while stimulation remained constant (see below). Priming experiment. Each trial started with the apparition of the peripheral flanker patches for 200ms or 1000ms, to which was added the adaptor patch respectively for 1000ms (long duration condition) or 200ms (short duration condition). The gaze-contingent substitution was applied as in Experiment 1 & 2. After an inter-stimulus interval of 100ms, the target appeared at the location previously occupied by the adaptor. Participants had to indicate as fast as possible whether the target patch was tilted on the right (right button press) or on the left (left button press), within a delay of 1500ms. Then, they were asked to indicate their subjective level of visibility of the adaptor patch only, on a scale appearing at fixation location (32 x 0.12 horizontal bar). The scale comprised 20 grades, labeled rien vu (i.e., nothing seen) below the leftmost grade, and visibilité maximale (i.e., maximal visibility) below the rightmost grade. Participants moved a cursor on the scale with left and right button presses, and validated their response with space bar.

163 Pilot experiment. As a validation of the subjective visibility rating procedure we used in the priming experiment, we ran a pilot experiment with seven naive participants. For each of them, the 60% accuracy threshold was evaluated (mean eccentricity = 15.14, SD = 2.48). Then, after being exposed to the crowded adaptor for 1000ms, they were first asked to answer to the visibility question related to the adaptor orientation (i.e., Left or Right? ). This measure estimated objectively the adaptor discriminability. Then, they had to indicate their subjective level of visibility using the visibility scale. A strong correlation between the objective and subjective discriminability measures [adjusted R-squared = 0.76; p < 10e-6] confirmed that participants used the visibility scale accordingly to their objective performance. In order to analyse reaction times in the priming experiment, we binned trials in function of individual subjective visibility ratings into three different groups (de Gardelle, Kouider, & Sackur, 2010). The low visibility group comprised the 15% of total trials for which the individual visibility ratings were the lowest. Objective discriminability measures in this group did not differ from zero (mean d' = ; t(6) = -0.18; p = 0.86). The high visibility group comprised the 15% of total trials for which the individual visibility ratings were the highest. Objective discriminability measures in this group was high (mean d' = 3.6; t(6) = 7.02; p < 0.001). Finally, the medium visibility group comprised all the other trials (mean d' = 2.21; t(6) = 5.92; p < 0.01). The same classification was used in the priming experiment. Results and discussion. Based on the validation provided by the pilot experiment, we binned trials individually for each participant in a low visibility group (comprising the 15% trials with the lowest visibility ratings), a high visibility group (comprising the 15% trials with the highest visibility ratings) and a medium visibility group (comprising all the other trials) (see figure 4).

164 Figure 4. Density estimate of subjective visibility rating in Experiment 3. Full white line represents the boundaries between low, medium and high visibility groups averaged across all participants (dashed lines represent two standard deviations around the mean). After the data cleaning based on oculomotor behavior, 84.56% of total trials were analysed (see General Method). Participants responded correctly on 86.68% of the remaining trials (SD = 6.65). Only correct responses were included in reaction time analyses. We performed an ANOVA with participants as a random variable and adaptor-target relation and adaptor duration as main factors. We found a main effect of relation, with shorter reaction times in related vs. unrelated trials [21ms; F(1,15) = 10.19; p < 0.01], as well as a main effect of adaptor duration, with shorter reaction times in the short vs. the long duration condition [26ms; F(1,15) = 17.41; p < 0.001]. Again, we found an interaction between relation and duration [F(1,15) = 20.63; p < 0.001], showing a priming effect in the short duration condition (53ms; t(15) = 4.89; p < 0.01), while the habituation effect for long duration condition did not reach significance (-11ms; p > 0.1). Analysing effects of sensory adaptation depending on adaptor visibility revealed that in the short duration condition, the priming effect increased with adaptor visibility, while in the long duration condition, the habituation effect was significant at low visibility, and was abolished as soon as the adaptor became visible (see figure 5 & table 1) Finally, regarding subjective discriminability, an ANOVA with participants as random variable revealed that neither adaptor-target relation nor adaptor duration influenced adaptor discriminability (both p > 0.1). To sum up, relying on subjective measures of discriminability with

165 constant stimulation and a within-subject design, Experiment 3 confirmed that the directionality of sensory adaptation (i.e., priming or habituation) depended both on perceptual awareness and adaptor duration. When perceptual awareness was absent, we found evidences for the reverse of priming into habituation, although the priming effect induced by short-lasting stimuli did not reach significance. In comparison to the other experiments, each trial here requested the participant to realise one task on the target followed by another task on the adaptor. This combination might have changed the participants strategy and therefore disrupted the priming effect. Nonetheless, the effect amplitude (i.e., 26ms) was similar to what we found in the other experiments, and it remains possible that the analysis we performed based on subjective visibility grouping simply lacked statistical power. Finally, when perceptual awareness was present, the decay of priming we found is similar to the rise-and-fall pattern previously observed during object priming (Zago et al., 2005). Mechanistic interpretation of this pattern supports the succession of facilitation and selection. First, the processing of all stimulus features is facilitated, which explains the origin of priming effects. After longer exposure, only diagnostic features of the adaptor stimulus remain encoded, which decreases the similarity between the adaptor and the target, and induces the decay of priming effects (Wiggs & Martin, 1998). Figure 5. Mean adaptation effects in Experiment 3, depending on adaptor duration (short duration in blue, long duration in red) and adaptor discriminability (low, medium and high discriminability). Error bars indicate the standard error of the mean.

166 Low visibility Medium visibility High visibility Short duration 26 (p = 0.29) 51 (p < 0.001) 83 (p < 0.001) Long duration -35 (p < 0.05) 0 (p = 0.96) 1 (p = 0.96) Table 1. Priming effects (ms) depending on adaptor duration and adaptor visibility. Experiment 4 In Experiment 1, we found that short and long-lasting adaptors respectively gave rise to priming (i.e., shortening of related targets processing) and habituation (i.e., slowing of related targets processing). However, short and long exposures differed not only regarding stimulus duration, but also regarding stimulus onset asynchrony (SOA) between adaptors and targets. Indeed, in the long duration condition, the SOA was 1100ms (i.e., 1000ms of adaptor exposure and 100ms of interstimulus interval), while the SOA in the short duration condition was 300ms (i.e., 200ms of adaptor exposure and 100ms of inter-stimulus interval). In order to control that the SOA difference was not at the origin of the reverse pattern of nonconscious sensory adaptation we found so far, we designed Experiment 4, in which participants were exposed with a short-lasting adaptor (200ms) preceding the target either with a short (300ms) or long SOA (1100ms). Procedure and design. Priming experiment. On each trial, flanker patches were presented peripherally during 1200ms. In the short SOA condition, the adaptor patch appeared 1000ms after the flankers' onset (i.e., 300ms before the target). Thus, this condition respected the exact same timing than the short duration condition in Experiment 1. In the long SOA condition, the adaptor patch appeared 200ms after the flankers' onset (i.e., 1100ms before the target). The short and long SOA conditions were intermixed randomly. Participants received a total of 60 adaptor discrimination trials randomly intermixed with 120 priming trials. The gaze-contingent substitution was applied as in Experiment 1.

167 Results and discussion. First, as in Experiment 1, eccentricity threshold was evaluated such as each participant performed at chance level on the adaptor discrimination trial (mean eccentricity = 16.2, SD = 3.93). After gazecontingent control, 92.00% of total trials were analysed. Participants performed correctly on 86.98% (SD = 8.68). The ANOVA analysis revealed a main effect of relation [F(1,14) = 8.36, p < 0.05], and only a marginal interaction between relation and SOA [F(1,14) = 3.19, p < 0.1]. This revealed a priming effect in the short SOA condition (45ms, t(14) = 3.06, p < 0.01), and no effect in the long SOA condition (12ms, t(14) < 1) (see Figure 6). One can note that if anything, the trend for positive rather than negative priming in the long SOA condition. The fact that nonconscious priming decreases very rapidly across time is coherent with the literature on nonconscious priming (Ferrand, 1996; Dupoux, de Gardelle & Kouider, 2008). Here, what is crucial is that long SOA is not a factor explaining the habituation effect we found with long adaptor exposure in Experiment 1. Regarding now adaptor discriminability, we found chance-level performance both in the short SOA condition (mean d' = 0.21; t(14) = 1.48; p = 0.16), and in the long SOA condition (mean d' = ; t(14) = -0.02; p = 0.98), without any difference between the two conditions (t(14) = 1.26, p = 0.23). Thus, this result consists in a good replication of the priming effect we found in Experiment 1, this time with both counter-phase stimuli and null visibility. Figure 6. Barplot of mean reaction times in related (in blue) versus unrelated trials (in red) in Experiment 4. Error bars indicate the standard error of the mean.

168 General discussion So far, the majority of studies on conscious and nonconscious perception have relied on inferences from priming and habituation taken separately. Consequently, little is known regarding the links between these two phenomena. By manipulating independently stimulus duration and stimulus discriminability through crowding, the four experiments presented in this study bring new insights regarding the influences of sensory evidence and perceptual awareness on sensory adaptation. Nonconscious sensory adaptation. We found that despite being undiscriminable, short-lasting adaptors induced facilitatory effects, both when adaptors and targets shared the same contrast phase (Experiment 1a) and when they were presented in contrast counter-phase (Experiment 1b and Experiment 4 in short SOA condition). These typical priming effects reflect that line orientation is processed during crowding, a phenomenon which is now well described (He et al., 1996; Parkes, Lund, Angelucci, Solomon, & Morgan, 2001; Montaser-Kouhsari & Rajimehr, 2005). The reaction time measure we used here to unveil this phenomenon is interesting as it extends the perceptual threshold measures usually employed. Now regarding long adaptor exposures, we found habituation effects, here also both when adaptors and targets shared the same contrast phase (Experiment 1a) and when they were presented in counter phase (Experiment 1b). In Experiment 4, we controlled that the long SOA resulting from long adaptor exposure was not at the origin of habituation, as short adaptor exposure with long SOA did not give rise to any trend towards an habituation effect. Thus, it seems that overstimulating the system in the absence of perceptual awareness has a cost in terms of responsiveness, as revealed by sensory habituation. Taken together, priming after short adaptor exposure and habituation after long adaptor exposure suggest a facilitation-suppression pattern during nonconscious sensory adaptation. This finding is supported by two other studies probing different levels of nonconscious visual processing through different techniques. The first one relied on visual masking, whereby a very short lasting stimulus preceded and followed by mask patterns remains impossible to detect (see Kouider & Dehaene, 2007, for a review). It has been shown that increasing the repetition number of a masked adaptor word, and thus its cumulated duration, induced a switch from positive to negative influences during semantic priming (Wentura & Frings, 2005). The second one is a recent study from our group relying on continuous flash suppression, a variant of binocular rivalry in which

169 conscious perception of the stimulus in one eye is suppressed when the other eye receives dynamic contour-rich flashes (Barbot & Kouider, in press). Relying on a face repetition priming paradigm in which participants had to indicate whether a target face was familiar or unknown, this study revealed that face processing was facilitated by prior exposure to short-lasting adaptors (i.e., reaction times decreased), while it was hurt by overexposure to long-lasting adaptors (i.e., reaction times increased). Here, each pair of adaptor and target was either constituted by identical faces, or different faces belonging to the same fame category (i.e., they were both famous or both unknown). Thus, as the task involved a fame judgment, the motor responses triggered by the adaptor and the target mapped onto the same hand response in related and unrelated trials. Consequently, the differences in terms of priming or habituation observed when comparing related and unrelated trials can not arise from motor facilitation and motor inhibition (see Eimer & Schlaghecken, 2003, for a review). In our study however, related trials involved congruent motor activations (e.g., a left oriented adaptor followed by a left oriented target), while unrelated trials involved incongruent sequences (e.g., left oriented adaptor followed by a right oriented target). Thus, replicating our findings with estimations of perceptual threshold instead of motor responses (i.e., reaction times) would discard a potential motor origin of the nonconscious overstimulation cost. Altogether, these results comfort the existence of a nonconscious overstimulation cost, independently of the hierarchical level of processing (i.e., semantic, facial identity, or line orientation in our case) and regardless of the technique employed to prevent perceptual awareness (i.e., visual masking, binocular rivalry, or gaze-contingent crowding in our case). In consequence, stimulus duration seems to be a property that influences neural responsiveness when perceptual awareness is prevented. This comforts the idea that nonconscious cognition is not limited to a sum of snapshots independent the one from each other, but is able integrate over time informative signals present in the optic flow (VanRullen & Koch, 2003). Further parametric experiments with higher temporal resolution would be necessary in order to describe more accurately this pattern.

170 Conscious sensory adaptation Gaze-contingent crowding allowed for the modulation of adaptor discriminability while maintaining stimulus strength unchanged. Consequently, we were able to make post-hoc comparisons regarding the amplitude of conscious and nonconscious sensory adaptation. In order to increase statistical power, we merged together results obtained from similar conditions across several experiments. First regarding nonconscious priming, we merged results from Experiment 1a (in which short-lasting adaptor discriminability was at chance) with results from the lowest visibility group of Experiment 3 (in which participants rated the short-lasting adaptor as not perceived). Regarding conscious priming, we merged results from Experiment 2 (in which shortlasting adaptor discriminability was above chance due to the presence of horizontal flankers) with results from the highest visibility group of Experiment 3 (in which participants rated the shortlasting adaptor as perceived). Comparing these two sets of data, we found that priming effects were significantly larger in the conscious compared to the nonconscious situation (74ms versus 29ms, t = 2.38, p < 0.02). Furthermore, in Experiment 1b, in which adaptor discriminability happened to be slightly above chance, we observed the same priming effect amplification in comparison to Experiment 1a (74ms versus 31ms, t = 2.33, p < 0.05) 1. This argues for the idea that perceptual awareness is associated with an amplification of priming, a phenomenon which was previously reported both at the behavioral (Kouider & Dehaene, 2009) and at the neural level (Kouider, Dehaene, Jobert & Le Bihan, 2007). Along this line, the fact that crowding decreases the amplitude of orientation priming implies that it decreases the coding efficiency of angular orientation. Thus, at the neural level, it suggests that crowding arises at the site were angular orientation is encoded, starting from the primary visual cortex up to area V4 (see Bi, Cai, Zhou, & Fang, 2009; Fang, Murray, Kersten, & He, 2005; Gardner et al., 2005). Another factor that might explain the lower amplitude of orientation priming in the presence of crowding is the participants' ability to deploy covertly spatial attention on the peripheral adaptor. Indeed, it has been proposed that crowding reflects a coarsening of spatial attentional resolution in the periphery of the visual field (Intriligator & Cavanagh, 2001). Thus, crowding may reduce the capacity to amplify attentionally the signal from the adaptor, and consequently decrease its priming influence. Fitting with this view, previous results using gaze-contingent crowding showed that reducing attentional amplification to crowded symbols (i.e., undiscriminable arrows) by exerting an attentional load decreases their priming influences (Faivre & Kouider, 2011). 1Note however that within an experiment, no correlation between priming and adaptor visibility was found.

171 Regarding now the condition with long adaptor exposure, we compared nonconscious and conscious habituation following the same post-hoc analysis strategy. First, regarding nonconscious habituation, we merged results from Experiment 1a (in which long-lasting adaptor discriminability was at chance) with results from the lowest visibility group of Experiment 3 (in which participants rated the long-lasting adaptor as not perceived). Regarding conscious habituation, we merged results from Experiment 2 (in which long-lasting adaptor discriminability was above chance due to the presence of horizontal flankers) with results from the highest visibility group of Experiment 3 (in which participants rated the long-lasting adaptor as perceived). We found that restoring perceptual awareness cancelled the habituation effect we obtained in the nonconscious situation (i.e., -39ms versus -2ms, t = 2.59, p < 0.02). This suggests a negative relationship between sensory habituation and perceptual awareness, since the amplitude of habituation effects decreases with adaptor discriminability. The results we report concerning the influence of crowding on sensory habituation come within the scope of a recent debate. On the one hand, one study reported that long-lasting adaptors surrounded by high-contrast flanker patches induced less habituation than when surrounded by low-contrast flanker patches (Blake, Tadin, Sobel, Raissian, & Chong, 2006). This result suggests that crowding weakens the influence of long-lasting stimuli on orientation habituation. On the other hand, other studies using long-lasting adaptors in the presence or in the absence of flanker patches reported that crowding has no impact on the amplitude of orientation habituation (He et al., 1996; Bi et al., 2009). These results are at odd with the ones we report, since we found that habituation was present only when perceptual awareness was prevented by crowding. Several differences between our study and the others cited might explain such a discrepancy. First, the studies by Blake et al. (2006), He et al. (1996), and Bi et al. (2009) measured habituation through estimations of perceptual thresholds, while we relied on reaction time measures. Secondly, all these studies compared the influence of crowding on sensory habituation while manipulating the signal strength (i.e., contrast, or presence of flankers), while in our case, the comparisons between nonconscious (i.e., crowded) and conscious habituation (i.e., less, or not crowded) was realized at constant stimulation. Furthermore, in the study by Blake and colleagues, the adaptor was presented during 5s, while it flickered in counter-phase with the flankers at 1 Hz in order to prevent Troxler's fading. In the study by Bi and colleagues, the adaptor was presented during 3s, while it flickered in counter-phase with the flankers at 2Hz. In our case, no flickering was applied since no Troxler's fading occurred at the exposure duration we used (1000ms). The roles of stimulus constancy and stimulus duration during sensory habituation remain to be tested. Finally, is of note that all the studies we refereed to relied on long-lasting stimulation, and thus reported habituation without considering priming effects.

172 A possible mechanism for the anti-correlation between sensory habituation and perceptual awareness is that when the adaptor becomes visible, participants are able to compensate for any influence that is perceived to be distracting or detrimental to task performance. Typically, this is the case in unrelated trials, in which the adaptor is orthogonal to the target. A prediction made by this account is that increasing the proportion of related compared to unrelated trials should restore the conscious habituation effects, as participants would not repress the influences from highly predictive adaptors. Using fmri, a recent study showed that repetition suppression was reduced when stimulus repetitions were improbable, suggesting the involvement of top-down strategies during sensory adaptation (Summerfield, Trittschuh, Monti, Mesulam, & Egner, 2008; Kaliukhovich & Vogels, 2011). We could argue that the repression of short-lasting visible adaptors should also disrupt the priming effects they induce. Yet, with a duration of only 200ms, the time necessary to develop intentionally this strategy might be insufficient, explaining why no repression occurs. Another explanation for our results on priming and habituation is, as stated in the introduction, the change of neural regime depending on perceptual awareness. Indeed, several theoretical arguments suggest that the processing of angular orientation leading to priming and habituation might have two different times courses depending on the adaptor discriminability. First, compared to nonconscious perception which primarily involves feed-forward activity sweeping from the sensory cortex up to higher regions, perceptual awareness involves feed-back activity from fronto-parietal regions down to sensory cortex (Lamme & Roelfsema, 2000; Dehaene et al., 2006). Reentrance has been showed to modify many neural sensory processes, among which neural tuning (Ringach, Hawken, & Shapley, 1997). According to the tuning account of priming (Desimone, 1996) sharpening stimulus encoding by reentrance is likely to increase priming effects. Secondly, it is known that perceptual awareness is associated to a maintenance of information through top-down amplification, once the neural inputs enter into a global workspace consisting in distributed longdistance brain networks linking visual cortex to fronto-parietal regions (Dehaene & Naccache, 2001). On the one hand, this maintenance is likely to preserve the positive influence of short-lasting stimuli on related targets even in condition of long SOA. On the other hand, this maintenance is likely to counteract or delay the occurrence of sensory habituation arising from long-lasting stimuli. Furthermore, as for perceptual awareness, attentional amplification is a plausible mechanism counteracting the occurrence of sensory habituation, as it decreases the strength of after-images induced by prolonged stimulus exposure (Suzuki & Grabowecky, 2003). One prediction arising from this hypothesis is that an experimental condition using long-lasting visible stimuli under a strong attentional load should restore the negative effects we found with invisible stimuli. However,

173 attentional load is also known to reduce the level of habituation induced by undiscriminable stimuli (Bahrami et al., 2008; Montaser-Kouhsari & Rajimehr, 2005). Experiments manipulating both the discriminability and the attentional amplification of long lasting stimuli will be necessary to disentangle the interaction of perceptual awareness and attention during sensory habituation. Additionally, further experiments with a finer range of stimulation duration will be necessary in order to assess whether our results reflect a change in the properties of sensory adaptation, or more generally a shift in the temporal dynamics of conscious and nonconscious processing. Conclusion. Relying on gaze-contingent crowding, we measured sensory adaptation induced by short vs. long-lasting stimuli. When perceptual awareness was prevented, we found an increase in visual responsiveness after brief stimulus exposure (priming), which reversed into a decrease in visual responsiveness after longer stimulus exposure (habituation). In the presence of perceptual awareness, priming associated with brief stimulus exposure was amplified, while habituation associated with longer stimulus exposure was cancelled. We proposed that the mechanisms associated with perceptual awareness and attentional amplification are at the origin of the amplification of priming, and the prevention of sensory habituation. Acknowledgments. The authors thank Paul Roux for helpful comments on the manuscript, and Virginie Delmas and Isabelle Brunet for technical assistance. This work was supported by a grant from the French ministry for higher education and research to NF, and an REI (Recherche Exploratoire et Innovation) and an ERC (European Research Council) starting grant to SK.

174 Bibliography. Andriessen, J. J., & Bouma, H. (1976). Eccentric vision: adverse interactions between line segments. Vision Research, 16(1), Bahrami, B., Carmel, D., Walsh, V., Rees, G., & Lavie, N. (2008). Unconscious orientation processing depends on perceptual load. Journal of Vision, 8(3):12, 1 10, doi: / Bi, T., Cai, P., Zhou, T., & Fang, F. (2009). The effect of crowding on orientation-selective adaptation in human early visual cortex. Journal of Vision, 9(11):13, 1 10, doi: / Blake, R., Tadin, D., Sobel, K. V., Raissian, T. A., & Chong, S. C. (2006). Strength of early visual adaptation depends on visual awareness. Proceedings of the National Academy of Sciences of the United States of America, 103(12), doi: /pnas Brainard, D. H. (1997). The psychophysics toolbox. Spatial Vision, 10(4), de Gardelle, V., Kouider, S., & Sackur, J. (2010). An oblique illusion modulated by visibility: Nonmonotonic sensory integration in orientation processing. Journal of Vision, 10(10):6, 1 9, doi: / Dehaene, S., & Naccache, L. (2001). Towards a cognitive neuroscience of consciousness: basic evidence and a workspace framework. Cognition, 79(1-2), Desimone, R. (1996). Neural mechanisms for visual memory and their role in attention. Proceedings of the National Academy of Sciences of the United States of America, 93(24), Dupoux, E., de Gardelle, V., & Kouider, S. (2008). Subliminal speech perception and auditory streaming. Cognition,109(2), Eimer, M., & Schlaghecken, F. (2003). Response facilitation and inhibition in subliminal priming. Psychonomic Bulletin & Review, 64, Faivre, N., & Kouider, S. (2011). Multi-feature objects elicit nonconscious priming despite crowding. Journal of Vision, 11(3):2, 1 10, doi: / Fang, F., Murray, S. O., Kersten, D., & He, S. (2005). Orientation-tuned FMRI adaptation in human visual cortex. Journal of Neurophysiology, 94(6), doi: /jn Ferrand, L. (1996). The masked repetition priming effect dissipates when increasing the interstimulus interval: Evidence from word naming. Acta Psychologica, 91, Gardner, J. L., Sun, P., Waggoner, R. A., Ueno, K., Tanaka, K., & Cheng, K. (2005). Contrast

175 adaptation and representation in human early visual cortex. Neuron, 47(4), doi: /j.neuron Gotts, S. (2003). Mechanisms underlying enhanced processing efficiency in neural systems. Unpublished PhD thesis, Carnegie Mellon University, Pittsburgh, PA. Greenwald, A. G., Klinger, M. R., & Schuh, E. S. (1995). Activation by marginally perceptible ( subliminal ) stimuli: dissociation of unconscious from conscious cognition. Journal of Experimental Psychology. General, 124(1), Grill-Spector K., Henson R., Martin A. (2006). Repetition and the brain: neural models of stimulusspecific effects. Trends in Cognitive Sciences 10(1): He, S., Cavanagh, P., & Intriligator, J. (1996). Attentional resolution and the locus of visual awareness. Nature, 383(6598), doi: /383334a0. Intriligator, J., & Cavanagh, P. (2001). The spatial resolution of visual attention. Cognitive Psychology, 43, Kaliukhovich, D. A., & Vogels, R. (2011). Stimulus repetition probability does not affect repetition suppression in macaque inferior temporal cortex. Cerebral Cortex, 21(7), doi: /cercor/bhq207. Kohn, A. (2007). Visual adaptation: physiology, mechanisms, and functional benefits. Journal of Neurophysiology, 97(5), doi: /jn Kooi, F. L., Toet, A., Tripathy, S. P., & Levi, D. M. (1994). The effect of similarity and duration on spatial interaction in peripheral vision. Spatial Vision, 8(2), Kouider, S., & Dehaene, S. (2007). Levels of processing during non-conscious perception: a critical review of visual masking. Philosophical Transactions of the Royal Society of London. Series B, Biological Sciences, 362(1481), doi: /rstb Kouider, S., Berthet, V., & Faivre, N. (2011). Preference is biased by crowded facial expressions. Psychological Science, 22(2), doi: / Lamme, V. A., & Roelfsema, P. R. (2000). The distinct modes of vision offered by feedforward and recurrent processing. Trends in Neurosciences, 23(11), Levi, D. M. (2008). Crowding an essential bottleneck for object recognition: a mini-review. Vision Research, 48(5), doi: /j.visres Lin, Z., & He, S. (2009). Seeing the invisible: the scope and limits of unconscious processing in binocular rivalry. Progress in Neurobiology, 87(4), doi: /j.pneurobio Montaser-Kouhsari, L., & Rajimehr, R. (2005). Subliminal attentional modulation in crowding condition. Vision Research, 45(7), Naccache, L., Blandin, E., & Dehaene, S. (2002). Unconscious masked priming depends on

176 temporal attention. Psychological Science, 13(5), Parkes, L., Lund, J., Angelucci, A., Solomon, J. A., & Morgan, M. (2001). Compulsory averaging of crowded orientation signals in human vision. Nature Neuroscience, 4(7), Pelli. (1997). The VideoToolbox software for visual psychophysics: transforming numbers into movies. Spatial Vision, 10(4), Ringach, D. L., Hawken, M. J., & Shapley, R. (1997). Dynamics of orientation tuning in macaque primary visual cortex. Nature, 387(6630), doi: /387281a0. Summerfield, C., Trittschuh, E. H., Monti, J. M., Mesulam, M. M., & Egner, T. (2008). Neural repetition suppression reflects fulfilled perceptual expectations. Nature Neuroscience, 11(9), doi: /nn Suzuki, S., & Grabowecky, M. (2003) Attention during adaptation weakens negative afterimages. Journal of Experimental Psychology: Human Perception and Performance 29: VanRullen, R., & Koch, C. (2003). Is perception discrete or continuous? Trends in Cognitive Sciences, 7(5), Watson, A. B., & Pelli, D. G. (1983). QUEST: a Bayesian adaptive psychometric method. Perception & Psychophysics, 33(2), Webster, M. A. (2011). Adaptation and visual coding. Journal of Vision, 11(5):3, 1 23, doi: / Wentura, D., & Frings, C. (2005). Repeated masked category primes interfere with related exemplars: new evidence for negative semantic priming. Journal of Experimental Psychology: Learning, Memory, and Cognition, 31, Wiggs, C. L., & Martin, A. (1998). Properties and mechanisms of perceptual priming. Current Opinion in Neurobiology, 8(2), Zago, L., Fenske, M. J., Aminoff, E., & Bar, M. (2005). The rise and fall of priming: how visual exposure shapes cortical representations of objects. Cerebral Cortex, 15(11), doi: /cercor/bhi060.

177 Troisième partie Discussion

178 1 Étudier l encombrement via l inconscient cognitif Classiquement, les travaux visant à mieux comprendre l origine de l encombrement ont manipulé les relations entre voisins et stimulus encombré pour inférer le niveau auquel avait lieu leur interaction. Dans ce cadre, l assomption est faite que si des stimuli définis par des propriétés différentes s encombrent l un l autre, c est que l encombrement trouve son origine là où les deux informations sont encodées de manière combinée. Par exemple, comme des stimuli définis par une valeur de luminance sont à même d en encombrer d autres, définis par une variation de contraste, cela suggère que l encombrement intervient au niveau où information de premier ordre et de second ordre se rejoignent au sein des voies visuelles (Chung et al., 2007). L approche que nous avons suivie est différente, puisque nous avons utilisé l encombrement pour empêcher l accès conscient à une dimension du stimulus, et en mesurer ainsi son traitement non conscient. En dehors de sa pertinence pour l étude de l inconscient cognitif, nous allons résumer dans un premier temps les enseignements fournis par cette approche quant au phénomène de l encombrement proprement dit. Nous discuterons ensuite comment l analyse des résultats fournis par les deux approches amènent à considérer l encombrement comme un phénomène multifactoriel intervenant à de multiples étapes de la chaîne de traitement visuel. Nous émettrons des prédictions découlant de nos résultats, et suggérerons des protocoles expérimentaux pour les tester. 1.1 Vers un modèle hiérarchique de l encombrement En réunissant six études (dont une en annexe page 204), notre travail a permis dans un premier temps d esquisser la hiérarchie des traitements visuels ayant lieu malgré l encombrement. En quoi ces résultats peuvent falsifier ou corroborer les théories expliquant 178

179 CHAPITRE 1. ÉTUDIER L ENCOMBREMENT VIA L INCONSCIENT COGNITIF l origine de ce phénomène visuel? Depuis l orientation angulaire jusqu à la configuration de visages émotionnels, en passant par la direction de symboles ou l identité faciale, les traitements de différents niveaux semblent d abord falsifier une théorie décrivant l encombrement comme un filtre absolu et mono-factoriel coupant court au traitement du flux visuel dès ses premières étapes au sein du cortex. On peut donc ajouter à l expression utilisée par Levi (2008) que l encombrement est un goulot d étranglement limitant la reconnaissance consciente des objets, leur traitement non conscient étant au moins en partie préservé. Cela signifie-t-il que l encombrement intervient spécifiquement en aval des voies de traitement visuel? Selon Blake et collaborateurs (2006), l absence de discriminabilité entraînée par l encombrement découle d une cascade d événements neuraux inaugurés à un point précoce au sein des voies visuelles, et culminant par l abolissement de l activité neurale associée à l accès conscient de l information traitée. Or, nos résultats montrent le maintien d un traitement non conscient en aval de la chaîne de traitement, par exemple au sein de la FFA pour l information configurale des visages. Ces résultats restent compatibles avec une origine précoce de l encombrement, si tant est qu elle n empêche pas en totalité l encodage des indices nécessaires en aval au traitement de l information de plus haut niveau. Afin d estimer l importance de l encombrement à une étape de traitement donnée, nous allons maintenant interpréter certains de nos résultats en contrastant les réponses adaptatives mesurées en présence et en absence de l encombrement. Le traitement de l orientation comme premier niveau hiérarchique Dès les premières étapes de la chaîne de traitement, nous avons trouvé qu une ligne orientée encombrée induisait un effet d amorçage, mais que l amplitude de ce dernier souffrait de l encombrement. Autrement dit, les effets d amorçages conscients étaient supérieurs aux effets d amorçages non conscients, et ce même à stimulation égale (voir l étude page 147). La relation entre l amplitude de l adaptation sensorielle et l encombrement est débattue. Qui plus est, les résultats de la littérature ne concernent qu un versant de l adaptation sensorielle, puisqu ils se focalisent sur l habituation, sans mesurer les effets d amorçage. Dans un premier temps, les mesures de seuils perceptuels réalisées par He et collaborateurs (1996) ont suggéré que l amplitude de l habituation à des stimuli orientés était indépendante de l encombrement, et donc de l accès conscient (voir la figure 2.3 page 49). Par 179

180 CHAPITRE 1. ÉTUDIER L ENCOMBREMENT VIA L INCONSCIENT COGNITIF la suite, d autres mesures d effets consécutifs réalisées à contraste plus faible ont contredit ces résultats, en montrant que l amplitude de l habituation diminuait fortement si l accès conscient était empêché, que ce soit par l encombrement ou la rivalité binoculaire (Blake et al., 2006). Les auteurs de cette étude ont alors suggéré que l indépendance de l habituation et de l accès conscient observée en premier lieu était due au contraste élevé des stimuli utilisés, entraînant une saturation de la réponse adaptative. Plus récemment, des mesures psychophysiques couplées à l IRMf ont fait progressé le débat selon deux axes (Bi et al., 2009). D une part, il a été avéré que la diminution d amplitude associée à l encombrement avait une origine attentionnelle. En contrôlant la capacité des participants à amplifier attentionellement les stimuli encombrés, l indépendance de l habituation et de l accès conscient a pu être répliquée aussi bien à contraste élevé que faible. D autre part, les mesures en IRMf ont précisé que l encombrement diminuait l effet d habituation uniquement à partir de V2/V3, l amplitude de l effet étant similaire à une situation non encombrée au niveau de V1. L habituation à l orientation ayant lieu à des niveaux allant de V1 à V4, nous voyons là que l encombrement n impacte pas forcément les régions les plus en amont de la chaîne d un traitement donné (Fang et al., 2005; Gardner et al., 2005). Le tableau que nous venons de brosser est complexe. Si l indépendance de l habituation et de l encombrement est avérée, son amplitude est donc indépendante de l accès conscient. Cela s oppose au pattern que nous rapportons, dans lequel l amplitude de l amorçage augmente avec l accès conscient. Cela s oppose également au pattern d habituation que nous rapportons, pour des raisons que nous évoquerons dans la section 2.3 page 193. Précisons néanmoins qu à la différence de notre travail où les comparaisons sont faites à stimulation constante et où la discriminabilité du stimulus est directement estimée, les autres études confondent niveau d encombrement et force du signal (en manipulant à la fois la présence et le contraste des voisins) et ne mesurent pas directement la discriminabilité. Il serait alors intéressant d étendre nos résultats comportementaux à l imagerie cérébrale puis de les comparer aux résultats rapportés par Bi et collaborateurs. Un niveau hiérarchique supérieur : le traitement des visages encombrés Deux autres résultats concernant la perception des visages appuient l idée que l encombrement diminue l efficacité du traitement visuel, cette fois-ci à des niveaux hiérarchiques supérieurs au traitement de l orientation. Nous devons cependant rester prudents, puisqu ils concernent des situations où la force des signaux visuels discriminés et non discriminés est différente. En effet, à la différence de l orientation angulaire où il est facile de 180

181 CHAPITRE 1. ÉTUDIER L ENCOMBREMENT VIA L INCONSCIENT COGNITIF moduler la discriminabilité à stimulation constante, c est une tâche plus délicate pour les visages, puisque même présentés seuls en périphérie, les traits qui les constituent s encombrent eux-mêmes (self-crowding, voir Martelli et al., 2005 ainsi que l étude présentée en chapitre 1 page 57). Premièrement, au cours de l expérience en IRMf présentée en annexe page 204, nous avons localisé la FFA en mesurant son activité pendant la perception consciente de visages, puis mesuré son activité pendant la perception de visages encombrés. En accord avec ce qui est habituellement trouvé en masquage (Kouider et al., 2009) ou en rivalité binoculaire (Moradi et al., 2005), nos analyses préliminaires suggèrent que la FFA répond plus fortement aux visages lorsque ceux ci sont perçus consciemment. Deuxièmement, en ce qui concerne le traitement émotionnel des visages, nous avons trouvé que le biais de préférence par les expressions de colère nécessitait l accès conscient, puisque l encombrement empêchait son occurrence (voir chapitre 3 page 79). Clairement, des conclusions plus solides nécessiteront un usage plus strict de la méthode contrastive, avec des mesures psychophysiques et neurales de réponses adaptatives à stimulation constante. Par ailleurs, des mesures à d autres niveaux hiérarchiques devront être testées, notamment l information sémantique des chiffres ou des mots qui évaluerait une dissociation entre encombrement et traitement non conscient à un niveau plus en aval de la chaîne de traitement visuel. Des goulots d étranglement multiples Globalement, les influences non conscientes que nous avons mises en évidence semblent dépendre au moins quantitativement de l encombrement. Il est possible que la diminution d amplitude des influences non conscientes soit uniquement héritée des niveaux les plus précoces du traitement visuel, par exemple au niveau du cortex extrastrié. Cela argumenterait donc pour une origine unique et précoce de l encombrement. Il est également possible que la diminution d amplitude ne soit pas simplement héritée des étapes précoces du traitement visuel, mais émerge spécifiquement au niveau où à lieu le traitement à l origine de l influence mesurée, par exemple la FFA pour les visages. Le fait que l encombrement intervienne de manière spécifique entre plusieurs niveaux de représentations (entre les traits, les parties, ou les configurations d objets) jette le doute sur son caractère unitaire, et argumente plutôt en faveur de multiples goulots d étranglement à différents sites de la chaîne de traitement. 181

182 CHAPITRE 1. ÉTUDIER L ENCOMBREMENT VIA L INCONSCIENT COGNITIF Cette dernière propriété est corroborée par la double dissociation du traitement de visages encombrés que nous avons mise en évidence. A un premier niveau, lorsque les voisins (des patterns non informatifs constitués d objets superposés) interagissent avec les traits d un visage émotionnel, son traitement configural non conscient est préservé, puisqu il donne lieu à un biais de préférence (voir chapitre 2 page 70). Nous avons donc conclu que l encombrement par pattern préservait au moins en partie l encodage de la configuration des différents traits émotionnels. A un deuxième niveau, qu advient-il lorsque des voisins interagissent spécifiquement avec la dimension du stimulus à l origine de l effet mesuré? Ici, il s agit donc d interagir avec la configuration des traits émotionnels, et d estimer par la mesure de biais de préférence si un traitement configural sous-jacent peut néanmoins subsister. Il est connu que des voisins sous forme de visages peuvent interagir spécifiquement avec la représentation configurale du visage encombré (Louie et al., 2007). Ce phénomène est également observé avec l utilisation de visages de type Mooney à deux tons (Mooney, 1956), pour lesquels un traitement par trait n est que secondaire au traitement configural (voir Farzin et al., 2009, ainsi que la figure 1.1). Nous avons alors mesuré le biais de préférence induit par un visage émotionnel dont la configuration est encombrée par des visages neutres. Les résultats ont montré que ces derniers biaisaient tout autant les jugements de préférence que des visages encombrés par patterns. Nous avons donc conclu que le fait d interagir par l encombrement sur la configuration des traits émotionnels préservaient néanmoins en partie le traitement configural des expressions faciales. Il apparaît alors que l encombrement configural préserve le traitement configural non conscient, tout comme l encombrement par des lignes verticales préserve le traitement non conscient de l orientation. Il y a donc une première dissociation générale entre le percept et le traitement non conscient, et une deuxième dissociation plus spécifique entre l encombrement d une dimension donnée et son traitement non conscient. Comme cela a été fait pour confirmer l encombrement configural des visages, il serait intéressant de confirmer l origine configurale du biais de préférence non conscient en répliquant notre mesure avec des visages émotionnels de type Mooney, pour lesquels le traitement par trait est dépendant du traitement configural. Notre interprétation revient à considérer l encombrement comme une assemblée de goulots d étranglement, ou de filtres semi-perméables situés à plusieurs niveaux de la chaîne de traitement visuel, chacun d entre eux empêchant la reconnaissance consciente associée au niveau traité. Il subsiste un traitement de la dimension encombrée, mais d efficacité moindre, ce qui induit donc une influence non consciente d amplitude réduite. Selon les deux grandes familles théoriques, ces goulots représentent des fenêtres d intégration 182

183 CHAPITRE 1. ÉTUDIER L ENCOMBREMENT VIA L INCONSCIENT COGNITIF Figure 1.1: Encombrement configural de visages de type Mooney. A gauche, des exemples de visages de type Mooney à deux tons sont créés à partir de photographies en niveau de gris. A droite, en fixant le point rouge, le visage de type Mooney isolé est identifiable, alors que lorsqu il est entouré d autres visages de type Mooney, son information configurale est encombrée. (Adapté de Farzin et al., 2009). d origine histologique ou attentionnelle. Une étude récente propose qu elles pourraient également exister sous la forme d interaction entre régions cérébrales. En effet, des mesures en IRMf ont montré que durant la perception de lettres, l encombrement diminuait la corrélation entre la VWFA et les aires corticales précoces allant de V1 à V4 (Freeman et al., 2011). Les auteurs expliquent cette diminution par le caractère instable de la représentation de l objet issue de tentatives répétées d intégration de traits provenant de la lettre cible et de ses voisins. Les interactions entre aires corticales sont supposées intervenir à plusieurs niveaux de la chaîne de traitement (par exemple, entre la FFA et les régions extrastriées pour la perception des visages), et signeraient la stabilité d intégration de plusieurs traits en un objet unifié. Locus du goulot d étranglement primaire Si l encombrement intervient à de multiples sites au sein des voies visuelles, quel est le site primaire? Une étude élégante a récemment apporté de nouveaux indices pour répondre à cette question (Liu et al., 2009). Elle se base sur le fait que deux stimuli jouxtant les méridiens 1 vertical (MV) et horizontal (MH) de manière controlatérale (de chaque côté du méridien) ou ipsilatérale (d un même côté du méridien) sont proches dans l espace physique, mais potentiellement encodés par des régions corticales distantes (voir figure 1.2). Selon le MV, des stimuli controlatéraux sont encodés au sein d aires corticales droites et 1. C est à dire les limites rétinotopiques séparant le champ visuel selon un axe vertical et horizontal. 183

184 CHAPITRE 1. ÉTUDIER L ENCOMBREMENT VIA L INCONSCIENT COGNITIF Figure 1.2: Représentation rétinotopique de stimuli controlatéraux ou ipsilatéraux au méridien vertical et horizontal. La disposition controlatérale de deux stimuli implique des représentations corticales distantes au sein de V1, V2, et V3 pour le méridien vertical, et V2 et V3 uniquement pour le méridien horizontal. (Adapté de Liu et al., 2009). gauches éloignées au niveau de V1, V2, et V3. En accord, les résultats comportementaux montrent qu à distance égale, un voisin ipsilatéral induit un effet d encombrement plus important qu un voisin controlatéral. L encombrement pour des stimuli controlatéraux étant non nul, le phénomène doit également intervenir en aval, au sein d aires visuelles encodant les stimuli de manière rapprochée. En ce qui concerne le MH, les représentations corticales de stimuli controlatéraux sont distantes au sein de V2 et V3, mais rapprochées au sein de V1. Comme aucune asymétrie d encombrement relative au MH n a été trouvée, les auteurs ont conclu que l encombrement devait trouver son origine au sein d une aire corticale encodant de manière discontinue l hémichamp visuel droit et gauche, et de manière continue l hémichamp visuel inférieur et supérieur. Les candidats potentiels sont d une part V1, et d autre part les aires en aval de V3. V1 étant disqualifié 2, V4 émerge alors comme le premier candidat potentiel pour l origine de l encombrement. Dans le cadre d une théorie ascendante, des arguments supplémentaires suggèrent V4 comme origine de l encombrement. Tout d abord, l accroissement de ses champs récepteurs avec l excentricité dans le champ de vision est compatible avec le critère de Bouma (Smith et al., 2001). De plus leur forme en ellipse coïncide avec les fenêtres d espacement critique caractérisant l encombrement, on le rappelle anisotrope selon la direction radiale et tangentielle (voir Piñon et al., 1998, ainsi que la figure 2.1 page 42). Une étude a également montré que des stimuli définis par une valeur de luminance étaient à même 2. A la fois de par l existence d un encombrement induit par des stimuli controlatéraux au MV, et de par l indépendance des effets de suppression à la répétition dans V1 précédemment évoquée (Bi et al., 2009). 184

185 CHAPITRE 1. ÉTUDIER L ENCOMBREMENT VIA L INCONSCIENT COGNITIF d en encombrer d autres, définis par une variation de contraste (et vice versa), suggérant que l encombrement intervient au niveau de V4, où information de premier ordre et de second ordre sont traitées de manière combinée (Chung et al., 2007). Enfin, il a été montré qu un modèle physiologiquement plausible reflétait fidèlement les spécificités de l encombrement (espacement critique, agglomération en texture, anisotropie) si ses paramètres mimaient ceux des populations neuronales présentes au sein de V4 (van den Berg et al., 2010). 1.2 Rôle de l attention Deux études de ce travail sont pertinentes pour discuter du rôle de l attention dans l encombrement. D une part, nous avons trouvé au cours de notre première étude (chapitre 1 page 57) que l exercice d une charge attentionnelle fovéale diminuait l influence d un symbole encombré lors d une tâche d amorçage d action. D autre part, l étude en IRMf présentée en annexe page 204 montre qu en fonction de la dimension attendue d un stimulus chimérique encombré 3, les régions cérébrales encodant cette dimension présentent des réponses à la répétition qualitativement différentes. Les deux manipulations attentionnelles exercées sont différentes : la première vise à consommer les ressources afin de limiter celles qui sont attribuées au traitement du stimulus encombré, la deuxième repose sur l instruction donnée au sujet d amplifier volontairement un aspect du stimulus encombré en inhibant l autre. Cette deuxième manipulation montre donc les effets associés au fait de se concentrer intentionnellement sur un objet que l on ne peut discriminer. Si les deux manipulations attentionnelles exercées sont différentes, elles aboutissent à un enseignement commun : l existence de l amplification attentionnelle endogène en dehors de l accès conscient. Une étude précédente avait déjà établi cette dissociation entre attention endogène et conscience durant la perception de lignes encombrées (Montaser-Kouhsari & Rajimehr, 2005). Ici, nos résultats montrent que la dissociation existe également pour des objets plus complexes constitués de traits multiples. Notre dernière étude en IRMf a pour but la description des bases neurales de cette dissociation. Le rôle de l attention à différents niveaux de traitement, reflété par des modulations d activité au sein d aires cérébrales extrastriées différentes argumente en faveur des influences 3. C est à dire composé de la superposition de deux dimensions distinctes, dans notre cas l image d un visage ou d une maison, superposée à des lignes orientées vers la droite ou vers la gauche. 185

186 CHAPITRE 1. ÉTUDIER L ENCOMBREMENT VIA L INCONSCIENT COGNITIF descendantes sur le phénomène d encombrement. Néanmoins, dans les deux études, l amplification attentionnelle n était pas associée à une meilleure discrimination du stimulus. Si l attention endogène augmente l influence non consciente de stimuli encombrés sans augmenter leur discriminabilité, c est qu elle amplifie le traitement de l information sans changer la taille des fenêtres dans lesquelles elle est intégrée avec ses voisins, ou alors que la réduction de ces fenêtres n est pas suffisamment importante. Autrement dit, avec la configuration de stimuli utilisée, la supposée limite de résolution attentionnelle à l origine de l encombrement serait atteinte, et l exercice attentionnel endogène ne permettrait pas de la dépasser. Cela est compatible avec l idée que l encombrement est gouverné par des tailles de fenêtres attentionnelles spécifiques à chaque niveau d excentricité et chaque aire de traitement (Tripathy & Cavanagh, 2002). Les théories descendantes ne préfigurent pas du niveau anatomique de l occurrence de l encombrement, puisque des modulations attentionnelles sont observées dès le LGN (O Connor et al., 2002), et V1 (Somers et al., 1999). En lien, des résultats récents montrent qu au sein de V1, si la réponse locale à un stimulus périphérique n est pas modulée par la présence de voisins proches, ces derniers rendent la distribution du faisceau attentionnel autour du stimulus encombré plus diffuse (Fang & He, 2008). De manière congruente avec le caractère anisotrope de l encombrement observé comportementalement, cette perturbation de la diffusion attentionnelle n existe que lorsque les voisins sont organisés radialement autour stimulus, et non tangentiellement (voir Toet & Levi, 1992; Intriligator & Cavanagh, 2001, ainsi que la sous-section 2.1 page 39). De plus, le fait que la perturbation existe alors même qu aucun stimulus central n est présenté favorise l interprétation de l encombrement comme un phénomène descendant, gouverné par des processus cognitifs de haut niveau comme la taille des fenêtres attentionnelles, plutôt qu ascendant, gouverné par la nature du stimulus et son encodage précoce. Un modèle influent (Eriksen & St James, 1986) a proposé que l attention spatiale pouvait être vue comme un système permettant de zoomer sur certaines parties du champ visuel, restreignant ainsi la région d intérêt mais augmentant la résolution avec laquelle elle est traitée. Par analogie avec un système optique, on peut donc considérer en première approximation que l augmentation de la focale du zoom réduit la taille de la fenêtre attentionnelle. Plus récemment, le modèle de normalisation de l attention a proposé un formalisme pour rendre compte du fait que l attention pouvait remodeler les distributions d activité au sein d une population de neurone, en déplaçant l équilibre entre excitation et inhibition (Reynolds & Heeger, 2009). Une prédiction de ce modèle est qu en fonction de la taille de la fenêtre d intégration 186

187 CHAPITRE 1. ÉTUDIER L ENCOMBREMENT VIA L INCONSCIENT COGNITIF (modulable, comme décrit notamment par le modèle de Eriksen & St James) et de la taille du stimulus attendu, l amplification attentionnelle doit produire un bénéfice perceptuel selon deux paramètres différents : un gain de réponse, impliquant l augmentation de la réponse maximale induite par le stimulus, ou un gain de contraste, impliquant une meilleure sensibilité. Plus précisément, le modèle prédit un gain de réponse pour un stimulus de grande taille amplifié au sein d une fenêtre attentionnelle de taille réduite, et un gain de contraste pour un stimulus de petite taille au sein d une fenêtre attentionnelle de taille importante (voir figure 1.3). Cette prédiction a récemment été confirmée empiriquement, à la fois pour l attention exogène et endogène (Herrmann et al., 2010). Si nous transposons maintenant ce phénomène à la perception encombrée, qui se caractérise selon la théorie descendante par des fenêtres attentionnelles de trop grande taille, sans rôle causal de la taille des champs récepteurs dans les régions visuelles précoces, l amplification attentionnelle devrait produire spécifiquement un gain de contraste et non un gain de réponse. Il faudra alors déterminer dans quelle mesure ce gain de contraste permet d augmenter la discriminabilité du stimulus encombré. Figure 1.3: Amplification attentionnelle en fonction de la taille du stimulus et de la fenêtre attentionnelle. Chaque courbe décrit la relation entre le contraste d un stimulus et la réponse qu il évoque, en fonction qu il soit attendu (en rouge), ou inattendu (en bleu). Ici, le stimulus est schématisé par les lignes parallèles noires en bas à droite de chaque panneau, le cercle noir qui l entoure représentant un champ récepteur. La fenêtre attentionnelle est schématisée par le cercle en pointillé rouge. Lorsque le stimulus est de grande taille et que la fenêtre attentionnelle est petite (panneau de gauche), l attention produit un gain de réponse qui se manifeste par un décalage de la courbe vers le haut, l effet étant maximal à contraste élevé. Lorsque le stimulus est de taille réduite et que la fenêtre attentionnelle est grande (panneau du milieu), l attention produit un gain de contraste qui se manifeste par un décalage de la courbe vers la gauche, l effet étant maximal à contraste faible et intermédiaire. En lien avec la théorie attentionnelle de l encombrement, l amplification attentionnelle d un stimulus encombré (panneau de droite), si elle a lieu au sein d une fenêtre de grande taille, devrait produire un gain de contraste et non de réponse. (Adapté de Herrmann et al., 2010). 187

188 2 Étudier la conscience via l encombrement L encombrement contingent à la position du regard (GCC) propose une alternative méthodologique pour l étude contrastive de la conscience. Dans un premier temps, nous verrons en quoi l encombrement reflète une situation de conscience partielle, et comment il peut aider à en décrire les propriétés. Nous nous intéresserons ensuite à l étude des propriétés intégratives de la conscience via le GCC, en évaluant son apport pour l étude de l intégration des informations visuelles dans l espace, puis dans le temps. 2.1 Encombrement et conscience partielle L hypothèse de conscience partielle (Kouider et al., 2010) s inscrit au sein d une architecture hiérarchique du traitement visuel, où le signal est traité par étapes successives, depuis des informations de bas niveau (luminance, contraste), vers des informations plus complexes (contextuelles, sémantiques). L accès conscient est possible indépendamment à chaque niveau. Ainsi, selon trois déclinaisons, il est possible que tous les éléments d une scène visuelle soient accédés, qu au contraire aucun ne le soit, ou encore que certains le soient (par exemple le sens global de la scène) et d autres non (par exemple, la couleur ou l orientation d une ligne spécifique dans la scène). C est cette troisième modalité qui réfère à la conscience partielle, elle inclut un vaste panel de situations, résultant de la combinatoire de multiples niveaux de traitements, chacun étant accédé ou non. Nous estimons que la perception encombrée est caractéristique d un accès partiel à l information, et ce à de multiples niveaux hiérarchiques. Lors des discussions suivant les passations expérimentales, les participants rapportaient détecter la présence du stimulus, sans pouvoir l identifier. Ils rapportaient même parfois reconnaître une ligne, un symbole, un visage, mais être incapable d en reconnaître l orientation, la direction, l identité ou 188

189 CHAPITRE 2. ÉTUDIER LA CONSCIENCE VIA L ENCOMBREMENT Figure 2.1: Manipulation des dimensions accédées pendant l encombrement. En manipulant la similarité d une conjonction de deux traits entre un stimulus et ses voisins, il est possible de prévenir l accès à un des traits par l encombrement, en perturbant au minimum l accès de l autre. Ainsi, à gauche, quand les voisins partagent à la fois la couleur et l orientation du stimulus central, aucune de ces dimensions n est accédée. Lorsqu à droite, les voisins sont présentés horizontalement, la couleur demeure non accédée, tandis que l orientation le devient. Ceci est une tentative à but illustratif, et nécessitera des développements pour être opérationnelle. l expression faciale 1. Nous avons donc mesuré le traitement de la dimension non accédée du stimulus. Une étude plus fine de la gradation perceptuelle consciente sera possible par le développement de voisins interagissant spécifiquement avec une dimension, sans modifier l accessibilité des autres. Notamment, nous pensons que cela est possible avec des stimuli simples, composés d une conjonction de deux traits physiquement distincts, entourés par des voisins ne partageant que l un de ses traits, et laissant donc l autre accessible à la conscience (voir figure 2.1). En lien avec l hypothèse de conscience partielle, il arrive que des participants exposés à une scène visuelle complexe détectent un changement en son sein, tout en étant incapables d en préciser la nature et la location (Rensink, 2004). La cécité au changement n est donc pas complète, et une perception résiduelle que certains ont qualifié de vision par l esprit (mindsight) semble persister. En considérant que l encombrement préserve la détection d un stimulus, mais empêche sa discrimination par l agglomération de l information sous forme de texture et la perte d information positionnelle, il semble être un bon candidat comme mécanisme expliquant cette perception résiduelle. Il serait intéressant d analyser à posteriori si l agencement de stimuli utilisés pour la mettre en évidence respecte le 1. Il serait intéressant d estimer l influence du contexte expérimental sur cette impression subjective. En effet, les participants étant informés de la nature des stimuli encombrés par la tâche de discriminabilité, il est possible qu ils aient reconstruit de manière biaisée le stimulus perçu. 189

190 CHAPITRE 2. ÉTUDIER LA CONSCIENCE VIA L ENCOMBREMENT critère de Bouma, ainsi que l anisotropie, l inhomogénéité, et l asymétrie dans le champ visuel (voir sous-section 2.1 page 39). L hypothèse stipule que l accès à chaque niveau d information est gouverné par des règles bayésiennes (Kersten et al., 2004), ce qui donne lieu à un niveau de confiance dépendant à la fois de la force du signal et du contexte dans lequel il se trouve. Puisque les influences du contexte et des attentes de l observateur sont inversement proportionnelles à la force du signal, cela peut conduire à des illusions perceptuelles en cas de signal faible. En lien, Greenwood et collaborateurs (2010) ont montré que du bruit visuel entouré par des voisins orientés était lui même perçu comme orienté, de même que la rotation des voisins induisait une illusion de rotation du bruit. L encombrement peut donc changer de manière illusoire l apparence d un signal faible voire absent. De manière critique, ce n est pas la gradation dans le processus même d accès à l information qui explique la forme graduée de l expérience subjective consciente, mais plutôt l accès restreint à un sous-ensemble des propriétés d un stimulus. En ce sens, l hypothèse est compatible avec l accès en tout ou rien prédit par la théorie de l espace de travail neuronal global (Dehaene et al., 2003). L étude présentée en chapitre 5 page 147 a montré que la qualité du percept pouvait varier alors même que la stimulation et le degré d encombrement étaient constants. A l inverse des résultats obtenus sur le phénomène du clignement attentionnel (Sergent & Dehaene, 2004), les mesures que nous avons effectuées suggèrent que la perception encombrée ne suit pas une règle en tout ou rien, puisque une relation linéaire existe entre visibilité subjective et performance objective. La réconciliation de ce résultat empirique avec les théories d un accès en tout ou rien impose de considérer que plusieurs dimensions du stimulus accédées de manière binaire profitent à la fois au jugement subjectif de visibilité, et à la performance objective sur la tâche de discrimination de l orientation. De manière à mieux comprendre les corrélats neuraux de l encombrement, il serait intéressant de mesurer quels sont les facteurs gouvernant la discriminabilité d un signal encombré constant. Notamment, il est connu que la détectabilité d un stimulus fluctue selon les propriétés des oscillations cérébrales précédant son apparition (voir par exemple Ergenoglu et al. (2004) pour l amplitude, ou Busch et al. (2009) pour la phase des rythmes alpha). Il est donc possible que la discriminabilité de stimuli encombrés soit gouvernée par de tels facteurs, en lien avec l état attentionnel ou de vigilance de l observateur. L hypothèse de conscience partielle pousse à reconsidérer l interprétation des corrélats neuraux de la conscience, et leur valeur diagnostique pour déterminer la présence ou l absence d une expérience subjective. En effet, si l on reprend l exemple de la figure 2.1, 190

191 CHAPITRE 2. ÉTUDIER LA CONSCIENCE VIA L ENCOMBREMENT quel est le régime neural associé à l accès à l information angulaire, lorsque l accès à l information chromatique est empêché? Selon la théorie de l espace de travail neuronal global, la diffusion de l information par les modules traitant l orientation devrait être effective, alors que celle des modules traitant la couleur ne devrait pas l être. Cela donnerait lieu à une activité neurale ré-entrante entre les régions fronto-pariétales et les aires sensorielles traitant l orientation mais pas la couleur. Or, ces modules étant anatomiquement et fonctionnellement très proches (l orientation angulaire, comme le contraste et la constance des couleurs sont encodés au sein de couches distinctes du cortex visuel primaire, voir Conway, 2009, pour une revue de la littérature), leur régime neural est difficilement différentiable. Nous touchons donc aux limites des corrélats neuraux qualitatifs, et considérons que des normes quantitatives pour caractériser l expérience consciente en ses différents degrés doivent s y ajouter. Dans ce cadre, la théorie de l information de l intégration présentée dans la section page 30 est particulièrement intéressante. Il ne s agit pas de réduire l accès conscient à une valeur, mais plutôt de faire converger les mesures comportementales objectives, les rapports subjectifs, et les mesures neurales quantifiables en un corpus d information intégré. Alors, un échange mutuel entre les différentes mesures permettra de raffiner à la fois les résultats empiriques et les modèles théoriques de la conscience (Seth et al., 2008). 2.2 Encombrement et intégration spatiale Comme indiqué en introduction, l encombrement fixe une limite à la perception bien plus drastique que la limite fixée par l acuité visuelle. On peut alors s interroger sur l utilité d encoder visuellement des détails périphériques qui n apparaissent que sous forme de texture plus grossière. Face à cette interrogation, il faut garder à l esprit les rôles distincts de la vision fovéale et périphérique. Comme nous l avons vu, le principe d organisation dans les aires visuelles supérieures dépend de la catégorie d objets encodée. Les catégories nécessitant l analyse fine de détails sont en effet représentées avec un facteur d agrandissement élevé de manière latérale, et celles nécessitant l intégration de l information sur de plus grandes distances sont représentées avec des facteurs d agrandissements plus faibles de manière médiale (voir la section 1.2 page 16, ainsi que Hasson et al., 2002; Malach et al., 2002). Ainsi, un rôle majeur joué par la vision périphérique est de couvrir un espace important, y détecter des portions informatives, et pouvoir ainsi planifier une saccade oculaire pour une analyse fovéale plus fine. L information périphérique est donc encodée de manière synthétique. Une telle stratégie 191

192 CHAPITRE 2. ÉTUDIER LA CONSCIENCE VIA L ENCOMBREMENT n a de sens que dans un environnement redondant. Or, les visages dans une foule, les fruits dans un arbre constituent une structure d objets similaires et donc redondants, qui autorisent un format d encodage compressé reposant sur une description intégrée des éléments, où seule la synthèse de leurs statistiques (par exemple la moyenne) est disponible. En plus de sa parcimonie 2, un tel encodage présente de nombreux avantages (Alvarez, 2011). D abord, il s avère efficace puisqu en réduisant les mesures, l erreur résiduelle associée à chacune, si elle est non corrélée, s annule. Il fait donc particulièrement sens en périphérie du champ de vision, où nous l avons vu, chaque mesure est associée à un bruit important (perte de l information de localisation, mauvaise résolution attentionnelle, etc.). Ainsi, la taille moyenne d un ensemble de stimuli est décrite plus précisément que la taille individuelle de ses éléments (Ariely, 2001). La perception synthétique peut également servir de base pour tirer des inférences sur les paramètres d une distribution (sa moyenne, sa variance, sa forme) et donc d y déceler d éventuelles aberrations (outliers). En d autres termes, n avoir qu une représentation de la forêt permet néanmoins d éviter un arbre mort, de même que coder l information d une foule permet qu un visage différent saute aux yeux (Haberman & Whitney, 2010). Enfin, la représentation synthétique d une scène visuelle intégrée (gist) permet de mieux diriger le focus attentionnel au niveau d un site d intérêt. Notamment, le déploiement de l attention pendant la recherche visuelle repose sur des informations contextuelles globales pour détecter la cible. Ces représentations d ensemble se rapprochent donc d un traitement pré-attentionnel, évoqué en introduction (Treisman, 1985). En quoi ces représentations d ensemble se rapprochent-elles de la perception encombrée? Tout d abord, il convient de rappeler que les statistiques synthétiques sont également disponibles lorsque les éléments d un ensemble peuvent être traités individuellement (Ariely, 2001). Autrement dit, avoir l information relative à la forêt n empêche pas par principe d avoir accès aux arbres. On peut donc concevoir l encombrement comme l empêchement spécifique de l accès conscient aux individualités (les arbres), alors que l accès à la texture d ensemble (la forêt) est préservée. Il a été montré que dans un dispositif de lignes orientées encombrées, alors que l orientation d une cible ne pouvait pas être rapportée, l estimation de l orientation moyenne de l ensemble des lignes du dispositif était influencée par l orientation de la cible (Parkes et al., 2001). Par la suite, il a été montré que les statistiques synthétiques d un dispositif encombré contenaient non seulement sa moyenne mais également sa variance (Solomon, 2010). Lorsqu elle est encombrée, l information individuelle d orientation non perçue contribue donc à la perception d une texture globale 2. La compression est économique dans la mesure ou les représentations d ensemble et individuelles ne se recoupent pas. 192

193 CHAPITRE 2. ÉTUDIER LA CONSCIENCE VIA L ENCOMBREMENT du dispositif. Ce phénomène a été observé également à des niveau hiérarchiques plus élevés, notamment en ce qui concerne les visages émotionnels (Haberman & Whitney, 2007, 2009). Si l existence et la pertinence écologique de l intégration spatiale pour la perception d ensemble est peu débattue, son lien direct avec l encombrement a récemment été remis en question (Bulakowski et al., 2011). En considérant que l encombrement et la perception d ensemble reposent sur des mécanismes communs, l intensité de l encombrement devrait covarier avec la précision des statistiques synthétiques tirées de l information prise dans son ensemble. Or, alors que l encombrement est plus drastique dans l hémichamp visuel supérieur qu inférieur (He et al., 1996), Bulakowski et collaborateurs ont montré que l estimation de l orientation moyenne d un ensemble de lignes possède la même précision dans les deux hémichamps. Il semble donc que l encombrement puisse dégrader la perception des individualités sans pour autant améliorer la synthèse de l information de l ensemble. Ses liens précis avec l intégration spatiale restent donc à préciser. Nous allons maintenant voir en quoi il peut-être un phénomène intéressant pour étudier l intégration dans le temps. 2.3 Inconscient cognitif et temporalité Lorsque l on est immergé dans l environnement, le flux visuel change constamment à mesure que les objets qui nous entourent bougent, et que l on bouge par rapport à ces objets. La structure temporelle du flux est complexe, mais également d une importance cruciale puisqu elle encode les propriétés nécessaires à l interprétation d un monde dynamique, comme par exemple la direction cinétique, la synchronie, la causalité, ou l intentionnalité. Des changements physiques intervenant pendant une période de temps doivent donc être intégrés en une représentation perceptuelle unique, afin de pouvoir tirer des inférences sur l événement dynamique pris dans son ensemble. L intégration temporelle peut-être vue comme l action d un filtre passe-bas sur le signal, qui le lisse sur une dimension dynamique donnée (VanRullen & Koch, 2003; Holcombe, 2009). Cela explique notamment la capacité à estimer la taille moyenne de stimuli grandissant et rétrécissant au cours du temps (Albrecht & Scholl, 2010), ou l émotion moyenne de visages oscillant entre plusieurs expressions (Haberman et al., 2009). En raison des limites méthodologiques évoquées en introduction, le traitement de structures temporelles en l absence d accès conscient demeure peu documenté. Pourtant, comme 193

194 CHAPITRE 2. ÉTUDIER LA CONSCIENCE VIA L ENCOMBREMENT l intégration temporelle est une fonction fondamentale sous-tendant de nombreuses habiletés cognitives, il est important dans le cadre d une approche contrastive de mieux décrire ses propriétés en l absence d accès conscient. Outre les travaux de Barbot & Kouider (sous presse) et Wentura & Frings (2005) ayant mesuré l influence du temps de présentation d une information pour son traitement non conscient, trois études sont particulièrement intéressantes. A l aide de l encombrement, la première a mesuré l adaptation sensorielle induite par un mouvement non discriminable, suggérant que le système a pu intégrer l information des positions successives du stimulus pendant la période de définition du mouvement (Rajimehr et al., 2004). A l aide de la rivalité binoculaire, la deuxième étude a montré que deux stimuli rivaux représentant des marcheurs schématiques de différentes couleurs étaient accédés consciemment de manière alternative, sans qu il y ait alternance des patterns locaux définissant chaque marcheur (Watson et al., 2004). De plus, la rivalité était plus importante quand les marcheurs étaient présentés à l endroit qu à l envers, ce qui suggère non seulement une intégration spatiale des patterns locaux en un pattern global en fonction de sa pertinence écologique, mais également une intégration temporelle de ces patterns pour maintenir la représentation du marcheur au cours du temps. Enfin, la troisième étude a pu esquisser la limite de la gestion du temps par l inconscient cognitif, en montrant l inaptitude à enchaîner deux opérations mentales, c est à dire à transmettre une information de la première opération à la deuxième au cours du temps, lorsqu elles sont matérialisées par des instructions subliminales (Sackur & Dehaene, 2009). En tirant profit de l indépendance entre discriminabilité et durée de stimulation fournie par le GCC, nous avons pu estimer l influence respective de ces deux propriétés sur la réponse adaptative à l orientation angulaire. D autre part, nous avons pu caractériser le traitement non conscient d une structure temporelle de haute pertinence écologique : celle des expressions faciales. Nous discutons ici de l apport de ces deux études pour sonder la manière avec laquelle l inconscient cognitif appréhende le temps. Durée de l information traitée Brièvement, rappelons que nos résultats suggèrent que l accès conscient a pour conséquence l amplification des effets d amorçage induits par des durées d exposition courtes, et l annulation, ou en tout cas le retardement des effets d habituation induits par des durées d exposition plus longues (voir chapitre 5 page 147). Nous avons argumenté en faveur de l utilisation de la perception non consciente pour mesurer des effets d adaptation sensorielle, afin d éviter d une part la mise en place de stratégies explicites par 194

195 CHAPITRE 2. ÉTUDIER LA CONSCIENCE VIA L ENCOMBREMENT les participants, ainsi que les mécanismes d amplification et de maintien temporel des représentations perceptuelles associés à l accès conscient. De manière intrigante, nous n avons pas retrouvé la trace d un renversement de l amorçage en habituation dans notre première étude, puisque les effets d amorçage induits par les visages et les symboles directionnels étaient indépendants de leurs durées de présentation (voir chapitre 1 page 57). Deux différences entre les paradigmes utilisés peuvent expliquer une telle divergence. La première raison concerne les niveaux hiérarchiques des traitements mesurés. D un côté, l effet que nous avons obtenu reposait sur l encodage de l orientation angulaire, et de l autre, sur l encodage et l intégration de traits multiples formant un visage ou un symbole. Nous ne pensons pas que ce facteur soit crucial ici, puisque de tels renversements d amorçage en habituation ont été observés à des niveaux hiérarchiques plus élevés, impliquant par exemple la perception des visages en rivalité binoculaire (Barbot & Kouider, sous presse), ou le traitement du sens des mots masqués (Wentura & Frings, 2005). Il a été proposé que l élévation dans la hiérarchie des voies visuelles était associée à un changement de régime neural, avec notamment un allongement des fenêtres d intégration temporelle (Hasson et al., 2008). Il est donc possible que la durée de stimulation maximale choisie dans notre première étude (1400ms) ait été insuffisante pour induire de l habituation. La deuxième raison est sans doute plus spécifique : le renversement de l amorçage en habituation a été observé lorsqu amorces et cibles apparaissaient à la même position, toutes deux en périphérie du champ de vision 3. A l inverse, dans la première étude, l amorce apparaissait en périphérie du champ de vision, alors que la cible apparaissait de manière fovéale. L extrapolation de nos résultats appuient donc des résultats récents montrant que l habituation à l orientation intervient localement, à un niveau d encodage rétinotopique de l information (Knapen et al., 2010). Par ailleurs, il est possible que l importance de l évidence sensorielle associée au traitement fovéal de la cible contrecarre les effets d habituation. Nous proposons de tester ces hypothèses via un dessin expérimental reposant sur la manipulation de la position de la cible et de l amorce, ainsi que sur la manipulation de leur similarité rétinotopique (voir figure 2.2). A niveau hiérarchique égal, en reposant sur nos résultats couplés à ceux de Knapen et collaborateurs, nous postulons que l habituation découle d une stimulation répétée à rétinotopie constante, alors que l amorçage 3. Dans les études montrant des effets d habituation en encombrement, amorces et cibles apparaissaient également à la même position (He et al., 1996; Montaser-Kouhsari & Rajimehr, 2005; Blake et al., 2006; Bi et al., 2009). Nous rappelons cependant qu une origine rétinienne du renversement est écartée par la présentation de cibles et d amorces en opposition de contraste de phase. 195

196 CHAPITRE 2. ÉTUDIER LA CONSCIENCE VIA L ENCOMBREMENT Figure 2.2: Amorçage et habituation en fonction de la rétinotopie. L adaptation à un stimulus situé dans l hémichamp visuel inférieur module la réactivité de neurones précoces dont les champs récepteurs couvrent la zone stimulée (zone grisée). Nous avons mesuré que les effets d amorçage étaient présents, que la cible apparaisse à la même position que l amorce, ou dans l hémichamp visuel opposé (zones vertes). En revanche, nous avons mesuré des effets d habituation uniquement lorsque la cible apparaissait à la même position que l amorce (zone rouge). Nous posons donc l hypothèse que l amorçage résulte d un phénomène tardif, indépendant de la similarité rétinotopique entre cible et amorce, alors que l habituation découle d un mécanisme plus précoce dépendant de la rétinotopie. découle d un encodage de l orientation angulaire indépendant de la rétinotopie. Si ces résultats sont avérés, cela suggérerait que les deux conséquences opposées de l adaptation sensorielle à l orientation reposent sur des bases neurales qualitativement distinctes, l habituation modulant la réactivité neurale au sein des voies visuelles plus précocement que l amorçage. Dynamique de l information traitée Brièvement, rappelons que les résultats d imagerie fonctionnelle rapportés dans le chapitre 4 page 113 suggèrent que les expressions faciales statiques sont traitées au sein de la voie visuelle ventrale avant d activer l amygdale, alors que les expressions dynamiques sont traitées au sein de la voie visuelle dorsale avant d activer la substantia innominata. De manière congruente, un modèle a proposé que l information de forme et l information cinétique étaient respectivement traitées dans la voie ventrale et dorsale (Giese & Poggio, 2003). L opérationnalisation de ce modèle a récemment été rapportée par une étude en IRMf sur la perception des mouvement corporels (Jastorff & Orban, 2009). Le modèle stipule que l information cinétique est déduite de l apprentissage d une succession de clichés décrivant l information de forme. Des mécanismes d inhibition latérale 196

197 CHAPITRE 2. ÉTUDIER LA CONSCIENCE VIA L ENCOMBREMENT assurent l organisation de ces clichés selon un ordre correct, garantissant qu une succession aléatoire de clichés n est pas perçue comme un mouvement biologique. Au sein de chaque voie, les neurones codant pour une information donnée pré-activent les neurones encodant la configuration prédite comme devant être subséquente, et inhibent les neurones encodant les autres configurations. Ainsi, des patterns stables n existent que lorsque les neurones sont activés dans un ordre respectant un mouvement biologique existant et appris. Le modèle est hiérarchique, en ce sens que la progression en aval des deux voies visuelles est associée à un accroissement des champs récepteurs, et à une extraction d information de plus en plus complexe et invariante 4. A la confluence de ces deux voies, le sulcus temporal supérieur (STS) apparaît comme un pivot où a lieu l intégration de l information de forme et de mouvement (voir par exemple Grossman et al., 2000, pour des données en IRMf, et Grossman et al., 2005, pour des évidences de réversibilité via la TMS). En relation avec l absence d intégration entre l information de forme et de mouvement que nous avons proposée, nous avons trouvé que le STS n était pas activé par les expressions faciales dynamiques encombrées. Enfin, le modèle prédit que la reconnaissance d un mouvement biologique repose en grande partie sur l activation ascendante des voies visuelles ventrale et dorsale, sans nécessité d amplification attentionnelle, de signaux descendants, ou de boucles de ré-entrance. Cela corrèle notamment avec le fait que le STS est activé de manière très rapide durant la perception de mouvements biologiques (ce qui rappelle la notion de balayage vers l avant évoquée en introduction, voir Oram & Perrett, 1996; Lamme & Roelfsema, 2000), et le fait que des mouvements biologiques périphériques non attendus influencent malgré tout le traitement d un mouvement biologique central (Thornton & Vuong, 2004). Cette propriété autorise donc à première vue la présence d une forme d intégration temporelle non consciente, sans ré-entrance ni diffusion globale de l information. Néanmoins, plusieurs résultats tempèrent cette prédiction. D abord, la perception de mouvements biologiques est spécifiquement 5 perturbée chez des patients présentant des lésions pariétales, dont on sait qu elles entraînent des déficits attentionnels (Battelli et al., 2003). De plus, chez une population saine, l amplification attentionnelle participe à une meilleure discrimination d un mouvement biologique entouré de bruit visuel (Cavanagh et al., 2001). L unique contribution de mécanismes ascendants ne peut donc expliquer en totalité le traitement d une information dynamique. L encombrement et le GCC en particulier semblent perti- 4. Pour l information de forme, sont successivement traitées les orientations angulaires, puis les formes simples, puis les formes corporelles ; pour l information cinétique, la direction locale, puis globale d un mouvement, jusqu à la spécificité de mouvements relatifs à la marche, la course, ou à une expression faciale donnée. 5. La perception de mouvements de bas niveau est, elle, préservée. 197

198 CHAPITRE 2. ÉTUDIER LA CONSCIENCE VIA L ENCOMBREMENT nents pour préciser la contribution de l accès conscient pour la perception de mouvements biologiques, et notamment si cette dernière requiert des processus descendants, de réentrance, ou la diffusion de l information dynamique au sein de régions fronto-pariétales. Il est connu que la perception consciente de mouvements biologique périphérique est très rapidement empêchée, ce qui rappelle un mécanisme d encombrement puisque l agrandissement du stimulus ne restaure pas les capacités à percevoir le mouvement (Ikeda et al., 2005). Il conviendra de préciser par le GCC si néanmoins la perception non consciente est préservée. D un point de vue théorique, la théorie de l espace de travail neuronal propose que la diffusion globale de l information associée à l accès conscient est nécessaire à l exécution de certaines tâches cognitives, notamment celles nécessitant la coopération de multiples modules, ou le maintien du flux d information sur des durées prolongées (Dehaene & Naccache, 2001). Indirectement, elle prédit donc des limites à l intégration temporelle non consciente. Couplée à l approche contrastive, nous pensons que la mesure de ces limites intégratives permettrait de mieux isoler les corrélats neuraux de la conscience, d en affiner ses théories, et finalement conduirait à entamer le dessin des liens entre la conscience et le temps. 198

199 Quatrième partie Conclusion

200 CHAPITRE 2. ÉTUDIER LA CONSCIENCE VIA L ENCOMBREMENT Que restera-t-il de ce travail de thèse une fois l effervescence passée? Quelles en sont les limites? Quelles perspectives ouvre-t-il pour les sciences de la vision et les sciences de la conscience? Perspectives méthodologiques. Tout d abord, l encombrement contingent à la position du regard (GCC) apporte une méthode alternative à la communauté des neurosciences cognitives, qu elle soit spécialisée dans l étude de la conscience ou de la vision périphérique. Des extensions au GCC sont dores et déjà envisageables. Premièrement, des indices encombrés incrustés dans des dispositifs de réalité virtuelle ou de réalité augmentée pourraient permettre d estimer le réel impact de la cognition non consciente lors de l exploration naturelle de l environnement, et donc son intérêt écologique en dehors d une tâche de psychologie expérimentale plus restreinte. Cette stratégie en plein essor a déjà porté ses fruits en ce qui concerne les mécanismes d adaptation sensorielle de bas niveau (Zhang et al., 2009), et nous développons actuellement un projet en ce sens basé sur l étude de la navigation spatiale en présence d indices directionnels encombrés. Un autre champ de recherche très dynamique concerne le développement de la conscience perceptuelle au cours de la vie. Si les premiers résultats obtenus avec le masquage visuel sont prometteurs (Gelskov & Kouider, 2009), l encombrement a également été utilisé à des fins similaires (Farzin et al., 2010), et il semble que la souplesse d utilisation du GCC soit pertinente dans le cadre d une approche contrastive développementale de la conscience. Les mesures oculométriques sont déjà couramment utilisées chez le très jeune enfant (voir Gredebäck et al., 2010, pour une revue de la littérature), mais il sera en revanche nécessaire d adapter le GCC en terme de dessin expérimental, et notamment d utiliser des mesures de réponses comportementales indirectes. Même si les mesures comportementales et neurales que nous avons utilisées ont permis de répondre aux questions que nous soulevions, nous n avons pas tiré parti des mesures oculométriques fournies par le GCC. En effet, les analyses d aires pupillaires et de mouvements oculaires que nous avons effectuées n ont pas donné de résultats satisfaisants. Le dessin expérimental, tel que nous l avons conçu, impose la fixation oculaire en un point et n est sans doute pas tout à fait adapté à cette stratégie. Il conviendra donc par la suite d adapter le protocole, notamment pour tirer parti des enseignements fournis par la dilatation pupillaire lors d un traitement non conscient (voir par exemple Bijleveld 200

201 CHAPITRE 2. ÉTUDIER LA CONSCIENCE VIA L ENCOMBREMENT et al., 2009), ou par l orientation des microsaccades lors de l attention endogène couverte (Engbert & Kliegl, 2003). Enfin, si nos travaux, tout comme l immense majorité des recherches sur la conscience perceptuelle concernent la vision, on peut s interroger sur l existence de l encombrement dans d autres modalités sensorielles. Par exemple, des informations tactiles non discriminables car trop rapprochées dans des régions somesthésiques de faibles résolutions sont-elles néanmoins traitées au delà de ce qui est ressenti subjectivement? La réponse à cette question permettrait d estimer le caractère général des goulots d étranglement perceptuels, et donc leur pertinence écologique. Apport aux sciences de la vision. Comme nous l avons discuté, nos résultats argumentent en faveur d une origine tardive et multiple de l encombrement le long des voies visuelles. Alors que la limite connue concernant le traitement d information encombrée était située à un niveau précoce (celui de l orientation angulaire), nous l avons repoussée jusqu à des niveaux hiérarchiques plus élevés, allant jusqu à l information configurale de visages. Nous avons donc supposé que c était l accès conscient au produit d intégration des différents traits d un stimulus, plutôt que le processus d intégration lui-même qui faisait défaut pendant l encombrement. En montrant un encodage de l information encombrée au sein des voies visuelles extrastriées, les études en IRMf que nous avons conçues ajoutent également une valeur à la littérature sur l encombrement, basée principalement sur des mesures comportementales. Par ailleurs, nous avons apporté une contribution comportementale et neurale au débat concernant le rôle de l attention dans la perception encombrée, et avancé que si son influence sur la taille des fenêtres d intégration demeurait incertain, elle amplifiait le signal issu du stimulus encombré et augmentait ainsi son influence. Cependant, nous devons admettre qu aucun de nos résultats pris isolément n est réellement décisif pour définir une origine précise de l encombrement. Il faudra sans doute par la suite coupler notre approche reposant sur les mesures de traitement non conscient avec l approche plus classique reposant sur la manipulation des interactions cible-voisins pour spécifier plus avant les mécanismes causaux de l encombrement. 201

202 CHAPITRE 2. ÉTUDIER LA CONSCIENCE VIA L ENCOMBREMENT Apport aux sciences de la conscience. De manière pragmatique, un intérêt direct de notre travail est qu il propose une alternative au masquage et à la rivalité binoculaire pour étudier les propriétés de l inconscient cognitif. Ces deux dernières techniques, et en particulier le masquage, ont été décisives pour sonder sa profondeur, c est à dire la complexité des opérations qu il est capable de réaliser. Dans ce cadre, la preuve d un biais de préférence issu d influences configurales non conscientes étend le paysage de ce qui était connu jusqu alors. De plus, afin de poursuivre l exploration de ce paysage, les comparaisons méthodologiques que nous avons réalisées confirment l importance du développement de nouveaux paradigmes, chacun possédant intrinsèquement des avantages et des inconvénients. La description de l inconscient cognitif ne trouve son intérêt majeur qu au sein d une approche contrastive, visant à mieux décrire les corrélats neuraux de la conscience. Nous avons montré dans notre dernière étude que la discriminabilité d un stimulus encombré pouvait varier, et ce à stimulation constante, ou via des modifications minimales (par exemple, en changeant la similarité cible-voisin). Cette propriété de l encombrement, découverte tardivement, devra être mise à profit dans le futur comme une implémentation efficace de l approche contrastive. De plus, dans le cadre de l hypothèse de conscience partielle, l encombrement permettra de manipuler l accès à certaines dimensions sans perturber l accès à d autres. Cela permettra ainsi de caractériser les régimes neuraux associés à la gradation de l expérience subjective, et de confronter leurs propriétés aux prédictions faites par les théories de la conscience. Enfin, un dernier apport de nos travaux pour les sciences de la conscience concerne une dimension de l inconscient cognitif jusqu alors inexplorée, celle de la temporalité. Nous avons en effet accumulé des évidences comportementales sur l impact de la durée de stimulation non consciente, et des évidences neurales sur l impact d une structure temporelle sur le traitement non conscient d expressions faciales. Ces résultats ouvrent la porte à une étude contrastive de l intégration temporelle. C est ce à quoi nous nous attellerons dans nos projets futurs. 202

203 Cinquième partie Annexe

204 1 Bases neurales de l amplification attentionnelle non consciente 1.1 Présentation de l étude Nous présentons ici les résultats préliminaires d une étude en IRMf visant à décrire les bases neurales de l amplification attentionnelle endogène pendant l encombrement. Nous avons développé un paradigme d amorçage, dans lequel cibles et amorces sont chimériques, c est à dire composées de deux dimensions. Chaque stimulus est composé d une image (visage ou maison), superposée à une orientation angulaire (lignes orientées vers la droite ou vers la gauche). Durant l expérience, l amplification attentionnelle est manipulée d une part via les instructions, en demandant aux participants de se concentrer sur une des dimensions des stimuli en ignorant l autre. D autre part, elle est contrôlée via la tâche, qui à chaque essai porte uniquement sur la dimension attendue des stimuli. A l inverse de l étude présentée en chapitre 1 page 57, l amplification attentionnelle n est donc pas manipulée par l imposition d une charge cognitive, et fait plutôt appel à l exercice volontaire des participants. Dessin expérimental. Au total, 24 participants (11 hommes et 13 femmes âgés de 18 à 35 ans) ont participé à l étude. L expérience principale se découpe en six séries d environ 9 minutes. Au début de chaque série, les participants reçoivent comme instruction de se concentrer soit sur la dimension picturale de l information (c est à dire déterminer si l image contient un visage ou une maison, en ignorant les lignes), soit sur la dimension angulaire (c est à dire déterminer si les lignes sont orientées vers la droite ou vers la gauche, en ignorant les images). Les séries sont alternativement picturales ou angulaires, le type de la série initiale étant contrebalancé selon le facteur participant. Les participants fixent une croix en haut de l écran et sont exposés à l amorce périphérique (13 ) pendant 3000 ± 500ms. L encombrement est réalisé par des voisins constitués 204

205 CHAPITRE 1. BASES NEURALES DE L AMPLIFICATION ATTENTIONNELLE NON CONSCIENTE des mêmes patterns que dans nos expériences précédentes, cette fois-ci superposés à des lignes verticales (espacement entre le centre de l amorce et le centre d un voisin : 2.3 ). Comme dans les expériences précédentes en GCC, les essais de mesure directe de visibilité et les essais de mesure indirecte d adaptation sensorielle sont mélangés de manière aléatoire. Lors des essais de mesure directe de visibilité, une question concernant la nature de l amorce apparaît (respectivement maison? ou visage? dans les séries picturales, droite? ou gauche? dans les séries angulaires), et les participants doivent y répondre le plus fidèlement possible dans un délai de 4200ms. Lors des essais de mesure indirecte de traitement de l amorce, une cible apparaît à la place de la croix de fixation pendant 150ms, les participants doivent alors indiquer le plus rapidement possible sa nature picturale (visage ou maison) ou angulaire (droite ou gauche) en fonction de la série dans laquelle ils se trouvent (voir figure 1.1). Chaque série comprend 16 essais de mesure directe de visibilité, 64 essais de mesure indirecte d adaptation sensorielle, et 16 essais de mesure de ligne de base (seuls les voisins y sont présentés, sans amorce ni cible, ni tâche cognitive à réaliser), soit 576 essais au total. Figure 1.1: Paradigme expérimental utilisé en IRMf. Les participants fixant une croix en haut de l écran sont exposés à l amorce périphérique entourée de ses voisins pendant 3000 ± 500ms. Puis, lors des essais d amorçage, une cible apparaît pendant 150ms, les participants doivent alors indiquer le plus rapidement possible sa nature picturale (visage ou maison) ou angulaire (droite ou gauche) en fonction de la série dans laquelle ils se trouvent. Lors des essais de visibilité, une question concernant la dimension attendue de l amorce apparaît, les participants doivent y répondre le plus fidèlement possible dans un délai de 4200ms. 205

206 CHAPITRE 1. BASES NEURALES DE L AMPLIFICATION ATTENTIONNELLE NON CONSCIENTE Stratégie d analyse. En nous assurant par la mesure directe de discriminabilité que chaque dimension est inaccessible à la conscience à la fois pour l information picturale (d = 0.15, p > 0.1) et l information angulaire (d = 0.10, p > 0.3), nous avons mesuré par adaptation sensorielle l effet de l amplification attentionnelle sur le traitement d objets encombrés, et ce à différents niveaux hiérarchiques. La physiologie cérébrale implique que l activité d une région lors de la présentation d un stimulus est modulée par la présentation au préalable d un stimulus identique, ou similaire selon une dimension donnée (Grill-Spector et al., 2006). La modulation peut-être négative, le signal BOLD reflétant l activité cérébrale est alors plus faible pour des stimuli répétés, ce qui donne lieu au phénomène de suppression à la répétition. Elle peut également être positive, l activité cérébrale est alors plus élevée pour des stimuli répétés, ce qui donne lieu au phénomène d augmentation à la répétition. Nous nous somme servi de cette réponse adaptative comme indice indirect du traitement non conscient de l amorce encombrée. Dans un premier temps, nous avons estimé l activité cérébrale via un modèle linéaire général centré sur la période de présentation de la cible. Nous avons ensuite mesuré l amplitude de la réponse adaptative en contrastant l activité cérébrale lors des essais où amorces et cibles étaient répétées (par exemple un visage en amorce, suivi d un même visage en cible), et lors des essais ou elles étaient non répétées, c est à dire de catégories différentes (par exemple un visage en amorce, suivi par une maison en cible, comme dans la figure 1.1). Nous avons de plus estimé l effet de l amplification attentionnelle en mesurant la réponse adaptative dans la condition où la dimension du stimulus était attendue (c est à dire dans les séries picturales pour les images et angulaires pour les lignes) et en condition où elle était inattendue (c est à dire dans les séries angulaires pour les images et picturales pour les lignes). Le traitement des stimuli utilisés étant précisément localisable au sein des voies visuelles, nous avons suivi une approche d analyse en cerveau entier, couplée à une analyse en régions d intérêts. Pour cette dernière, au cours d une deuxième session expérimentale, nous avons délimité chez chaque participant les aires visuelles striées et extrastriées par cartographie rétinotopique (voir Wandell & Winawer, 2011, pour une revue récente de la littérature), et plus en aval l aire fusiforme des visages (FFA), et l aire parahippocampique des lieux (PPA), via une procédure similaire à celle employée dans l étude du chapitre 4. Au moment de la rédaction de ce manuscrit, la cartographie rétinotopique est en cours d analyse. Nous avons en revanche localisé dès à présent la position anatomique de la FFA (en moyenne, x, y, z = [-42, -48, -24] et [44, -54, -24], p < non corrigé) et de la PPA (en moyenne x, y, z = [-22, -42, -18] et [22, -34, -22], p < non corrigé) (voir 206

207 CHAPITRE 1. BASES NEURALES DE L AMPLIFICATION ATTENTIONNELLE NON CONSCIENTE figure 1.2). Un participant chez qui la FFA et la PPA n ont pu être localisées a été exclu de l analyse. En vue de nos résultats présentés en chapitre 1 page 57, l hypothèse est qu à différents niveaux hiérarchiques, dans les voies visuelles précoces pour le traitement de l orientation et dans la FFA et la PPA pour le traitement des images, l amplification attentionnelle devrait moduler la réponse adaptative, et ce malgré l encombrement. Figure 1.2: Localisation fonctionnelle de la FFA et de la PPA. En contrastant l activité cérébrale induite par la présentation de visages versus de maisons, nous avons défini chez chaque participant la position anatomique de la FFA et de la PPA (p < non corrigé). 1.2 Résultats préliminaires La cartographie rétinotopique étant en cours d analyse, nous ne traiterons ici que des résultats concernant le traitement de la dimension picturale des amorces, sans aborder la dimension angulaire. Analyse de l effet attentionnel en cerveau entier. Nous présentons ici l activité cérébrale liée à la perception d une cible sous forme de visage ou sous forme de maison, en condition attendue (c est à dire extraite des séries picturales) et en condition inattendue (c est à dire extraite des séries angulaires) (voir la figure 1.3 ainsi que la table 1.1). Le contraste [Visages - Maisons] dans la condition attendue montre tout d abord des activités motrices, liées aux réponses données lors de la présentation de la cible (effet positif 207

208 CHAPITRE 1. BASES NEURALES DE L AMPLIFICATION ATTENTIONNELLE NON CONSCIENTE à gauche, pour un appui bouton de la main droite lors de la présentation d un visage, effet négatif à droite, pour un appui bouton de la main gauche lors de la présentation d une maison). Nous pouvons également noter un effet positif au sein du cortex fusiforme droit et gauche, ainsi qu un effet négatif au niveau du cortex parahippocampique droit et gauche. Le même contraste [Visages - Maisons] dans la condition inattendue ne montre pas d activité motrice, puisque les réponses sont données en fonction de la nature angulaire de la cible. Les stimuli étant contrebalancés, il y a donc autant de réponses droites et gauches pour les visages et pour les maisons. L effet au sein du cortex parahippocampique droit et gauche est également retrouvé, mais non pour le cortex fusiforme au seuil de p < Du fait de la variabilité anatomique interindividuelle, il est possible que l analyse de second niveau en cerveau entier ne soit pas suffisamment précise pour observer l activation de la FFA en condition inattendue. Nous avons donc analysé spécifiquement l activité maximale au niveau des coordonnées de la PPA et de la FFA, fournies par la localisation fonctionnelle chez chaque participant. En prenant en compte la variabilité individuelle, cette analyse montre un effet au sein de la PPA pour la condition attendue (t(22) = -4.02, p < 0.001) et non attendue (t(22) = -3.69, p < 0.005), ainsi qu au sein de la FFA pour la condition attendue (t(22) = 3.94, p < 0.001) et non attendue (t(22) = 2.96, p < 0.01). Sans être d un intérêt crucial pour la question que nous posons, ce premier niveau d analyse montre des effets cohérents, et confirme donc la validité du modèle utilisé. 208

209 CHAPITRE 1. BASES NEURALES DE L AMPLIFICATION ATTENTIONNELLE NON CONSCIENTE Figure 1.3: Effet attentionnel en cerveau entier. Contraste de l activité cérébrale induite par la présentation de cibles sous forme de visages versus de maisons, en condition attendue (séries picturales) et non attendue (séries angulaires) (p < non corrigé). Table 1.1: Effet attentionnel en cerveau entier. Anatomie Cluster Z-score p x y z Condition attendue cortex moteur gauche cortex moteur droit cortex fusiforme gauche cortex fusiforme droit cortex parahippocampique gauche cortex parahippocampique droit cortex insulaire droit gyrus occipital moyen gauche gyrus occipital moyen droit Condition inattendue cortex parahippocampique gauche cortex parahippocampique droit gyrus occipital moyen gauche gyrus occipital moyen droit