De quelques relations entre la cognition, l'action et la perception dans la résolution de problèmes nécessitant la manipulation dans l'espace J.-M. Burkhardt & contributions de J. Nelson, S. Abbasi, M. Tarasewicz Laboratoire ECI Ergonomie-Comportement-Interactions Université Paris Descartes Mél : Jean-Marie.Burkhardt@univ-paris5.fr
Plan Introduction (RV etc.) Objectif de la présentation Résolution de problèmes spatiaux en environnement «réel» en environnement virtuel Exemple Relations entre la cognition, l'action et la perception : discussion Conclusion
Réalité Virtuelle/Augmentée/Mixte? Une définition de la Réalité virtuelle parmi d autres «Domaine scientifique et technique exploitant l informatique et des interfaces comportementales en vue de simuler dans un monde virtuel le comportement d entités 3D qui sont en interaction en temps réel entre elles et avec un ou des utilisateurs ( )» Fuchs, 2006 Le traité de la Réalité Virtuelle Des domaines frontaliers (e.g. Drasic & Milgram, 1996) Réalité Augmentée, Réalité Mixte, Réalité Diminuée, Virtualité Augmentée, Réalité Améliorée, etc La Réalité Mixte, dénomination générique
Interfaces de positions et de mouvements - capteurs de localisation traqueurs - gants et combinaisons de données - Interfaces de locomotion Interfaces visuelles - Vision monoscopique sur écran - Vision stéréoscopique mono-écran - Casque d immersion - CAVE Interfaces proprioceptives ou cutanées - Retour tactile - Retour thermique - Retour d effort - Simulation de mouvement Interfaces sonores - Son 3 D - Commande vocale 20-21 nov. 2008 GDR - Psycho Ergo & Ergo
Trois idées fortes Interaction dans un espace à 3 Dimensions Flexibilité pour représenter l information selon de multiples formats et points de vue Ré-introduction corps, perception, motricité (vision, geste, toucher, kinesthésie, ouïe )
Un constat aujourd hui Conception centrée sur le rendu perceptif Stéréoscopie Réalisme graphique Retour d effort Rendu sonore Utilisabilité (souvent) problématique Quel(s) point(s) d entrée pour la dimension cognitive de l activité?
Objectifs de la présentation Réalité virtuelle et activités cognitives Un sujet individuel Résolution de problème spatiaux 3D impliquant la manipulation Exemples Questions et retour en termes Modèles Méthodes/ approches 1 Exemple concret
Résolution de problèmes spatiaux Situation où le sujet ne dispose pas immédiatement d une procédure admissible pour atteindre le(s) but(s) attaché(s) à la représentation qu il s est construit du problème (Hoc, 1988) Exploration, navigation Puzzle/problèmes consistant en des objets ou des pièces qui doivent être ajustés pour obtenir une configuration spécifiée (Butler, 1994).
Résolution de problèmes spatiaux (2) Types et catégories variées Tour de Hanoï Polyminos Labyrinthes. Essentiellement étudiés comme des espaces problèmes abstraits Construction de la R. du problème vs. Recherche de solution, (e.g. Tarazewicz, 2008)
Résolution de problèmes spatiaux (3) Peu d études sur des puzzles réels Butler(1994) Abbasi, Burkhardt & Denis (2008), Tarazewicz (2008) Beaucoup d études en RV, mais Tâches abstraites, élémentaires (voire simplistes), comparaison de performances entre techniques d interactions, cf. Bowman, Gabbard & Hix 2002 Tâches «prétextes» pour étudier la coopération Montage collaboratif d un Belvédère (Roberts et al. 2001) Assemblage des pièces d un cube (Wideström et al. 2000) Assemblage de colonnes par des enfants (Roussou et al. 2008)
Résolution de problèmes spatiaux (4) Propositions de métaphores génériques en RV (cf. Bowman et al. 2004) Métaphores pour la manipulation exo-centrée ego-centrée - World-in-miniature - Scale-world grab "main virtuelle" "pointeur virtuel" - main virtuelle - Go-Go technique - Stretch Go-Go pas toujours adaptées aux exigences de la tâche (Dominjon & al. 2005, 2006) Lancer de rayon Aperture Flashlight Image plane
Résolution de problèmes spatiaux (5) Des recommandations générales, par exemple en ce qui concerne l interaction 3D (voir Hinckley et al 1994) Référence spatiale Two-handed manipulation Contraintes physiques, affordances Groupement information/paramêtres commande. Des aspects cognitifs souvent non anticipés en RV E.g. Effet du type d avatar (Kadri et al, 2007a&b) Sur la stratégie d approche des pièces Sur la façon de prendre l interface physique,
24 sujets, 3 groupes, 55 essais Khi 2 = 1056.9, DoF= 10, p <.0001
Résolution de problèmes spatiaux (6) Des applications réelles à traiter en/pour les EV Assemblage/démontage (industrie) Amarrage de molécule (docking) Apprentissage conceptuel Or ce type de tâche est en particulier difficile dans les Environnements vituels, la manipulation est souvent non intuitive, y compris pour des experts
Exemple : Projet CORSAIRE Projet multidisciplinaire! 5 partenaires LIMSI (CNRS) : Développement de l architecture RV, utilisateurs finaux de l application «mécanique des fluides» IRCAM : Développement des environnements audio 3D Haption SA : Développement des périphériques haptiques (bras robotisé à retour d effort) EBGM (Paris 7) : Utilisateurs finaux de l application «docking». ECI EA 4070 (Paris 5) : Ergonomie Objectif : concevoir un environnement virtuel pour assister l activité des chercheurs Application : docking moléculaire Financement ANR AMD
L amarrage de molécules $ Affinement (flexibilité) # Recherche conformationnelle (corps rigide) Rotation Translation % Classement («!scoring!» ou! E) " Représentation explicite (détails des atomes) Représentation implicite (approximation: surfacique, sphérique, grille, pseudoatome)
Conception d un EV multimodale Méthode (voir Nelson 2006) 4 entretiens semi-dirigés avec des chercheurs 4 séances d observation de l activité sur les outils existants + recueil des protocoles verbaux + recueil d observables Analyse de traces écrites (articles, manuels de formation) + recueil des caractéristiques des graphiques Processus/activité Besoins informationnels Physico-chimie des protéines : Énergie électrostatique Énergie de van der Waals Hydrophobie/Solvatation Liaison hydrogène Pont salins Topologie des protéines :Complémentarité géométrique Sites de liaison ou «hot-spot» Approche retenue Assister le processus de docking mis en évidence Interaction Temps Réel Projection de l information sur les modalités (son, haptic, vision)
Modèles hiérarchiques des tâches (Annet, 2003)
Vidéo CORSAIRE
Question rendre compte de ces situations où il y a mise en oeuvre d activité fortement cognitives telle la résolution de problèmes dans un contexte où la perception et la motricité sont complémentairement engagées
Relations entre la cognition, l'action et la perception : discussion (1) Quels modèles dans une perspective cognitive? Sensori-motricité quasi-inexistante, i.e. la dimension «interface avec le monde physique» n est pas impliquée dans ces modèles, e.g. SOAR, ACT*, MHP Éventail limité de fonctions perceptives ou motrices (appuyer sur une touche, reconnaître un son ou une forme e.g. EPIC Concurrence ou manque en termes de ressources disponibles Concurrence en termes de charge attentionnelle
e.g. Kieras, D. E., & Meyer, D. E. (1997).
Relations entre la cognition, l'action et la perception : discussion (2) Quels modèles dans une perspective «comportement», écologique Cognition (i.e. raisonnement) peu représentée Finalité, motivation ou ressource pour la décision, e.g. Paillard 1986 Travaux sur l influence de tâches cognitives «complexes» sur le contrôle de la posture, etc Affordance Une exception: navigation et cognition spatiale Traitement de l information spatiale et élaboration d une représentation Imagerie, rotation mentale,
Relations entre la cognition, l'action et la perception : discussion (3) Des données riches, hétérogènes Raisonnement, stratégie Etats/ transformations Verbalisation/interprétation Perception, geste, mouvement préhension, manipulation, orientation, exploration Approche différentielle Mais Difficultés/ influence des verbalisations simultanées Autres traces de l activité cognitive Combinaisons des approches d analyse? des théories/ épistémologies sous-jacentes
Relations entre la cognition, l'action et la perception : discussion (4) Eléments «anecdotiques» effets de contraintes physiques sur des tâches intellectuelles, e.g. module la performance voire influence la stratégie (gêne, contraintes) Résolution de puzzle, e.g. Tarazewicz 2008 Story Telling, e.g. Lefebvre 2008 tendance irrépressible à explorer les dispositifs et les objets dans l environnement (Houdé et al. 2001); attracteurs cognitifs (Lahlou, 2000)
Conclusion (1) Méthodes proches, e.g. paradigmes expérimentaux Indicateurs recueillis, types d analyses en partie communes Nature des données (verbal., mouvement, vitesse, ) Granularité, échantillonnage, Transformations liées à l analyse Structure sous-jacente Articulation entre approches/épistémologies
Conclusion (2) Deux domaines principaux pour la résolution de pb 3D en EV Apprentissage Assistance à des activités complexes «virtualisation» «matérialisation» Tâches écologiques, «saturées» cognitivement Perspective développementale, adaptation
Références Abbasi, S., Burkhardt, J.-M., & Denis, M. (in prep). Problem Solving and manipulating in 3D : An Exploratory Study with Box-Packing-Puzzles. (Technical report). Paris: Université Paris Descartes. Annett, J. (2003). Hierarchical Task Analysis. In D. Diaper & N. Stanton (Eds.), Handbook of Task Analysis for Human Computer Interaction (pp. 67-83). Mahwah, New Jersey: Laurence Erlbaum Associates. Bowman, D. A., Gabbard, J. L., & Hix, D. (2002). A survey of usability evaluation in virtual environments: classification and comparison of methods. Presence: Teleoperators and Virtual Environments, 11(4), 404-424. Bowman, D., Kruijff, E., LaViola, J., & Poupyrev, I. (2004). 3D User interfaces: Theory and practice: Addison-Wesley. Butler, B. E. (1994). Spatial Puzzles: a guide for researchers. Canadian Psychology, 35(1), 47-65. Dominjon, L., Lecuyer, A., Burkhardt, J.-M., Andrade-Barroso, G., & Richir, S. (2005). The Bubble Technique: Interacting with Large Virtual Environments Using Haptic Devices with Limited Workspace. Paper presented at the World Haptic Conference 05 Pisa Italy. Dominjon, L., Lécuyer, A., Burkhardt, J.-M., & Richir, S. (2006). A Comparison of Three Techniques to Interact in Large Virtual Environments Using Haptic Devices with Limited Workspace. Paper presented at the Advances in Computer Graphics, 24th Computer Graphics International Conference, CGI 2006, Hangzhou, China, June 26-28, 2006. Drasic, D., & Milgram, P. (1996). Perceptual issues in augmented reality. In S. S. Fisher, M. T. Bolas & J. O.Merritt (Eds.), Stereoscopic Displays and Virtual Reality Systems III (pp. 123 134). San Jose, CA: SPIE. Fuchs, P., & Moreaux, G. (Eds.). (2006). Le traité de la Réalité Virtuelle. Paris: Presses de l'ecole des Mines de Paris. Hinckley, K., Paush, R., Goble, J. C., & Kassel, N. F. (1994). A survey of design issues in spatial input. Paper presented at the UIST'94, Marina del Rey, California November 2-4 1994. Hoc, J.-M. (1988). Aides logicielle à la résolution de probleme dans les situations de travail. In J. P. Caverni (Ed.), Psychologie cognitive, modèles et méthodes (pp. 141-156). Grenoble: P.U.G. Houdé, O., Angeard, N., Pillon, B., & Dubois, B. (2001). A new window on child prefrontal functions: Inhibition of a non-strategic alternation-pointing scheme. Current Psychology Letters: Behaviour, Brain & Cognition, 5, 49-64.
Références (2) Kadri, A., Lécuyer, A., Burkhardt, J.-M., & Richir, S. (2007). The Influence of Visual Appearance of User s Avatar on the Manipulation of Objects in Virtual Environments. Paper presented at the IEEE Virtual Reality 2007, March 10-14 Charlotte, North Carolina USA. Kadri, A., Lécuyer, A., Burkhardt, J.-M., & Richir, S. (2007). Visual Appearance of User s Avatar Can Influence the 3D Manipulation of Both Real Devices and Virtual Objects. Paper presented at the 3D User Interfaces Symposium jointly to IEEE Virtual Reality 2007, March 10-14 Charlotte, North Carolina USA. Kieras, D. E., & Meyer, D. E. (1997). An overview of the EPIC architecture for cognition and performance with application to human-computer interaction. Human-Computer interaction, 12(4), 391-438. Kieras, D. E., Meyer, D. E., Ballas, J. A., & Lauber, E. J. (2000). Modern perspective on executive mental processes and cognitive control: where to from here. In J. Driver (Ed.), Control of cognitive processes. Attention and Performance XVIII (pp. 681-712). Cambridge, MA: MIT Press. Lahlou, S. (2000). Attracteurs cognitifs et travail de bureau. Intellectica, 30(1), 75-113. Nelson, J. (2006). Analyse de l'activité de docking moléculaire et proposition d'éléments de spécification pour les interfaces CORSAIRE (Internal Technical Report). Paris: Université Paris Descartes. Paillard, J. (1986). Itinéraire pour une psychophysiologie de l'action. Marseille: Ed. Actio. Roberts, D., Wolff, R., Otto, O., & Steed, A. (2001). Constructing a Gazebo: Supporting team Work in a tightly coupled, distributed Task in Virtual Reality. PRESENCE: Teleoperators and Virtual Environments, 12(6), 644-657. Roussou, M., Oliver, M., & Slater, M. (2008). Exploring activity theory as a tool for evaluating interactivity and learning in virtual environments for children. Cogn Tech Work, 10, 141-153. Tarasewicz, M. (2008). Ergonomie cognitive des activités de résolution de problèmes en trois dimensions : étude exploratoire des stratégies de résolution du puzzle spatial " Soma Cube". Mémoire de Master 1 ere année, Université Paris Descartes, Paris. Wideström, J., Axelsson, A.-S., Shroeder, R., Nilsson, A., Heldal, I., & Abselin, A. (2000). The collaborative cube puzzle: a comparison of virtual and real environements. Paper presented at the Proceedings of the third international conference on Collaborative virtual environments, San- Fransisco, CA : U.S.