Quelques exemples de projets de recherche impliquant chercheurs en sciences cognitives et chercheurs en informatique

Transcription

1 Quelques exemples de projets de recherche impliquant chercheurs en sciences cognitives et chercheurs en informatique Laboratoire d'informatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon

2 Nathalie Guin - Projet CASES! Connaissances Abstraites et/ou Spatialement Evoquées en Situation! Contexte : Financement : ACI "Cognitique" Durée du projet : 3 ans Partenaires : LIRIS Laboratoire de psychologie cognitive de l Université de Provence 2

3 Question(s) de recherche! Pour résoudre un problème, est-il préférable d'évoquer et d'adapter une connaissance qui ellemême contient des informations liées au contexte ou est-il préférable d'avoir recours à une connaissance dégagée de ces aspects?! Modélisation de l expertise de résolution de problèmes Raisonnement à partir de classes de problèmes Raisonnement à partir de cas 3

4 Quels apports des chercheurs en informatique et en psychologie cognitive? (1)! Psycho : état de l art sur l expertise capacité du système cognitif à avoir recours simultanément à des stratégies différentes! Info et psycho : formulation d hypothèses sur l utilisation conjointe de connaissances abstraites et de connaissances contextualisées! Psycho : expérimentation pour tester ces hypothèses dans le contexte de la résolution de problèmes d échecs, fondée sur le temps de résolution 4

5 Quels apports des chercheurs en informatique et en psychologie cognitive? (2)! Info : conception et implémentation d un modèle de raisonnement utilisant conjointement classes de problèmes et cas, appliqué aux échecs! Psycho : expérimentation pour valider le modèle en comparant les temps de résolution du système et des sujets humains, toujours sur le domaine des échecs 5

6 Quels résultats?! Un nouveau modèle de raisonnement en résolution de problèmes, combinant connaissances contextualisés et connaissances abstraites! Avantages de la collaboration : Pour les chercheurs en psychologie cognitive : des questions plus précises permettant de nouvelles expérimentations Pour les chercheurs en informatique : un modèle fondé sur la connaissance du raisonnement humain, et validé par des expérimentations 6

7 Nathalie Guin - Projet AMBRE! Apprentissage de Méthodes Basé sur le Raisonnement à partir de l'expérience! Contexte : Financement : programme interdisciplinaire STIC- SHS "Société de l'information" du CNRS Durée du projet : 3 ans Partenaires : LIRIS Laboratoire de psychologie cognitive de l Université de Provence Thèse de Sandra Nogry 7

8 Question(s) de recherche! Comment faire apprendre des connaissances abstraites (classes de problèmes) à partir d un processus de résolution de problèmes utilisant des cas (problèmes prototypes)?! Objectif : conception d un EIAH permettant l enseignement de méthodes 8

9 Quels apports des chercheurs en informatique et en psychologie cognitive? (1)! Info : proposition du «cycle AMBRE» fondé sur le raisonnement par analogie pour l apprentissage d une méthode de résolution basée sur des classes de problèmes! Psycho : résultats sur l apprentissage à partir d e x e m p l e s i s s u s d e l é t a t d e l a r t e t d expérimentations complémentaires Appropriation des exemples Pour des novices, il vaut mieux faire analyser que faire résoudre Choix des exemples : plus proche contraste Choix des problèmes à résoudre : d abord un problème proche, puis un problème transfert 9

10 Quels apports des chercheurs en informatique et en psychologie cognitive? (2)! Info : conception et implémentation d un EIAH AMBRE appliqué au domaine des problèmes arithmétiques (CE1-CE2)! Psycho : évaluation du logiciel évaluation de l utilisabilité en laboratoire évaluation de son utilité (impact sur l apprentissage) une méthode comparative en situation réelle d utilisation 10

11 Quels résultats?! Un principe d apprentissage : le cycle AMBRE! Un EIAH AMBRE appliqué aux problèmes arithmétiques (CE1-CE2) très apprécié des élèves et des enseignants! Avantages de la collaboration : Pour les chercheurs en psychologie cognitive : des questions plus précises permettant de nouvelles expérimentations une méthode pour évaluer l utilité des EIAH Pour les chercheurs en informatique : Un EIAH fondé sur des études en didactique des mathématiques et favorisant le déclenchement de processus d apprentissage Un principe d apprentissage validé par l expérimentation 11

12 Audrey Serna Projet AILISA! Contexte : Projet AILISA : Ingénierie du Lien Social et Médical, de l Autonomie et de la Sécurité des Personnes Âgées Financement : Allocation doctorale Région Rhône- Alpes Thèse en sciences cognitives et informatique Laboratoire TIMC-IMAG (Grenoble) et laboratoire DOMUS, Université de Sherbrooke (Canada) Collaboration : Institut de Réadaptation de Montréal (Canada), collaboration avec des ergothérapeutes Service de gérontologie de l hôpital Broca à Paris 12

13 Question(s) de recherche! Problématique de recherche FAVORISER L AUTONOMIE DE L UTILISATEUR DANS LES ENVIRONNEMENTS INTERACTIFS Comprendre et modéliser l utilisateur: - ses comportements - ses caractéristiques cognitives - ses handicaps Modélisation de l utilisateur Interagir pertinemment : - Adapter le système au contexte - Intégrer les modèles utilisateurs - Privilégier l ergonomie Interaction avec l utilisateur 13

14 Question(s) de recherche CONTEXTE: LA PERTE D AUTONOMIE Vieillissement réussi ou aggravé par une maladie (MCI, maladie d Alzheimer)! Atteintes des fonctions cognitives principales: Mémoire, Perception, Langage! Troubles de l attention! Dégradation des fonctions exécutives: Prise de décision, Planification, Initiation, Exécution, Contrôle de l action ne confronte pas ses résultats avec les objectifs fixés EIS pas de conscience des erreurs ou absence de correction Perte d autonomie / besoin d assistance Environnements intelligents pour la santé et l autonomie (EIS): Aides technologiques destinées à améliorer la sécurité et le confort des personnes

15 l Environnements intelligents pour la santé à système d assistance à la tâche pour les personnes en perte d autonomie Besoin de modèles «profonds» modélisation cognitive = (Cooper, 2002) Développer des modèles computationnels des processus cognitifs Simuler et prédire le comportement humain 15

16 Apports des chercheurs en informatique! Approfondissement d un modèle cognitif théorique! Implémentation informatique du modèle (Cooper, 2002) 16

17 Contributions! Protocole expérimental : observation et analyse des difficultés des personnes vieillissantes dans le quotidien (problèmes de planification et de contrôle)! Cadre théorique : modélisation des processus cognitifs! Modèles computationnels : simulation des activités quotidiennes et reproduction des erreurs typiques : Modèle des processus mnésiques et attentionnels (ACT-R) Modèle des processus de contrôle exécutif Phase d apprentissage HIS Phase d aide à la tâche HIS comportement réel scénarios normaux et anormaux comportement attendu assistance adaptée 17

18 Magali Ollagnier-Beldame Questions de recherche Comment des sujets construisent-ils du sens ensemble lorsqu ils sont confrontés à leurs traces numériques? Comment concevoir des systèmes à base de traces soutenant la construction du sens? 18

19 M. Ollagnier-Beldame Questions de recherche Comment des sujets construisent-ils du sens ensemble lorsqu ils sont confrontés à leurs traces numériques? Comment concevoir des systèmes à base de traces soutenant la construction du sens? Spécifier «Com-prendre» l information Cognition distribuée [Hutchins] USAGES Cognition située [Suchman] Concevoir des systèmes ouverts et adaptatifs Collaborer S approprier le support numérique Observer 19

20 M. Ollagnier-Beldame - Projets transdiciplinaires choisis Thèse en sciences cognitives mention informatique ( ) «Traces d interactions et processus cognitifs en activité conjointe» Co-encadrement A.Mille (PR en 27 ème section CNU au LIRIS) C.Brassac (MC HDR en 16 ème section CNU au LabPsyLor) + encadrement expé.: S.Metz (MC 16 ème ), ICAR-ENS Lyon Post doctorat en ergonomie cognitive ( ) «Activité collaborative médiée et traces d'interactions» Projet PROCOGEC ( ) Knowings : éditeur logiciels collaboratifs LIRIS, G-Scop, Syscom : informatique ESC Chambéry : KM, ergonomie GdF : partenaire utilisateur Séjours (8 + 5 mois) à TECFA Univ. de Genève. Sc. Éducation / Informatique Soutenance, 3 rapporteurs : 27 ème, 16 ème et 70 ème sections du CNU 20

21 Apports des chercheurs en informatique! Théorie de la «trace informatique»! Méthodologie pour la spécification des systèmes Exigences fonctionnelles Interfaçage 21

22 Apports des chercheurs en sciences cognitives! Théories de l activité humaine! Méthodologie d analyse des usages Situations réelles de co-conception Recueil de données qualitatives! Enregistrements vidéo et audio! Transcriptions Co-rédaction asynchrone - GdF Analyse! De l activité en «3 ème personne» Ex. Clinique de l activité [Brassac]! De l expérience subjective en «1 ère personne» Ex. Cours d action [Theureau] 22

23 Résultats Doctorat Classification des «systèmes traçants» Formalisation des traces brutes Propriétés des traces Ex. : Appartenance, persistance Construction du sens Activité productive / constructive [Revue Activités, 2008], [Journal of Human Mediated Interactions, to appear] Appropriation du système [Revue du Management Technologique, 2008], [International Journal of KM, 2010] 23

24 Résultats Post-doctorat Formalisation des traces brutes Schèmes d usage Ex. : Partage, modelage [International Journal on Computer Science and Information Systems, accepted] Visualisation de traces Spécification d un nouvel outil Développement logiciel par Knowings 24

25 Olivier Georgeon Projet ABSTRACT Financement : (Réseau d excellence HumanIST) Durée du projet : 3 ans Partenaires : IFSTARR (Institut français des sciences et technologies des transports, de l'aménagement et des réseaux) LESCOT (Laboratoire d Ergonomie et de Sciences Cognitives pour les Transports). Université Lumière Lyon 2. Laboratoire LEACM. 25

26 Question de recherche! Modélisation du conducteur automobile à partir de traces d activité Angle volant, Position pédales, Vitesse, Clignotant, regards (Oculomètre), distance de suivi (Télémètre), Cartographie (GPS), Bouton actionnable, Vidéos 26

27 Quels apports des chercheurs en informatique?! Notion de traces d activité Mille (2006). From case-based reasoning to traces-based reasoning. Annual Reviews in Control, 30(2), ! Outils d ingénierie des connaissances Outils de visualisation interactive. Outil de gestion des connaissances (ontologies). Outils de calcul et d inférence symbolique.! Notions épistémologiques Jean Charlet (2005). L ingénierie des connaissances, entre science de l information et science de gestion. 27

28 Quels apports des chercheurs en Sc Co?! Notions épistémologiques Le Moigne, (1995). Les épistémologies constructivistes : Presse Universitaire de France.! Méthologie expérimentale! Expertise d analyse 28

29 Méthodologie Données brutes Trace collectée Trace modélisée Modèles d'activité Analyse Activité 29

30 Quels résultats? Méthodolgie Georgeon, Mille, Bellet, Mathern, & Ritter, (2011). Supporting activity modelling from activity traces. Expert Systems. Prototype logiciel Résultats d analyse Henning, Georgeon, & Krems, (2007). The quality of behavioral and environmental indicators used to infer the intention to change lanes. International Driving Symposium on Human Factors in Driver Assessment, Stevenson, Washington. Georgeon, Morgan, Horgan, & Braddock, (2010). Process Modeling for the Study of Non-State Political Violence. Annual Conference on Behavior Representation in Modeling Simulation. Charleston, NC. Résultats qui auraient pu être obtenus sans cette collaboration? Aucun. 30

31 Olivier Georgeon Projet IDEAL Financement : (Programme retour Post-Doc) Durée du projet : 3 ans Partenaires : Pennstate. Department of information sciences and technology. Sahra Lawrence College. New York (USA) Department of computer sciences and robotics. Ouvert à propositions de collaborations 31

32 Question de recherche! Implémenter un mécanisme artificiel d apprentissage DEveloppementAL (IDEAL). Etayer les hypothèses émergentiste Gibson (1979). The ecological approach to visual perception. Varela, Thompson, & Rosch, (1991). The Embodied Mind: Cognitive Science and Human Experience. et constructiviste de la cognition. Piaget (1937). La construction du réel chez l'enfant. Norman, J. (2002). Two visual systems and two theories of perception: An attempt to reconcile the constructivist and ecological approaches. 32

33 Quels apports des chercheurs en informatique?! Notion de traces d activité Mille (2006). From case-based reasoning to traces-based reasoning. Annual Reviews in Control, 30(2), ! Implémentations de référence Drescher, (1991). Made-up minds, a constructivist approach to artificial intelligence. Cambridge: MIT Press. Oudeyer, & Kaplan (2007). Intrinsic motivation systems for autonomous mental development. IEEE Transactions on Evolutionary Computation, 11(2), ! En contraste par rapport à : Newell, (1990). Unified Theories of Cognition. Cambridge, MA: Harvard University Press. Brooks, (1991). Intelligence without representation. Artificial Intelligence Journal, 47,

34 Quels apports des chercheurs en Sc Co?! Neuro-anatomie fonctionnelle. Cotterill, R. (2001). Cooperation of basal ganglia, cerebellum, sensory cerebrum and hippocampus: Possible implications for cognition, consciousness, intelligence and creativity. Progress in Neurobiology, 64, Past activity Activity at hand SEQUENTIAL SYSTEM CHEMICAL RECEPTORS Reflex TOUCH RECEPTORS HIERARCHICAL SEQUENTIAL SENSORIMOTOR MEMORY Record PREMOTOR FOLLOWUP Update Activate SENSORIMOTOR SEQUENTIAL INTEGRATION Activate VISUAL RECEPTORS Dynamic features x o + Static features STATIC FEATURE MEMORY Record / Refresh Inhibit Propose MOTIVATIONAL ASSOCIATIVE SYSTEM Associate STATIC SYSTEM INTERACTON TIMELINE MANIPULATION EFFECTORS MOTION EFFECTORS SENSORIMOTOR SYSTEM EYE SACCADE EFFECTORS Update MOTIVATIONAL STATE 34

35 Implémentation! Algorithme d apprentissage séquentiel intrinsèquement motivé : Intrinsically motivated Schema Mechanism ( 35

36 Alain Mille : présentation de la thèse de Luc Damas! Etude théorique et pratique de la production d'effets d'amorçage de la mémoire Application à l'assistance à la remémoration chez l'utilisateur d'un système informatique pour une tâche d'apprentissage! Thèse de doctorat, spécialité informatique, Université Claude Bernard, Lyon 1, 15/12/2003! Direction : Alain Mille, Rémy Versace 36

37 Problématique! Cadre : assistance à l'utilisateur! Constat : la mémoire est omniprésente.! La remémoration permet la poursuite de la tâche.! Idée : Assister une tâche en assistant la remémoration 1er effet bénéfique : utile à court terme 2ème effet bénéfique : renforcement à long terme! Problématique : Est-il possible d assister la remémoration d un utilisateur?

38 Idée Système informatique Outil informatique utilisé simulateur de mémoire interactions 1 4 observe 2 amorce Alter-ego de l'tilisateur Utilisateur transmet Assistant 3 remémoration

39 Validation et évaluation! Validation du simulateur de mémoire Expérimentations Simulations! PUIS! Évaluation de l'assistance basée sur ce principe Mise en oeuvre de l alter-ego Expérimentation! Approche incrémentale

40 Modélisation de la mémoire! Modèle épisodique à traces multiples Conteneur d'expériences Succession de traces Processus Ecphorie synergique [Tulving, 1973]! Modèle choisi : Minerva 2 [Hintzman, 1986]

41 Minerva 2 activations sonde mémoire trace temps écho intensité

42 Exemple : catégorisation Codage de l item Codage de la catégorie C7R1 Sonde Proto 1 C3X1 Proto 2 F9G4 C2X1 F9B4 F1G4 C3X2 C5X8 A9B4 V3E1

43 Wave propagation in glial cell networks : the other network of the brain J. Lallouette, H. Berry EPI Combining/Beagle INRIA Rhône-Alpes LIRIS UMR 5205 CNRS INSA UCBL Villeurbanne France Y. Hanein, E. Ben Jacob Sch. Physics & Astronomy / Sch. Electrical Engineering Tel Aviv University, Tel Aviv - Israel

44 Glial cells : the other cells in the brain! Neurons are only 50% of the cells in our brain! Other half = coined glial cells (to glue) late 19 th early 20 th century! Until 1990 s glial cells are only support for neurons (nutrients, oxygen, immunology) glia neuron! Recently, all this started to change Glial cells form interconnected networks with chemical waves as intercellular communications Glial cells interact with neurons at tripartite synapses where Glia regulates neuronal information transfer Neuronal information transfer triggers glia-glia communication

45 Glial cells : the other cells in the brain! Neurons are only 50% of the cells in our brain! Other half = coined glial cells (to glue) late 19 th early 20 th century! Until 1990 s glial cells are only support for neurons (nutrients, oxygen, immunology)! Recently, all this started to change Glial cells form interconnected networks with chemical waves as intercellular communications Glial cells interact with neurons at tripartite synapses where Glia regulates neuronal information transfer Neuronal information transfer triggers glia-glia communication glia neuron presyn. neuron glia postsyn. neuron

46 Glial cells : the other cells in the brain! Neurons are only 50% of the cells in our brain! Other half = coined glial cells (to glue) late 19 th early 20 th century! Until 1990 s glial cells are only support for neurons (nutrients, oxygen, immunology)! Recently, all this started to change Glial cells form interconnected networks with chemical waves as intercellular communications Glial cells interact with neurons at tripartite synapses where Glia regulates neuronal information transfer Neuronal information transfer triggers glia-glia communication glia neuron 10 m/sec 10 µm/sec 10 m/sec

47 Our research! The issue : experiments only yield hypotheses on these phenomena where each element is disconnected from the other! Our goal : combine computer simulations (Berry / Ben Jacob) with experimental investigations (Hanein) in order to test experimental-based hypothesis (predict new ones) glue all these separate elements into a coherent picture! Already achieved neuron è glia communications [De Pittá et al. J Biol Phys, 2009] glia è neuron regulation [De Pittá et al. submitted] glia è 2010]! Current work : glia communication in 1d [Goldberg et al. PLoS Comp Biol, glia è glia communication in 3d : Effect of the topology of the connectivity network - P(k), x - on the glia-glia communication (Jules Lallouette, Master 2 CODE) presyn. neuron glia postsyn. neuron

48 Funding! Collaboration is 5 years old! No funding up to now! Under review : application to a Research Networks Program in Computational Neurosciences and Computational Cognitive Sciences (High Council for Scientific and Technological Cooperation between France-Israel) : only travels / equipment (no salary)! Jules Lallouette application for PhD at ED InfoMath this year.