CONTINT 2011 Coordinateur : CEA LIST MANDARIN. MANipulation Dextre haptique pour opérations INdustrielles enrv

Transcription

1 CONTINT 2011 Coordinateur : CEA LIST MANDARIN MANipulation Dextre haptique pour opérations INdustrielles enrv

2 Contexte et enjeux La maquette numérique remplace de plus en plus les prototypes physiques CEA Renault CEA Les Numériques Conception Pré-production Marketing Simulation d assemblage et tests d usage en amont : détection et correction d erreurs Etudes des ateliers : limitation des TMS et gains de productivité Enjeu économique majeur pour la compétitivité des entreprises Support de communication Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 2

3 Périphériques existants Contexte et enjeux Pour exploiter pleinement son potentiel, il faut disposer de méthodes et de périphériques d interaction adaptés permettant des interactions dextres naturelles et intuitives en EV Kinect CEA / Stroppa Leap Motion 3D Systems Cyberglove Systems Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 3

4 Objectif du projet Concevoir des solutions matérielles et logicielles innovantes pour la manipulation dextre en Réalité Virtuelle, à une ou deux mains et avec retour d effort. IHM Haptique RV et simulation Biomécanique Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 4

5 Résultats Nouveau gant à retour d effort Efforts composites - retour d effort sur la fermeture de la main - retour haptique local au bout des doigts pour simuler la déformation de la pulpe Cinématique compacte Actionneurs et capteurs innovants Périphériques dextres, légers et performants Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 5

6 Résultats Modèles biomécaniques biofidèles user-spécifiques de la main - IRM HD : modèle interne (osseux) - Mocap haute fidélité : modèle externe cinématique et musculo-squelettique Analyse de l usage du gant haptique Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 6

7 Résultats Logiciel de simulation des interactions dextres - Simulation d assemblages - Préhension et manipulation - Prise en compte des frottements Intégration de périphériques dextres (gants haptiques, interfaces portables, leap motion) Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 7

8 Résultats Métaphores d interaction - Navigation en EV - Saisie à une ou deux mains - Saisie stable (frottements) - Exploitation des périphériques haptiques portables Ex: Haptips Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 8

9 Résultats Démonstrateur intégrant les résultats du projet Cas d usage : démontage d une batterie de véhicule électrique Enjeu : formation opérationnelle des techniciens à l international Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 9

10 Publications et brevets - 21 articles dans les revues et conférences internationales de référence dans les domaines concernés (biomécanique, robotique, haptique, IHM, RV) - 1 thèse soutenue - 3 brevets Résultats Best technote award pour l article The God-Finger Method for Improving 3D Interaction with Virtual Objects through Simulation of Contact Area (Inria, IEEE Symp. on 3DUI 2013) Best paper award pour l article The Virtual Mitten: A Novel Interaction Paradigm for Visuo- Haptic Manipulation of Objects Using Grip Force (Inria, IEEE Symp. on 3DUI, 2014) Top 10 Simulating Reality Contest Winners pour les travaux de modélisation de la main (UTC, compétition Simulating Reality 2014, MSC Software) Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 10

11 Nouveaux gants à retour d effort - Suivi naturel des mouvements de la main et retour d effort réaliste sur les doigts - Suffisamment léger et compacts pour être utilisé par des non spécialistes - Autorisant une production à coût raisonnable Impact Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 11

12 Démonstrations au public (Laval Virtual, Innorobo) Impact Retombées dans la presse spécialisée Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 12

13 Industrialisation en cours du gant à retour d effort chez Haption Impact Commercialisation prévue fin 2016 ou début 2017 Présentation au public : ITSEC : Orlando, 28 novembre au 1 er décembre 2016 IEEE Virtual Reality Conference : Los Angeles, 20 au 22 Mars 2017 Laval Virtual : Laval, 22 au 25 Mars 2017 Marché potentiel : plusieurs centaines d unités Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 13

14 Premières applications attendues : - Formation des opérateurs en environnement virtuel (enjeu : passage à l échelle et déploiement à l international) - Etudes d ergonomie des postes de travail (lutte contre les TMS) - Simulations d assemblage (gains de productivité, plusieurs M par an après déploiement) Impact Renault PSA, Renault, Dassault Aviation Getinge Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 14

15 La RV connait actuellement une révolution (casques, middleware) Suites et perspectives HTC Perspectives de nouvelles applications industrielles - Utilisation du gant issu des travaux du projet MANDARIN (Haption) - Distribution dans le monde entier par le réseau de revendeurs d Haption (gant seul ou monté sur un Virtuose) Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 15

16 Suites et perspectives A terme, marché plus grand public (via licence) - Les possibilités offertes par les périphériques d interaction grand public restent limitées Occulus VR Sony HTC - Evolution du design (simplification, nouvelles métaphores) Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 16

17 Enrichissement du retour (haptique corps complet) Suites et perspectives Utilisation pour des recherches sur la perception haptique et les interactions (ex: projet EU HAPPINESS) Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 17

18 Florian Gosselin, Claude Andriot Anatole Lecuyer, Maud Marchal Frédéric Marin François Louveau Philippe Julien, Frédéric Nivoix Les rencontres du numérique de l ANR, nov. 2016, Paris Le projet MANDARIN, F. Gosselin 18