STAGES. VISION PAR ORDINATEUR Perception 3D Réalité Augmentée

Transcription

1 STAGES VISION PAR ORDINATEUR Perception 3D Réalité Augmentée Le CEA-LIST Les activités de recherche du CEA LIST sont centrées sur les systèmes à logiciel prépondérant. Ces activités s articulent autour de trois thématiques: les Systèmes Embarqués (architectures et conception de systèmes, méthodes et outils pour la sûreté des logiciels et des systèmes, systèmes de vision intelligents), les Systèmes Interactifs (ingénierie de la connaissance, robotique, réalité virtuelle et interfaces sensorielles) et les Capteurs et le traitement du signal (instrumentation et métrologie des rayonnements ionisants, capteurs à fibre optique, contrôle non destructif). Le CEA LIST a de nombreux partenariats avec les grands acteurs industriels du nucléaire, de l automobile, de l aéronautique, de la défense et du médical pour étudier et développer des solutions innovantes adaptées à leurs besoins. Il réalise une recherche qui va du concept de système jusqu au démonstrateur, contribuant au transfert de technologies et à l innovation par l émergence de nouvelles entreprises. Le laboratoire de Vision et de l'ingénierie des Contenus (LVIC) Localisation : Saclay (91). Le laboratoire de Vision et de l'ingénierie des Contenus (LVIC) du CEA LIST mène des recherches dans deux domaines d applications en pleine croissance et à large diffusion : le domaine de l analyse vidéo pour les applications de vidéo surveillance et pour les systèmes d assistance par vision tels que les systèmes d assistance à la conduite. le domaine de la perception 3D et de la mobilité. Ce domaine inclut d une part les problématiques de localisation par vision pour les applications de réalité augmentée et, d autre part les problématiques de reconstruction 3D pour les applications de contrôle industriel. Pour mieux nous connaitre : Le laboratoire propose 5 stages dans le domaine de la perception 3D et de la réalité augmentée. Pour tous nos stages : Niveau demandé : Ingénieur, Master 2 Compétences attendues: C++, Vision par ordinateur Durée : 6 mois Indemnités de stage : entre 700 et 1400 suivant la formation + primes + aide au transport/logement Ces stages ouvrent la possibilité de poursuite en thèse ou CDD dans notre laboratoire Candidatures Joindre CV+lettre de motivation à regis.vinciguerra@cea.fr Indiquer le/les stages qui vous intéressent dans le mail. Ne pas hésiter à détailler les projets ou cours auxquels vous avez participé Indiquer les dates de début/fin de stage envisagés.

2 1- Reconstruction dense pour la réalité augmentée Le laboratoire LVIC du CEA-LIST possède une expertise dans le domaine de la réalité augmentée qui couvre un ensemble de technologies permettant de rajouter des éléments virtuels à une scène réelle. Les applications sont nombreuses : aide à la navigation, aide à l exécution de tâches complexes (maintenance, médical), marketing, jeux... Ce domaine est en constante et rapide évolution, notamment grâce à l essor des smartphones et tablettes munis de caméras et qui disposent d une puissance de calcul de plus en plus importante. Les premières solutions s appuyaient sur la reconnaissance d une ou plusieurs cibles connues afin de calculer la position de l utilisateur dans la scène et de positionner correctement les éléments virtuels. Aujourd hui les solutions les plus performantes utilisent la détection, la reconnaissance et le suivi de points d intérêt de l environnement. Par triangulation il est ainsi possible de construire une carte d un environnement a priori inconnu tout en localisant l utilisateur (Simultaneous Localization And Mapping). Objectif: Le sujet du stage est l étude et l implémentation d un algorithme de reconstruction dense qui utilise tous les points de l image au lieu de points d intérêt épars en se basant sur des cartes de profondeur. Le calcul en temps réel de ces cartes de profondeur à l aide d une seule caméra mouvante et l exploitation de ces cartes pour la localisation de la caméra seront les deux principaux objectifs du stage. Cette approche permet de générer une carte de l environnement très précise ce qui rend la localisation plus fine et robuste mais permet aussi à la réalité augmentée d être plus réaliste avec une gestion fidèle des occultations et de la géométrie.

3 2- Reconstruction 3D temps-réel à partir d un capteur 3D (Kinect) Le stage porte sur la reconstruction 3D temps-réel de l environnement observé en combinant approche visuelle (caméra standard) et approche 3D via le capteur Kinect développé par Microsoft pour sa console de jeu Xbox. Ce capteur 3D permet de capturer en temps-réel la structure 3D texturée de la scène observée (nuage de points + texture). L approche visuelle, dont le laboratoire a fait son expertise, consiste à tracker en temps-réel des points d intérêt dans un flux vidéo puis à les trianguler pour obtenir la structure 3D grossière de l environnement. Cette approche est performante pour localiser une caméra dans l espace mais fournit peu d indications exploitables et précises quant à la structure de l environnement. A l inverse, la Kinect est capable de fournir une carte de profondeur dense comblant les lacunes de l approche visuelle. L objectif du stage est de combiner ces deux approches en s inspirant de la méthode développée par Microsoft. L étudiant aura donc à charge de développer une application performante de réalité augmentée qui exploitera la fusion de ces deux approches.

4 3- Amélioration d un algorithme de recalage de modèle CAO pour la réalité augmentée Contexte du stage: Le Laboratoire de Vision et Ingénierie des Contenus du CEA, List a développé une expertise sur les méthodes de localisation d une caméra et de cartographie de l environnement dans lequel elle évolue. Elles permettent d estimer simultanément le déplacement d une caméra et la scène observée. Cette dernière étant modélisée par un nuage de points 3D. Les algorithmes de localisation 3D d une caméra peuvent être utilisés pour différentes applications telle que la réalité augmentée (RA). La RA est actuellement en plein essor aussi bien dans des domaines grand public (essayage virtuel, jeux vidéos, ) qu industrielles (aide à la maintenance, ). Objectif du stage: L objectif de ce stage est de participer à l amélioration d un algorithme de recalage, en temps réel, d un modèle CAO sur un objet 3D. L étudiant devra ainsi étudier différentes améliorations possibles afin d augmenter la précision et la robustesse de la méthode. Des connaissances en Matlab seraient appréciées.

5 4- Réalité augmentée sur mobile Android Contexte du stage: La Réalité Augmentée est une technologie consistant à incruster, en temps réel, un objet virtuel dans le flux vidéo d une caméra ou dans le champ de vision d un utilisateur. Les champs d application de cette technologie couvrent de nombreux domaines : jeux, aide à la navigation, aide à la réalisation de taches complexes, aide à la vente, Si cette technologie est longtemps restée cantonnée aux laboratoires de recherche, l arrivée de tablettes et smartphones a permis sa diffusion auprès du grand public. En effet, la mobilité et la puissance de calcul offert par ces systèmes en font des plateformes grand public particulièrement adaptées à cette technologie. Cependant, la quasi-totalité des ces applications actuelles de Réalité Augmentée reposent uniquement sur les capteurs GPS et inertiels des smartphones pour localiser et estimer le mouvement de la caméra. Hélas, la faible précision de ces capteurs rendent généralement l expérience de Réalité Augmentée inconfortable (objets mal positionnés, objets vibrant dans l image). Pour offrir une véritable expérience de réalité augmentée, la meilleure solution consiste à estimer la position et le mouvement de la caméra directement à partir du flux vidéo. Si des solutions sont actuellement disponibles sur smartphone, celles-ci nécessitent généralement l observation en continue d un motif ou d une image connue. Cette fois-ci, ce n est pas la qualité de la localisation mais le manque de liberté de mouvement pour l utilisateur qui nuit à l expérience de réalité augmentée. La solution idéale consiste alors à estimer le mouvement de la caméra sans aucun a priori sur la scène observée. Les algorithmes dits de localisation et cartographie simultanée (Simultaneous Localization And Mapping ou SLAM) offrent une solution à ce problème au prix d un coût calculatoire et d une consommation mémoire élevés. La déclinaison de ces algorithmes vers des plateformes mobiles type smartphone ou tablette est donc un des sujets de recherche très actifs dans le domaine de la vision par ordinateur. Objectif du stage: L objectif de ce stage est de participer à l adaptation algorithmique d une méthode de SLAM pour une architecture embarquée de type tablette ou smartphone Android. L étudiant devra dans un premier temps étudier l algorithme de SLAM développé au laboratoire afin d identifier les briques algorithmiques représentant des goulots d étranglement tant en temps de calcul qu en consommation mémoire. Dans un second temps, une étude sera menée sur l adaptation de ces briques algorithmiques afin de rendre leurs performances acceptables vis-à-vis de la plateforme cible. Ces adaptations nécessiteront sans doute des compromis entre temps de traitement, robustesse et précision. Ainsi, plusieurs solutions pourront être proposées pour chaque brique en fonction du compromis choisi.

6 5- Développement d une application de réalité augmentée Contexte du stage: Notre laboratoire a développé une expertise reconnue sur les méthodes de localisation temps réel d une caméra ainsi que sur les méthodes de cartographie automatique de l environnement (nuage de points 3D+ texture) dans lequel évolue l utilisateur. Ces algorithmes de localisation 3D, de par leur précision, robustesse et rapidité, sont très bien adaptés aux applications de réalité augmentée (RA). La RA consiste à intégrer des informations virtuelles dans des images réelles par le biais d un smartphone, d une caméra, d une tablette (type ipad ou Galaxy Tab), d un écran ou de lunettes semi-transparents. Ce sont autant de supports nouveaux sur lesquels le laboratoire travaille activement d autant plus que la RA est actuellement en plein essor aussi bien dans des domaines grand public (tourisme, jeux vidéos, essayage virtuel de vêtements/montres/lunettes) qu industriels (aide à la maintenance, formation) Objectif du stage: L objectif de ce stage est de participer à la mise en place d un ou plusieurs démonstrateurs de réalité augmenté sur l un des supports cités ci-dessus. Celui-ci devra mettre en avant la performance de nos méthodes de localisation 3D en exploitant des algorithmes de recalage de modèle CAO fournis par le laboratoire. Une attention particulière à la scénarisation de la démonstration ainsi qu au rendu visuel devra être apportée. Le cadre de la démonstration se focalisera d abord sur l aide à la maintenance industrielle et d autres scénarios pourront être envisagés et suggérés par le stagiaire. Des connaissances en moteurs de rendu 3D (Ogre, Unity par exemple) seraient appréciées.