STAGES. VISION PAR ORDINATEUR Perception 3D Réalité Augmentée

Transcription

1 STAGES VISION PAR ORDINATEUR Perception 3D Réalité Augmentée Le CEA-LIST Les activités de recherche du CEA LIST sont centrées sur les systèmes à logiciel prépondérant. Ces activités s articulent autour de trois thématiques: les Systèmes Embarqués (architectures et conception de systèmes, méthodes et outils pour la sûreté des logiciels et des systèmes, systèmes de vision intelligents), les Systèmes Interactifs (ingénierie de la connaissance, robotique, réalité virtuelle et interfaces sensorielles) et les Capteurs et le traitement du signal (instrumentation et métrologie des rayonnements ionisants, capteurs à fibre optique, contrôle non destructif). Le CEA LIST a de nombreux partenariats avec les grands acteurs industriels du nucléaire, de l automobile, de l aéronautique, de la défense et du médical pour étudier et développer des solutions innovantes adaptées à leurs besoins. Il réalise une recherche qui va du concept de système jusqu au démonstrateur, contribuant au transfert de technologies et à l innovation par l émergence de nouvelles entreprises. Le laboratoire de Vision et de l'ingénierie des Contenus (LVIC) Localisation : Saclay (91). Le laboratoire de Vision et de l'ingénierie des Contenus (LVIC) du CEA LIST mène des recherches dans deux domaines d applications en pleine croissance et à large diffusion : le domaine de l analyse vidéo pour les applications de vidéo surveillance et pour les systèmes d assistance par vision tels que les systèmes d assistance à la conduite. le domaine de la perception 3D et de la mobilité. Ce domaine inclut d une part les problématiques de localisation par vision pour les applications de réalité augmentée et, d autre part les problématiques de reconstruction 3D pour les applications de contrôle industriel. Pour mieux nous connaitre : Le laboratoire propose 5 stages dans le domaine de la perception 3D et de la réalité augmentée. Pour tous nos stages : Niveau demandé : Ingénieur, Master 2 Compétences attendues: C++, Vision par ordinateur Durée : 6 mois Indemnités de stage : entre 700 et 1400 suivant la formation + primes + aide au transport/logement Ces stages ouvrent la possibilité de poursuite en thèse ou CDD dans notre laboratoire Candidatures Joindre CV+lettre de motivation à Indiquer le/les stages qui vous intéressent dans le mail. Ne pas hésiter à détailler les projets ou cours auxquels vous avez participé Indiquer les dates de début/fin de stage envisagés.

2 1. RECALAGE DE MODELE CAO SUR PIECE COMPLEXE Le laboratoire LVIC du CEA-LIST possède une expertise dans le domaine de la réalité augmentée et en particulier sur les méthodes de localisation temps réel d une caméra par rapport à un objet d'intérêt. Alors que les solutions de l état de l art se limitent soit à localiser un objet connu à l aide de son seul modèle CAO (model-based tracking), soit à estimer le mouvement de la caméra dans un environnement inconnu (SLAM), la solution développée au sein du laboratoire permet de fusionner ces deux approches dans un unique framework [1]. Cette approche de localisation en environnement partiellement connu permet d atteindre un niveau de précision et de robustesse inégalé. Cependant, la solution actuelle nécessite que l objet d intérêt présente des contours francs, ce qui n est pas le cas de tous les objets, notamment dans le domaine industriel où des objets de formes cylindriques sont très présents (tuyaux, ). Objectif: L objectif de ce stage est d'améliorer l'approche existante au laboratoire afin de l étendre aux objets courbes [2]. Le stagiaire aura donc l occasion d étudier le cœur de l algorithme de suivi et de le faire évoluer. L étudiant devra impérativement disposer de solides connaissances en vision par ordinateur. [1] NonLinear refinement of structure from motion reconstruction by taking advantage of a partial knowledge of the environment, Mohamed Tamaazousti, Vincent Gay-Bellile, Sylvie Naudet-Collette, Steve Bourgeois, Michel Dhome. CVPR 2011 [2] Adaptable model-based tracking using analysis-by-synthesis techniques, Harald Wuest, Folker Wientapper and Didier Stricker Computer Analysis of Images and Patterns 2007.

3 2. DEVELOPPEMENT D UN DEMONSTRATEUR DE GUIDAGE EN INTERIEUR Le Laboratoire de Vision et Ingénierie des Contenus du CEA-LIST a développé une expertise sur les méthodes de localisation d une caméra et de cartographie de l environnement dans lequel elle évolue, ainsi que dans la reconnaissance de point de vue. Ces méthodes combinées permettent une localisation précise d une caméra en intérieur, là où le GPS ne peut pas être utilisé. Les algorithmes de localisation 3D d une caméra peuvent être utilisés pour différentes applications telle que la réalité augmentée (RA). La RA est actuellement en plein essor aussi bien dans des domaines grand public (essayage virtuel, jeux vidéo, ) qu industriels (aide à la maintenance, ). Les algorithmes de reconnaissance de point de vue sont utilisés pour retrouver une image dans une base de référence. Objectif du stage: L objectif de ce stage est de participer à l amélioration d un algorithme de localisation par vision, combinant la reconnaissance de point de vue et la localisation précise d une caméra. L étudiant devra mettre en œuvre un outil de guidage au sein de nos locaux qui orientera l utilisateur allant d une salle à une autre à travers le bâtiment. Cet outil servira de démonstrateur pour illustrer l activité de notre laboratoire et sera ainsi présenté aux nombreux industriels coopérant avec le CEA-LIST. L étudiant devra impérativement disposer de solides connaissances en programmation C++ afin de développer et valider le démonstrateur. Des connaissances en vision par ordinateur, mathématiques appliquées et calculs numériques sont souhaitables.

4 3. REALITE AUGMENTEE SUR ECRAN SEMI-TRANSPARENT La Réalité Augmentée (RA) consiste à insérer en temps réel des éléments virtuels dans une scène réelle. C est un domaine d expertise du Laboratoire de Vision et Ingénierie des Contenus (LVIC) du CEA-LIST. La majorité des applications utilisent le procédé de video seethrough: chaque image acquise par la caméra est traitée pour y superposer des éléments virtuels. L utilisateur ne voit donc pas directement la réalité mais seulement le flux vidéo augmenté qui présente entre autres une résolution limitée et un retard (latence). Ces défauts rendent l approche inadaptée aux applications de RA critiques telles que l aide à la conduite, à la chirurgie ou à la maintenance. La réponse à ces problèmes est le procédé optical seethrough qui consiste à superposer les augmentations à la réalité ellemême grâce à un affichage semitransparent (lunettes, écrans...). Ainsi l utilisateur voit la réalité sans intermédiaire mais ceci ajoute de nouvelles contraintes: la latence doit être minimale et les positions relatives de l utilisateur, de l écran et de l environnement doivent être connues. Objectif du stage: Nous travaillons au laboratoire LVIC sur un prototype de tablette augmentée basé sur un écran LCD semitransparent. La version actuelle fonctionne dans un contexte où l écran et l environnement sont fixes, l utilisateur est suivi grâce à une caméra. Le travail du stagiaire sera d améliorer le système jusqu à une démonstration complète en mettant en place les briques suivantes : 1. suivi de l utilisateur par localisation électromagnétique (Razer Hydra) 2. localisation de l écran dans l environnement 3. mise en place d un rendu stéréoscopique avec lunettes NVIDIA 3D Vision 4. réalisation d une démonstration du système Une bonne maîtrise de la programmation en C++ est requise Compétences appréciées : langage Python, notions de vision par ordinateur et modélisation/rendu 3d

5 4. GENIE LOGICIEL SUR CODE DE REALITE AUGMENTEE Contexte du stage : La mission du CEA LIST est le transfert de briques de recherche vers l'industrie. Le Laboratoire de Vision et Ingénierie des Contenus du CEA-LIST transfert plus particulièrement des applications ou briques algorithmique dédiées à la réalité augmentée (RA) ou vision 3D par ordinateur. Ce processus se divise en trois étapes : 1. Recherche : Produire des briques logicielles innovantes en vision ou RA. 2. Produits génériques : combiner les briques logicielles afin d'obtenir des produits applicatifs. 3. Transfert industriel : Adapter ces produits aux besoins de nos clients industriels. Le besoin du laboratoire est d améliorer ce processus qui vise à fusionner des codes de recherches hétérogènes et indépendants en un unique dépôt homogène et modulaire tout en assurant performance et fonctionnalité. Le laboratoire initie donc une démarche d ingénierie logicielle visant à adapter nos codes à cet objectif au travers d'outils de génie logiciel et de workflow de travail sur les axes suivants : travail collaboratif, assurance qualité, refactorisation, analyse et documentation. Objectif du stage : Armé de vos compétences scolaires et personnelles, et après avoir assimilé nos outils et méthodes de travail, vous combinerez vos acquis afin de : Refactoriser, documenter et valider un code dont on augmentera la taille par incrément. Evaluer nos procédures de développement et y apporter des améliorations Valider de nouvelles procédures par incréments sur le code. Ce stage sera pour vous l opportunité d un perfectionnement en génie logiciel. Vous devrez être force de proposition afin d améliorer les procédures de développement en place dans notre laboratoire. Vos travaux et votre savoir-faire seront valorisés par une communication à l ensemble de l équipe qui devra évaluer puis suivre les nouvelles procédures que vous aurez proposées. Compétences informatiques ( = requis, = utile, = apprécié) : 1. C++ ( ) / C ( ) / C++11 ( ) 2. IDE ( ) / Eclipse ( ) / Microsoft Visual C++ ( ) 3. Outils de validation de code ( ) / CMake-CTest ( ) / Boost::Test ( ) 4. Outil de gestion de code source distribué ( ) / Git ( ) / Mercurial ( ) Compétences générales : 5. Communication & Pédagogie 6. Sens critique : évaluer la pertinence de solutions en prenant en compte les contraintes métier 7. Culture de la vision par ordinateur 8. Bonne humeur et geekitude ;-)

6 5. METHODES DE RESTAURATION D IMAGES POUR LA REALITE DIMINUEE APPLIQUEE A LA REALITE AUGMENTEE Contexte du stage : La Réalité Augmentée (RA) est un des domaines d expertise du Laboratoire de Vision et Ingénierie des Contenus (LVIC) du CEA-LIST. L objectif est d insérer des éléments virtuels dans une scène réelle. Pour certaines applications de RA, la qualité du rendu doit être la plus réaliste possible. Cela a pour but de favoriser une insertion naturelle des éléments virtuels dans la scène et ainsi améliorer l expérience utilisateur. Cette expérience peut également être améliorée par l intermédiaire de la Réalité Diminuée (RD) afin de supprimer des éléments indésirables dans la scène observée. Cette suppression doit respecter les contraintes de réalisme de la RA. Pour cette raison, le laboratoire s intéresse aux méthodes de restauration d image qui sont la base de la RD. Notons que cette problématique émergente ne cesse de susciter un intérêt grandissant dans la communauté de vision par ordinateur. Objectifs du stage : 1. Evaluation des méthodes de restauration d image de l état de l art afin d estimer la pertinence des résultats pour la RD. 2. Développement d une application de RD utilisant la technologie de localisation de caméra du laboratoire. 3. Mise en place d un protocole expérimental pour la validation de la solution. 4. Réalisation d une démonstration combinant RA et RD. Solide connaissance du langage C++ Compétences souhaitées : traitement d image, vision par ordinateur et rendu 3D expérience en lecture/rédaction d articles scientifiques

7 6. LOCALISATION 3D A PARTIR D UN SMARTPHONE : AMELIORATION DE LA ROBUSTESSE A LA QUALITE D IMAGE Le laboratoire de Vision et Ingénierie des Contenus du CEA-LIST possède une expertise dans le domaine de la réalité augmentée et en particulier sur les méthodes de localisation temps réel d une caméra par rapport à un objet d'intérêt [1] ou dans une ville [2]. Ces méthodes reposent sur des algorithmes de vision par ordinateur qui analysent l image fournie par la caméra afin d en déduire son mouvement. Actuellement, les systèmes exploitant ces algorithmes reposent sur des plateformes industrielles intégrant des caméras de qualité. Afin de permettre une plus grande dissémination de cette technologie, l emploi de caméra bas cout telles que celles embarquées sur les smartphones et tablettes actuelles devient nécessaire. Objectif : L objectif de ce stage est d améliorer la robustesse des algorithmes de localisation à l usage de caméras bas coût. En particulier, deux phénomènes seront à considérer : Flou de bougé Déformations géométriques dues au rollign shutter Ce stage consistera tout d abord à modéliser ces phénomènes, à estimer dynamiquement les paramètres utiles, que ce soit par vision ou à l aide de capteurs supplémentaires (eg. centrale inertielle) et à prendre en compte les corrections nécessaires pour améliorer les algorithmes de localisation 3D. Flou de bouger et déformation liée au rolling rhutter sur une caméra bas coût. A gauche : caméra statique. A droite : caméra en mouvement. L étudiant devra disposer de connaissances solides en vision par ordinateur ainsi qu en programmation C++. [1] NonLinear refinement of structure from motion reconstruction by taking advantage of a partial knowledge of the environment, Mohamed Tamaazousti, Vincent Gay-Bellile, Sylvie Naudet-Collette, Steve Bourgeois, Michel Dhome. CVPR 2011 [2]Towards Bundle Adjustment with GIS Constraints for Online Geo-Localization of a Vehicle in Urban Center, Dorra Larnaout, Steve Bourgeois, Vincent Gay-Bellile, Michel Dhome, 3DIMPVT 2012

8 7. AMELIORATION D UN ALGORITHME DE LOCALISATION D UNE CAMERA MOBILE POUR LA REALITE AUGMENTEE Les méthodes de localisation d une caméra et de cartographie de l environnement dans lequel elle évolue permettent d estimer simultanément le déplacement d une caméra et la scène observée. Cette dernière étant modélisée par un nuage de points 3D. Les algorithmes de localisation 3D d une caméra peuvent être utilisés pour différentes applications telle que la réalité augmentée (RA). La RA est actuellement en plein essor aussi bien dans des domaines grand public (essayage virtuel, jeux vidéos, ) qu industrielles (aide à la maintenance, formation ). Objectif du stage: L objectif de ce stage est de participer à l amélioration d un algorithme de localisation par vision, en temps réel, d une caméra. L étudiant devra ainsi étudier différentes améliorations possibles de celui-ci afin d augmenter la précision et la robustesse de la méthode. Un axe d améliorations à privilégier sera l apport d autres types de primitives, telles que les segments qui peuvent augmenter la robustesse au flou de bougé, lié à des déplacements rapides de la caméra et traiter plus efficacement des scènes peu texturées. Connaissances impératives en programmation Matlab et C++ Des connaissances en vision par ordinateur, mathématiques appliquées et calculs numériques sont également souhaitables.