Cours VIS : Vision par ordinateur 1 Master 2 Recherche Informatique Éric Marchand http://www.irisa.fr/lagadic La vision par ordinateur c est quoi? 2 Mathématique, Informatique, Intelligence artificielle, traitement du signal, automatique Théorie : modèle de perception visuelle (des formes, des objets, du mouvement), géometrie, etc. 1
Applications 3 Navigation autonome d'un robot Reconstruction 3D d'environnement Reconstruction 3D de volume (imagerie médicale) Mosaïque Détection et segmentation d'objets Reconnaissance de formes et d'objets Fusion d'image multimodeles,... Applications 4 Navigation autonome d'un robot Jet Propulsion Laboratory, Mars Pathfinder (juillet 1997) 2
Applications 5 Reconstruction 3D d'environnement Applications 6 Reconstruction 3D d'environnement 3
Applications 7 Reconstruction 3D de volume (imagerie médicale) Applications 8 Mosaïque 4
Applications 9 Détection et segmentation d'objets Bibliographie - livres 10 R. Hartley, A. Zisserman. Multiple view geometry in computer vision. Cambridge university press, 2000. M. Dhome (Ed.). Perception visuel par imagerie video, Traite IC2, Hermes, 2003. R. Horaud et O. Monga, Vision par ordinateur, outils fondamentaux. 1993 (first edition) and 1995 (second edition), Editions Hermès. http://www.inrialpes.fr/movi/people/horaud/index.html D. Forsyth, J. Ponce, Computer Vision, a modern approach, Prenctice Hall, 2003. 5
Bibliographie - articles 11 Zhang, Z. and Deriche, R. and Faugeras, O. and Luong, Q.-T. A Robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry, Artificial Intelligence 78:87 119, October 1995. F. Chaumette, S. Boukir, P. Bouthemy, D. Juvin. Structure from controlled motion, IEEE trans. on Pattern Analysis and Machine intelligence, 18(5):492-504, may 1996. A.I. Comport, E. Marchand, M. Pressigout, F. Chaumette. Real-time markerless tracking for augmented reality: the virtual visual servoing framework. IEEE Trans. on Visualization and Computer Graphics, 12(4):615-628, Juillet 2006. Bibliographie - articles 12 Azuma, R. and Baillot, Y. and Behringer, R. and Feiner, S. and Julier, S. and MacIntyre, B. Recent Advances in Augmented Reality. IEEE Computer Graphics and Application. 21(6):34-47, november 2001 Debevec, P. and Taylor, C.-J. and Malik, J. Modeling and Rendering Architecture from Photographs: A Hybrid Geometry- and Image-Based Approach. Proceedings of SIGGRAPH 96, pp. 11-20, Aout 1996. Dementhon, D. and Davis, L. Model-Based Object Pose in 25 Lines of Codes. Int. J. of Computer Vision. 15:123-141, 1995 Kass, M. and Witkin, A. and Terzopolous, D. Snakes : Active contour models. Proc. of Int. Conf. Computer Vision, ICCV 87 pp. 259 268, Londres 1987. 6
Mais où est donc passée la 3eme dimension? 13 Scène 3D Scène 2D Problème : Comment remonter au 3D à partir du 2D Un rapide aperçu du problème 14 7
Un rapide aperçu du problème 15 Un rapide aperçu du problème 16 8
Un rapide aperçu du problème 17 M(X,Y,Z) Les équations de projection m(x,y) Problème : trouver (X,Y,Z) connaissant x,y, pr x (.), pr y (.) Nécessité d utiliser plusieurs images I 1, I 2,, I n Problème de mise en correspondance entre les projetés (x 1,y 1 ), (x 2, y 2 ) du même point 3D La reconstruction 3-D, ou comment retrouver 18 la troisième dimension? Différents systèmes caméra(s) fixe(s) 1 caméra : pas de 3D possible sans a priori sur la scène utilisation du flou, texture, modèle CAO, 1 caméra et un système actif 2 caméras : stéréovision binoculaire 3 caméras : stéréovision trinoculaire caméra mobile 9
Système mono-image actif 19 Émission d un rayon lumineux sur la cible Triangulation sans mise en correspondance Système mono-image actif 20 Stanford s Digital Michelangelo 10
Système mono-image actif (suite) 21 Système mono-image passif utilisation d'un modèle CAO 22 Problème du calcul de pose 11
Système multi-images Comment retrouver la troisième dimension? 23 Choisir un modèle de projection (parallèle, para-perspective, perspective, avec distorsion radiale, ) Estimer les paramètres du modèle pour chaque prise de vue a priori (avant la prise de vue) : étalonnage (calibration) a posteriori (après la prise de vue) : auto-calibration n images : (x 1,y 1 ), (x n,y n ) points en correspondance Reconstruction 3D 24 Mouvement Stéréovision 12
Qu étudiera-t-on? 25 Modèle de projection Calibration des caméras Stéréovision Contraintes de mise en correspondance Reconstruction 3D Géométrie multi-vues Matrice essentielle, matrice fondamentale Homographie Reconstruction d'objets 3D par vision dynamique Calcul de pose Réalité augmentée Suivi 3D Suivi 2D Travail personnel 26 Étude d articles Dès la mi octobre Par groupe de deux Préciser lors d un exposé les contributions principales des auteurs Travail de réflexion sur un point précis À partir de la mi novembre À la limite de l étude bibliographique et de votre réflexion personnel Préalable à un travail de recherche Rapport écrit pour fin décembre/début janvier 13