pour la Réalité Augmentée

Transcription

1 Analyse d Image 3D pour la Réalité Augmentée Jean-Marc Vezien vezien@limsi.fr Master Recherche RV&A Janvier 2010

2 Plan de l exposé Partie A: Vision 3D par machine 1 - Introduction générale 2 - La 3D pourquoi? Un panorama des applications de la vision 3D 3 - La 3D comment? Les capteurs et les techniques pour l acquisition de la 3D Master RV&A JM Vézien 2

3 Plan de l exposé (suite) Partie B: exemples de mise en œuvre 1) La stéréovision Principes de mise en œuvre Réalité expérimentale, contraintes Les classes d algorithmes Etude d une technique 2) La réalité augmentée Le principe, les applications Le processus d analyse d image Le processus de synthèse d image La composition 3D Master RV&A JM Vézien 3

4 Partie A: Panorama des techniques et des applications de la vision 3D Master RV&A JM Vézien 4

5 Introduction générale Explosion du rôle de l image au cours de ce siècle avec l avènement de l image «objective»: la photographie. L image en tant que signifiant: Qui: empreinte digitale Quoi : classification Où : photogrammétrie (relief) Dès les débuts de la photographie Master RV&A JM Vézien 5

6 Introduction générale Vision informatique : fin des années 60: premières images de synthèse (Sutherland) Premières caméras analogiques (Ex: Vidicon) + Convertisseur A/N: milieu des années Application: reconnaissance des formes (lettres, formes binaires.) Hypothèse: le monde est simple à analyser. C est un problème d Intelligence Artificielle. Master RV&A JM Vézien 6

7 Introduction générale Pas si simple! Le monde ne se laisse pas binariser! Les pixels ne représentent que très imparfaitement la réalité 3D: illusions d optique: La perception humaine se fait à plusieurs échelles: notion de groupements perceptuels. Problème: des pixels aux prédicats Master RV&A JM Vézien 7

8 Introduction générale D. Marr (1980): comparaison entre vision humaine et vision par ordinateur: Approche «Bottom-up»: on extrait des primitives très locales que l on associe en entités plus complexes: points contours objets 3D Réduction du problème de la perception 3D à un problème de reconstruction 3D. Approche implicite dans les travaux actuels. Master RV&A JM Vézien 8

9 Introduction générale Approche moderne = approche modeste: ne pas chercher à comprendre le monde entier mais: résoudre les problèmes posés, concrètement:«task-oriented approach». Utiliser au maximum l information a priori: utiliser des modèles de l environnement. Augmenter la complexité des scènes traitées au fur et à mesure. Master RV&A JM Vézien 9

10 Introduction générale Vision 3D : fait intervenir des informations a priori: Sur la scène observée (structure 3D connue = recalage 3D) Sur le capteur (caméra) : nécessité d une calibration pour obtenir des informations métriques. Approches récentes = relâcher ces contraintes Temps réel! Master RV&A JM Vézien 10

11 La 3D pourquoi? Panorama des applications de la vision 3D

12 Les applications de la 3D Imagerie médicale Anthropométrie, ergonomie Construction, CAO Inspection, contrôle Exploration de l environnement Conduite assistée Applications militaires Imagerie satellitaire Réalité virtuelle Création de contenu multimédia Master RV&A JM Vézien 12

13 Imagerie médicale Utilisation de capteurs spécialisés, qui donnent une mesure de densité en 3D: d= f(x,y,z) Résonance magnétique nucléaire Master RV&A JM Vézien 13

14 Imagerie médicale Utilisation: Diagnostic assisté par ordinateur: indication des volumes, des formes, etc. Aide à la chirurgie Médecine légale: Master RV&A JM Vézien 14

15 Imagerie médicale Utilisation du moiré, de la stéréo et du laser pour l'analyse de formes: détection de déformations ajustage de prothèse Master RV&A JM Vézien 15

16 Anthropométrie, ergonomie But: déterminer les caractéristiques précises de chaque individu Objectif : personnaliser son environnement Jack (Upenn): système graphique de personnalisation et d étude du corps humain Master RV&A JM Vézien 16

17 Anthropométrie, ergonomie Moyens: Laser, stéréo, mesures 3D directes Applications: ergonomie/design: Master RV&A JM Vézien 17

18 Ergonomie (suite) Master RV&A JM Vézien 18

19 Construction, CAO Fabrication d objets avec assistance informatique: Capteurs pour guider précisément un outil. Conception d un modèle 3D d objet à des fins d études (design, simulations). Outils privilégiés: laser, mais aussi stéréo. Master RV&A JM Vézien 19

20 Construction, CAO Guidage CAO Master RV&A JM Vézien 20

21 Inspection, contrôle Vérifier qu un objet manufacturé obéit à des normes de fabrication ou de fonctionnement. Ex.: micro-électronique, fabrication de circuits intégrés. automobile (Ex: alignement des roues) Lumière structurée, précision extrême: 1/1000 mm! Master RV&A JM Vézien 21

22 Exploration de l environnement robotique autonome: Robot «CYCLOPS», université du Surrey (GB) Master RV&A JM Vézien 22

23 Exploration de l environnement têtes binoculaires Robots semi-autonomes Master RV&A JM Vézien 23

24 Exploration de l environnement Techniques utilisées: Stéréo, Lidar, ultrason images: rapide mais imprécis. laser: lent mais précis. Problèmes: - fusion des données géométriques provenant de sources multiples. - calibration (calage) des données dynamiques issues des capteurs. Master RV&A JM Vézien 24

25 Exploration de l environnement reconstruction partielle de l'environnement permet : la conduite autonome des interventions limitées. applications: environnements hostiles, tâches répétitives. Solutions «industrielles», encore très coûteuses. Master RV&A JM Vézien 25

26 Conduite assistée Voiture «intelligente»: perçoit son environnement, fournit des informations au conducteur. écran conducteur Capteur Techniques: Laser, Stéréo Radar Ordinateur embarqué Master RV&A JM Vézien 26

27 Conduite assistée Projet Navlab (univ. de Carnegie Mellon, USA): nombreux véhicules de série équipés. Premiers tests sur autoroute. Non-visuel (sensibilité à de trop nombreux paramètres) : radar, bornes magnétiques. DARPA Challenge : course entre véhicules autonomes. Succès croissant Vers la conduite urbaine Master RV&A JM Vézien 27

28 Applications militaires Percevoir l environnement inconnu ou hostile: NAVLAB 2 Master RV&A JM Vézien 28

29 Applications militaires Objectifs: Analyser le terrain pour la conduite de véhicule (occupant blessé, mauvaise visibilité) Techniques: Laser 3D: détection d obstacles, analyse du terrain. Images vidéo + réseau de neurones : conduite Master RV&A JM Vézien 29

30 Imagerie satellitaire et aérienne Reconstruction de terrain 3D à partir d'images satellites. Techniques: shape from shading, stéréo. Applications: - climatique (niveau de l eau) - écologique (forêts, crues). - militaire - topographique Master RV&A JM Vézien 30

31 Imagerie satellitaire et aérienne Mont Olympe (mars) Région de washington Master RV&A JM Vézien 31

32 Imagerie satellitaire et aérienne limitations: attention aux hypothèses sur l illumination! Le Visage sur Mars Méthode privilégiée: stéréo + shading Master RV&A JM Vézien 32

33 Réalité virtuelle / augmentée But: Immersion réel / virtuel Applications architecturales (intégration paysage, explorer un bâtiment réel ou virtuel) Design intérieur Scientifique (Méca.Flu., Docking de molécules, physique) Collaboration, simulation de situation. Master RV&A JM Vézien 33

34 Réalité virtuelle / augmentée Master RV&A JM Vézien 34

35 Réalité virtuelle / augmentée Master RV&A JM Vézien 35

36 Audiovisuel / multimédia «Virtualisation» du contenu des images: ajout d'éléments synthétiques modification de l apparence objets réels. analyse 3D des images = créer de nouvelles images par analyse/synthèse (voir partie B). applications: pub, films, jeux vidéo (temps réel ou précalculé). Master RV&A JM Vézien 36

37 Audiovisuel / multimédia Des ovnis sur la défense (1995) EyePet (2009) Master RV&A JM Vézien 37

38 La 3D comment? Les capteurs et les techniques pour l acquisition de la 3D

39 Capteurs actifs Capteurs passifs Master RV&A JM Vézien 39

40 Les capteurs actifs génèrent un signal pour analyser l environnement, utilisation de lumière: structurée géométriquement ou utilisation d une onde cohérente (laser). influencent l environnement: domaines d application limités Master RV&A JM Vézien 40

41 Capteurs actifs non optiques De nombreux capteurs utilisent des ondes pour déterminer la profondeur: Echographie (son), Radiographie, tomographie, scanner (rayons X), Résonance Magnétique nucléaire (rayonnement alpha), etc. Très chers, très spécialisés (médical) Master RV&A JM Vézien 41

42 LIDAR Principe du radar: 2T Onde: laser infra-rouge de faible puissance modulé en amplitude. 1m f 300 Mhz Balayage par miroir oscillant Master RV&A JM Vézien 42

43 LIDAR (suite) Ex.: LADAR par Perceptron Inc. diode laser à 835 nm puissance 50 mw Distance: de 3 à 100 m. Angle de vue réglable: - horizontal: de 15 à 60 - vertical: de 3 à 72 Résolution: 1000 x 2000 pixels Master RV&A JM Vézien 43

44 LIDAR (suite) Principaux problèmes: Tête d acquisition encombrante, miroir fragile. laser de classe 3B + invisible = dangereux! Nécessite un contrôle environnemental (contraste, types de surfaces...). Problème d échos multiples de 2* Master RV&A JM Vézien 44

45 LIDAR (suite) Master RV&A JM Vézien 45

46 Principe: Capteurs à triangulation Caméra Surface Illuminant Master RV&A JM Vézien 46

47 Capteurs à triangulation Plusieurs méthode d illumination: lumière «naturelle»: utilisation de différents «motifs» d illumination lumière cohérente: nappe laser créée par un miroir cylindrique. Master RV&A JM Vézien 47

48 Capteurs à triangulation: lumière structurée Master RV&A JM Vézien 48

49 Capteurs à triangulation: Cyberware Nappe laser Full body scanner (1998) Master RV&A JM Vézien 49

50 Capteurs à triangulation: problèmes Temps d acquisition: quelques secondes (pas de mouvements!) Environnement contrôlé: faible lumière ambiante, surfaces non réfléchissantes (métaux), pas de bleu (laser). Distance: quelques cms à quelques mètres. Laser: coût (100 k ) Master RV&A JM Vézien 50

51 Capteurs à triangulation: problèmes Lorsque l écart émetteur/récepteur grandit: plus grande précision probabilité d occultation grandissante: émetteur récepteur Compromis difficile! Master RV&A JM Vézien 51

52 Capteurs à triangulation: résultats Master RV&A JM Vézien 52

53 Capteurs à triangulation: résultats Intégration de multiples scans: plusieurs millions de polygones! Master RV&A JM Vézien 53

54 Effet de Moiré Caméra Source lumineuse grille 1 grille 2 frange sombre franges claires Master RV&A JM Vézien 54

55 Effet de Moiré Problèmes: faible profondeur de champ environnement contrôlé analyse d image sophistiquée: pas de temps réel. ambiguïtés possibles: pas de valeur absolue de Z. Master RV&A JM Vézien 55

56 Effet de Moiré: résultats Analyse de posture Master RV&A JM Vézien 56

57 Les capteurs passifs Reçoivent la lumière naturelle, sans intervention sur l environnement: Ex: Capteur CCD ou CMOS Utilisation de nombreuses techniques pour interpréter la carte d intensité lumineuse. Master RV&A JM Vézien 57

58 Les capteurs passifs (shape from X) X = indice servant de base à l analyse de l image X = mouvement X = shading = ombrage X = illumination X = texture X =..., combinaison des précédents. Master RV&A JM Vézien 58

59 intrinsèques extrinsèques Les capteurs passifs (shape from X) L aspect d un objet sur une image est fonction: de sa géométrie (forme, rugosité) de sa photométrie: couleur, texture... de l illumination ambiante (sources de lumières) de la position de la caméra par rapport à l objet. Utiliser les contraintes externes pour calculer les propriétés intrinsèques. Master RV&A JM Vézien 59

60 Utilisation du mouvement relatif Mise en correspondance d indices: points, segments, régions, dans deux images. Mouvement de caméra connu reconstruction de (X, Y, Z). Master RV&A JM Vézien 60

61 Stéréovision Redondance de données: permet la génération de cartes 3D denses et complexe. Master RV&A JM Vézien 61

62 Stéréovision Nombreux avantages: Mise en œuvre plutôt simple, devenue accessible. Algorithmes performants. Relativement insensible aux conditions d utilisation Obtention de cartes 3D denses Possibilités de temps réel (GPU, FPGA) Master RV&A JM Vézien 62

63 Stéréovision Limitations, contraintes: Voir partie B: étude détaillée Master RV&A JM Vézien 63

64 Utilisation de l ombrage (shading) On peut déterminer l orientation d une surface à partir d une seule image, avec des hypothèses: sur sa nature (homogénéité, type de surface) sur l illumination (Ex: source ponctuelle à l infini) Approche appliquée dès le début du siècle pour l analyse des surfaces planétaires. Master RV&A JM Vézien 64

65 Utilisation de l ombrage (shading): résultats. INRIAlpes, 2006 Master RV&A JM Vézien 65

66 Utilisation de l ombrage (shading) Limitations nombreuses: Une seule surface homogène Grande sensibilité aux conditions d éclairement Orientation seulement Technique bien adaptée à l observation d altitude, satellitaire et planétaire Master RV&A JM Vézien 66

67 Utilisation de l illumination Idée: l aspect d un objet est fonction de sa photométrie, qui varie beaucoup avec l éclairement: Revêtement absorbant Caméra Sources lumineuses Master RV&A JM Vézien 67

68 Illumination (suite) Hypothèses: la surface de l objet est continue (Z=f(x,y)), et d un matériau uniforme. Chaque lumière fournit une contrainte I(x,y) par point de la surface Z=f(x,y). Suffisamment de contraintes = résolution du système. Ex: surface Lambertienne. minimiser orientation lumière i 0 < A < 1 = facteur de reflexion i n M orientation surface E I Acos( ) i 1 i i n I i 2 = image i Master RV&A JM Vézien 68

69 Utilisation de l illumination: résultats Georghiades (2001) Master RV&A JM Vézien 69

70 Utilisation de l illumination (suite) Problèmes: Trop d hypothèses simplificatrices Environnement très contraignant Résultat peu précis, surtout qualitatif. Master RV&A JM Vézien 70

71 Utilisation de la texture Hypothèse: on observe une surface avec des motifs réguliers. Déformation des motifs = f(z) Master RV&A JM Vézien 71

72 Utilisation de la texture Deux étapes: Analyse de l image: calcul d une transformée capturant cette déformation. Ex: transformée de Fourier, moments 2d, etc. Utilisation d hypothèses (ex: régularité) pour obtenir une carte de profondeur. Possibilité de combiner avec la stéréo: déformation de texture. Master RV&A JM Vézien 72

73 Shape from texture: résultats B. Super and A. Bovik. (1995) Master RV&A JM Vézien 73

74 Utilisation de la texture Limitations: Une seule surface, présence d une texture, texture homogène. Sensible aux conditions d illumination. Utilisée dans des circonstances très limitées. Master RV&A JM Vézien 74

75 Reconstruction implicite par interpolation Il n est pas nécessaire de reconstruire la 3D pour toutes les applications (ex: audiovisuel). Comment générer des images «intermédiaires» entre 2 vues? = estimation du déplacement équivalent dans l image «virtuelle». Connaissant P 1 (x,y) et P 2 (x,y), peuton prédire P 3 (x,y), si on connaît la position de Cam 3 par rapport à Cam 1 et Cam 2? Master RV&A JM Vézien 75

76 Reconstruction implicite par interpolation Master RV&A JM Vézien 76

77 Reconstruction implicite par interpolation Ex: pour une facette plane 3D, les projections sont reliées par une homographie: P p G p D p D H p G avec H = et p = x y 1 Estimation de H: utilisation des déplacements et des formes des deux régions appariées. Master RV&A JM Vézien 77

78 Interpolation 3D: exemple miroir carte des régions Carte des déplacements Master RV&A JM Vézien 78

79 L acquisition 2D «augmentée»: illustration Master RV&A JM Vézien 79

80 La géométrie projective Exemple précédent = cas particulier. Les images contiennent la structure intrinsèque de la scène. La géométrie projective (R 4 ) permet de formaliser cette structure: X Y On obtient M Z T, T connu X / T Y / T M Y / T 1 Pour passer à une reconstruction euclidienne: imposer des contraintes sur les objets visibles: longueurs, angles, etc. Master RV&A JM Vézien 80

81 Partie B: exemples de mise en œuvre d algorithmes de vision 3D 1) Calibrage / Recontruction 3D 2) Compositing 3D Master RV&A JM Vézien 81